然而任何事物都有好坏两个方面。府兵制防止了军阀势力形成，但是造成军队成员不稳定，在一般情况下还可以应付，到了长时间的、大规模的战争时期，这套制度就难以保证军队有足够的战斗力。于是唐朝的边防军率先开始职业化，由将领自行招募士兵，特别招募少数民族士兵。比如安禄山、史思明等都是加入唐朝边防军后逐步升迁为将领的，他们成为将领后又进一步招募少数民族士兵，形成了将、兵长期的连带关系。当看清唐朝中央军队已失去威慑力后，这两个野心家就发动了叛乱。

北宋在军阀混战中脱颖而出，自然注意到防止将兵形成连带关系的危险。尽管北宋朝廷采取的是雇佣兵制，可是其制度处处设计预防将兵之间出现连带关系。招募（当时称“招刺”）士兵的军官不是管理士兵的军官，平时管理士兵的军官也不训练士兵，训练士兵的是专门的“禁军教头”。《水浒传》里王进、林冲都是禁军教头，这并不是一个官称，其地位比禁军士兵并高不到哪里去。

禁军轮流调动到外地镇守以及出战，以营基本编制调动，由“指挥”带队。不过整个战斗部队的编制是临时编制的，指挥官也由朝廷临时指派。总的原则是“兵无常将，将无常兵”。

北宋中期已暴露出这种制度造成禁军战斗力下降的问题，因此范仲淹主持的军事改革强调作战编制的稳定。这一趋势到了北宋末年更加明显，各地自行组编军队，稍加训练便投入战斗，以后这些军队先后转战来到南方地区，仍然由组建的将领指挥。并往往以将领的名字称呼，比如岳飞的“岳家军”。这对于南宋皇朝来说实在是太危险了。当与金朝的和议一成功，立即用加官进爵办法逐步架空这些将帅，同时又大量裁撤这些将领统帅的军队，并组编新的军队，频繁调动指挥官的职位，重新贯彻“兵无常将，将无常兵”的政策。

明朝建立后，历史再一次开始循环。卫所制的军队编制和唐朝的府兵制有几分相象，每个卫所总要留下种田的兵，能够调动出征的士兵只占一小部分，同样军官也就要留下领导留驻的士兵。调动的士兵到边境或其他驻防地区都要重新组编，比如轮番到京卫值勤，就要编入“三大营”，由朝廷临时委派的指挥官指挥，实现“兵无常将，将无常兵”。

于是唐、宋的情况再次出现，当在实战中军队战斗力日益下降时，明朝廷又被迫允许将领们组建并自行训练战斗部队。最著名的就是戚继光组建，后来以他姓氏命名的“戚家军”。当倭寇入侵危险性降低而北方边境告急时，明朝廷又将这支军队与它的指挥官成建制的调到北方前线，并进一步允许戚继光以这支军队为蓝本在北方组建新军。