将军作为司令官有组织指挥所的权力，可以自行组织“幕府”（因为设置在军营帐篷中而得名），任命“司马”、“长史”等参谋人员。

以后将军长期设置，成为一种正式官职。东汉正式明确“大将军”为朝廷最高级官员，后来一般只用来封赏执掌朝政的外戚（皇后的亲属）。以下有骠骑、车骑、卫将军、伏波、抚军、中军、四征、四镇、龙骧、典军、上军、辅国等等一系列将军称号，如果加上“开府仪同三司”（开府是可以建立正式衙门机构的意思）的名号，也与三公平级。

三国两晋南北朝是将军名号最滥的时期。曹魏在大将军下设“中领军将军”来统帅中央军集群，又将护军都尉改为护军将军，来主持武官的选拔委派。以后这两种级别最高的将军也逐渐增设。其他有左、右卫将军，骁骑将军、游击将军等。实行九品官制后，凡大将军或开府将军都列一品，骠骑、车骑、领军、护军等将军为二品，左、右卫以及前、后、左、右将军为三品，校尉为四品。在将军府担任参谋工作的长史、司马、主簿、参军等武官为五、六品。基本军官则仍然是以“尉”为名，最低的塞尉为九品。到了后来将军越封越多，晋代将军仅名号就有40种，而将军名号与所承担的指挥职务完全无关，甚至习惯上前、后、左、右将军是授予文官的称号，比如东晋时王羲之就是“右军将军”。而南梁的将军名号居然多达240种，在区分品级外又分成44班。北魏有60多号将军，都是用来“褒赏勋庸”，并没有军事指挥职权。

这一时期实际担任战区或方面军指挥职务的官职改称“都督”。起先这是一个全军总指挥职务，如公元216年曹操曾命令夏侯惇以大将军身份“督二十六军”，222年曹真以大将军“都督中外诸军事”。以后越设越滥，一个州、一个郡大小的军区也设都督。晋代制度：以“都督诸军”、“都督中外”为全军指挥，“监诸军”为临时指挥，以下战区都督有“使持节”、“持节”、“假节”3个等级，“使持节”有权杀地方长官以下，“持节”有权杀无官位人，“假节”只能处死违反军令者。这种制度被以后南北朝各代继承，除了指挥朝廷直属军队的一些将军职称外，只有加了都督衔的将军才是真正的武官。北周又另设“行军总管”作为方面军指挥。