隋唐时期朝廷府兵12个卫各设正三品的大将军。以下各卫设将军，从三品；长史，从六品上；录事参军事，正八品上；以下另有参军、司阶、校尉、旅帅、队正、副队等大小军官。地方各府（隋朝称“骠骑”、“鹰扬”等府，唐朝称折冲府）设折冲都尉，按照军府上、中、下等，由正四品上至正五品下；副手为果毅都尉，从五品下至从六品下；下设别将，正七品下至从七品下；长史，正七品下至从七品下；兵曹参军，从八品下至从九品下。下属有校尉、旅帅、队正等低级军官。

这些是平时的武官，战时以亲王担任总指挥的称元帅，在战区内统管文武官员的，称总管。边境军区设置“节度使”，因为“受命之日，赐之旌节（代表皇帝的信物）”，得以有军事指挥的专断权力。下有大使、副使、判官等属官，指挥驻军。原来是由文臣担任的，在唐玄宗统治的后期逐步改为由武将专任。安史之乱后内地也普遍设置节度使，成为一种高级武官的职称。但是实际上并没有正式级别。其级别要看节度使所挂的其他官职，比如早期节度使往往挂有尚书衔，那就是级别最高的官员了。后期的节度使有的挂中央军12卫大将军衔，有的挂太尉、或“中书门下同平章事”的宰相头衔，级别相当混乱。

出于唐末五代军阀割据、武夫专政的历史教训，宋朝统治者有意实行“以文压武”的政策，总的来说武官的实际级别大大降低。另外又实行“官”、“职”分离的制度，使得武官的级别与所任军职并没有必然联系。最高级别的武官仍然是“太尉”，但只有从二品，而且只是个荣誉称号，无论文武都可以封授。同时保留了前朝的种种将军、校尉名号，但只是作为武官的“赠典”，只有荣誉称号的意义，甚至有的号为“大将”，实际上只是个没有品级的官。

武官的级别以“某某使”（北宋后期改为某某大夫）来表示品级，如传统的称号：节度使（从二品）、承宣使（正四品）、观察使（正五品）、以及防御使、团练使、刺史等（均从五品），或者是宋代新创的内客省使（正五品）、四方馆使（正六品）等等，低级军官为“某某副使”。到北宋末将高级武官改为带有“武”字系列的“某某大夫”，低级军官改为“某某郎”。但都是虚衔，仅仅表示俸禄数额。

真正的最高军职为朝廷“三衙”长官，即殿前司、侍卫马军司、侍卫步军司的“都指挥使”，往往只挂有个四、五品的官衔。而且明确文官可以管辖武官，而武官绝不得管辖文官。在品级比自己高的文官面前，武官只好俯首听命。