东汉在边防线设置专门军区、以职业兵守卫边防的作法为以后各代继承。北魏在经过长期战乱后重新统一北方的同时，大致沿汉长城线布防，设置军府或军镇，实行军管统治，镇将“上马管军、下马管民”，是武将兼文官，实际和西汉初年文官兼武将的制度相仿。在北魏的统治稳定后，开始将很多军镇改为州郡，但仍保留沃野（今内蒙五原北）、怀朔（今内蒙固阳北）、抚冥（今内蒙四王子旗东南）、武川（今内蒙武川西）、柔玄（今内蒙兴和北）、怀荒（今河北张北北）6个军镇，号为“六镇”，沿阴山南麓大致形成一条东西向平直的防御线，作为防御正北面柔然部落侵扰的边防军区。另外西北的防御则保留敦煌、鄯善（今青海西宁一带）、薄骨律（今宁夏银川）等军镇。各镇设置镇都大将（镇主）为最高指挥官，镇下要地设置据点“戍”，由“戍主”指挥，往往兼地方的太守。“六镇”军人原来都是鲜卑部族兵，地位很高，但随着鲜卑族的两极分化，军官成为贵族，而士兵地位下降。自北魏孝文帝改革后，北魏鲜卑贵族迁往洛阳；镇兵则大量加入很多各族战俘以及罪犯，都被划为“营户”，世袭为兵，处于贱民地位。这种地位的反差成为后来六镇发动叛乱的导火索。

唐朝建立起空前强大的帝国，唐太宗时将全国划分为41个军区，各设置都督府，主管军事，和358个州的民政系统重叠。边防线设置了6个大军区，其中5个在北方，各设置“都护府”，统管军区内军民事务。从西而东分别为：安西都护府，设在龟兹，镇守天山南部及以西地区，以下设置龟兹、于阗、疏勒、焉耆4镇为军分区；北庭都护府，设在庭州，统领天山以北16个府、州；安北都护府，设在金山（蒙古科布多），下辖6部都督府，统辖广大漠北地区；单于都护府，设在云中（今山西大同），下辖3个都督府、14个州，统辖漠南地区；安东都护府，原来设置于朝鲜半岛，后来内迁到辽东（今辽宁辽阳）。南方设置安南都护府，设于交州（越南河内）。

都护府的军队大多征发当地各民族组编而成，仅在大战争情况下才由朝廷派兵。由于距离遥远，都护府有相当的自主权力，自行因地制宜组编边防军部队，一般以地名称呼，大的称某某军，小的称某某守捉、某某镇。

唐朝建国百年之后，契丹、奚等逐渐在北方兴起，吐蕃也从西向东扩展势力。唐玄宗时期重新部署边防，先是在北方设置左、中、右3大军区，各设大总管府，增加部署兵力。