公元前 127年，匈奴贵族集结大量兵力，进攻上谷、渔阳。武帝派卫青率大军进攻久为匈奴盘踞的河南地（黄河河套地区）。这是西汉对匈奴的第一次大战役。卫青率领四万大军从云中出发，采用“迂回侧击”的战术，西绕到匈奴军的后方，迅速攻占高阙（今内蒙古杭锦后旗），切断了驻守河南地的匈奴白羊王、楼烦王同单于王庭的联系。然后，卫青又率精骑，飞军南下，进到陇县西，形成了对白羊王、楼烦王的包围。匈奴白羊王、楼烦王见势不好，仓惶率兵逃走。汉军活捉敌兵数千人，夺取牲畜一百多万头，完全控制了河套地区。因为这一带水草肥美，形势险要，汉武帝在此修筑朔方城（今内蒙古杭锦旗西北），设置朔方郡、五原郡，从内地迁徙十万人到那里定居，还修复了秦时蒙恬所筑的边塞和沿河的防御工事。这样，不但解除了匈奴骑兵对长安的直接威胁，也建立起了进一步反击匈奴的前方基地。卫青立有大功，被封为长平侯，食邑3800户。

匈奴贵族不甘心在河南地的失败，一心想把朔方重新夺回，所以在几年内多次出兵，但都被汉军挡了回去。公元前 124年春，汉武帝命卫青率三万骑兵从高阙出发；苏建、李沮、公孙贺、李蔡都受卫青的节制，率兵从朔方出发；李息、张次公率兵由右北平出发。这次总兵力有十几万人。匈奴右贤王认为汉军离得很远，一时不可能来到，就放松了警惕。卫青率大军急行军六、七百里，趁着黑夜包围了右贤王的营帐。这时，右贤王正在帐中拥着美妾，畅饮美酒，已有八九分醉意了。忽听帐外杀声震天，火光遍野，右贤王惊慌失措，忙把美妾抱上马，带了几百壮骑，突出重围，向北逃去。汉军轻骑校尉郭成等领兵追赶数百里没有追上，却俘虏了右贤王的小王十余人，男女一万五千余人，牲畜有几百万头。汉军大获全胜，高奏凯歌，收兵回朝。

汉武帝接到战报，喜出望外，派特使捧着印信，到军中拜卫青为大将军，加封食邑8700户，所有将领归他指挥。卫青的三个儿子都还在襁褓之中，也被汉武帝封为列侯。卫青非常谦虚，坚决推辞不受。汉武帝随后又封赏了随从卫青作战的公孙敖、韩说、公孙贺、李蔡、李朔、赵不虞、公孙戎奴、李沮、李息、豆如意等。

经过几次打击，匈奴依然猖獗。入代地，攻雁门，劫掠定襄（今内蒙古和林格尔）、上郡（今陕西绥德县东南）。公元前 123年二月，汉武帝又命卫青攻打匈奴。公孙敖为中将军，公孙贺为左将军，赵信为前将军，苏建为右将军，李广为后将军，李沮为强弩将军，分领六路大军，统归大将军卫青指挥，浩浩荡荡，从定襄出发，北进数百里，歼灭匈奴军数千名。这次战役中，卫青的外甥霍去病率 800精骑首次参战，取得了歼敌两千余人的辉煌战果。战后全军返回定襄休整，一个月后再次出塞，斩获匈奴军一万多名。

公元前119年，为了彻底击溃匈奴主力，汉武帝集中全国的财力、物力，准备发动对匈奴的第三次大战役。挑选了十万匹精壮的战马，由大将军卫青、骠骑将军霍去病各率精锐骑兵五万人，分作东西两路，远征漠北。为解决粮草供应问题，汉武帝又动员了私人马匹四万多，步兵十余万人负责运输粮草辎重，紧跟在大军之后。原计划远征大军从定襄北上，由霍去病率骁勇善战的将士专力对付匈奴单于。