公元前121年，李广以郎中令身份率四千骑兵从右北平出塞，与博望侯张骞的部队一起出征匈奴。李广部队前进了数百里，突然被匈奴左贤王带领的四万名骑兵包围。李广的士兵们都非常害怕，李广就派自己的儿子李敢先入敌阵探察敌情。李敢率几十名骑兵，冲人敌阵，直贯匈奴的重围，抄出敌人的两翼而回。回来后向李广报告说：“匈奴兵很容易对付。”李广的军士听了才安定下来。李广布成圆形阵势面向四外抗敌。匈奴猛攻汉军，箭如雨下，汉兵死伤过半，箭也快射光了。李广就命令士兵把弓拉满，不要发射，他手持强弩“大黄”射杀匈奴裨（副）将多人，匈奴兵将大为惊恐，渐渐散开。这时天色已晚，汉官兵都吓得面无人色，但李广却意气自如，更加致力于整饬军队。军中官兵从此都非常佩服李广的勇气。第二天，他又和敌兵奋战，这时博望侯张骞的救兵才赶到，解了匈奴之围。

元狩四年(公元前119年)，大将军卫青与骠骑将军霍去病深入漠北打击匈奴。李广多次请求随军出征，武帝认为他年老未被启用。直到元狩六年才被任命为前将军，随卫青出征。出塞，卫青得知单于的驻扎地，卫青决定自率精锐部队与刚失去了侯位的好友公孙敖一同袭击单于，希望能够立功。而命前将军李广与右将军赵食其从东路出击。东路道迂回且远，水草极少，不利于行军。李广亲自请求为先锋，说：“臣部为前将军，今大将军乃徙令臣出东道，且臣结发而与匈奴战，今乃一得当单于，臣愿居前，先死单于。”可是卫青曾暗中受到武帝的嘱咐，认为李广年老又命数不好，不要让他与单于正面对阵。李广坚决拒绝调动。卫青不接受他的请求，命令长史下道文书，让李广赶快到所在部队去，照文书说的办。李广没有向卫青告辞就动身了，内心极其恼怒地回到营中，领兵与右将军会合，从东路出发。部队因无向导，迷失了道路，落在大将军后面，耽误了约定的军期。漠北之战，李广赵食其战时不曾赶到，“见单于兵陈而待”，卫青当机立断，创造性地运用车骑协同的新战术，命令部队以武刚车“自环为营”，以防止匈奴骑兵的突然袭击，而令5000骑兵出击匈奴。伊稚斜单于乃以万骑迎战。此战汉军追击200余里，俘斩敌军1.9万余名，但伊稚斜单于“视汉兵多而士马尚强，战于匈奴不利”，遂趁夜幕降临，跨上一匹善于奔跑的精骑，率领数百壮骑杀出重围向西北方向逃去。

回师后，卫青派长史拿了干粮酒食送给李广，顺便问起李广等迷路的情况。李广不予回答，卫青又派长史紧催李广的幕府人员前去听候审问。李广说：“诸校尉无罪，乃我自失道。吾今自上簿。”