在年轻的隋朝政府里，以纸上谈兵闻名的李靖并未被人看重。凭借家庭出身，十六岁时，李靖便成为这个政府里的一名小职员——长安县辅佐县令分管人事的从九品功曹。然后，他一路升迁，从正七品的负责皇宫宴饮集会等日常事务的殿内直长，升至负责交通、马政、畜牧的从六品驾部员外郎。直到近三十岁的时候，李靖还在从六品的这个职位上虚耗时光。

仁寿元年（公元601年），李靖的兄长李药王因为在对突厥作战中失利而被削去爵位，贬为平民。受兄长牵连，李靖也由京官被贬为汲县（今河南省卫辉市）县令这样的地方官。在此后的十几年里，李靖还曾先后但任安阳（今河南省安阳县）县令、三原（今陕西省三原县）县令，直到四十六岁的时候，才被升为马邑（今山西省朔县）郡丞（太守的副职）。

天才需要天才的土壤，军神需要军神的时机。纵观中国古往今来的名将，无不是因为身逢明主，恰遇时机，才能尽情展现于历史的长河之中。然而，在隋朝政府中，李靖蹉跎半生。就在这位天才即将消逝的时候，历史又一次给他开了一个玩笑。

隋末政治局势混乱，各方群雄纷纷揭竿而起。唐高祖李渊担任太原留守，统辖太原、雁门、马邑、楼烦、西河五郡，对抗突厥的侵犯，时任马邑郡丞的李靖是李渊下属的下属。李靖在参与李渊抵抗突厥的过程中觉察到李渊有谋反的迹象，于是便要前往江都（今江苏省扬州市）向隋炀帝揭发李渊。按照隋朝的法律，下属告发上级，是要戴枷的。李靖毫不犹豫，将自己锁了起来，坐着囚车便离开了李渊。

几十年的受压制和磨练成就了李靖应付各种局面的能力，可谓三十年磨一剑。江都去不得，年近半百的李靖这点道理还是懂得的，他只是要找一个借口离开风暴的中心。到了都城长安之后，李靖便停了下来。他要为自己的前途作一番打算。在隋末的各支武装中，他判断着哪一支更值得投靠。最终，他选择了李渊。相对于其他反隋武装的首领，李渊显得更为沉稳冷静，而且行事果断。李靖决定在长安等李渊。

不久，李渊太原起兵，很快便攻占长安。随后，他搜捕李靖，必要将这个可耻的告密者斩首以泄心头之恨。

临刑前，李靖痛斥李渊：“公起义兵，本为天下除暴乱，不欲就大事，而以私怨斩壮士乎！”

李靖的话并没有打动李渊，但是引起了李渊的思考。李世民见父亲犹豫不决，当即上前为李靖求情。

事已至此，李渊“大度”地释放了李靖，把他编入李世民的队伍。