下定決心，開創大業

正在李淵遲疑不定的時候，一件極其糟糕的事情促使李淵下定了決心，起兵謀反。原來，大業十二年（616年），東突厥又來侵犯，李淵派出的人被突厥打敗了。看到下屬對抗突厥不利，李淵很擔心自己也會因此而受到牽連，因而每時每刻都很擔心。李世民抓住這個好機會，再次勸說李淵：“父親，您很明白，您早晚有一天會因為征戰失利而被問罪，因為您不能保證自己百戰百勝。如今，內憂外患，情勢緊張，我們與其等著被治罪，還不如占據主動，舉兵起義。將來有朝一日您成為皇上，還有誰敢治您的罪呢？”李世民果然料事如神，不久后，隋煬帝就因為這次對抗突厥失敗，免除了李淵及其下屬的職務，并且下令讓人押解李淵及其下屬到江都。李淵知道自己一旦到了江都，也許就沒有活命的機會了，因而趁此機會又去詢問李世民和裴寂對這件事情的態度。李世民和裴寂抓住這個機會勸說李淵舉兵起義，李淵卻擔心眾人不服。

李世民和裴寂紛紛勸說李淵，幫助李淵鼓舞信心。在他們的一番分析之下，李淵終于下定決心舉兵起義。難道李淵此前從未有謀反之意，只是因為李世民和裴寂的勸說，才有了謀反之心嗎？當然不是。李淵雖然謹慎，卻并非沒有膽識和謀略。實際上，他早在大業七年（611年）就有了謀反之意，只是時機未到，所以一直韜光養晦而已。大業十一年（615年），好友夏侯端也勸說過李淵謀反，李淵完全贊同夏侯端的主張，下定決心要謀反。接下來，他一直在等待合適的時機舉兵。擔任太原留守期間，李淵廣納人才，招兵買馬，名義上是為了守住太原，實際上是借著公務的機會發展自己的勢力。后來，他更是借著李世民和裴寂一起勸說他的機會，順水推舟地答應舉兵。

李淵盡管已經下定決心要舉兵，卻深知謀反要想成功是非常困難的。這個時候，不僅李淵在廣納賢才，李世民也結交了很多英雄豪杰，還培養了對他忠心耿耿的死士。至此，他們形成了效忠于李淵的一個組織結構，體系嚴密，紀律森然。后來，這些人成為了李淵起兵的重要軍事力量和政治力量。等到李淵正式建立唐朝后，他們都成為了開國功臣，也成為了當朝元老。

李淵和李世民等人一直在有條不紊地做著準備工作。到了大業十三年（617年），馬邑兵變爆發。李淵預感到時間越來越緊迫，因而讓李世民和劉文靜加快速度招兵買馬。因為老百姓都對隋煬帝恨之入骨，所以他們擴大勢力的速度很快，才十來天，李淵就增兵近萬。

這個時候，作為副太守的王威和高君雅聽到人們議論紛紛，也開始懷疑李淵父子企圖謀反。他們當機立斷，想要借著祈雨大會的機會誘殺李淵，卻被晉陽鄉長劉世龍告密，因而李淵父子率領眾人搶先除掉了王威和高君雅。自此，李淵父子二人正式起兵反隋。

李淵驍勇善戰，征戰無數，當然知道要想成就大事，先要免除后患的道理。他趕在起兵之前，就讓留守河東的長子李建成帶領全家來到太原，便于互相照顧，保存血脈。不得不說，李淵老謀深算，他還拒絕了突厥派兵援助的提議，從而避免了突厥借此機會攻打他的后方，保證了后方的穩定。在這樣的巧妙安排和深思熟慮之下，李淵決定直取長安——隋朝的國都和軍事重地。此時此刻，隋煬帝正在外面四處巡游，長安空虛，而且擒賊先擒王，一旦拿下長安，人心就會歸順。

李淵并不心急，他深知如果想要推翻隋朝，很容易引起百姓不滿。所以他選取了一條中庸之道，即推翻隋煬帝，而不推翻隋朝，從而以這種方式避免那些忠誠于隋朝的軍隊和他為敵，也避免了同情隋朝的人站到他的對立面。與此同時，采取這樣的策略還能爭取到那些反對隋朝的勢力，獲得他們的支持，使得起兵更加順利。李淵雖然是一員武將，但是他心思縝密。在決定軍隊旗幟的顏色時，他也考慮周詳：為了避免漢人不滿，他決定不用突厥的白旗；為了不激發百姓的怨恨，他決定不用隋朝的紅旗。最終，他采用了紅白相間的旗幟，既能夠與突厥撇清關系，也可以與隋朝劃清界限，從而避免了成為眾矢之的。

為了起兵成事，李淵做足了準備，思慮周全。他想到了所有的細節：為了讓自己的起兵變得合天意、順民心，他還讓汾、晉兩地的百姓們傳唱《桃李子歌》：“桃李子，莫浪語，黃鵠繞山飛，宛轉花園里。”這首歌的意思正是暗示唐公有天命，理應登上王位。就這樣，李淵成功造勢，盡得人心。

李淵在看到李密開糧倉救濟百姓，得到民心之后，也效仿李密的做法，打開糧倉，賑濟災民。如此一來，老百姓對李淵更加信任。得知李淵正在招兵買馬，他們紛紛報名，才用了不到二十天，李淵就又招募了幾萬兵馬，隊伍聲勢越發壯大。

很快，朝廷就知道了李淵舉兵謀反的消息。隋煬帝當即命令長安、洛陽提高警惕，防御李淵的進攻。在權衡利弊之后，李淵決定先除掉西河郡丞高德儒，為南下掃清障礙。他把這個任務交給了長子李建成和次子李世民。這是李淵起兵之后第一次作戰，意義非同尋常，因而他再三叮囑兩個兒子必須首戰告捷。對于戰爭的結局，李淵其實心懷忐忑。雖然隋朝大勢已去，但是隋朝的軍隊畢竟是正規軍，戰斗力很強，而他們所率領的起義軍都是烏合之眾，雖然有著推翻隋朝的熱情，卻沒有接受過正規訓練，也缺乏實戰經驗。尤其是作為青年將領的李建成和李世民，都是第一次獨立指揮戰斗，所以這場戰爭最后的結局勝負未明。

結局出乎李淵的預料，老百姓對李淵的呼聲很高，都不愿意幫助高德儒守住城池。有些士兵臨陣倒戈，有些士兵拒絕迎戰，就這樣，李建成和李世民幾乎沒費力氣就攻占了西河郡。見到此情此景，李建成和李世民固然喜出望外，卻沒有被勝利沖昏頭腦。他們仁義愛民，對老百姓秋毫無犯，更是樹立了李淵的好口碑。首戰告捷，李淵信心大增，認為自己一統天下指日可待。那么，李建成和李世民這次出兵為何如此順利呢？這與他們的隊伍軍紀嚴明，愛戴百姓密切相關，也與李世民從小在軍營里長大，能夠和士兵打成一片，獲得士兵的信任和擁戴密切相關。只花費了九天的時間，李建成和李世民就已凱旋。經此一戰，李建成和李世民不但幫助李淵樹立了好口碑，而且還樹立了自己在軍隊中的威望。李淵在西河郡戰役后，再次開倉放糧，收編農民起義軍，他們的兵力越來越強了。