經過李淵的老謀深算和李世民的努力協助，造反的班底算是搭建起來了。問題是，造反無論如何不是一件容易的事情，弄不好就要身敗名裂。李淵是個城府很深的人，既然決定造反，那就一定要把準備工作做好，確保萬無一失。造反之前，李淵一共幹了五件大事。
第一，召集兒女。俗話說，打仗親兄弟，上陣父子兵。李淵要是造反，最信賴的當然是自己的兒女。可是，當時他的幾個大一點兒的兒女中，只有李世民在身邊，其餘長子李建成、三子李元吉和女婿柴紹都不在太原。怎麼辦？往回叫吧。這幾個孩子接到父親的書信，也都拚命往回趕。到六月，基本都到了太原。
第二，收買民心。就在大業十三年（617）五月，太原留守李淵忽然接到一封皇帝的敕書。裡面寫著：「發太原、西河、雁門、馬邑民年二十已上五十已下悉為兵，期歲暮集涿郡，擊高（句）麗。」大意是說，凡太原及其周邊地區，男子在二十歲到五十歲的，統統當兵，到年底再去打高句麗。這不是掃地為兵，讓老百姓都去送死嗎？
這道敕書一傳開，馬上「人情恟恟，思亂者益眾」。老百姓都議論紛紛，想要造反。難道隋煬帝此時真的發出了這樣一道敕書嗎？其實並不是。這是李淵讓劉文靜偽造的。問題是，這個偽造的敕書太像真的了。誰都知道，隋煬帝一直對高句麗耿耿於懷，也一直沒死了打高句麗的心，所以，說這道敕書是他發出的，絕對無人懷疑，也無人不恨之入骨。就這樣，憑一封偽造的敕書，李淵成功地把太原變成了一個火藥桶，也為自己以後起兵贏得了民心基礎。
第三，大肆募兵。要想造反，不光要有民心，還要有兵力。李淵手裡已經有了幾萬士兵，但是還嫌不夠，還要再招募一些。當時，太原周邊有很多支造反軍隊，其中有一支軍隊的領袖叫劉武周，此人藉助突厥勢力，把馬邑太守王仁恭殺了，還搶佔了隋煬帝的行宮汾陽宮。
李淵擔任太原留守，不僅要防控突厥，還要防控起義軍。現在，聽聞起義軍佔了皇帝的行宮，李淵就把手下的軍官都召集到一起，問他們：「武周據汾陽宮，吾輩不能制，罪當族滅，若之何？」劉武周佔據汾陽宮，我們卻不能制止，論罪該當滅族，怎麼辦？
這些將領也都在為這件事發愁，此刻趕緊說，我們沒主意，都聽您的。聽了這句話，李淵為難道：「朝廷用兵，動止皆稟節度。今賊在數百里內，江都在三千里外，加以道路險要，復有他賊據之；以嬰城膠柱之兵，當巨猾豕突之勢，必不全矣。進退維谷，何為而可？」朝廷用兵，行止進退都要稟明上級，問題是，如今賊在三百里外，而皇帝在三千里外的江都，加上道路險要，還有別的盜賊盤踞，我們如此拘泥，盜賊則勢如虎狼，兩相較量，我們必然無法保全。真等稟報了皇帝再決定，那恐怕黃瓜菜都涼了，我也是進退維谷，不知怎麼辦才好啊！
手下一聽，趕緊表態說：「公地兼親賢，同國休戚，若俟奏報，豈及事機；要在平賊，專之可也。」您既是宗親，又是賢臣，同國家命運休戚相關，若是事事等著奏報，哪裡趕得上時機？只要是為了平滅盜寇，專權也是可以的。意思是說，別稟報了，就您說了算吧。
李淵見目的達到了，這才說：「然則先當集兵。」既然如此，那我就專權一把。現在兵力不夠，要想大敗起義軍，只好趕緊募兵。文書發布出去，沒過半個月，就招募了一萬人左右，讓李世民還有他結交的那幫英雄統領。
第四，除掉絆腳石。隋煬帝雖然派李淵擔任太原留守，但對他也並不是完全信任。還派了兩個副手，一個叫王威，另一個叫高君雅，讓他們來監視他。這兩個人本來也同意李淵募兵，但是把招募來的新兵都交給逃兵役的罪犯來統領，他們心裡不免懷疑起來了。這個唐公，不會是想造反吧？想到這兒，他們決定先把劉弘基和長孫順德抓起來審一審。李淵當時各項準備工作還沒有完全做好，如果這時候把他手下的重要將領抓起來審問，難免會露出蛛絲馬跡來，後果將不堪設想。可有道是「吉人自有天相」，就在這個時候，有一位貴人來給李淵幫忙了。
此人是山西當地的一個木材商人，名叫武士彟，就是大名鼎鼎的女皇武則天的爸爸。這個人精明強幹，黑道、白道都能走，別看只是一介商人，但跟太原的軍政長官都很熟。就在王威和高君雅想要追查李淵手底下那些統兵官將發未發之際，有一天，武士彟來找王威和高君雅喝酒。
大家平常關係都很熟，喝酒的時候，說話也比較開放，王威和高君雅也沒想背著他，就說：「順德、弘基皆背征三侍，所犯當死，安得將兵！」劉弘基、長孫順德都是逃避兵役之人，是罪犯，現在唐公讓他們領兵是什麼意思？所以我們想把這兩個人抓起來審一下。
武士彟一聽他們這麼說，大腦開始飛速旋轉起來：太原留守和副留守之間產生矛盾了，而且不是一般的矛盾，這恐怕就是擁隋和反隋的兩條路線鬥爭！在這兩條路線之間，哪個更有前途？武士彟是一個聰明人，他覺得反隋更有前途。既然如此，何不給自己搏一個未來呢？想到這裡，他裝出一副推心置腹的樣子，對王威和高君雅說：「二人皆唐公客，若爾，必大致紛紜。」兩位老兄真要去審劉弘基和長孫順德？恐怕不妥呀。這兩個人都是唐公的客人，現在並沒有什麼實實在在的證據，你就抓人家手底下的人，以後你們上下級之間的關係還怎麼處理？還是先放放，有了證據再說吧。王威和高君雅也比較優柔寡斷，覺得有道理，真就把這事兒給放下了，暫且算是救了李淵。
不過，雖然武士彟暫時替李淵擋了一下，但是眼看著李淵緊鑼密鼓地張羅，王威和高君雅也不是傻子，心裡的疑慮還是越來越大。怎麼辦？此時正逢太原大旱，李淵作為最高軍政長官，要到晉祠去替百姓祈雨，王威和高君雅想來想去，打算趁李淵出城，身邊沒有防備的時候把他抓起來，交送隋煬帝。他反也罷，不反也罷，由皇帝說了算。這可是千鈞一髮之際，試想，起義都還沒有開始，主帥如果被抓起來，那是什麼後果？
但是，謀划了這麼一件事之後，王威和高君雅又犯傻了。這兩個人一貫辦事不密，不小心把這事情告訴了他們的一個朋友。此人名叫劉士龍，是晉陽的一個鄉長，算是基層公務員。
劉士龍也是個八面玲瓏的人，內心判斷了一番之後，把這件事報告給了李淵。李淵大吃一驚，連夜做了安排。第二天早晨，他照樣和王威、高君雅一起坐在府衙里處理公務。處理未畢，劉文靜帶進來一個人，聲稱有密狀。李淵就讓他交給王威。沒想到，這個告密狀的人堅決不給，說自己這密狀告的就是兩位副留守，所以，堅決不能交給他們，一定請唐公您親自看！
李淵一聽，假裝大驚失色，趕緊接過來看，只見裡面赫然寫著：「威、君雅潛引突厥入寇。」王威、高君雅暗中勾結突厥人入侵。
直到此時，高君雅終於反應過來，破口大罵說：「此乃反者欲殺我耳！」這是造反的人要殺我了啊！可是，此時再明白還有什麼用？劉文靜和劉弘基、長孫順德一干人一擁而上，把兩位副留守抓了起來，砍頭了事。就這樣，王威和高君雅舉報李淵未成，反倒被李淵先發制人，成了冤死鬼。
把這兩個絆腳石除掉，意味著李淵的內部穩定下來了，從此，整個太原城就聽李淵的了！
第五，稱臣突厥。現在，李淵兵源有了，民心有了，內部也穩定了，他還差什麼？李淵要想奪取天下，還有一個最大的顧慮，那就是太原以北的突厥。突厥當時兵強馬壯，一旦李淵發兵去攻打大興城，他們從背後打過來，那李淵就腹背受敵了。怎麼辦呢？這時，劉文靜出主意說，不如和突厥聯合，這也是中原政權的老方法，當年北周和北齊都這麼干。李淵也熟知此道，馬上依計而行。
怎麼聯合突厥呢？李淵打點了一大堆金銀珠寶送給始畢可汗，還以臣子對君主的禮儀，親自給始畢可汗寫了一封信，信上說：「欲大舉義兵，遠迎主上，復與突厥和親，如開皇之時。若能與我俱南，願勿侵暴百姓；若但和親，坐受寶貨，亦唯可汗所擇。」現在天下大亂，皇帝在江都不回來，這樣不行！所以，我想舉義兵，把他接回來主持局面。然後和突厥和親，跟當年文帝時候一樣。可汗若是願意和我一起興兵南下，那我當然歡迎，如果只是想和親，不想和我們一起打仗，那我們也高興，照樣會奉上禮物。
這其實是給始畢可汗指了兩條路，一條是幫李淵一起打，這是積極方案；還有一條路，就是不幫忙，但是也不壞事，這是消極方案。
兩條道路都對突厥有利，始畢可汗當然不會拒絕。他到底選哪條道路呢？他選的是積極道路，派了兩千兵馬過來助陣。突厥這樣一表態，李淵終於覺得，萬事俱備，只欠東風了。
大業十三年（617）七月，李淵以第四子元吉為太原太守，留守晉陽宮，坐鎮後方。自己則在軍門誓師，夾雜著打起絳、白兩色大旗，表示既服從隋朝，又服從突厥，然後打著推尊遠在大興城的