李淵雖然以「勾結突厥」的指控逮捕了王威和高君雅，但是，任何指控都是需要證據的。李淵的證據在哪裡呢？
李建成等人還在路上，所以李淵還不敢正式起兵。在此情況下，如果李淵始終拿不出證據，很可能會引起人們的懷疑，導致興師舉義之事節外生枝。
讓李淵料想不到的是，在這個緊張而微妙的時刻，老天爺居然幫了他一個大忙。
準確地說，是突厥人幫了他大忙。
大業十三年五月十七日，也就是李淵逮捕王、高二人的兩天之後，數萬突厥騎兵突然呼嘯南下，以閃電速度對晉陽城發動了一場奇襲。
由於晉陽守兵猝不及防，致使突厥人迅速突破外城，在北門與東門之間縱橫驅馳，如入無人之境。面對來勢洶洶的突厥騎兵，李淵喜憂參半。喜的是自己隨口栽在王威和高君雅頭上的罪名居然出人意料地坐實了，而今鐵證如山，王、高二人就算是跳進黃河也洗不清了；憂的是自己尚未舉事便有強敵來犯，如果與他們開戰，自己剛剛募集的這支軍隊就會被消耗掉，萬一把老本賠光，還拿什麼起兵？
情急之下，李淵決定唱一出空城計。
他一邊命裴寂、劉文靜等人在宮城（內城）各門暗中布防，一邊下令將所有城門全部打開，將城頭上的旗幟全部撤下來，同時嚴禁城牆上的士兵探頭外看，嚴禁發出半點聲響。
正在來回驅馳、耀武揚威的突厥人一瞬間全都靜了下來。
因為他們看見晉陽宮的城門居然朝他們完全洞開，而且城頭上看不見一名隋軍士兵，整座宮城悄無聲息，寂靜得讓人頭皮發麻。
突厥人不敢貿然進攻內城，也不甘心就此離去，於是一邊在外城繼續劫掠，一邊仍舊對內城虎視眈眈。
李淵登上東南城樓，發現突厥兵雖然人多勢眾，但是往來馳騁、人員分散，於是命部將王康達等人率一千餘人潛行至外城北門處設伏，準備襲擊突厥散兵，一方面劫掠一些馬匹，一方面做一些戰略試探。
但是王康達的行動失敗了。他們剛一動手就被突厥兵團團包圍，一千多人大部分戰死，王康達陣亡，只有一百多人逃了回來。軍民頓時大為恐懼，於是把怨氣全都集中到「勾結突厥」的王威和高君雅身上。李淵順勢將王、高二人當眾斬首，既平息眾怒，又徹底根除了這兩個心腹之患。
城中的軍隊本來就不多，現在又損失了一千人，看來硬打是不行了，而且這出空城計也唱不了多久。李淵隨即又設下一個疑兵計，命部隊在夜色掩護下潛出城外，然後第二天凌晨再旌旗招展、鉦鼓齊鳴地從另一個方向進城。
突厥人一看就慌神了，看上去這是一支援兵，而且人數還不少！滿腹狐疑的突厥人又逗留了兩天，卻一直不敢進攻，最終在外城飽掠一番後引兵北去。
晉陽雖然暫時解圍了，但是對即將起兵的李淵來說，北方的突厥人始終是他背後的一個巨大威脅。萬一他揮師長安，突厥人趁勢進犯太原，那無疑會使他陷入腹背受敵、進退失據的困境。所以，必須暫時向突厥人低頭，除此之外沒有別的辦法。
李淵親自給始畢可汗寫了一封辭意謙恭的信，說：「當今隋國喪亂，蒼生困窮，若不救濟，終為上天所責。我今大舉義兵，欲安定天下，遠迎君上還都，恢複與突厥和親，就像開皇時代一樣。如果能與我一同出兵南下，希望不要侵害百姓，金錢玉帛，皆為可汗所有；如果因為路途遙遠不能南下，只願和親，也可坐享豐厚的財物。該怎麼做，任憑可汗選擇。」
寫完後，李淵在信封上用了「某某啟」的字樣，以示謙卑。負責送信的官員看了那個「啟」字覺得很不舒服，建議多給突厥人送一些財物，然後把「啟」改為「書」。
李淵聽了，大笑說：「這事你就不懂了，古人云：『屈於一人之下，伸於萬人之上！』況且『啟』字又不值錢，你連錢都捨得多給，還捨不得這一個字嗎？」
東突厥的始畢可汗見信大喜。對他來講，馬邑的劉武周、朔方的梁師都、蒲城的郭子和都已經歸附他了，如今太原留守李淵再來投靠，這就意味著隋帝國北部邊境的軍事重鎮都已經向他豁然洞開了。日後一旦舉兵南下，豈不是一路暢通無阻、如入無人之境了嗎？
始畢可汗立刻給李淵回了一封信，表示全力支持他，可以給他提供士兵和戰馬，但條件是讓他像劉武周等人那樣自稱天子，公開反隋。其實也就是讓李淵向突厥稱臣，成為突厥人的附庸。收到回信後，李淵的左右都很高興，唯獨李淵不以為然。他並不是不想獲得突厥的支持，而是不想這麼早就即位稱尊、公然與隋朝決裂。
他的政治智慧告訴他——現在打著「尊隋」的旗號要遠比「反隋」的旗號更安全，也更有利。
因為在勝敗未卜、天下大勢尚不明朗的情況下，「尊隋」要比「反隋」能獲得更多閃轉騰挪的餘地和空間，而過早僭位稱尊就會背負亂臣賊子的罵名，更會成為眾矢之的。此外，李淵也不願意像劉武周他們那樣接受突厥的所謂「天子」冊封，公開成為突厥人的附庸。道理很簡單，與突厥人的合作本來就是迫於時勢、不得已而為之的，或者說是只能一夕不能長久的，說白了，這是各取所需的政治一夜情。既然是一夜情，又怎麼能大張旗鼓、廣而告之呢？再說了，最起碼在名義上、在現階段，李淵仍舊傾向於把自己定位在隋朝的國戚和重臣的角色上，這樣既不會過度傷害自己的民族自尊心和道義感，又能為自己的叛隋起兵抹上一層「匡扶社稷、安定天下」的政治保護色，並且為壯大自身的實力贏得更多寶貴的時間。
有鑒於此，李淵認為自己目前最恰當的姿態應該是在隋朝與突厥之間取得某種微妙的平衡，既不與隋朝決裂，也不與突厥為敵。
換句話說，他必須在隋王朝與突厥人之間走鋼絲。
而且還要在鋼絲上跳舞。
裴寂和劉文靜等人看見李淵遲遲不答覆突厥人，萬分焦急地說：「而今士眾已全部集結，最缺的就是戰馬。胡人的士兵我們不一定需要，但是胡人的馬卻不能不要。您如果遲遲不接受他們的條件，恐怕他們會反悔。」
李淵依舊不同意，說：「你們再想一個折中的辦法。」
六月初，李建成、李元吉和柴紹終於抵達太原。裴寂與李建成、李世民等人商議之後，一起向李淵提出了一個在鋼絲上跳舞的辦法：「廢皇帝而立代王；興義兵以檄郡縣；改旗幟以示突厥。」如此則「師出有名，以輯夷夏」。（《大唐創業起居注》）
李淵笑了。
首先，宣布廢黜楊廣，擁立長安留守、年幼的代王楊侑，這樣既能順應天意人心，還能搶佔政治制高點，挾天子以令諸侯，為造反披上一件正義與合法性的外衣。其次，有了這件美麗的外衣，就能堂而皇之地傳檄天下，團結一切可以團結的力量，締結一個最廣泛的統一戰線，爭取不戰而屈人之兵，用最小的代價換取最佳的結果。最後，為了獲得突厥人在政治和軍事上的支持，不妨在軍隊的旗幟上改用突厥人所用的白色，以此向突厥示好。
很顯然，這是一套既務實又靈活，既不偏不倚又左右逢源的師出有名的起兵方案。李淵幾乎原封不動地接受了。
他只修改了其中一個小小的細節。在軍旗的顏色上，李淵既沒有使用隋朝的紅色，也沒有使用突厥的白色，而是使用紅白相間的雙色。
在鋼絲上跳舞！
李淵決定將這個政治理念貫徹到底。
大業十三年六月初五，在經歷了一連串驚險和曲折之後，以李淵為首的這個政治軍事集團終於在太原正式起兵。
隋亡唐興的歷史大幕就此拉開。李淵的戰略目標非常明確，就是隋帝國的政治心臟——西京長安。要進軍長安，首先必須攻克西河郡。
李淵把這個首戰的重任交給了李建成和李世民兄弟，他說：「你們年輕，未經歷練，先以此郡看你們的表現和作為，現在所有人的眼睛都看著你們，自己努力吧！」說完李淵又下了一道命令：除了往返路程之外，只給你們三天軍糧。
這就是說——如果李建成和李世民在三天內拿不下西河，就意味著失敗。
對初出茅廬的李氏兄弟來說，這絕對是一個嚴峻的考驗。
而且更要命的是，他們率領的是一群根本沒有經過訓練的新兵。
然而，李建成和李世民還是信心百倍地上路了。一路上，他們與士卒同甘共苦，一發現敵情立刻挺身在前；士兵凡有盜竊鄉民菜蔬瓜果的，他們就找到主人，給予賠償，而且並不責罰偷盜的士兵；沿途凡是有父老貢獻食物，他們一律與部眾分享，從不獨自享用；要是有人特別殷勤地送上牛酒等物，他們則婉拒說：「此隋法也，吾不敢。」
憑著這種廉潔自律和寬仁待眾的作風，年輕的李氏兄弟迅速贏得了部眾的擁戴，並贏得了遠近百姓的心。
「義師」的風範和聲譽立即傳播開來，並且傳播的速度比他們行軍的速度還快，馬上就落進