次日，天剛蒙蒙亮，李建成、李世民兄弟各統騎兵五百人，翻過山口，到達了宋老生駐紮的霍邑城外。不多時，就見李淵也帶著手下大將殷開山，統領了步兵兩千多人，也翻過了山口。
李淵下令：先不要急著安營紮寨，今晚我們就進城歇息，城裡的女群眾，盼望我們好久好久了耶……大郎二郎，你們各帶二十名騎兵，與我在城門附近埋伏，全部騎兵化整為零，每組二十人左右，與我將霍邑城團團圍定。
李建成和李世民面面相覷，這個當爹的，他可真不得了。城裡的宋老生，手下統有將士三萬之眾，而李淵竟然讓他們兄弟倆率騎兵一千人圍城，你一千人圍得住三萬人嗎？雖然心裡嘀咕，可兩人誰也不敢吭氣，都知道李淵既然這樣安排，必然有他的道理，就依言行事，兩人各領了二十名騎兵，在霍邑城南門附近來來回回遊盪。
這邊李淵命令殷開山將兩千名步兵排成方隊，遠遠站著，沖著霍邑城嗚嗷喊叫。
宋老生髮現李淵的人馬在後方出現，大大吃了一驚。他也看到了成群的騎兵在城外跑來跑去，心裡就有點打鼓，他這邊雖然有三萬之眾，可清一色步兵，步兵跟人家騎兵怎麼個打法？讓人家騎兵拿馬一撞一個跟頭。可如果不出城，只怕不知哪個王八蛋就會立即放出一隻信鴿，飛往長安，說自己和李淵是一夥的……沒辦法，乾脆讓三萬步兵全部衝出去算了……
霍邑城的南門、東門同時打開，三萬部眾發出了驚天動地的吶喊之聲，向著李淵那兩千人沖了過去。只見李淵絲毫也不猶豫，掉頭就走，宋老生的人馬在後面緊追不放，正追之際，忽聽後面喊聲震天，原來是李建成帶領二十個騎兵，不由分說搶了南門，李世民帶了二十個騎兵，趁這機會搶了東門。
三萬人馬回頭一看，登時大怒，你這邊總共才二十個人，也敢抄後路，真是太不像話了。就聽三萬人齊聲吶喊，掉頭向門口方向殺去，不想李淵也趁這機會大聲喊叫，尾隨其後追殺而來。
戰鼓還未擂響，兩軍已經開始衝鋒，李淵以不過三千人的兵力，成功的將對方三萬人馬團團圍困，這激起了宋老生部將的凶性，只聽殺聲震天，無數雙腳踏起的塵埃遮蔽了天空，震動得城池搖搖欲墜。這時候宋老生正指揮若定，忽見李淵跳起來，站在馬背上，手裡舉著一顆人頭，大聲喊叫道：宋老生死了，宋老生的人頭在這裡……李淵一喊，他手下的兩千名士兵也同聲吶喊：宋老生死了，大家殺啊……
聽了這番喊叫，宋老生的鼻子差一點沒氣歪，趕緊跟旁邊的人解釋：我沒死，我還活得好好的……可是他一個人的辯解聲，終究大不過兩千人的齊聲吼叫。三萬部眾以為統帥真的被殺，頓時亂成一團，向著四面八方，哭喊著自顧逃命，被李淵驅眾殺來，只砍得滿地人頭滾滾。
宋老生急了，殺出一條血路，終於衝到了南門前，可是李建成率了二十名騎兵堵在這裡，城裡的人不敢開門，怕把李建成放進去。宋老生無奈，只好掉頭往東門方向走，到了東門，又發現李世民率二十人堵在這裡，同樣是無門可入。
宋老生急得向城樓上高喊，我是宋老生，快點懸下根繩子……城樓上很快有繩子懸了下來，宋老生抓住繩子，壁虎一樣嗖嗖往上爬，眼看就要爬上去了，不想下面有個李淵的小兵，也揪住繩子追了上來，他捉住宋老生的一隻腳，向上連揮幾刀，就聽撲哧一聲，宋老生的好大一顆人頭，已然離頸而落。
當宋老生身死的時候，霍邑城下，縱橫數里，躺滿了密麻麻的屍體，一個挨一個，那情景慘不忍睹。
殺宋老生的士兵跳下來，捧著人頭，飛跑到李淵面前報功。
不曾想，李淵接過人頭，就用力往地下一摔，然後放聲大哭起來。他一邊大哭，一邊罵：宋老生，你這個殺千刀的王八蛋，我李淵兩手清白一輩子，從來不傷害對手，可今天讓你給破了例，你為什麼這麼難為我？為什麼？難道我李淵勤政為民愛護百姓有錯嗎？你就這麼看不過眼？非要逼著我殺人盈野、血流成河嗎？宋老生啊，你為什麼這麼逼我，為什麼啊……
就在李淵捶胸頓足、放聲痛哭聲中，就聽霍邑城門發出了嘎吱的聲響，城門開了，霍邑請降。
李建成和李世民相互對視了一眼，都不由得打心眼裡欽服。
李淵，不愧是當爹的，真有一套，兵不血刃，哭開城門，足夠這倆兒子學一輩子的。
以哭服人，哭到你自開城門投降為止。就這樣李淵兵不刃血，渡過黃河，抵達長安城下。
此時隋煬帝楊廣正巡幸江都，在揚州未歸，長安城裡主持軍務的，是楊廣的兒子代王楊侑。這孩子剛剛九歲，見李淵大軍來到，緊閉城門，拒不出戰。於是李淵對將士們說：我希望，你們能夠明白我的心愿，我是受天之命，來保衛皇上的，我不願意看到戰火突起，不願意看到有一個百姓因為我死亡，倘若出了這樣的事，是殺是砍是剮是剁，我李淵隨你們處置。
說完這句話，李淵就回到軍帳里，把帳門牢牢地關上，堅決不向外邊偷看一眼。外邊的軍士則在大郎李建成、二郎李世民的帶領下，將長安城附近的竹子樹木，統統砍光，用來製造攻城的器械。等到李淵終於走出軍帳的時候，三軍將士，已經爭先恐後，登城而入，攻下了長安城。
見此情形，李淵痛心不已，仰天長慟：陷孤不義，皆卿爾等。
唐軍邁著大步進入長安，代王楊侑躲藏在府中不敢露面，李淵率兵而入，跪在楊侑面前大哭，哭罷，宣布廢黜天子楊廣，擁立楊侑為皇帝。小楊侑也不傻，立即任命李淵為大丞相，主管一切軍務政務，加封唐王。
再接下來的事情，也就順理成章了。大隋最後一任帝王楊侑，哭著懇求把天下讓給李淵，李淵斷然拒絕，說：你把我當成啥人啦……楊侑再懇求，李淵再拒絕，說：少跟老子整這事……楊侑跪在地上，磕頭如搗蒜地懇求。李淵說：請你不要再侮辱我的人格啦，我李淵豈是那種人……外邊的受禪檯子搭好了沒有？搭好了那就趕緊吧……
萬般無奈，不情不願，李淵從楊侑手裡接過了天下。盛世大唐，於此徐徐拉開了帷幕。