李世民在俘獲了竇建德與王世充後，風光無限地班師回朝。離開長安已近一年，但他卓越的功勛讓長安人民沒有忘記他，給予李世民最為隆重的迎接。
雖然離開了洛陽，但李世民並沒有放鬆對洛陽的控制。他按照李淵的意思，將王世充的舊部全部帶回長安，或斬首或赦免，懲處貪官，籠絡人心；解散舊部，讓士兵們解甲歸田。同時任命屈突通為陝東道大行台右僕射，在洛陽主持局面，讓自己的堂弟李道玄作為洛州總管，陳鈞賓為洺州刺史。這些措施的實施足以保證河北、洛陽等地的安定。
從當時的形勢來看，除掉了鄭、夏兩個政權之後，現在唯一需要唐來考慮的敵對勢力，似乎就是蕭銑了。李淵和李世民也將自己全部的注意力都投注到蕭銑的身上，開始思索對策。但是計畫永遠趕不上變化快，又一團烈火在他們以為安全的山東燃燒起來。
李淵在準備召見竇建德舊部之時，因其之前對王世充舊部的殘殺，導致這些人都不敢上長安朝拜。這其中便有高雅賢、曹湛等人，他們生怕自己一去長安，就會像王世充的那些舊臣一樣，身首異處。在經過計議之後，他們決定推舉劉黑闥為首，起兵反唐。
劉黑闥起兵之後，迅速召集了王世充解散的部隊，在短短的一個月時間內，便由幾百人發展到幾萬人。在李淵等人還沒有反應過來是怎麼回事的時候，劉黑闥便佔領了璋南縣，擊敗了唐派來平定的山東道行台李神通，並殺死魏州刺史權威和貝州刺史戴元祥。如此氣焰不僅讓劉黑闥獲得了大量的部隊裝備，也讓竇建德的舊部受到極大鼓舞，越來越多的人前來投靠，隊伍在不斷壯大。而劉黑闥忽然起兵，使原本臣服李唐的徐圓朗、高開道等曾經的反王也不願再受唐的控制，起兵響應劉黑闥。
很快觀州、毛州、定州等七八個州便成了敵人的領土，這讓長安的李淵坐立不安。他環顧四周，驍勇善戰而又可以讓他信任的將領似乎都已經出戰了，李靖、李孝恭正在平定蕭銑，而且節節獲勝；胡大恩、楊師道等於突厥形成對峙之勢，略佔上風；正當他一籌莫展之時，裴寂忽然急匆匆進來，悲痛地說：「定州總管李玄通在劉黑闥獄中自盡了！」
李淵聽到這個消息，大吃一驚。李玄通本來是隋朝舊將，後跟隨李淵，也曾立下赫赫戰功，是一個有勇有謀的猛將。他一把抓住裴寂的手，急切地問：「這是怎麼回事？」
裴寂說：「李將軍被劉黑闥俘虜之後，聽說他有意招降，但被將軍拒絕了。後來，有定州的舊部去獄中探望將軍，給他送去了酒菜。將軍喝完酒之後，說：我深受國恩，負責在定州鎮守一方。誰知道卻不能抵抗賊人的進攻，愧對祖先，愧對皇恩！還有什麼面目活在世上。說完，便揮劍自盡了！」
聽裴寂講完，李淵跌坐在龍椅上，半天都回不過神來。喪失如此神勇而又忠誠的猛將，讓愛才的李淵非常心痛。他下詔對李玄通的子女給予特殊照顧，以此作為對忠烈的褒獎。
而李世民聽到這個消息之後，本來還在秦王府休整的他，立即來到李淵面前，請求出兵鎮壓劉黑闥。李淵說：「你從洛陽回來沒多久，現在還需要好好休息，就讓其他人去吧！」
李世民堅持說：「劉黑闥本來是竇建德的舊部，我既然俘了竇建德，就該將他一同俘獲！現在他起兵沒有多長時間，就在河北建立了如此頑固的勢力，放任下去，恐怕會養成大患！」
因李世民平定竇建德、王世充的功勞，李淵將他封為天策上將，位置在眾大臣之上。他卓越的軍功讓太子建成非常不安，眼看著就要威脅到太子的位置。而偏愛建成的李淵，也不希望形成兩王相爭的局面，所以也不想李世民功勛過高，因此想盡量選擇別人出征。
正當李淵猶豫之時，又有人送來新的消息：劉黑闥已經破了冀州，被寄予厚望的李世居然也敗了！現在李世只能退守洺州，等待支援。李淵頹然地擺擺手，遣退了信使，對李世民說：「看來，現在只有讓你出征了！」
李世民興奮地領命而去，他先來到了洺州和李世會合，二人連夜秉燭議事。李世詳細地將劉黑闥的情況做了彙報：「起兵以來，劉黑闥已經快要收復竇建德之前所有的領地了，可以說是氣勢如虹，已經連克我數十州。」
李世民問：「你覺得他為什麼能如此勇猛？想當初，劉黑闥可都是你我的手下敗將，而現在卻勢如破竹，連你都不是他的對手，難道就沒有原因嗎？」
李世慚愧地低頭想了想：「在河北一帶，因為竇建德的舊部都在這裡，也算是他最堅固的後防。自從竇建德被俘殺後，有很多他的舊部都非常難過，所以劉黑闥的到來，為他們提供了反唐的契機。」
聽了李世這一番話，李世民斬釘截鐵地說：「大唐要一統天下，這些反王是一定要拿下的。他們既然這麼擁護竇建德，看來只能是我大唐的敵人了，我是不會手下留情的。」說著，他鋪開地圖，仔細研究劉黑闥的行軍布陣。
第二天，李世民召集了部將：「劉黑闥連克我數州，看上去勇猛精進，大家不能放鬆警惕，但也不要被他嚇倒。依我看，他已經疲憊奔波很久了，現在應該是到強弩之末的時候了，只要我軍強力反撲，他一定不是我們的對手。」
劉弘基等部將問：「但是劉黑闥所向披靡，主帥有沒有破敵良策？」
李世民拍了拍自己身邊的一面戰鼓，說：「我們打仗不僅要靠手中的刀槍，更要靠智慧謀略。有一些東西，看上去沒有用處，但卻也能變成武器。譬如說，這面鼓。」
大家聽了李世民的話都疑惑不解，李世民接著說：「這一次，我要用這面鼓來大敗劉黑闥。從現在開始，劉弘基等帶領一批人埋伏到劉黑闥軍營四周，不許進攻，只需在夜深之時，擂起隆隆戰鼓，讓他以為我軍來攻就可以了！」
劉弘基領命，李世民又對李世說：「你現在想不想一雪前恥？」
李世點點頭：「劉黑闥本是我手下敗將，又一再與我大唐為敵，我當然想將他蕩平！」
李世民說：「從現在開始，你帶領一部分人馬，根據我的口令，隔一段時間，便去衝擊劉黑闥大營。」
然後，李世民又命其他人以徐河為界，不斷搖旗吶喊，但是卻不出兵，讓劉黑闥驚恐。他對劉弘基和李世說：「你們兩位要各自行事，戰鼓響，不一定要進兵，戰鼓沒響，也可以忽然出兵。只有這樣，才能讓劉黑闥不敢放鬆，讓他不知道我軍何時出擊，何時隱藏。」
眾人聽了李世民的計策，已經領會到了他的意圖，便一個個迅速回到自己的崗位上。
當夜，劉黑闥以為李世民在養精蓄銳，便安頓士兵們好好休息，等待明天再戰。不一會兒，忽然有震天的鼓聲傳來，眾人急忙起身迎敵，卻不見敵人來犯；剛剛躺倒，又是一陣戰鼓響起，正在猶疑之間，一股騎兵從唐營衝出，斬殺數百兵士之後又迅速折返。如此反覆，整夜不停。
劉黑闥見李世民使出如此詐術，怒不可遏地對高雅賢說：「人人都說李世民用兵如神，現在看來只是個狡詐的小兒，我定不能饒他！」可是不管他如何叫陣，李世民卻營門緊閉，完全不加理會。
如此反覆幾天之後，劉黑闥部隊高度緊張，夜不能寐，戰鬥力迅速下降。而李世民養精蓄銳，憋足了精神，終於發動了總攻。一開營門，唐軍便如潮水一般湧出。不消幾個時辰，居然將一直以來精進不止的劉黑闥部隊擊潰。劉黑闥在高雅賢、王小胡等將士的保護之下，倉皇逃到了相州。
徐河會戰是劉黑闥在出兵反唐之後所遭遇到的第一次大的失利，也是李世民對劉黑闥如虹氣勢的一次有力打擊，這次戰役有效地遏止了劉黑闥的部隊對唐領土的吞噬，讓勢如破竹的劉黑闥終於止步在此。這不僅使李淵長舒一口氣，更給唐朝軍隊一個巨大的鼓舞。
劉黑闥經此一敗之後，短時間內無法復原，因此給了李世民充足的時間去平定徐圓朗等小股反叛勢力。而與此同時，蕭銑也被李靖、李孝恭平定，對於唐王朝來說，目前最能威脅到它的統治的敵人，便是劉黑闥所統領的河北軍隊，而此時的李唐對於這最後一個敵人，也從開始的惶恐逐漸變得充滿信心。