眼看著隋朝的三十多萬大軍落荒而逃，乙支文德哈哈大笑。他派人追了上去，送了一首詩給隋軍的將軍們。詩云：「神策究天文，妙算窮地理。戰勝功既高，知足願雲止」。諸位將軍，你們真是神機妙算，上通天文，下曉地理，你們現在打了這麼一個了不起的「勝仗」，就知足吧！像你們這樣的敗軍之將，能活著回去就該謝天謝地了，還想讓我們國王去朝覲，沒門！
光是言語羞辱就罷了，更要命的是，隋朝軍隊回撤，是要渡過清川江的，軍隊剛剛過去一半，高句麗軍隊突然向隋軍的後路發起總攻。這樣一來，隋軍可亂了套，一下子潰不成軍。
俗話說兵敗如山倒，到了這個時候，兵也顧不了將，將也管不了兵，大家都只顧著沒命地往回跑，一天一夜就跑了四百五十里，都快趕上神行太保麥鐵杖了。整個軍隊從清川江一直跑到鴨綠江才站住腳。就這樣，進攻平壤的步兵也以慘敗告終。檢點一下人數，當初渡過遼河的九路大軍一共是三十五萬五千人，如今撤回來的，只有兩千七百人。
不光是士兵損失了這麼多，將領的損失也非常驚人。工程技術專家宇文愷，隋初「四貴」之一的觀王楊雄，煬帝初年的宰相、楊雄的弟弟楊達，兵部尚書段文振等，都死在這次東征過程中。至於兵器物資的損耗，就更加不計其數了。
水陸兩軍都敗了，損失又這麼嚴重，這仗也沒法打下去了。大業八年（612）七月二十五日，隋煬帝下令，班師回朝。就這樣，由隋煬帝御駕親征，並投入百萬大軍的東征高句麗之戰幾乎沒有任何收穫，就以這樣窩囊的形式鎩羽而歸。這可是隋煬帝當皇帝以來的第一次失敗。隋煬帝不是想要炫耀兵威國威嗎？現在反差如此強烈，隋煬帝也太沒有面子了。
怎麼向天下人和各國使者交代？隋煬帝羞憤之餘，只好諉過於將領，那個阻撓于仲文扣押乙支文德的慰撫使劉士龍被斬首，于仲文、宇文述也都被革職為民。可是，即便諉過於臣子，又能挽回皇帝多少尊嚴呢？
今天我們回頭去看，隋朝這樣聲勢浩大的東征，為什麼會以失敗告終？原因當然很多，比如高句麗面對強敵，同仇敵愾；比如遼東地區和隋朝內地相隔甚遠，物資運輸不暢；再比如東北地區的軍事戰爭受到天氣制約，只能在三四月份寒凍結束到六七月份雨季來臨之間進行，因此無法發揮隋朝人多的優勢打持久戰；等等。但是，除了這些理由之外，還有兩個原因至關重要。
第一個原因是指揮失誤。開戰之前，隋煬帝根本就沒有立足於打，而是希望按照他習慣的方式，靠震懾不戰而屈人之兵。正因為如此，他才像組織遊行一樣組織出兵；他才會二十四路大軍並進，不設主帥，互相扯皮，互相牽制；他才會把招降置於打仗之上，讓敵人反覆鑽空子，一再貽誤戰機。那麼，為什麼他會有如此重大的失誤？還是因為他當皇帝這幾年太順風順水了，太自信了，自信到了狂妄的程度，被狂妄蒙蔽了雙眼。
第二個原因，他原來預期的盟軍沒有幫忙。隋煬帝征高句麗，本來預期會得到東突厥的大力支持。大業三年（607），隋煬帝還威脅高句麗使者，要率領啟民可汗一起去討伐他。可是，現在到他真正討伐高句麗的時候，東突厥根本未發一兵一卒。
為什麼會這樣呢？因為到這個時候，啟民可汗已經去世了，他的兒子始畢可汗即位。始畢可汗雖然仍然向隋朝朝貢，但是，對隋朝遠沒有爸爸那麼熱情。事實上，他倒是覺得，東突厥和高句麗本來就是唇亡齒寒的關係，他可不願意看到高句麗滅亡，更不會幫隋朝促進高句麗的滅亡。
始畢可汗的態度說明了什麼？說明隋朝的北部邊疆其實並沒有那麼穩定，而且很有可能在醞釀新的風暴。
就這樣，因為這場出乎意料的慘敗，隋煬帝想要通過征服高句麗來進一步震懾四夷的目的完全落了空，聲威大受影響。更重要的是，因為這次戰爭，隋煬帝大肆徵發兵役徭役，讓本來已經疲憊不堪的老百姓更加忍無可忍，一場社會風暴正在醞釀之中。