唐軍的一次勝機被斷送後，雙方又在城牆內外相持爭奪。日子一天天地過去，轉眼已到九月。遼東之地向來比內地早寒，數場北風刮過，滿目皆是黃色的枯草，氣溫驟降，唐軍兵士身著單衣，站在野外冷得渾身發抖。
李世民此時已沒有了入遼東時的豪情萬丈。他知道，此次征伐之事只好半途而廢，再想揮師東進取平壤，眼見是不可能之事。他召來眾將，說道：「遼東早寒，馬上就要草枯水凍，兵馬難以久留，且糧食將盡，我們必須立刻班師。」
眾將默察眼前之狀，早已明白班師之事已成定局。然出征高麗是皇帝欽定，李世民不說班師，他們皆不敢先出聲。現在李世民終於提出要班師回家，懸在眾人心中的一塊石頭方才落到地上。
李世民接著道：「我們要從容班師，不給高麗人留下機會。二位高卿，你們可以先行，將遼州、蓋州、岩州人口盡數遷往內地。」唐軍攻下遼東城、蓋牟城和白岩城，李世民下詔將此三城改為遼州、蓋州、岩州。
高惠真、高延壽躬身接旨。
李世民又轉對李世、李道宗道：「這名安市城主委實不錯，朕要與他對話一番。道宗，你將朕的意思寫成一書，然後射入城內。明日辰時三刻，朕到城下與其對話。」
李道宗憂心道：「我們既然要班師，不可打草驚蛇。萬一他們尾隨追擊，對我軍從容歸去實在不利。」
李世民慨然道：「朕明日明明白白告訴安市城主，我們即日就要班師，他若有膽，盡可來追。對了，我們班師之際，所有將士須繞城一周，然後大大方方離去。」
李道宗領命前去布置。
第二日一早，朝陽驅散了晨霧，高大的城牆在陽光下巍然聳立，護城河面淡淡地泛著一些水汽。李道宗射入城內的書中，申明唐軍今日後撤半里，請安市城主到護城河橋側與李世民相見。
李世民乘坐輅車來到橋邊，身邊僅有李世、李道宗、阿史那社爾、執失思力、薛仁貴等人護衛。只見那名安市城主也在數人護衛下等在對面，李世民緩步下車，可以看見這名安市城主個子不高，然鬚髮甚濃，有些英武之氣。
李道宗大喝道：「安市城主，皇帝陛下駕臨，趕快拜見。」
安市城主聞聲躬身一揖，朗聲說道：「高麗草民拜見大唐皇帝，迎接來遲，望乞恕罪。」
李世民也朗聲說道：「安市城主，你很好嘛。朕征戰一生，攻城無數，獨你安市城巋然不動。我們雖為敵手，然朕服你之能，高麗有人如此，實在幸甚。」
安市城主躬身說道：「草民所以如此，只因忠誠於君。由此使大唐之兵在此困頓許久，我深感不安。唯盼皇帝陛下與高麗重修舊好，從此不動干戈。」
李世民厲聲道：「蓋蘇文弒主悖逆，又侵凌他國，朕不可坐視不管。朕明日就要班師，你可轉告蓋蘇文，終朕一生，定然還要前來興兵問罪。」
安市城主為一睿智之人，明白高麗非中國敵手，若中國全力來攻，高麗實屬危矣。他無法回答，只好默然不應。
李世民又說道：「朕念你守城有功，忠於汝國，特賜縑一百匹以示獎賞。」
長孫無忌將手一揮，後面的抬縑之人快步過來，將一百匹縑放在護城河側。
安市城主覺得李世民果非凡人，自己固守城池與其相抗，按說他應該滿腔怒火，不料今日得其一番誇讚不說，還得到百匹縑的獎勵。他想到這裡，衷心說道：「鄙人累皇帝陛下親征勞頓，不敢奢望陛下賞賜。陛下能知鄙人忠心事主，則我心足矣。」說完，他躬身相謝。
李世民伸手搖了一搖，說道：「人能盡忠義之心，朕不分敵我，一樣敬重。安市城主，明日為九月十八日，我軍盡數西歸，你為盡本分，盡可放兵來追。」
安市城主熟知這裡的氣候，他算著唐軍的糧食也耗得差不多了，知道唐軍班師也就在這幾日。令他想不到的是，李世民竟然能明言自己的歸期，可見他不懼本國兵來追。安市城主知道，安市所以被唐軍久攻不下，無非佔了安市城倚山而建的便宜，若高麗兵與唐兵一對一在野外對攻，高麗兵斷然不是對手。想到這裡，安市城主顯得更加謙恭有禮，躬身說道：「鄙人不敢。明日陛下西歸時，鄙人定會立在城牆上以目恭送，並戒約手下不得出城一步。」
李世民不再說話，轉身登上輅車，緩緩回歸中軍帳。
第二日，依舊是一個晴天。李世民令李世、李道宗帶領步騎四萬殿後，他們二人此時各帶領二萬人的方陣排列於安市西門之前。其餘唐兵依令繞城一周後，開始列隊向西進發。安市城主不違諾言，其帶領屬下立於城牆之上，任唐兵耀威而去，並將城門緊閉，不放一兵一卒出城。
李世民此次出征高麗，共攻破玄菟、橫山、蓋牟、磨米、遼東、白岩、卑沙、麥谷、銀山、後黃十城，其間斬首高麗兵四萬餘級。高延壽、高惠真此去遷徙遼、蓋、岩三州人口，使中國又增加七萬餘戶口。總觀此戰，起初還算順利，只是後來與安市城相持日子太長，以致延誤日期入了冬季，使此戰功敗垂成。
大隊人馬入了遼州，休息一日後，就起身開赴遼水。此時，朔風日勁，有時吹得人馬東倒西歪，兵士們畢竟衣衫單薄，滿眼所及，皆是嘴唇烏青之人。長孫無忌為前鋒，觀見此狀，號令全軍加快行軍速度。
大軍渡過遼水之後，又遇到那片方圓數百里的泥淖。若讓閻立德依舊法兒布土成橋，眼瞅著寒氣一日冷於一日，衣衫單薄的將士難以撐持下去。長孫無忌此時急中生智，號令數萬人同時打草，然後填草成道，遇到水深處將車輛等輜重填入水中。李世民此時也舍車騎馬，並且親自驅馬負草以填路。眾人看到皇帝如此，頓時幹勁倍增，渾忘了自己身處寒天之中，周身似乎感覺不到寒冷。他們如此上下同心，終於在泥淖上鋪出一條草路來，使大軍得以通過。只是大軍的一應輜重，從此損失殆盡。
唐軍自九月十八日離開安市，其間停駐遼州，又渡遼水，再過泥淖，待行到一個名為蒲溝的地方，時間已進入十月。此時，寒風如刀，吹得唐兵瑟瑟發抖。李世民此時號令全軍，加快行軍速度，早日趕赴營州，並說道：「朕已在營州為大家備好十萬餘套棉衣。」
疲憊不堪的唐兵聞聽有棉衣可穿，無不抖擻精神，加力前奔。然天不遂人願。這日寒冽的冬風襲來，一直颳了兩個時辰，到了晚間，暴風裹挾大雪而至，將行走的唐兵遮得如同雪人。一路上，一些兵士渡遼水、過泥淖時，征衣盡濕此時未乾，他們遭遇暴風雪，竟至凍斃。
李世民聞知此情，即令長孫無忌派人集來柴薪，然後燃火於道，讓衣濕之人向火取暖，將衣烤乾。大軍如此艱難前行，終於到達營州。李世民看到將士們換上棉衣，心中的石頭方才落了地。
安市城主看到唐軍離去，一面讓人整修城池，一面撫恤傷亡之兵士。二日後，他也打點行裝，前往平壤面見蓋蘇文。
此時，安市城主的大名哄傳國內，被視為高麗英雄。蓋蘇文聽說他要入都城，即備下隆重的歡迎之禮，並親自出城迎接。蓋蘇文當初謀逆之時，獨安市城主不聽號令，惹得蓋蘇文親自帶兵去討，然攻城多日不能拿下。蓋蘇文無奈之間，只好修書入城，承諾只要安市城主願意歸附，可以保其位，並讓他永鎮安市。安市城主見大勢難擋，只好答應。蓋蘇文從此對安市城主另眼相待，既敬其耿直，又厭其不聽招呼，心中無可奈何。他此次出城迎接倒是一片真心，畢竟，因安市固守之功，免了平壤血光之災。
蓋蘇文設盛宴招待安市城主，席間，蓋蘇文意氣風發，對席上人說：「哼，唐朝皇帝不知好歹，想那隋朝皇帝數次來攻，皆鬧個鎩羽而歸，他認為自己比隋朝皇帝更強硬嗎？我這裡的一個安市都攻不下，何談其他呢？」
座中之人紛紛附和，恭頌蓋蘇文不已，說的話竟至肉麻。
安市城主不以為然，他待眾人語歇，方才說道：「莫離支不可小覷大唐皇帝，其此次失誤在於被安市絆住手腳。我聽說其間有人向其獻計，讓其圍困安市，再發奇兵與其舟師相會，大舉進攻平壤，惜其不聽，使我國免了此厄。」李世民班師之際，也下令舟師班師，李大亮和程名振率領手下登船返回萊州。
蓋蘇文仍不以為然：「哼，他來攻平壤，平壤是好攻的嗎？」
安市城主搖搖頭，說道：「大唐國力舉世難匹，我們這一次僥倖不敗，無非是佔了城池堅固和氣候的便宜。莫離支，我以為我國今後要與大唐修好，不可僵持下去。我聽說，唐朝皇帝不以武力侵逼四周，唯以德化感之，可見其出征我國非其初衷。希望莫離支不要再侵新羅，那唐朝皇帝沒有口實，我國即可免了刀兵之厄。」
蓋蘇文見安市城主替唐朝說話，心裡有氣，然礙於安市城主的面子，不敢造次。他默然半天，僅僅說出三個字來回應安市城主：「知道了。」
唐軍到了營州，立即更換棉衣，軍中醫生忙碌地為凍傷之人治傷。大軍自四月入高麗境，一直