趙炅接到前方戰敗的奏摺，心情懊喪至極，立即命令曹彬、米信、崔彥進帶領他們的軍隊回京，命令田重進屯定定州；潘美仍然回到代州去，並要他保護雲、應、朔、寰四州的官民分別遷往河東、京西去安置。
宋軍各路布置以及戰後的善後工作還沒有安排好，契丹大將耶律斜軫就率領十萬遼兵直逼安定之西。
雄州守將賀令圖得知契丹兵來犯，點兵出城迎戰，被契丹人殺敗，帶領殘兵向南潰逃。耶律斜軫率兵乘勝追擊，兩軍在五台再次展開激戰，宋軍還是慘敗，陣亡數萬人。遼兵一舉攻佔蔚州。
賀令圖飛騎向潘美求援，潘美率軍與賀令圖合兵一處，在飛狐與契丹兵展開一場激戰，宋軍再次大敗。渾源、應州的宋兵見遼兵來勢兇猛，棄城而逃，遼兵不戰而得渾源、應州的城池，並乘勝追擊，攻佔寰州，殺死守城宋兵千餘人。
潘美敗走飛狐，退回代州，與副將楊業引兵，保護雲、朔、應三州的軍民百姓南遷。
楊業深通兵法，又久居北方，對契丹人的習性和當地的地理都很熟悉，認為仗打到這個地步，契丹兵氣勢正盛，不宜同他們正面交鋒，因此他建議：宋軍出兵大石路，直入石竭谷，避開契丹兵的銳氣，保護三州的官民南遷。
潘美聽了楊業的話，沉默不語，護軍王侁卻認為楊業怯戰，冷笑著說：「君侯素稱楊無敵，今天卻屢次阻撓不進，如果不是嚇破了膽，恐怕就另有所圖吧？」
俗話說，冷茶冷飯好吃，冷言冷語難聽。楊業是頂天立地的英雄豪傑，哪能受得了如此奚落？聽了王侁的冷言冷語，憤然說道：「楊業豈是貪生怕死之輩？我們的任務是保護百姓遷移，不是攻城拔寨子，打仗如果逞匹夫之勇，就會讓士兵白白地去送死。王護軍既然懷疑我心有二志，我願為先驅，叫你們知道，楊業並不是怕死之人。」
楊業說罷，召集自己的部下及兒子楊延昭、楊延玉，傳令厲兵秣馬，準備從石跌路趨朔州，臨行時，流著眼淚對潘美說：「我這次出兵，不可能取得勝利，楊業本是太原降將，應當早死，蒙皇上不殺，提拔為大將，交付兵柄，楊業並非縱敵不前，實在是要伺機而動，以報皇上的知遇之恩。今天，有人說我有意避敵，我也無從解釋。楊業此去，恐不能再見主帥了。」
潘美聽了，只是哼了一聲，強裝笑臉說：「楊家父子揚威北方，久負盛名，今天未曾開戰，卻先說這些喪氣的話，確實令人不解，你儘管放心去吧，我一定會率兵救應你。」
楊業指著前方一個谷口說：「契丹兵打仗變幻莫測，潘將軍一定要提防，前面那個谷口叫陳家谷，地勢險峻，可以駐守，請你們派兵埋伏在那裡，布下強弩硬箭，等我轉戰到谷口的時候，立即率兵夾擊遼兵，千萬要記住，不然，我楊家父子及所率兵馬，恐怕就死無葬身之地了。」
潘美點點頭，答應在陳家谷布陣接應。
楊業明知前面是個火坑，死亡的深淵，為了證明自己的清白，不得不跳下去。
楊業出兵之後，潘美按照事先所約，同王侁率兵趕到陳家谷口列陣以待。
楊業懷著赴死之心，率領所部兵馬，自石跌口出發，兒子楊延玉、楊延昭隨父同行，途中正遇契丹兵，兩軍也不答話，上前即殺。耶律斜軫率領遼兵，似乎並不戀戰，只一交戰，便向後撤，楊業見沿途多是平原，料無伏兵，只管儘力窮追。耶律斜軫且戰且走，正在追趕途中，耶律斜軫忽然又回兵再戰，只聽一聲炮響，四面八方，突然冒出無數的遼兵，把楊業父子和宋兵困住。
宋軍只有數千兵馬，遼兵有十萬之眾，敵眾我寡，打下去只有死路一條。楊業知道形勢嚴峻，吩咐兩個兒子緊跟著自己，舞動手中槍，捨命衝突，硬是殺出一條血路，退到狼牙村。
自寅時等到已時，沒有得到楊業的消息，令人登高遠望，仍然不見蹤影，潘美不免心生懷疑，王侁在一旁說道：「楊業如果敗下陣來，必定有急報，如今許久得不到消息，大概是已經殺敗敵兵，主帥如果不趕緊上前，那麼，這份功勞就被楊業一個人獨得了。」
潘美躊躇了半天才說道：「再待一二個時辰，如果還沒有楊業的消息，再作決定。」
王侁退出後，對眾將道：「此時不去爭功，尚待何時？你們不去，我就要先走了。」說罷，帶領自己的部下，徑出谷口。
眾將也是爭功心切，都是躍躍欲試。潘美見不能說服眾將，也身不由己地跟著眾將，一起離開陳家谷口。沿著交河西進，才走了二十餘里路，忽見王侁領兵退回。潘美問他為何又退了回來。王侁答道：「楊業戰敗，契丹兵猖獗得很，我軍恐怕抵擋不住，所以就趕快退回來了。」
潘美聽了此言，也不覺驚慌，索性指揮兵士全部撤退。把與楊業的陳家谷之約拋到了九霄雲外，一直退回代州去了。
楊業且戰且走，接近陳家谷，已是人困馬乏，死亡過半，眼巴巴地等援軍殺出。哪知進谷一看，並不見宋軍一兵一卒，他忍不住大哭道：「我被王侁等逼迫，使我一敗至此，現在既不能求勝，也不必求生了。且返身再戰，拼一個戰死沙場、馬革裹屍吧！」
楊延玉、楊延昭兄弟倆也是痛哭不止。楊業說道：「父子同死，也是於事無補，我上受國恩，下遭奸人嫉妒，除死以外，沒有其他路可走，你們兩人還年輕，趕快殺出去，將這裡的情況報告皇上，讓皇上知道，我們楊家是忠心為國，只是為奸人出賣，蒙受不白之冤，才致戰死沙場。如蒙皇上鳴冤昭雪，我死也瞑目了。」
楊延玉哭著說：「兒願隨父親一同赴死，不願逃生。讓哥哥突圍出去，向潘帥請援。如果援兵早到，說不定還可轉敗為勝，即使搬不到救兵，留得哥哥在，他日面見皇上，還可以說清今天戰敗的實際情況，不然，我們死後，那些奸人不知要給我們安上一個什麼罪名。」
楊業覺得延玉說得有理，立即叫延昭突圍出去請求潘帥派兵增援。
楊延昭哭著不願離去，要同父帥和兄弟共同戰死沙場。
楊業舉起馬鞭狠抽了楊延昭的坐騎一下，大聲說：「速去！速去！不要顧慮這些了。」
楊延昭的坐騎負痛，一下子就躥了出去，楊延昭只得回頭大聲喊道：「父帥保重！弟保護好父帥！」話音未滿，一人一騎已經沒入亂軍之中。
遼兵見有人突圍，萬弩齊發，楊延昭的手臂中箭，血流如注，他也顧不得裹傷，咬牙拔出箭頭，奮勇殺出重圍，飛馬請求援兵去了。
楊業與楊延玉率領手下數百名士兵，與遼兵展開了一場血戰。楊延玉身中數十箭，猶如刺蝟一般，忍痛不住，哭著對他的父親說：「兒子去了，不能保護父……」話沒有說完，便已口中噴血，墜馬身亡。
楊業見延玉死了，好似萬箭穿胸，回顧手下不過數百人而已，流著淚對大家說，大家都有父母妻子，不能死在這裡，趕快逃生去吧！」
楊業帶兵，有勇有謀，平時訓練，都是與士卒同甘共苦，從不搞特殊，對待士兵就像對待自己的兄弟兒女一樣。士兵們對楊業既崇敬，又愛戴，衝鋒陷陣，人人奮勇，個個爭先。眾將士見主帥叫他們逃命，他們哪裡肯依，都表示要與主帥同生死、共進退。
楊業見將士們眾志成城，虎目圓睜，揮動手中槍，大喝一聲，如猛虎般殺向敵陣，手刃契丹兵百餘人，身上所受刀、箭之傷數十餘處，先還覺得疼痛，後來麻木了，敵箭射在身上，竟渾然不覺。人可以憑一口氣奮戰，馬可不行。楊業見坐騎渾身打戰，已是站立不穩，只得退至樹林暫避。
契丹大將耶律希達，遠遠看見樹林中楊業的身影，用強弩射來，正中楊業的馬腹，馬應聲倒地，楊業也墜落馬下。契丹副部署蕭撻覽縱馬搶入，活捉了楊業。
此時，楊業的部下全部戰死，無一生還。
遼國活捉了楊業，知道他是一員猛將，不但沒有羞辱他，而且還好酒好肉地招待他，勸他投降，並許以高官厚祿。楊業是一個頂天立地的英雄漢，絕不為其所誘，仰天長嘆道：「皇上待我甚厚，本想保衛邊關，以報答皇恩。今被奸臣逼迫，致兵敗遭擒，還有什麼面目活在世上呢？」
楊業被俘之後，不吃不喝，絕食三日而亡。這就是楊業捐軀的真相。至於楊業撞死李陵碑的說法，只是野史的記載。
誰導致了楊業兵敗身亡？罪魁禍首當屬王侁，他為了貪功，率兵離開陳家谷，但潘美身為主帥，輕信讒言，也是罪不可恕。
楊業和他的後代的事迹，被民間傳為「楊家將」的故事。其中，為表達對潘美的憎恨之情，人們將他塑造為十惡不赦的太師潘仁美。至今，楊家將的故事還在廣為流傳，但其中的故事情節多是經過小說家們的藝術虛構而成。
宋朝自宋太祖杯酒釋兵權，奪了幾位開國老將的兵權之後，宋初之名將，首推曹彬，其次則莫如潘美。曹彬在大戰之時，舉棋不定，不能自律，北伐大敗而歸；潘美身為主帥，不能約束部下，不顧楊業的忠告，為貪功而貿然出擊，致使一