拘審期間，張靈甫遞交了申訴狀，辯稱妻子曾擅自拿走自己的軍事文件，又交待不出理由，因此有「通共嫌疑」，也就是說他殺妻跟醋海翻騰沒有關係，乃是出於「防共」需要。「防共」是那個時候的熱門，誰都可以拿來給自己當盾牌使，或許就因為這個原因，張靈甫沒有成為死囚，而是被判了十年有期徒刑。
人情似鐵，官法如爐，張靈甫被關進監獄，穿起了號衣。在牢獄裡的那段日子，這個做事不計後果的傢伙一次次嘗到了生不如死的滋味，而前途盡毀的現實，以及毫無個人尊嚴的生活，更讓他眼前的世界變得一片漆黑。
不過他也並沒有把牢底坐穿。很快，中日關係變得極度緊張，國民政府下令，凡服刑官兵一律調服軍役，在保留原有軍銜的情況下戴罪立功。
張靈甫出獄了，他需要用另一種方式來為自己懺悔和贖罪，去慢慢消減潛藏於心底的暗黑及暴戾。第一軍是無臉再回去了，這時五十一師進駐漢中，正在招賢納士，張靈甫自忖過去和王耀武有過一段共事的關係，便毛遂自薦，找上了王耀武。
王耀武對張靈甫留有很好的印象，認為他是個血性漢子，打仗也很有本事，於是爽快地收留了他。只是師里已沒有實缺，只能暫時委任他為上校師附。
收到王耀武寄來的委任書，張靈甫二話不說就加入了五十一師。歸根到底，他還是更適合于軍隊，只有軍隊才可以讓他找到自我並重塑自我。
上校師附是個閑職，比的是板凳厚度，對張靈甫來說，指揮三〇五團才是真正過癮的一件事，因為這意味著他可以上陣一顯身手了。
三〇五團雖由地方保安團改編而成，但北方籍的士兵均身高體大，且又訓練完整，一旦正式入編，即可勝任前線作戰。按照王耀武扼守望亭的命令，張靈甫將三〇五團三營部署於望亭鐵橋。11月21日，尾追而來的日軍向鐵橋發起攻擊，三營竭力固守，使其無法順利通過。
覺得快頂不住了，營長劉光宇急忙向張靈甫報告。張靈甫增派兵力，並親自趕到鐵橋陣地督戰，最後三〇五團以傷亡六百人的代價，在望亭連守了三天，直到俞濟時、王耀武下達撤退命令，才在炸毀鐵橋後離開望亭。
途中三〇五團碰到了抄小道後撤的三〇六團，兩團一先一後追上了總部。在此之前，王耀武與兩團都失去了聯繫，他以為這兩支強力部隊已凶多吉少，因此在師部急得團團直轉。看到張靈甫、邱維達突然出現在眼前，王耀武有一種喜從天降的感覺，他緊緊攥住兩人的手：「三天來一直為你們擔心，能衝出重圍，真是命大！」
11月28日，七十四軍撤至南京，駐紮在通濟門至淳化鎮。鑒於部隊在淞滬戰役中已經元氣大傷，兵員嚴重缺額，大家都希望能撤到一個較為安全的地點，整訓一段時間後再打。俞濟時帶著這一期待進入南京城，向蔣介石進行彙報，但是他得到的指示卻是不但不能進行整訓，還要加入南京保衛戰的序列。
究其原因，三〇六團雖然出色地完成了掩護任務，但充其量只是為後撤大軍爭取到了三天喘息的時間，而在幾乎所有部隊都處在潰退狀態的前提下，錫澄線並沒有能夠發揮預期作用，原先逐級抵抗的設想也隨之化為泡影。
七十四軍最初並不在固守南京的部隊裡面，他們是頂了胡宗南第一軍的缺。第一軍當時號稱「天下第一軍」，是中央軍裡面個頂個的王牌，但淞滬戰役也把這支一流部隊給整殘了，以致於只能渡過長江，到浦口去擔任接應任務。
俞濟時對守衛南京缺乏信心，大部分將領也不主張守南京。主張打南京保衛戰的只有蔣介石和唐生智，唐生智還擔任了守城最高指揮官。
俞濟時不情不願，卻又無可奈何。他不敢對蔣介石說三道四，只好把一股火都撒到唐生智身上：「唐生智（主張守城）的目的是想升官發財！」