自漢軍南渡淮水後，劉秀的大本營安在了盱眙（xū yí），這個楚懷王熊心昔日的都城與淮泗口隔河而望，可知對岸虛實。
劉秀是希望第五倫得勝而驕，縱兵強渡淮水，欲一舉滅漢的，若如此，他雖兵力劣勢，卻能依靠淮水天險，與第五倫一決死戰！以期複製昆陽的奇蹟。
然而第五倫卻選擇了劉秀最難受的打法：大兵團緩步推進，控制沿淮各縣，開始召迴流亡百姓，駐軍屯田，不肯錯過貴如油膏的春雨。
這下劉秀的誘敵渡淮之策也宣告失敗，正當漢國君臣一籌莫展之際，九江太守桓榮將第五倫的國書連同休戰、換俘兩個提議送到盱眙行轅，立刻引發了漢國群臣對第五小兒的破口大罵。
其中以積弩將軍傅俊最為憤怒，他赫然起身道：「第五倫不當人子！搶了碩大淮北，殺我軍民無數，更害了楚王（來歙）、巨鹿王（劉植）二人性命，如今送回屍首俘虜，便打算與漢休戰？這不是國書，而是在羞辱陛下，羞辱大漢文武啊！」
傅俊無法忍受，向劉秀請命道：「君辱臣死！陛下，請予臣三萬兵，必可橫行淮北，收復彭城，生擒第五倫！」
行轅內眾人群情激奮，絲毫不比傅俊差，一時間人人喊戰，然而劉秀卻閉目不言，只朝行轅末尾看了一眼，自然有人站出來潑了他們一盆涼水。
「陛下，傅俊可斬也！」
眾人愕然，回頭一看，卻見是站在末尾的祭遵。
祭遵字弟孫，乃是潁川人士，以縣吏身份投奔劉秀，劉秀棄儀容，令他暫為門下吏，曾隨劉秀落腳東南，是從龍群臣之一，但祭遵卻不以武略見長，劉秀喜歡用他來執行軍法，縱是舂陵子弟犯法，祭遵也冷麵誅殺，毫不留情。劉秀遂任命他為刺奸將軍，監督三軍，等到正式稱帝後，又提拔為廷尉。
這位祭廷尉一點不給傅俊面子，甚至連劉秀的傷疤也當面揭：「第五倫在淮北有大軍十餘萬，去歲隆冬，陛下親將數萬將士，與之周旋，尚不能破賊，今傅俊奈何以三萬眾橫行北徐州？此乃面欺！大戰方罷，陛下明策，令軍民暫退淮南，棄地而存人，於今創痍未瘳，春耕方起，若照傅俊之見，再起兵戈，貿然北伐，臣唯恐東南將為之動搖！」
祭遵戰前就力主退保淮南的，傅俊聽聞此言大怒，斥責他畏敵，但劉秀攔下了二人。
「廷尉所言有理，第五倫此舉，名為國書，實為挑釁，文中處處只雲『吳王秀』，故意示以輕蔑，若怒而興兵，反是中了其詭計。」
劉秀比任何人都清楚，戰爭已經打不下去了，長達半年的徐淮之戰，第五倫坐擁人口繁盛的北方尚被拖得疲乏，更何況是他這東南的小朝廷呢？江東、淮南財力已近枯竭，秋收後才能緩口氣，在此期間防守有餘，攻則不足。第五倫不主動冒進的情況下，他也只能在淮南舔傷口。
既然如此，怎樣應對這份國書，變成了今日行轅談論的焦點。
「臣以為，休戰不可，換俘則可。」
說話的是三公之一的「大司空」侯霸，他本是新朝臨淮太守，作為第一個接待劉秀的地方勢力，很得劉秀感激重用。如今劉秀的大司馬來君叔戰死，大司徒鄧禹罷官，侯霸儼然成了百官之首。
侯霸是聰明人，知道劉秀與第五倫，乃是「漢賊不兩立」，和談休戰絕不可能，第五倫佔據優勢，可以隨意遣使，但劣勢方的劉秀，一旦露出服軟傾向，他努力構建的漢家小朝廷，必然人心瓦解——時至今日還追隨劉秀的人，無不希望能隨他興復漢室，還於舊都，文武尚欲死戰，陛下豈能先降？
按照侯霸的想法，戰大可不休，反正就算定約，不過又是一份鴻溝之盟，雙方互不信任，隨時可以撕毀。
但交戰狀態下的換俘卻可以考慮，第五倫若真願將四千淮南、江東俘虜送回來，而己方只需要交出蓋延和千餘漁陽兵，這筆買賣無疑是划算的，四千人，對於南方而言，已是不少的人口了。
「不然，非但勿言休戰，換俘亦不可！」
已經罷大司徒之官，如今只屈居區區大夫的鄧禹，在聽遍眾人意見後，向劉秀提出了自己的擔心。
「臣聽聞，上月淮北有傷寒大疫，死者數千，魏軍之所以休兵不戰，多因瘟疫橫行。漢軍俘虜饑寒交迫，染病者亦不知凡幾。」
「第五倫一貫狠辣陰毒，忽願換俘，莫非欲將病卒遣歸，使得淮南江東也流行大疫，以期不戰而勝？」
……
因為劉秀以及朝中三公九卿皆不便見桓譚，所以一切交流，都得由九江太守桓榮代勞，當桓榮從鄧禹處得知第五倫「真意」，帶著憤怒去質問他族叔桓譚時，桓譚卻只覺得想笑。
「以瘟代兵？」
桓譚不屑地說道：「此乃以小人之腹為君子之心，屬厭而已！」
話雖如此，但當初驟聞第五倫欲換俘時，桓譚心裡還正冒出過這種猜想，然而等第五倫袒露意圖後，桓譚才明白，原來魏皇陛下這次確實在第五層……
「漢兵俘虜多在彭城，未曾染上傷寒，這旬月之間，彼輩也好吃好喝，淮北籍者，甚至還發給歸家糧秣，淮南籍的，思慮其不耐嚴寒，還將軍中破舊冬衣發了下去，幾人一件取暖。」
放眼天下，這些俘虜的待遇，絕對超出尋常。
「如今答應換俘，確實是要散播瘟疫。」
「但並非身體之傷寒。」
桓譚記得，自己南下前，第五倫用手指著太陽穴，如此說道：「而是思想上的疾病！」
此番換俘的真正目的，是為了瓦解劉秀陣營的意志——當四千俘虜期間好吃好喝的漢兵回到淮南江東，必然會將他們的經歷告訴鄉黨鄰居，因幽冀軍團軍紀差而被妖魔化的魏朝形象，便能得到一定扭轉，等再打仗時，淮南、江東士卒便不會拚死而戰，而是心存僥倖了。
再者，這四千人里，繡衣衛也已經策反了不少人，他們一旦回家，便是魚入大海，成為打入敵人內部的細作間諜，可使未來滅吳之戰事半功倍。
雖然很希望劉秀能答應換俘，但第五倫並未給桓譚下死命令，休戰換俘一事，是連環計，在第五倫出手那一刻，就給劉秀埋下了許多個大坑，不論他選擇進退，都會踩中。
於是桓譚也不多言，起身拂袖道：「吾主仁德，這才力排眾議發國書，遣我至此，既然吳王不願接回來君叔、劉植屍骸，不願四千江東子弟歸鄉，桓譚也不必久留，今日我便啟舟北返！」
……
和來時一樣，桓譚的舟船緩緩離開當塗，向淮北駛去，他的族侄桓榮未來相送。
但等那船帆就快消失不見時，桓榮的身影才出現在碼頭，朝族叔作揖拜別，許久才重新抬起頭來，桓榮臉上，竟已是淚流滿面。
「族叔昔日教誨、資助，桓榮絕不敢忘，然忠君大於宗族之悌、師長之義，既然各為其主，桓氏二龍，便只能以淮相隔了！」
「自此一別，恐怕再無相見之日。」桓榮是固執的人，哪怕大漢處於弱勢，哪怕未來當真無法戰勝第五倫，他也會效仿劉植等人，殉漢而亡！
而盱眙行轅處，得知桓譚已走，劉秀悵然若失，只在無人時對鄧禹感慨道：「桓譚此來，是第五倫欲在伐兵之後，再度伐謀。」
劉秀當然看穿了第五倫的小伎倆，這哪裡是四千俘虜啊，分明是四千把攪亂南方人心的匕首！
鄧禹頷首：「所幸早早看穿，逐走了桓譚。」
「不然。」這才是劉秀最無奈之處啊，他說道：「吾等雖千防萬防，但還是中了第五倫詭計啊。」
事後劉秀仔細思索，發現即便拒絕，他仍是踏入了第五倫的陷阱。
劉秀苦笑道：「依照第五倫行事，必定對桓譚使漢大肆宣揚，淮北士民飽受戰亂，期盼休兵；四千淮南、江東被俘兵卒也心生僥倖，覺得有機會返鄉。」
「而今，彼輩得知朕拒絕休戰、換俘，定大失所望，第五倫再加以引導，甚至會對朕與大漢心生恨意。下一場仗，淮北士民、東南俘虜，恐將反戈相向。」
鄧禹是聰明人，立刻明白過來了，頓時驚出了滿身冷汗。
同理，被劉秀拘禁在江東的蓋延、漁陽突騎，聽說第五倫主動換俘，肯定也會心存愧疚，得知劉秀不肯放人，心懷怨念下，又豈會傾力助漢呢？
前後左右都是陷阱，不論往哪邊走都會落得一身污，只能兩害取其輕。
「如此一來，第五倫博得仁德之名，反倒是朕陷於不義了。」
劉秀只唏噓：「今日方知第五伯魚智計百出，絕非虛聞，此人從不無的放矢，每一次引弓，射來皆是毒箭！無怪乎吾兄英雄一世，竟陷於渭水。」
事已至此，又該如何補救呢？鄧禹提議：「既然如此，那四千俘虜家眷，是否要遷入閩中，以絕其亂？」
「不可，朕豈能以小患而失信義於天下？」
劉秀咬牙道：「令人宣揚，就說是第五倫明為換俘，卻暗藏兵甲，欲渡淮水，故換俘不成，皆乃魏