1946年夏天，淮北地區連降暴雨，河水暴漲，到處一片汪洋。
陳毅率山東野戰軍指揮部冒雨艱難地行進，於7月25日到達淮北。
當時，粟裕率華中野戰軍在蘇中連戰連捷，陳毅決心在淮北打兩場勝仗，以改變淮北的局勢。
但到7月底，敵情發生變化，沿隴海線兩側繼續進攻的蔣軍主力已增加到l5個團，而陳毅手頭的21個團的兵力對他們「只能擊潰不能殲滅」，便打算「以主力向靈（壁）、泗（縣）找桂頑敵求戰，擬先消滅其兩個團即轉而進擊津浦路宿蚌段」。
華中分局的張鼎丞、鄧子恢根據以往的經驗，感覺桂系部隊由白崇禧經營多年，是有相當戰鬥力的。7月30日致電陳毅，勸他改變主意去打蔣軍。
8月2日，陳毅、宋時輪複電華中分局：「張鄧30日電，要我們打蔣軍不打桂系。我們事前經過慎重考慮，蔣軍計八個整旅，緊靠在一起，離徐州不到四十里，彼此間隔不到十里、二十里不等，增援多而快，只能擊潰不能殲滅。此次打92師，我9個團打兩天兩夜始結束戰鬥，故無法下決心去打北線蔣軍。但蔣軍再向東進，則有打的機會。現桂系四個團分布在靈壁、五河、泗縣三處，其增援均在七八十里以外，打定可能全殲。歷來打桂系均用相等兵力，故奏效不大，此次改變是可能奏效的，已決定5日夜攻泗城不再變。」
8月3日，毛澤東看到陳毅要求打泗縣的電報，感到雨季作戰條件不好，指示陳、宋：「凡只能擊潰不能殲滅之仗不要打，只要主力在手總有機會殲敵，過於急躁之意見並不恰當。」次日再次電告陳、宋：「你們手裡有五萬機動兵力，只要有耐心不性急，總可找到各個殲敵之機會。」
但是，陳毅、宋時輪已在8月2日下達攻打泗縣的命令：8師與九縱3個團主攻，二縱與7師負責打援、切斷泗縣與靈壁之敵的聯繫。毛澤東的電報並未使他們改變決心。
8師師長何以祥、政委丁秋生和九縱負責人接到命令後，立即來到泗縣城外，眼前的景象令他們擔心。
泗縣有石樑河等五道大小河流環繞，縣城周圍原為湖泊沼澤地，平坦開闊，利於守而不利於攻。這些天連降暴雨，河水暴漲，城外壕溝水深兩丈，寬達五丈，對我軍形成天然障礙。泗縣城門已經修築了炮樓，城牆上每百米有一火力點，四角上也有碉堡，城外設有鹿砦。大家看過地形後，向上級建議等大炮運到再動手。但是遍地大水，不知還要等幾天，建議被拒絕了。
8月7日午夜時分，8師以5個營兵力發起攻城，連續爆破勇猛衝擊，不到10分鐘即突破北大門和西北門攻入城內。但守軍組織頑強反撲，攻擊部隊準備不足，未能及時發展打通兩突破口的聯繫，又無有力預備隊和炮火支援。
第二天天亮後，敵軍在泗縣城內發起反擊，先以猛烈炮火切斷城內我軍與城外的聯繫，接著以連、排規模依託房屋向我軍衝鋒。8師的火炮因為洪水運不上來，火力上沒有優勢。敵軍佔了上風，奪回了西門，8師22團的3個營在城裡苦戰，傷亡很大。
這時，2營指揮員驚慌起來，竟調頭往西門外跑，2營戰士也跟著突圍。在敵軍火力封鎖下傷亡慘重。1營、3營頂著巨大壓力，堅持戰鬥。1營2連連長在戰鬥中犧牲，3排長李以琴馬上代替指揮。他不怕敵軍炮火封鎖，積極向前發展。佔領一個院落，立即組織戰士挖好槍眼。
敵軍衝鋒上來，大家沉著應戰，9班長鍾寶鼎一人消滅17個敵人。李以琴帶領機槍手組成機動小組，哪邊緊張就到哪裡增援，專打敵軍的小股衝鋒。8班長要求說：「咱們打了一天，叫別人來換換吧。」
李以琴嚴肅地說：「別人都有任務，換什麼！有我李以琴在，就不會丟掉陣地！」
在他指揮下，2連一天打退敵軍9次衝鋒，堅持了陣地，而且傷亡不大。戰後總結，他被評為「泗縣戰鬥中最出色的指揮員」。
8月8日，九縱77團在東門與敵軍血戰，傷亡慘重。73團突擊排衝上城牆後，與敵軍爭奪碉堡。因炸藥包受潮不能用，機槍在泅渡時掉到水裡，手榴彈很快打光了。又因城外水深，後續部隊跟不上，全排幾乎傷亡殆盡。
當日戰鬥最激烈時，宋時輪參謀長來到8師指揮。陳毅在睢寧葛樓山東野戰軍指揮部聽到泗縣戰報，焦急不安，一再詢問情況。
黃昏時分，8師再派兩個營進城增援，但兵力始終不佔優勢。陳毅當夜指示宋時輪：「今夜如已總攻，望堅決打。如今夜不能總攻應後撤。」
9日，五河敵人來援，被第7師擊退，而更多敵人正準備向淮北運動。城內8師戰士與敵拼殺竟日，血流滿地，河水為之染紅，但戰鬥仍在僵持消耗狀態。鑒於8師傷亡太大，戰士們過於疲勞。九縱、二縱因大水阻隔，無法投入更多兵力增援。為避免繼續消耗，山東野戰軍領導決定停止攻擊，全部主力撤往睢寧地區休整。
曾被稱為「陳軍長袖子里的小老虎」的8師，從未打過這樣的「窩囊仗」！雖殲滅敵人3，000餘，但8師亦付出2，000餘人的傷亡代價，而且說到底城未攻下，使山野西擊津浦線的計畫受挫，8師士氣受挫。當時8師官兵牢騷埋怨的話很多。
8師政委丁秋生找到陳毅，懇切地說：「我們8師泗縣一戰沒打好，我有不可推卸的責任，請司令員處分我吧！」
陳毅心情也很沉重，安慰說：「泗縣之戰，我不認為是什麼敗仗。充其量也只是一次平仗。我要批評你們的是，8師還不夠全面，你們只會打勝仗，不會打敗仗。你們要經得起各種各樣的磨鍊，打了勝仗，驕傲了，那很危險；打了敗仗，氣餒了，這也很危險。那是滅自己的志氣，長敵人的威風。」
話雖這樣說，陳毅作為首長，主動承擔了失敗的責任。10月4日，他在給8師領導寫的信中說：
「仗未打好，不是部隊不好，不是師旅團不行，不是野戰軍參謀處不行，主要是我這個統帥犯了兩個錯誤……我應以統帥身份擔負一切，向指戰員承認這個錯誤。」他坦誠自責，肯定8師「始終是很好的頭等兵團，紀律為各軍之冠」，同時也作自我分析說：「在艱難困苦的日子裡，我從來不抱怨部屬，不抱怨同事，不推拒責任，因而不喪失信心……我從來不向敵人低頭，但對自己同志我常常自我批評很願意低頭。勝利時如此，不勝利時也如此，即失敗時亦如此。」
8師領導讀到這樣的一封信，受到極大感動與鼓舞。他們動員上上下下，認真總結了泗縣失利的教訓。在城市攻堅的組織指揮、戰術技術、協同配合方面得到很大的提高。後來由第8師擴建的華東野戰軍第三縱隊，成為過硬的城市攻堅部隊，在洛陽、開封都取得了輝煌的成績。
通過總結，陳毅與指揮部人員也得到提高。在陳毅主持的總結檢討會上，各縱隊（師）的領導幹部及參謀人員提出許多寶貴的意見。如參謀主任王德反映：津浦前線作戰，每次戰前都開會充分研究，布置好協同配合；此次作戰前未召集各縱（師）首長開會，未進行具體組織準備。造成總的部署有兵用不上，主攻部隊兵力分散無預備隊。陳毅對大家中肯的意見坦誠同意。陳毅這種勇於承擔責任的精神，對大家起了表率的作用，對司令部參謀人員激勵甚大。
泗縣之戰，山東野戰軍沒有打好，實力受損，部隊的士氣也受到影響。國民黨軍隊則氣焰囂張，8月19日，參謀總長陳誠到徐州綏靖公署與薛岳召開軍事會議，確定分路進軍，佔領我華中解放區中心城市淮安、淮陰的戰略計畫。
國民黨軍的部署是兵分三路：中路以李延年集團為主攻，以4個師、12個旅的兵力向睢寧、宿遷進攻；北路以馮治安集團12個團的兵力向台兒庄、魯南解放區方向進攻。為了加強李延年集團，國民黨軍統帥部特地派最精銳的74師從盱眙、天長用火車運送到徐州，然後進至古邳鎮一帶。另一支增援部隊26師41旅則進佔朝陽集。原來的主力7軍則駐守靈壁、泗縣地區，牽制我山東野戰軍主力。
泗縣戰鬥結束後，陳毅感到壓力很大。他手中的部隊經過一個月作戰，相當疲勞，需要一段時間的休整。山東方面張雲逸、黎玉來電報說魯南形勢嚴峻，兵力不足，要求山野主力回山東。粟裕、譚震林建議韋國清的二縱南下高郵，配合華中野戰軍防守，阻止國民黨軍隊沿運河北上。
陳毅感到左右為難，8月26日與宋時輪致電中央軍委，提出他們的建議。電報分析了敵情，認為國民黨軍的主攻方向是睢寧。「估計敵近日克睢寧後，可能迅速東進，進佔運河西岸宿遷、洋河等地，亦可延遲一周至十日再東進」。
陳毅告訴中央：他的部隊在泗縣戰鬥後傷亡較大，需要補充整頓。有的部隊戰鬥力不強，紀律不好，也需要進行縮編和整頓。但最困難的是「淮北、淮海兩區近又大雨大水成災，為近十年所未有。部隊炸藥、手榴彈水濕不能用，部隊走水路不能穿鞋襪爛腳」。「張、黎建議山野回山