建安十三年（208年）底曹操還在江陵，孫權為了把曹操從江陵請回去，在東線戰場親自指揮了合肥戰役。
合肥縣屬揚州刺史部的九江郡，舊城位於現在安徽省合肥市附近。據《太平寰宇記》記載，其具體位置在今天合肥市以東，東漢末年，戰亂不息，合肥縣一度成為廢墟。八年前，即建安五年（200年），曹操派劉馥任揚州刺史，劉馥揚州的新治所就放在合肥城，他對城市進行了大規模重建。劉馥字元穎，沛國人，跟曹操算是老鄉。他出身於劉氏宗親，是個有本事的人，當初他單人匹馬來到合肥空城，經過幾年的治理，把這一帶治理得經濟發展、人口興旺。他還重點加固了合肥城牆，在城牆上堆積了不少木石，沒事時就組織大家編草苫，不停地編，積攢了成千上萬個草苫，都堆到城牆上，還在城上儲存了大量魚油（魚膏）。當時大家挺納悶：劉刺史弄這些東西做什麼？後來大家明白了，這些都是用來救命的。赤壁之戰的這一年，劉馥去世了，這無疑是曹操的一大損失。也就是在這個時候，孫權率兵殺來了。
除孫權親自率領的一路，孫權還派張昭帶隊進攻九江郡的當塗縣。孫權的目的固然是給仍在江陵的曹操製造壓力，但他也做好了另一手準備，那就是如果順手的話就一舉將合肥攻克，給赤壁之戰再來個錦上添花。劉馥死後，曹操在合肥一帶沒有資歷較高的人坐鎮，臧霸率領的青州和徐州軍兵團作為荊州戰役的策應部隊曾一度駐紮在揚州，但都遠在長江邊上的廣陵郡一帶，回防合肥一來需要時間，二來也意味著要放棄那些好不容易到手的地盤。
孫權大兵壓境，一上來就很順手，孫權的佯攻變成了真打，合肥眼看要失守。
曹操接到消息後，命令一個叫張喜的部將前往救援。張喜事迹不詳，只知道他此前駐紮在與揚州刺史部相鄰的汝南郡，之所以現在把他派去，可能是他的防區離合肥最近，他帶領的人馬只有一兩千人。
孫權在前線調集的人馬號稱十萬，保守估計也應該有三四萬人，一兩千人長途馳援不知道還有沒有效果？但是，孫權聽說曹操的援軍來了，居然就下令撤退了（曹公自荊州還，遣張喜將騎赴合肥。未至，權退）。張喜稀里糊塗立了一件大功，但此後他仍然默默無聞，在正史上也就露了這一次臉，原因是曹操陣營里的能人實在太多了，想混成大腕級的人物真不太容易。
其實，不是張喜本事大，而是孫權這邊打不下去了。
孫權率大軍攻到合肥城下時，正好遇到下連陰雨，一口氣下了好多天，這可苦了守城的兄弟們，因為那時的城牆都是夯土結構，最怕雨水泡（時天連雨，城欲崩）。正在此危難關頭，劉馥留下的成千上萬的草苫發揮了作用，守城軍兵把它們蓋到城上，保護城牆。
大家這時才明白劉刺史有先見之明。不僅如此，儲備的大量魚油和木石也派上了用場，一到晚上城上就燃起魚油火把，把城上城下照得一清二楚，讓下面的人無法乘夜偷襲。木石肯定是給攻城的敵人準備的，招呼爬牆的敵人，沒有什麼比大木頭和石塊更過癮的了。
因為劉馥有先見之明，生前做了大量精心準備，合肥城得以不失。孫權圍住合肥前後多達一百多天也沒有什麼進展。
另外，合肥城能夠保住，還與一個人的貢獻息息相關，這個人是蔣濟。蔣濟字子通，當過郡吏，此時是揚州刺史的主要助手（別駕），類似於副州長和州秘書長之間的角色。劉馥死後，曹操任命原丞相府辦公室主任（主簿）溫恢為新刺史。溫刺史到任時，孫權圍城正急，援軍雖然已在路上，但人數很少，不足以救急。
為了穩定城裡的局勢，蔣濟悄悄建議溫刺史，對外詐說接到了張喜的書信，說有四萬人馬正往這裡趕來，目前已經到了雩婁。蔣濟還假裝派人迎接援軍，回來時分成三個小分隊，一隊進城，告諭城內軍民，讓大家增添信心；另外兩個小分隊故意讓敵人捉去，並有意讓孫權「繳獲」偽造的張喜的書信。
孫權正因久攻合肥不下而鬱悶，張昭那邊進攻也受挫，沒有攻下當塗，弄得進退維谷。張昭獨立帶兵似乎只有這一次，看來學者從戎要格外小心，不是讀過兵書的就都是諸葛亮。
據《三國志張傳》記載，孫權急了，想親自衝鋒陷陣（權率輕騎欲身往突敵），孫權的秘書長（長史）張趕緊死死相勸，孫權才打消念頭。
現在，孫權看到俘獲的書信，上面有四萬人馬正往這裡馳援的消息，管它是真是假，反正有情報顯示曹操本人已動身離開了江陵，此次戰役的基本目標也實現了，現在剛好是個台階，撤吧。
孫權下令燒掉攻城的器具和營寨，從合肥城撤退。
立下大功的蔣濟此時還是一個二十六七歲的年輕人，以後他成為曹魏的重臣，身仕魏文帝、魏明帝以及齊王曹芳等幾代，官至太尉。魏正史十年（249年）司馬懿發動高平陵事變，誅殺了曹爽，控制了朝政。蔣濟作為忠心於曹魏的老臣，處境十分尷尬，他於那一年去世。
孫權的情報沒錯，曹操確實在建安十三年（208年）底到十四年（209年）初之間從江陵撤退，與半年前南下時順風順水、一路所向披靡相比，曹操的返程顯得很壓抑。他甚至沒有在襄陽作停留，直接由南陽郡境撤到了許縣。
曹操也沒有在許縣停留，此時合肥城外仍處於膠著狀態，曹操決定親自去解圍，會一會孫權。建安十四年（209年）三月，曹操率主力向揚州刺史部轉進，這時接到合肥前線的戰報，孫權已經撤軍了。
既然戰事不那麼著急，曹操決定在老家譙縣一帶對部隊進行了休整。
官渡之戰結束時，曹操也曾重返故鄉，在此練兵。然而，今非昔比，那一次是打了大勝仗，這一次打了大敗仗。
不過，這對曹操沒有太大的影響，有人喜歡衣錦還鄉，而在遭遇失敗和挫折時不敢面對故鄉和親友。曹操不那麼看，十多年的戎馬生涯，早已讓他把勝敗看得很淡，輸得起的人，才能贏得起。
曹操很認真地在譙縣一帶練起了兵。
譙縣位於渦河邊上，這條河通船運，而且可以直通淮河。曹操這次練兵，重點操練了水軍，他在此設立了臨時造船基地，加緊打造戰船。當然渦河比不得淮河，更比不得長江，曹操這時候造出來的，也只能是排水量較輕的戰船（軍至譙，作輕舟，治水軍）。
曹操認為，水軍是自己的一個弱項，是赤壁之戰導致全敗的主因，要戰勝孫權，重新奪回荊州，必須建設一支強大的水軍。
這一年秋天，曹操在譙縣練兵也有三四個月了，從四面徵調以及新打造的各式戰船也有了相當數量，曹操決定率領包括水軍在內的主力前往合肥前線，讓水軍在實戰環境下接受考驗。
他們走的路線是：由渦水進入淮水，再由淮水進入淝水，直達合肥城外。曹操發布軍令：「近來大軍多次出征，遇到疾病蔓延，讓許多官兵死在了外面，造成夫妻不能團聚，百姓流離失所，有仁愛之心的人難道願意這樣嗎（而仁者豈樂之哉）？這實在是不得已呀。現在命令，死者家裡凡是沒有產業來養活自己的，政府不得停發其口糧（其令死者家無基業不能自存者，縣官勿絕廩），地方行政長官要經常撫恤慰問，以了我的心愿（以稱吾意）。」
曹操親自坐鎮合肥，在這裡調整充實了揚州刺史部以及各郡縣的官吏（置揚州郡縣長吏），並大興水利工程，推行屯田建設。
曹操在此前後逗留了好幾個月，親自主持重修了芍陂等水利工程。芍陂又叫安豐塘、期思陂，最早由春秋時期楚國著名宰相孫叔敖主持修築，是一個人工水庫，被譽為「世界塘中之冠」，與都江堰、漳河渠、鄭國渠並稱中國古代四大水利工程。
芍陂的位置在今天安徽省壽縣南，處於淮河眾多支流的包圍之中，周圍又是廣闊的良田，地理位置十分優越。《史記》說它「周百二十里」，水域面積比今天大得多。
曹操重修芍陂，發揮它的灌溉、航運作用，配合周邊地區的屯田，使這裡成為重要的糧食基地，這對進一步鞏固合肥的戰略地位十分重要。
在揚州刺史溫恢、州政府別駕蔣濟、綏集都尉倉慈等人的領導下，曹操在揚州的勢力得到一定程度的鞏固，合肥作為戰略要地的作用進一步加強，今後這裡將成為曹魏和孫吳爭奪的焦點，雙方多次在此展開攻防戰。這一年底，曹操重返譙縣。
可是，他一走這裡又出事了。