1853年11月中旬，太平軍逼近安徽省會廬州（今安徽合肥）。廬州知府胡元煒向江忠源求救，但是此時江忠源正病倒在床，跟著他的殘餘楚軍由於長期得不到休整補充，也越打越少且戰鬥力銳減。
為了能讓江忠源捨命撈自己，胡元煒在信中扯了個謊，說廬州兵力和糧餉充足，光鄉勇就有萬人：反正是兵強馬壯，您老人家來了指定開心，只要動動嘴，想想招，太平軍的那幾頭爛蒜都不夠咱爺倆搗的。
江忠源信以為真，遂強撐病體，讓人用擔架抬著上了路。12月10日，已被任命為安徽巡撫的江忠源進入廬州，去了之後才發現，他被胡元煒給忽悠了。
江忠源把他帶去的楚軍加一塊，全城兵勇一共才三千人，而且廬州城牆低矮，物資也很缺乏，與胡元煒所說的相去甚遠。
胡元煒是個肥嘟嘟的胖子，江忠源氣恨恨地對他說：「你小子既然肚子里有這麼多鬼心眼，應該是用腦過度的瘦猴形象才對，怎麼會長一身肥肉出來？」
罵歸罵，既然來了，守還是要守。未等江忠源部署完成，大批太平軍已經趕到廬州城下。江忠源帶病指揮，他明白此一時彼一時，廬州守軍勢單力薄，必然難以長久支持，因此急忙寫信對外請援。
可是太平軍早就為他準備了圍點打援的戰術，赴援的兵馬來多少被打掉多少，剩下的噤若寒蟬，紛紛裹足不敢向前。陷於孤城中的江忠源不得不帶病指揮，用守南昌的辦法來守廬州，如此艱苦忍耐，又堅持了月余。
在攻城過程中，太平軍嗅到了城內的緊張空氣，他們立刻派人入城打探動靜。令人吃驚的是，曾經厚著臉皮把江忠源拖下水的知府胡元煒，竟然在這個關鍵時刻發生動搖，他背叛江忠源，把城內的情況跟太平軍一五一十地做了交代。太平軍由此了解到城中食物將盡，軍火也所剩無幾，於是攻勢變得更為猛烈。
對付「穴地攻城」，江忠源用的是老辦法，太平軍土營卻通過改進，創造了新技術：你不是會破壞地道嗎？好，我這次給你來個雙黃蛋。
土營掘的是雙層地道，破壞了上層，還有下層，而且彎彎曲曲，讓守軍捉摸不透。1854年1月14日晚，上層地道的炸藥炸塌了城牆，江忠源派兵搶堵，但是下層地道再次發生爆炸，守城兵勇非死即傷，亂作一團。太平軍乘勢如潮湧入。
眼見大勢已去，江忠源欲抽刀自刎，被左右攔下。此時天還沒亮，又起了大霧，有忠心的部下將已負重傷的江忠源背在肩上，欲藉機衝出包圍。江忠源不願拖累別人，勸止不住，突然咬住部下的耳朵，趁對方一鬆勁，他掙扎出來，徑直跳進一口水塘自殺而亡。
江忠源守城時，曾給咸豐上疏，言「誓與此城共存亡」。咸豐尋尋覓覓，好不容易找到這麼一個將才兼救火隊長，哪裡捨得丟棄，因此破天荒地在奏疏上批示：「不必與城共存亡。」
當咸豐的聖旨寄到，廬州已城破兩天了。江忠源死後，他的部下冒著風險重新派人潛入廬州打探，最後從水塘的橋下找到了江忠源的屍體。屍體被運回楚軍軍營時，距其身亡已經有二十二天，竟仍面目如生。楚軍部卒見之，無不痛哭失聲。
曾國藩又要寫輓聯了，這回是給他預言會「節烈死」的江忠源：「百戰守三城，章貢尤應千世祀；兩年躋八座，江天忽報大星沉。」
三戰，指江忠源死守過的三座重要城池，即長沙、南昌、廬州。八座，指江忠源按軍功所得的官銜，從知縣到巡撫依次為八級。
大星江沉，曾國藩失去了一位至交，不久之後，他還將失去一位老師。
曾國藩參加過的考試多，當然老師就多，在那些出名的座師中，除了穆彰阿，尚有吳文鎔。
更為巧合的是，吳文鎔還曾是「江青天」的上司。吳文鎔曾出任浙江巡撫，出任之初，他就對浙江進行了巡視，一圈看下來，他發現一省之內就沒幾個好官，不是貪污受賄，便是無能瀆職。吳文鎔一口氣彈劾了五個不稱職的知縣，但仍解決不了問題，新的換舊的，不過是一百步與五十步的差距而已。
秀水知縣江忠源的出現，讓吳文鎔眼前一亮。他從沒見過這麼優秀的官員，又清廉，又能幹，簡直無可挑剔。
一個小小知縣，吳文鎔卻待之如國士，浙江境內凡賑災、治盜和水利等一干大事的處理，皆依賴於江忠源在秀水所取得的經驗，吳文鎔只是把它們推廣開來而已。
後來江忠源的父親去世，江忠源請辭歸家。臨行時，吳文鎔親自送行，見他兩袖清風，便嘆息著說：「像江知縣這樣賢明的人，怎麼可以兩手空空地回去給父親辦喪事呢？豈不寒了志士之心。」
吳文鎔從自己的養廉銀中拿出五百兩送給江忠源，同時還在賑災有功人員名單中，將江忠源列入第一。
吳文鎔與江忠源一直有書信往來，清軍在永安圍住太平軍那一仗，吳文鎔就曾在信中表示，這一戰若不能成功，就會放虎歸山，進入湖南的太平軍將不可制。