苻堅依仗著雄厚的兵力，不等各路人馬到齊，就命令苻融向晉軍發動猛烈進攻。十月，苻融把壽陽城攻破了。胡彬率領水軍還沒有到達壽陽，在半路上聽到這一消息，被迫把部隊退到一邊是河水、一面是高山的硤〔xia霞〕石(今安徽省鳳台縣西南)，在這個地勢險要的地方紮下營來，專等謝石大軍的到來。苻融佔領了壽陽以後，一面派兵圍攻硤石，一面派梁成率領50000軍隊控制了洛澗(即洛水注入淮水的地方，在今安徽省定遠縣西南)，阻止從東面來救援胡彬的晉軍。謝石命令晉軍在離洛澗25里的地方，駐紮下來。
謝石的大軍不能前進，被圍困在硤石的胡彬水軍就孤立了，眼看軍糧就要吃光，情況十分緊急。為了迷惑敵人，胡彬命令士兵們拿著簸箕，天天在河岸上揚簸沙土，使遠處的秦軍看見，好像是在簸米，表示自己的軍糧還很充足。同時他給謝石寫了一封告急信，說：「現在敵軍勢力很大，這裡的軍糧已經吃完，情況十分緊急，恐怕再不能和大軍相見了。」他把密信交給一個親兵，叫他乘夜突圍出去，送給謝石。不料這個親兵在途中被秦軍捉住，告急的密信也給秦軍搜去了。苻融得到這個情報，立即派人連夜到項城去報告苻堅，說：「現在晉軍人少糧盡，正是打敗他們的好機會，應該馬上發動進攻，不能讓他們跑了！」
狂妄自大的苻堅正在為攻佔項城沾沾自喜，聽到苻融的密報，更是心花怒放。當天晚上，苻堅把大軍留在項城，只悄悄地挑選了8000名輕騎兵，親自帶領，不分晝夜地趕往壽陽，想要出其不意地捉住謝石，一舉滅亡東晉。他離開項城的時候，還對項城的將士們下了嚴厲的命令：「誰敢泄露我去壽陽的消息，我要把他的舌頭連根拔掉！」
苻堅來到壽陽，和苻融經過一番計議，認為有可能使東晉不戰而降，決定派朱序到晉軍去勸降。朱序本是漢人，曾做過東晉的梁州刺使，在襄陽守衛戰中戰敗被俘，他「身在秦營心在晉」，仍存報國之心。朱序來到晉營不但沒有勸降，反而把他所知道的秦軍的一切情況，都秘密地告訴了謝石、謝玄，並向兩位將軍提出破敵的建議。他說：「苻堅這次拼湊了全國兵力，共有90多萬人。如果這些軍隊一齊到來，的確很難對付。但是目前秦軍大部分人馬還在行軍途中，涼州的兵剛剛趕到咸陽；秦軍在前線的兵力並不怎麼雄厚。晉軍如果要發動進攻，現在正是大好機會。你們只要派一支精兵打敗秦軍的前鋒，挫傷它的銳氣，秦軍就會全線崩潰。」朱序說完，就匆匆趕回壽陽去了。
起先，謝石以為苻堅的主力大軍都已經來到壽陽，本想採取守勢，疲勞秦軍；後來和謝玄、謝琰等仔細研究了朱序的密報，決定乘苻堅的主力還沒有到來，首先消滅梁成的部隊，掃除前進障礙，解救硤石之圍。於是，他派勇將劉牢之率領5000名北府兵，去襲擊駐紮在洛澗的梁成部隊。
劉牢之接到命令，就在當天夜裡，帶領5000名北府兵，借著星光，向洛澗出發。聽說要向秦軍發動攻擊，北府兵人人摩拳擦掌，戰鬥情緒異常高昂。晉軍來到離洛水10里路的地方，劉牢之接到前哨的報告說：梁成的部隊，在洛水對岸紮下了營寨，黑壓壓的一大片，但是一點動靜也沒有，好像已經進入夢鄉了。劉牢之立即向部隊下了急行軍的命令。北府兵5000人馬涉水而過，像猛虎下山一樣，勇猛地衝破了秦軍的前沿陣地，吶喊著殺進了敵人的大營。正在酣睡的秦兵還沒有來得及弄明情況，許多人就被晉軍殺死了。梁成從夢中驚醒，聽到帳外的廝殺聲，嚇呆了。他慌慌張張地爬起來，披上鎧甲，翻身上馬，正想抵抗，只見劉牢之一馬當先，手執長槍，直向梁成的營帳衝來，正好和梁成相遇。兩人大戰了十幾個回合，梁成膽怯手軟，漸漸招架不住，被劉牢之一槍刺於馬下。
秦軍失去主將，更加無心抵抗，紛紛向後逃跑。晉軍乘勝追擊，一直追到淮河邊上。劉牢之馬上分兵截斷秦兵退路。秦兵被追得走投無路，搶著跳進淮水裡逃命，許多人都淹死在水裡了。經過一夜的激烈戰鬥，秦軍死傷達15000人，洛澗被劉牢之的北府兵收復了，前秦在淮河的封鎖線被打破了。
謝石、謝玄聽到洛澗大捷的消息，一面命令劉牢之繼續沿淮河西進，解救硤石之圍；一面親自指揮各路兵馬，乘勝進到淝水東岸，駐紮下來，和對岸苻堅的秦軍隔河相望。在勝利的消息鼓舞下，晉軍士氣更加高漲。一場激烈的決戰即將到來。