前秦大舉進攻的消息傳到建康，晉孝武帝和許多文武官員非常恐慌。東晉的廣大人民害怕遭受氐族貴族的殘暴統治，堅決要求抵抗。東晉的統治階級，為了維持偏安政權和自己的利益，又考慮到西晉由於不抵抗而亡國，也感到除了抵抗以外再無出路。在宰相謝安主持下，東晉政府決定發兵抵抗前秦的進攻。
謝安，字安石，是一位有豐富統治經驗和遠大政治眼光的地主階級政治家。他的祖上原先是北方的地主，以後全家遷到了江南。謝安年輕的時候，朝廷召他出來作官，他不肯，後來他在會稽東山(今浙江省上虞縣西南的東山)隱居起來。公元373年，謝安終於應召出山，被朝廷任命為宰相，執掌朝政。他上台以後，和當時東晉政府中另一個重要人物車騎將軍桓沖密切合作，並起用那些在政治上失勢的人才，讓他們能夠為國家出力。在軍事上，任命謝石、謝玄等人為將領，加強對前秦的防禦。所以在淝水之戰以前，東晉統治階級內部比較穩定和團結，社會比較安定，政權比較鞏固，軍事上也是有準備的。
這次前秦大軍壓境，謝安被孝武帝任命為戰時最高統帥征討大都督。謝安首先下令把淮河以北的老百姓遷到淮南，實行堅壁清野，防止前秦掠奪東晉的勞動力，同時用以補充自己的兵源。
在軍事上，謝安認為淮河一線是苻堅進攻的主要方面，所以首先必須派重兵在這一線布防。他推派自己的弟弟謝石代理征討大都督的職務，指揮全軍；選派優秀的將領謝玄做前鋒都督，連同青年將領謝琰和桓伊等一起，率領80000名精銳的「北府兵」去迎擊秦軍。另外，謝安又派了將軍胡彬，率領5000名水軍去增援壽陽。
謝玄在率領北府兵出發之前，去見謝安，問他怎樣才能打敗秦軍。謝安從容不迫地回答說：「朝廷已經作好了安排，你只管去好了。」說完就不再開口了。謝玄有些納悶，可是又不敢再問，就托一個叫張玄的同事再去請示謝安。謝安不但沒有作答，反而和張玄一道乘車到山中別墅遊玩去了。謝安邀張玄下圍棋。張玄的棋藝本來比謝安高明，往日下棋，總是張玄贏，謝安輸；可是今天張玄老擔憂著前方的軍事，結果沒有獲勝，下成了和棋。謝安在山中整整遊玩了一天，直到深夜才回家。
大敵當前，謝安就是這樣的沉著、冷靜，從容不迫，並且充滿勝利的信心。看到宰相這樣，滿朝文臣武將的心也鎮定下來了。