謝尚兄弟西府之任，為謝氏門戶贏得了一定的社會聲譽和政治地位，已詳前節。以軍權謀求門戶利益，本來是東晉門閥政治的特點之一，王、郗、庾、桓，概莫能外，謝氏也是如此。不過，謝氏在豫州，並未經營起一支有長久影響的為謝氏門戶所用的武力，所以謝萬卒以輕易被廢而離開豫州。究其原因，一是桓瘟強大，不會容許在豫州形成一支獨立存在的強大武力，後來桓溫蓄意與在豫州的袁真為敵，不惜兵戎相見，就是證明；二是謝尚以後，謝奕、謝萬都以虛放為高，沒有經緯世務的能力，謝萬更是矜豪傲物，不得士情。所以一旦謝萬被廢黜而離開豫州，謝氏就失去憑藉。謝安在政治上嶄露頭角，還需要十餘年的經營。直到簡文帝死時，謝安才成為重要的政治人物。
桓溫死後的四五年中，謝安的主要對手是桓沖。謝安在朝在野均沒有黨援，只好請太后 臨朝，以宮廷勢力相抑。《晉書》卷七六《王彪之傳》曰：「時桓沖與安夾輔朝政。……安不欲委任桓沖，故使太后臨朝決政，獻替專在乎己。」寧康三年（375年）桓沖以揚州讓謝安，自己出就徐州刺史鎮京口，這，一方面出於桓沖顧全大局的器度，一方面也是迫於形勢，不得不爾。《晉書》卷七四《桓沖傳》：「謝安以時望輔政，為群情聽歸，沖懼逼」，乃解揚州，自求外出徐州云云。東晉成法，徐州刺史兼刺兗州，故京口、廣陵得以連為一氣。可是桓沖受徐州之任時，兗州卻另委朱序為刺史 序代王坦之為兗州，當在寧康三年。又《通鑒》太元元年九月桓沖遣兗刺朱序等「游軍沔漢為涼州聲援，……聞涼州敗沒，皆罷兵。」當是朱序在沔漢未回軍廣陵，於太元二年三月正式就任梁刺鎮襄陽。參看錢大昕《十駕齋養新余錄》卷中、吳廷燮《東晉方鎮年表》。">。朱序雖桓氏故義，但桓、朱究為二家。可見桓沖外任，亦非真出於總領北府以衛建康的考慮。同傳續云：翌年（太元元年，376年）謝安欲以後父王蘊為方伯，「乃復解沖徐州，直以車騎將軍都督豫、江二州之六郡軍事，自京口遷鎮姑孰。」太元二年，鎮荊州的桓豁死，桓沖又還督江、荊、梁、益、寧、交、廣七州軍事，荊州刺史。原來桓溫死後，桓沖代溫居任，本是位重勢強，曾幾何時，竟一再見逼謝安，不得不逐步撤離中樞，退出京口，放棄姑孰，直到回歸桓氏經營已久的荊、梁舊地。謝安使桓沖就範，大概借用了褚太后和王皇后的權柄。
桓沖回鎮荊州以後，東晉消除了桓氏步步向建康進逼的威脅，恢複到長江上下游的桓氏和謝氏在對峙中求穩定的局面。此時前秦苻堅已經統一北方，有隨時南侵的可能，上下游關係中雖然還存在某些衝突，但是主要的一面卻是相互支援以抗苻堅之軍。
謝安執政，最大的弱點是沒有可靠軍事力量的支持，而沒有軍事力量的支持，建康既不能與上游桓氏維持一種較穩定的平衡，更不能應付北方前秦的壓力。支持和護衛建康，本來依靠北府。早年由郗鑒組成的強大的北府軍事力量，由於桓溫兼并郗愔而不復存在。桓沖離徐州後，王蘊以外戚名士刺徐州鎮京口，本是謝安的權宜措施。《晉書》卷九三《外戚·王蘊傳》謝安促王蘊受徐州之命，曰：「卿居後父之重，不應妄自菲薄，以虧時遇。宜依褚公（裒）故事，但令在貴權於事不事耳。可暫臨此任，以紓國姻之重。」此處「幹事不事」、「暫臨此任」等語，明謝安之意不過欲借重王蘊人地以代替桓沖，不是真正想要王蘊起北府方鎮作用，更不是想要他重建北府軍事力量。兗州朱序是桓溫舊部，他以出自寒微的武人暫時刺兗州鎮廣陵，無非是謝安對桓沖的一種懷柔姿態而已，謝安自然不會指望朱序為緩急之助。桓沖既然離徐州赴上游之任，朱序遲早也會離開兗州。這樣，徐兗北府就可以留待謝安從容部署，從長考慮。
謝安利用前秦軍壓境，朝議求文武良將可以鎮御北方者的機會，舉兄謝奕之子謝玄為兗州刺史。謝玄本來是荊州桓豁的征西司馬、領南郡相。桓豁於太元二年七月死，十月桓沖西行，代桓豁為荊州刺史。謝玄東來代朱序刺克州鎮廣陵，也在這年十月，正是桓氏勢力在上游重新調整之時，桓氏無暇顧及下游。太元四年六月君川之捷以後，謝玄又兼王蘊所領徐州，徐、兗復為一鎮。謝玄的北府兵就是在這裡組建的，有了這支北府兵，謝安在建康執政才有所憑藉。
北府兵有郗鑒的先例，是重建而非創建。此時重建的北府兵，主要是南北矛盾加劇的產物，同時也是桓、謝矛盾的產物。從以後的事態發展看來，北府兵既用於淝水之戰，又用於解決桓玄問題，這兩方面，北府兵都是勝利者。
《晉書》卷八四《劉牢之傳》：「太元初，謝玄北鎮廣陵。時苻堅方盛，玄多募勁勇，牢之與東海何謙、琅邪諸葛侃、樂安高衡、東平劉軌、西河田洛及晉陵孫無終等以驍猛應選。玄以牢之為參軍，領精銳為前鋒，百戰百勝，號為北府兵。」《通鑒》太元二年：「玄募驍勇之士，得彭城劉牢之等數人，以劉牢之為參軍，常領精銳為前鋒，戰無不捷，時號北府兵。」 《劉牢之傳》聽說的北府兵，只列應募為北府將者的姓名，不具兵卒來源；而《通鑒》中所見北府兵的組成，逕謂募得「劉牢之等數人」。這裡可看到兩個問題：一，北府兵的組成主要在募將，與後世常有的募兵者不同；二，應募的北府將可能自有兵眾，只須授與軍號或刺守名義，或者略作兵員補充，就能用於戰爭 。
江淮之間，廣陵左近，東晉時是北方南來流民集中之地。流民南來的浪潮，隨北方形勢和南北關係的變化而具有周期性。流民在地著之前往往是半武裝性質，他們的首領即流民帥，多受東晉名號。流民帥曾助晉討平王敦，也曾釀成蘇峻之亂，是東晉政局中具有很大影響的一個因素。東晉視需要而處置流民，徒淮北流民於淮南而用其人力。郗鑒為北府，曾移淮北流民；謝玄受兗州之命的前一年，即太元元年，東晉孝武帝亦有移淮北流民之詔。太元元年所徙淮北流民，當是謝玄補充北府將的主要兵源。《謝玄傳》：「時苻堅遣軍圍襄陽，車騎將軍桓沖御之。詔玄發三州人丁，遣彭城內史何謙游軍襄淮，以為形援。」案前秦軍始圍襄陽，在太元三年四月，發三州人丁事當在此時或略後。三州，以其時情況度之，當指僑立的徐、兗、青三州；三州人丁，指編戶的可能性極少，當是指太元元年由淮北遷淮南的流民。《宋書》卷三一《五行志》謂晉孝武帝太元三年，「氐賊圍南中郎將朱序於襄陽，又圍揚威將軍戴遁（即下文所見的戴遂）於彭城。桓嗣以江州之眾次都援序，北府發三州民配何謙救遁。」這也證實北府將何謙所部，有三州民丁的補充，是初組北府兵時先募將後補兵的一個例證。
《劉牢之傳》列舉的最早一批北府將，多是北方南來在江淮活動多年的武人。劉牢之本人是彭城人，世為將家。劉牢之父劉建，東晉征虜將軍，受豫州刺史謝萬節度，《晉書》卷七九《謝萬傳》，謝萬潰敗之前，曾遣征虜將軍劉建修建馬頭城池。這是一個很重要的線索。劉建既為謝氏豫州舊將，劉牢之當因家世舊誼為謝玄所知。所以劉牢之得為謝玄的參軍、前鋒，實際上掌握北府兵，為謝氏所用。北府將何謙早年是徐州刺史庾希部屬。《晉書》卷八《哀帝紀》隆和元年（362年）七月，「庾希部將何謙及慕容將劉則戰於檀丘，破之。」劉牢之以將家子應募，何謙以北府宿將應募，都應當不是隻身投軍，而是各自率有原來所統士卒。稍後進入北府兵系統的戴遂（遁），也早於永和十二年（356年）參徐州刺史荀羨軍事，見《晉書》卷七五《荀羨傳》。戴遂（遁）後來進入謝玄北府兵系統時已是沛郡太守。田洛則是幽州刺史。他們當也自有兵卒。
由此可見，謝玄組織北府兵，不過是集合一部分以前本屬北府，後來分散開來，處於獨立、半獨立狀態的江淮宿將和流民武裝（江淮宿將亦出於流民武裝），徵發一部分過淮流民予以充實而成。謝玄賴以指揮和聯絡的人，是謝氏豫州舊將劉建之子劉牢之。北府兵各支既無特別訓練，又無嚴密組織，但官長、士卒都有與北敵作戰的經驗。他們一旦納入同一系統，有恰當的指揮，就成為拱衛建康、抵禦北敵的重要武裝，不但直接決定淮淝戰爭勝負，而且決定爾後東晉朝廷的政局。
順便提及，近時著作中常有說到東晉北府兵訓練精良一類的話，認為是淝水之戰中東晉獲勝的原因之一；也有同行詢及當年訓練北府兵的地點和情況。據我所知，史籍並不見謝玄訓練北府兵的資料，其時北府兵散在江淮，也不具備加以精良訓練的條件。北府兵善戰，主要在於他們來自流民，習戰有素。以為謝玄組織北府兵與歷朝常見征、募、訓練新軍之事相類似，這可能是一種誤解。
回顧歷史，大體說來，從咸和元年（326年）郗鑒鎮北府起，直到太和四年（369年）桓溫逼郗愔離開北府為止，其間四十餘年，居北府之任者儘管有十人之多，王、庾諸士族執政者俱在其中，但北府始終在郗氏影響之下。太和四年桓溫雖取得了北府的控制權，其後桓沖也一度出鎮徐州，但