《晉書》卷七五史臣曰：「建元之際，時政多虞，巨猾陸梁，權臣橫恣。其有兼將相於中外，系存亡於社稷，負扆資之以端拱，鑿井賴之以晏安者，其惟謝氏乎！」史臣所論，起自陳郡謝氏謝尚輟黃散以受軍旅，迄於謝玄以疾解北府之任，其間四十餘年（344—387年），謝氏於晉室有殊功而少愆失，故作褒掖如此，以見謝氏家族發揮的歷史作用。與東晉其它幾家當政士族相比，謝氏翼衛東晉朝廷而又門風謙退，不妄生事端的特點，是非常明顯的。
但是，還有不曾為史臣注意到而後果甚為重要的問題，即淝水戰後不及二年，謝安離京師外駐廣陵，讓出了中樞相權；三年甫過，謝玄又退居會稽，讓出北府兵權。謝氏此舉雖屬被逼於皇帝和宗室的壓力，但壓力之下毫不反抗而放棄相權和兵權，這在東晉門閥政治歷史上是罕見的。謝氏離開中樞的結果，是相權完全歸於宗室司馬道子；謝氏讓出兵權的結果，是由謝氏組成和指揮的北府兵逐漸解體。長遠看來，這些變化對於門閥政治的逐漸消亡，關係非常重大。
北府兵在淝水之戰前夕從事淮南、淮北的戰爭，指揮者是謝玄。淝水之戰，謝石受其兄謝安之遣，解僕射之任，以將軍、假節、征討大都督，統率兄子謝玄、謝琰以及豫州刺史桓伊等軍應戰。謝安則坐鎮建康。淝水戰後的北伐戰爭，謝玄為前鋒都督，謝安甚至自求征討。這些階段，合共約十年左右，馳騁疆場的大半都是北府兵，最重要的將領是出身謝氏豫州軍府的劉牢之，指揮權則在謝氏家族人物之手。謝玄卸北府之任後，北府宿將日就零落，他們分散於淮北、淮南各州郡及其它軍府，不再自成系統，也不能合力應戰。這時羌、氏、鮮卑慕容及其它各族諸國彼此攻伐，鮮卑拓跋部力量逐漸興起，長期戰事不已，北方混亂異常。所以南北之間作戰的機會大大減少，淮南、淮北的北府兵暫時沒有從事外戰的需要。
太元十二年正月謝玄自彭城南返會稽以後，原由謝玄統領的徐州，與兗、青二州又析為二鎮。宿將朱序監兗青二州軍事、二州刺史，自彭城退鎮淮陰。朱序為桓溫舊部，將家出身，當十餘年前桓沖為徐州時曾暫駐兗州。朱序雖然資望甚深，但於北府沒有多少歷史關係。所以當他再度出刺兗、青時，謝氏舊將留駐淮南、淮北者未必服從他的節度指揮。觀《晉書》卷八一《朱序傳》序於此時表求運江州米帛以資軍俸一事，可知朱序兗、青任內，軍資還要仰賴上游桓氏老巢支援，不能在兗、青就地取給，也不能從揚州江南諸郡獲得，其處境是困難的。朱序在兗、青未得久任，太元十三年四月徒刺雍州，戍洛陽，譙王司馬恬遂出繼兗、青之任。《晉書》卷三七《譙王恬傳》：「恬既宗室勛望，有才用，孝武帝深仗之，以為都督兗、青、冀、幽、並、揚州之晉陵、徐州之南北郡軍事，領鎮北將軍、兗青二州刺史」。譙王恬所督既包括晉陵在內，則其時兗、青二州治所已由前此之淮陰南遷京口。《譙王尚之傳》直謂其父「活鎮京口」；《太平廣記》卷二七六引《異苑》謂恬在京口為都督，重修鄧艾廟，均可證實此點。《元和郡縣圖志》卷二五亦作如是說。
至於徐州刺史之職，自謝玄離北府後即由執政司馬道子兼領。因此之故，徐州刺史雖置文武，但府第當在建康。《元和郡縣圖志》卷二五在述及昇平二年（358年）徐州刺史荀羨等北鎮下邳而於京口有留局以後說：「後徐州寄理（治）建業（建康）」。徐州寄治建康，即是指司馬道子兼領徐州時之事。
太元二十一年（396年）孝武帝死，安帝即位，司馬道子始解徐州之任 ，《通鑒》謂「以散騎常侍彭城劉該為徐州刺史，鎮鄄城。」彭城劉該不見於今本《晉書》。《魏書》卷二六《長孫肥傳》有劉該遣使詣肥請降記事，據《通鑒》時在隆安五年（401年）七月。《宋書》卷一《高祖紀》元興三年（404年）：「北青州刺史劉該反」；同書卷五一《宗室長沙王道憐傳》，謂義熙元年（405年）南彭城內史劉道憐追斬叛將劉該。劉該刺徐州時駐鄄城，刺北青州亦治荒外，其人前後居疆埸之任八九年之久而未得代，似亦習於徵戰而且還反覆於南北之間的將家 。劉該刺徐州之前曾為散騎常侍，此官在晉世選望甚重，與侍中不異，其後職任閑散，用人漸輕 。東晉末年亦可用將門子弟居之，劉隗之孫劉波自北投南，為桓氏將，曾累遷而居此職，劉牢之子劉敬宣亦嘗居此職。凡此種種跡象，說明劉該或為北府將而又早已投身建康，依靠司馬道子。劉該為徐州刺史鎮鄄城之後，據《司馬道子傳》，隆安元年（397年），道子以其衛將軍府及「徐州文武」悉配其子司馬元顯。下年王恭死後謝琰出刺徐州，當是另行組織徐州刺史這一機構。而劉該由徐州刺史轉北青州刺史，亦當在這個時候，因為不能有兩個徐州刺史同時存在。
總綰北府諸將的徐州本治京口，自謝玄去職之後，先由司馬道子在建康置局遙領，後入將家劉該之手而遷治於接近黃河的鄄城，不得回治京口。這是一方面的情況。另一方面，本來是僑寄江北、常以廣陵為治的兗州，卻入孝武帝深相委託的譙王恬之手，移鎮京口。這樣，就在東晉的要害之地，出現了罕見的州治互移現象。為什麼會出現這種現象呢？我認為這是出於中樞控制北府諸將的需要。
淝水戰後謝玄北伐，北府諸將多偕同北行，謝玄自領的徐州與兗州刺史，也均隨軍事需要移駐北方。其時北方各族混戰正酣，江表無烽警之虞，朝局亦尚穩定，京口無需重兵駐守。後來謝玄南歸，北伐活動暫時停頓，但留在北方的北府諸將並未立刻相偕南還。暫駐淮陰的宿將朱序，雖以其監青兗二州軍事、二州刺史之職，有指揮北府諸將的權責與資望，但未必為北府諸將所接受，也未必符合朝廷的願望。所以司馬道子以執政地位兼領徐州刺史，必有對北府諸將遙領而羈魔之的目的，但實際上是徒有其名，鞭長莫及。後來劉該刺徐州鎮鄄城，當是承司馬道子的意旨，謀求實際控制久在荒裔的北府諸將。這當然是不會有成效的。劉該出為徐州刺史後，只有一兩年即轉為北青州刺史。
如前題所敘，太元政局，孝武帝與司馬道子之間，既是主相相維以張司馬氏的皇權，又是主相相爭而各有樹置。太元十三年（388年）四月，孝武帝委譙王司馬恬以兗青二州刺史以代朱序。兗青二州刺史既然起不了實際控制遠在北方的北府諸將的作用，所以改鎮京口，徐圖在京口重新配置力量，與建康呼應，以代替過去徐州刺史鎮京口的作用。司馬恬在京口，以子司馬尚之為廣陵相，父子隔江相望，企圖牢固地控制下游，以為建康保障。
孝武帝既然先走一步，以親信譙王恬據有京口，司馬道子接著於十四年七月也走一步，以妃兄名士太原王忱出刺荊州鎮江陵，取得了上游。然後孝武帝又乘司馬恬死的機會再進一步，以皇后兄名士太原王恭為「都督兗、青、冀、幽、並、徐、〔揚〕州〔之〕晉陵諸軍事、平北將軍（案後來改號前將軍）、兗青二州刺史、假節，鎮京口」 。王恭與孝武帝關係之密切，遠勝於譙王恬。至此，東晉政局又恢複了中樞實際執政者（這時是孝武帝本人）牢固控制京口，權臣（這時是司馬道子）則據有上游以為分陝之勢的格局。
孝武帝死，形勢為之大變，主相矛盾不存在了，司馬道子獨攬朝權。據有京口的王恭徒有地望虛譽而無實力，無法對抗司馬道子。所以他在籌劃討伐王國寶時，不得不以北府宿將劉牢之為府司馬，引他還駐京口以為援助。據《晉書》卷七四《桓修傳》，我們知道與劉牢之同還京口的北府將，還有晉陵人孫無終等，而劉裕就在孫無終軍中為司馬。這樣，曾長期被置於邊裔的北府將紛紛率部南返，或投京口，或投建康，得到在江左內爭中發揮作用的機會，而京口由於有了還駐的北府兵，也恢複了對建康舉足輕重的地位。
如前所述，為了至少在名義上統領在北方屯駐作戰的北府諸軍，先有司馬道子在建康置局，兼領徐州刺史，後有劉該繼為徐州刺史，出鎮鄄城。隆安元年，劉牢之已引所部北府兵歸於王恭麾下。王恭雖然只居究、青刺史而無徐州刺史之名，亦未受平北將軍一類軍號，但由於有劉牢之以府司馬率北府兵相隨，是名副其實的北府鎮將。《王恭傳》謂恭「自在北府」云云；又王恭起事前曾說劉牢之曰：「事克即以卿為北府。」這些情況，說明在京口為北府鎮將的王恭，只有倚靠劉牢之的北府兵才能自存，才能具有鎮懾作用；而劉牢之的北府兵南歸後還須依附士族，仍然是一支為門閥政治所用的軍隊，還不具有對士族的獨立性。
北府兵擺脫士族控制而成為一支獨立的力量，是王恭兵敗以後的事。王恭敗死後，駐在京口的都督軍府與州刺史分離：王恭所遺以京口為治的兗青二州復改徐州，謝琰為刺史；王恭所遺都督兗、青、冀、幽、並、徐、揚州之晉陵諸軍事職則由劉牢之繼任，亦在京口 。刺史不帶都督，成為所謂「單車刺史」；而都督擁兵，北府之名專歸都督所有。《晉書》卷一零零《孫恩傳》謂謝琰以徐州刺史南討孫恩，加督會稽