卻說桓溫得專晉政，威權無比。他本來是目無君相，窺覦非分，嘗卧對親僚道：「為爾寂寂，恐將為文景所笑！」文景指司馬師兄弟。嗣又推枕起座道：「不能流芳百世，亦當遺臭萬年！」為此一念，貽誤不少。又嘗經過王敦墓，慨望太息道：「可人！可人！」先是有人以王敦相比，溫甚不平，至此反慨慕王敦，意圖叛逆。會有遠方女尼，前來見溫，溫見她道骨珊珊，料非常人，乃留居別室。尼在室中洗澡，溫從門隙窺視，見尼裸身入水，先自用刀破腹，繼斷兩足，溫大加驚異。既而尼開門出來，完好如常，且已知溫偷視己浴，竟問溫道：「公可窺見否？」溫料不可諱，便問主何吉凶？尼答云：「公若作天子，亦將如是！」溫不禁色變，尼即別去。術士杜炅，能知人貴賤；溫令言自己祿秩，炅微笑道：「明公勛格宇宙，位極人臣。」溫默然不答。若非此二人相誡，溫已早為桓玄了。
他本欲立功河朔，收集時望，然後還受九錫。自枋頭敗歸，聲名一挫，及既克壽春，因語參軍郗超道：「此次戰勝，能雪前恥否？」超答言尚未。既而超就溫宿，夜半語溫道：「明公當天下重任，年垂六十，尚未建立大功，如何鎮愜民望！」溫乃向超求計，超說道：「明公不為伊霍盛舉，恐終不能宣威四海，壓服兆民。」溫皺眉道：「此事將從何說起？」超附耳道：「這般這般，便不患無詞了。」此賊可惡。溫點首稱善，方才安寢。越日，便造出一種謠言，流播民間，但說帝奕素有痿疾，不能御女，嬖人朱靈寶等，參侍內寢，二美人田氏孟氏，私生三男，將建立太子，潛移皇基云云。看官試想！這種曖昧的情詞，從何證實？明明是無過可指，就把那床笫虛談，架誣帝奕，這真所謂欲加之罪，何患無詞呢。
溫既將此語傳出，遂自廣陵詣建康，奏白太后褚氏，請將帝奕廢去，改立丞相會稽王昱，並將廢立命令，擬就草稿，一併呈入。適褚太后在佛屋燒香，由內侍入啟云：「外有急奏。」太后出至門前，已有人持入奏章，捧呈太后。太后倚戶展閱，看了數行，便悵然道：「我原疑有此事。」疑奕耶？疑溫耶？說著，又另閱令草，才經一半，即索筆寫入道：「未亡人不幸罹此百憂，感念存歿，心焉如割。」寫畢，便交與內侍，飭令送還。廢立何事，乃草草批答，褚太后亦未免冒失。溫在外面待著，但恐太后不允，頗有憂容。及內侍頒還令草，無甚駁議，始改憂為喜。越日，溫至朝堂，召集百官，取示令草，決議廢立。百官都震慄失色，莫敢抗議；只是兩晉相傳，並沒有廢立故事，此次忽倡此議，欲要援證典章，苦無成制，百官都面面相覷，無從懸定。就是溫亦倉皇失措，不知所為。倉猝廢立，典禮都未籌備，乃百官莫敢抗議，晉廷可謂無人。獨尚書僕射王彪之，毅然語溫道：「公阿衡皇家，當參酌古今，何不追法先代？」溫喜語道：「王僕射確是多能，就煩裁定便了。」彪之即命取漢《霍光傳》援古定製，須臾即成，乃朝服立階，神采自若。逢迎權惡，裝出甚麼儀態。然後將太后命令，宣示朝堂道：
王室艱難，穆哀短祚，國嗣不育，儲宮靡立。琅琊王奕，親則母弟，故以入纂大位。不圖德之不建，乃至於斯！昏濁潰亂，動違禮度。有此三孽，莫知誰予。人倫道喪，醜聲遐布。既不可以奉守社稷，敬承宗廟，且昏孽並大，便欲建樹儲藩，誣罔祖宗，傾移皇基，是而可忍，孰不可懷！今廢奕為東海王，以王還第，供衛之儀，皆如漢朝昌邑故事。 但未亡人不幸罹此百憂，感念存歿，心焉如割。社稷大計，義不獲已。丞相錄尚書事會稽王昱，體自中宗，明德劭令，英秀玄虛，神契事外，以具瞻允塞，故阿衡三世，道化宣流，人望攸歸，為日已久，宜從天人之心，以統皇極。飭有司明依舊典，以時施行。此令。
總計帝奕在位六年，無甚失德，不過奕雖在位，好似傀儡一般，內有會稽王昱，外有大司馬溫，把持國政。他嘗自慮失位，召術士扈謙筮易，卦象既成，謙據實答道：「晉室方如磐石，陛下未免出宮。」至是竟如謙言。溫使散騎侍郎劉享，收帝璽綬，逼奕出宮。時值仲秋，天氣尚暖，奕但著白帢單衣，步下西堂，乘犢車出神獸門，群臣相率拜辭，莫不欷歔。有何益處？侍御史殿中監，領兵百人，送奕至東海第中。一面具備法駕，由溫率同百官，至會稽邸第，迎會稽王昱入殿。昱戴平巾幘，單衣東向，拜受璽綬，嗚咽流涕。何必做作？當即入宮改著帝服，升殿受朝，即改太和六年為咸安元年，史家稱他為簡文帝。溫出次中堂，分兵屯衛，有詔因溫有足疾，特命乘輿入朝。溫欲陳述廢立本意，及引見時，但見簡文帝泣下數行，倒也無詞可說，只好默然告退。
太宰武陵王晞，與簡文帝系出同胞。簡文即位，顧念本支，當然優禮相待。惟晞素好武事，又與殷浩子涓，常相往來。浩歿時，溫遣人齎書往吊，涓並不答謝，為溫所恨，因並及晞。新蔡王晃，系從前新蔡王騰後裔，亦與溫有隙。還有廣州刺史庾蘊，太宰長史庾倩，散騎常侍庾柔，皆為前車騎將軍庾冰子，就是廢帝奕皇后庾氏的弟兄。庾後既連帶被廢，降為東海王妃，溫恐庾家族大寵多，陰圖報復，於是想出一法，先扳倒武陵王晞，誣他父子為惡，曾與袁真同謀叛逆，因即免官歸藩。簡文帝不得不從，出晞就第，罷晞子綜、㻱等官。溫又迫令新蔡王晃，誣罪自首，連及武陵王晞父子，並殷涓、庾倩、庾柔等，一同謀逆，且將太宰掾曹秀，舍人劉強，憑空加入，一古腦兒收付廷尉。御史中丞譙王恬，即譙王承孫。陰承溫旨，請依律誅武陵王晞。簡文帝復詔道：「悲惋惶怛，非所忍聞，應更詳議。」溫復自上一表，固請誅晞，語近要挾，簡文帝手書給溫，內有晉祚未移，願公奉行前詔；若大運已去，請避賢路云云。
溫覽到此詔，也不覺汗流色變，始奏廢晞及三子家屬，皆徙新安郡，免新蔡王晃為庶人，徙錮滎陽。殷涓、庾倩、庾柔、曹秀、劉強，一律族誅。簡文帝不便再駁，勉依溫議，可憐殷、庾兩大族，冤冤枉枉死了若干人。炎炎者滅，隆隆者絕。庾蘊在廣州任內，聞難自盡，蘊長兄前北中郎將庾希，季弟會稽王參軍庾邈，及希子攸之，並逃往海陵陂澤中。獨東陽太守庾友，也是蘊兄，因子婦為溫從女，特邀赦免。溫自是氣焰益盛，擅殺東海王奕三子，及田氏、孟氏二美人。旋復奏稱東海廢黜，不可再臨黎元，應依昌邑故事，築第吳都。簡文帝商諸褚太后，請太后下令，謂不忍廢為庶人，可妥議徙封。溫復奏可封海西縣侯，有詔徙封奕為海西縣公。廢后庾氏，積憂病歿，尚追貶為海西公夫人。會吳興太守謝安，入為侍中，遙見溫面，便即下拜。溫驚呼道：「安石謝安表字見前。何故如此？」安答道：「君且拜前，臣難道敢揖後嗎？」溫明知安有意嘲諷，但素重安名，不便發作，且默記前時女尼微言，也有戒心，因即上書鳴謙，求歸姑孰。詔進溫為丞相，令居京師輔政。溫仍然固辭，乃許他還鎮。
秦王堅聞溫廢立，顧語群臣道：「溫前敗灞上，後敗枋頭，不知思愆自貶，遍謝百姓，反且廢君逞惡，六十老人，作此舉動，怎能為四海所容？古諺有雲『怒其室，作色於父』，便是桓溫的註腳呢。」
溫雖然還鎮，攬權如故。且留郗超為中書侍郎，名為入值宮廷，實是隱探朝事。簡文帝格外拱默，尚恐溫再有異圖，會熒惑星逆行入太微，簡文帝越覺驚惶，原來帝奕被廢以前，熒惑嘗守太微端門，僅逾一月，即有廢立大事。此番又經星文告變，哪得不危悚異常。當下召語郗超道：「命數修短，也不遑計，但觀察天文，得勿復有前日事么？」超答道：「大司馬溫，方思內固社稷，外恢經略，非常事只可一為，何至再作？臣願百口相保，幸陛下勿憂！」簡文帝道：「但得如此，尚有何言！」超即告退。侍中謝安，嘗與左衛將軍王坦之，詣超白事，超門多車馬，絡繹不休，待至日旰，尚未得間。坦之欲去，安密語道：「君獨不能為身家性命，忍耐須臾么？」坦之乃忍氣待著，直至薄暮，才得與超清談，語畢乃別。超父愔卸職家居，偶有不適，由超請假歸省，簡文帝與語道：「致意尊翁，家國事乃竟如此，自愧不德，負疚良深，非一二語所能盡意。」說至此，因詠昔人詩云：「志士痛朝危，忠臣哀主辱。」二語本庾闡詩。詠罷泣下，超無言可對，拜別而去。
好容易過了殘年，復遣王坦之徵溫入輔，溫復固辭，惟與坦之言及，請將海西公外徙。坦之返報，乃徙海西公至吳縣西柴里。敕吳國內史刁彝，就近防衛，並遣御史顧允，監督起居，免有他變。驀聞庾希、庾邈，聯結故青州刺史武子沈遵，聚眾海濱，掠得魚船，夤夜突入京口城。晉陵太守卞耽，猝不及防，逾城奔曲阿，於是建康震驚，內外戒嚴。嗣又得庾希等檄文，托稱受海西公密旨，起誅首惡桓溫，累得京畿一帶，訛言蜂起，益相驚擾。平北參軍劉奭，高平太守郗逸之，游軍督護郭龍等，引兵往擊，就是卞耽，亦調發縣兵，並討庾希等人。希眾統是烏合，一戰即敗，閉城自守，再由桓溫遣到東海太守周少孫，也有銳騎數千，合力攻城，攀堞殺入。庾希兄弟子侄，以及沈遵等人，沒處逃奔，遂致陸續