這時涼州牧張重華已經於晉永和九年（353）十一月得重病去世，年僅二十七歲，其十歲的兒子張曜靈繼位。張重華的庶兄（不是皇后生的兒子）長寧侯張祚早就和張重華的寵臣趙長、尉緝等人交好，並結為異姓兄弟。張重華臨終前召酒泉太守入京做輔政大臣，卻被趙長、尉緝將詔書壓住不發。等張重華死後，張曜靈剛剛繼位。張祚在趙長、尉緝二人的幫助下，帶兵入宮，廢張曜靈為涼寧侯，自稱大都督、大將軍、涼州牧、涼公。
張祚登基後，又殺掉張重華的妃子裴氏，再殺謝艾，於公元354年稱帝，改元「和平」，把死去的弟弟張重華封為明王。這時正好桓溫入關伐秦，前涼秦州刺史王擢也以晉朝藩國的名義舉兵響應東晉，進攻陳倉（今陝西寶雞市東）。王擢同時派人告訴張祚，桓溫入關的很大一部分原因就是因為張祚稱帝，脫離晉國，所以桓溫討伐完前秦之後，就要進攻涼國。
張祚聽了很害怕，收拾好東西，隨時準備逃往西域，後來看桓溫撤兵走了，這才鬆了一口氣，想起秦州刺史王擢歸附東晉，並威脅自己，認為王擢一定是背叛了自己，便以牛霸為秦州刺史，率兵去攻王擢。王擢剛和前秦打了敗仗，被前秦趕回秦州，損兵折將，實力大損，所以與牛霸一戰，再次大敗，只好投奔了前秦。
第二年，河州（今甘肅臨夏西南）刺史張瓘打著復立張曜靈的名義起兵。張祚急忙問尉緝、趙長怎麼辦。趙長說：「既然張瓘揚言要復立張曜靈，那就把張曜靈殺掉，張瓘沒了主子，就無法進兵了。」張祚於是立即殺張曜靈於東苑，埋於沙坑，對外宣言，張曜靈暴病身亡，謚為哀公。
但張曜靈不過是張瓘進兵的幌子，他死了張瓘還是繼續進兵。敦煌的驃騎將軍宋混、宋澄兄弟也起兵討伐張祚，這回起兵的理由換成了為張曜靈報仇。張祚一看，對方進兵的理由還很充分，自己白擔了殺侄的名聲，只好派遣大將易揣、張玲率騎兵兩萬去迎擊張瓘。張瓘在黃河南岸列陣，等易揣、張玲的兵馬渡過一半的時候突然發起衝擊，易揣、張玲大敗，帶著幾十名士兵逃回姑臧。
張瓘的軍隊和宋混、宋澄的軍隊剛到城下，張祚的部將趙長、張濤便擁立張曜靈之弟張玄靚為新王，士兵全部倒戈。趙長帶兵追捕張祚，張祚逃到萬秋閣，被萬秋閣的廚子徐黑用菜刀砍死。
由於張祚荒淫無道，嚴刑峻法，城中百姓自發地砍下張祚的首級示眾，又將屍體拋於路邊，路人投石、踐踏，以泄心頭之恨。張祚雖博學多才，勇武善戰，且有政事之才，卻無治國安邦之德操。自立後荒淫無道，殘殺宗室，暴虐百姓，遭萬民痛恨，其下場罪有應得。張祚篡立三年而亡。
張瓘和宋混、宋澄入城，立張曜靈的弟弟張玄靚為涼王，自為使持節、都督中外諸軍事、尚書令、涼州牧、張掖郡公，以宋混為尚書僕射，繼續使用東晉的年號，並重新向東晉稱臣。這時候張玄靚年僅七歲，涼州大政遂由張瓘掌握。
前涼這麼一折騰，國力大損。苻生便打算去攻涼國。趙韶、董榮認為國家剛和桓溫在國內打了一次大仗，又遇旱災蝗災，加上苻生治國無方，國力現在很弱，根本支撐不了這麼一場大的戰爭，所以勸苻生不要輕易動兵。
苻生對這兩個寵臣還是比較信任的，但還是不甘心，說道：「坐失良機，豈不可惜？」
董榮道：「不如這麼辦吧。派個能說的使臣，去說降張瓘。說成了當然好，說不成也沒有損耗國力。」
苻生便派征東大將軍、晉王苻柳參軍閻負、梁殊出使涼州。
兩個人見了張瓘，說明來意。張瓘自稱晉臣，絕不事二主。閻負道：「你離秦國近，而離晉國遠。何苦要捨近求遠，去向晉朝稱臣呢？」
張瓘道：「我們涼州向晉朝盡忠，到現在已經六世了。我們重的是一個義字，一個忠字。所以只能向晉稱臣。」
梁殊道：「那以前涼國的先王也曾向趙國稱臣，你怎麼解釋？」
張瓘道：「趙國是個騙子，所以我們也騙騙他們。」
閻負、梁殊見軟的不行，就來硬的，威脅道：「我們秦國很厲害啊，比當年的趙國要厲害多了。你不投降可是要考慮後果。」
張瓘笑道：「秦國既然這麼厲害，為什麼不先取江南，再攻燕國，那時候不勞你們再來，我會主動向你們投降。」
梁殊道：「我們皇上認為，打江南必須用兵，而取河右則可以用德，所以才派我們來此。如果你不稱臣的話，江南等過幾年再打，不過打你這裡卻快得很。」
張瓘這下害怕了，遂請示張玄靚以後（張玄靚只有七歲，張瓘手握大權，這種請示也只是做做樣子）再向秦國稱藩。
秦國不動一兵而得一藩國，苻生很高興，當即封張玄靚仍為涼王，張瓘原職如故，卻忘了賞賜外交功臣閻負和梁殊，把兩個人氣得夠嗆。
那個曾經擊敗殷浩，導致殷浩政治垮台的姚襄仍佔據著兩淮，這時候他已經成為一股割據勢力，表面上為晉臣，但東晉的法令和命令都無法在他那裡實施，儼然一個獨立王國。因為他的士兵都是陝甘流民，並不習慣南方的生活，很想念家鄉，有人多次勸姚襄帶兵西還。姚襄一開始不同意，說陝甘之處一直由秦國所佔，一路上要經過的河南、湖北等地又是東晉的地盤，一路殺到秦國，再和秦國死戰，豈不是自尋死路？
姚襄後來聽說秦國的苻生無道，國力衰微，再加上部下苦求，便決定西行，帶領所有人馬離開了兩淮。
桓溫的部下都請兵去攔截姚襄。桓溫笑道：「姚襄留在兩淮也是一個割據勢力，現在他走了，我們一兵未出而白白得了兩淮的地方，這是好事啊。再說姚襄是要去和秦國打仗，兩虎相爭，必有一傷，他們的實力受損，也是好事。既然對我國只有好處而無壞處，為什麼要去阻攔他呢？」
於是姚襄在晉國的領土上一路暢通，從河南蘭考東南部向西行，經過許昌，又由許昌進軍西北。路過洛陽的時候，姚襄突然改主意了，要在洛陽紮根，然後與秦晉爭雄。於是率部把洛陽城圍了，日夜進攻，洛陽守將周成急忙向桓溫求救。桓溫一看，這姚襄要賴在河南不走，於是派督護高武從魯陽（今河南省中部魯山縣）出兵，輔國將軍戴施從河上（今山東觀城縣東北）進軍，自己率大兵從江陵北上，去伐姚襄。
姚襄打了一個多月也沒能攻下洛陽。長史王亮說：「咱還是趕快離開這個危險之地吧，洛陽城這麼長時間攻不下來，將士已經很疲憊了。若有援軍到了，我軍必敗！」姚襄不聽，仍一心一意要攻下洛陽。
又攻了一個星期，桓溫率大軍來到，姚襄急撤洛陽之圍，然後選三萬精銳之兵埋伏在伊水（洛陽城南邊的一條小河）北面叢林中，然後向桓溫請降，請桓溫先退軍三十里。
姚襄的意思是等桓溫退軍，然後乘勢掩殺，但桓溫並不上當，他告訴來使，如果姚襄誠心要降，讓他自己來，不過就是二十來里路的事情，何必派個使臣來！
桓溫強渡伊水進攻姚襄。姚軍已經連續作戰將近兩個月了，十分疲憊，桓溫的兵力又多出姚襄數倍，姚軍很快敗退。姚襄拚命殺出重圍，帶著三千人馬，向北渡過黃河，逃到了并州。
雖然東晉早已收復洛陽，但桓溫還是第一次到此。桓溫親自去晉國的先帝陵祭奠，見晉國皇陵都已殘破，亂草叢生，不由慨嘆道：「大好河山陷落多年，不能說不是王衍的責任！」這時記室參軍陳郡袁宏插話道：「國運有興廢，不一定要歸於某個人的責任吧。」
桓溫道：「三國時，劉表養有一頭牛，生有一千多斤，每天吃的草料是普通牛的十多倍，而讓這頭牛拉車走路，還不如一隻瘦弱的母牛。所以曹操佔據荊州後，便把這頭牛殺了犒勞將士！」桓溫發出這些感嘆，既是對當年王衍等占著茅坑不拉屎的當權人物的痛恨，也是對當今東晉皇帝的一個諷刺。
桓溫命人修復皇陵，安排了專門護陵的人，然後上表朝廷，請移都洛陽，以便收復中原。但桓溫上了十多道摺子，朝廷每次都表示反對。桓溫只好帶大兵返回江陵。第二年正月，晉穆帝司馬聃年滿十四歲，遂親政，褚太后撤簾歸政，大赦天下，改元「昇平」（357）。
再說姚襄向并州方向逃跑，來到平陽地界，前秦的并州刺史尹赤得知消息，前來迎接。尹赤是姚氏舊部，原來也是天水的羌族，後隨姚弋仲東遷。姚氏集團與前秦的一次戰爭中，尹赤被俘後投降。後來尹赤為前秦立了不少戰功，被苻健任命為并州刺史。
尹赤見舊主人來了，便把并州的地盤連同自己的人馬全交給姚襄，姚襄一下子便擁有了山西中部到南部的地盤，很驚喜。但他並不滿足，先西渡黃河佔據杏城（今陝西省中部偏北黃陵縣西南故邑），又招納羌、胡等少數民族的士兵，很快聚集來八萬士兵。姚襄有了兵，底氣也足了，便向苻生借路，說自己要回隴西的老家，希望秦國能讓條道。
苻生本是嗜殺好戰之人，他會是讓路的人么？立刻把前來聲稱借道的使者給砍死了