王安石於熙寧八年（1075）二月，東山再起，復任同中書門下平章事，同年四月，進尚書左僕射兼門下侍郎，再度拜相。這時候，神宗對他雖然敬信不衰，但政治大環境，對他先已造成的「親友盡成政敵，謗怨集於一身」的情況，並不因為中間稍稍間歇而有任何改善。另一意外，他的還朝，反而見忌於自己一手提拔起來的呂惠卿，認為安石再相，擋了他的錦繡前程，遂欲力閉其途，只要可以為害安石的，無所不用其極。甚至利用獻《流民圖》的鄭俠獄案，害安石之弟安國。更將安石給他的私書，中有「無使齊年（指馮京）知」「無使上知」語者，密呈神宗，動搖皇上對他的信心。安石一則痛心於他的新政措施敗於群小之手，事功渺不可期；再則又很悔恨於「智不足以知人，而險詖常出於交遊之厚」。失望之極，屢屢上章求去，無奈神宗總是不許，甚至詔令「勘斷來章」，以示挽留的堅決。
不料再相的翌年，安石最得力的長子王雱（元澤），竟以三十三歲的英年，忽患背疽而死。遭遇如此，安石悲傷不堪，萬念灰滅。決心擺脫政柄，罷為鎮南軍節度使同平章事，判江寧府，蕭然歸隱金陵。
一個政治家，一旦從熱烈的政治生活中冷靜下來，不免回顧生平，牽扯出種種前塵往事，常為自己作下一個殘酷的結論。安石自嗟這一腔救國救民的抱負，何以竟不為當代的先達和老成所接納，血心創造的種種新政措施，又不能獲得大部分正人君子的合作，孤軍奮鬥勉強打下的一點新政基礎，而又後繼無人，是不是他的一切努力，都將付諸無情的東流，將來歷史上又將如何描畫他呢？他不能為同時代的人所了解，怎能避免後人的曲解或歪曲？一向強硬的安石，也不禁惶惑起來，一種突然產生的孤高的寒意，侵襲著他；一種無助的失落和悲哀，淹沒了他。當時所作七律一章，意境竟已非常蒼涼：
自古功名亦苦辛，行藏終欲付何人？
當時黯暗猶承誤，末俗紛紜更亂真。
糟粕所存非粹美，丹青難寫是精神。
區區豈盡高賢意，獨守千秋紙上塵。
安石原來有皇帝詔賜的一座宅邸，在金陵白下門外七里，距鐘山寶公塔亦七里，故名「半山」的地方。雖是退休宰相的宅邸，周圍卻不築設圍牆。門下勸他，居室如此暴露，未免太不安全，他但笑而不答。每日騎匹野驢，帶一兩個隨僮，漫遊金陵各處山水名勝，南朝遺留下來的許多佛寺，逐一都有題詠，幾年下來，倒已積存了很多詩稿。
後來，這位孤獨的老人，不幸又害了一場大病。病後，精神體力更加大不如前，覺得自己要這空蕩蕩的大宅邸，實在沒有用處，便把它舍作佛寺——名曰「報寧禪寺」。他則隱居鐘山，閉門卻掃，平常不大出門。到蘇軾自黃州至金陵時，安石已經在此閑居八九年了。
當年的現實政治，曾使王、蘇二人隔閡甚深，誤會重重。但至罷政閑居以後，蘇軾已在黃州，安石對於這位後輩的才氣、學問和品格，卻又非常欣賞起來。凡遇有從黃州來的人，他必定要問：「子瞻近日有何妙語？」
有一次，有人告訴他說：「子瞻宿於臨皋亭，夜半醉夢而起，作《勝相院經藏記》一篇，得千餘字，一氣呵成，寫畢，才點定一兩字而已。現有抄本在船上。」
安石即請人取來。其時，月出東南，林影在地，這花甲老人，便站在屋廊檐下，就著薄暮微光，展卷細讀，喜見眉宇。
「子瞻，人中龍也。不過這篇文章中，卻有一字未穩。」老人讀畢，慨然言道。
「願意聽聽您的高見。」
「文中『日勝日貧』那一句，不如說『如人善博，日勝日負』。」
這話後來傳到蘇軾耳中，他也禁不住拊掌大笑，認為荊公確是知言。
蘇軾一到金陵，即遭殤子之痛，還來不及去晉謁荊公，荊公卻已野服乘驢，到江邊來看他了。
蘇軾不及冠帶，出船迎揖道：「軾今日敢以野服見大丞相。」
「禮豈為我輩設者！」安石洒然笑答。
這兩位個性不同，但是一樣偉大的人物，不論從前身在政治漩渦中，曾經有過若干是非，多少摩擦，而今事過境遷，金陵重見，則兩人都已退出了那個混亂而又充滿喧囂的政治舞台，彼此皆是台下的閑人了，回首前塵，恍如噩夢。現在，悠遊林下的王安石，得以一代才人來看待蘇軾，蘇軾則以前輩敬視荊公，無拘無束地晤言一室之內，不覺都有快慰平生的喜悅。
王安石與蘇軾，二人間另有一件微妙的關合，為兩人的生、死、出身，都在同一年歲上。安石生於天禧五年（1021），蘇軾生於景祐三年（1036），年齡相差十五歲。安石成進士於慶曆二年（1042），蘇軾為嘉祐二年（1057），同為二十二歲登第，前後相距也是十五年。最後一點，則在當時兩人都不自知的，安石薨於元祐元年（1086），蘇軾卒於建中靖國元年（1101），享年均為六十六歲，辭世先後也差十五年，可謂巧極。
蘇軾約期來謁的前一晚，安石和幾個門下客閑談，他問「動」「靜」二字，應該怎樣解釋？門客回答的話，拖拖沓沓數百言，還沒解說明白，安石不能滿意，便說：
「等子瞻明天來時問他。」
後來拿這題目問蘇，蘇軾應聲答道：
「精出於動，守神為靜，動靜即精神。」
安石為之擊節稱嘆。
蘇軾在黃州作雪詩，有「凍合玉樓寒起粟，光搖銀海眩生花」句，別人都不知典故出處，他二人談到這詩時，安石說：「道家以兩肩為玉樓，以眼目為銀海，閣下使的是這個典故嗎？」蘇軾大笑稱諾。退後，對安石門客說：「學荊公者，哪有像他這樣博學的啊！」 荊公叫蘇軾口誦一篇得意的近作，他親筆寫了，送他做紀念，又自誦詩叫蘇軾寫贈自己。
他們兩人，接連數日，朝夕相見，飲食遊玩，都在一起。金陵太守陳睦（和叔）陪伴他們同遊了蔣山諸寺，安石的門客段縫（約之）、葉濤（致遠）、陳輔之等共與游宴，大家都很偷快。
老年人歷經世故，大抵都會喜歡史學，安石和蘇軾於縱論詩文之餘，不知不覺就把話題轉入治史這條路上去了。安石認為蘇軾是蜀人，平生縱跡又遍歷中原和荊吳諸地，是重寫三國史的理想人選，便鼓勵他乘現在有時間來擔當這一任務。安石說：「歐陽修作《五代史》而不作《三國志》，實是可惜，現在應該由你來做。」蘇軾堅辭不敢，說：「作史我不內行，願舉劉道原（恕）自代。」 從覃心著作又談到安定生活的重要，安石就舉自己舊作《讀蜀志》一詩為證，他說，三國的劉備曾對許汜說：「人該憂國忘家，不應求田問舍。」安石不以為然，曾作翻案文章曰：
千載紛爭共一毛，可憐身世兩徒勞。
無人語與劉玄德，問舍求田意最高。
因此，又勸蘇軾就在金陵買點田地，尋所住宅，先把生活安頓了，然後才能讀書治學。安石這番意思，非常明白，他希望蘇軾留居金陵，和他作伴，蘇軾也為之非常感動，作《次荊公韻四絕》中，有一首是：
騎驢渺渺入荒陂，想見先生未病時。
勸我試求三畝宅，從公已覺十年遲。
蘇軾面對這偉大而又孤寂的老人，想起「逝者如斯」又不可追的過去時候，有許許多多可以後悔的地方，所以說「從公已覺十年遲」，這是蘇軾真誠的懺悔之辭，是他經過御史台獄的鍛煉，經過黃州五年，沉痛的反省之後，才說得出來的真心話。荊公得此詩後，也很感動，惘然道：「十年前後，我便不廝爭。」
蘇軾在金陵逗留期間，聽從安石勸告，開始訪求田宅，可惜匆匆不得遇合。後來，他的忘年老友河南王益柔（勝之）奉命來替陳睦接知江寧，就又陪他再游蔣山，賦詩中提到荊公舍宅作寺的事，有言曰：「欲款南朝寺，同登北郭船。朱門收畫戟，紺宇出青蓮。」安石聽說蘇軾有此作，急命取讀。當他念到「峰多巧障日，江遠欲浮天」句時，不禁拍案叫絕道：
「老夫平生作詩，無此一句。」
五言詩是安石最擅的勝場，蘇軾評荊公詩，說過：「荊公暮年詩始有合處，五字最勝，二韻小詩次之，七言詩終未脫晚唐風味。」歷來論詩者，公認此是確當的評論。所以，作五言長詩而要博王荊公的拍案稱賞，確是不易。
王益柔就任一日，即又詔移南都。時已八月，蘇家泊舟為宅，終非久計，只得辭了荊公，八月十四日與王益柔聯舟同往儀真（今江蘇儀征）。
蘇軾別去，安石對人長嘆道：「不知更幾百年，方有如此人物！」
離開金陵的翌日，蘇軾即在舟中作書上荊公，曰：
某游門下久矣，然未嘗得如此行，朝夕聞所未聞，慰幸之極。已別經宿，悵仰不可言。……
蘇軾回想熙寧年間的荊公，懷抱一腔救國的熱忱，執持理想，那一份勇往直前的勇氣，著實足以令人敬佩。曾幾何時，如今只是個衰病而又孤獨的老人，