現在朝廷上平靜了，死一般的平靜。蘇東坡攜眷離都之時，當年仁宗在位年間的名臣儒吏都已清除凈盡，四散於外地。歐陽修正退隱於安徽富陽。蘇家世交張方平家正在河南淮陽。
蘇子由年前即被神宗任命為淮陽州學教授。蘇子由也有其特點，不像兄長子瞻那麼倔強任性，但一直潔身自好，使清譽不受沾染，能照顧自己免於危害，所以挑選一個平安卑微的職位，與賢士大儒相往還。後來張方平辭官歸隱，遷居河南商邸，或稱「南都」，子由請調至商邸為官，次年，蘇東坡往返京都之時，總是路宿張宅，向張方平請求指教，如對叔伯長輩。司馬光與呂公著現在西都洛陽，過著退隱的生活，呂晦病重將死，死前，他呈給皇帝一個難題求教：
賢德的老宰相富弼不能平安度日，他已經降職為博州太守，當道認為他推銷青苗貸款，辦理不力。並且他還膽敢上奏摺稱：「此法行，則財聚於上，人散於下。」這時王安石的私人鄧綰，突然十分活躍起來，一看有機會可以效忠主子了，他向主子說可以控富弼阻礙新政之罪，於是宰相的顯爵全被剝除，調至另一縣去任太守。但是王安石於願未足，對皇帝說富弼所犯之罪，情如堯舜時之「四凶」，倘若只將他的宰相官爵被除而已，何以遏阻其他姦邪之輩？皇帝對王安石所奏，置之不理，任由富弼去擔任那一卑小的職位。富弼在往就新職途中，路過南都，訪問老友張方平。
老相國感慨系之，他向張方平說：「知人甚難。」
張方平說：「你說的是王安石嗎？我認為了解他並不難。當年我有一次和他共辦鄉試，他就把一切老規矩都弄得亂七八糟，我就把他調離我的部下，再不理他。」老宰相自覺難堪，又啟程趕路。在老年，他常常仰望屋頂，默然嘆息。
蘇東坡離京之前，京中曾發生一次暴亂。在前年冬天，保甲制便已實行，新兵在鄉村受軍事訓練，新兵疑心受訓的用意，以為會調離家鄉，會開至北方去和外族打仗，於是臨近京都的村子裡發生了示威抗議。騷亂之發生還另有原因。當時官方命令農人自備武器，其實也只是弓箭而已。父子相擁而泣，村民有斷腕以躲避徵調者。由於這次暴亂，王安石就要丟掉他最後的一個朋友韓維，因為韓維正是那一縣的太守，他奏明暴亂經過，呈請暫將軍訓延緩，至深冬舉行，因那時農忙已過，空閑較多。就因此一表章，連韓維也遭罷黜了。
要使王安石失勢，還須上天顯示昭然可見的徵兆，須要宮延門吏的仁行義舉。在神宗熙寧六年（一○七三），南嶽華山山崩。皇帝至為慌亂，依照習俗，乃遷居另一宮殿，以示敬仰神抵，並下令以粗模三餐上進。此外，自此年夏季到次年春季，一直乾旱不雨，皇帝至為憂愁，不知如何是好。他問王安石，王安石回答說：
「旱澇乃是天災，在堯湯之世也曾發生。吾人之所能為者只是力行善政而已。」
皇帝說：「我所擔心的也是此事，恐怕我們所行的不是善政啊。我聽見關於商稅法的怨言甚多。宮裡人人都聽說了，連皇后太后也聽說了。」
另一個閣員大臣馮京也在場，他也說：「我也聽說了。」
王安石回答說：「為什麼我沒聽人說？馮大人之所以聽說，是因為所有發怨言不滿的人都奔赴你的四周了。」
現在命定要成大事的渺小人物快要出現了。他叫鄭俠，就是畫難民圖的皇宮門吏。他呈給皇帝的難民圖上，畫的是帶著腳鐐的難民在砍樹掙錢，用以付還官家的青苗貸款。鄭俠還隨圖附上一篇短文：
皇帝把畫卷帶到寢宮，給皇后和皇家別人看。先說話的是皇帝的祖母：
「我聽說百姓為了免役稅和青苗貸款，其苦不堪。我覺得我們不應擅改祖制。」
皇帝回答說：「但是實行新法也是為民謀福，並無害民之意。」
太后又說：「我知道王安石自有大才，但是已然樹敵甚眾。為了他自己的好處，你還是暫時把他的職務中止吧。」
皇帝說：「我發現在滿朝大臣之中，只有王安石願意身當大任。」
皇帝的弟弟歧王這時正立在一旁。他說：「我認為你應當聽聽祖母老人家剛才說的話。」
皇帝突然大怒說：「好！好！我不會治國，你來接。」
歧王說：「我不是那個意思。」
大家僵住，靜了片刻，然後皇太后說：「這些亂子都是王安石闖的，你要怎麼辦呢？」
第二天早晨王安石罷相，但呂惠卿和鄧綰仍然在位。皇帝決定把商法、青苗法、免役法、保甲法、土地登記，一共八種新法，中止推行。
天開始下雨。老天爺高興了。
但是王安石的時刻還未到。彈劾門吏鄭俠還得需要技巧。鄭俠第一次循正規獻畫時，宮廷的官吏拒而不受，說以官卑職小，無權與皇帝上奏章。鄭俠乃到京師城外的官差站，因為此系非法利用官差制度，鄭俠要在御史台受審。
審間的結果如何，歷史上並無記載。但是次年正月，鄭俠又將一畫冊呈獻給皇帝，名為《正人君子邪曲小人事業圖》。所繪乃唐代賢臣奸佞圖像，雖未指明系宋代當時權要，而前代奸佞之輩所作所為，卻與當代奸人有其相似處，一看便知，決不致誤，即使容有含混難解之處，畫冊上的故事也可以祛除心中的疑問。與這本畫冊同時進獻的還有一個奏章，推薦一位賢人出任宰相，因為此時王安石已遭罷黜。現在當政的是呂惠卿，鄧綰已然改向呂惠卿效忠。在這兩個小人狼狽為奸之下，將鄭俠貶謫到偏遠的廣東去。
在鄭俠離京之前，一位御史前去看他，對他說：「所有各御史對朝政都箍口不言，獨君一人挺立不屈，做此殊死戰，殊為可敬！而今似乎全御史台監察朝政之重任，移到一宮廷門吏的肩上了。」那個御史於是交給他包好的兩卷名臣奏議，都是彈劾御史台里當權的小人的文章，並且對他說：「我把這些資料交託與你，務必妥為保管。」但是呂惠卿由於他那頗有效能的偵察網，獲得了這項消息，他派舒亶在路上追到鄭俠，搜查他的行李。按照此兩冊上曾經批評朝政的官名，呂惠卿、鄧綰、舒亶乃按部就班的逐一迫害那些人，並予以監禁。呂惠卿打算把鄭俠判處死刑，但是皇帝阻止道：「鄭俠謀國而不謀身，忠誠勇氣，頗可嘉許，不可重罰。」所以鄭俠仍准徑赴流放之地，未予阻撓。
蘇東坡去世之後，一黃某獲得蘇東坡一珍貴的手稿，其中有蘇東坡下列的名句：「處貧賤易，處富貴難。安勞苦易，安閑散難。忍痛易，忍癢難。人能安閑散，耐富貴，忍癢，真有道之士也。」每一個革命在未得勢之前，能表現出最大的力量與團結；但在既已得勢，既已清除反對力量之後，則開始由內部的紛爭而分裂，終至崩潰。在力圖推翻別人時，人性中的精華髮揮作用；在企圖控制別人時，則人性中之糟粕發揮作用。只要情況順利，這群小人各有肥缺在手，鄧綰、呂惠卿、曾布之間，則忙得無空閑自相爭吵。但在王安石一旦失勢，情況開始逆轉，此一幫派則內部失和了。
在此失和之前，內部腐壞的種籽早已播下。王安石的兒子很恨呂惠卿，而呂惠卿很恨曾布。而鄧綰是跟著兔子跑，卻幫獵狗忙，吃裡扒外，所以往後是夠忙的。王安石最後只落了一個兒子。這個兒子聰明外露，古怪任性，而又殘忍凶暴，王記集團許多惡行他當負其責任。現在他已長大成人，他已經開始管理家中的錢財，他的叔伯不再能像往常那樣亂用王安石的錢。這個權傾一時的宰相的傲慢無理的兒子，以為憑態度惡劣，由他的令人厭惡，便可以顯得出人頭地。據說，新政初期，一天，道學家程顥正在王安石家開會。這個兒子出現了，頭髮散亂，赤足無鞋，手拿女人的頭巾，一直走到父親跟前，問他們正在說什麼話。
王安石回答說：「我正和程先生談論新政，我們的新政總受到別的大臣批評。」
兒子一下子坐在大人坐的座位上，大笑道：「只要把韓琦和富弼的頭砍下來就夠了。」
王安石自己為他兒子受了什麼罪，隨後自可看到。王家不是和睦可喜的一家人，因為這一家有兩個叔叔，一直不贊成王安石的做法，特別警告王安石提防呂惠卿那個騙子。孔夫子一次說人應當「驅鄭聲，遠佞人」。有一天，王安石正和呂惠卿商討政事，弟弟安國在外面吹笛子，王安石向外面弟弟喊道：「停此鄭聲如何？」弟弟應聲回敬道：「遠此佞人如何？」
現在這一幫派很擔心他們的前途。但是呂惠卿並沒完全失望，而且正好看到自己得勢之日已近，取王安石而代之機會到了。世界上有些人能隨意操縱眼淚，呂惠卿和鄧綰便是此等人。他倆去見皇帝，以一副極為動人的樣子在皇帝面前哭，好像他想到國家的前途就悲從中來。應用他們動人的口才，又把皇帝拖回了原來那條老道路，而呂惠卿也官拜了宰相之位。
現在爭吵真正開始了。全國的市易務官呂嘉問這時遭到彈劾。市易務的濫權枉法的報告，自然傳到皇帝耳朵里。皇帝問王安石，那時王安石還在京都。