行家回到鎌倉，卻沒有地方住。鎌倉的大臣都因為顧慮賴朝，不敢跟行家有不必要的接觸，也拒絕供他住宿，待他十分冷淡。
（為甚麼？）
可能是賴朝覺得策謀家新宮十郎行家很可怕吧？事實上，賴朝害怕行家與鎌倉的大臣勾結。大臣們也知道賴朝對行家的感覺，不希望引來多餘的猜忌，所以才未提供行家住宿之所。
「難道要我睡卧路邊嗎？」
行家於是跟鶴岡八幡宮交涉，住進別當屋邸中。他還想見賴朝，可是賴朝以政務繁忙為由，只派左右接見他。
「濃尾之戰辛苦了。」
賴朝只交代左右轉告這句話。行家很不滿。
很自然的，他每天都來拜訪義經，甚至可以說是賴在他那裡。
「一樣是外甥，你就對人好多了！」
行家第一次前來就稱讚義經。義經想從這位叔叔口中聽些亡父義朝的事迹。行家幾乎不認識長兄義朝，可是為了取悅義經，他編造了一些故事。即使如此，這個外甥還是眼睛發亮，聽得入迷。
義經也想聽墨保川戰敗的情況。行家不想講，可是義經非聽不可。
「叔叔，為了將來，請告訴我吧！」
他想詳細了解平家的陣形、戰法、諸將性格或優劣，還執拗的問行家用甚麼陣形進攻。
「我忘記了！」
行家生氣了。他是個聰明人，卻不善戰到令人感到滑稽的地步，這是身為武將的大缺點，他可不想被人拆穿。
幾天後，賴朝接見了行家。他給行家的位子是家臣之座。
「太令我驚訝！」行家不客氣地說。
——弄錯了吧？我新宮十郎行家可是你父親（義朝）的弟弟！
賴朝立刻站起來，親自招待他入內。
（他想通了嗎？）
行家想。他一進去，賴朝就命令左右拿來兩樣東西。
「您請看！」賴朝說。
放在眼前的，是源家代代相傳的盔甲「源太產衣」以及「髥切」太刀。這就如同宮廷的三種神器，是源家長者的象徵物。
「現在你懂了嗎？」賴朝說。
他言下之意是：我雖然是你的外甥，可是卻是源家的長者，你就算是叔叔，也必須以臣子的身分服從我。
（平家不是這樣！）
行家在京都長大，比源氏更熟悉平家的風俗。平家跟源氏一樣是武士之家，可是對同族很溫和，老人及年輕人都和睦相處，不可能有人採取像賴朝這樣的態度。至於源氏，別說是骨肉和睦相處，他們根本把親人當成第一級敵人。就在這一年，賴朝還進攻住在常陸的叔叔志田義廣（義朝的庶弟），想要殺了他。
（討厭的男人！）
行家事後來到賴朝府邸中義經的房裡抱怨著。
「我不想聽這種話！」
義經像小孩子似的舉起兩手，蒙住耳朵。可是行家還是繼續說著：
「佐殿太可笑也太下流了！對妻子那麼好，對我們卻這樣。」
行家講的是上次龜前引發的北條時政離開事件。此事連鎌倉大街小巷的攤販都知道，行家當然也聽說了。
「那麼疼愛妻子的弟弟北條義時，簡直就是下流！九郎，你有受到像義時那樣的疼愛嗎？」
「叔叔！」
義經很為難，可是行家還是說個不停：
「他那麼怕岳父，又是怎麼回事？時政為了那件事情一怒回到伊豆，佐殿面對這種粗暴傲慢的態度，該發兵討伐才對，可是，他卻反而低聲下氣派使者去道歉，這算甚麼？」
「不是這樣的！判官代邦通是去問清楚事情的原委。」
「一樣啦！」行家說。
他的樣子已經不是發怒的氣勢，而是泗涕縱橫的抱怨。
「尊重岳父也無所謂，可是，對我這有血緣關係的叔叔，也得好一點吧？」
行家真正想講的是這一點。
「叔叔，你就算對我講這些也……」
「你耐心聽我說。你雖然是鎌倉殿下的弟弟，可是，他有給你一塊可以種根稻草、撒粒豆子的土地嗎？有嗎？」
「我不想要土地。」
「因為你還小，才會講這種毫無慾望的話。沒有土地，就無法供養部下，也就無法培養武力。沒有武力就沒有勢力，沒有勢力就會被世人欺負，這是成人世界的道理。」
「我沒關係！」
「笨蛋！你看看跟鎌倉殿下沒有血緣關係的小舅子江間（北條義時），就只因為他沒有跟父親一起離開，鎌倉殿下就給了他那麼大的莊園！」
行家凄慘的叫著，並皺著鼻子，他在哭吧？
行家離開了鎌倉。
後來，武藏房弁慶對義經提出諫言：
「為了你自己好，還是少跟新宮叔叔在一起。」
弁慶認為，行家具有男人的野心，而且天生就有中國諸葛孔明般的智慧，可是私慾過多，常常以自我為中心，使他的智慧有了陰影，也無法得到人們的尊敬。跟著行家的軍師大夫房覺明也因此離開，聽說跑去投靠木曾殿的麾下。
「不應該跟名聲不好的人交往。」弁慶說。
行家後來在相模的松田鄉找到住處。松田位於足柄山塊的山麓，距離三浦郡的鎌倉有十二里遠。當地有棟荒廢的別墅，建在西邊可仰望富士山勝景之處，是大庭景親以前為了視察東國的平家貴族所建的，光是隨從房就有二十五間，是座宏偉雄壯的建築，可是因沒人管理而荒廢，目前彷佛是棟鬼屋，相模人稱之為「松田亭」。
這棟房子的材質是以稻桿代替檜皮，由此可以看出，這是相模唯一的貴族建築物。雖然已經老壞朽爛，仍是東國知名。
過完年，壽永二年的寒冬，行家以無法忍受的心情離開了松田亭。
（怎麼能住在一棟可能出現怪物的房子里？）
他簡直想朝背後的屋子吐口水。
此時，天下呈現靜止的狀況。因為連年饑荒，雖然東國的收穫並沒有異常，可是平家的根據地——京都周圍到東海道的箱根——餓死者無數，根本不可能派大部隊遠征或會戰，天下自然一分為三：從信州到北陸的木曾義仲勢力範圍，京都到四國的平家勢力範圍，以及遠州以東的賴朝勢力，三方都保持著均勢。這情勢簡直就像中國的三國時代。
行家回到鎌倉，向賴朝求情請願。這種時候如果要他哭，他也願意。
賴朝在大藏谷的行館接見行家，他小心提防著這個野心家。行家故意低著頭，詳述自己住在松田亭的慘狀。
「那裡很荒涼，甚至還會有怪物出現。」
他這樣說時，賴朝難得的笑出了聲音。
（您本身不就是怪物嗎？）
他很想這麼講。
行家鼻頭通紅，眼睛無神，左右頰像小鳥振翅般迅速鼓動著，終於進入正題：
「佐殿，拜託，我只求你這一次！」他說。
行家表示，自己在尾張、美濃跟平家大軍作戰，失去兒子，還損傷許多士兵，甚至沒辦法祭拜他們。他想建造菩提寺，請賴朝憐憫，在領國中撥給自己一個小國。
他哀哀請求。
賴朝內心暗笑。行家想靠自己的血緣關係要到一個領國。可是，他給過賴朝甚麼呢？這個男人向來自豪的，似乎是帶著以仁王令旨促成起兵，可是，這種跑腿的工作別人也能做。他並沒有為賴朝後來的創業貢獻過。簡單來講，行家想用同血緣的感傷感動賴朝，乞討土地。行家依靠的是血緣。可是，賴朝依據的是鎌倉的體制。他禮遇對創立這個體制有功的人，拒絕無功者的請求，就是這麼簡單。兩人的憑藉及原則不同。賴朝本來想向行家解釋，可是，當時的日本話沒有這麼完整的表達方式，於是賴朝用別的方式表達：
「賴朝征服了十國，木曾征服了信濃、上野的勢力，取得北陸道五國。你如果想要領國，就自己去征服，我會奏請法皇，承認你領地的資格。」
行家宛如五雷轟頂，臉色發白。他慌忙低下頭，不想讓人看到他的臉。他退下後才發現內唇流血了，一定是因為太難過而緊咬唇肉之故。行家還是和往常一樣退到院子里，前去義經的房間。院內並沒有像京都官家那種假山水，這並非賴朝不會附庸風雅，而是怕半夜會有刺客躲在假山水裡。不過，到處都有野生的樹，其中還有一棵兩百多歲的欅樹，對面就是義經的房間。行家來到這裡，義經在爐火邊迎接他。
「我要離開鎌倉。」行家說：「你也該有點打算，留在這種地方，是沒辦法當男子漢大丈夫的。」
「你要去哪裡？」義經用略高的嗓音問。
他雖然已經二十幾歲，可是卻有種少年般的高音。
「我不知道。」行家說。
他不斷在火爐上搓揉著手，然後問道：
「你以前住的奧州，今年聽說雪很少。」
「怎麼會呢？」義經說。