可是，義經還是離開了。
秀衡知道後，老淚縱橫地說：
「真是可憐啊！」
義經面對哥哥賴朝，並不想保有勢力。人生在世，最重要的就是要關心政治吧？可是，義經卻一個人離開了。不過，嚴格來講，他還帶了一個人走。
——三郎。
義經如此稱呼這個二十五、六歲身手矯健的男子，他叫伊勢三郎義盛，本來在坂東當強盜，後來因為亡父與源氏有點淵源，於是就來到奧州服侍義經，成為他的部下，像狗一般忠實地照顧義經的生活起居。義經讓這個脫離盜賊生涯的男子牽著兩匹劣馬，馱著行李，離開了平泉。
（至少要跟我商量一下。）
奧州的老主人憐憫他孤獨出征。
（至少……）
他思索著，然後從平泉的部下中，選出以前跟義經十分要好的佐藤繼信、忠信兩兄弟，前去跟隨義經。佐藤兄弟是故信夫庄佐藤基治之子，性情好，箭術佳，在平泉很少有像他們這麼優秀的年輕人。
「我們立刻去！」
佐藤兄弟隨即向秀衡告辭，沿著阿武隈川南行回到信夫屋邸，準備好之後便告別老母，帶著二十幾個部下，追隨義經之後而去。
另一方面，義經進入關東，在路上知道了賴朝後來的命運：在石橋山打敗仗後，又在安房捲土重來，終於在隅田川河畔奏捷，接受關八州的歡呼，成為盟主，進入鎌倉，並決定以鎌倉為關八州的本營。義經還聽說，他們現在正在駿河富士川一帶，與東來的官兵（平家）對峙，也許明天就要決戰了。
「走快點！」
義經全力賓士，甚至馬蹄都快跑壞了。可是，當他過了箱根進入伊豆附近時，才知道富士川的平家已經撤退。
（怎麼這樣！）
他十分失望。離開富士川的賴朝軍勢浩大，已經撤退到黃瀨川，聽說今晚決定要駐紮當地。義經到達附近後，只見鄉野、村莊、街市，到處充滿了關東的人馬。
「三郎，舉起旗子。」義經得意地說。
「遵命！」
伊勢三郎有點淘氣地命令在那須撿到的年輕傭人高舉源氏白旗，向路邊聚集的人馬中挺進。
「那面白旗的主人是誰啊？」
人們驚訝地竊竊私語。白旗是源氏將領的象徵，平常百姓不可以使用，在軍中，除了賴朝以外，就只有屬於新羅三郎義光家系下的甲斐源氏武田可以使用，可是，武田氏在第二軍，不在這附近。
「是哪位大將呢？」
大家都不解的歪著頭。滑稽的是，這位大將的旗下只有一個士兵，一隊軍隊里只有主僕兩人。
賴朝住宿的地方是座寺院，義經來到寺院的山門前面，下了馬，要傭人幫他拿著盔甲。
「有人在嗎？我是源家九郎。」他大聲喊著。
守門人正覺得他很可疑，這時，土肥實平出來了。實平是相模平氏一黨的首領，住在足柄郡土肥鄉，上次會戰時他率領了一千名士兵前來。
「哪位？」
「我想求見佐殿，請告訴他我是九郎。」
（九郎？）
土肥實平心存懷疑地進了山門，跟自己的親弟弟——住在相模國大住郡土屋村的土屋宗遠——商量。
「別理他。」他說。
夜幕將垂，正是「逢魔之刻」，很容易有魔物跳梁，最好別理會來歷可疑的人物。
「他說得對！」
有人大聲附和。此人住在相模國大住郡岡崎村，乃號稱惡四郎的岡崎義實。
「對世人不能太大意。」
由於賴朝的勝利，附近的放逐者或跑江湖的人，都為了獲得某些利益而跑來找他。
「他可能也跟那些人是同類。」岡崎義實大聲說道。
結果，他們沒有幫義經傳報。
義經在路上繼續等著，直到太陽下山了仍毫無音訊。
「怎麼這麼慢？」
伊勢三郎重複嘟噥著，最後終於不敢再開口。義經看著燈火升起，表情已經難過得想哭。
「三郎，我哥哥不認識我。」
賴朝從來沒見過義經，義經以前在奧州多次寫信向賴朝表明身分，可是，不知道是否顧慮著放逐者的窘況，賴朝從來沒有回信給他。
伊勢三郎義盛也開始擔心起來。聽說賴朝是個很有人情味且充滿信心的人，也是個處事毅然絕然，自尊心很強，嚴守上下分際的人。若是這樣，出於常磐這種低下人物的義經，賴朝不可能承認他是弟弟。
「主人，這下子沒辦法了，我們乾脆回去吧！」
「不要！」
感情豐富的義經臉色已經變了。
「三郎，你不想等嗎？」
「豈有此理！」
「如果你不想等，就回旅館去。我要在這裡等到天亮。」
這時候，在寺里吃完晚餐的賴朝，從左右口中知道了門前年輕人的事情。
（或者……）
賴朝歪著頭想了一下。
「他長得甚麼樣子？」
「年紀約在二十歲上下，是個小兵，不過，在燈火照映下的模樣非常清秀，看來不像是普通的下級武士。」
「是奧州的九郎吧？」賴朝當場說道。
他本來就是個直覺敏銳的男人，而現在內心某處，也期望著這個么弟到來。賴朝此刻的心情十分需要族人支援。與平家的戰鬥不流血而獲勝了，從此確立了駿河、甲斐以東的勢力範圍，可是，身為總盟主的賴朝卻沒有家族。擁戴他的北條、千葉、三浦這三家以下的關東大小族，全都以家族為單位來參加賴朝的反政府行動，今晚，正是全族人一起慶祝勝利的時候，可是，賴朝身邊卻有孤獨放逐者的陰影。他雖然擁有尊貴的血統，事實上卻只是北條氏的女婿，無法脫離外援的人。
（有沒有我的兄弟來呢？）
他不斷想著這件事情。哥哥已經死了，同母（熱田大宮司的女兒）的弟弟希義還在，可是被放逐到遙遠的土佐，在地理上根本不可能來參軍（附帶一提，希義在土佐聽到賴政、賴朝的起義後，遂在地方上展開叛亂活動，可是卻被附近的平家打敗，自殺身亡）。
剩下的都是同父異母的弟弟。首先是亡父義朝與遠州池田宿的妓女所生的范賴，他已經被自己派出去辦事了。另外就是常磐生的三個弟弟，可是其中兩人已經當了僧侶（全成、圓成），屬於塵世之外的人；只有逃到奧州的九郎義經，讓賴朝在內心期待著。
「在路上那個人一定是九郎義經，雖然他母親只是個女佣人。」他強調著。
如果不明確指出這一點，諸將領會不當的尊崇義經，秩序就會亂掉……賴朝繼續說道：
「不過，他確實是我亡父（義朝）的孩子，是我的庶弟。請勿怠慢他，帶他到這裡來。」
他命令土肥實平。
賴朝的話一傳開，軍營突然沸騰起來。當時還沒有戲劇，活生生的現實為人們創造了戲劇的效果。任何人都想親眼目睹這場戲劇性的邂逅，親耳聆聽，流淚哭泣，親口轉告故鄉親友這戲劇性的相逢。因此，不少小兵都聚集在軍營門前想看一眼義經，更期望能親眼看到兄弟相會的場面。
「啊，源家的過去真令人懷念啊！」相模三浦的黨人喊著。
他們對於歷代源氏的英雄故事或家系傳說十分了解，因為三浦黨的老盟主三浦大介義明，曾不斷對年輕人重複這些故事。義明已經八十九歲了，這次賴朝舉兵他最早響應，自己派一小隊當犧牲品去圍衣笠城，結果全都戰死。老人事前曾說：
「當今稱武者為武士，可是，將射箭之道教給坂東人的，是源家中興之祖八幡太郎義家殿下。射箭的方法、騎馬的功夫、軍隊列陣的方式，全都是義家殿下留下來的。我們不可以忘記源家的恩惠。」
他常常這麼告誡族人。
這老人是坂東的活字典，三浦黨人從他口中知道了一百多年前的往事：八幡太郎義家遠征奧州時，其弟新羅三郎義光也想隨他出征，朝廷卻不允許，於是他棄官追隨其兄義家，兩人在軍隊中戲劇性的重逢。義明將這件事敘述得有如一場歷史劇。
「過去真令人懷念啊！」
三浦黨人到處說著從老人那裡聽來的故事，帶給人們對於賴朝、義經這兩人的邂逅一種戲劇性的感動。
義經被帶進軍營，來到院子里。院子里張著布幔。義經正想坐在樓梯下面時，頭上響起賴朝的聲音：
「上來！上來！」
那聲音充滿了懷念與喜悅。義經上了樓梯。
賴朝在屋裡木板地上放了一張墊子，墊上還鋪了一張毛皮。可是，他一看到義經的表情，就馬上拿掉毛皮，為弟弟安頓了一個位子。義經感動得低頭拭淚。
後世認為在人前流淚很娘娘腔，可是，這個時代的人常常哭泣。賴朝一直凝視著初次見面的弟弟的臉，想尋找與亡父相似的輪廓，然而，他雙