入道相國對自己如此殘酷無情的所作所為，覺得或許會有惡報，不免心存恐懼；而且為了安撫後白河法皇的怨憤，更將自己與安藝國嚴島內侍 所生、芳齡十八、如花似玉的女兒，獻給了法皇。還派許多高級女官 隨侍，不少公卿殿上人相陪，簡直像女御進宮一般。世人都竊竊私議道，高倉上皇駕崩後才過二七，此種做法實在有違綱常，不識大體。
且說，當時謠傳在信濃國有一個源氏族人，名叫木曾冠者義仲 ，是故六條判官為義 次男故帶刀先生義賢 之子。父親義賢於久壽二年八月十六日，為鎌倉惡源太義平 所殺。義仲當年兩歲，其母悲憤填膺，哭哭啼啼，抱到信濃國木曾中三兼遠 住處，懇求道：「無論如何，請勉為其難，將此兒撫養成器。」兼遠謹受所託，不辭辛勞，加以養育了二十多年。越長越壯、力大超人、性極剛毅。有人贊道：果真是世上絕無僅有、難得一見的強弓射手。不管馬上或徒步，皆驍勇善戰。即如上古之田村、利仁、餘五將軍、致賴、保昌 、先祖賴光、義家 等朝臣名將，也不能與之爭鋒。云云。
有一日，義仲心中有所思，請來監護人 兼遠，透露道：「兵衛佐賴朝起兵謀反，已征服了關東八國，且正從東海道推進京都，繼續追討平家軍。義仲願從東山、北陸兩道 ，早日殲滅平家，或可與賴朝並稱日本國兩大將軍。」中三兼遠聽了，正襟危坐，大喜過望道：「正為此事，才答應養育公子，以至今日。聽公子所言，不愧是八幡神 之後裔。」於是，立即開始籌划起兵事宜。
其實，在此之前，義仲便經常陪著兼遠進京，窺探平家族人的虛實動靜。十三歲元服時，參拜石清水八幡，在八幡大菩薩尊前，宣誓道：「我四世先祖義家朝臣，在此成為八幡大菩薩之子，號稱八幡太郎。我願步其後塵。」隨即在八幡大菩薩尊前，結髻加冠，取名木曾次郎義仲。兼遠便道：「可先傳達檄文 。」於是與信濃國的根井小彌太 、海野行親 接觸，均無異議。從此信濃一國的武士莫不服從。在上野國則因故帶刀先生義賢的緣故，多胡郡 的武士也都起而響應。正逢平家走向末路的機緣，當可一償源氏長年所懷的夙願。