同樣是清和源氏，但賴政的家系跟賴朝、義經、行家等人略有不同，相同的只有從清和天皇到第四代的滿仲。
滿仲的長子賴光是賴政的祖先。賴光帶著坂田金時等隨從，打退住在大江山的妖怪酒吞童子的故事相當有名。後來這一支直到賴政為止都住在近畿，統治著近畿的源氏。
賴朝的家譜是以滿仲的三子賴信為祖先，主要在東國培養勢力，因此家譜中出現了八幡太郎義家、惡源太義平、鎮西八郎為朝這類人物。而賴政的家譜中，沒有這種武功高強的英雄人物，可能因為是生長在京都的緣故。
不過，賴政卻是個例外。他年輕時就是有名的弓箭手，老邁後技術並沒有衰退，仍可以一箭射中出沒於宮廷附近的怪鳥。
——厲害。
京都人都很佩服他。
他善於處世，雖然是源氏，可是卻似乎知道平家會戰勝。在關係著源、平興亡的平治之亂中，他一開始答應幫助賴朝的父親義朝，可是開戰後卻駐兵於六條河原不動，觀賞巷戰，且在義朝危急時反過來投靠清盛，因此成為京都中唯一存活的源氏。
然而，京都人卻沒有指摘賴政的功利行動，因為賴政平常待人很好，又有詩才，他所作的和歌美妙得令人傳誦不已。賴政處世的圓滑還不只顯現在這件事情上。
治承元年時，叡山僧兵抬著神轎，大舉闖入京都，想集體向皇帝抗議。騷亂中，賴政發揮了圓滑的處世能力。
朝廷為了掃平騷亂，派平家總領重盛與源氏老將賴政把守宮門。
可是，僧兵團躲避平家強大的軍力，只進攻以小部隊防守達智門的賴政軍隊。看到這種戰況，賴政出現了怪異的行動：他不準備戰鬥，只是脫下頭盔，下馬跪在地上，對著神轎伏拜，並向僧兵的大將說：
「我是個微弱的源氏，兵力也不過只有二百人，跟我這個勢單力衰的武士打仗，你們也沒甚麼好自誇的。守對面陽明門的，是日本最強的武士平家，你們還不如去攻打那邊。」
賴政怕得罪叡山勢力，並同時稱讚平家是「日本最強的武士」，讓雙方產生衝突，使自己幸免於難，這就是他葫蘆里賣的葯。
——源三位殿下真是好人。
僧兵們轉移方向，抬著神轎前往平家防守的陽明門，引起了一陣騷動。
賴政就是這樣的人，善於明哲保身。可是，面對現今的時勢，他當然並不顯達。因為根據平時忠的說法：源氏在平家眼中根本不是人。
源賴政過了七十歲後，官位還是四位。連他本人都感嘆：
若沒有可以攀爬的東西
一輩子就要在樹根撿拾椎木了
他寫了這首和歌。不知道甚麼時候，這首和歌傳到清盛耳中。
「那老人還是四位嗎？」
他深感憐憫，便奏請將賴政升為三位。自古以來，源氏沒有升到三位的例子，因此京都人故意稱他源三位。
（這麼一個明哲保身過活的老人，會願意幫忙舉兵討伐平家嗎？）
行家聽到有關源三位賴政的種種，越來越沒有自信去說服他。
（可是……）
行家馬上想到自己最近聽到的一件事，也許對接下來的行動會有幫助。
賴政的長子叫仲綱，是個很倔強的年輕人。最近，他從東國取得一匹無與倫比的駿馬，將這匹馬取名為「木下」，到處展示誇耀著。
「要他把那匹馬給我。」平家的宗盛無心說了這句話。
「為了你好，還是給他吧！」
仲綱的朋友都這麼勸他。
可是他不聽朋友的忠告。平家的繼承者小松大臣平重盛，去年七月因胃病去世後，這個跟重盛一點都不像的愚者宗盛，便登上了繼承者的寶座。他以後將會是日本的統治者吧？就微弱的京都源氏立場來講，必須討好宗盛。
「一定要這樣做！」
人們勸他。可是仲綱跟父親不同，他非常自豪於自己的源氏背景。
「為甚麼要這麼諂媚？宗盛殿下也是武門的繼承人，我仲綱也是武門的繼承人，武道中有分上下嗎？其他東西還無所謂，馬是有生命的東西，哪能說給就給呢？」
宗盛聽到了仲綱這席話。
——衰弱的源氏之子講出這種話？
很意外的，宗盛沒有生氣，反而覺得仲綱的認真很好笑。本來，平氏一族的共通性格就是不會對任何事情生氣，宗盛更是特別遲鈍。不過，他卻越來越想要馬。終於，他忍不住派使者向仲綱說：
「借我一天就好。」
仲綱知道他其實是要搶，於是想拒絕。可是父親賴政開口了：
「這樣太不圓滑了。」
其實，賴政對仲綱耿直的個性很欣賞。他雖然是長袖善舞的社交家，內心多少還是對平家的傲慢無禮難以容忍，只不過他一直忍氣吞聲。
「你保持過去的態度並沒有不妥，可是他都退讓了，只說要暫借，你如果還拒絕，就太不夠意思了。做任何事情都要有限度，不逾越限度的人，才能在這個世界生存下去。」
賴政這麼一說，仲綱勉為其難把木下牽到六波羅借給宗盛。宗盛果然不願歸還。過了幾天，仲網不斷催促，宗盛仍顧左右而言他。最後，他終於說：
「用這匹代替吧！」
他送了匹叫南鐐的銀毛名馬給仲綱。
——忍耐一下吧！
賴政如此安慰他。可是仲綱十分固執，仍每天派人去六波羅催宗盛還馬。
「討厭的男子！」
宗盛終於生氣了，可是，他有種用嘲諷來表達怒氣的本領，他把馬匹改名為「仲綱」。
客人一來，他就把馬牽到院子里展示，客人若問起馬的名字，他就呵呵笑著說：
「它叫仲綱。」然後笑得整張圓臉鼓鼓的。
仲綱氣得不得了：
——這還能忍耐嗎？
可是對方是平家，他也莫可奈何。仲綱強烈表示要闖進平家理論，即使死了也無所謂。後代武士的倫理附加了很多不同的綱目，可是當時只有一條——知恥。即使利害攸關，但受到這樣的恥辱，難道還必須忍耐下去嗎？
「父親，您覺得如何？」仲綱追問。
其實賴政也很生氣。可是如果反抗，在平家底下忍受這二十幾年，不就全部付諸流水了嗎？
「讓我想想看！」賴政說。
以隱居僧侶打扮潛入京都的新宮十郎行家，就在這個時候，來到堀河的源氏館拜訪源三位賴政。
「我根本不認識你。」
一開始，賴政懷疑來客的身分。有旁系的源氏血親被流放到熊野新宮附近是很久以前的事，他已經不復記憶了。
「在保元之亂中死去的為義，共有四十個孩子。連他本人都很難記清楚孩子的容貌或年紀，更何況是外人？」
為了以防萬一，行家打開寫有源氏氏族的名簿，其中果然有他的名字。
「讓他進來。」
賴政下令召見他。在最裡面的房間里，這個來自流放地的逃亡者，與老人面對面靜靜坐著。
（個性似乎很輕率。）
老人看著他瘦如魚乾卻富光澤的臉孔，這麼想著。
「老爺爺！」
行家如此叫著老人。
賴政是賴光這一支系的長者毋庸置疑。可是，行家卻不將賴政當貴族般尊敬，反而親密的拿他當「同族人」。
行家消息的靈通令賴政驚訝。
「平家一門為時不久了。」
這個鄉下人毫不畏懼地講出令賴政心中一緊的政治禁語。
「不管是京都的市集，或是鄉下的田間小路，都充滿了怨恨平家的聲音。不只如此，連高高在上如居雲端的法皇都怨恨著平家。」
「噓！不要講啦！」
賴政對這位鄉下策士的能言善道感到頭痛，皺起了眉頭。
辯論家往往有種宗教性的權威。
行家在被放逐到熊野時，學會了修驗道 。他會念經文，還曾經在那智的瀑布下艱苦修行，擁有山僧才能應付自如的宗教修養。
「某個初一，當我在那智瀑布下修行時，朦朧的水霧中出現了七彩的彩虹橋，橋上站著一位白衣白鬍的老人，我仔細一看，發現正是熊野權現。」
（說謊！）
賴政這麼想。他雖然不相信，可是對行家的辯才很有興趣，於是假裝聽得入迷。
「然後呢？」
「在我俯伏跪拜的時候，彩虹的紅色消失了，幻化成白虹，白龍起舞升天而去。」
「真的嗎？」
賴政的表情認真起來。《戰國策》中記載：
白虹貫日之時，正是兵亂前兆。
以賴政的學養還知道這一點。
「這要怎麼解釋呢？」
賴政為了謹慎證實自己的看法，又詢問行家。
可是行家卻說出一種平庸俗氣的解