賴朝決定起兵，並不是因為有勝算或擁有具遠見的軍師，而是因為對軍事毫無所知的妻子政子，以及部下畫師邦通等人的慫恿：
「這樣只會坐以待斃，還是揭竿而起吧！就算運氣不佳，戰敗而死也無所謂，因為不舉兵還是死！你必須賭賭運氣。」
眾人羅嗦的勸他，再加上他自己也有此意，於是決定舉事。
事前，他派身邊的安達藤九郎盛長為密使，去說服關東的舊家臣：
「請你們務必響應。」
幾乎很少有人慷慨允諾「絕對會來」，大部份都表示「看情況再說」，採取不跟源、平任何一方為敵的態度。不過，也有很多人一口就回絕了，甚至還有人惡言相向。相模的波多野氏、山內氏等人，是賴朝（他們也一樣）所期待加入的勢力。波多野氏出身的女子愛慕義朝，替他生了賴朝的亡兄朝長，山內氏出身的女子則是賴朝的乳母之一。而且，兩家的當家波多野義長、山內經俊是親兄弟，這對兄弟若願意響應，將會增加無與倫比的戰力——賴朝這麼期待著。密使藤九郎盛長來到波多野家時，兄弟倆正好在玩陞官圖。
「有甚麼事情就在那裡說吧！」
兩人繼續玩著陞官圖，也不跟盛長寒暄，簡直就像對待討飯者一樣。藤九郎盛長不得已，只好對著京都買來的陞官圖盤開始說話。他一說完，哥哥經俊便說：
「弟弟，你聽到了嗎？」他開始笑了起來，說道：「人一貧窮，就不知道在想些甚麼。」
「是啊！」
弟弟點頭，彷佛受不了似的感嘆著。
「這件事情可是十分嚴重。以佐殿現在的情況，想要奪取平家的世界，就好像小石頭要跟富士山頂較量一樣。世上哪有人會贊同這種鬼迷心竅的想法呢？這太可怕、太可怕、太可怕了！南無阿彌陀佛！南無阿彌陀佛！」
他們兄弟雖然沒有明講，可是也不一定聽不出他們的真心話。
——佐殿是個意料之外的人。
盛長如此認為。只有少部份人知道賴朝伶俐、大膽、寬宏大量的人格，而積極跟隨他。在這個時代，武士選擇盟主式的人物。平治之亂時，武士們選擇清盛放棄義朝，就是最好的例子。在這一點上，願意跟賴朝共存亡且積极參与的，是在三浦半島的三浦與和田氏，以及在房總半島的千葉氏。不過，三浦、和田、千葉氏等人，也不是一開始就出兵相助。
「佐殿先做看看吧！」
他們原先是這種態度。
叫賴朝先用手邊的兵力來舉兵吧！看結果如何，讓坂東武士了解賴朝其人以及他的行動，使大家開始敬仰他，然後他們再起兵。這一點，跟戰國時代的主從關係完全不同。
賴朝決定進行突擊，第一個目標是伊豆的平家目代山木判官兼隆的府邸。然而，眼前他最關心的卻不是軍事，而是讀經。
他在四月接到以仁王令旨時，心中曾暗自決定：
（我的心愿是讀完千部法華經，讀完再說吧！）
現在，迫於情勢必須提早舉兵，可是他只讀了八百部而已。他很在意這件事，於是偷偷前往伊豆山權現，去見塔頭的密嚴院住持卿律師。卿律師是賴朝二十年來敬重如師父的老僧。賴朝將舉兵的秘密告訴了他。
「怎麼辦才好呢？」賴朝問。
伊豆山權現因為社領 的關係，已與平家交惡。
「這樣好！」卿律師還稱讚賴朝：「八百部嗎？『八』這個字很吉祥。你想想看，源氏的祖先是八幡大菩薩，您的先祖是八幡太郎義家公，跟從您的武士們是關八州的武士，而且，你們要討伐的是八逆無道的兇徒清盛。『八』這個字多好啊！恭喜啦！」他像唱歌似的說。
這天是治承四年七月五日。決定突擊目代的山木判官的日子，是八月十七日。
突擊的前一天晚上，參與行動的眾人集合在一起立下重誓，其實，除了北條氏之外，也沒有比較有組織的集團加入，都只是零星的個人參與者。由於人數不夠，所以連畫師邦通、落魄的神主 住吉小大夫昌長等人都參加了，組成了一團嘍羅雜兵。其中稍有武功者，只有佐佐木兄弟定綱、經高、盛綱、高綱等人。
附帶一提，佐佐木莊園位於近江琵琶湖東岸，世代以之為據點。而佐佐木兄弟的父親秀義，在平治之亂中協助義朝，敗北後往東奔走投靠奧州藤原氏。途中進入相模，在涉谷（神奈川縣藤澤市內）想拜託擁有大片土地的涉谷庄司重國提供住宿處時，重國說：
「乾脆就住在我家吧！」
於是他接受了重國的好意，父子們二十年來就一直當重國家的食客。可是，秀義沒有忘記對源家的舊情義，他要孩子們前來伊豆的流放處，照顧賴朝的生活起居。四兄弟都是弓箭名手。
——有這四個人的弓箭就夠了。
賴朝以這四人的射箭技術為戰力中心來思考。
可是他們卻沒來。
（該不會背叛我了吧？）
賴朝如此懷疑，甚至還陷入絕望的深淵。其實，他們四人是因為前幾天洪水沖走了橋樑，無法過河，遲到的理由不過如此而已。
——佐佐木兄弟沒有來。
賴朝著急不已。周圍的人提供了許多意見，大家都說：
「延後一天起兵吧！」
也就是說，十七號延到十八號。如果延到十九號的話，時間拖得太久，恐怕會事迹敗露。
「不可以！」賴朝斷然說。
大家以為是基於戰略或戰術上的理由，紛紛詢問原因。
「十八號是正觀世音菩薩的緣日 。」賴朝回答。
他從小就信仰觀世音，每月十八日的緣日都要念誦普門品，這一天不只不殺魚、鳥，連礙手礙腳的蚊子都放生。二十幾年來他都是如此。因此，他不能在這禁忌之日突擊山木府邸，斬殺那麼多人。
（真是悠哉！）
大家都這麼想。然而賴朝並不讓步，他非常認真。這種類似清僧的道心，在伊豆鄉下人眼中相當優雅。
最後，佐佐木兄弟趕來了，他們渾身是泥，一看就知道一路上歷經艱辛。他們的武裝十分寒酸，兩個哥哥辛苦的騎著一匹瘦馬，而兩個弟弟則是徒步武者。然而，只有一丁點部下的賴朝牽著四兄弟的手，高興得流下眼淚。在當時，賴朝算是很愛哭的男人。
他們決定當晚突擊。本隊由北條時政指揮，佐佐木兄弟中，除了盛綱，其他三人組成了機動隊。山木判官的監督者中，有個叫提權守信遠的人物。眾人先攻擊信遠的府邸。定綱、高綱兩人繞到後門，月亮高掛在中天，附近明亮得彷如白天。次男經高一個人負責正門，他翻過圍牆，跳入院子，如同飛到草上似的，從背後抽出箭搭在弦上，論射箭技術，他是兄弟中最高明的。箭從弦上飛出，呼嘯著朝正屋而去，射中窗戶，穿窗入內。
這是源氏征服平家的第一箭。（《吾妻鏡》）
信遠的一名部下聽到動靜，衝出來查看，發現月光下只站著一個男子。
他只當此人是來搗亂的壞人，完全沒有想到是征討平家的前鋒武者。經高以樹木為掩護放箭，就在彼此對射時，經高的箭用完了，於是立刻抽出太刀，在月光下衝鋒。
「瘋子嗎？」提權守信遠想。
他拔起刀衝到院子里，想親自解決這個人，正好著了佐佐木兄弟們的道。
信遠被經高吸引了注意力，沒發現定綱、高綱從後門溜了進來。二人突然出現在院子里，急促地報上姓名後就沖了過來，將信遠的臉砍成兩半。信遠滾了三下，倒在草叢中。他可以說是源平爭亂的第一個犧牲者吧！
「撤退！」
長兄定綱下令，於是三人退出了這個小戰場，準備去救援本隊。他們跑在田圃道上，前往主戰場山木府邸。由於前幾天下雨，田間小路泥濘難行，三人跑得很辛苦，跌倒了好幾次。
到達山木府邸後，只見戰況似乎相當不利。主力北條家武者意外的脆弱，兄弟們在戰亂中砍殺進來，大大提振了眾人的士氣。
賴朝自己沒有參加戰鬥，他以總帥的身分留在北條府邸，坐在屋檐下眺望天際。
屋旁有棵大樹，他要北條家管馬廏的下人江太新平爬上去觀察戰況。
「新平，還沒看到火嗎？」
賴朝搖晃著樹榦，他已問過許多次了，每次新平都回答「沒有」。他命令突擊隊以放火為戰勝的暗號，可是，已經過了預期的時間，卻仍沒有看到火，賴朝急了！
「真是沒辦法！」
他回過頭來。這位總帥的隨從大將只有三個人：佐佐木盛綱、加藤次景廉、堀藤次親家。
「我一個人沒關係，你們也去吧！去把山木判官的頭砍來。」
賴朝將自己的武器薙刀給了加藤次景廉。三人勇猛地沖了出去。
結果，這三人沖入山木府邸內的混戰中，找到了山木判官。加藤次景廉揮舞著薙刀，砍下了判官的首級，突擊終於成功了。