毛澤東的「上山」思想由來已久。1927年轟轟烈烈的大革命失敗以後，中國革命處在十分危急的關頭。中國的無產階級革命力量十分弱小，要在全國的中心城市與強大的國民黨反動派相抗衡，顯然是不明智和不可能的。無數的中國共產黨人，都在思考、在探尋一條新的出路。就在這時，以毛澤東為代表的優秀分子，將馬列主義普遍真理與中國革命具體實踐相結合，吸取了中國歷代農民領袖和「山大王」的經驗，提出了「上山」的主張，為中國革命的戰略轉移找到一個落腳點和新的出發點。
中國共產黨人的「上山」思想，從現有掌握的史料看，可以追溯到1927年5月上旬。據大革命時期在瞿秋白身邊工作的羊牧之回憶：「五次大會結束後的第二天晚上，我上樓去看秋白，覺得他消瘦了許多，我安慰他說：『該休息了。』他淡淡一笑說：『形勢緊迫啊！汪精衛與蔣介石暗中勾結，已逐漸轉向公開了，我們極有可能要被迫上梁山，我同志要在思想上積極準備，增強黨性，嚴守黨的紀律，一切聽從黨的決定。』他笑了笑又說：『上梁山就上梁山，我出國去蘇聯那年，從北京南下到濟南向父親辭別時，雖想到鄆城、陽谷、梁山泊一帶實地看看，可惜沒時間』。」「1927年5月下旬，在鮑羅廷房間里，召開了一個討論共產國際五月指示的會議，有鮑羅廷、瞿秋白、張太雷等參加，會上有人舉梁山泊為例，要招兵買馬，與反革命進行周旋。」
「五大」是5月9日結束的，結束後的第二天應是5月11日。這時候，瞿秋白就說要「上梁山」，可見中央高層決策集團已意識到形勢的嚴重性，開始醞釀這種思想。但是，這尚是個人的看法，並未形成中央的決定，而且這種思想僅是萌芽，還處在一種朦朧狀態。
最早並明確提出「上山」概念的是毛澤東。1927年6月，毛澤東在武漢召集「馬日事變」中從湖南出來的同志開會，就號召大家回到原來的崗位，「在山的上山，靠湖的下湖，拿起槍杆子保衛革命」。
「上山可造成軍事勢力的基礎」。1927年7月4日，中共中央政治局常委舉行擴大會議。毛澤東在這次會議上更加明確地提出了「上山」思想，認為「上山可造成軍事勢力的基礎」。這次政治局常委擴大會，主要是討論湖南省農民協會和農民自衛武裝應當如何對付敵人的搜捕和屠殺問題。陳獨秀在會上提出：國民黨各軍招兵時農會會員和自己武裝可應招加入。毛澤東卻提出了「上山」的主張，認為「上山可造成軍事勢力的基礎」。「不保存武力，則將來一到事變，我們即無辦法。」毛澤東的這個思想，是他長期從事農運、深刻認識中國革命鬥爭的長期性和複雜性的結果。只有「上山」，才能「保存實力」，才有辦法和希望。這種上山「保存武力」、創造「基礎」的思想，使毛澤東能在險惡的環境中立於不敗之地，並且在實際鬥爭中不斷得到深化與升華。
「縱然失敗也不應去廣東而應上山」。毛澤東的「上山」思想，在「七一五」反革命政變以後，得到進一步的發展。7月20日，中共中央（代號安中原）和毛澤東主持的中共中央農民部（代號宗容明）發出《中央通告農字第9號——目前農民運動總策略》的文件，明確指出：「農民武裝現時沒有以『農民自衛軍』『農軍』這類名義公開存在的可能，只能在下面以三種形式之下存在：a.以合法的名義存在，如『挨戶團』『保衛團』『聯庄會』之類；b.平時分散，秘密訓練，一遇戰事則隨時集中；c.兩種形式都不可能時則可以『上山』。」
在黨的八七會議上，毛澤東的「上山」思想又一次深化，提出了「須知政權是由槍杆子中取得的」著名論斷，將「上山」與奪取政權聯繫起來了。
8月9日，中共臨時中央政治局在瞿秋白主持下召開了第一次會議。會議討論了湖南問題，決定改組中共湖南省委，由毛澤東、彭公達與中共湖南省委商選新省委名單報告中共中央。會議批評了湖南省委（夏曦為書記）不應主張湖南組織一個師的軍隊尾隨南昌起義軍南下廣東，而應使湖南形成一個廣大基礎，將革命力量擴大到全省。在批評中，毛澤東指出：「大家不應只看到一個廣東，湖南也是很重要的。湖南民眾組織比廣東還要廣大，所缺的是武裝。現在適值暴動時期，更需要武裝。前不久我起草經常委通過的一個計畫，要在湘南形成一師的武裝，佔據五六個縣，形成一政治基礎，發展全省的土地革命。縱然失敗也不應去廣東而應上山。」《關於建國以來黨的若干歷史問題的決議注釋本》。
毛澤東的這個發言，則進一步反映出他「上山」思想的堅定性。「縱然失敗也不應去廣東而應上山。」在這種堅定的「上山」思想指導下，毛澤東隨即起草了一份《湘南運動大綱》。他在大綱中提出一個構想：「以汝城縣為中心，由此中心進而佔領桂東、宜章、郴州等四五縣，成一政治形勢，組織一政府模樣的革命指揮機關，實行土地革命。」
對此，李維漢曾回憶說：「毛澤東曾提出了一個湘南暴動計畫，他（毛澤東）認為即使武裝起義失敗也不用去廣東而應該上山。」
毛澤東當時的設想，是在湘南造成一個以汝城為中心的割據局面，以一師的兵力去推翻和奪取敵人統治的湖南省政府。在當時的形勢下，具有這種魄力、膽略的還只有毛澤東。後來因情況變化，他的這一設想未能得到實施。湘贛邊秋收起義前後，他的「上山」思想就顯得更加明確、堅定和自覺了。
「上山結交綠林朋友」。譚震林同志回憶說：「八七會議上，毛澤東同志批判了陳獨秀的錯誤路線，主張黨獨立地領導中國革命，以武裝鬥爭推動土地革命，奪取政權。他指出，民眾運動沒有槍杆子是不行的，須知政權是槍杆子里出來的。當時，瞿秋白曾要他到上海黨中央機關工作。他回答說：我不願意跟你們去住高樓大廈，我要上山結交綠林朋友。」
鍾期光也回憶說：1927年8月中旬，「在楊家和平江黃金洞交界的地方，在一個小屋裡，毛主席跟我們十幾個人講了話。毛主席說，我們的人不多，但我們要以一當十，以十當百，以百當千，人是最寶貴的，要千錘百鍊，要能走路，並說了上山為王的典故」。
9月初，毛澤東在安源張家灣召開的軍事會議上，饒有興味地聽取了安福縣農民自衛軍負責人王興亞介紹贛西寧岡、遂川兩位「綠林老庚」袁文才、王佐的情況。
從上述材料可以看出，在秋收起義的準備階段中，毛澤東曾考慮過秋收起義的退路問題。起義成功固好，倘若失敗則應上山與綠林交朋友，搞武裝割據。1927年10月毛澤東率部上了井岡山後，立即與當地的兩位「綠林頭目」——袁文才、王佐交上了「朋友」，這絕對不是偶然的。以後的事實也表明，正是依靠這兩位「綠林朋友」的鼎力相助，才順利地在羅霄山脈中段站穩了腳步，初創了井岡山革命根據地。當然，在秋收起義失利之後，這種「上山結交綠林朋友」的想法，也是敵人逼迫出來的結果，正所謂「逼上梁山」。
上山做「革命的山大王」。毛澤東的「上山」思想，到秋收起義部隊遭受嚴重挫折時，開始出現一次質的飛躍。即從「上山結交綠林朋友」對「上山」後依靠力量的思考，到上山要干一番事業、以「革命的山大王」來對抗國民黨反動派的反動統治。
對此，何長工曾撰文回憶說：在秋收起義失利後，毛澤東主張「上山當山大王」。當時，有些人不同意毛澤東同志的意見，覺得革命革到上山做大王去了，這叫什麼革命。毛澤東同志耐心地說服大家。他說：「我們這個山大王是特殊的山大王，是共產黨領導的，有主張、有政策、有辦法的山大王，是代表人民利益的工農武裝。中國政治不統一，經濟不平衡，矛盾很多，我們要找敵人統治力量薄弱的地方。」到了井岡山以後，就碰到一個問題，「就是這個地區有王佐、袁文才兩支農民武裝……當時不少人主張用武力消滅他們。毛澤東同志不同意，他說，談何容易，你們太狹隘了，肚量太小了。三山五嶽的朋友還多著呢，歷史上有哪個把三山五嶽的『土匪』消滅掉了！我們要團結、改造他們，把三山五嶽聯合成一個大隊伍，統治階級就拿我們沒辦法」。
可見，毛澤東的上山「做革命的山大王」思想，並非一般人所說的上山當「綠林」、「響馬」，更不是什麼「落草」、「藏匿」。毛澤東是在熟諳中國歷代農民起義「佔山為巢」的基礎上，總結出來的革命經驗。這種「上山」思想不斷發展的結果，形成了中國革命的一條獨特的道路。
上山「做革命的山大王」的思想，實際上就是建立革命根據地的思想。當年隨毛澤東上山、解放後成為我軍高級將領的朱良才，在回憶毛澤東講到上山武裝割據和革命根據地的關係時說：「毛主席打了一個通俗有趣的比喻，說革命要有根據地，好像人要屁股一樣。因為一個人假若沒有屁股，便不能坐下來，要老是走著，老是站著，定然是不會持久的。腳走酸，站軟了，就會倒下去。革