中國人民解放軍置於中國共產黨的絕對領導之下，是基本的建軍原則，是立軍之本。
「支部建在連上」，則是實現共產黨對人民軍隊絕對領導的重要方式，是人民軍隊建設的基礎。
「支部建在連上」，始於井岡山鬥爭時期，一直沿襲至今。
最早提出這一建軍原則，是在著名的「三灣改編」期間。
1927年9月29日，毛澤東率領秋收起義部隊到達永新境內的三灣村後，對部隊進行了一次整編。整編的重要意義，一是奠定了黨對軍隊絕對領導的基礎，二是開始建立民主制度。前者，可以保證軍隊在政治上思想上有正確的方向；後者，可以使軍隊建立完全新型的內部外部關係，確保官兵之間、軍民之間能夠團結一致。可以說，它為中國共產黨如何建設自己的軍隊，進行了最早的也是一次較成功的探索與實踐，標誌著毛澤東建設人民軍隊的思想開始形成。
但是，新型人民軍隊的建設，不是靠一次改編工作就可以完成的。毛澤東領導的三灣改編，為時只有幾天，就匆匆奔上井岡山，沒有來得及形成正式的綱領和文件，只能看作是建設人民軍隊的起步。
況且，此時對於居無定所的工農革命軍來說，要把三灣改編確立的原則和制度真正化為紅軍戰士的自覺行動，還是需要一段時間、一個過程的。
「支部建在連上」，是三灣改編的一個重要內容，也是毛澤東在進軍井岡山及領導井岡山鬥爭中對無產階級建軍原則的一個重要創造。
雖然早在國共合作的大革命時期，中國共產黨就在自己掌握的軍隊中建立了黨的組織，但一般都設在團一級，即團為支部。而在軍隊中與士兵聯繫最為直接、最為密切的基層組織——連隊，卻沒有建立黨的組織。團政治指導員辦公室直接管連隊政治指導員，政治指導員只做宣傳教育工作，因而政治工作沒有群眾基礎，士兵中黨員很少。這種方式，即便是在大革命失敗後，黨領導的南昌起義和秋收起義的部隊中，仍然沿用。
在秋收起義的鬥爭實踐中，毛澤東意識到，黨的組織不建立到基層連隊，就形成不了領導核心，就不能真正掌握部隊。於是，在三灣改編時，便確定了「支部建在連上」的原則：即支部建在連上，班、排建立黨小組，營、團建立黨委，將團、連設立政治指導員的制度改為團、營、連黨代表制。從而使黨的組織深入到基層，直接掌握了士兵，極大地加強了黨對軍隊的領導，密切了黨和士兵群眾的聯繫。
這是一個全新的設想。
三灣改編提出了這個設想，卻未能立即付諸實行。時間太緊固然是一個原因，可更主要的卻是，要在連隊建立黨的支部，必須要有黨員才行，而當時各個連隊的士兵中黨員極少，少得難以發揮作用。
張令彬，是當時為數不多的戰士黨員之一，他曾回憶了連隊中黨組織的情況：「當時，我是連隊里的一個普通戰士。我們連的黨員是平瀏農民自衛軍和武漢警衛團大革命失敗後保存下來的力量，數量很少，又是秘密的，只有四個黨員，黨代表、連長、一個排長和我。有一次，我們四個人開黨小組會，延長了時間，我回到排里，值班排長是個非黨幹部，他問我到哪裡去了，我說到山上拾柴火去了，他說這裡柴火多得很，為什麼跑得那麼遠？他責令我罰跪，跪在三角石地上，一個多小時都不讓起來。為了保守黨的秘密，我寧願受苦。」
由此，在連隊戰士中發展黨員，尤其是在那些工農出身的戰士中發展黨員，成了落實「支部建在連上」原則的首要任務。
當時，改編後的工農革命軍第一軍第一師第一團，於10月7日進駐茅坪。為了解決部隊的給養，同時也為了擴大部隊的政治影響，從10月8日起，工農革命軍開始了沿湘贛邊界各縣的游擊活動。
第一站就是湖南酃縣的十都。隨後，部隊沿石洲、坂溪，向湘贛邊界山區的水口緩慢地移動。
從十都到水口的行軍途中，毛澤東開始在工農出身的戰士中培養入黨積極分子。時任一營二連一班班長的賴毅幾十年後清楚地記得毛澤東在戰士們中間開展深入細緻思想工作的情景：「每天行軍，我都看見毛澤東同志出現在戰士們的行列中。他身穿便衣，腳穿草鞋，今天在這個連隊，明天在另一個連隊，找戰士們談話，問他們在家裡做什麼？怎樣參加革命隊伍的？問他對革命的認識，對目前形勢的看法。由於部隊當時開小差的多，因此槍也多，這樣有時就得雇老百姓挑擔。有一天，毛澤東同志走到一個連隊，有個戰士不認識他，以為是老百姓，便要他挑擔子，毛澤東同志和藹地說，我給你們挑了好幾天了，今天我們連長叫我休息。認識毛澤東的同志就說：『這是中央派來的毛委員呀！』戰士們都感到驚奇。由於毛澤東同志這樣平易近人，大家也就毫不拘束地圍在他身邊，紛紛向他訴說自己的經歷。」
就是在這樣一種不拘形式的交談中，毛澤東發現和培養了一批工農出身的黨的積極分子。
毛澤東的行動，給黨員幹部做出了榜樣，各連黨代表和共產黨員紛紛遵照毛澤東的指示，邊行軍邊做思想工作。
副班長劉炎是個黨員，他見班長賴毅立場堅定、作戰勇敢，就在行軍中主動地找賴毅談心，了解他的家庭情況和個人經歷。
賴毅早就想把自己的平生夙願向黨組織表達，這時，他一口氣把憋在心裡的話全倒了出來：「我原是造紙工人，在搞工會工作時加入了共青團，後來在家鄉沒法呆下去了，才逃到江西修水，找到了這支革命隊伍。」他請求劉炎把他迫切要求入黨的願望向黨組織反映。
劉炎高興地說：「好吧！我一定向黨代表反映你的要求。」
果然有一天，黨代表把賴毅找去，對他說：「你有入黨要求，這很好。毛委員指示，要發展一批工農骨幹入黨，今後你要更好地工作，努力爭取入黨。」
嚴酷的環境，考驗著這支隊伍的每一個人。就在到達水口時，原師長余灑度、三團團長蘇先駿竟然不告而別了。
余、蘇兩人的脫逃，在工農革命軍中引起了很大的反響。毛澤東從余、蘇的脫逃以及戰士們的廣泛交談中察覺到：凡是擁有一定數量黨員的連隊，不但士氣高，而且能夠有效地監督幹部，部隊面貌大不一樣。三灣改編時雖然確立了「支部建在連上」的原則，可一直無暇發展充實工農分子入黨，現在已是時候了。
就在部隊進駐水口的第二天下午，各連黨代表秘密通知有關入黨對象，晚上去團部開會。
山區的深秋之夜，十分的寧靜。當各連黨代表領著入黨對象來到水口圩旁的葉家祠堂時，毛澤東早已在祠堂的後廳小閣樓等候了。閣樓中，擺著一張農家四方桌，幾條長板凳，桌上放著一盞煤油燈，桌面上壓著兩張下垂的長方形紅紙，一張上寫著入黨誓詞，一張上寫著三個彎彎曲曲的英文字母「C.C.P」。工農革命軍三灣改編之後的第一次建黨活動就要在這裡舉行了。
參加入黨宣誓的共6個人，除了賴毅，還有陳士榘、李桓、歐陽健、鄢輝等。大家看到毛委員今晚要親自為他們主持入黨宣誓儀式，頓時只覺得一股幸福的暖流在心中激蕩。
人到齊後，毛澤東走到方桌前宣布：「我們現在開始開會。」
首先由入黨介紹人（實際上都是各連黨代表）分別介紹了新黨員的簡歷和政治表現。接著，毛澤東走到6名新黨員面前，依次詢問了許多問題。
毛澤東走到賴毅面前，問道：「你為什麼要加入共產黨？」
「要翻身，要打倒土豪劣紳，打倒國民黨，加入黨更有力量。」賴毅回答得很乾脆。
毛澤東滿意地點頭稱讚：「講得很好。」
隨後，毛澤東把那三個大家沒有見過的英文字母作了解釋：這是「C.C.P」，中文意思就是中國共產黨。對入黨誓詞他也逐條逐句地作了解釋。
入黨宣誓開始了，會場上莊嚴肅靜。毛澤東站在6名新黨員面前，舉起緊握拳頭的右手，領著他們宣讀入黨誓詞。他念一句，大家跟著念一句：「犧牲個人，努力革命，階級鬥爭，服從組織，嚴守秘密，永不叛黨。」洪亮的聲音，在小閣樓中久久地回蕩著。
宣誓完畢，毛澤東親切地對新黨員說：「從現在起，你們都是光榮的共產黨員了。今後要團結群眾，多做宣傳，多做群眾工作，要嚴格組織生活，嚴守黨的秘密。」
臨走時，毛澤東叮囑各連黨代表：回去後各連都要組織黨的支部，抓緊發展工作。往後，各連都要像今天這樣，分批地舉行新黨員入黨宣誓儀式。
水口連隊建黨，是我軍歷史上把「支部建在連上」原則付之實踐的第一次建黨活動。工農出身的黨員成了部隊的支柱，為建立一支在黨的絕對領導下的新型人民軍隊提供了有力的保證。
水口建黨後不久，工農革命軍各連都相繼舉行了建黨活動，這不僅為部隊增添了新的血液，而且，眾多工農優秀分子投入黨的懷抱，使中國共產黨像一塊