士兵委員會，是毛澤東同舊軍隊傳統實行決裂的又一項大膽創造，是紅軍民主主義制度化的具體運作形式。
反動統治階級的軍隊，沒有民主制度，存在著尖銳的階級矛盾，官兵對立是普遍的現象。工農革命軍的主體是從國民黨軍隊過來的，自然也帶來了舊軍隊的一些不良作風。三灣改編前，毛澤東親眼目睹了隊伍里官兵不平等的種種表現：官兵待遇不平等，薪餉、穿衣自不用說，就連吃也是分灶做的；軍官管教士兵，開口就是訓斥，容不得士兵半點申辯；士兵犯了錯，軍官甚至班長，動輒就是鞭子、拳腳相加……毛澤東實在看不下去。他曾在湘軍里當過幾個月的兵，對士兵們的苦楚有切身的感受。
毛澤東不希望自己領導的工農革命軍仍然保留舊軍隊中那些官兵不平等的惡習，他要徹底地改變它。因此，三灣改編時，毛澤東決定確立新型的官兵關係，在工農革命軍內部實行民主制度改革，提出「官長不打士兵，官兵待遇平等，士兵有開會說話的自由，廢除繁瑣的禮節，經濟公開」等原則，並在連隊設立士兵委員會。
羅榮桓在《秋收起義與我軍初創時期》中是這樣憶及的：為了掃除軍隊中的一切不良制度和習氣，毛澤東同志果斷地採取了許多革命的措施。例如，士兵委員會就是這時候產生的。為了反對舊軍隊的一套帶兵方法，實現政治上的官兵平等，建立新式的帶兵方法，這就需要實行民主政策。士兵委員會就是實現民主的一個組織形式。那時，士兵委員會有很大的權力，軍官要受士兵委員會的監督，做錯了事，要受士兵委員會的批評，甚至制裁。表面看來，這樣做似乎是會鼓勵極端民主化和平均主義的思想，但當時的主要問題是必須堅決反掉舊軍隊的一套帶兵方法，奠定新型的官兵關係——階級的團結。部隊的實際情況是民主不夠，而不是什麼極端民主化和平均主義的問題。因此，只有這樣做，才能更徹底更有效地肅清軍閥殘餘，有了民主才能提高群眾覺悟，才能建立鞏固的集中。秋收起義之前，軍官每頓飯都是四菜一湯，和士兵的待遇懸殊很大。三灣改編以後，因為鬥爭很艱苦，那時最需要的是官兵艱苦與共，因而待遇改成完全一致，幹部和士兵吃一樣的飯菜，穿一樣的衣服，這是一個了不起的改革。它更加密切了官兵關係，對幹部的考驗和改造也起了積極的作用。
要改變舊軍隊中長期形成的「規矩」，談何容易！
「軍官違法，由士兵委員會處罰，那成何體統！」一些想維持自己「尊嚴」的軍官反對。
「官兵起居相同，待遇一樣，那要官作甚？自古官兵有別嘛！」一些想保住自己「特權」的軍官不滿。
毛澤東決心已定：「咱們工農革命軍，不是過去的舊軍隊！官兵平等，有鹽同咸，無鹽同淡，有什麼不好，這就叫愛兵如子嘛。」
毛澤東的意見得到前委多數同志的支持，也得到革命軍大多數官兵的擁護。
三灣改編首先在連隊建立士兵委員會，接著，毛澤東在總結經驗的基礎上，又逐步在營、團、軍各級都建立了士兵委員會的組織。貧苦工農出身的優秀戰士熊壽祺、劉炎、鄭重、胡本田等就是工農革命軍首屆士兵委員會委員。井岡山會師後，陳毅被推舉擔任了紅四軍軍級士兵委員會主任。
陳毅在《關於朱毛軍的歷史及狀況的報告》中，對紅四軍士兵委員會的組成及作用作了具體的介紹：「四軍士兵的組織，在軍團營連均設士兵委員會，官兵同時為（即參加）士兵委員會，全連士兵選擇5至7人或9人為連士兵委執委，推主席1人；以全營人數按每5人舉1人代表組成全營士兵代表會，推舉11人至13人組織營士執委，推舉1人為主席；按全團人數每10人舉代表1人組織全團代表會，推舉17至19人組織全團士委會，推舉1人為主席；全軍按30人或50人舉1代表組織全軍代表會，選舉19人至21人或23人組織軍士執委，選1人為主席；軍士執委選5至7人為常委，團舉5至7人為常委，營舉3人或5人為常委，連無常委機關，軍團常委均設機關於政治部內日常辦公，營常委不設機關。各級士委的任務規定如下：（1）參加軍隊管理。（2）維持紅軍紀律。（3）監督軍隊的經濟。（4）做群眾運動。（5）做士兵政治教育。」
在井岡山艱苦鬥爭的歲月里，各級士兵委員會發揮了重大作用。它參與軍隊管理，代表士兵利益，特別是直接參与軍隊的經濟管理，做到經濟公開，從而讓廣大士兵深切地感受到紅四軍與舊軍隊的不同。
在井岡山根據地廣為流傳的「當兵就要當紅軍，處處工農來歡迎，官長士兵一個樣，沒有人來壓迫人」這首歌謠，就是對當時軍民一致、官兵一致的新型關係的生動反映。
在那「紅米飯，南瓜湯，金絲被，蓋身上」的環境中，毛澤東、朱德為首的紅軍最高領導人與戰士們過的是同樣艱苦的生活，從不搞特殊化。有一次，老表們送了一些魚和蛋給毛澤東補身體。炊事班和士兵委員會一商量，覺得老表們的行動，也表達了自己的心意，就特意給毛澤東做成四菜一湯。毛澤東立即召集各連黨代表開會，說明幹部要帶頭執行軍內的民主主義，要與戰士同甘共苦，決不能搞特殊化。隨後，他就帶著黨代表們端著這四菜一湯，逐桌分到戰士們的飯桌上。分完後，他帶著黨代表們領了一盆苦瓜，津津有味地吃了起來。戰士們看到這一情景，感動得熱淚盈眶，戰士陳三崽走上前去激動地說：「毛委員，苦瓜味道苦，你不吃魚不吃蛋，吃些南瓜總行吧。」毛澤東聽了哈哈大笑，風趣地說：「先吃苦瓜，後吃南瓜，這叫先苦後甜嘛。」接著又說：「現在條件艱苦，物資困難，幹部吃苦瓜，讓士兵吃南瓜，這是很對的。」
聽了毛委員的一席話，指戰員們受到了很大教育，一些原來不太習慣受士兵委員會約束的幹部，也變得積極支持它的工作了。這樣一來，士兵委員會的權威更大了，它的主任委員們工作起來更加放手、大膽。
曾志回憶說：「紅軍連隊建立士兵委員會，實行民主制度。有一次，一位部隊領導同志在原郴州部隊的士兵委員會上講話，要士兵委員會也管紀律，他說：『士兵違犯紀律要打屁股，長官違犯紀律也要打屁股。官兵一律平等么！』這種說法，現在看來顯然是不太合適的，但當時是按照這個精神辦的。士兵委員會管理的事很多：一要管部隊紀律；二要管宣傳教育；三要做群眾工作；四要管紅軍戰士生活。這些工作，範圍廣，任務重。有些事情士兵委員會辦不了，管不好，有些事情還無形中產生了絕對平均主義。後來，紅軍部隊以生動的事實，在戰士中進行批判絕對平均主義的教育，才使某些部隊和紅軍戰士中的絕對平均主義得以克服和糾正過來。有一次，朱總司令向紅軍戰士們提出這樣一個問題，讓大家討論，戰場上同時有兩個人負傷，傷勢都差不多，一個是連長，一個是戰士，當時只有一副擔架，請大家想一想，究竟應該先抬哪一位？結果戰士們差不多都說『應該先抬走連長』，並說出了種種理由。後來明確了士兵委員會只管紅軍戰士生活。……回憶起井岡山學習到毛主席的建軍路線和方針，聯繫到當時見到的井岡山的部隊紀律嚴明，處處表現出軍民一家，軍政一體，官兵一致的動人景象，才開始體會到，為什麼紅軍隊伍能夠有那麼強的戰鬥力，能夠有那麼高的政治覺悟，我想一個非常重要原因也就是在這裡。」
以建立士兵委員會為主要內容的軍隊內部民主改革，真正使紅軍做到了官兵平等、同甘共苦。
然而，這種改革並不容易。
在改造王佐部隊的時候，黨代表何長工提出要在部隊里廢除打罵制度，一些已經習慣於用棍棒來管理部隊的幹部立即出來反對，他們還是我行我素。
一天，一個幹部又粗暴地打罵了士兵。
何長工直接去找王佐：「為什麼有的幹部還在打士兵？」
王佐不以為然地說：「鳥是養出來的，兵是打出來的。不打不罵怎麼成？」
何長工嚴肅地指出：「如果這樣，那麼工農革命軍實行官兵平等，長官不打士兵，打起仗來，大家都很勇敢，這又如何解釋？」
王佐聽了笑笑說：「我可以不打罵人，可是下邊的幹部打罵慣了，不打手發癢，怎麼管得住？」
何長工就給他講了毛澤東在三灣改編時所倡導的官兵平等的原則，並要他下命令不準打人。
王佐沉思了一會，然後一拍大腿說：「毛委員說的，我服！」說罷，就對勤務兵下令：「就說是我說的，不準打人了。以後哪個再打人，就揍他。」
就這樣，王佐的部隊中幹部打罵士兵的情況越來越少。
通過教育，紅軍中的政治民主逐步實現，尤其是部隊里原來司空見慣的打人、罵人、禁閉、罰跑、罰曬太陽等現象，逐步減少。曾經有個大隊長，軍閥習氣比較嚴重，打士兵打得比較厲害，毛澤東毫不留情地批評說：「紅四軍里有個鐵匠，把紅軍戰士當鐵打。」經過教育，部隊里的官兵關係逐漸