1968年，任正非從重慶建築工程學院畢業之後就直接應徵入伍，成為當時最受人尊敬和羨慕的解放軍戰士。當時的中國主流價值由工人、農民和軍人主導，對於受過大學教育的任正非來說，選擇從軍是最現實的選擇。
任正非大學畢業後為什麼不直接參加工作，而選擇當兵？說來也是出於僥倖，他父親的「政治」問題沒有作出明確結論，而當時整個中國已經有千千萬萬的幹部被打倒，所以任正非就顯得不孤立了。當時部隊需要技術兵，任正非就成為了工程兵部隊的一員。任正非的好學給他加了不少分，直到1982年轉業，他在軍隊里度過了人生最美好的14個年頭。
入伍不久，任正非所在部隊奉調參加一項代號為「011」的軍事工程，這是60年代國家在西南地區進行三線備戰建設的重點工程之一，建設戰略大後方的軍用飛機和航空發動機製造廠。工程就位於任正非的家鄉貴州安順地區，這使他非常興奮，雖然因為忙於施工不能回家，但也算是為建設家鄉作了貢獻。
艱苦緊張的國防施工記憶使任正非的內心充滿了英雄主義的悲壯情懷，雖然並不是現實的廝殺，但同樣是金戈鐵馬、攻城拔寨，這使他日後不自覺地將創業的艱辛與戰爭等同起來，以謳歌將士的方式稱讚華為市場部的員工們：「沒有他們含辛茹苦地艱難奮戰，沒有他們的『一把炒麵，一把雪』；沒有他們在雲南的大山裡、在西北的荒漠里、在大興安嶺風雪裡的艱苦奮鬥；沒有他們遠離家人在祖國各地，在歐洲、非洲的艱苦奮鬥；沒有他們在燈紅酒綠的大城市，面對花花世界而埋頭鑽研，出淤泥而不染，就不會有今天的華為。吃水不忘挖井人，我們永遠不要忘記他們。」
任正非在動蕩的歲月里始終堅持刻苦學習，而沒有荒廢自己，在部隊中迅速表現出了良好的技術素養，有多項技術發明創造，兩次填補國家空白，得到了軍隊領導和戰友的一致認可。任正非以他的智慧和汗水，為國家建設作出了自己應有的貢獻。
任正非在《我的父親母親》一文中寫道：
1976年10月，中央一舉粉碎了「四人幫」，我父親也在粉碎「四人幫」後不久平反，使我們翻身解放。我一下子成了獎勵「暴發戶」。「文革」中，無論我如何努力，一切立功、受獎的機會均與我無緣。在我領導的集體中，戰士們立三等功、二等功、集體二等功的層出不窮，而唯獨我這個領導者從未受過嘉獎。我已習慣了自己不應得獎的平靜生活，這也是我今天不爭榮譽的心態得以形成的原因。粉碎「四人幫」以後，我的生活翻了個個兒，因為兩次填補過國家空白，又有技術發明創造，合乎那時的時代需要，突然一下子標兵、功臣等部隊與地方的獎勵排山倒海式地壓過來。我這人也熱不起來，許多獎品都是別人去代領回來的，我又分給了大家。
1978年3月我出席了全國科學大會，6000人的代表中，僅有150多人在35歲以下，我33歲。我也是軍隊代表中少有的黨外人士。在兵種黨委的直接關懷下，部隊未等我父親平反，就主動查清了他的歷史，否定了一些不實之詞，並把他們的調查結論，寄給我父親所在的地方組織。我終於入了黨，後來又出席了黨的第十二次全國代表大會。父親把我與黨中央領導合影的照片，鑲進一個大大的鏡框，掛在牆上，全家都引以為豪。
任正非在部隊除了學習文化知識之外，還非常注重政治學習，他把馬克思的《資本論》等著作熟讀多遍，而研讀最深的還是「文革」時四卷本的《毛澤東選集》。
作家張力升在《軍人總裁任正非》一書中寫道：14年的軍旅生涯雖然並沒有給任正非帶來多少物質利益和直接的事業幫助，卻深深地影響了他的人生信念並鍛造了他鋼鐵般的意志、執行力和社會責任感。同時，也促使任正非成為優秀的實幹家和宣傳鼓動者。堅持學習還幫助任正非成為優秀的技術幹部，但執著的個性卻不能保證他仕途坦蕩。不過，青春換來了最深刻的人生積澱，沒有14年的軍旅生涯，也許就沒有今天的華為教父。
作為一個當過兵的人，任正非身上時時體現出軍人所特有的風格和氣質。華為也在他這種半軍事化的管理下取得了卓越成就。也可說任正非的這種習慣深深影響著華為，給華為帶來了非同一般的管理思想和經營理念。