1934年10月10日，時年52歲的謝覺哉跟隨中央紅軍開始了艱苦的長征。他和董必武、林伯渠、徐特立被稱為「長征四老」，編在紅星縱隊的幹部休養連。
這是一支特殊的連隊，他們中間有文學家，有藝術家，還有政府管理的行家裡手。用保衛局長鄧發的話講，「這些人都是革命隊伍里的寶貝疙瘩」。
為了照顧年老體弱的同志，紅軍總部特別從各單位抽調了一些身強體壯、全副武裝的小夥子來擔任班、排、連長。
長征開始時，謝老擔任中央工農民主政府的秘書長兼內務部部長。看到左傾盲動主義對中國革命帶來的嚴重危害，謝老對黨的命運、革命的前途充滿了憂慮。慘烈的湘江之戰，中央紅軍主力從8萬多人損失到了3萬餘人。
毛澤東當時曾十分痛心而又倍加憤懣地對謝老說：「在中央蘇區，拚命主義拼掉了幾萬人；出來，逃跑主義又逃掉了幾萬人，這樣下去怎麼得了！」對比前四次反「圍剿」的勝利和眼下的失敗，謝老像廣大紅軍將士一樣，強烈要求由毛澤東來重新指揮和領導紅軍。
遵義會議召開時，謝老因為患瘧疾正在樓下打擺子，聽說會議上糾正了左傾錯誤，重新確立了毛澤東在紅軍中的領導地位，一下子如聞春雷，霍然而起，激動地連連說：「毛澤東出來領導紅軍，事情好辦了。」長征初期，少數人對革命前途產生了悲觀失望情緒，極個別人甚至離開了革命隊伍。謝老憂慮黨和紅軍的前途，但他從來都沒有因此而喪失信心。
長征途中，許多重要文件和珍貴資料因為背不動而銷毀了，唯有「中華蘇維埃共和國內務部」的印章，他卻始終隨身攜帶，爬雪山、過草地時，他還用紅綢子把印章系好掛在脖子上，貼身藏在胸前，直至長征勝利到達陝北。他總是懷著這樣的信念：印章是紅色政權的象徵，將來還用得著。
由於歲月的磨難，謝老的頭髮和鬍子很早就花白了，容顏也顯得十分蒼老，顯得比他的實際年齡要大許多，就連毛澤東都親切地稱他為「謝鬍子」。
謝鬍子天性樂觀，總是笑呵呵的，行軍時拄著棍子，有節奏地邁著步子。休息的時候，他常常和小夥子們一起半躺半坐地睡著，一邊理著鬍子，一邊小聲地給大家講故事，鼓勵大家在困難中要看到希望，看到光明。
有一天晚上到了宿營地，大家又圍坐在篝火旁聽謝老講故事。他講起了李自成。講到李自成領導的農民武裝幾次幾乎全軍覆沒，又如何重新拉起隊伍，最後終於打進了北京城。他告訴大家，革命不是一帆風順的，革命就是要能吃苦，要克服困難……
這時，一個同志突然問道：「謝鬍子，聽說你是前清的最末一科秀才，能給我們講講嗎？」這是謝老十分不願提及的一段往事，用他自己的話說，「不是父母在，決不幹這事」。那時謝老只有21歲，雖然他十分痛恨腐朽的科舉制度，但礙於「父道尊嚴」，不得已參加了科舉考試。中秀才的「喜訊」曾轟動了他的家鄉，因為這是明清以來，謝家祖上沒有過的事。然而年輕的謝覺哉對此卻頗不以為然，並且在後來還無情地鞭撻了自己的這段經歷。他在一首詩中寫道：「倒票何能贖出身，居然衣頂拜鄉鄰。未能衝破塵羅網，我亦《儒林外史》人。」儘管謝老不願提及，但同志問起了，他也就簡單地談了談他年輕時的這段經歷，不過他著重談了科舉制度對知識分子的危害。
長征途中，前有頑敵，後有追兵，天上還有敵機轟炸。有一天，隊伍在一個山上停下來休息，幾位老人圍坐在一個小山坡上，趁機召開一個小型會議。
突然，天空傳來了「嗡嗡」的飛機聲，謝老他們抬頭一看，只見一架敵機在空中耀武揚威地盤旋著。一開始想躲，但環顧四周，除了滿山坡的野草，竟連一顆樹都看不到，於是索性坐著不動。
隨著一聲嘯叫，一顆重磅炸彈「噗——」地一聲，剛好落在他們圍坐的圈圈中間，泥土濺得他們滿身都是。
看著還剩一節屁股在外面的炸彈，他們驚愕地半張著嘴巴。半晌，沒炸。
原來是個啞巴！這下幾位老人樂壞了。
董老笑道：「炸彈落地不開花，這是馬克思在保佑我們。」徐老也笑著說：「這是馬克思還叫我們繼續幹下去，因為我們的任務還沒有完成嘛。」謝老的話更是意味深長，他風趣地講道：「瞧，瞧，瞧，蔣介石與我們對著干，老天爺都不答應！」
一路上，謝老經受了各種艱難困苦的嚴峻考驗。一個50多歲的老人，每天跟隨部隊行軍七八十里，有時甚至急行軍百餘里，其難度可想而知。謝老雖然有馬，但他總是把它讓給傷員或馱行李，自己堅持和戰士們一起爬山涉水。部隊經常是夜行軍，謝老的視力不好，行軍時常常高一腳、低一腳，甚至經常跌倒，但他始終沒有掉過隊。
中央紅軍向雪山草地進軍時，謝老正在生病，天天發高燒，有時甚至燒得不知人事，但一聲令下，爬起來就隨軍出發，一雙腳軟得像踩棉花，但是憑著堅強的革命意志，咬著牙往前走。
在難以想像的長征路上，謝老和其他幾位老人不怕艱難困苦，以一往無前的革命精神，以及他們之間那種生死與共的革命情誼鼓舞著千千萬萬的年輕戰士，被人們傳為佳話。
1935年6月，紅軍隊伍強渡大渡河後，接著就開始準備翻越長征途中的第一座大雪山——夾金山。
夾金山又名神仙山，海拔4900多米。聽說紅軍要上山，當地居民都好心勸紅軍不要冒險，特別是看到紅軍將士都穿著單衣，說是不累死、餓死，也得凍死。如果一定要上山，必須在上午9時以後，下午3時以前，而且要多穿衣服，帶上烈酒、辣椒，好禦寒、壯氣，最好手裡再拄根拐棍。
對於謝老來說，拐棍是不用準備了，他本來就有，而其他東西，則是一點辦法也沒有。因為這裡的居民既少又窮，烈酒、辣椒都無法買到，至於棉衣更無法弄到了。看著謝老疲憊、虛弱的樣子，大家真是有點為他擔心。
恰在此時，兄弟部隊送來兩隻羊，這真是雪中送炭啊！同志們一合計，決定把羊宰了，剝下羊皮烤乾，送給徐老和謝老禦寒。
他們找到一根草繩，拿著一塊羊皮準備給徐老捆上，徐老連忙搖手：「不行，不行，我能堅持，你們拿去給謝老，他身體比我差。」大家說：「一共兩塊羊皮，您披一塊，謝老披一塊。」徐老說：「都給謝老拿去，一塊護胸，一塊護背，他體質弱，又生病，沒有這真過不了雪山哩，兩塊都給他。」謝老怎麼也不要，但架不住同志們蜂擁而上，轉眼間兩塊老羊皮已經一前一後扎紮實實地捆在謝老身上了。這時，謝老激動地閃著淚花，徐老和同志們都滿意地笑了。
懋功會師之後，中央紅軍又翻越了4座大雪山，7月下旬，到達了松潘的毛兒蓋地區。這一路都是少數民族地區，人煙稀少，籌糧困難，嚴重的缺糧已經達到了威脅紅軍生存的程度。從各級領導到紅軍戰士，人人為缺糧發愁，個個為吃飯操心。雖說毛兒蓋是一個物產比較豐富的農牧區，但由於紅軍10萬大軍所需糧食甚多，因而不能滿足部隊的需要。
在經過藏族中打鼓地區休息時，謝老他們幾個的糧食全部吃光了。他們拾了一張爛馬皮，準備收拾收拾煮了吃。
謝老用小刀颳去馬皮上的毛，把它切成小塊，其他同志又揀來一些乾柴，找到一個瓦盆，支起3塊石頭搭成灶。大家的眼睛都直勾勾地盯著瓦盆里的馬皮，盼著它能早點熟。
可是瓦盆卻不爭氣，煮著煮著，只聽「劈——啪」一聲，瓦盆爆烈，馬皮和著水一起掉到了柴灰里。謝老詼諧地笑著說：「看，好事多磨吧！都是大家拿眼給瞪的！」肚子鬧革命，馬皮也得當飯吃。沒有辦法，他們又一起把馬皮從柴灰里撿出來，洗乾淨，又到處找炊具。尋來尋去沒有一個像樣的容器，後來謝老在先頭部隊住過的地方找到了打破的半個鐵鍋，這才使馬皮能夠繼續煮下去。
馬皮煮熟了，但卻難以下咽，皮子里的毛刺得嗓子又痛又癢。不吃吧，肚子實在叫苦。林老提出：「革命要緊，咬著牙往肚裡吞吧！留得生命在，全國革命就開花。」說得大家都會心地笑了。後來，毛澤東聽說了老人們吃馬皮的故事，十分讚揚老人們的革命樂觀主義精神，有一次碰到了謝老，還風趣地問：「謝鬍子，馬皮的味道怎麼樣？！」松潘西北部的水草地，是一片探險家都不曾涉足的洪荒世界，是一個人們非常陌生，也是異常奇特、極其危險的地方。過草地時，謝老有病，腳也腫了，他拄著棍子腳步蹣跚地跟在隊伍後面。他心裡想，要是現在能坐下來休息一下，用熱水燙燙腳，那該有多好呀。接著又苦笑著搖了搖頭，否定了這一不切實際的想法。
可是到了宿營地不久，林老卻端了一盆熱水向謝老走來，謝老一陣驚喜，然後又十分納悶地問：「這茫茫水草地，連枯樹枝都難得見到，你怎麼能變戲法似地搞來一盆熱水呢？」林老神秘地一笑：「氂牛糞呀！這也算是野氂牛給我們紅軍的貢獻吧！」