巴金曾寫過一些批評性的評論文章，沈從文看後，勸巴金不要「那麼愛理會小處」，「莫把感情火氣過分糟蹋到這上面」。他對巴金說：「什麼米大的小事如某某某之類的嫌言小語也使你動火，把小東小西當成了敵人」，「我覺得你感情的浪費真極可惜。」巴金很是感謝他，稱他為「尊敬的畏友」。
文革開始後，60多歲的沈從文挨批挨斗之餘的工作是掃廁所。沈有時獃獃地看著天安門人來人往，然後回過頭對一同被批鬥的史樹青說：「我去擦廁所上面的玻璃。」沈說，他每天在天安門歷史博物館掃女廁所，「這是造反派領導、革命小將對我的信任，雖然我政治上不可靠，但道德上可靠……」多年後，沈從文被人問及他在文革中的遭遇，只是說：「我沒有我的朋友受的衝擊大，我只是要打掃茅房，那是普通的事，在家裡不是也要打掃嗎？」
中央美院有位學者，是沈從文西南聯大的學生，與沈、黃表叔侄關係十分親密。文革開始後的一個下午，他緊張地、悄悄地走到黃家門口，輕輕地、十分體貼地告訴黃永玉：「你要有心理準備，我把你和你表叔都揭發了！」黃去告訴沈從文，沈笑著說：「會，會，這人會這樣的。在昆明跑警報的時候，他過鄉里淺水河都怕，要個比他矮的同學背過去……」
一次開批鬥會時，有人把一張標語用漿糊刷在沈從文的背上，批鬥結束了，他揭下那張「打倒反共文人沈從文」的標語，後來對黃永玉說：「那書法太不像話了，在我的背上貼這麼蹩腳的書法，真難為情！他原應該好好練一練的！」
有一次，沈從文從東城小羊宜賓衚衕走過，公共廁所里有人一邊上廁所一邊吹笛子，是一首造反派的歌。沈對同行的黃永玉說：「你聽，弦歌之聲不絕於耳！」
沈從文被下放到湖北咸寧，他身體不好，但總是找些力所能及的活來干，比如到湖邊拾干葦或在路邊撿竹跟引火用，身體稍好些，他就搬個小凳子，去看菜園子，以防牲畜偷吃。他寫信給黃永玉說：「……牛比較老實，一轟就走；豬不行，狡詐之極，外形極笨，走得飛快，貌似走了，卻冷不防又從身後包抄過來……」他還對黃說：「……這兒荷花真好，你若來……」
沈從文說，下放的時候，他獨自住在一個大教室里，「看著窗子上有幾個大蜘蛛慢慢地長大了」，「這面窗子還可以每天看見一隻大母牛，每天早晨還可以看見牛，那個大牛、小牛都莊嚴極了，那個地方的牛都大極了，是花牛，美極了，一步一步帶著小牛吃飯去。間或還能看見一些小女孩子梳著兩個小辮辮，抬磚頭揀樹葉子。」
文革中，沈從文和黃永玉二人在路上相遇，沈看到黃，裝著沒看到，擦身而過的瞬間，沈頭都不歪地說了4個字：「要從容啊！」
1979年之前的13年，沈從文一直住在一間七平方米的陰暗小屋裡，白天都得開燈。林湄問沈：「沈老，在小暗房的日子裡，你想的是什麼？」沈頭一仰，哈哈大笑，許久才用豁達而諒解的口吻說：「身旁有許多書就足夠了。這算什麼？有很多人連性命都沒有了。只是失掉了很多書很心痛，後來又在舊書店買回來了。」
文革後，沈家從門庭冷落又回到門庭若市，重新評價沈從文文學成就的文章屢見報端，一度盛傳他將被提名為諾貝爾文學獎候選人。沈從文對此卻很淡然，他說：「那都是些過時了的東西，不必再提起它。……我只不過是個出土文物。」
沈從文將稿費捐獻給家鄉小學後，為沈作傳的凌宇曾勸他道：「年紀大了，總有用錢的時候，應該自己留下一些。」他淡然一笑：「不要緊，錢，總還會有的。」