但寒山畢竟屬於那種「不得志而逃於禪」的落魄書生。儘管隱居天台山並皈依佛，對隱居前俗世生活的回憶仍不免激起他感情的漣漪。
回憶家中的田園生活，他寫道：
茅棟野人居，門前車馬疏。
林幽偏聚鳥，溪闊本藏魚。
山果攜兒摘，皋田共婦鋤。
家中何所有，唯有一床書。
一個耕讀自娛的鄉村知識分子，過著與世無爭的生活。若不是安史之亂，我懷疑寒山是否捨得出家。
雖然絕意仕途，寒山身處幽岩，有時仍不免系國於心：
國以人為本，猶如樹因地。
地厚樹扶疏，地薄樹憔悴。
不得露其根，枝枯子先墜。
決陂以取魚，是求一期利。
中國傳統士人的憂患意識，並沒有在他心中消磨殆盡。對於一個紅塵中人，拋開利祿功名，最折磨人的，莫過於國事和家事。寒山雖然採取了決絕的態度，但仍不免有夢魂牽繞的時候：
昨夜夢還家，見婦機中織。
駐梭若有思，擎梭似無力。
呼之回面視，況復不相識。
應是別多年，鬢毛非舊色。
夢中還鄉探視妻子，苦捱度日的妻子已經不認識他了。這種凄涼真是難與人言！除了國家的頻年戰亂而導致仕途無望，兄弟與妻子的不容，也是寒山出家的原因：
少小帶經鋤，本將兄共居。
緣遭他輩責，剩被自妻疏。
拋絕紅塵境，常游好閱書。
誰能借斗水，活取轍中魚。
這首詩可視作是寒山對世俗生活的抗訴。家庭是避難的港灣，親情是歸鄉的小路。然而，兄弟反目，妻子不容，讓寒山真正嘗到了國破家亡的苦楚。哀莫大於心死，在三十而立的年齡，寒山的生命歷程產生了逆轉。
關於三十歲之前的生活，寒山在另一首詩中有所表述：
出生三十年，嘗游千萬里。
行江青草合，入塞紅塵起。
煉藥空求仙，讀書兼詠史。
今日歸寒山，枕流兼洗耳。
看得出，年輕的寒山有著強烈的遊俠習氣，並且像李白那樣迷戀於道教。求仙煉藥，壯遊萬里。這樣的舉動，必然是拋家不顧，不但不能養家，還得家中供應他的川資。這就導致他的親情疏遠，最終不得不棄家出走。
一般的人，內心往往是不堅定的，儘管社會生活一再地折磨他，他仍然不能捨棄，甚至逆來順受。這些人，沒有自己的世界，也就是說失去了自我。尊嚴、人格、天真與自由，對於他們來說，變成了遙遠而又陌生的概念。心靈任人宰割，最終導致自欺欺人，把屈辱當作幸福，不求性靈，只求苟安。
失去自我的生活是悲哀的，但僅僅知道自我的位置仍然不夠。英國著名的哲學家羅素說人與生俱來就有三大敵人：自然、他人與自我。我認為，這三大敵人中最難戰勝的便是「自我」。明代王陽明說過「破山中賊易，破心中賊難」，也是同一個道理。《尚書》說「自作孽，不可活」，更是一針見血地指出了問題的根本。芸芸眾生，每一個人都有一個「心賊」，它如影隨形陪侍著你，偷走你的善良和天真，讓你成為慾望的奴隸，而漸漸忘卻自己存在的理由。一個人既成了迷途不返的浪子，那他就再也不可能在名、利之外，找到另一種超越自我的生活空間。