隨著戰爭的曠日持久，戰時經濟陷入半癱瘓狀態。國統區物價飛漲，思成好不容易從教育部為營造學社申請來的經費，待變成每月領到手的薪金，已經貶值得如同一堆廢紙。米、面、油及一切食品和日用品愈來愈貴，梁家的生活也越來越差。孩子們和李莊農民的孩子一樣，赤腳穿著草鞋，衣服上縫著補丁，到冬天才能穿上外婆做的布鞋。一次，小弟不小心打碎了家中惟一的一支體溫計，很長時間裡，徽因就無法量體溫，因為再也買不起也買不到一支體溫計。
徽因胃口很差，吃得很少，一直十分消瘦。偶爾有人從重慶或昆明送來一小罐奶粉，就是徽因難得的高級補品。
外婆是福建人，不會做麵食，思成學會了蒸饅頭。當地只能買到土製紅糖，思成把橘皮切碎和土製紅糖一起熬制，戲稱之為「甘蔗醬」，讓孩子們抹在饅頭上吃。有時實在沒有錢用了，思成就得乘船到李庄附近的宜賓典當行去典當家裡所剩無幾的衣物。他和徽因的手錶、派克鋼筆等稍微值點錢的物品都這樣被「吃」掉了。每次離家去宜賓，思成總是苦澀地開著玩笑：「把這隻表『紅燒』了吧!」「這件衣服可以『清燉』。」
思成的弟弟思永也在李庄病倒了。他也是肺結核病，病情與徽因非常相似。抗戰前，思永曾主持過安陽小屯後岡及山東龍山鎮城子崖的第二次發掘，取得了舉世矚目的成績。他曾在第六次太平洋學術會議上全面總結了龍山文化，是中國考古界公認的近代考古學和考古教育的開拓者之一。他的工作提高了中國考古發掘的科學水平，使之納入了近代考古學的範疇。
歷史語言研究所在山上，思成有時會上山去看望思永。他們在一起時，思成總是會想起，１９３１年，思永還不到三十歲，正在安陽小屯主持殷墟的發掘，自己專門跑到安陽去看這一考古界的盛事。那時思永調遣著一二百人的考古隊員，上上下下安排得井井有條。那時他們多年輕啊!
如今，也不過才十年的時間，思永病倒了，徽因病倒了，他們是思成至愛的親人，他們都病勢沉重。而思成自己的老毛病這時候也犯了，陰冷的氣候、艱難的生活使他的脊椎軟組織灰質化的病情日益嚴重了。他的背越來越駝，體質和精力下降得厲害，但他必須勉力支撐。
１９４１年的春天是個多災多難的春天。
徽因的弟弟林恆在保衛成都的一次空戰中，被一架日機擊中頭部而犧牲。林恆聰明而要強，１９４０年以全校第二名的成績從飛行學校畢業。作為空軍飛行員，他的飛行歷史十分短暫，但他了結了自己的心愿———犧牲在對日空戰中，消逝在無垠的藍天里。
思成沒有在當時把這個噩耗告訴徽因，他自己到成都去處理了林恆的後事。三年後，徽因才得知弟弟的死訊，遲來的悲慟仍令她肝腸寸斷。她寫了《哭三弟》，以悼念林恆和那些和林恆一樣犧牲在對日戰爭中的年輕飛行員……
在這些貧病交加、凄清痛苦的晦暗日子裡，他們所鍾愛的古代建築藝術、他們耗盡半生心血所從事的關於建築史的學術研究成了照亮他們生活的星辰，這是他們為飽受蹂躪的中國能傾盡全力的事業，是他們寄託自己苦難靈魂的惟一支撐。