1967年錢穆偕夫人遷居台北，之後他們選擇在山清水秀的外雙溪自建屋舍，胡美琦女士親自設計繪製了屋舍圖樣。蔣經國先生聽聞此事，就要去圖紙交陽明山管理局辦理施工。第二年，錢穆夫婦搬入新居，自那時起，錢先生在此居住了20多年。
之所以選擇落腳外雙溪，錢穆表示，住在外雙溪台北「故宮博物院」附近，可以就近利用故宮圖書館，看到世界上最豐富、珍貴的善本書。
「素書樓」之名源於錢穆無錫七房橋五世同堂故居中第二大廳的名稱。先人取名來源已不可考，錢穆嘗自解，或脫衍自《中庸》所記：「素貧賤，行乎貧賤；素夷狄，行乎夷狄；素患難，行乎患難；君子無入而不自得焉。」胡美琦指出，錢穆年幼患傷寒，又服錯葯，性命怠危，全賴母親日夜陪他在故居素書堂養病而得痊癒，錢穆為紀念母親生養之恩，因此命名。
素書樓不大，興建時周邊是一片荒涼的墓地，雜草叢生，產權為陽明山管理局所有。為表達對大師的敬重，台灣當局將素書樓無償全權交給錢穆夫婦打理。房舍由胡美琦親自設計，樓內一磚一石、一草一木都是主人多年心血照顧而來；步道兩旁的楓樹、房舍後方的竹子、四棵蒼勁的古松，更是素書樓知名的景觀。向來崇尚朱熹理學的錢穆，在素書樓藏有一座朱熹的木刻像，又將朱熹所言「靜神養氣」、「立修齊志，讀聖賢書」寫成對聯，張貼樓中。後來客廳又增添了1974年錢穆八十壽誕時蔣介石題贈的紅「壽」字軸等（註：賀壽過「九」不過「十」，實為79歲生日）。
從搬入素書樓開始，有18年的時間，錢穆先生在家授課，客廳成了教室。錢先生的門生中，有人堅持18年連續聽課，從學生聽成教授，又帶著學生來聽課，學生按輩分或與先生同桌，或坐在廳內一隅。錢穆一口無錫官話，神采飛揚，從不帶課本。正式修課的研究生依慣例坐在錢穆身旁的圓桌邊，旁聽者自行覓座。講課固定每周一下午4時至6時，但總是提前半小時開講，延後結束，座無虛席，成為台北重要的文史沙龍。
1986年錢穆生辰那天，他在素書樓里為弟子們上了「最後一課」，並留下最後的贈言：你是中國人，不要忘記了中國！從此告別杏壇。當年大師向圍坐身邊的弟子作最後贈言的感人一幕，如今已經成為黑白影像，永遠定格在客廳的牆上。
1990年6月1日，95歲高齡的錢穆先生不願時任「立法委員」的陳水扁指控他霸佔公產，毅然搬離了素書樓。當時中央日報刊文指錢穆搬出「素書樓」，是「國家和社會不尊重知識分子」（裴普賢語）。後素書樓改為錢穆紀念館，錢夫人曾感嘆：「寧為死人辦紀念館，也不給活人住。」1998年5月22日，想要競選連任台北市長的陳水扁跑到素書樓參觀，並聲稱要向錢穆夫人說抱歉。對此，台灣輿論認為，陳水扁有心要說抱歉早該說了，何必等這麼多年，何況大師已乘黃鶴去，再說抱歉又有何用？