蘇軾流寓惠州，上無蓋頂之茅，下無立錐之地，幸叼程之才的面子，再度遷入合江樓，但樓在三司行衙內，決非外人所能久居。
紹聖三年（1096）正月，程之才將被朝廷召還，則合江樓就寄住不下去了；何況蘇邁方在活動指派粵中的差遣，假使事情成功，兒孫皆至，合江樓也住不夠。自朝廷公開詔告「元祐臣僚，一律不赦」以來，蘇軾已經斷了北歸的希望，決心就在惠州落籍，又豈可不弄個房子，以蔽風雨。所以，致程之才書說：
兄去此後，恐寓行衙，亦非久安之計，意欲結茅水東山，但未有佳處，當徐擇爾。令長子邁來此指射差遣，因挈小兒子一房來，次子迨且令設法赴舉也。
二月間，蘇軾找到了歸善縣城東面的白鶴峰上一塊數畝大的空地，面臨東江，景色甚美，就將它買下來了。
白鶴峰緊靠江濱，沿江築城，就利用此山深入水中的石腳及山壁峭拔之地，築為城址。當築城時取用山土，刨平了一段峰頂，蘇軾買的就是這方空地。故老傳聞該地舊有白鶴觀，現在已廢。
白鶴峰頭，只此一方平地，四面山勢陡下，山上只有一兩戶人家，房子都低於該地。地形左右稍廣，而前後則較狹隘。
蘇軾按地形，打算造屋兩進；前面小屋三間，作為門房，中間隔個庭院，可以種植花木；第二進為堂三間，擬題為「德有鄰堂」；宅地左側較為寬闊，擬造居室、庖廚、廁所等；在此後面，造為書室，擬題名為「思無邪齋」；周以廊廡，共計為屋二十間。
建造圖樣粗定，就託人到河源去找木匠作頭王皋來，估計斫木陶瓦的數量，仍叫一個姓蔣的工頭在河源購買木料。當時在惠州，要找木匠，似乎也不甚易，因為蘇軾有一封給博羅縣令林抃（天和）的信說：「豐陸數木匠，請假暫歸，多日不至，敢煩指揮與押送來，為幸。」木匠棄工不顧，居然要勞動縣太爺拘送，其難可知。
後來，他又派蘇過到河源去，親訪縣令馮祖仁，督促蔣親 斫木，忙了一個多月。
其時，與南華重辯書說：「行館僧舍，皆非久居地，已置圃築室，為苟完之計。方斫木陶瓦，其成，當在冬中也。」
六月間，蘇邁已經得授韶州的仁化縣令，即將挈家南來。其時，蘇軾從前在湖州時的僚友陳師錫，又派遣專差前來探望，復書中述說他的近況道：
……軾謫居粗遣，長子已授仁化令，今挈家來矣。已買地結茅，為終焉之計。獨未甃墓耳，行亦當作。杜門絕念，猶治少飲食，欲於適口。近又喪一庖婢，乃悟此事，亦有定分，遂不復擇，脫粟連毛，遇輒盡之爾。……
蘇軾是紹聖元年（1094）十月初二到惠州的，被招待暫寓合江樓，住了六天，就搬到嘉祐寺去了。在嘉祐寺住到二年的三月十九，因程之才的好意，復遷於合江樓，住了一年零一個月。至三年四月二十日，他們又不得不再搬回嘉祐寺去住，與重辯書說：「不欲久留，占行衙，法不得久居。」這是一個原因，次則蘇軾既欲水東造屋，每日要去監工，中隔大江，其時船橋尚未造好，往來甚為不便，所以程之才去後兩個月，他就搬回嘉祐寺。這樣搬來搬去，不得定居，竟如水上的飄蓬一樣，只望白鶴峰的新居早日落成，則可「庶幾其少安乎」！作《遷居》詩曰：
前年家水東，回首夕陽麗。
去年家水西，濕面春雨細。
東西兩無擇，緣盡我輒逝。
今年復東徙，舊館聊一憩。
已買白鶴峰，規作終老計。
長江在北戶，雪浪舞吾砌。
青山滿牆頭，䰀鬌幾雲髻。
雖慚抱朴子，金鼎陋蟬蛻。
猶賢柳柳州，廟俎薦丹荔。
吾生本無待，俯仰了此世。
念念自成劫，塵塵各有際。
下觀生物息，相吹等蚊蚋。
此詩眼界澄明，意境超脫，實則於虛無中透著悲愴。
佛說念念成劫。時光過得那麼快，俯仰之間，就過完一輩子。人也不過是這個世界中的萬物之一，物雖各有分際，但人如超越世界萬有之上，下觀生物之以息相吹，則人在這個世界裡呼吸，與春天田野中移動的氣流（野馬）、大地上飛揚的塵埃、蚊蚋之生息於世，還不都是一樣。
造屋的工程，進行得還算順利，將近過年時候，已經計算得出完工的日子。新居之西，有兩家近鄰：一家是林姓的老媼，以釀酒為業；一家是老秀才翟逢亨，很有一點學問。蘇軾有天晚上，走過翟家門口，就進去拜訪了他。作詩二首，其一云：
林行婆家初閉戶，翟夫子舍尚留關。
連娟缺月黃昏後，縹緲新居紫翠間。
系悶豈無羅帶水，割愁還有劍鋩山。
中原北望無歸日，鄰火村舂自往還。
山上沒有水源，飲水須到江邊汲取，甚是不便。蘇軾決定在新居里鑿井一口，約這兩家鄰居，可來共享此井。新居的庭院需要種點花木，寫信向程天侔要，書曰：
白鶴峰新居成，從天侔求數色果木，太大則難活，太小則老人不能待，當酌中者。又須土碪稍大，不傷根者。柑、橘、柚、荔枝、楊梅、枇杷、松、柏、含笑、梔子，謾寫此數品，不必皆有。仍告書，記其東西 。
紹聖三年的下半年間，蘇軾在惠州的幾個好朋友，紛紛都要走了，如惠州守詹范罷任（方子容來代），章楶也罷了廣州任（王古來代），還有循州太守周彥質，在那兩年，與蘇軾書問無虛日，忽又罷歸，依依不捨，特來惠州相伴半個月才走。初是朝雲新喪，還賴朋友之樂，聊得排遣；不料一倏時又風流雲散，這孤獨而又倔強的老人，心情不免落寞，《和陶時運四首》之一說：
我視此邦，如洙如沂。
邦人勸我，老矣安歸。
自我幽獨，倚門或揮。
豈無親友，雲散莫追。
蘇軾《和陶貧士七首》詩引說：「余遷惠州一年，衣食漸窘，重九伊邇，樽俎蕭然，乃和淵明《貧士》七篇，以寄許下、高安、宜興諸子侄，並令過同作。」 其實這時候，雖說貧窮，還不算真到捉襟見肘的地步，作《和陶乞食詩》時，還說：「幸有餘薪米，養此老不才。」但到白鶴新居將要完工，他那一點微薄的積蓄，卻已真箇用光，到了囊空如洗的地步了。蘇軾用錢，向來撒潑，起先一副熱心，做慈善事業，毫不顧慮自己。如《寄羅浮重辯書》說：
近日營一居止，苟完而已。……久忝侍從，囊中薄有餘貲，深恐書生薄福，難蓄此物。到此已來，收葬暴骨，助修兩橋，施藥造屋，務散此物，以消塵障。今則索然，僅存朝暮，漸覺此身輕安矣。
時間過得快，錢花得更快，一旦生活問題逼來時，蘇軾只得動腦筋到他那寧遠軍節度副使的俸料，欲將政府發給的折支券請領實物，然後變賣。責官俸料，本來不多，經過衙門剋扣，市場折價，大概只能換到三成的錢，而且申請了十八個月，還拿不到手。蘇軾沒辦法，寫信託廣守王古幫忙，書言：「某為起宅子，用六七百千，囊為一空，旦夕之憂也。有一折支券，在市舶許節推處托勘請。自前年五月請，不得，至今云：未有折支物。此在漕司一指揮爾，告為一言於志康也。」志康，孫勰字，是蘇軾老友孫介夫之子，也是他省試的門生。
蘇軾的經濟情況，非到實在窘迫萬分時，他不會在意這點責官俸料的折支券。然而到他在意時，卻領不到貨，變不了錢。
得到消息，蘇邁已帶了自己和小弟過的家眷，到了虔州，預備從虔州換乘小船，由龍南江到方口出陸，至循州溯流而來惠州，蘇軾派過前往虔州迎接。
至是（紹聖四年二月，1097），白鶴峰新居，指日可以落成了。這座山居，雖然限於經濟能力，不能算是很好的建築，但其一磚一瓦，一花一木，都是蘇軾自己設計經營的，也著實不同凡俗。
從白鶴峰下，歷級而上，門下有親種的兩株柑橘，此時花猶盛開，屋內所種古荔，綠葉鋪滿牆頭。穿過前廡三間平房，則是一大院落，花木交錯，清芬撲鼻。徑升石階，就是「德有鄰堂」，這是正廳，它的特點是特別寬闊和高敞，所以惠州新守方子容參觀過後，作詩讚美說：「遙瞻廣廈驚凡目，自是中台運巧心。」
左邊是一組列的居室，繞以竹籬，以分內外，籬間雜栽花草，頗饒幽趣。右側為「思無邪齋」，是蘇軾的書房。書房的一頭，開一大窗，則江山數百裡間的景色，朝雲夕靄，水光嵐翠，都紛紛延入屋中，成為與書齋不可分割的一部分。
書齋後面，有道後門，開門就是兩家貼鄰——釀酒的林行婆和老秀才翟逢亨家。
紹聖四年二月十四日，老人先自嘉祐寺遷入白鶴峰新居，等待子媳孫兒的到來。陶淵明《時運》詩：「斯晨斯夕，言息其廬。」老人環顧新居，覺得此言似乎為他今日所發，心裡很高興：「長子邁與余別三年矣，挈攜諸孫，萬里遠至，老朽憂患之餘，不能無欣然。」拈筆和陶《時運》四首，