史載：蘇舜卿（慶曆五年）四月，來吳中，始居回車院，盛夏蒸燠，不能出氣，乃以四萬錢購郡學旁棄地，吳越時錢氏近戚中吳節度使孫承佑之舊館也。茸為園。
這園，就是滄浪亭。
孫氏舊館歷經百年風雨，早已淪為棄地。蘇舜卿花四萬塊錢買下，再購置花、木、磚、石，造一座私家園林。從此隱居於此，讀書注《易》，吟詩會友，過了幾年相對安定的生活。
蒙難之前，蘇舜卿到過蘇州，曾感嘆「無窮好景無緣住，旅櫂區區暮亦行」。他現在終於可以在這裡頤養天年了。購地的當年，就建好園邸並搬進去住下來，只不過半年時間。從這一點看，最早的滄浪亭，絕沒有今日這麼宏大的規模。建亭之時，蘇舜卿正在落魄之中，不可能有人為其助建。四代為官，蘇舜卿的家底應該還是殷實的，但畢竟不是巨富。所以不可能大興土木。從他自撰的《滄浪亭記》來看，他僅僅只是修築了一個亭子。至於竹、水、丘、林，則是孫氏舊館的棄物，略加修葺即可。
初到蘇州時，蘇舜卿的情緒並不穩定，他甚至想離開吳中北歸，有他的《秋懷》詩為證：
年華冉冉催人老，風物蕭蕭又變秋。
家在鳳皇城闕下，江山何事苦相留。
這是他當年秋天登蘇州城的閶門而作，題在城門的牆壁上。在詩旁，他又書了一行小字：「江山留人也？人留江山也？」江山留人而趙宋的社稷不留。同在這一年，同樣遭到貶斥的滕子京，在洞庭湖邊的巴陵重修了岳陽樓。被貶汾州的范仲淹為其題寫了《重修岳陽樓記》。慶曆八年（1048年）的京城政變，為中國歷史留下兩處名勝與一篇千古傳頌的美文。這倒真是應了那一句老話：江山不幸詩人幸。然而詩人還是不幸的，在三十七歲的盛年，蘇舜卿不得不過起「狎鷗翁」的閑士生活。對於一個以天下為己任的詩人來說，這該是多麼大的折磨！他的岳父杜衍，雖然也在謫任之所，但畢竟是一個風雨不驚的官場老手。這位卸任宰相，從遠在北方的兗州寄詩來安慰沉淪在頹廢中不能自拔的女婿。蘇舜卿回答岳父：「易毀唯遷客，難諳是俗情。愁多怯秋夜，病久厭人生。」他仍在絮叨自己的愁和病。從這一點看，他只能當一名易感的詩人，他缺乏政治家的那種從容和忍耐。
好在蘇州是一個最適合文人居住的地方，好在滄浪亭及時建造起來，蘇舜卿受傷的心得到暫時的慰藉。在蘇集中，詩題冠以滄浪亭者，大約有六首，第一首是《滄浪懷貫之》：
滄浪獨步亦無蹤，聊上危台四望中。
秋色入林紅黯澹，日光穿竹翠玲瓏。
酒徒漂落風前燕，詩社凋零霜後桐。
君又暫來還徑往，醉吟誰復伴衰翁。
由於蘇舜卿的才華和特殊的地位，在京城時，他成了交際的中心，每日呼朋引類，名士往來，有酒有歌，有詩有舞。比起開封來，蘇州雖然也是吳儂軟語的富貴之鄉，但畢竟淡泊得多。而且，更重要的，他不再處在社交的中心位置，他已經喪失了官場酬酢的優越感。所以，當老友貫之前來看望他，令他激動不已。貫之走後，他便有了這首傷感的詩。三十八歲的蘇舜卿，已經從心理上稱自己是一個「衰翁」了。
除了從書信上，他還保持與歐陽修、范仲淹、滕子京、梅堯臣等一幫舊友的聯繫外，在蘇州，他的新交，則多半是吳中的文士或出家人，他們在一起吟詩唱和，研究書藝，品味琴韻，或探討佛道玄旨。除詩文外，蘇舜卿還擅書法、善彈琴，作為文人的看家本領，他似乎一樣不缺。雖然官場中人都害怕同他往來，但一般的文人士子，都還仰慕他的名聲，而樂得與他交往。他與這一幫地方上的名士在一起詩酒流連。漸漸地也就忘了開封的舊事。
這時，他在開封時的好友，如今尚在官場的韓維，來信指責他「世居京師，而去離都下，隔絕親友」。他回了一信為自己辯護。這封信在他的文集和宋史《蘇舜卿傳》中皆有載，只是兩者有些出入，但大致相似：即困居吳中，是不得已而為之。至於目前的生活，他在信中說：「……耳目清曠，不設機關以待人，心安閑而體舒放；三商而眠，高舂而起，靜院明窗之下，羅列圖史琴尊，以自愉悅；逾月不跡公門，有興則泛小舟出盤閶，吟嘯覽古於江山之間；渚茶野釀，足以消憂；蒓鱸稻蟹，足以適口；又多高僧隱君子，佛廟勝絕；家有園林，珍花奇石，曲池高台，魚鳥留連，不覺日暮。」
這是一個十足的閑人。由於「跡與豺狼遠」而「不設機關」，蘇舜卿漸漸習慣了這種與官場無涉的文人生活，從文中還約略可以推測，住進滄浪亭後，蘇舜卿一直沒有停止擴建工作。「珍花奇石，曲池高台」，這些，都是後來添置構築的。
在滄浪亭住了三年多，到慶曆八年（1048年）春，由於韓維的上書，蘇舜卿復官為湖州長史。但他並沒有到任，這年的十二月，他病逝於滄浪亭中，年僅四十一歲。