1920年暑假，因祖母患病，郁達夫回國省親，在雙方家長的堅持下，郁達夫和孫荃完了婚。由於郁達夫的堅持，沒有舉行什麼儀式，也沒有證婚人和媒人到場，甚至沒有點燃喜慶的蠟燭和鞭炮，孫荃只是在夜色降臨的時候，悄然乘上轎子，就算過了郁達夫的家門。簡單的晚飯後，新郎、新娘即獨自到樓上上床就寢。
夢裡哭君行，疑已到天明（孫）
醒來卻喜夜沉沉（郁）
不是阿儂拋不了，郎太多情（孫）
無語算郵程，暗自心驚，（郁）
途中千萬莫多停。到得胡天安住後，寄個迴音（孫）
1938年12月28日，郁達夫應新加坡《星洲日報》社長鬍昌耀的邀請，決心到新加坡去作海外宣傳。郁達夫在中國抗戰正激烈的時期出走南洋，引起了人們的許多猜測：有人認為郁達夫是為了抗日需要，到南洋去作海外宣傳；有人認為郁達夫出走南洋是為了挽救他即將破裂的婚姻；也有人認為郁達夫是因為當時國民黨某要員的迫害，無奈出走；還有人認為郁達夫出走南洋，是為了尋找創作靈感。
1926年3月，郁達夫受廣州中山大學的邀請，與郭沫若結伴同往。孫荃暫時住在北京郁達夫長兄郁曼陀家中，這時又添了第二個兒子熊兒，生活更加困苦。孫荃在給郁達夫的信中備述了生活的艱難窘況，郁達夫看後熱淚盈眶，日記中記道：「我真不曉得荃君如何在那裡度日，我更不知道今年三月里新生的熊兒亦安好？」他立刻寄錢過去，但因為錢少，這又使他不得安心。他的大兒子龍兒又在這饑寒交迫中突患腦膜炎，郁達夫聞訊日夜兼程地趕到北京時，龍兒已經埋葬四天了。由於愛子的夭折，郁達夫便在北京滯留了兩個月，後又不得不返回中大上課，但心中一直在惦念著北京的妻兒，每隔七、八天收不到孫荃的來信，便焦急難耐。若有人去北京，他不是帶錢回去，就是捎一些燕窩去，盡心儘力地體恤著在孤寂中撫養著孩子的妻子。
不過，在飲食上，孫荃還是按照郁達夫過去的喜好和口味細心烹制。「富春江的白魚，東塢山的豆腐皮是每餐必備」，郁黎民說，離清明還有一些時日，孫荃就讓人到娘家的竹園挖出尚未露尖的早筍，採摘剛剛吐出新芽的綠茶，都是為了讓郁達夫嘗嘗鮮。
而王映霞也以《一封長信的開始》和《請看事實》相對應，在文中他否認與許紹棣的關係，並極力對郁達夫攻擊，甚至有「蒙了人皮的獸心」等語，也是辯誣過頭，幾近謾罵。在報紙的推波助瀾之下，一對「富春江上神仙侶」終於覆水難收，以「協議離婚」分道揚鑣。王映霞從新加坡孤身回國，郁達夫則攜帶兒子郁飛繼續在南洋飄泊，直到1945年被日本憲兵秘密殺害。王映霞後嫁於華中航業局經理鍾賢道，據傳當時婚禮極盡鋪張奢華。郁達夫失蹤後，郁達夫與王映霞所生的兩個兒子（郁飛除外）也被送到孫荃處撫養。2000年12月，王映霞去世。
這場戀愛理所當然地遭到了許多人的反對，其中包括孫百剛、郁達夫的長兄郁曼陀，甚至於是當時創造社的潘漢年、葉靈鳳。郁達夫追求王映霞的成功最主要得力於王映霞的祖父王南的支持。王南，字二南，清末貢生，當時為杭州著名文化人。王南很愛惜郁達夫的才華，因此並不忌諱郁達夫已有妻室和3個孩子，並且沒有固定的經濟收入。
郁達夫自己在《毀家詩記》中也說到了南渡的原因：「縱傾錢塘潮水，奇羞難洗。欲返江東無面目，曳尾塗中當死。」所謂「奇羞」，據郁達夫注釋，大概在1937年八九月左右，他不在家，浙江教育廳廳長許紹棣乘機在一次飯後，和王映霞發生了關係。郁達夫因此感到「奇羞難洗」，於是決定投奔南洋，在遠離是非中心的祖國重新培養夫妻感情，挽救婚姻危機。
然而感情的裂痕卻自此愈來愈深，終至最後在南洋惡臉相向。郁達夫把上面提到的籤詩和他所寫的詞，連同年（民國）三十六到三十八年間作的十八首律詩與絕句集為一編，加以註解，名曰《毀家詩紀》，在香港《大風》雜誌上公開發表，詳細敘說王映霞與許紹棣的「熱戀情事」；並聲言不要稿費，轟動一時，成為當年的熱門話題。郁達夫在詩詞中將王映霞比作妾。情變後王氏出走，郁指其為「逃妾」，並在其丟下的一襲紗衫上題「下堂妾王氏衣物」。
孫荃以為能和丈夫團聚之時，卻不曾料到郁達夫此時遇見了王映霞，並於1928年2月與王映霞結婚。孫荃從此就吃長素，念佛誦經，沒有再嫁。
另一首《偶感寄映霞》：
郁達夫的長女郁黎民回憶母親：「在長夜漫漫中，她只得斷葷茹素，尋求精神上的寄託，成了虔誠的佛教徒。」郁黎民還記得，小時候一覺醒來，往往能聽到隔壁小佛堂傳來母親喃喃的誦經聲，和著一下一下輕敲的木魚聲。
一帶溪山曲又彎，秦亭回望更清閑。
沿途都是靈官殿，合共君來隱此間。
註：我姓王，杭州省嘲王靈官者
郁黎民還記得，母親曾經說過一天晚上她夢見郁達夫交給她一把韭菜，要她好生保管。孫荃對這個夢久久不能釋懷，她的解釋是「韭」的諧音是「九」，加上早夭的龍民，郁達夫一共有九個孩子，孫荃覺得這是郁達夫要她把遺留下來的所有兒女都照顧好，但是她又沒有這個能力，於是常常感到不安。
1922年7月，郁達夫結束了他十多年的日本留學生活，回到了上海。在上海，他參與了創造社對文學研究會的論戰。後為生活所迫，又去安慶法政專門學校任教。這時，他一面教書一面創作，勞累成疾。後來在安慶卸職後，貧窮又跟隨著他。他回家養病，以後又帶孫荃到了上海。但各處的生活和工作都不能使他滿意，他想到了自殺，又想到去俄國做勞工，都為親人所勸止。關於這一段的生活，他亦在自傳體的小說《蔦籮行》中有較為細緻的敘述。1923年秋，他受聘於北京大學，擔任統計學講師；1924年初，他又赴武昌，擔任武昌師大文科教授，同年十一月他離開武昌，回到上海，不久肺病複發，只好回富陽、杭州療養。這期間，他和孫荃有簡短的生活。
郁、王二人的關係不久便走到了瀕臨劈裂的邊緣。1938年7月5日，郁達夫在漢口《大公報》第四版公然刊登《啟事》，全文如下：「王映霞女士鑒：亂世男女離合，本屬尋常，汝與某君之關係，及搬去之細軟衣飾、現銀、款項、契據等，都不成問題，惟汝母及小孩等想念甚殷，乞告一地址。郁達夫謹啟。」
王映霞比郁達夫小11歲，原名金寶琴，杭州人，因過繼給外祖父王南為孫女，改名王旭，字映霞。王映霞為杭州的浙江省立女子師範學校畢業生，是一個性格活潑的知識女性。王映霞長身玉立，肌膚白皙，從小就有「荸薺白」的雅號。她面如銀盤，眼似秋水，鼻樑是希臘式的，挺而直，嬌軀略現豐滿，曲線窈窕，骨肉停勻，在杭州女中和浙江省立杭州女子師範就讀時，就有「校花」之譽，及笄而後，更居當時杭州四大美人之首。郁達夫一見傾心，遂求再見、三見，於是上演了現代文壇一段轟轟烈烈的戀愛傳奇。
郁達夫的侄女郁風在一篇回憶文章中也提到後來三嬸（孫荃）慢慢拋棄了對三叔（郁達夫）的怨恨，「而是饒有興味地像談起老朋友似地沉浸在她一生中最美好的回憶里」。
1921年，郁達夫應郭沫若之邀，回上海負責《創造季刊》的出版工作，他和孫荃又得以相聚。但時隔不久，郁達夫須趕回日本，參加帝大的畢業考試，夫妻再一次別離，依依難捨，灑淚聯句作別。聯句云：
後經友人調解，1938年，7月9日，郁達夫與王映霞簽訂《協議書》：「達夫、映霞因過去各有錯誤，因而時時發生衝突，致家庭生活，苦如地獄，旁人得乘虛生事，幾至離異。現經友人之調解與指示，兩人各自之反省與覺悟，擬將從前夫婦問之障礙與原因，一律掃盡，今後絕對不提。兩人各守本分，各盡夫與妻之至善，以期恢複初結合時之圓滿生活。」周象賢、胡建中為見證人，雙方「和解」。7月10日，郁達夫在《大公報》又登出《道歉啟事》。
更讓孫荃感到榮耀的，是1952年郁達夫被中央人民政府追認為烈士，她領到了由毛澤東親筆簽名的烈屬證，這讓她感到無上的光榮，並且成為晚年的精神寄託。
夢來啼笑醒來羞，紅似相思綠是愁。
中酒情懷春作惡，落花庭院月如鉤。
妙手碧玉瓜初破，子夜銅壺影欲流。
懶卷珠簾聽燕語，泥他風度太溫柔。
雖然經歷了多次不快，但郁達夫依舊依戀王映霞。為謀生計，他到福建投奔陳儀。一個人在異鄉，郁達夫一直思念王映霞，他於1936年在日記中寫道：「晚上獨坐無聊，更作霞信，對她的思慕，如在初戀時期，真也不知什麼原因。」
郁達夫君收存
1927年，郁達夫在寫下許多革命性很強的政論的同時，也寫下了許多情書和日記。