大約就在同時，他生活中第三次愛情故事也上演到了高潮。半年多來，瑪高特小姐與文森特的接觸越來越頻繁。與過去兩次不同，這一次似乎並非文森特在惹麻煩了。瑪高特小姐年屆40卻尚未出嫁，在與文森特的接觸中，她似乎找到了自己的感覺。兩人經常在一道談心。無論何時瑪高特心情不好，文森特似乎總有辦法讓她高興起來。漸漸地，兩人在一起的時候越來越多，甚至一道上街到店裡買些小禮品送給村裡那些可憐的窮人。按照文森特自己的說法，他們最終相愛了："我相信，或者清楚地了解，她愛我。我相信，我愛她；這種感情是真摯的。" 《凡·高自傳》，第367頁。
不過，種種跡象表明，這一次，作為被愛者的文森特並不像往常那樣狂熱。兩人都想到了結婚。文森特的態度是，"要麼馬上結婚，要麼根本不結。"但是，瑪高特的父親和家人卻出面反對和干擾。一方面，任何一個家庭都難以接受文森特那付流浪藝術家的形象和德性；另一方面，瑪高特的兩個姐姐也跟她一樣待字閨中，如果妹妹嫁出去（哪怕是文森特這樣的寶貝），她們又怎麼辦？家裡人成天在耳邊嘮叨，說文森特的壞話。情緒本來就不太穩定的瑪高特更沉不住氣了。文森特儘力加以安慰，還希望瑪高特家裡唯一同情她的兄弟作些努力，爭取讓家人善待她。他自己還諮詢過紐恩南的醫生是否有什麼好辦法讓她安靜下來。看來，這一次的確很難讓她安靜下來了。瑪高特老是向文森特談起結婚的事，還老是說希望立刻死了最好，以至文森特最後都不在意了。
然而，大約7、8月之交，瑪高特在與文森特外出散步時突然發作抽搐，跌倒在地。他最初沒在意，繼而以為是某種神經癥狀的發作，但她激烈的抽搐和斷斷續續吐出的話讓他感到事情還要糟糕。他問她到底發生了什麼事情，瑪高特在他發誓不告訴任何人的情況下承認自己服用了馬錢子鹼，幸好因為劇烈的不適，隨之服用了一點氯仿鴉片酊之類的緩解藥。文森特立即把她背回家中，用大劑量催吐葯挽救了她的生命。接著，瑪高特被送往烏得勒支一位醫生朋友家休養，一去便是半年。流言在村子裡傳開來。連文森特自家人都不太公正地認為他要負主要責任。多半由於想擺脫不愉快的局面，文森特呆在紐恩南的時間變得很少了。大多數時候，他都在艾恩德霍芬作畫。偶爾也有一些有報酬的活兒，如幫助學生赫爾門斯裝飾飯廳等等。9月里，有人匿名向文森特訂貨，後來弄清楚是瑪高特所為。可憐的女人在烏得勒支想著文森特。後者為她畫了一幅素描，但拒絕收錢。文森特也想著瑪高特，去看望過她，"我們或許相互太過於留戀了"，但他對是否維持與瑪高特的關係一時沒有主意，只是出於醫生的意見才暫時留在她身邊，"要過一些時候才能夠作出決定"。瑪高特服毒的舉動似乎把文森特嚇壞了，"這件事使我多麼心驚膽戰……多麼可怕"；而且，此舉似乎也讓他對瑪高特有些失望： 我沒有在10年前遇到她，實在遺憾。她在我心目中留下了一個像被笨拙的修理工人弄壞了的克列蒙納小提琴的印象，當我遇到她的時候，她的情況顯然是非常糟糕的。但是這種小提琴本來是具有很大價值的少有的名牌產品。 《凡·高自傳》，第367頁。
面對不幸的瑪高特，他似乎有了些滄桑感。大概既為了迴避瑪高特，也為了接受正規的訓練，他又一次想到了告別。他想去安特衛普，據拉帕德講，那兒的美術學院能夠給人提供第一流的起點。費爾南德·科爾蒙在巴黎開辦的著名畫室也令他嚮往。他現在特別感到自己尤其缺乏畫模特的訓練。幸好，冬天漸漸來了，地里幹活的農人們開始閑下來，為他畫模特提供了條件（他需要付的報酬是當時顯得十分奢侈的咖啡）。整個1884－1885年的冬春之交，文森特熱情地投入了這項工作，格魯特一家成為他的主要模特。大量的人物形象（大部分是頭像）被固定到文森特的畫布上。他朦朧地想到，有一天，關於這些勞動者的群像應該產生出來。自博里納日以來，那不一直是他最深切的願望嗎？
3月里的一個黃昏，文森特作畫回來路過格魯特家時，從門口瞥見一家子正就著從屋樑上吊下的油燈圍著桌子吃飯——桌上是一大盤熱氣騰騰的土豆，那是他們通常的晚餐。文森特突然意識到，他朦朧地感覺到的東西就在眼前。
……這些在油燈下吃土豆的人，就用他們從盤裡取土豆吃的手在地里掘土，從這裡特別能看出他們勞動的涵義，他們是多麼普通、樸實而誠實地用自己的手掙來自己的糧食。 轉引自David Sweetman,Van Gogh: His Life and His Art, p183. 文森特立刻坐下來，努力把生活和感覺固定到自己的畫布上。此後多次到格魯特家，請他們復現同樣的場景。他的主要問題是人物的平衡，畫面上的4個人從空間感覺上老是不那麼和諧。文森特沒有被困難嚇倒，他知道自己這一次找到的東西是什麼。他退回來反覆進行各種探索，深信能取得最終的突破。