從這次晚會以後，斯萬明白奧黛特往日對他的感情是永遠不會恢複了，他過幸福生活的希望是再也不能實現了。有些日子，她偶爾對他親切溫柔，多少對他表示一點關心；他把她這些回心轉意的表面的、虛假的表示一一記下，就好比那些侍候著身患絕症行將離世的病人的朋友，懷著那種充滿溫情和懷疑色彩的關切以及毫無希望的歡樂，記下這樣的話當做無比寶貴的事實：「昨天他都自己會算賬了，指出了我們計算中的一個錯誤；他還高高興興地吃了一個雞蛋，如果消化得好，我們明天想給他一塊排骨試試。」儘管他們自己也明明知道，對於一個死亡已經不可避免的人來說，這樣的事情已經毫無意義。斯萬心裡當然也明白，如果他現在離開奧黛特生活的話，他對她就會越來越淡漠，就會樂於看到她永遠離開巴黎；到時候他自己就會有呆在巴黎的勇氣，可是他卻沒有勇氣先走開。
斯萬原也常有這樣的想法。現在他已經恢複對弗美爾的研究，他至少應該再到海牙、德累斯頓、不倫瑞克去些日子。他深信，在哥德斯密特拍賣時由毛里茨博物館 當做尼科拉斯·馬斯 的作品買去的那幅《黛安娜的梳妝》，實際出自弗美爾之手。他很想就地進行一番研究來加強他的信念。然而當奧黛特在巴黎的時候（甚至當她不在的時候），要她離開巴黎，在他看來可是一個如此殘酷的計畫，他是明知自己永遠也下不了決心去實現，所以才能經常放在心裡盤算的——換到一個新地方，我們的感覺還沒有被習慣沖淡，我們隨時都會喚起原有的痛苦，使它加劇。不過他有時還在睡夢中萌生外出旅行的打算（全無影響根本是不可能的），居然還得以實現。有天他夢見他要外出一年，倚在車廂窗口，沖著站在月台上哭著向他道別的青年，勸那青年跟他一起上路。列車晃動，他也驚醒了，意識到他並沒有出家門，而且當晚，第二天還有以後幾乎每天都會見到奧黛特。那時，夢境依然縈迴在他心頭，他讚美自己那些優越的條件，使他生活不必依賴他人，可以呆在奧黛特身邊，使得她允許他有時去看她；他把他這些優越的條件列舉一番，其中有：他的社會地位、他的財產（她時常有迫切需要，所以不能同他破裂，而且耳聞她有跟他結婚的意思），他跟德·夏呂斯先生的交情（雖然其實並沒有使他從奧黛特那裡得到多大好處，但他是他們倆共同的朋友，奧黛特對他很是敬仰，有這樣一位朋友在她面前說他的好話，他想著也不無溫馨之感），還有他自己的聰明才智，他是全部用來每天安排巧計，使得奧黛特覺得有他在身邊陪伴雖不一定是賞心快事，至少是必不可少的。他想，要是這些條件全都沒有的話，他會變成什麼樣子；他想，要是他像許多人那樣貧窮、低微、一無所有，不得不有什麼工作就幹什麼工作，或者是依賴父母或妻子，他早就不能不離開奧黛特，心有餘悸的那場夢就會變成現實。他心想：「人總是生在福中不知福。他們也決不像他們自己所想的那麼不幸。」但他又想，他現在這種生活已經持續了好幾年了，他所期望的也就是這種生活能持續下去，繼續犧牲他的工作、他的樂趣、他的朋友，最後是犧牲他的一生來每天都期待一個並不能給他帶來任何幸福的約會；他還想，他這樣做是不是錯了，凡是促進他倆的關係，防止其破裂的一切是不是在毀壞他的前途，他所應該期求的是不是正是他現在慶幸僅僅是夢中發生的事情，也就是他的離去？他心想，人總是生在禍中不知禍，他們也決不像他們自己所想的那麼幸福。
有時他盼望她在意外事故中沒有痛苦地死去，因為她是從早到晚總在外面，在街上，在大路上的。當她安然無恙回來時，他不禁讚歎人的身體是如此靈活和結實，總能擺脫一切災難（自從斯萬有了這個隱秘的念頭以後，他覺得這樣的災難是數不勝數的），使得人們天天都能幾乎不受懲罰地從事他們撒謊、追求歡樂的勾當。斯萬對由貝里尼作肖像的穆罕默德二世深表同情，後者對他的一個后妃愛得發狂，就用匕首把她刺死。據為他作傳的威尼斯人不加掩飾地說，這是為了求得他心靈的平靜。然後斯萬又為他只想到自己而深自愧恨，覺得他居然把奧黛特的生命視若草芥，自己感到痛苦也是活該，一點也不值得憐憫。
既然他不能義無反顧地離開她，那麼，假如他繼續見到她而不分離的話，至少他的痛苦終將減弱，而他的愛情也許終將熄滅。既然他不願永遠離開巴黎，他就希望她永不離開。既然他知道她每年離開巴黎時間最長是在八九兩月之間，那麼他眼前還有好幾個月的餘暇來把這苦澀的念頭溶解在他腦子裡遙想的時日當中，這些時日和當前的時日一模一樣，在他飽含哀愁的心中流逝，透明而寒冷，然而並不引起他過分強烈的痛苦。但這心中構想的未來，這條無色而奔放的長河，奧黛特的一句話就把它擊中，像一塊寒冰似的把它堵住，阻止它流動，使它整個凝凍起來；斯萬突然感到心裡堵滿了一塊巨大而堅不可破的東西，擠壓他身體的內壁，直到使他全身爆裂：原來奧黛特帶著狡黠的微笑對他說：「福什維爾到聖靈降臨節時要出外旅行。他要到埃及去，」斯萬頓時就明白，這話就意味著「到聖靈降臨節時我要跟福什維爾到埃及去」。果不其然，過了幾天，斯萬問她：「嗯，你那天說要跟福什維爾同去的那次旅行怎麼樣了？」她冒冒失失地答道：「對了，親愛的，我們十九號就動身，我們會寄給你金字塔的圖片的。」那時他想弄清楚她是不是福什維爾的情婦，要當面問個明白。他知道她迷信，有些偽誓是不會起的，而且迄今為止，他一直擔心當面問她會使她惱火，遭她討厭，然而現在他已經失去了得到她愛的一切希望，這種擔心也就不復存在了。
有一天，他收到一封匿名信，說奧黛特曾是無數男人的情婦（信上列舉幾個人，其中有福什維爾、德·布雷奧代先生，還有那位畫家），還是一些女人的情婦，而且還進妓院。他為在他的朋友當中居然有人會給他寫這樣一封信而感到痛苦（從信上的某些細節看來，寫信的人對斯萬的私生活是很了解的）。他琢磨這是誰幹的。他從來沒有猜測過別人在背後幹些什麼，從來沒有懷疑過別人那些跟他們的言語掛不上鉤的行動。德·夏呂斯先生、洛姆親王、德·奧爾桑先生，他們當中哪一位也從來沒有在他面前說過他們贊成寫匿名信的話，他們所說的都表示他們是強烈譴責匿名信的，這樣一種卑劣的行徑莫非出自他們公開的性格背後的什麼地方？他看不出有什麼理由把這種無恥勾當跟他們當中任何一人的品格聯繫起來。德·夏呂斯的性格有點不正常，然而基本上是善良厚道的；洛姆親王雖然冷漠，但身心健全，為人正直。至於德·奧爾桑先生，斯萬從來沒有見過有誰，即使是在最慘的處境中，會看到他講出言不由衷的話，做出不得體、不妥當的舉止。有人說德·奧爾桑先生在跟一個富有的女人的關係當中有不正當的表現，斯萬總難於理解，每當他想到他的時候，他總不得不排除他那個壞名聲，認為它跟他那些數不勝數的高尚正直的表現無法協調。斯萬一時覺得他的腦子越來越糊塗，他就想點別的事情，好看得清楚一些。過了一會兒，他又有勇氣來繼續那番思考了。他剛才既不能懷疑任何人，到這時候就只好懷疑所有的人了。歸根到底，德·夏呂斯先生是愛他的，心地不壞。然而他有神經病，當他明天聽說斯萬病了的時候，他可能會難過得哭將起來，然而今天呢，也許出於妒忌，也許出於氣憤，一時心血來潮，就要對他使壞。說到頭，這號人最糟糕。洛姆親王對他的愛當然遠不及德·夏呂斯先生，但也正由於此，他對斯萬也就沒有那麼強烈的感情；再說，他生性冷漠，既不會做出豪邁之舉，也不會幹出卑鄙齷齪的勾當；斯萬都後悔盡跟這一號人泡在一起了。他又想，阻止一個人對他周圍的人使壞是同情之心，而他終究只能保證本性跟他相同的人有這樣的心，譬如就心地善良來說，德·夏呂斯先生就是這樣一個人。對斯萬造成這樣一種痛苦，單單這一個念頭就會使德·夏呂斯先生產生反感。然而對一個感情冷漠，不怎麼太通人情的洛姆親王來說，在不同的本質的驅使下，可能會幹出什麼事來，誰又能預料到？心地好是最主要的，德·夏呂斯先生的心地就不錯。德·奧爾桑先生心地也不錯，他跟斯萬的關係雖不親密但還是真誠的，是由於他們對什麼事情都有一致的想法，所以樂於在一起絮叨；他們之間的關係比較平和，不像德·夏呂斯先生那樣激昂，那樣易於做出一時衝動的事情來，不管是好事還是壞事。如果說有誰是斯萬過去一直感到能被他所了解，能身受其體貼愛護的話，那就是德·奧爾桑先生了。不錯，不過他過的那種不大體面的生活又如何解釋呢？斯萬現在感到遺憾，他從前竟從來沒有予以考慮，時常還以開玩笑的口吻說什麼他只有在流氓集團里才能看到強烈的同情和尊敬的感情。現在他卻想，人們判斷別人，從來都是根據他們的行為，這並不是沒有道理的。只有行為才有意義，我們說的和想的都算不了什麼。夏呂斯和洛姆可能有這樣那樣的缺點，可他們是老實人。奧爾桑也許沒有缺點，可他不是老實人。他可能又一次干