一七六二年六月八日是盧梭一生中一個重大的轉折點。那天夜裡，盧梭被人從睡夢中叫醒。他的居停主人盧森堡元帥夫人派人前來通知他，巴黎最高法院即將於次日下令查禁他那部在十多天前開始發售的《愛彌兒》，並要逮捕作者。第二天，六月九日下午，盧梭隻身出走，逃離法國國境，開始他長達八年的流亡生涯。他先在瑞士伯爾尼邦的依弗東住下。在他到達依弗東以前，日內瓦小議會就已下令查禁他的《社會契約論》和《愛彌兒》，不久並將這兩部作品焚毀，同時下令通緝作者。伯爾尼當局接著下令將盧梭逐出它的轄區。盧梭在依弗東居住未及一月，即被迫遷居普魯士國王治下的訥沙泰爾邦的莫蒂埃村，在那裡住了三年零兩個月。一七六五年九月六日夜間，暴徒向盧梭住宅投擲石塊，盧梭再度被迫遷往伯爾尼邦所屬的聖皮埃爾島。但他在島上僅僅住了六周，又被伯爾尼邦小議會逐出。盧梭離島後，經柏林、斯特拉斯堡，於是年十二月十六日抵達巴黎，不久即去英國休謨處。盧梭在英國住了一年多，於一七六七年五月回到法國，長期輾轉各地避難，直到一七七〇年六月才重返巴黎。
在盧梭居住莫蒂埃村期間，日內瓦在通緝盧梭這個問題上意見分歧。宗教界的正直人士以及廣大公民和市民認為通緝令違反教會法，起來保衛盧梭。掌握行政權的小議會則與法國政府亦步亦趨，堅持對他進行迫害。小議會的檢察長特龍香在一七六三年九十月間發表《鄉間來信》，為議會辯護。盧梭針鋒相對，在一七六四年十二月發表《山中來信》作為答辯。此書發表未及十日，日內瓦就出現了以《公民們的感情》為題的匿名小冊子，揭露盧梭拋棄親生的幾個孩子，並以十分惡毒的語言對盧梭進行人身攻擊。這份謗書出自伏爾泰之手。早在一七六一年底，出版商雷伊就建議盧梭寫一部自傳。這時盧梭眼看自己身後的名聲將遭到玷污，為使世人認識他的真正面目，決心撰寫他的《懺悔錄》。
《懺悔錄》於一七六六年三月開始寫於英國的武通，約於一七七〇年年底完稿於巴黎，記載了盧梭從出生到一七六六年被迫離開聖皮埃爾島之間五十多年的生活經歷。《懺悔錄》寫完後，盧梭猶恐後世對他的一生還沒有一個完整的印象，又在一七七二年至一七七五年間寫了三則長篇對話，在他身後於一七八〇年匯成一集，以《對話錄——盧梭論讓-雅克》之名發表。對話是在一個法國人跟盧梭之間進行的。這個法國人從來沒有讀過盧梭的作品，但盲目地接受盧梭的敵人伏爾泰、格里姆、霍爾巴赫所塑造的盧梭的形象。這部作品充分展示了作者心中那種感覺——即世人一致對他進行迫害。這種感覺有時甚至發展成為幻覺。在《懺悔錄》的第二部中，人們已可看到他這種精神錯亂的端倪，而在這部作品中，這種錯亂就發展到了登峰造極的地步。盧梭擔心這部作品的手稿會落入他的敵人手中，就在一七七六年二月二十四日攜往巴黎聖母院，想把它藏進主祭壇中，但發現平常開著的祭壇柵欄卻緊閉著。後又將此書內容摘要抄寫多份，在街上散發，但無人接受。
這時，盧梭終於感到他的「一切努力全都歸於無效，徒然自苦而一無所得，於是決心採取唯一可取的辦法，那就是一切聽天由命，不再跟這必然對抗」（《漫步之一》），從而得到了內心的安寧。他那時住在巴黎普拉特里埃街（今讓-雅克·盧梭街）五層樓上一套簡樸的小套房裡，每天都在巴黎近郊鄉間作長時間的漫步。他將自一七七六年春至一七七八年春這兩年中漫步時的遐想筆之於書，共得十篇，即這部《漫步遐想錄》，在其身後於一七八二年出版。
《漫步遐想錄》中的十篇《漫步》沒有預定的次序，並不構成一個有機的整體。《漫步之一》說明作者在寫這部作品時的精神狀態以及這部作品的主旨：現在的問題已不再像《對話錄》那樣想要說服讀者並進行辯解，而是對作者的內心進行分析，進行解剖，以認識自己。《漫步之二》記述一七七六年十月二十四日作者在梅尼孟丹山崗附近被一條狂奔的大狗撞倒、暈死過去的那次事故。在這次事故後，作者發現人們在他死後將給他怎樣的對待，從而對爭取世人對他有所了解失去最後的希望。在《漫步之三》中，作者講到他怎樣在青年時期就下定決心，一到四十之年就擺脫社交生活，開始隱遁，過自食其力的清貧生活。而正是這個轉變遭到他原來的友人的猛烈攻擊，導致與他們決裂。《漫步之四》嚴格說不是一篇遐想，多少像是對說謊這個問題的論述。《漫步之五》是對聖皮埃爾島小住時的回憶，無疑是十篇《漫步》中最優美的一篇。在這裡，作者指出真正的幸福在於既不回顧過去，又不瞻望將來，心中既無匱乏之感也無享受之感，既不覺苦也不覺樂，既無所求也無所懼，而只感到自己的存在這樣一種境界。《漫步之六》通過作者和一個小瘸子的一段軼事，說明他生來就不能容忍為跟別人生活在一起而必須忍受的束縛，因此從來就不適於生活在這個文明社會之中。《漫步之七》說明植物標本的採集怎樣使盧梭得以跟天地萬物融為一體，跟整個自然打成一片，從而忘記他的迫害者。在《漫步之八》中，盧梭再一次講到他向他的迫害者對他的污衊凌辱進行長期的辯解掙扎之後，發現這種辯解掙扎出於自負之心，而一旦擺脫了這種自負之心，他就能聽命於必然，得到內心的寧靜。在《漫步之九》中，盧梭說明他把他的幾個孩子送進育嬰堂的原因，駁斥他的敵人把他說成是一個不近人情的父親，駁斥他們說他仇視孩子的指責。《漫步之十》是在同瓦朗夫人相識五十周年時對她的追思，對在她身邊的短暫幸福歲月的回憶。原稿僅寫了兩頁，作者就在一七七八年五月二十日離開巴黎，應吉拉丹侯爵之邀，遷居到他在埃爾姆農維爾的別墅中去。七月二日在那裡猝然離世。這篇《漫步》也就始終沒有完成。
貫串於這十篇「漫步」之中的是盧梭生活在其中的社會中的人對他一致進行迫害的感覺，是他孤立於人類社會之外的感覺。當他走上街頭，他覺得人人都在暗中對他進行監視，人人都對他抱有敵意。甚至有一次當他隻身深入山間幽谷，以為到了自古以來從未有人到過的地方時，出乎意料之外地發現了一座織襪廠，他也深信在這廠子里，沒有參加過莫蒂埃村以蒙莫朗牧師為首的製造陰謀的人，連兩個也數不出來（《漫步之七》）。在《漫步之八》中，又說「這個聯盟網羅了世間所有的人，無一例外，它也一成不變；我完全相信，我將在這可怕的放逐中了此一生，永遠也窺不透它的秘密。」這種錯覺當然是盧梭得了被迫害狂後精神錯亂的產物。
盧梭受到迫害，這是客觀事實。他的迫害者是誰？法國政府當然是其中之一。《論人類不平等的起源和基礎》和《社會契約論》批判社會不平等和奴役，謳歌自由平等，並公開宣稱以暴力推翻暴君為合法。這自然要被法國統治階級所憎恨。《愛彌兒》的查禁是法國當局對他公開迫害的開始，而盧梭在一七六七年五月從英國回到法國後，他還一直處在當局的追捕之中。他想到巴黎來和他的敵人周旋。孔蒂親王卻說服他去化名躲在他的特利堡中。當他後來到多菲內省時，也是經過長期的懇求才得到孔蒂親王的許可，讓他逐漸接近首都。而親王聲稱，如果盧梭進入巴黎最高法院的轄區之內，他對他的安全就難以擔保。就在盧梭作了不再發表危險的作品的保證進入巴黎以後，警察當局對他的監視也始終沒有鬆懈。
教會在其中所起的作用也是顯而易見的，盧梭雖是有神論者，但是他的上帝是自然神論者的上帝，是人的理性的產物。這種非正統的神學觀點，遭到天主教和新教的一致反對。尤其重要的是，盧梭一面宣稱尊重宗教，一面又在《愛彌兒》中指摘僧侶是專制政體的支柱，對他們表示了極大的憎恨。在大多數居民是信教的農民的國度里，這樣一個人比僅僅在沙龍里高談闊論無神論的人還要危險得多。因此，無論是法國的天主教教會還是瑞士的新教教會，競相焚毀盧梭的作品也就不足為奇了。甚至在盧梭身後，天主教教會對他的迫害也始終未曾中止。在整個十九世紀，盧梭一直是天主教代言人污衊咒罵的對象。
但在盧梭心目中，他的主要敵人卻是百科全書派的某些哲學家，是他在同一營壘中的友軍。伏爾泰、格里姆、霍爾巴赫、狄德羅同盧梭之間的分歧，有思想意識方面的，如無神論同有神論的分歧，也有生活方式方面的，如伏爾泰是個大資產者，霍爾巴赫原來也是德國貴族，狄德羅出身於富裕的家庭，格里姆雖然來自平民之家，但一旦成名，在上流社會中就如魚得水。盧梭則始終保持他平民的本色，即使在混跡於富豪和文人之間的歲月中，也一直感到格格不入，他正是在一帆風順的時候就急流勇退，辭去收入豐厚的職務，擺脫上層社會的喧囂，遷居鄉間，靠抄寫樂譜自食其力，過清貧而獨立自主的生活。他要求自己的生活和自己的思想相一致，於是離開了原來的友人。伏爾泰對自己的敵人向來是毫不留情的。他寫的那篇匿名謗文《公民們的感情》發表在盧梭顛沛流離之時，文中甚至要求將盧梭處