裴諶、王敬伯、梁芳，志向一致，傾慕仙家，隋煬帝大業年間，一起放棄官職，入白鹿山學道。白鹿山在河南輝縣與修武縣之交，隋唐時被認為是道教仙山。入山之初，他們意念堅定，認為只要堅持修鍊，無論鍊金術、煉銀術，還是得長生之葯，甚至羽化升仙，都可以辦到。
這是他們的理想。
他們情同手足。十多年後，隋朝變唐朝，但他們還沒成功。這時梁芳先死了，於是王敬伯動搖了，對裴諶說：「我們去國忘家，棄絕塵世，居寒山茅屋，輕歡娛而受寂寞，難道不是為了有一天可乘雲駕鶴，成仙得道嗎？即使不成，也希望可長生不老。但經過十多年苦心修鍊，仙海茫茫，實無盡頭，連長生之術也未學成，如此下去，不免跟梁芳一樣。現修道不成，還是回去過都市裡的富貴生活吧！遊樂人間，走於仕途，榮耀於世，即使不能過仙人的生活，位列公卿，也可以了。你跟我一起回去吧，不要白白地死在這深山裡！」
裴諶不語，良久之後，說：「紅塵如夢我已醒，又怎會重新回到夢中？」
於是王敬伯離開深山，返回都市。這時已是唐太宗貞觀初年。王敬伯先是被恢複了從前的官職，隨後被提升為左武衛騎曹參軍。後來，大將軍趙朏又將女兒許配給他。沒過幾年，王敬伯當上了大理寺官員，成為身著紅衣的顯貴。
這一天，王敬伯奉朝廷之命出使淮南，去揚州辦案。他的船隊盛大，行於江中，百姓船隻不敢前行。當王敬伯的船隊到達高郵時，天降小雨，突有一艘小船倏忽而過，超過了王敬伯的船隊。小船船頭，站著一位老人，身披蓑衣，頭戴斗笠，於雨中划船如風。王敬伯很不高興，近前一看，漁夫有些面熟，再仔細看，竟是裴諶。分別多年，他已是如此蒼老。
後面的故事可以設想，王敬伯把裴諶請上大船，又是擁抱又是握手：「老兄，你久居深山，放棄人世功名，這些年苦心修鍊，到現在不也是一事無成，而只是個漁夫嗎？所謂修道，只是捕風捉影的事罷了！古人倦夜長，尚秉燭游，況少年白晝而擲之乎？」
王敬伯說出一句垂留後世的名言：古人認識到人生苦短，而夜太漫長，還舉著蠟燭，找些事做，又何況青春白晝，安能虛度？
隨後，王敬伯告訴裴諶，自己出山沒幾年，就做了大官。現揚州有案，朝廷派一名得力大員去審斷，皇帝選擇了他。比之于山叟漁夫，又如何？他接著說：「你這些年，依舊像我們以前那樣辛苦于山水中，真是奇哉！奇哉！令人費解！你現在有什麼需要嗎？說出來，想要什麼我都可以幫助你。」
裴諶笑道：「我居于山野，心近雲鶴，又怎麼會對地上的腐鼠有興趣？我沉於江湖，你浮於紅塵，所謂魚有大河，鳥有天空，各有所得，你又何必在這裡炫耀？人世應該有的，我都不缺少，你又拿什麼贈送於我？我與山中修道的好友，約定一起去揚州賣草藥，在那裡有個地方住，青園橋之東幾里外，有一櫻桃園，園北有門，那就是我的庭院。如果你清閑下來，可去找我。」說罷，還於自己的小船，飛駛而去。
接著說王敬伯。到揚州，他開始辦案，十多天後已是清閑，想起裴諶的話，於是獨自出門尋找那座庭院。果然有櫻桃園，轉至北門，有童僕說，正是裴宅。說明來意，童僕將他引入轅門。開始時，感覺四周荒涼，似久未有人居住，但走了一會兒，景色愈佳。數百步後，到正門，裡面青煙隱約，樓閣重重，花木鮮秀，微風吹來，異香撲鼻，令人神清氣爽，有棄絕紅塵而飄然凌雲之意，當不是凡人所居之地。
這時候，轉出一人，仙風道骨，奇瑰偉然，王敬伯不由自主地搶步而拜，抬頭細看，卻是裴諶，不由一驚。裴諶說：「你在塵世為官已久，慾念結心，背著它走，該是很累了吧！」
裴諶將王敬伯邀入裝飾精美的堂中，其時已是黃昏，有彩燈亮起，照得滿座明媚，更有美女二十人，手持樂器，點綴席間，彷彿夢幻。裴諶對童僕說：「這是我昔日在山中修道時的朋友，但心志不堅，後離開我還於塵世，一別將近十年，現在做到朝廷大員。雖入我境，但他還是塵世之心，所以就叫塵世的歌伎為他助興表演吧。而坊間那些歌伎差點，還是找已嫁人的大臣之女吧！假如揚州沒有，就去外地找，五千里之內的，都可以。」
童僕點頭而去。還沒等在座諸美女把碧玉箏調好，童僕已帶著一個仕女前來複命。仕女拜見，王敬伯一看，正是自己的妻子趙氏。可以想像他有多麼驚訝，趙氏更是驚訝。裴諶令趙氏入座，給她玳瑁箏，叫她彈奏，又令其與諸美女合奏，以助酒興。王敬伯偷偷從果盤中取了一個紅色的李子，扔給趙氏，後者看了看丈夫，把李子藏於衣服里。
天快亮時，裴諶叫童僕送趙氏回去：「或許是緣吧！隔著蒼山萬重，你來到這裡。」
裴諶也未留王敬伯：「塵路漫長，有愁緒萬千，你要珍重。」
五天後，王敬伯將回長安，行前欲再見一下裴諶，來到櫻桃園，只有轅門，而無當初的庭院了，只見滿目蕭索，荒草漫天，於是只好惆悵而返。
王敬伯回到長安，向朝廷復命後，歸於府第，沒想到妻子的娘家人都在了，他們非常憤怒：「我家趙女，也許笨拙醜陋，配不上你，但既已結婚，就應互相尊重，成夫妻之道，這不能含糊。可你為什麼用妖術將她弄到萬里之外供人消遣呢？那紅色的李子就是證據！你還隱瞞什麼？」
王敬伯苦笑，把前後故事道出：「這事發生時，我也沒預測到，應是裴諶已修鍊得道，顯示本領給我看吧！」
裴諶、王敬伯、梁芳約為方外之友，隋大業中相與入白鹿山學道，謂黃白可成，不死之葯可致，雲飛羽化，無非積學，辛勤采煉，手足胼胝。十數年間，無何，梁芳死，敬伯謂諶曰：「吾所以去國忘家，耳絕絲竹，口厭肥豢，目棄奇色，去華屋而樂茅齋，賤歡娛而貴寂寞者，豈非覬乘雲駕鶴，遊戲蓬壺？縱其不成，亦望長生，壽畢天地耳。今仙海無涯，長生未致，辛勤於雲山之外，不免就死。敬伯所樂，將下山乘肥衣輕，聽歌玩色，游於京洛，意足然後求達，垂功立事，以榮耀人寰，縱不能憩三山，飲瑤池，驂龍衣霞，歌鸞舞鳳，與仙翁為侶，且腰金拖紫，圖影凌煙，廁卿大夫之間，何如哉？子盍歸乎？無空死深山。」諶曰：「吾乃夢醒者，不復低迷。」敬伯遂歸，諶留之不得。時唐貞觀初，以舊籍調授左武衛騎曹參軍，大將軍趙朏妻之以女。數年間，遷大理廷評，衣緋，奉使淮南，舟行過高郵。制使之行，呵叱風生，行船不敢動。時天微雨，忽有一漁舟突過，中有老人，衣蓑戴笠，鼓棹而去，其疾如風。敬伯以為吾乃制使，威振遠近，此漁父敢突過我。試視之，乃諶也。遽令追之，因請維舟，延之坐內，握手慰之曰：「兄久居深山，拋擲名宦而無成，到此極也。夫風不可系，影不可捕，古人倦夜長，尚秉燭游，況少年白晝而擲之乎？敬伯自出山數年，今廷尉評事矣。昨者推獄平允，乃天錫命服。淮南疑獄，今獻於有司，上擇詳明吏覆訊之，敬伯預其選，故有是行。雖未可言宦達，比之山叟，自謂差勝。兄甘勞苦，竟如曩日，奇哉！奇哉！今何所須，當以奉給。」諶曰：「吾儕野人，心近雲鶴，未可以腐鼠嚇也。吾沉子浮，魚鳥各適，何必矜炫也。夫人世之所須者，吾當給爾，子何以贈我？吾與山中之友，或市葯於廣陵，亦有息肩之地，青園橋東有數里櫻桃園，園北車門，即吾宅也。子公事少隙，當尋我於此。」遂倏然而去。敬伯到廣陵十餘日，事少閑，思諶言，因出尋之，果有車門，試問之，乃裴宅也。人引以入，初尚荒涼，移步愈佳，行數百步，方及大門，樓閣重複，花木鮮秀，似非人境。煙翠蔥蘢，景色妍媚，不可形狀。香風颯來，神清氣爽，飄飄然有凌雲之意，不復以使車為重，視其身若腐鼠，視其徒若螻蟻。既而稍聞劍佩之聲，二青衣出曰：「阿郎來。」俄有一人，衣冠偉然，儀貌奇麗，敬伯前拜，視之乃諶也。裴慰之曰：「塵界仕官，久食腥膻，愁欲之火焰於心中，負之而行，固甚勞困。」遂揖以入，坐於中堂，窗戶棟樑，飾以異寶，屏帳皆畫雲鶴。有頃，四青衣捧碧玉台盤而至，器物珍異，皆非人世所有，香醪嘉饌，目所未窺。既而日將暮，命其促席，燃九光之燈，光華滿座。女樂二十人，皆絕代之色，列坐其前。裴顧小黃頭曰：「王評事昔吾山中之友，道情不固，棄吾下山，別近十年，才為廷尉屬。今俗心已就，須俗妓以樂之。顧伶家女無足召者，當召士大夫之女已適人者。如近無姝麗，五千里內皆可擇之。」小黃頭唯唯而去。諸妓調碧玉箏，調未諧而黃頭已復命，引一妓自西階登，拜裴席前。裴指曰：「參評事。」敬伯答拜，細視之，乃敬伯妻趙氏也。敬伯驚訝不敢言，妻亦甚駭，目之不已。遂令坐玉階下，一青衣捧玳瑁箏授之，趙素所善也，因令與妓合曲以送酒。敬伯坐間取一殷色朱李投之，趙顧敬伯，潛繫於衣帶。妓奏之曲，趙皆不能逐。裴乃令隨趙所奏，時時停之，以呈其曲。其歌舞雖非雲韶九奏之樂，而清亮宛轉，酬獻極歡。天將曉，裴召前黃頭