仆自客歲，以病家居，杜門卻掃，經卷葯爐，自安禪悅。匪惟無心世事，即筆墨生涯亦擬拋棄。顧以《新北京》、《天風》兩報主者，均為多年朋友。拙著《蜀山》、《青城》兩小說，同未完卷，欲罷不能，延至今邇。仆既病且懶，初意此二報而外，不復肆為筆孽，再有寫作矣。上月《實報》主人以某君之介，囑撰小說，以疥欄尾。辭不獲允，迄未報命。頃又一再敦迫，詞意殷勤，若欲必得。勉草斯篇，用圖塞責。竊思武俠小說久成濫筋，仆更倫荒，何當俊賞？明知巴里之言，難為《實報》增重，第幼隨宦轍，性適嬉遊，長更旅食四方，頻年流轉，足跡所經，實半國內。茲者志事弗應，意復慵散，未了中年，幾類枯僧。獨于山水癖嗜，結習難忘，登臨莫遂，猶存遐想。每當風雨晦明，煙晨月夕，輒復坐溫舊夢，神往竟日，以是道里山川，時縈胸臆，每借小說，寄其幽情。雖筆致庸凡，學殖未逮，不足以狀丘壑林泉煙雲變態之奇；然景因實踐，記類寫真，篇中道里山川之所由涉，風土人情之所由履，其視此為臥遊之資乎？
江南為吾國文物富庶之邦，而兩浙山水之秀麗，又復由於東南諸省江山毓秀，人才輩出，岩壑幽樓，盡多奇士。惟以此輩英男俠女，大都遁跡林泉，游神物外，襟懷淡泊，性慕沖虛。即有任俠尚義之行，亦多是我行我素，不喜世知。鄉里老儒，標榜性理之學，偶涉奇蹟，便認為怪力亂神之言，於所不語，志怪談鬼之人大都坎凜終身。我何人斯，敢犯時忌！偶有聞見，往往掩耳疾走，若將浼焉，匪惟不敢言，且亦不敢聞，筆之於書更無論矣。其身受者，又多無告窮黎、寡識編氓。以故敢言者不能傳，能傳者不敢言，豪情勝事只在民間，終不達於士大夫之耳目。文人筆記間有載列，亦以忌避孔多，語焉弗盡。冠帶之人尚且謂其非情，譬之寓言，甚或目為邪說，多所垢病。歲年淹沒，於是乎其傳者寡矣。
作者漫遊四方，喜聞異事，登臨之頃，每就山僧野道、村老逸民，促坐清談，詢以所知，而於遊俠跡事尤多嚮往，廿年塵跡，聞見殊多。本篇所紀白岳十四俠士，即昔年江南之舊聞也。本書結局雖在黃山，而諸俠事迹都散在江、浙一帶。
這裡先從浙江省金華府永康縣一個姓虞的開始寫起。金華府舊轄八縣，如東陽、永康等縣，多有縣治而無城垣。這姓虞的，家住在離縣街二十餘里的河上村內，附近有三個大鎮：一名西市口，一名百集，一名下大路。當地為前明顯宦應氏宗族聚居之所，子裔繁昌，族人甚多，村民姓應的差不多要佔十之七八，所以當地人都叫它作十里應。姓虞的卻是前三代才從鎮海遷來，地介西市口、百集二者之間，只有五六家同族。不過虞家也是江東望眷，詩書世裔，每家眷屬人口都不在少，田產又多，加上附居的幾十家傭僕佃戶，無形中也自成了一個村落。
本書所紀，乃是虞家第二房子孫。家主名叫虞舜民，年已半百過去，世以耕讀傳家。同胞老弟兄四個：老大堯民，老三聖民，都在外省做官；老四德民，是個小京官，嘉慶初年，病故京寓。只他一人，性情淡泊，樂善好施；兩試春官不第，便即無意進取，只在故鄉納福，力田課織，好行善事，鄉里都稱他作「二善人」。他又長於經紀，善於享受，治理得家中田業日益富厚。起居飲食，雖不專做排場、窮極奢侈，卻也實際講求，務極適美。虞氏弟兄分家過度，並非出於自動，乃是上輩祖人明白事體，長於慮遠。知道君子之澤，五世而斬，子孫的賢愚不肖，難為預料。天下沒有長聚不散之局，便是張公百忍，同居也僅九世；況世上能有幾個張公？子胤一繁，爭端易起。與其徒慕數代同居的虛名，啟子孫鬩牆之漸；反不如及身之存，早為平停分配。並以讀不廢耕，耕不廢讀，著為傳家典則。雖不必親事躬耕，至少佔晴課雨，歲時收成，必使聞知。違者即是不孝，勿使或背。如此既免異日戈操同室，箕豆相煎，而子孫分家以後，自立門戶，各不相賴，互有觀摩，即或不肖，多少也保得一點田業在手，決不致完全盪敗，盡棄耕讀，同淪餓享，遂廢蒸嘗。所以三世分家，友於相親，始終弗替。連妯娌梯擬之間，都無間言。對人又極厚道，真是一人雍和，全村上下，都是祥淑之氣。人生最難得是境遇舒適，受人尊敬，家族和美，不生閑氣。舜民處到這樣的環境，又是個會享福知足的人，還有什麼不稱心的。
誰知天公慣使人添上缺陷，大、三、四三房都是人多丁旺，惟獨舜民，年逾四旬，子女猶虛。他又篤於琴瑟之好，不肯納妾。雖然兄弟子侄輩中頗多賢者，不難擇一過繼，畢竟錢要自有，子要親生，舜民只管達觀，終覺有些美中不足。虞妻人本賢淑，因見偌大家資，這般極好境遇，自己四旬開外，將近七七陰絕之年，尚無生育，丈夫又堅持一夫一妻的成見，不肯納妾，心中難過已極。婦人家見識，急得無法，便瞞了舜民，求神許願。又知舜民夫妻情長，多半由於青年時生得貌美、種下愛根的原故，屢次所說的，十九中人之姿，所以不能當意，要是真能物色到一個佳麗，再和他日夕求勸苦磨，也許能夠心回意轉，改了成見。論起丈夫年紀雖然大些，但他生活優裕，看去不過三十五六年紀，就給找個二八佳人，也不致便有老夫少妻之誚，使所納之女受了委屈，於是暗中派人到處物色佳麗，又向當地最著靈跡的胡公祠許下求子心愿。主意雖好，做起來卻非容易。第一樣永康是一個四境多山的小縣，不似杭、嘉、湖一帶文物富庶之區，水麗山清，慣產佳人。全縣只有限十來家紳宦巨室，人物語言都較質野。因地貧瘠，村姑少女經歲耕作，習於勞苦，多是手腳粗大，身子健壯，貌在中人以下。即便有那生得清麗一點的，麵皮先晒成了紫黃顏色，有什好看？這類女子，嫁作農婦，全都是勤儉持家的上選，如以金屋藏之，未免和那「嬌」字相差懸遠。同為越女，要打算在此中尋出一個全蘿村頭、浣紗溪畔的人物，真是萬難其選。虞妻又是大家的眷屬，只可命近身仆媼代辦，不能遠出物色。因她為人厚道，本著千金市骨之意，是以少女來相看的，不問醜惡，總是多給相封，於是來者日眾，常致應接不暇。白忙了兩年，終未物色到一個中意的女子。虞妻依然志念堅誠，終不灰心，誓欲必得。
鄉里皆知此事，不由傳到舜民耳里，一問便推說是買一近身使喚丫頭，並非為丈夫買妾，舜民先是不悅，後見問過兩次，都是潛然欲淚，心中老大不忍。再經虞妻幾次三番用言婉勸，漸漸心活，暗忖：大家都是四旬外人，自己何嘗不盼兒子，怎能怪她？看這情景已是不容堅拒，莫如就勢答應，也省得他日為此事酸心勞神，便答道：「我並非不想生子，只為事有定命，命該絕嗣，終是無有。常見許多大人家，因無子息，納上三四房側室，結果不能如願，精神身體倒吃了大虧，這還是個好的。甚或本來好好家庭，鬧得終年爭吵，百事不舉，身前身後鬧下無窮笑話，兒子仍沒養下一個。你我恩愛夫妻，何苦好好日子不過，自找苦吃？我知你性情忠厚，情切子息，必然諸事優容，遇見性情溫和的還可將就；要接一個性惡的人到家，使你暗地生氣，又不明說，我怎對得你過？所以這事你說了多年，都未答應，現既一定要我納妾，照你在此地辦是不行的。待我明春往杭州走一次，那裡有不少老親老友，也不必怎樣費事，只撿那乾淨點的大家丫頭，或買或要，帶回一個。我雖生有潔癖，不喜醜人，此舉全為子息，與納妾享樂不同。只要懂得規矩，性情溫良，人有宜男之相，再乾淨一些，便足中選，並不要那絕色女子。一去即能尋到，就便還可看望她們，你該不要著急了吧。」
虞妻見丈夫居然聽勸，好不容易，心雖喜歡，總怕明春之行是寬慰自己，敷衍搪塞，到時又復變卦，立即催促速行，說：「時方九秋，明春還需好幾個月，不如就走。帶著新人回家，吃團圓年夜飯，明年下半年，也許就有兒子了。多年老夫妻，何苦使我又眼巴巴的多盼上幾月？」舜民知愛妻欲早了心愿，笑答道：「你怎如此心急？西湖數年未去，明春前往，正好藉此載酒湖山，游散游散。今已寒秋，轉眼冬天，到了又趕回家，豈不虛此一行么？」虞妻得了口，哪肯放鬆？不但即日要走，並說自己許有靈隱寺的燒香心愿，還要相隨同去。連勸了兩次，舜民知她不甚放心，不欲過拂其意，反正不納妾決難交代，只得答應。將家事交給兩個近人，夫妻二人帶了一仆一婢，一同起身，前往杭州進發。
彼時當地到杭州，本應取道望馬頭港，經過全川、葛府、下時、東陽、七里寺、婪港頭、蘇溪、八里橋、紅廟、牌頭、諸暨。臨浦、西興等地，再由西興渡過錢塘江，方能到達。全程有好幾百里，山重水複，路頗難走。單是由永康到諸暨這前半段，論路程不過二百五六十里，沿途舟輿就要換上好幾次。舜民恐怕女眷同行，道途勞頓，決計繞遠；改走桐廬水路，取道金華府，由蘭溪泛舟，過桐廬、富春，直下錢塘，就便遊玩嚴灘，觀賞桐君山色。由永康到金華，只有百餘里路。舜民夫妻仆媼都乘著竹轎，想當日趕到，特僱用了兩班轎夫。這條道路又甚平整，僅經過兩處山麓。轎夫全是土著，知