沒過幾天，小白菜便讓葛品連四處打聽租房。不久便租下了楊家的房子。楊家每月房金只收一弔大錢，把楊家右邊的三間房屋帶一個小院，租給葛家居住。葛水連以為楊乃武是有妻子的人，不甚妨礙，所以放心在此安下家來。因在豆腐店作事辛苦，又只有母親葛喻氏幫忙，所以仍是經常在豆腐店內留宿，很少回家。倒成全了楊乃武與小白菜。每趁葛水連不在的時候，楊乃武就借著教小白菜讀書寫字的由頭，悄悄幽會。
這樣一直到了第二年。世上沒有不透風的牆，漸漸便起了傳言。說楊家是「羊（楊）吃白菜」。這話傳到了葛品連耳里，他心中便生了疑心。
光陰迅速，匆匆又是幾個月過去了。這天已在四月中旬，天氣漸漸的熱將起來，葛品連晚上睡在家中，早晨臨走的時候告訴小白菜，這幾日他要去四鄉收購黃豆，便不能回家來了。小白菜正因楊乃武連日有事，到了杭州府去了好些日子，昨天方才回來，也有半月光景沒有相會了。聽得葛品連晚上不回家，心中很是歡喜。俟他去後，即借著到楊家找詹氏說話，卻暗暗通知了楊乃武。到了這日晚間，楊乃武悄悄的來到葛家院中，同小白菜幽會。
小白菜穿了一件青布大褂。下系湖色土布半舊撒腳褲，腳上一雙妃色軟幫綉蘋綠色的滿對花小鞋，端的是三寸不到，二寸有餘，平正尖瘦，宛如一支水紅菱兒。雖是滿身荊布，卻越顯出天然素麵，貌美逾花。
小白菜見了楊乃武已是滿面春情，眼角流俏，兩頰邊飛起了紅露，輕輕的格格嬌笑，楊乃武看了怦怦心動，忍不住將她擁住，推倒在床上，雲雨起來。小白菜只斜昵著一對水汪汪的秋水，微微嬌喘，越發把楊乃武逗得欲仙欲死，約有半個時辰，小白菜喲的幾聲，在枕邊滾了幾滾，已是雙目緊閉四肢松馳，楊乃武也不禁連喘帶吁，把小白菜抱得貼緊。停了一回，楊乃武方長長的吁了一聲，一瞧小白菜，也醒了回來，向著楊乃武微微一笑。這時的天時，雖在四月中，夜間尚很有涼意。小白菜忙將床上綿被扯過，蓋在楊乃武身上。二人緊緊擁在一起，細訴衷腸。
二人正在說話，猛然間聽到外面有人射門，叫道：「秀姑，秀姑，快開門。」小白菜聽是葛品連的聲音，不由的花容失色，轉頭看楊乃武。楊乃武也聽的心中慌忙，稍稍鎮定一下，輕聲道：「別忙，待我回去，你裝著方醒的神色，再去開門。葛品連瞧不見我同你睡在一處，自然他不敢說出什麼話來。」說著便匆匆起身，穿好衣服，跳窗翻牆而去。小白菜也把衣服穿好方裝著初醒般的含糊答應了一聲，手裡拿著紅燭，慢慢的出了房間，走去院外開門。葛品連一眼瞧見小白菜，見她兩腮飛霞，帶著十分春色，又好似有些慌張，便有些奇怪。等走到自己房中，瞧見一條棉被堆在床中，凌亂不堪。葛品連心道：小白菜的床平時甚是齊整，今天棉被為何如此凌亂？瞧這式樣，分明是還有一個人睡過一般，又見小白菜面上越發的飛起了兩朵紅雲，直滿到耳邊，猛然想起「羊（楊）吃白菜」的傳言。不由得心中一動，伸手將棉被一翻，竟跌出一塊手帕來，帕上又印著些水漬，約有手掌般大小。手帕上綉著喜鵲登梅，正是楊乃武的東西。
葛水連看的滿面通紅，心頭火發，一把揪住小白菜問道：「這是什麼東西？」
小白菜見了心如小鹿一般，怔了一下，急中生智道：「白日里楊先生來這裡教我念書識字，想是那時候丟下的。」
「你們婦道人家念什麼書？你娘兒們家和一個大男人獨處一室，又成什麼體統？怪不得外面都傳你與楊乃武有染？原來真的是一頂綠頭巾，戴在我頭上了。」說罷劈頭一巴掌打過去，打的小白菜頓時眼冒金星。
小白菜本就覺的自己匹配了這個又丑又窮，不解風情，猥瑣不堪的葛品連，是十分的委屈，百分的牽強。平時又被葛品連寵慣了。挨了這一巴掌，立刻就哭喊起來嚷道：「你說我們有私情，可曾瞧見我同他睡在一處？我嫁到你家門時，可是帶著清清白白的身子，你難道不知？如今卻僅憑著一隻手帕便要污我名聲。這日子也沒法再過了，我今夜便剪了頭髮，做尼姑去吧。」
二人吵鬧的厲害，驚動了楊乃武的妻子楊詹氏。楊乃武為了和小白菜幽會，常常借口深夜讀書太晚要在書房歇息。所以楊詹氏並不知道二人的事。聽到這邊小兩口吵架，急忙帶了人來勸。
捉賊拿臟，捉姦在床。葛品連沒有證據，又害怕楊乃武的勢力，當著楊詹氏不敢實說，只說是自己讓小白菜腌菜，晚上回家的時候看到還沒有腌，所以將小白菜痛打一頓出出氣。楊詹氏不知就裡，還耐心勸解，小白菜與葛品連只好點頭，答應和好如初。
葛品連雖然不敢與楊乃武翻臉，但卻無法咽下這口窩囊氣。回去便與母親葛喻氏說了。葛喻氏平時就愛東家長西家短的傳話，聽葛品連一說，便將這件事頻頻和左鄰右舍談起，一時間巷閭遍傳，流言四起。小白菜小戶人家，倒沒有什麼，那邊楊乃武聽說了，卻十分的不受用。
楊乃武本是個極重名節的人，平日看到地方上不平之事，總是好管多說，伸張正義。在整個餘杭縣都是名聲不錯的。只因與小白菜有情人難成眷屬，情不自持，才做下這樣的事。沒想到卻被傳開來，將自己與小白菜稱作姦夫淫婦。
雖然僅是風言風語，並未有真憑實據。但楊乃武也覺的廉恥喪盡，萬人所指，出門辦事都抬不起頭來。為了名節與前程，竟斷絕了與小白菜交好的心，再不敢與她有來往。
過了幾天，葛品連在外邊看好了房子，便向楊乃武退了租，選了日子搬出楊家。遷入新屋。楊乃武作賊心虛，沒說別的話，一口應允。