源氏太政大臣勸誡髭黑大將道：「此事若教皇上得知，你該何等惶恐。我看暫勿走漏消息為是。」然而髭黑大將得意忘形，毫不顧慮。玉鬘雖已和他同居多時，但對他絕不開誠相愛。她自嘆這是意想不到的宿世孽緣，一直愁眉不展。髭黑大將不勝其苦。但念好事既成，因緣非淺，則又不勝欣喜。他覺得此人越看越是可愛，真乃合乎理想的姣妻。險些兒被別人占奪了去。這樣一想，竟心驚肉跳起來，便想把替他穿針引線的侍女弁君和石山寺的觀世音菩薩並列起來，向她們頂禮膜拜。然而玉鬘恨煞了弁君，此後一直疏遠她，使她不敢前來伺候，只得日夜籠閉在自己房裡。為了玉鬘而刻骨相思、備嘗失戀之苦的人，不知凡幾。而石山寺的觀世音菩薩偏偏保佑了這個她所不愛的髭黑大將。源氏也不喜此人，深感惋惜。然而他想：「事已如此，夫復何言。況且內大臣等都已許諾，我若出來反對，表示不滿，則對不起髭黑大將，在我亦屬多事。」就安排盛大儀式，竭誠招待這位新女婿。
髭黑大將急欲早日將玉鬘迎歸自己邸內，正做種種準備。但源氏認為玉鬘倘毫不介意，貿然遷往，則心懷醋意的正夫人正在那邊等候她，對她甚是不利。便以此為由，對髭黑大將說道：「我勸你還得鎮靜些，慢慢地來，不可張揚，務使你們兩人都不受人譏議與怨恨。」內大臣私下對人說道：「我看如此反而安穩。她沒有特別關切的保護人，草草地入宮去度豪華的生涯，處境定多痛苦，我很替她擔心。我固然有心提拔她；然而弘徽殿女御正在承寵，教我如何下手呢？」這話說得有理：身在帝側，而恩寵不及別人，只當一個尋常宮女，不為帝所重視，畢竟是不幸的。新婚第三日之夜，舉行祝賀儀式，源氏太政大臣與新夫婦唱和詩歌，備極歡洽。內大臣聞此消息，方知源氏撫養玉鬘，確是一片好意，心中不勝感激。這件婚事雖然辦得十分秘密，但世人自會知道，並感興趣。輾轉流傳，變成了一件珍聞，轟動一時。不久冷泉帝也聞知了。他說：「可惜啊！這個人與我沒有宿緣。但既有為尚侍之志，不妨依舊入宮。尚侍不比女御、更衣，已嫁之人亦無不可。」
到了十一月，宮中祭祀典禮甚多，內侍所事務繁忙。典侍、掌侍等次級女官，頻頻到六條院來向尚侍請示，玉鬘的房中座上客滿，十分熱鬧。但髭黑大將白晝也不回去，在這裡東躲西閃，玉鬘很討厭他。許多失戀者之中，螢兵部卿親王尤為傷心。式部卿親王的兒子左兵衛督除了失戀之外，又因其姐為了玉鬘而被髭黑大將遺棄，為世人所取笑，所以加倍痛恨。然而他又想回來：事已如此，痛恨無益，反見其愚。髭黑大將原是個有名的忠厚長者，多年來從未有過輕薄好色的行為。然而現在完全變了樣，對玉鬘一往情深，其貪色之狀竟像另換了一個人。偷偷摸摸地宵來曉去，打扮成一個艷麗的風流男子，眾侍女看了都覺得好笑。玉鬘本性愉快活潑，但現在笑容盡斂，一味心思鬱結。此事本非出於她的心愿，乃眾所周知。然而她不知源氏太政大臣對此事做何感想。又回想螢兵部卿親王的深情厚誼，以及風流儒雅之狀，便覺自己可恥可惜，因此對髭黑大將一直沒有好感。
源氏太政大臣從前曾向玉鬘纏繞不清，惹起世人懷疑，如今證明了他的心地清白。他回思過去懸崖勒馬的事例，覺得自己是一個雖有一時衝動而能不越常軌的人。便對紫姬說：「你以前不是也懷疑我么？」但他自知習癖未除，到了熱戀不堪之時，難免任情而動，所以情思仍未斷絕。有一天晝間，他趁髭黑大將不在家時來到玉鬘房中。玉鬘近來心緒異常惡劣，精神萎靡，無有爽健之時。聽見源氏太政大臣來到，只得勉強起身，躲在帷屏後面接待。源氏此次特別用心，態度比往時略有改變，說的也是尋常應酬之言。玉鬘看慣了那個粗壯而凡俗的髭黑大將，一旦重見源氏這俊秀無比的姿態，想起自己際此意外之遭遇，便覺羞恥得置身無地，眼淚流個不住。說話漸漸親密起來。源氏將身靠在近旁的矮几上，一面說話，一面向帷屏內窺看。但見玉鬘芳容清減，而異常可愛，比以前更增艷麗，更覺百看不厭了。他想：「如此絕色佳人，而肯讓與他人，我也太慷慨了！」惋惜之餘，即席吟詩：
「未得同衾枕，常懷戀慕情。
誰知川上渡，援手是他人。
真乃意想不到之事啊！」舉手拭去鼻上的眼淚，神情十分優雅。玉鬘以袖遮面，答詩云：
「未向川邊渡，先沉淚海中。
微軀成泡沫，消失永無蹤。」
源氏說：「消失在淚海中，這想法未免太幼稚了。這且不談。那三途川是必經之路，你渡川時，至少讓我扶持你的指尖兒吧。」說著微微一笑。又說：「你現在想必已經明確知道了吧。像我這種誠實無比而又極可信賴的人，實在是世無其類的。你能了解，我便安心了。」玉鬘聽了這話，心中非常難過。源氏看她可憐，便把話頭轉向別處：「皇上盼望你入宮，你不遵命，是失禮的。你還得前往一行為是。女子被丈夫佔為己有之後，往往不便兼任公務。我當初替你定的計畫，本來不是這樣的。可是二條那位內大臣贊成這婚事，我也只得同意了。」輕言細語，娓娓不倦。玉鬘聽了又是感動，又是羞恥，只管淌著眼淚，默默不做一聲。源氏見她如此傷心，覺得不便任情罄談衷曲，只把入宮須知之事及事前應有之準備等教導了一番。看他的模樣，不會立刻允許玉鬘遷往髭黑大將邸內。
髭黑大將捨不得放玉鬘入宮。然而他有個打算：乘此機會，把她從宮中直接迎歸自己邸內。便允許她暫去即回。他不慣於偷偷摸摸地出入六條院，常常覺得痛苦，總想早日將玉鬘接回家去，便動工修葺邸宅。年來邸內荒蕪日久，所有設備大都破舊，現在一概重新置辦。正夫人為了他的薄情而悲傷，但他全不關心。本來疼愛的子女，現在也全不在他眼中了。若是略有幾分溫柔情懷的人，則不論所做何事，必能體諒旁人的心，勿使他們受到委屈。可是這位大將本性直率，劃一不二，行事突飛猛進，不顧一切。因此旁人為他受苦甚多。他的正妻人品並不遜於他人。講到出身，父親是高貴的親王，對這女兒愛護無微不至。世人對她十分尊敬。相貌也生得端正美麗。只是有一個異常頑固的鬼魂附纏著她，因此近年來態度與常人不同，往往失卻本性，形似瘋狂。因此夫婦之間的感情也久已疏遠。然而髭黑大將還是尊重她，視之為高貴無比的正夫人。直到最近遇見了玉鬘，才意外地變了心。他覺得玉鬘與眾不同，容貌之美遠勝他人。尤其是世人猜疑她與源氏太政大臣有染，終於證明了她是清白之身，因此更加珍愛她。這也是理之當然。
正夫人的父親式部卿親王聞知此事，說道：「事已如此，將來他把那個漂亮女人迎進來，大加寵愛，而教我的女兒屈居在角落裡，豈不被人恥笑？只要我一息尚存，我的女兒就沒有必要含羞忍辱地依人籬下。」便把邸宅東面的廂屋加以整飾，想把女兒接回家來。女兒則以為雖然是娘家，但既是已嫁之身，而重新回來依靠父母，終非長策。煩惱之餘，心情更惡，便病倒了。此人本性柔順，心地善良，態度天真爛漫。但因心病不時發作，以致常常被人疏遠。她房中器物零亂，灰塵堆積，沒有一塊清凈之處，滿目凄涼之色。髭黑大將看慣了玉鬘所居瓊樓玉宇，看了她的房間覺得不堪入目。但因長年夫妻之情尚在，心中覺得非常可憐。對她說道：「即使是結婚數日、交情極淺的夫妻，凡是良家出身的人，都能互相體諒，相與白頭偕老。你身體很不健康，因此我有欲說的話，難於向你啟口。你我不是多年相契的老夫妻么？你的病狀異乎尋常，但我一向對你照顧周到，含容隱忍，直到今朝。但願你也善始善終，對我勿萌厭棄之念。我常對你說：我們已有子女，在無論何種情況之下，我決不疏遠你。你卻懷著婦人之見，一直無緣無故地怨恨我。在你尚未確知我的真心期間，難怪你要恨我。但現在請你暫時任我所為，且看結果如何。岳父聞知我的事情，憤怒之餘，斷然地要把你接回娘家去，這樣做其實太輕率了。不知道他是真有決心呢，還是暫用這話來懲誡我？」說到這裡笑起來。夫人聽了這番話非常懊惱。多年在邸內當差而形似側室的侍女木工君、中將君等人聽了，也各自懷著憤憤不平之感。可巧夫人這幾天精神恢複正常，她哭得非常傷心，答道：「你罵我昏聵，笑我乖僻，我罪屬應得。但你涉及我父親之事，被他聽到了叫我何以為顏？為了我這不幸之身，使父親受到了輕率的譏評！你那勾當，我早已聞知，不是今天初次聽到，所以不會悲傷的。」說著背轉身去，姿態優美可愛。這位夫人身材本來小巧，由於經常患病，更見消瘦憔悴，有弱不禁風之狀。頭髮本來既密且長，現在疏疏落落，好像被人分了一部分去。加之櫛沐久缺，淚雨常沾，更覺十分可憐。她本來就沒有嬌艷之相。但酷肖乃父，容貌昳麗；只是病中不暇修飾，所以全無華麗之色。髭黑大將對她說道：「我怎敢譏評岳父？你不可說這種喪失禮貌而有損名譽的話！」他用這話安慰她，又說：「近來我常去的那個地方，非常豪華，有似瓊樓玉宇。像