柴紹倉皇的從李休那裡逃回城中，看到背後的平陽公主沒有追來時，這才終於鬆了口氣，不過緊接著又開始擔心起來，因為他知道平陽公主肯定不會善罷干休，如果她去陛下那裡去告狀的話，恐怕他就要倒大霉了。
想到這裡，柴紹立刻開始思考起對策來，不過他卻根本無法阻止平陽公主進宮，只能在自己這邊想辦法，結果想來想去，只想到一個向別人求助的辦法，可是滿朝文武之中，有能力幫他的只有太子或秦王，秦王不在長安，也就只剩下太子了。
相比之下，柴紹與李建成的關係很一般，畢竟他是武將，以前也在李世民手下效力，所以他與李世民的關係還算好一點，不過現在卻是沒辦法，只能硬著頭皮去求李建成了。
柴紹一邊往東宮的方向趕，一邊在心中大罵那個馮侍郎不會辦事，如果他直接衝進李休家中把對方抓出來，使得平陽公主根本來不及反應的話，恐怕他就不會這麼狼狽了。可憐柴紹到現在都不知道，李休家中還有兩個郡王，如果馮侍郎的不知死活的直接衝進去，恐怕那些東宮衛士早讓他們屍橫滿地了。
柴紹馬不停蹄的跑到東宮大門前，然後報上名未見，本以為就算自己和李建成的關係一般，但對方肯定會見一見自己，可是讓他沒想到的是，他在門外等了半天，最後卻只出來一個駝背的老內侍，滿是松垮皺紋的臉上一臉冷漠的道：「霍國公請回吧，太子今日有事，不便見外客！」
「什麼？你們到底通報了沒有，太子怎麼會不見我？」柴紹聽到這裡卻是勃然大怒道，他好歹也是李建成的妹夫，而且還親自前來拜訪，現在卻連門都進不去，這也太不給面子了吧？
「霍國公請回，這是太子親口吩咐的，另外太子讓老奴轉告國公，安陸郡王這段時間一直在李祭酒府上求學，希望霍國公好自為之！」老內侍這時再次慢悠悠的道，說完也不理會柴紹的反應，轉過身一步三搖的離開了。
「什麼！這……這怎麼可能？」柴紹聽到老內侍的話卻是呆若木雞的站在那裡，兩隻眼睛也失去了焦距，他這時終於想明白了在平陽公主趕到李休家之前，那些衝出的衛士是什麼人，原來他們都是保護李承道的宮中禁衛，難怪他會感覺那些眼熟，可惜現在明白這些卻已經太晚了。
馮侍郎的那些侍衛被宮中禁衛狂毆之時，這些禁衛已經派人進宮，把那邊的事情稟報給了東宮，所以李建成才會知道的如此清楚，而且李承道還吩咐報信的人說自己差點受傷，這讓李建成也是大為惱火，這時也正是生柴紹的氣，把他拒之門外已經算是客氣的了。
柴紹失魂落魄的離開了東宮，在大街轉了半天也不知道去哪，最後無奈的回到家中，然後把自己關在書房裡苦思對策，可惜想來想去卻沒能想出對應的辦法，只能被動的等待朝廷的懲罰。
李淵那天雖然拒絕了平陽公主與柴紹和離的請求，但是看到這個最寵愛的女兒傷心的離去，心中也十分的愧疚，最後這種愧疚也轉化為對柴紹的怒火，最先倒霉的是那個馮侍郎，先是被免官撤職，然後又被人查出中飽私囊，結果被抓到刑部的大牢之中。
柴紹作為這件事的幕後兇手，自然也沒逃過懲罰，幾天之後，一道聖旨從宮中發往柴紹府中，這道聖旨的內容很短，直接免去了柴紹的右驍衛大將軍一職，罰俸三年，還讓他閉門思過一個月，也沒說什麼理由，畢竟像這種涉及到皇族內部矛盾的事，一向都不會公開，反正被懲罰的人自己知道原因，也不敢有什麼意見。
柴紹接到這道免職的聖旨後不禁眉頭緊鎖，罰俸和閉門思過都無關輕重，唯獨免去了他的大將軍有些嚴重，畢竟這樣一來，他就成為一個沒有實權的貴族，說話的份量也會大為減輕，如果換成其它官員的話，幾乎相當於被就地免職，日後都不可能有再復起的希望，整個人的仕途也就此毀了。
不過李淵雖然免去了柴紹的實際官職，但卻沒有動他霍國公的爵位，這讓柴紹從中品味到一絲希望，這說明李淵並不是真的想要把他徹底冷藏，而是給他一個嚴重的警告，日後很有可能會再次啟用他，畢竟他背後還有一個根基深厚的家族，絕不是一般的官員可比。
想到上面這些，柴紹也不由得鬆了口氣，李淵的懲罰雖重，但至少還給他留了一絲希望，只要他這段時間表現的老實一點，不要再去招惹平陽公主就行了，特別是等到過年時，他再借這個機會進宮向李淵認個錯，估計這件事也就過去了。
抱著上面的想法，柴紹老老實實的在家呆了一個月，他是個喜歡熱鬧的人，每天被關在家裡簡直就是種折磨，不過為了不惹李淵生氣，他還是強忍著在家裡呆了整整一個月，甚至在閉門思過期滿之後，他也盡量的減少外出，營造出一種深居簡出的樣子。
柴紹最常去的地方是長安東市附近一家賭場，名叫東安賭場，雖然大唐禁賭，但長安城大大小小的賭場卻有幾十個，東安賭場算是其中最大的一個，而且這家賭場表面上是一個外地的商人所開，但實際上的控制人卻是柴紹。
柴紹好賭，這幾乎是所有武將的通病，當初還是前隋時，他還是大隋的千牛備身之時，就經常與一幫貴族子弟聚賭，而且他比一般的貴族子弟有腦子，在看到賭博所獲之利巨大時，他想到了親自開賭場，這家東安賭場就是他年輕時開辦的。
後來因為戰亂，東安賭場一度關閉，不過等到大唐成立後，柴紹也功成名就，於是就把這家賭場再次開了起來，並且一躍成為長安城中最大的賭場，有了這家東安賭場，一來方便柴紹自己玩，二來也為柴家輸送了大量的錢財，所以柴紹對這些也頗為重視，以前每隔幾天都來玩幾把，即過了賭癮又能順便巡視一下這裡。
不過柴紹雖然好賭，但卻不是像爛狗皮那樣的濫賭鬼，而且他也不會像一般賭客那樣在大堂里玩，事實上像他這種好賭的貴族並不在少數，所以每天都會有不少貴族去賭場，這些貴族們一般都是在賭場特定的包間里玩，所以柴紹根本不用擔心缺少賭友。
閉門思過結束後，柴紹第一時間就去了東安賭場那裡玩了幾把，接下來的一段時間裡，他也沒有去其它地方，只有犯了賭癮時才會來東安賭場玩兩把，對於他們這種人來說，輸贏已經不重要的，玩的就是一個心跳。
這天柴紹再次來到東安賭場，這座賭場就在東市旁邊勝業坊中，佔地的規模極大，從外表來看，恐怕不知情的人會以為這裡是哪家貴族的別院，但是進到裡面就會看到一座十分廣闊的大廳，大廳里按照賭博方式的不同，被劃分為不同的區域，每個區域里都擠滿了人，到處都是輸紅眼的賭徒在嘶吼。
在這個巨大的賭場里，每天都有人輸的傾家蕩產，甚至更有輸紅眼的人把妻兒都輸給了別人，更有人向賭場借貸卻還不上，結果被賭場的打手當場砍掉了手腳，可以說這裡簡直就是一個巨大的食人窟，但每天卻依然有無數人心甘情願的跳下來。
柴紹傍晚時分來到東安賭場後，先是習慣性的在大廳里轉了一圈，感受到大廳里那種狂熱的氣氛，這讓他也不禁有些熱血沸騰，同時手也更癢了，當下來到大廳的後面，這裡是賭場的包間，只有那些有錢有身份的人才能進來。
「老爺，今天有幾位大賭客來了，每人都帶著大批的賭資，您要不要玩幾把？」柴紹剛一來到這裡，立刻有個華服中年人一臉諂媚的湊上來道，這個中年人姓劉，因為少了一根手指頭，所以人稱「九指劉」，明面上他是這個賭場的主人，但其實他卻是柴紹的家奴。
「哦？那我可要見識一番！」柴紹正感覺手癢難耐，而且他一向喜歡豪賭，每次來這裡，九指劉都會給他安排幾個大賭客讓他過過手癮，這次自然也不例外。
當下九指劉引著柴紹來到一處單獨的小房間里，當進到裡面時，只見裡面已經坐了三個人，而且每個人頭上都戴著一頂特製的帽子，帽子上的薄紗剛好把他們的臉擋住，但卻又不影響他們的視線，身上也穿著寬大的衣服，讓人看不清他們的身形。
賭博畢竟不是件光彩的事，更何況還是朝廷明令禁止的，所以來賭場的貴族一般不喜歡暴露身份，名利被人抓住把柄，因此賭場也慢慢的形成一條不成文的規矩，那就是來這裡的客人可以把臉遮擋起來，只需要帶上足夠的賭資就可以放開大玩了。
柴紹是這裡的主人，這幾乎已經是個公開的秘密了，而且柴紹的底子夠硬，根本不怕被人抓住把柄，事實上就算有人把他聚賭的事捅上去，李淵也不會因為這點小事怪罪他，比如以前柴紹來這裡時，從來不喜歡戴面紗，這也是他的底氣，不過現在情況特殊，因此進來時也戴上了特製的帽子。
來這裡的貴族都是過賭癮的，所以柴紹進來後也沒有廢話，直接宣布賭局開始，說來有趣，柴紹雖然恨極了李休，但是在賭博時卻喜歡玩李休搞出來的紙牌，這場賭局也同樣如此，四人玩的是一種類似後世拖拉機的玩法，只是在規則上有些不同。
柴紹今天的運氣很一般，剛開始還贏了幾把，可是後面卻