柴绍仓皇的从李休那里逃回城中，看到背后的平阳公主没有追来时，这才终于松了口气，不过紧接着又开始担心起来，因为他知道平阳公主肯定不会善罢干休，如果她去陛下那里去告状的话，恐怕他就要倒大霉了。
想到这里，柴绍立刻开始思考起对策来，不过他却根本无法阻止平阳公主进宫，只能在自己这边想办法，结果想来想去，只想到一个向别人求助的办法，可是满朝文武之中，有能力帮他的只有太子或秦王，秦王不在长安，也就只剩下太子了。
相比之下，柴绍与李建成的关系很一般，毕竟他是武将，以前也在李世民手下效力，所以他与李世民的关系还算好一点，不过现在却是没办法，只能硬着头皮去求李建成了。
柴绍一边往东宫的方向赶，一边在心中大骂那个冯侍郎不会办事，如果他直接冲进李休家中把对方抓出来，使得平阳公主根本来不及反应的话，恐怕他就不会这么狼狈了。可怜柴绍到现在都不知道，李休家中还有两个郡王，如果冯侍郎的不知死活的直接冲进去，恐怕那些东宫卫士早让他们尸横满地了。
柴绍马不停蹄的跑到东宫大门前，然后报上名未见，本以为就算自己和李建成的关系一般，但对方肯定会见一见自己，可是让他没想到的是，他在门外等了半天，最后却只出来一个驼背的老内侍，满是松垮皱纹的脸上一脸冷漠的道：“霍国公请回吧，太子今日有事，不便见外客！”
“什么？你们到底通报了没有，太子怎么会不见我？”柴绍听到这里却是勃然大怒道，他好歹也是李建成的妹夫，而且还亲自前来拜访，现在却连门都进不去，这也太不给面子了吧？
“霍国公请回，这是太子亲口吩咐的，另外太子让老奴转告国公，安陆郡王这段时间一直在李祭酒府上求学，希望霍国公好自为之！”老内侍这时再次慢悠悠的道，说完也不理会柴绍的反应，转过身一步三摇的离开了。
“什么！这……这怎么可能？”柴绍听到老内侍的话却是呆若木鸡的站在那里，两只眼睛也失去了焦距，他这时终于想明白了在平阳公主赶到李休家之前，那些冲出的卫士是什么人，原来他们都是保护李承道的宫中禁卫，难怪他会感觉那些眼熟，可惜现在明白这些却已经太晚了。
冯侍郎的那些侍卫被宫中禁卫狂殴之时，这些禁卫已经派人进宫，把那边的事情禀报给了东宫，所以李建成才会知道的如此清楚，而且李承道还吩咐报信的人说自己差点受伤，这让李建成也是大为恼火，这时也正是生柴绍的气，把他拒之门外已经算是客气的了。
柴绍失魂落魄的离开了东宫，在大街转了半天也不知道去哪，最后无奈的回到家中，然后把自己关在书房里苦思对策，可惜想来想去却没能想出对应的办法，只能被动的等待朝廷的惩罚。
李渊那天虽然拒绝了平阳公主与柴绍和离的请求，但是看到这个最宠爱的女儿伤心的离去，心中也十分的愧疚，最后这种愧疚也转化为对柴绍的怒火，最先倒霉的是那个冯侍郎，先是被免官撤职，然后又被人查出中饱私囊，结果被抓到刑部的大牢之中。
柴绍做为这件事的幕后凶手，自然也没逃过惩罚，几天之后，一道圣旨从宫中发往柴绍府中，这道圣旨的内容很短，直接免去了柴绍的右骁卫大将军一职，罚俸三年，还让他闭门思过一个月，也没说什么理由，毕竟像这种涉及到皇族内部矛盾的事，一向都不会公开，反正被惩罚的人自己知道原因，也不敢有什么意见。
柴绍接到这道免职的圣旨后不禁眉头紧锁，罚俸和闭门思过都无关轻重，唯独免去了他的大将军有些严重，毕竟这样一来，他就成为一个没有实权的贵族，说话的份量也会大为减轻，如果换成其它官员的话，几乎相当于被就地免职，日后都不可能有再复起的希望，整个人的仕途也就此毁了。
不过李渊虽然免去了柴绍的实际官职，但却没有动他霍国公的爵位，这让柴绍从中品味到一丝希望，这说明李渊并不是真的想要把他彻底冷藏，而是给他一个严重的警告，日后很有可能会再次启用他，毕竟他背后还有一个根基深厚的家族，绝不是一般的官员可比。
想到上面这些，柴绍也不由得松了口气，李渊的惩罚虽重，但至少还给他留了一丝希望，只要他这段时间表现的老实一点，不要再去招惹平阳公主就行了，特别是等到过年时，他再借这个机会进宫向李渊认个错，估计这件事也就过去了。
抱着上面的想法，柴绍老老实实的在家呆了一个月，他是个喜欢热闹的人，每天被关在家里简直就是种折磨，不过为了不惹李渊生气，他还是强忍着在家里呆了整整一个月，甚至在闭门思过期满之后，他也尽量的减少外出，营造出一种深居简出的样子。
柴绍最常去的地方是长安东市附近一家赌场，名叫东安赌场，虽然大唐禁赌，但长安城大大小小的赌场却有几十个，东安赌场算是其中最大的一个，而且这家赌场表面上是一个外地的商人所开，但实际上的控制人却是柴绍。
柴绍好赌，这几乎是所有武将的通病，当初还是前隋时，他还是大隋的千牛备身之时，就经常与一帮贵族子弟聚赌，而且他比一般的贵族子弟有脑子，在看到赌博所获之利巨大时，他想到了亲自开赌场，这家东安赌场就是他年轻时开办的。
后来因为战乱，东安赌场一度关闭，不过等到大唐成立后，柴绍也功成名就，于是就把这家赌场再次开了起来，并且一跃成为长安城中最大的赌场，有了这家东安赌场，一来方便柴绍自己玩，二来也为柴家输送了大量的钱财，所以柴绍对这些也颇为重视，以前每隔几天都来玩几把，即过了赌瘾又能顺便巡视一下这里。
不过柴绍虽然好赌，但却不是像烂狗皮那样的烂赌鬼，而且他也不会像一般赌客那样在大堂里玩，事实上像他这种好赌的贵族并不在少数，所以每天都会有不少贵族去赌场，这些贵族们一般都是在赌场特定的包间里玩，所以柴绍根本不用担心缺少赌友。