國丈王仁皎時任將作大匠，這些年把主要精力用在興慶宮的建造之上。興慶坊改作興慶宮，其原有建築基本上全部拆除，工程量可謂浩大無比。王仁皎看罷興慶宮的建設圖樣，又聽皇帝言及「花萼相輝樓」和「勤政務本樓」，深知皇帝最為關切此二樓，遂督促將作監加速建設。轉眼到了開元四年的春天，「花萼相輝樓」建造成功，「勤政務本樓」也初具大致模樣。為了裝點「花萼相輝樓」四周景物，王仁皎從全國各地移來奇樹名花，錯落有致地種植在此樓的周圍。初春的風兒拂過，可聞清香撲鼻，園中花樹上的花萼粉嫩相依，確實合了「花萼相輝」之意。
王仁皎數次促請李隆基觀摩「花萼相輝樓」，某一日陽光明媚，李隆基忽然興起出外舒展筋骨之意，遂派人喚來王仁皎，令其帶同前往興慶宮視察。
太極宮與大明宮皆有夾道相連，並與四方城牆相通，王仁皎此次又在興慶宮修建夾道與東城牆聯為一體，則李隆基自太極宮乘輿從夾道中即可到達興慶宮。
李隆基登上「花萼相輝樓」，縱目四觀，就見與其相對的「勤政務本樓」已初具模樣，其他的一些殿堂也出了地面，不免有些凌亂之感；然此樓周圍花木蔥蘢，實為一個幽靜而雅緻的所在，心中就大為滿意。
王仁皎稟道：「陛下，整個興慶宮全部建成，大約還需三年的時日。如今國家草創時期，臣不敢多添勞力，以致耽擱了時日。」
李隆基贊道：「好嘛，你能體會朕意，不擾百姓，實為好事。太極殿雖有些舊，畢竟還能住人，也不急在這一時。這『花萼相輝樓』建得不錯，即使其他地方建造未成，朕也可以在此宴飲兄弟嘛。」
李隆基說到這裡，忽然勾起心事：此樓雖建好，然兄弟們散歸各處，又如何能宴飲相聚呢？
他此後悶然回到太極殿，讓高力士喚來姚崇說話。
李隆基道：「朕剛才到興慶宮走了一圈，有些觸景生情啊。」
姚崇摸不著頭腦，心想興慶宮那裡建設正酣，又有什麼好景了？
李隆基接著道：「朕前天去見太上皇，太上皇忽然問起寧王他們。朕今日到了興慶宮，頓時想起昔日『五王宅』兄弟相聚的情景，如今物在人非，兄弟們星散四方，朕心中滋味很不好呀。」
姚崇恍然大悟，心中暗想當初讓諸王出京分赴各地，那是為保皇權而採取的預防手段。然皇帝如今的口吻中，似乎讓他們兄弟分離，分明是姚崇挑的事兒。姚崇心中不禁苦笑：誰讓自己處此位置呢？那麼貶功臣散兄弟的惡名，只好自己坦然擔當罷了。姚崇想到這裡，急忙答道：「陛下仁孝且友悌兄弟，此為天下皆知的事兒。新春過後，寧王等新宅皆已建成，且與興慶宮毗鄰，臣以為，可宣寧王等人返京，從此與陛下旦夕一起，與太上皇共享天倫之樂。」
李隆基頷首道：「朕召你過來，就是想辦這件事兒。朕前日去見太上皇，覺得父皇的身子骨一日不似一日，若兄弟們皆侍奉在父皇周圍，說不定父皇的身子骨會大好起來。」
姚崇知道，經過此前數年來君臣努力，國勢逐漸恢複且平穩，李隆基的皇權已至高無上，幾無可撼動之人。當此時機，若令諸王返京，其與李隆基的皇權無礙，且能周全李隆基的名聲，殊為好事。
此事於是被定了下來。
李隆基又問道：「姚卿，張嘉貞為相，可堪為托嗎？」
姚崇道：「陛下欽定之人，焉能不堪？只是嘉貞性格簡疏，且太信他人，行事不免有些毛糙，容易誤事。臣知其短，已數次直言相勸，相信其歷練一些時日，當有進步。」
李隆基前一夜忽發奇想，由此將一個不知名之人擢為相職，如此簡拔方式和授任過程實在有點過於簡單。他聞姚崇之言笑道：「若張嘉貞完美無比，他就不宜居此相位。姚卿，萬事皆由你主持，所謂綠葉紅花，張嘉貞無非綠葉而已。朕之所以選他，緣由於此。」
姚崇如今已明白李隆基任用宰相的大致脈絡。歷來相權作為皇權的延伸，按說兩者的目的是統一的，只要相權服從於皇權，國家可以依序施政。然歷史上也曾經有過這樣的例子，即相權過於強大，漸漸侵凌皇權，二者由此產生了矛盾。所以大唐立國以來，太宗皇帝設立政事堂，如三師三公、三省長官乃至「參知政事」、「同中書門下三品」、「同中書門下平章事」頭銜的低品級官員，皆為宰相職，皆可入政事堂議事。唐太宗這樣做固然有集思廣益、大事仍由皇帝定奪的目的，其中也有讓宰相們互相制衡的考慮。李隆基如今廢除政事堂議事的成例，轉而極大地擴大主要宰相的相權，此舉可以改變政事堂議而不決的弊病，也表現出其對主要宰相的無限信任。
姚崇於是又感恩一番，隨後辭去。
旬日之後，寧王李憲諸兄弟奉詔返回京城，李隆基在兄弟們歸齊之後，即在「花萼相輝樓」擺起宴席，以為洗塵。
是夜樓外暗香浮動，紅桂、木蘭及月桂樹之異香被微風所裹挾，輕輕漫入紗窗進入樓內。「花萼相輝樓」向南不遠，有一片無垠的水面，即是昔日湧泉而成的隆慶池，如今為避李隆基名諱，改稱為興慶池。水面中心的島亭中，斑斑點點掛有數串紅燈籠，憑欄望去，就見那微風中微微晃動的燈籠與池中的微瀾相映，將近旁的花樹、奇香帶動起來，形成了一幅動態的圖畫。
李隆基雖為皇帝，在此席中仍推大哥坐在首席，其舉盞祝道：「國家草創之際，為綏四方安定，只好委屈兄弟們代朕四方鎮守。來，請飲盡此盞，聊慰兄弟們奔波之勞。」
李憲等四兄弟心如明鏡，他們出京後雖有刺史之名，然州務皆由本州長史署理，朝廷明文不許他們妄加過問，則此數年日子，無非以閑極無聊來打發時間。李隆基現在說他們鎮守四方，分明為鬼話。然李隆基已非昔日的三郎，而是手操天下任何人生殺大權的皇帝，他們心間早就生出了恐懼之心，遂小心地飲盡盞中之酒。
李隆基又揮手一指，說道：「朕建此樓，即為兄弟相親之意。今後我等兄弟侍奉父皇之餘，每旬日可以來此聚樂一回。唉，這些年每思兄弟們，惜不能聚齊，實為遺憾之事。」
李憲舉盞說道：「陛下初登基之時，動輒邀兄弟入宮聚會，且同榻而眠；如今國事繁重，猶不忘兄弟，造此樓以彰兄弟之情。有史以來，難有如陛下這樣友愛兄弟的皇帝。來，我代兄弟們敬陛下一盞。」
李隆基揮手制止道：「大哥，我們今後在朝堂之上，可以君臣相稱；若遇如此家宴之時，還是兄弟相稱最好。大哥，我們兄弟同飲此盞吧。」
其他人聞言，當然舉盞飲盡。
李隆基又道：「兄弟們入京之後，還要替朝廷出力。明日我與姚公商議一下，要依各位兄弟的特長安排重職。天下雖已承平，然不可懈怠，此為我家天下，還要加倍努力才是。」
李憲等四兄弟在此漫長的放逐日子裡，有一件事兒皆想得無比明白，即是今後說什麼也不能再任朝中的實職了。李隆基此前曾針對功臣以東漢為例，說過「南陽故人，優閑自保」之語，他們認為也適用於自己。若從此不過問朝中之事，作為藩王有優厚的食封，從此優哉游哉，豈不暢快？
李憲與三位弟弟對了一下眼神，然後庄重說道：「三弟，我等酒宴之前曾一起說過，今後有藩王之身則足矣，從此遠離朝政之事，至於授職之事，今後不用再提。」
李范三人重重點頭，說道：「就是這樣。」
李隆基又虛讓一番，看到兄弟們咬緊牙關堅決不允，也就住口不提。
是夜兄弟五人飲酒甚宏，至深夜時方盡歡而散。
卻說李隆基兄弟五人在「花萼相輝樓」頻頻舉盞的時候，姚崇在中書省衙內掌燈辦公。
是時民眾崇佛者甚多，人們稍有錢財，往往發願建寺。開元初年，長安有寺四百餘所，李隆基鑒於此狀，認為若建寺太多不利於恢複農事，遂下敕道：「自今所在毋得創建佛寺；舊寺頹壞應葺者，詣有司陳牒檢視，然後聽之。」近年由於連年大熟，一些地方又復建新寺的苗頭，姚崇當然不允許故態復萌，遂擬出措辭嚴厲的牒文發往各地，並令御史台派出巡察使到各地糾察。
辦完了這件事兒，姚崇又認真閱讀張守珪的奏章。今春之後，張守珪已將營州治所前挪到大凌河一帶，契丹人內部失和紛爭不已，由此失去了進攻的勢頭。姚崇閱書至此，起身拍案贊道：「好哇，果然有猛將風範。哈哈，郭虔權的眼光奇准，這一次沒有看走了眼。」
中書舍人齊瀚今天值日，其時侍立一旁。看到姚崇如此高興，不明所以，遂小心問道：「姚公如此高興，莫非郭都督又有勝仗了？」
姚崇道：「郭虔權前次擒殺默啜之子，已大斂默啜的氣焰，則近期西北無戰事。我今日之所以高興，緣於他當初向聖上舉薦張守珪，由此我朝又有了一員猛將。」
去歲冬末，默啜故技重使，欲趁著惡劣天氣去偷襲輪台。郭虔權早有防備，固守輪台城並不出戰，令突厥人感到唐兵