回到長安，匡衡行裝剛卸，石顯便來拜訪了。
慰問寒暄，有好一會的周旋。談到此行的結果，匡衡嘆口氣，將經過情形，細細說了一遍，石顯臉色大變，聽完，久久不語。
「石公，你覺得很意外吧？」
「唉！」石顯嘆口氣：「呼韓邪居然這樣子不通人情！實在想不到。」
「真可謂之為翻臉無情。」匡衡說道：「最令人不解的是，談得好好的，轉個背，馬上就變了！我看其中必定有人搗鬼。」
「有人搗鬼？」
「是，我想是毛延壽。」
石顯也是這麼想的，但在匡衡面前卻不能承認，因為準毛延壽隨呼韓邪而去，是出於石顯的主意。而今毛延壽甘為漢奸，他就得負主要責任，所以否認其事。
「不會，不會！必是史衡之的花樣。」他又叮囑：「匡公，明天見駕，不必提毛延壽的事。」
匡衡點點頭，卻又問道：「如果皇上問起毛延壽，我怎麼說？」
石顯想了一下答說：「果然問起，你只說毛延壽病得快要死了。」
這一夜石顯幾乎通宵不寐。想來想去，用兵一事，畢竟不妥。因為自他代掌少府之後，方始發覺，財用不足，遠征即令能夠成功，亦已大傷元氣，還是以和為貴。
皇帝是在便殿延見匡衡，聽取報告之後，手擊御案，大發雷霆：「是可忍，孰不可忍？」
他斷然決然地說：「只有用兵了！」
「請皇上三思！」匡衡奏諫：「兵凶戰危。」
「臣等又何嘗不想大張撻伐，宣揚國威？無奈，」石顯很吃力地說：「此非用兵之時。」
「為什麼不是用兵之時？」
「戰備不足，財用未充。而況雨雪載途，調兵困難。」
「是的。」匡衡介面說道：「臣亦以為天時、地利、皆於我不利。」
「哼！」皇帝冷笑：「我看最不利的是人和。我告訴你們，我決不能受辱！若說雨雪載途，調兵困難，那就在來年春天發兵好了。」
石顯鬆了一口氣。來年春天還早，到時候再看情形說話。
辭出殿去，石顯立即關照僚屬，大設酒宴，邀請朝貴聚會。這一次，匡衡作了很詳細的報告。除了呼韓邪的態度以外，還有一路的見聞，主要的是呼韓邪在軍事方面的部署。照他的看法，仗是打不起來的，但如不加安撫，逼成僵局，事情就很難說了。
應邀的賓客，有些長於軍事，有些熟悉邊情，這兩類人發言最多，問了匡衡許多話。會中雖然未作結論，但一直在細心傾聽而很少開口的石顯，卻有一個相當精確的估計：至少有一半的人，認為呼韓邪既然只是虛言恫嚇，並無甘冒戰火的決心，則漢朝即不宜輕言發兵。
另外一半，又分成兩派：一派完全站在皇帝的這一面，覺得呼韓邪忘恩負義，驕慢自大，應該興師問罪；一派則以為伸張國威，亦非用兵不可，但要值得一戰。為了一個婦人而以兵戎相見，則師出無名，未戰先就輸了一著。
總結起來，可以說是不主張在此時開戰的，佔了極大多數。當然，果真召集廷議，可能會有人改變了論調。而石顯心裡有數，即令在座的人，在皇帝面前不改口，亦不宜召集廷議，因為那只有逼得皇帝憤懣莫釋，一意孤行。
「石公，」匡衡悄悄問道：「今日之會，公意具見，是不是該奏聞皇上？」
「不是！」石顯以同樣低的聲音答說：「應該奏聞皇太后。」
仍然是經由馮婕妤這條路子，將這件大事傳入太后耳中。
附帶還有一個請求，希望太后婉言勸導皇帝，避免用命令的語氣。
太后接納了請求，所以採取比較緩和的手段。先派人偵察皇帝的動靜，得到的報告是，皇帝終夜徘徊，口中念念有詞，對和戰大計，頗難決斷。
既然如此，正宜及時勸阻。於是等皇帝照例朝見省視之時，以慈愛的口吻問道：「聽說你這兩天，晚上總睡不好，中夜還起身徘徊，到底是甚事讓你為難？」
「呼韓邪無禮，想來母后已經知道了？」
「是啊！這件事該有個處置。」
「正是如此。兒臣就為了考慮和戰，所以晚上睡不好。」
「那麼考慮定了沒有呢？」
「大計難決。」皇帝答說：「還要召集廷議。」
「你看文武群臣是主戰的多，還是主和的多。」
「這，這很難說。」
「我勸你還是不要召集廷議的好。」太后問說：「其中的道理你明白不明白？」
太后有一番解釋。照她的估計，臣下主和的多，不必召集延議，便可斷定。皇帝如果尊重公意，則無須經過廷議，徑自照大家的意思去做，豈不更顯得英明。
聽完這幾句話，皇帝好半晌作聲不得。他心裡也明白，太后勸他不必召集廷議，是為了廷議如果主和，他必不肯聽從。
那一來就會引起極大的波瀾，決非國家之福。
當然，如果主戰的人多，則經過廷議，師出有名，自己在此刻可以很響亮地說一句：「請放心，一定照延議辦！」無奈，這一層並無把握，就說不起硬話了。
「人生在世，不管什麼身份，都會有不如意的事，全靠自己善於譬解，才能消除煩惱。皇帝，」太后語重心長地說：「你要想想你的責任！」
「是。」皇帝低頭答應著。欲言又止地，始終沒有一個確實的答覆。
於是太后催問：「你覺得我的話怎麼樣？」
「母后的訓示自當遵從。不過，」皇帝很吃力地說：「和也很難。」
「怎麼難法？」
「講和不是投降？」
「誰要你投降？」太后說道：「呼韓邪再無禮，也不至如此狂妄。」
「即非投降，受辱是一樣的。」
「這，我就不明白了！和親怎麼說是受辱？如以為門不當，戶不對，漢家的長公主下嫁匈奴是失了面子，那也不是今天才有的事。」
「是！」皇帝忽然想到一個說法，理直氣壯了：「昭君已受了明妃的封號，豈可再遣出塞外？以漢宮的妃嬪，而為單于的閼氏，有辱國體。」
這話說得太后一愕。「我們沒有想到這一層。」她沉吟了好一會，突然問道：「皇帝，你是說，你之不願送昭君出塞，是為了保全國家的體面，而不是你自己捨不得昭君？」
「是！」皇帝很響亮地答應著。
「好！」太后沉著地點點頭：「我總想得出法子。」
皇帝不知道太后有何善策？設身處地去想了又想，認為太后不會想出什麼好法，昭君是一定可以留下來了！如今之計，只是如何安撫呼韓邪而已。
「除了割地，什麼都好辦！」他自語著。立即宣石顯和匡衡，說了自己的決定，讓他們去籌劃，如何再去跟呼韓邪講和。
誰知到了第二天，建章宮中起了極大的變化。
所得到的報告，王昭君已經不在建章宮中。來報的是一名太監。由於昭君不喜太監執役，除了一天一次洒掃殿廷，以及粗重工作為宮女力弱所不勝，方始傳喚太監入內以外，平時只能在殿門以外待命。所以這名太監只見到箱籠移出宮外，昭君眼淚汪汪地上了車，此外，即無所知。
皇帝自然著急，不知昭君因何移居，移到何處，來接的車輛又是奉何人所派？這一切疑團，派周祥去一問，自然立即就可明白。而皇帝仍覺得一來一往，多費周折，不如直截了當，親自去查問。
「命駕建章宮！」皇帝囑咐：「要快。」
要快就不能傳集應有的隨從。周祥知道皇帝的心境，弄來一輛安車，讓皇帝坐上以後，親自執轡，很快地趕到了。
建章宮平靜如常，但一進了殿門，立刻就感覺到了。因為有一架鸚鵡，調教得極其伶俐，平時一見皇帝駕到，就會一聲聲呼喚：「明妃接駕！」此時聲息不聞。而且抬眼搜索，也看不到彩羽朱喙了。
來接駕的是秀春。她行禮未畢時，皇帝便即開口問了：「明妃呢？」
「奉懿旨，遷回掖庭了。」
「遷回掖庭？」皇帝越發驚詫：「你沒有聽錯吧？莫非遷到上林苑？」
「回皇上的話，是掖庭。」
「誰來傳的旨？掖庭令？」
「不！是馮婕妤。」秀春又說：「不過隨後，掖庭令就來照料了。」
何以派馮婕妤來傳懿旨？皇帝深為不解。不過送掖庭而非送上林苑，卻不一定是壞事。因為這至少表示，太后並沒有將韓文換回來，仍舊以昭君為寧胡長公主的打算。
「我再問你，馮婕妤可還說了些什麼？」
問到這話，秀春便想起馮婕妤冷峻的臉色，遂即答道：「除了傳懿旨以外，一個字也沒多說。」
「明妃呢？有什麼話？」
「除了謝恩以外，另外沒有說話。」
「也不問問，皇太后為什麼讓她遷回掖庭？」