內閣正式改組，張志潭代表直系，王迺斌代表奉系，在靳內閣分別接長內務及農商。舊交通系復起，周自齊、葉恭綽聯翩入閣，一長財政，一接交通。外交總長顧惠慶接任，到部第一件公事是行文使節團，要求交出安福「十禍首」。
使節團召集會議，決定各自答覆。各國公使都照會外交部，說並未收留徐樹錚等人，唯獨日本公使館不覆。於是外交部直接照會小幡，詢問曾否收留「禍首」？
小幡覆照承認有其事，說是依照國際通例，予以政治庇護，隨後又進一步聲明，無論徐樹錚受何種刑事罪名之控訴，日本公使館都將拒絕引渡。
外交途徑走不通了，靳雲鵬決定抄「十禍首」的家。但除了日用器物以外，一無所獲。靳雲鵬一不做，二不休，將警察總監段鴻壽找了來，秘密交代了一番。段鴻壽又找部下秘密商量，設下一條毒計。
在日本兵營作客的「禍首」，伙食自理，中午、晚上都是由館子裏送飯來。早晨由日本兵到前門一家小鋪買燒餅果子，充作點心。這天是梁鴻志先吃，一咬燒餅，舌頭發麻，趕緊吐出來漱了口；再檢查燒餅，裡面有白色結晶物，找軍醫來檢驗，確定是砒霜。
於是買燒餅的日本兵，趕到前門一看，那家小鋪已經關門大吉。
果然出花樣了，證明段芝貴的警告，確有先見之明。經此刺激，大家都大罵靳雲鵬，唯有徐樹錚暗中下了決心，非離開使館區不可。
於是徐樹錚去找建川，坦率提出要求，請建川助他脫險。他已經想好一條夾帶的計策，只等建川同意，便即提出。如果不同意，這條計策，還可保留。
哪知建川的回答，既非同意，亦非拒絕，只說：「最近奉到司令官的命令，軍人行動要格外謹慎，所以這件事最好跟公使談一談。」
原來此時日本是號稱「平民宰相」的原敬登場，除陸、海、外三相外，其餘都是政黨出身，為日本自大正以來第一次出現的政黨內閣。原敬的手腕很高明，利用民眾的「過激思想」來對付軍部，頗為見效。除了臺灣總督改由文官出任外，並打算撤銷參謀本部。陸軍的氣焰，大非昔比。所以在天津的日本駐屯軍司令南次郎少將，特別告誡部下謹慎。
「只要徵得公使的同意，司令官那面我來想辦法。」
基本是贊助與鼓勵的。徐樹錚便去見小幡，一改對建川有所保留的態度，首先提到康有為在復辟時，由美國公使伴同，由北京抵天津，轉乘外國輪船，抵達上海。他要求小幡亦能特別予以這樣的援助。
「如果可行，我樂於相助。只是在我們答覆貴國外交部的照會中已聲明兩點：第一、你們不得干預一切政治；第二、斷絕外面交通。如果我公然陪你到天津，是很明顯地違反了自己的諾言。貴國外交部提出交涉，我們很難解釋。」
「這樣說，我是決不能離開貴使館的了。」
「如果你自己有辦法脫離，我們可以裝作不知道。」
這是暗示，只要不動用日本官方的力量，日本公使館不會加以干涉。徐樹錚心想，日本官方的路子走不通，不妨找日本的居留民。
於是想到一個朋友，此人叫加藤定吉，是日本憲政會的代議士，但在中國經商，在東交民巷開了一家專營雜貨的加藤洋行。當即向建川要求，希望能跟加藤作一次會晤。
就在這一次會晤中，商定了辦法。當然，建川的同意是必要的。
「要瞞過城門密探的耳目是決不可能的，這個辦法雖笨，倒值得一試。」建川在聽取了徐樹錚的計畫以後說，「不過，必須先請示司令官。」
建川要求北京守備隊長鎌田中佐，親自到天津向南次郎報告。南次郎表示，如果出事，司令部決不承認事先知道計畫，一切責任要鎌田擔負。因為他是「北京守備隊」，有不使日本在北京的機關及僑民發生任何意外的全責。
正當鎌田躊躇不定之際，駐屯軍司令官的會計部門主管，名叫小野寺的「主計正」，悄然來訪。他說他是奉了南次郎的密命，特來相助。但有個條件，如果行藏敗露，需要鎌田出面，一肩擔承，與司令部毫不相干。
這就很明白了，如果這件事做成功，南次郎會記他一功。這個險是值得冒的，鎌田一口答應，又問小野寺如何相助？
「這要看你。」小野寺答說，「要人給人，要錢給錢。」
「要人。」鎌田用徵詢的語氣說，「能不能請你帶一件行李？」
「是怎麼樣的行李？」
「一隻柳條筐。」
小野寺想了一下，毅然同意：「可以。」
於是鎌田關照加藤定吉備一隻特大號的柳條筐。這是日本特有的行李箱，可分可閤，分開來是兩個長方形的框框。一個尺寸稍大，但框邊稍低，閤在另一個框上，用帶子綑緊，即成了一具箱子——這是精於崑腔的徐樹錚，從《打棍出箱》這齣戲上得來的靈感。藏身其中，由兩名日本兵挑著，跟著掛了指揮刀的小野寺，由東交民巷出前門。
前門由段鴻壽派了密探，分班守候稽查。不管車輛行李，覺得可疑，即須打開來看。對於日本軍人的行李，雖不敢強制檢查，卻不妨問一問。
「請問，」有個會說日本話的密探，問小野寺，「這裡面是什麼？」
小野寺答話之前，先取一張名片遞了過去，上面印著三行字：第一行是：「大日本天津駐屯軍司令部」，第二行是：「主計正」，第三行是：「陸軍中佐小野寺一男」。
「啊，啊！中佐。」密探問道，「是回天津？」
「是的。」小野寺指著柳條筐說，「我到正金銀行來領一筆現金。」
「是『老頭票』？」
「不光是鈔票，還有金條。」小野寺說，「你問得很詳細，是不是還要看一看？」
這名密探不敢做主，「『巧到麥鬥』！」說了這句請等一等的日本話，用中國話跟他的首腦商議。
「既然他願意讓咱們檢查，不查白不查。查！」
那密探便轉臉說道：「如果中佐不介意，想請你打開來看一看。」
「好！」小野寺轉身望著天安門的方向，「風很大。衛兵所在哪裏？」
「喏！」密探指著城門洞說，「那兒就是。」
「我們到那裏去開箱子，免得西北風把鈔票吹跑了，發生責任問題。」
密探覺得他這話似乎有絃外之音，當即譯述給他的首腦聽，並且加上自己的意見：「倘或他說檢查以後，少了多少錢，要咱們賠，那可不是鬧著玩兒的。」
「對！『矮子肚裡疙瘩多』，這小子，『黃鼠狼給雞拜年，沒安著好心。』咱們不上他的當，叫他走吧！別查了。」
「不查了。」密探手向城外一伸，「請吧！」
於是小野寺大模大樣地出了前門，直奔車站。時間是扣準了的，將柳條筐抬上火車，旋即開行，直抵天津，由老龍頭車站轉往大沽口，上了日本輪船「花咲丸」，在船長室將柳條筐打開，徐樹錚面無人色，雙腿由於長時間蜷縮的緣故，已僵硬得無法動彈，按摩了好一陣，方能起立。
第二天「花咲丸」提前出港，南次郎方始打了個電報給鎌田：「行李己安抵天津。小幡公使前保守秘密。」
鎌田不理南次郎的叮囑，謁見小幡，率直陳明經過。事已如此，小幡只好急電東京，請求指示處置方針，覆電是應該照會中國政府。
於是小幡親自擬了一個照會。譯文是：
「為照會事：收容於本館護衛隊兵營之徐樹錚氏，近來再三請求本公使，停止其保護，擬退出本公使館，曾經本公使切促其反省。茲據護衛隊長報告稱：該氏於十一月十四日之晚，尚確在兵營內。而十五日早晨，即不見其形跡。自係在十四日夜至十五日晨之間，單身逃出該所無疑等語。本公使當日收容該氏，係基於國際之道義，並無他意。當日曾將收容該氏之事實，照會貴國政府在案。茲復將該氏逃出本館之事實，照請貴國政府查照。須至照會者。」
外交部據請轉報，靳雲鵬便下令大索。徐樹錚的至親好友，都受到騷擾，始終不能發現徐樹錚的蹤跡。衛戍司令王懷慶，只得自請處分。接著貼出佈告，將捉拿徐樹錚的賞格，由大洋五萬元，提高至十萬元。同時，外交部向日本公使館提出一件照會。
這當然是不會有任何結果的。至於緝拿禍首，提高賞格，只博得了徐樹錚在「花咲丸」中的一首七律：
購我頭顱十萬金，真能忌我亦知音。
閉日大索喧嚴令，側帽清遊放醉吟。
白日歌沉燕市築，滄波夢引海舟琴。
雲天不盡纏綿意，敢負平生報國心。
雖為逋客，壯志猶存。徐樹錚南下，為作捲土重來之計，因為東南的局勢，有了一番變化，在他看來是有機可乘。
變化是由於江蘇督軍李純的「自殺」。這個消息，震驚了北京。雙十節那天，李純大宴南京紳商各界，盡醉極歡，隔了兩天，忽然自殺了！這不顯得太過離奇？因此，靳雲鵬派他的親信，就是財政部次長潘復，專程南下，調查內幕——果然有極深的內幕。