徐樹錚住進山東巡撫衙門後，袁世凱並沒有派給他什麼固定差使，他每天做的，就是和其餘幕僚們一起上下古今，高談闊論。
袁府原有的幕僚多數是學究出身，熟練掌握奏疏的一般公文程式，但對於大下大事卻茫然不知。徐樹錚所說的那些東西，他們更是聞所未聞，時間一長，便都佩服他學問淵博、才氣縱橫。
聯想到左宗棠、李鴻章等人原來也都是看似狂妄、夸夸其談的書生，之後卻由作幕而一步步飛黃騰達起來，有人就搖頭晃腦地議論道：「又錚（徐樹錚的字）非池中物也！」
某天，時任炮兵統領的段祺瑞來到巡撫衙門和幕僚們閑談。有人就提到了徐樹錚，說這個年輕人才文俱佳，將來必定是有用之才。
言者無意，聽者有心。這時段祺瑞奉袁世凱之命要辦一個隨營學堂，雜事很多，身邊缺一個辦筆墨的人。他就抱著姑且一試的態度對那位誇讚徐樹錚的幕僚說：「徐某人既然是個人才，你可以叫他來見見我。」
徐樹錚知道後果然來求見段祺瑞。雖然他在與段祺瑞談話時彬彬有禮，但態度不卑不亢，縱論起天下大事，更是旁若無人。
段祺瑞急需的是一個文案，光會講還不行，他曾耳聞徐樹錚向袁世凱上條陳一事，於是就問徐樹錚：「你曾經上書撫台（即袁世凱）嗎？」
徐樹錚答是。段祺瑞聽了，便微笑著請徐樹錚坐下，隨即取出幾封待回覆信件，讓徐樹錚當場擬稿。這對徐樹錚來說並非難事，他沒花多長時間就將幾封回信一一擬就，然後呈交段祺瑞閱覽。段祺瑞一看很合乎心意，由此對徐樹錚頗為欣賞，愛才之心也油然而生。
徐樹錚原是袁府幕僚，把他要過來自然還得通過袁世凱。段祺瑞跟袁世凱一講，袁世凱正好尚無適當的機會安插徐樹錚，當即就答應了段祺瑞的請求。
段祺瑞派徐樹錚在書記處擔任司書，月薪銀十二兩，待遇不可謂不優厚。段祺瑞平時待他也相當客氣，因此段祺瑞的家人及其部下當面都尊稱徐樹錚為徐師爺。
自徐樹錚投入段幕，段祺瑞天天聽他議論國內外形勢，每次徐樹錚都講得頭頭是道。至於處理事務方面，往往段祺瑞還沒有想好具體計畫，徐樹錚已經替他考慮得非常周密：上策如何，中策如何，下策如何，且每一條建言都有條有理，要言不煩，讓段祺瑞感到很是滿意，「實獲我心」。
有徐樹錚在身邊，段祺瑞猶如多了一個備忘錄，可以省去許多記憶的工夫——徐樹錚聰明過人，尤其記憶力非常人可比，可以說是過目不忘，什麼規章制度、公文條例，看得既快，記得又熟，只要段祺瑞問他，總是對答如流。有人不信，找出資料來一對，結果發現居然一字不差。
讓段祺瑞滿意的還不止這些。那個年代，一般當師爺的都是咬文嚼字，自命不凡，以至於隔著老遠就能聞到一股衝天的酸氣。徐樹錚雖是秀才出身，卻並沒有這些酸腐氣和臭架子，為人相當樸實勤懇。
段祺瑞以軍人出道，平時最重練兵，每天早晨都會親自帶著士兵出操。出操是個苦差事，連有些官兵都抱著最好不去的心理。徐樹錚是個師爺，本來是不必出操的，但他天天都早早起床，跟士兵們一塊兒練操。這更增加了段祺瑞對他的好感，認為徐樹錚不僅能說能寫，還能幹，誠為書生中不可多得的人才，這個幕僚看來是找對了。
不久，袁世凱升署直隸總督兼北洋大臣，開始訓練新軍。段祺瑞也隨之來到保定，奉命辦理武備速成學堂。武備速成學堂是保定軍校的前身，學校的不少畢業生後來都成了北洋系的高級將領，它對拓展段祺瑞事業版圖的意義不言而喻。就在這次辦校過程中，徐樹錚幫了段祺瑞大忙，從招生時的命題、監考、閱卷等各項事務，到學堂的規劃，無不傾力其中。
北洋六鎮成立後，段祺瑞出任陸軍第三鎮統制官，同時提升徐樹錚為鎮部一等書記官。本來段祺瑞還想找機會繼續大力提拔徐樹錚，但這位師爺卻已經有了另外的想法。
此時日俄戰爭爆發，日本繼在甲午戰爭中擊敗中國後，又進而挑戰俄國，顯示著這個新近崛起的島國，已逐漸成為東亞乃至國際政治舞台上不容小覷的重要角色。
徐樹錚與一般書生和師爺的不同之處就是憂國憂民，並且時時關心和了解著國際國內大勢的走向。他認為中國現在雖然衰弱了，受到列強甚至日本的欺侮，但一旦強盛起來，仍舊可以征服各國，而目前必須做的，首先就是向日本學習，爭取早日趕上日本。
徐樹錚不但自己想去日本留學，還準備送妻子去，但讓他發愁的是，去日本就要向段祺瑞辭行。大家都知道段祺瑞對他頗為信任倚重，了解他真實用意的，免不了會勸他不該就此放棄在段幕的大好前景，不了解的就會指責他是見異思遷、忘恩負義。
另外一個難題是經費。去日本留學需要一筆不小的開支，而徐樹錚除了領取固定月薪，並沒有其他收入來源，他的積蓄用來維持日常生活尚可，但遠不足以支付留學費用。
徐樹錚決定先送妻子東渡扶桑，而且就像當初給袁世凱上條陳一樣，他又想到了劍走偏鋒。