關稅會議的召開，令段祺瑞大為振奮，但是正如曾毓雋所言，與外交及加稅相比，裁厘和解決國內糾紛才是真正讓人頭疼的難題。
在當時國內的政治版圖上，雖然南北方的軍政實力已呈現出明顯的彼長此消之狀，但國民黨人還未能佔據政治中心位置，加之民眾有著尊崇正統的心理，作為段祺瑞執政基礎的北洋系仍是解決中國政治問題的重心所在，即所謂「北洋為世所重，民黨為俗所輕」。
如果北洋足夠團結，其實佔據兩廣的國民黨和僻處西南一隅的滇唐蜀劉都不難對付。問題就在於北洋早已四分五裂，幾次政治摩擦和軍事衝突，說來說去削弱的都是北洋自身實力，特別是第二次直奉戰爭的爆發，對北洋內部而言可謂大傷元氣。
站在執政的位置上，段祺瑞不可能有「杯碎時由我全之」的自由和從容，他要確保「杯暫不碎」，便只能使出渾身解數，儘力對北洋系進行整合。具體來說就是取消「安福系」，以「天下共主」的身份來平衡各派勢力，避免北洋內部繼續發生衝突。
各派之中，最感棘手的自然還是如何擺平馮玉祥和張作霖。作為當時最有實力的兩個北洋派別，馮、奉兩派不僅均力圖左右中央政治，而且彼此之間矛盾尖銳——馮玉祥鄙視張作霖是「鬍子」，張作霖則認定馮玉祥是個有野心、難相處的呂布之徒，雙方爭來奪去，互不相讓。
如何對待馮、奉兩派，段幕有兩種截然不同的意見，而且也分成涇渭分明的兩個派別，即所謂的「國舅派」和「太子派」。
「國舅」吳光新是段祺瑞的內弟，段公館的家人稱他為「吳小舅子」。「吳小舅子」性格蠻橫、脾氣大是有名的，嘴裡經常不乾不淨，罵罵咧咧。俗話說，外甥多似舅，段宏業的脾氣也很臭，家人們常說段宏業「跟他舅舅似的」。
段宏業是吳光新唯一的嫡親外甥，可是說來也怪，舅老爺和大少爺的感情卻極其惡劣，一對壞脾氣更是針尖對麥芒，往往戳在那裡互不相讓，最後簡直形同水火，二人見了面連話都不說。
段祺瑞雖然早年對段宏業這個寶貝兒子深惡痛絕，一向不給好臉色看，但年紀大了以後，不免也產生了常人的舐犢之情，隱隱然已視段宏業為自己的接班人。自天津籌備入京起，他授命段宏業在段幕中負起責任，便有加以培養之意。
被欽定為「太子」的段宏業也漸漸變得跋扈起來。在段幕內，一般人都稱他為「大爺」，一般公事都要先向「大爺」請示，「大爺」同意之後，才能請示「執政」。
一位舅老爺，一位大爺，都是段祺瑞的至親，手中都握有一定權力，偏偏又水火不容，於是段幕人員也無形中分成兩派：一派以吳光新出面，稱為「國舅派」，主張拉緊張作霖，打擊馮玉祥；另一派擁護段宏業，稱為「太子派」，主張聯絡馮玉祥，抑制張作霖。
兩派都主張靠攏一方，排斥另一方，彼此觀點極端對立，經常一見面就吵。有人覺得這種現象不太好，就請執政拿個主意，但段祺瑞卻聽之任之，對哪一派都不支持、不反對、不干涉。
段祺瑞自己對張作霖、馮玉祥的態度也很微妙。在張、馮之間，段祺瑞和張作霖的私人交情要更好一些。有一次，段宏業向他請示，說張學良要同他拜把子，結為盟兄弟，應如何回覆。段祺瑞說：「他的兵可以同你拜把子，他的兒子卻不能同你拜把子。」
段祺瑞極重尊卑長幼之分，他自認比張作霖及其部下要大一輩，所以才讓小兒女稱張作霖為「張大哥」。按照他的觀念，段宏業應與張作霖同輩，比張學良又大一輩，是不能拜把子的。不管段宏業在回覆張學良時如何措辭，都有些傷感情，張家父子的臉色也極可能不太好看。有人分析，這與段宏業後來主張抑制張作霖不無關係。
換個角度想想，老段雖講原則，但絕非食古不化，何況如果段宏業和張學良真的拜了把子，也不至於就會引起什麼閑話，這隻能說明段祺瑞對與張家距離過近本身就存在顧慮。
實際上，段祺瑞採取的是一種「平衡木」的辦法——奉軍實力最強，所以不能無馮，否則無以制張；國民軍控制著京漢線，所以又不能無張，否則馮將無法駕馭，並對自己構成威脅。
倘若像「國舅派」或「太子派」所主張的那樣，完全傾向於馮、張中的任何一方，則段祺瑞所苦心維持的這種平衡勢必就要被打破，那對執政府而言可不是什麼好事。段祺瑞深知其中玄機，所以他才會站在「不偏不倚」的立場之上，有意無意地利用「國舅派」、「太子派」達成目的，即以「國舅派」拉張，以「太子派」拉馮。
玩「平衡木」並不輕鬆，執政不到兩個月，就有人拿段祺瑞與徐世昌對比，稱他「已入十年東海境地」。馮玉祥曾在日記中寫道：「段公上台對軍事不敢以命令式指揮……凡事均不好辦。」連張作霖也譏諷段祺瑞的處境是「北京烤鴨」，兩面受到煙熏火炙。
好在段祺瑞政治經驗豐富，即便在如此艱難的處境之下，他仍得以把北洋各派放入自己的棋盤，並利用它們之間的矛盾進行制衡，從而促成或維持了各派的「均勢」——甚至於長江、西南都成為段祺瑞的砝碼，被他用來搞政治平衡。
一名奉軍將領這樣解釋段祺瑞何以能做到這一點：「段以北洋元老的資格，對於北洋軍閥，無論哪一個，雖然都吸不住，卻都罩得下。」所謂「吸不住」，自然是指段祺瑞缺乏派系實力，無法隨心所欲地指揮調度各路兵馬。所謂「罩得下」，是說在北洋這個圈子裡，無論自居北洋正統的長江直系、從直系中分離出的馮玉祥，抑或力量強大但非北洋嫡系的奉張，還是向被視為「北洋遠親」的西南諸侯，暫時都只能接受段祺瑞，或至少是口頭擁段。