到天津之後，段祺瑞生活上的另一個顯著變化，是開始每日吃齋念佛。在他看來，這是對過去自己作為軍人，動刀子指揮殺人的一種反省。
為此，段祺瑞還專門在家裡辟了一間佛堂，每天早晨起來就焚香誦經，作為照例的功課，以後這種習慣始終沒有改變。吃素也是這樣，他晚年因夏天貪吃西瓜而鬧肚子，最後又發展為胃潰瘍，病情持續加重。他的侄子和醫生都希望能開葷，以便增加營養、增強體質。段祺瑞誓言：「人可死，葷絕不能開！」未幾，果不治身亡。
雖然吃齋念佛，但像老段這種吃了一輩子政治飯的人，要完全做到四大皆空是比較困難的——就算他自己看破紅塵，以徐樹錚、曾毓雋等人為首的學生、舊部們也不讓。
這些學生、舊部有時會來天津看望段祺瑞，他們常說現在國內遍地烽火，生靈塗炭，長此以往，國將不國。今日要收拾這盤殘棋，讓老百姓過個太平日子，還得老師東山再起不可。
每逢聽到這樣的話，段祺瑞雖然嘴上不會說什麼，但他那嚴肅的臉上總是多少會露出一絲笑容，顯然這些話他還是很聽得進去的。
就當時國內的形勢而言，段祺瑞的學生、舊部們並沒有誇大其詞。內戰的禍根仍然出在軍人直接用武力干政之上，事情還得從直皖戰爭結束時的「分贓」說起。在直皖戰爭中，奉軍參戰兵力不多，出的力也很少，但他們卻機緣巧合，得以接收了大批皖軍軍械，「西北軍新購之器械，大多數為奉所得」，這自然令直系感到眼紅和心理不平衡。接著劃分地盤，直系得到了鄂豫陝贛皖五省地盤，而奉系只拿到一個較為貧瘠的熱河，於是奉系又不忿起來。
「分贓」主要由曹錕約張作霖密談。最初吳佩孚也在座，他一向喜歡說話，一戰而勝皖系之後更是揚揚得意、高談闊論。張作霖非常厭惡他，便冷冷地對曹錕說：「三哥，今天這個會，是咱們兩個人的會，別人不能參加。如果說師長也能參加，我們奉軍也有幾個師長呢！」
吳佩孚聽後臉色大變，一句話沒說就氣憤地走了出去。事後他對自己的幕僚說：「他張鬍子不要覺得自己不錯，趕明兒叫他認識認識我這個師長！我不打到瀋陽，決不姓吳！」
直奉相爭，首先被拖出來開刀的犧牲品卻是靳雲鵬內閣。段祺瑞離京之前對靳雲鵬說的「沒有我，你能站得住嗎」，那可絕不是氣話，而是大實話——靳雲鵬始終沒有搞清楚，一手把他培養起來的段祺瑞對他具有什麼樣的意義。事實是，段祺瑞一失敗，靳雲鵬對於直奉乃至徐世昌來說就失去了重要性，他在中國政治舞台上也就可有可無了。
組閣不久，靳雲鵬就被一度逢迎他的直奉夾在了中間，和徐世昌也有了矛盾，整個人如履薄冰，其處境之難遠甚於直皖戰前。
靳雲鵬內閣中直系勢力較盛，內務、交通、財政三總長均為直系閣員。在他們的推動下，國務院通過了任命吳佩孚為兩湖巡閱使的決定。張作霖一直對吳佩孚表示輕蔑和不屑，這一任命引起了他極大的憤怒。不久，他便親自來京，指責直系閣員不配留在內閣之中，並且要求內閣改組。在他和徐世昌的夾擊之下，靳雲鵬內閣被迫宣布總辭職。
靳雲鵬自此再未有機會重返政壇。若干年後，段祺瑞在上海病逝，靈柩運回北京安葬，靳雲鵬也到浦口迎靈。在專車上，大家鄙視靳雲鵬過去背叛了段祺瑞，全車沒有一個人和他講話，甚至卧鋪都沒為他安排。靳雲鵬自感無趣，便臨時下了車，自己重新買票換車返京。
趕走靳雲鵬後，根據張作霖的推薦，徐世昌又授命梁士詒組成了新內閣。梁士詒是舊交通系的首領，而新舊交通系原先都是皖系中的重要組成部分。梁內閣一成立，即對直皖戰後被通緝的皖系成員予以赦免，同時在軍餉分配上，採取了厚奉而薄直的政策。
梁內閣此舉又大大惹惱了吳佩孚。正好梁內閣當時應允日本公使，同意向日本借款以贖回膠濟鐵路，吳佩孚便利用民情，以這件事為靶子，對梁士詒進行猛烈攻擊，稱他是中國當代的李完用（朝鮮親日派首腦，被作為「賣國賊」的代名詞）、張邦昌。
梁士詒自然要為自己的行動辯解，雙方展開了激烈的電報戰。其間，各省的直系督軍們也紛紛通電傳檄，為吳佩孚搖旗吶喊。張作霖既為梁內閣的推薦和支持者，也只得出面為梁辯護，指責吳佩孚只會唱高調、說大話，對梁內閣「不加諒解，肆意譏彈」，「不問是非，輒加攻擊」。
吳佩孚本就看張作霖不順眼，手痒痒得想要揍他，張作霖自投羅網，被他一把揪住，其通電宣稱：「若有袒護梁氏者，即為吾人之公敵，當誓殺盡，以除國賊。」
未幾，梁士詒被迫宣布請假，由外交總長顏惠慶代理總理。張作霖臉面大失，一邊表示「萬萬不能使自己所擁護之人被斥去位」，一邊以「捍護京畿，擁護梁閣」為口號，擁兵入關，討伐直系。
1922年4月29日，直奉戰爭爆發。戰前，包括徐世昌在內的一些人還以為奉軍兵強馬壯，剽悍善戰，若對直系戰而勝之，不啻為一張新的護身符，可是沒想到奉軍只是徒有其表，很快就被吳佩孚打得一敗塗地，敗出關外。