甲午戰爭爆發後，袁世凱被李鴻章派赴東北前線，仍舊以浙江溫處道的名義協辦前敵營務處，負責籌撥糧餉並聯絡各軍。由於清軍在戰爭中節節敗退，朝野人士在戰後交章上奏，爭相向朝廷獻言練軍之法。
說到練軍，那些士大夫基本都是些紙上談兵的書生之見，和袁世凱比起來就差得遠了。以袁世凱當年在朝鮮練就新兵的經驗，李鴻章讓他做個前敵營務處會辦，實在是有點屈才。報國心切的袁老四對此也不甘心，他利用朝廷急於編練新軍的心理，組織了一批人幫他翻譯外國軍事教材，包括訓練方法、編製、營中制度等，然後他又結合當年的練兵經驗，草擬了《練兵要則十三條》、《新建陸軍營制餉章》、《募訂洋員合同通稿》等材料在朝廷大員們中間廣為散發，為自己贏得了知兵治事的讚譽。當時很多朝廷大員，如恭親王奕、慶親王奕劻、兵部尚書榮祿、軍機大臣李鴻藻，還有李鴻章、劉坤一、張之洞等地方督撫，都對袁世凱交口稱讚，一致推薦。
這真是奇了。要說上面的那些大員，那可都是當時朝廷最顯赫的權臣，怎麼會對這不過三十六歲的袁老四如此看重呢？要說起來，這天下沒有無緣無故的愛，也沒有無緣無故的恨，這袁老四的確是有兩下子，譬如他那《練兵要則十三條》寫得著實頭頭是道，無論是軍律、軍餉，還是槍械管理、募兵標準等，樣樣都說到了點子上，讓那些不知新軍為何物的朝廷大員們大開眼界，稱讚有加。
袁世凱的運氣也實在是好，恰好這時編練定武軍的胡燏棻被調去督辦津蘆鐵路，袁世凱乘機上下活動了一番，督辦軍務處的領導恭親王奕、慶親王奕劻、翁同龢和榮祿等人隨後便聯名保薦袁世凱接替胡燏棻前往小站練兵。有了這些朝中大佬的保薦，事情當然好辦。由此，袁世凱便屁顛屁顛地跑到天津小站練兵去了，這也成為他一生事業的發跡之始。
1895年12月，袁世凱到小站正式接管了已初具規模的定武軍，在將原定武軍的兵額招足到7300人後，袁世凱將之改名為新建陸軍。為了把新建陸軍建成一支模範軍，袁世凱重金聘請了包括退役軍官沙爾在內的十幾位德國教習，並規定全軍使用統一的新式步槍、馬槍和快炮，其中大都為德制或奧制的標準化槍械，這大大提高了軍隊的戰鬥力。
袁世凱治軍相當嚴厲，他親自製定了新建陸軍《斬律十八條》，要求士兵嚴格遵守，其中如：「臨陣回顧、退縮及交頭接耳私預壓者斬；遇差逃亡，臨陣詐病者斬；結盟立會，造謠惑眾者斬；持械鬥毆及聚眾哄鬧者斬；黑夜驚叫疾走亂伍者斬」等等，犯者定斬不饒。
新建陸軍的軍制很嚴密，包括募兵、行軍、操典、駐紮等，都有詳細的規定。袁世凱對軍隊管理極嚴，日則督操，夜則巡營，從不懈怠。有一晚袁世凱巡營，偶然發現一士兵偷食鴉片，袁世凱當場拔出佩刀將之手刃，全營為之震驚，自此營中再無人敢食鴉片。
此時的袁世凱，所有的精力和心思都放在這支軍隊上，幾乎連吃奶的勁都用上了。在軍營中，袁世凱以身作則，他和普通士兵一樣，著軍服、扎皮帶、穿馬靴、掛佩刀，一副赳赳武夫的樣子。在平時的訓練中，袁世凱經常親臨現場觀看操練，某次閱兵時突然下起大雨，手下的軍官要給他打傘，他一把推開說：「士兵都在雨中，我怎麼就不能淋雨？」
在建軍之初，袁世凱也刻意製造親善士兵的形象，每次發餉時，他都親自監督，以杜絕軍官吃空額、剋扣軍餉的劣習。不僅如此，袁世凱還經常深入各營，接近下級軍官和士兵，甚至連棚頭這樣的小頭目都能叫出名字，很不簡單。
袁世凱的努力沒有白費，在經過一段時間的訓練後，新建陸軍的面貌為之煥然一新。在軍隊的兵營里，到處都是認真負責的洋教習、朝氣蓬勃的新進軍官、精神飽滿的士兵、嶄新的槍械大炮，操場上戰馬嘶騰，果然是一支訓練有素、紀律嚴明的模範軍！
當然，也不是沒有隱患。據說，袁世凱曾在軍中明目張胆地樹立個人權勢，當時各軍營都供有袁的長生祿位牌，灌輸「袁大人是我們的衣食父母、我們要為袁大人賣命」的思想。有人說，每天上下操集合時，官長都要問士兵：「咱們吃誰的飯？」士兵們齊聲回答：「咱們吃袁宮保的飯！」官長又問：「咱們給誰出力？」士兵們齊聲答：「咱們替袁宮保出力！」如此一來，這支新建陸軍便成了袁家軍，怪不得後來其他人根本無法調遣這支部隊。
袁世凱用人還是有一套的，後來北洋軍閥的這批風雲人物大都是在袁世凱的提拔任用下才脫穎而出的，譬如「北洋三傑」王士珍、馮國璋、段祺瑞，原定武軍的各級軍官如曹錕、盧永祥、段芝貴等人，就連那些被朝廷革職的甲午敗將如張勳、薑桂題、田中玉等人，他們也都紛紛投靠到袁世凱的麾下，為之賣命。
袁世凱練就的這支新建陸軍，實際上是中國近代歷史上的第一支現代化陸軍。亂世抓槍桿，槍杆子里出官銜，袁世凱有了這個資本，從此便聲譽鵲起，一飛衝天了。但是，凡事有好也有壞，袁世凱是有成績，但因此招來很多人特別是滿清貴族的妒忌，一時間謠言四起，說袁世凱要反清叛逆云云。
當時袁世凱的頂頭上司、兵部尚書榮祿也一度聽信謠言，他後來親自到小站去查看，若發現袁世凱有謀反跡象，就立刻加以剪除。不料榮祿去了小站後，發現這新建陸軍還真是軍容整齊、器械鮮明、壁壘一新……完完全全的一支英武之師，當時就給榮祿留下了極為深刻的印象。榮大人當了一輩子的軍人，從來就沒有見過如此優秀、如此現代化的新式部隊，於是愛才之心不免油然而生，回去後他非但沒有對袁世凱痛下殺手，反將之引為心腹，大加重用。由此，袁世凱也就投到了榮祿的門下。
眾所皆知，袁世凱在1898年的戊戌變法之初表現積極，還為強學會捐過一大筆錢，維新派也將之引為知己，並向光緒皇帝大力推薦。只可惜後來風雲突變，袁世凱為了自保，將譚嗣同夜訪之事向榮祿全盤托出，導致六君子喋血街頭，光緒皇帝也被軟禁瀛台。
亂世出英雄，豎子亦成名。袁世凱靠出賣維新志士染紅了自己頭上的頂戴，在戊戌政變後，袁世凱得到了慈禧太后的充分信任，機會也就接踵而至。1899年，袁世凱出任山東巡撫，率武衛右軍七千人前往彈壓義和團運動。在庚子年中，袁世凱不僅按兵不動，而且在「保境安民」的借口下將原有的山東舊軍20營擴編為武衛右軍先鋒隊。如此以來，袁世凱在保住一方平安的同時，又贏得了中外人士的交口稱讚。庚子年後，朝廷重臣李鴻章在臨死前特地向朝廷舉薦了袁世凱。由此，袁世凱很快署理直隸總督兼北洋大臣，儼然已是年富力強、權勢顯赫的袁宰相了！
要知道，當時的袁世凱不過四十剛出頭，他的前途不但遠勝於他家的那幾個進士、舉人大老爺，恐怕要超過老領導李鴻章都不在話下呢。
由於清廷在甲午戰爭和庚子之役中慘敗，擴大新軍的規模也就成為朝野中的共識，這對袁世凱來說，簡直是個天大的機遇。1903年11月，經過一番努力後，慈禧太后終於同意了袁世凱設立練兵處的建議。由此，袁世凱甩開膀子大幹，北洋陸軍六鎮也在兩年之後大體編練完成，這也是後來北洋軍閥的發軔期。
當時的北洋六鎮，除第一鎮因是旗兵不能控制外，其餘五鎮都是袁世凱一手帶出的嫡系部隊。各鎮的主要將領也幾乎都是由袁世凱一手選定，個個都是小站出身：第一鎮統制先為鳳山，後為何宗蓮；第二鎮統制先為王英楷，後為張懷芝；第三鎮統制先是段祺瑞，後為曹錕；第四鎮統制吳鳳嶺；第五鎮統制先為吳長純，後改為張永成；第六鎮統制先是王士珍，後改為趙國賢。
在北洋軍中擔任協統、標統的中上層軍官也都是袁世凱的人，比如雷震春、陳光遠、李純、王占元、盧永祥、鮑貴卿、王懷慶、田中玉等等，可謂是人才畢集、將星如雲，這些人到了民國，都是顯赫一時的風雲人物。
袁世凱不僅兵練得好，他在做直隸總督兼北洋大臣期間，其他方面如開礦辦廠、修築鐵路、創辦巡警、整頓地方吏治及興辦新式學堂等事務也搞得有聲有色。在袁世凱的領導下，直隸在清末新政中一直走在各省的前列。值得一提的是，袁世凱和張之洞還在1905年聯名上奏清廷，將沿襲上千年的科舉制度廢除；而在後來的立憲中，袁世凱也力主改革官制，實行責任內閣，方方面面都顯得才幹突出，咄咄逼人。
月兒彎彎照九州，幾家歡樂幾家愁。看到日益成長的新軍和權勢日漸加重的袁世凱，那些滿族親貴不免有種養虎為患的感覺了。的確，袁世凱是很能幹，但他又太能幹了，而且是個漢人哪。袁世凱那龐大的北洋軍事政治集團，已經漸漸如脫韁之馬，清廷的韁繩似乎有點套不住他了。特別是軍隊方面，清廷雖然計畫編練三十六鎮，但除了袁世凱的北洋六鎮練成外，其他各省大都沒有練成；即使練成的，戰鬥力也遠不如北洋陸軍六鎮。
袁世凱畢竟不是曾國藩