與「十里洋場」的大上海相比，合肥是個小地方。清末安徽省會是安慶。合肥只是廬州府治所在的縣。
不過，生長於小地方的人中並不一定就沒有「人精」問世。在黎民匍匐的平川上，偶爾也會冒出個超凡脫俗的山頭來，他們似乎把本土的前後多少代的運氣都獨佔了。一旦風雲際會，天空在他們頭頂晴了一刻，他們立時就會綠意盎然，招風攬雨，成為影響半壁江山氣候的巨峰。
北洋時代，這樣的山頭還真有幾個——當過大總統的直系軍人首領曹錕，早年是津門的布販子；當過陸海軍大元帥的奉系老大張作霖，原先是遼寧海城縣的鄉間獸醫，後來給土匪釘馬掌釘上了癮，乾脆也落草成了「鬍子」；山東蓬萊的秀才吳佩孚，從軍前曾是淪落北京街頭的算命先生；當過國務總理的另一位山東籍軍閥靳雲鵬，小時候曾跟隨母親沿街叫賣煎餅……
數數這幾座北洋時代的山頭即可窺知，那個時代，看重的是個人能力而不是家庭出身。
與上面提到的那幾位北洋大佬相比，段祺瑞的出身要光榮一些，他是正宗的將門之後，其祖父乃前清正二品的總兵。
《合肥段氏族譜》上說，段家系明代自江西饒州遷至安徽的。但段祺瑞的三女兒段式巽卻聽父親說，段家是清道光年間才從饒州到安徽的。段女士對其父的種種回憶，是我從合肥市政協的文史專家戴健兄那兒聽來的。因工作關係，戴健曾於段女士生前到上海採訪過她。
段氏落戶皖省後，世代以農耕為生。到了段祺瑞祖父段佩這兒，命運發生了改變，段家由尋常而顯赫。附近大潛山好漢劉銘傳，販賣私鹽兼打家劫舍，日子過得快活。段佩看得眼熱，便入劉氏團伙，在保家衛鄉的同時，也干過殺人越貨的勾當。太平軍洶洶北上蕩滌皖省時，劉銘傳響應國家號召大辦團練，藉機洗白個人及屬下的歷史污點，段佩隨之成為一名「基幹民兵」。同治元年（1862年），劉銘傳的准軍事部隊被回省招募子弟兵的合肥籍李鴻章編入淮軍，段佩也由此成為國家正規軍「銘字營」里的一名中級軍官，常年在外征戰。
同治四年二月初九（1865年3月6日），段家添丁，啟字輩的啟瑞出生。其時，禍及半個中國的「太平天國」王朝在安徽人（淮軍）的不懈擊打下剛剛崩塌，而捻軍尚在被追剿中。平亂尚未成功，段佩仍在營中。
因段佩曾跟劉銘傳殺死過本地劉枬、劉樞兩個土豪，其子段從文（段祺瑞之父）為避仇家報復，遂遷徙至鄰縣壽州定居，時段啟瑞方四歲。翌年，已是「銘軍」直屬馬隊三營統領的段佩衣錦還鄉探親訪友，段家不再懼怕劉家，便又遷回肥西縣，在大東郢置地建房，併購田產百餘畝。段家從老實巴交的農戶一舉成為靠出租耕地為業的地主。
段啟瑞沒遺傳父親的軟弱性格，倒是繼承了祖父的剛烈尚武的基因，自幼便嚮往戎馬報國兼富家的生涯。七歲那年，他便被爺爺接到蘇北宿遷營房，並在附近村裡始讀私塾。未來的結髮妻子吳氏，也是那會兒爺爺看好的，是宿遷一位舉人的閨女。然而，十四歲那年，已是提督銜記名總兵的祖父猝然病故。他只得中斷學業，扶柩回籍。六百里路辛酸淚，少年初識愁滋味。
回鄉後，他把名字改成了「祺瑞」。祺者，吉祥也。段氏希望吉祥罩運之意不言而喻。
改名卻並沒帶來吉祥，失去將軍的將軍府，家道倏然中落。而段從文也夠窩囊的，坐擁百餘畝良田，竟使日子越過越差，後來連段祺瑞在附近村裡續讀私塾的「束脩」也拿不出了！於是，斷了科考念想的段祺瑞只好另覓出路。十六歲那年，他懷揣一塊銀圓，步行了兩千華里趕到山東威海，投奔在那裡當管帶（營長）的族叔段從德，當了一名「補營哨書」。在傳統社會，從軍是一個沒能踏上科考之路的將門之後的唯一選擇。
數算一下，段祺瑞在合肥前後總共才住了四年，且是童蒙時代，但卻一輩子被人稱作了「合肥」。其實，合肥並沒給他帶來太多的歡樂。
就在段祺瑞到山東威海當兵的第二年，父親千里迢迢去探營。萬不料，段從文帶著兒子節省下來的銀兩返鄉途中，就在離家鄉只剩幾十里路程的時候，夜間，兩個同伴起了歹意，將他害死，把他藏在腰帶里的銀兩洗劫一空！段祺瑞聞噩耗痛不欲生，欲請假回鄉報案並料理後事，卻沒被上司批准（晚清的軍紀顯然比我們想像的嚴，即令有當官的叔叔也不管用）。他只好馳函合肥知縣，懇請緝兇正法。母親范氏在兇犯落案被正法後不久，便扔下十幾歲的女兒啟英和兩個不到十歲的兒子啟輔、啟勛憂悒而歿，在亡夫去世半年後與之相會於黃泉之下。這一次，上司終於准假讓段祺瑞回籍發喪了。半年之內，父母雙雙死於非命，骨肉同胞寄養人家，試想，血氣方剛的段祺瑞該怎樣地悲憤與苦惱！
假滿後，十七歲的段祺瑞返回威海營中。
到了這會兒，就該說說「李合肥」李鴻章了。
近百年，中國有兩位「合肥」權重一時，而且，都在生前和身後被罵為「賣國賊」。「李合肥」比「段合肥」大四十二歲，是爺爺輩的鄉賢。出自同一片土地，同為一代人雄，同樣風光了大半輩子，卻又同在國難當頭之際含恨而終，真是殊途同歸。
若論文化素養與治國才略，段合肥面對李合肥不知要自慚多少回！因為李鴻章乃久負清譽的鄉間大才子、京城名翰林，更是大清國的中興之名臣、國家之棟樑，充滿政治智慧且深諳為官之道，生前把能得到的政治待遇全得到了，如文華殿大學士、太子太傅、一等肅毅侯等等，乃有清一代至尊至崇的漢臣；而段祺瑞則是個不擅言辭且不喜文墨的赳赳武夫，性情剛直意志堅定但卻缺少圓通韌性，這對一個身置亂世且對手往往不按套路出牌的政治家來說，或許是致命的人格缺陷。
段合肥對李合肥的感戴是不言而喻的。作為後來的治國者，段祺瑞深知，若不是當年李中堂幫清廷設計出「以夷制夷」的外交政策，並身體力行苦撐危局，列強或可吞掉中國更多的領土和利益；身為淮軍這一既得利益集團的末梢成員，段祺瑞心裡當然清楚：若不是李大人回籍組建淮軍並帶領子弟兵東西征戰，也就不會有他段家的出人頭地。
李鴻章對段祺瑞的直接影響，是在小段從軍四年之後——正是李鴻章在直隸總督兼北洋通商大臣任上創辦了天津武備學堂（亦稱北洋武備學堂），招收品學兼優的軍人入學，這才一舉改變了二十歲的段祺瑞的人生軌跡。發憤圖強的段祺瑞，以第一名的超好成績考取該學堂第一期預備生，在步、騎、炮、工、輜五個專業中，他選了最具技術含量與戰爭威力的炮科。
當然，「小合肥」也很給「老合肥」爭氣。這個李中堂的小老鄉，「每屆學校試驗，輒冠其儕輩」。某次，李中堂檢閱學生們軍事操練，發現炮科成績最優者段某，正是當年跟自己征戰的部將段佩的孫子。當即，李大人領首贊曰：「可用之才。」
入校一年後，二十一歲的段祺瑞到江蘇宿遷娶回當年祖父為他訂好親的吳氏——瞧見了吧？早在一百三十年以前，在校大學生就可以結婚了。
二十二歲時，段祺瑞以「最優等」的成績從武備學堂炮科畢業，被派往旅順口督修炮台。僅一年，機會再次光臨——李中堂欲派優秀青年軍官赴德國研修。已經淡出李大人視線的段祺瑞，再次以第一名的優異成績考取。於是，李中堂大筆一揮，段祺瑞和吳鼎元、商德全、孔慶塘、滕毓藻五位優秀考生就跟著督學蔭昌去了德國。
在德國，段祺瑞有一年半的時間與四位同學在帝國柏林軍事學院攻讀現代軍事課程。學業結束後，段祺瑞奉命一個人在克虜伯兵工廠實習了半年。
兩年的時間，使段祺瑞讀懂了德意志帝國的歷史。該國是從鬆散的三十九個小國統一而成的君主立憲制聯邦國家。統一不是談來的，而是原先的普魯士王國通過若干場戰爭得來的，包括改變歐羅巴版圖的普法戰爭，普魯士王國一舉戰勝了強大的法蘭西帝國，德皇威廉一世的加冕儀式，竟是在法國最著名的凡爾賽宮裡舉行的！
只有出現普魯士的俾斯麥那樣強硬的「鐵血宰相」，才能統一國家；只有擁有克虜伯大炮這樣的最先進的兵器，才能打贏與奧地利和法蘭西的國家戰爭——這就是年輕的清國軍官段祺瑞看到的德國復興的現實。
正是在德國，本就沉默寡言的段氏奠定了一生務實較真的作風，更打下了日後倚恃武力統一國家的思想基礎。
學成歸來後，段祺瑞回到天津，任北洋軍械局委員（章京之下的實職）。將留德學炮兵回來的段氏安置在軍械局，顯然與李中堂當時正在大購德國軍火以備迎戰日本有關。一年後，段被下派至山東威海武備學堂任炮兵教習，自茲開始其長達十六年的培育軍事人才的生涯。
屈指算來，從早年步行來威海投軍，到如今回威海任教，正好十年。儘管他既有祖父在軍界盡瘁的不凡背景，又有被李中堂賞識的光榮履歷，但說起來，他在軍中晉級的速度不算快也不算慢