1894年中日甲午戰爭爆發後，田中義一於1895年任第一師團參謀，為第一師團制定了動員制度。內容非常細緻，完成度很高，幾乎是原方案被採用，其它師團也都把它借去使用。為此他得到認可，進入參謀本部第二部搞情報。田中學的是俄語，而且很不錯。到二部報到以後，二部把他派到俄國去留學去了。田中在俄國幹得很賣力，每星期都拉著認識的老毛子去教堂做禮拜，還參了沙俄軍，自己親自去掌握第一手資料。到了日俄戰爭前夕，成了陸軍首屈一指的俄國通。
當時伊藤博文出訪俄國，想和沙俄談判解決問題。田中仗著年少氣盛，在伊藤面前極力反對與沙俄談判，讓伊藤大為生氣。但是伊藤是生氣管生氣，對田中的才能還是很欣賞，在日俄戰爭時推薦他去滿洲軍當參謀。
據說在那裡認識的還是鬍子的張作霖，所以說日本陸軍部最後定下來田中義一擔任第一軍軍長的理由之一，就是他和中國人的總統府參謀總長張作霖關係不淺，有助於幫助日軍提升在協約國聯軍中的地位和份量。
田中義一在打完日俄戰爭回參謀本部時已經是讓人刮目相看了，加上田中又是長州人，「親不親，家鄉人」這就升了一級，到主管作戰的參謀本部一部去了。在日本陸軍參謀本部，一部是作戰部、二部是情報部。
這田中義一到一部以後，搗鼓搗鼓，弄出一份叫《隨感雜錄》的意見書，裡面從國家戰略，軍事戰略一直侃到軍隊的組織，制度，通過兒玉源太郎大將就遞到山縣有朋元帥那兒去了。山縣一看，嗯，不錯，跟明治天皇一報告，回來對田中說：「你就搞個帝國國防方針看看吧」得到了日本陸軍之父賞識的田中就拉著海軍的財部彪大佐一起制定了個方案，規定陸軍平時要25個師團，戰時要50個師團，海軍要建成八八艦隊，接下來田中可謂一帆風順，1909年田中升任軍事課長，第二旅團長、陸軍省軍務局長。
在此期間這廝主持修改制訂了《部隊內務書》、《步兵操典》《輜重兵操典》、《陸軍教育令》、《陸軍補充令》他在任中的作為證明了他的實力。1910年11月，他一直倡導的帝國在鄉軍人會成立。
該會是將已經結束現役的後備役軍人組織起來，既可削減國家軍隊維持費，同時又能把國家意志廣泛傳播到國民當中去（之後預備役也列入其中）該會在起立之初僅以陸軍為對象，從1914年開始把海軍也加入進來，使該組織最終完善。
另外，他讓強烈批判軍閥勢力擴大到政界的大隈重信擔任帝國軍人後援會會長，為此大隈不僅停止了對軍部的批判，還轉為軍部的擁護者，開始和當時的桂太郎首相、寺內正毅陸相接近。
此後，擔任軍務局長的田中與上原勇作陸相一起在第二次西園寺公望內閣時提出增設兩個師團以保衛朝鮮、滿洲等新開拓的領土，由於當時政府奉行財政緊縮政策，沒有答應他們的要求。上原陸相提出辭職，陸軍拒絕提出後任陸相人選，內閣不得不總辭職，這次事件成為第一次護憲運動的導火索。
1913年末，田中義一赴歐美考察，回國後創立了青年團組織，企圖通過官辦組織來對應歐戰開始後國內朝野思想混亂的局面。由於這個組織是針對小學畢業後到被徵兵入伍之間的人員的組織，所以和在鄉軍人會一樣發揮著向國民傳播國家意志的作用。
1915年8月，作為幕後黑手，參謀次長田中義一少將策划了向袁世凱提出臭名昭著的二十一條，當然，這事最後無疾而終，袁世凱對二十一條中的第五條是怎麼都不敢答應，當然列強不容日本獨霸中國也是一個重要的因素，所以後來袁世凱政府和日本政府搗鼓出來一個民四條約。
原來這二十一條分為五號：第一號要求繼承德國在山東的一切權利並擴大之；第二號要求擴大在南滿、東蒙的各種利權；第三號企圖控制漢冶萍公司；第四號要求中國沿海港灣島嶼概不租給或讓與他國；第五號要求中國中央政府聘用有力之日本人為顧問，等等。
當時日本公使日置益要求袁世凱接受這些條件，並絕對保密。袁世凱決定與日本談判，以最小代價了結此案。從1915年2月2日開始，外交總長陸征祥、次長曹汝霖等與日置益、日本公使館參贊小幡酉吉等人開始秘密談判。
後來中國有意地逐漸將談判內容泄露出去。在談判中中國代表對日本的要求有所抵—制。日本方面不斷使用外交訛詐、武力恫嚇等相威逼。4月26日，日本代表提出「最後修正案」做了些小讓步。當時，國內反對「二十一條」的呼聲日漸高漲，廣大人民群情激憤。
5月1日中國方面提出修正案，仍堅持自己的立場。日本政府刪削了第五號要求，於5月7日向中國—政府發出最後通牒，限9日午後六時前答覆。袁世凱政府最後妥協，接受日本提出的條件，25日與日本正式簽訂了《民四條約》《民四條約》由《關於南滿洲及東部內蒙古之條約》、《關於山東之條約》及另附的十三件換文組成。這些條約及換文的內容主要有：1．在山東，日本不僅得以繼承德國的一切利權，還得到中國—政府關於山東內地或其沿海島嶼一概不租讓於外國等許諾。
2．在南滿，日本得到延長租借地及鐵路期限、其臣民得任便居住、往來並經營農工商業及租用土地等權利。3．在東蒙，日本得到其臣民與中國人合辦農業和附屬工業等權。4．漢冶萍公司可與日本資本家商定合辦，中國不將該公司充公、收歸國有或使其借日本以外的外資。5．在福建，中國—政府答應不允許外國在沿岸地方設造船所、軍用貯煤所及海軍根據地，也不借外資自辦。
《民四條約》的簽訂，使日本侵略勢力在滿蒙、山東得到鞏固和擴展，在華中華南也有所增進。這也算是在幕後一手操作的日本陸軍部參謀次長田中義一少將於1915年10月晉陞中將的功勛之一。