即將與王耀武交鋒的是日軍第二十軍司令官坂西一良中將。日軍的指揮機構可以臨時配屬，第二十軍原先是為了對蘇備戰而在東北編成，只是一個空頭機構，到達衡陽後，才配屬了大量部隊，曾列於日軍第十一軍系列的第一一六師團、第六十八師團如今都是其麾下主力。
接到作戰任務後，坂西即開始進行戰前準備。日軍使用的是五萬分之一地圖，這樣的地圖在中國軍隊里只有營長以上才有，而日軍班長以上就有一份。就比例尺而言，五萬分之一已經非常精確和詳細，但坂西仍覺得不夠，為了校正、充實現有地圖，他專門派出密探，混過兩軍的交界線進行了實地偵察。
這些密探並不是一般日本特務就能充任，他們必須具備一定的商業地位，且在邵陽以北、以西地區原來就具有一定社會基礎，這樣才能在不引人懷疑的前提下，根據已定作戰任務，對當地的兵要地誌資料進行搜集。
通過偵察，日軍糾正了地圖中的一些錯誤。糾正後的圖上連一座小橋、一間小廟、一處小樹叢都有標記，戰時日軍便可以比較方便地識別、通過以及組織戰鬥。
駐邵陽的日軍第一一六師團情報隊還通過收買漢奸等辦法，廣泛收集第四方面軍的軍政活動資料。3月末，情報隊發現邵陽以西靠近守軍主陣地一帶的村莊已經「空室清野」，老百姓紛紛進山，於是他們判斷第四方面軍已經發現了日軍的進攻企圖。
戰前準備並沒有因此而被打斷。3月30日，岡村乘飛機到達衡陽，對第二十軍進攻芷江的準備情況進行視察。不看還好，一看讓他的心涼了半截。
與中國軍隊呈上升勢頭不同，此時日軍卻在走下坡路。第二十軍新編的幾個獨立混成旅團均武器不足，士兵全部使用湘桂會戰中繳獲的漢陽造或中正式步槍，而且相當數量的士兵都是剛剛從國內征來的十七歲少年兵，缺乏戰鬥經驗。
即便第一一六師團這樣的主力，也在「一號作戰」中因傷亡和疾病出現較大減員，有的步兵中隊僅有約一百人。雖然補充了大量新兵，但因為運輸中斷，部隊常常需要自己到鄉村籌集生活必需品。搶掠食糧、油鹽、生豬、菜蔬成了他們的主業，有些人居然還在經商，在這種情況下，新兵訓練也只能處於半停頓狀態。
日軍主力向來以火力強盛著稱。可是第一一六師團所屬的野炮兵聯隊吃老本已經吃到了要吐，隊內火炮型號各式各樣，五花八門，連日俄戰爭中使用過的陳舊山炮都捨不得扔掉，就是看不到一門野炮兵聯隊應有的野炮。
視察完畢，岡村大有今不勝昔之感，也更加深刻地意識到中日戰局已到了危急時刻。陪同視察的坂西倒沒有這麼悲觀，這位日軍將領和已經被調回國的橫山勇在性格上有頗多相似之處，就是都很愛挑剔上級和上級機關的毛病，有時甚至還會毫無顧忌地破口大罵——那一刻，兩人所表現出來的那一份得意和孤芳自賞，別說出將入相，就是讓他們登基坐殿，升佛成仙，大約也不肯換。
挑剔和孤傲都得有資本才行。橫山勇桀驁不馴，可人家就是能打勝仗，坂西的肚子里也同樣裝著幾句春秋，論指揮經驗更不輸於橫山勇，早在侵華戰爭初期，他便在土肥原手下擔任大佐聯隊長，是依靠戰功一步步晉陞上來的。
另外一方面，那些岡村看著掉價的獨立混成旅團此次並不參與芷江作戰，跟著一道去的都是向第一一六師團看齊的一線野戰部隊，坂西自然有理由相信自己可以比橫山勇做得更好更出色。
4月5日，日軍第二十軍在衡陽召開會議，坂西向各部下達了進攻芷江的作戰命令。會議結束後，第一一六師團長菱田元四郎中將在一個小隊的警衛下，於晚間從衡陽返回邵陽。半途中突然遭到游擊隊的襲擊，警衛小隊死的死，傷的傷，僅少數人護衛著菱田逃回邵陽。
彷彿是三國演義中，一陣勁風吹斷了營前的旗杆，對坂西和第二十軍來說，這絕對不是什麼吉兆。只是事已至此，當事者也只能佯做不知，繼續把唬人模樣裝到足。
在戰術安排上，坂西與橫山勇相比也沒有太大差別，都是遵循「反天爐戰法」的模式，即兩翼加厚，中間突出，具體表現為南北中三面進兵，其中的中路為進攻重點，由第一一六師團承擔。
4月11日，日軍第一一六師團所組織的飯島挺進隊開始第一個秘密西進。他們的任務是在會戰正式開始之前，搶先佔據雪峰山隘口，同時造成守軍混亂，從而為日軍後續部隊順利進入山區創造條件。
挺進隊成員都是選拔出來的精兵，共四百人，所有人都不帶任何行李、馬匹，隨隊的步兵炮、重機槍、彈藥、糧秣均靠自己挑抬。
因戰術需要，日軍各部隊在會戰中投入作戰的先後時間不一，但無一例外都攜帶了充足的彈藥，除挺進隊外，其餘部隊沿途均須強拉民夫進行運送。與此同時，日軍所帶的軍糧卻不多，糧食方面完全依賴於就地征掠。這說明坂西和橫山勇一樣，都不太顧忌於後方聯絡線的安全，一心只想著趕緊攻佔芷江。