海上激戰暫時告一段落，主戰場再次轉向陸地。此時日俄雙方的形勢正在發生著微妙變化。俄國增援部隊正從歐洲源源不斷開往遠東，對於日方而言，兵力不足的劣勢越來越明顯，戰爭如果進入持久戰，勢必使日方愈發不利。對於日本陸軍來說，現在唯一的出路就是儘快攻佔旅順，把圍困旅順的第三軍解脫出來，同時解除後顧之憂，並以第三軍北上充實陸戰主力，集中所有力量與俄軍決戰，以期儘快結束戰爭。
相比俄國陸軍的不斷增援，更壞的消息接踵而至。從俄國波羅的海艦隊抽調基幹力量組成的俄第二太平洋艦隊已經開始組建。這支艦隊如果東調，與躲在旅順港內的第一太平洋艦隊殘餘力量會合，實力將遠遠超過日本聯合艦隊。擺在聯合艦隊面前的首要任務就是必須趁俄第二太平洋艦隊尚未到來之際，徹底解決港內的俄軍殘餘力量。從海上實施強攻已經嘗試多次未果，所有的焦點集中在必須儘快佔領旅順。日本大本營會議研究決定，利用沙河會戰後俄國陸軍按兵不動的有利時機，將全部後備力量投入對旅順的攻擊，力爭儘快奪取旅順，盤活全局。
說著容易做著難。旅順港地勢險要，易守難攻。沙俄在佔據這個夢寐以求的不凍港之後，就開始大興土木，決心把這裡打造成牢不可破的東方堡壘。從1901年開始，6萬多中國勞工和沙俄技術人員利用4年時間修建了40多座堡壘群和70多座炮台，所有的堡壘和炮台都用鐵絲網、陷阱、地雷以及大量的步兵掩體來保護。美中不足的是，由於戰爭提前爆發，到1904年1月以前，552門火炮中只有116門準備就緒。
旅順沙俄守軍包括福克中將的東西伯利亞第四步兵師、康特拉琴科少將的第七師等，總計陸軍41780名，另外太平洋艦隊的水兵有12000名，還擁有646門大炮和64挺重機槍。逃回港內的太平洋艦隊隨即被用來參加要塞的防禦，對陸軍進行火力支援。艦隊的大部分人員、284門火炮和大量彈藥都被用以加強陸軍。固若金湯的旅順港被俄軍稱作「東方的塞瓦斯托波爾」。阿列克謝耶夫誇口說，別說是「黃猴子」日本人，即使是歐洲最強悍的陸軍，打下旅順口至少也要3年時間。
早在1904年8月，首次強攻旅順受挫之後，日軍就加強了第三軍的兵力。參加旅順攻堅戰的部隊超過了60000人，火炮386門，其中配備的280毫米炮更是成為之後的攻城利器。
8月16日，乃木希典致信俄軍要塞司令斯特塞爾中將：「放下武器，避免無所謂的犧牲。一旦水陸並進，要塞指日可破。」斯特塞爾答覆道：「這種與俄軍榮譽和尊嚴毫不相容、同目前要塞狀況極不相符的建議，根本沒有討論的必要。」看來雙方文化程度都不低，話說得也蠻有水平。
8月19日，日本第三軍投入超過40000人的兵力，對俄軍陣地發動了強攻。俄軍準備充分，不僅在日軍可能發起進攻的各個要點築有堅固的堡壘，還在陣地前沿布置了鐵絲網和高壓電線，使得首批衝鋒的日軍士兵很快觸電倒斃。日軍火炮抵前炮擊，摧毀了俄軍的鐵絲網。但很快再次陷入俄軍的交叉火力之中。激戰持續到8月24日，第三軍傷亡已經超過了15000人。巨大的傷亡使得大本營誤認為報上來的數字後邊多了一個「0」。日軍在個別地方楔入要塞守衛部隊的防線之後，基本喪失了進攻能力，戰線僅僅向前推進了300米。無奈之下，日軍被迫放棄第一次進攻，開始整頓兵力籌備新的強攻。
久攻不克的乃木希典在日本國內受到強烈譴責。像上村中將一樣，乃木希典的住宅也不時遭到民眾的襲擊，玻璃窗和屋頂上的瓦片時常被石塊砸碎。驚人的傷亡使乃木收到了超過2400封信件，有些人質問他居心何在，更多的人要求他辭職或剖腹。
陸軍參謀總長山縣有朋對乃木也逐漸失去了信心，但明治天皇認為乃木「純忠至誠」，「一意奉上」，依然對其信任有加。聞聽此信的乃木感激涕零，為自己和參加作戰的兒子勝典、保典準備了三口棺材，聲稱要「三典同葬」，以報天皇知遇之恩。
其實早在攻打金州南山的戰鬥中，乃木的長子勝典已經陣亡，得到兒子陣亡消息的乃木悲痛欲絕。他的夫人靜子聽到兒子陣亡的消息後，若無其事地給乃木發電報說：「我為勝典壯烈戰死感到欣慰。」前往旅順的作戰途中，乃木在路過南山時曾經專程去兒子的墓前祭悼並賦詩一首：「山月草木轉荒涼，十里血腥新戰場。征馬不前人不語，金州城外立斜陽。」
9月19日，日軍發起第二次強攻。這次的進攻方向位於北面，主要目標是可以俯瞰城內和港灣的「203」高地。「203」高地本來標高是206米，被炮火整整削下去3米，才變成了「203」。戰鬥異常激烈，漫山遍野的日軍士兵像螞蟻一樣向山頂爬去，一輪接一輪，毫無間隙，雙方都已分不清衝擊波的批次。山坡上儘是倒在大炮、機槍、步槍和手榴彈火力下的日軍士兵，更多的人則踏著同伴的屍體和傷兵不停歇地前進。血肉橫飛，伏屍累累。乃木希典命令炮兵連續不斷地炮擊俄軍工事，甚至不惜傷及正在接近敵人工事的己方士兵。
防守「203」高地的是在戰爭過程中俄國陸軍唯一值得肯定的康德拉琴科少將（前文說過，赫魯曉夫向周恩來總理提出在黃金山修建紀念碑的，除了馬卡洛夫，就是這個康德拉琴科）。這次攻擊前後持續了4天，到了9月22日晚上，所有進攻的日軍都回到了出發的地方。第三軍傷亡達7500人，攻擊再次無功而返。
此時壞消息再次傳來，10月15日，新組建的俄第二太平洋艦隊從歐洲拔錨起航，已經成為乃木的催命符。來自歐洲媒體的評論是：「日本到此為止所做的一切努力，都將在俄國艦隊到來之后土崩瓦解。」
11月2日，乃木下令發起第三次攻擊，嘗試在東線取得突破。遺屍千具之後，乃木組織了3000人的敢死隊試圖在夜間進行偷襲，但先頭部隊意外踩到了俄軍的地雷，偷襲再次變成強攻。在交叉火力的打擊下，率先突入俄陣地的敢死隊全軍覆沒，後續部隊僅有900人僥倖逃回。看看此時在佔領地上頑強抵抗的俄國人，不由讓人想到10年前在自己國土上作戰的大清陸軍。
11月29日，日軍再度組織敢死隊對「203」高地發起衝鋒，這次衝鋒甚至一度衝到了山頂。俄軍炮兵連同港灣內的軍艦一起，向高地進行無差別炮轟，在一起廝殺的無數俄、日士兵倒斃在炮火中，日軍再次敗退。30日，身為師團傳令兵的乃木保典受命向前線傳達「撤出戰鬥」的命令，在傳令路上中彈身亡。得到消息的乃木竟然當著眾多部下的面號啕大哭起來。三口棺材，兩口都「名棺有主」，就差「老典」就滿員了。
實在沒有辦法，1904年12月1日，滿洲軍司令官大山岩元帥在保留乃木面子的情況下，悄悄派出了被譽為「豐臣秀吉再世」「明治時期第一智將」的兒玉源太郎總參謀長，帶領第八師團第十七聯隊前來支援乃木。還好兒玉來得及時，乃木已經組織了兩個大隊，揮舞著戰刀準備親自帶隊進行決死衝鋒。兒玉要是晚來一天，估計三口棺材就滿了。
兒玉源太郎與乃木也是老夥計了。看到氣急敗壞的乃木兒玉什麼都沒說，上前劈頭就給了乃木一記響亮的耳光，勒令他立即交出指揮權，由他親自督戰第四次總攻旅順。兒玉對炮兵的運用遠遠強於他這個只會用步兵衝鋒的好友，他首先下令將指揮部往前推（之前乃木的軍司令部始終躲在敵人炮彈打不到的後方，完全看不清楚前線的狀況），並對炮兵的使用進行了調整。其次，把東正面的280毫米重炮隊一天之間全部集中到西正面，完成了炮兵火力的集中。最後，兒玉改變了炮兵、步兵輪番進攻的固定模式，命令在步兵突擊時，炮兵不準停止射擊，使得山頭的俄軍失去了通常模式炮擊後佔據陣地組織防禦射擊的時間，也無法動用預備隊支援受威脅的陣地。當有人提出這種辦法很可能造成大量的誤傷時，兒玉源太郎面無表情地回答：「多死點人沒關係。這是日本賭國運的一戰，對我們來說，最重要的是時間！」這句話讓老酒想起遼瀋戰役中同樣冷若冰霜的林彪：「我不要傷亡數字，我只要塔山。」原來所謂的「一將功成萬骨枯」，就是這樣來的。
攻守雙方再次圍繞「203」高地進行殊死搏殺，日、俄士兵的斷臂殘肢被炮彈的巨大氣浪拋得漫天飛舞，撕心裂肺的慘叫聲終日不絕，這裡已經變成了吞噬生命的人間地獄。俄軍工事前鋪滿了受傷、陣亡的日、俄官兵，後繼部隊踏著同伴的軀體衝鋒陷陣。在槍炮聲、爆炸聲以及垂死者的哀號聲中，日軍的進攻依然如排山倒海、洶湧澎湃，這種近乎瘋狂的「萬歲衝鋒」，換來的是令人心悸的屍山血海。幾乎沒有一具死屍是完整的，在炮彈彈片和破碎刀槍的堆積中，到處夾雜著零碎的肢體和頭顱。由於雙方士兵屍橫遍野並迅速腐爛，「203」高地上惡臭熏天，俄軍士兵只能用沾過樟腦的毛巾捂住鼻口，才能勉強堅持作戰。