日俄在南滿打開了鍋，一直活動在南滿的魯山統領的南滿支隊不可避免地捲入了日俄大戰。別說是他們這樣被俄國人「招安」了的武裝，在1904年，關東大地上幾乎所有的鬍子們都面臨著選擇，要麼幫日本人打俄國人，要麼幫俄國人打日本人。中立幾乎是不可能的。便是公開發表了「局部中立」的滿清朝廷，雖然打著中立的旗號，屁股實際上是坐在日本人這邊的。東三省不必說，便是直隸總督袁世凱，都受好友青木宣純大佐的要求，派遣精幹的軍官到關東，聯絡各地的鬍子，接受日本人提供的武器和銀兩，干起了武裝反抗俄軍的事情。
表面上日本人佔了大義。俄國老毛子借鎮壓義和團出兵滿洲，幾乎佔領了東北全境。辛丑條約簽訂後，又找種種借口賴在東北不走，死活不願意將東北「歸還」給滿清，自然得罪了視滿洲為「龍興之地」的滿清朝廷。
李鴻章在世時，一直採取親俄的外交政策，借俄國的力量與其他列強周旋，李死後，朝廷幾乎沒有人再幫俄國解釋了。而俄國獨佔滿洲的行為也開罪了英日美德等國家，除掉一直與俄國有著盟友關係的法國，幾乎沒有一個強國支持俄國。而日本出於自身「大陸政策」的考慮，打著為滿清驅逐俄國勢力出滿洲的旗號，也容易獲得關東鬍子們的好感。
造成當地土匪武裝親日的另一個因素就是日本在關東的諜報工作做的很出色。
這樣一來，一支幫助俄國作戰的「鬍子」就顯得很另類。
南滿支隊自去年底進入關東，接受俄國臨時番號後，大致經歷了兩個作戰歷程。
第一個階段主要是針對南滿大量的反俄中國武裝，即關東鬍子。其中主要是兩大股，東滿的馮德麟部和南滿的張作霖部。
起先魯山的活動區域在遼東，即海城以東，鳳凰城以西的區域。枯樹嶺伏擊戰是南滿支隊的成名之戰，一戰消滅五十名日軍使支隊闖出了名頭，讓俄軍重視起這支裝備精良、戰力不俗的武裝來，要求他們儘快消滅「為禍」東滿的馮德麟部土匪。隨後不久，結束在下馬塘休整的熊勛大隊在海城東北的陳家屯一帶與馮德麟部正面交手，重創馮部，還俘虜了一個日本軍官，震驚遼東。隨後，魯山率會合了第三批增援人員的支隊主力南下海城，開始了對馮德麟部的「清剿」。
馮德麟當然不知道南滿支隊的來歷，將其當做了一股不明身份的鬍子。如果他知道對手是經過嚴格訓練，有著嚴密組織的正規軍，馮德麟或者會採取躲避的策略而不會魯莽地與南滿支隊硬拼。
陳家屯一戰馮德麟失利，心裡很不服氣。迅速糾集了幾股散匪，準備將闖入自己地盤的「外來戶」消滅或者驅逐出去。錯誤的情報誤導了馮德麟這個慣匪，他認為敵人不過二三百人而已，而自己最少可以集結四五百人，還有日本人提供武器。所以，馮部派出馬隊，加大了對南滿支隊的偵察。魯山率主力抵達海城附近後，聽取了一直與馮部周旋的熊勛的意見，示敵以弱，故意放出風聲，讓馮部掌握了熊勛大隊的行蹤，故意讓馮德麟大隊將熊勛所部二百餘人合圍在陳家屯。但激戰一日，數次強攻均告失利，意識到中計已經晚了，魯山的其餘兩個大隊已經乘夜粘了上來，兵力優勢，裝備和戰鬥力更不是馮部可比。馮德麟終於見識了正規軍與鬍子的差距了。第二次陳家屯一戰，馮德麟重傷而死，縱橫遼東令俄國人頭痛不已的馮德麟部被基本消滅。
陳家屯一戰震動遼東。當地百姓對南滿支隊又恨又怕。魯山為首的軍政委員會研究了局勢，意識到必須緩解當地百姓對南滿支隊的誤解。辦法很簡單，他們採取了殺富濟貧的傳統措施，將繳獲的馮德麟家的財貨散發百姓。收集證據，嚴厲鎮壓海城周圍幫助日軍的富戶，槍斃了一批勾結日軍的當地士紳。這種做法很讓俄軍高興，他們愈發重視這支一心向著俄軍的武裝了。
魯山在龍謙手下時也算循規蹈矩，雖然因過失被降過職，但一直都是龍謙在軍事上特別是軍訓上依賴的頭號大將。其實魯山對龍謙強調紀律，不輕易開殺戒是有看法的。總覺著自己的老大什麼都好，就是過於書生氣了。打天下嘛，哪個不是鋼刀開路，殺出一片天空的？現在魯山領軍在外，有便宜行事之權。所以，在打擊馮德麟部的過程中不免有些嗜殺了，凡是有通日證據著，一律槍斃。偏偏遼東地方還吃這一套，一通殺戮之後，海城以東的局勢平靜了許多。雖然很快由於俄軍正面的失利，別說海城，連遼陽都丟失了，但南滿支隊的名頭算是闖出來了，陸大山的名號威震南滿，讓鬍子們面臨艱難的選擇，要麼選擇與陸大山的部隊對抗，要麼投降，加入陸大山的山頭。這個時代，國家、民族、名節、正義等東西沒幾個人懂得，特別是鬍子們，有奶便是娘是絕大多數共有的特點。便是在新民一帶說了算的張作霖部，很多人也是或俄或日，搖擺不定。所以，魯山兵威所致，遼東道上的鬍子們大部分選擇投降。
在1904年的春夏之交，總計有上千人的土匪投降了南滿支隊，被編入部隊進行紀律、軍事等方面的訓練。鬍子們習慣了自由散漫了，等他們加入南滿支隊，方知這支部隊的軍規之嚴，訓練之苦。於是，開始有人拖槍逃跑，凡是被抓獲的逃兵，魯山一律槍斃，毫不容情。
魯山性格中有龍謙不知的另一面，但參加過蒙山整軍，自始至終見證了蒙山軍從小到大，從弱到強過程，魯山及其與高級軍官們已經將龍謙治軍的那一套正面的東西學到了手，所以，軍規是前所未有的嚴厲，訓練是前所未有的嚴酷，對於手下強姦婦女，打劫客商百姓者，魯山跟對待逃兵一樣，幾乎就是一個結果，死刑！
一直跟隨南滿支隊行動的俄軍聯絡官索科洛夫少校對於支隊的紀律整頓和軍事訓練大為驚異，他簡直不相信這是土匪能做到的。他給阿爾傑米耶夫少將的報告中說，這支部隊的主要指揮官們似乎在哪裡接受過正規的軍事訓練，其條令、制度、訓練方法頗有值得借鑒之處，希望總部予以重視。但他怎麼也不會想到這支部隊有數百人是來自關內的正規軍官和士兵，而主管這方面事務的阿爾傑米耶夫少將只是關心這支部隊的戰果，哪裡會去深究？支隊戰鬥力越強，他就越高興。
海城當地的親日勢力被鎮壓下去後，開始有貧苦農民參加南滿支隊，有了當地人的加入，南滿支隊越來越耳聰目明了。
五月初，南滿支隊再次整編，充實了三個大隊的兵力，建立了一個騎兵中隊。待第四批增援人員抵達後，魯山展開了為期一個月的大練兵，待日軍對於南滿的攻勢展開，南滿支隊已經是擁兵1700人的一支不可小覷的力量了。
第二階段則是針對日軍永沼支隊的作戰。
永沼支隊是日軍為配合遼陽戰役而組織的一支精銳騎兵隊，其中配備了幾十名死心塌地幫助日軍作戰的鬍子。這支越過戰線深入俄軍後方的騎兵支隊帶給俄軍極大的損失。他們專門以破壞交通線，襲擊俄軍輜重部隊為目標的騎兵令俄軍極為頭痛。俄軍幾次圍剿，都因永沼支隊有當地親日鬍子的情報支持，一無所獲。因功升任俄軍遠東軍副參謀長，當初主持招降魯山支隊的阿爾傑米耶夫少將建議動用已經兵強馬壯的南滿支隊對付永沼支隊。從去年八月起，魯山指揮部隊盯住了永沼部隊，終於在十月份將永沼支隊合圍在奉天西北的陳家窩棚，經過兩天一夜的血戰，在趕來的俄軍一個炮兵營的配合下，全殲了永沼支隊，無一漏網。計擊斃日軍900餘人，俘虜（含傷兵）340人。徹底解除了俄軍的心腹大患。南滿支隊此戰傷亡1200餘人，算是傷筋動骨了。其中親率突擊隊主攻的副司令范德平身重三彈，差點陣亡，因送入奉天俄軍醫院及時手術，才算脫離了危險。而聯絡官索科洛夫少校也被彈片擊傷，送回俄軍野戰醫院治療，並因功升為中校，離開了南滿支隊，俄軍又派了一個上尉接替索科洛夫充任聯絡官。
經陳家窩棚一戰，南滿支隊算是脫胎換骨，浴火重生了。魯山認為，部隊雖然比不上蒙山軍，但基本可以與日軍正面相抗了。就一般規律，任何一部隊，如果不經歷一兩場傷筋動骨的血戰，很難成為真正的精銳。
南滿支隊由此獲得了俄軍總司令部的高度讚賞，改編為南滿獨立團，正式編入了遠東軍，魯山獲授俄軍上校軍銜，連長以上軍官全部獲得了俄軍軍銜，並為其大批地補充了被服武器，調入奉天整補，允許其自行招兵擴充實力。獨立團在為期三個月的休整中大肆擴軍，取消了原先的大隊編製，組建了三個加強步兵營，一個機炮營和一個騎兵營。另外還建立一個擁有八十輛馬車的輜重營和一個基本是蒙山軍士兵組成的警衛連。
休整的後期，魯山應俄軍的要求，也為以戰代訓，率領騎兵營和最先完成整編的兩個步營西進，清剿遼西一帶的鬍子，與張作霖部發生正面衝突，魯山擊潰了張作霖部，擊斃張作霖將領兼結義兄弟馬龍潭，生俘張作相。但此戰魯山臉部中了流彈，差點讓南滿支隊失去了司令官，最終還是破了相。而那位來南滿支隊的俄軍上尉卻因為得罪了盛光，被盛光在混亂的