義勇軍的名義起源於東北軍名將黃顯聲，他在「九一八」事變前已經利用其負責遼寧省警務的優勢在東北公安系統內做了一定的應變準備。在正規軍抗戰不受支持的情況下，黃顯聲在錦州陷落前於當地組織義勇軍抵抗日軍進攻，並鼓勵東北官民自發以此名義發起抗日。東北軍正規軍撤離後，義勇軍成為抗擊日軍的主力，並在東北各地遍地開花，形成不同系統的數十萬部隊。這些部隊裡面有遼南鄧鐵梅、苗可秀等組織的鐵血軍，通化唐聚五等組織的遼寧民眾自衛抗日軍，遼西張海天、高振鵬等組織的遼西義勇軍，吉林王德林的救國軍這些新出現的抵抗武裝，還包括義勇軍化的馬占山、李杜等原東北軍部隊。
義勇軍不但在各地組織對日軍的抵抗，並曾經多次策劃實施對東北各戰略要點，如瀋陽、齊齊哈爾、哈爾濱等地的反攻。局勢一度如火如荼。
1933年後，隨著日軍兵力加強，並著意切斷義勇軍與關內的聯繫，造成義勇軍糧彈兩缺，處境艱難。各路義勇軍各自為戰，缺乏統一指揮，被各個擊破，逐漸招架不住日軍的進攻，其組織鬆散的問題也暴露了出來，部分人員投降或解散，部分人員退入關內。1933年以後，其在抵抗力量中的地位逐漸讓位於東北抗日聯軍。