陝西農民起義之後不久，就開始小規模地越過黃河，進入山西。開初是倏來忽去，後來由於山西地方當局借口「防盜」，下令閉糶，禁止把糧食運進有起義農民活動的災荒地區。這樣，陝西起義農民強行渡河入晉就不斷增加。
起義軍大規模地進入山西是在崇禎三年。從這年二月開始，老回回馬守應、八金剛、王子順、上天猴等部渡過黃河，攻克了蒲縣。然後分兵兩路：東路沿趙城，洪洞、汾州，霍州一線；西路沿石樓、永和、吉州、隰縣一線活動 。十月二十八日，由於饑民的內應，起義軍佔領了晉西北重要城鎮河曲，控制了黃河渡口 。由於明政府改變了以撫為主的政策，調集大軍由新任陝西三邊總督洪承疇指揮，加緊了對陝西農民軍的追剿。在軍事上受到壓力的各部起義軍，陸續轉移到黃河以東。因此，從崇禎四年到六年，起義軍活動的重心是在山西境內。除了早先入晉的幾支起義軍外，王嘉胤、張獻忠、李自成、羅汝才等部都先後進入山西。其中實力最強的是王嘉胤部。
起義軍的大舉入晉，使明政府山西當局深感不安。他們一面調派兵員堵剿，一面指責陝西當局「以鄰為壑」，沒有將起義軍就地殲滅。然而，嚴酷的階級對立在山西也同樣存在。來自陝西的義軍不過起了一種催化作用而已。起義軍所到之處，得到了山西貧苦群眾的熱烈歡迎，大批破產農民湧進了起義隊伍；有的州縣農民也自發地舉行起義。崇禎四年三月，太僕寺卿鄭宗周上言：
「蓋晉土自天啟初年以來，無歲不災，而去年尤甚。重以沿黃之派，急於星火，轉運艱難。在朝廷雖算價二十二萬，而民間所費實已不止百萬。有司但顧考成，新舊並催，鬻子賣妻，剜心敲髓，民之皮骨已盡。今日春雨未沾（指朝廷分文不予救濟），風霾日異，人心洶洶，朝不保夕。弱者轉於溝壑，強者嗔目語難。斬揭四起，勢所必至。」
另一位明朝官僚則說：「沁（陽）之南暨邑（指陽城縣）東西，賊建號樹幟者不一而足，或以萬計，或數千。既揭竿，脅從者且十五六。至若上黨（今長治）、汾水亦不啻幾過。」 崇禎三年底，一位山西鄉紳就指出：「始之寇晉者，秦人也；今寇晉者，半晉人矣。二三月間，從賊者十之一，六七月而從賊者十之三，至今冬而從賊者十之五六矣。」據此，他提出「欲除晉之盜，莫先欲撫晉之貧民。」 只知道從農民身上榨取錢財的明政府，根本不願救濟貧民，山西的農民起義日益擴展就是很自然的了。
崇禎四年五月，王嘉胤的隊伍進展到晉東南的沁水、陽城一帶。明政府雖然派了悍將曹文詔部尾隨追擊，卻因為「賊勢甚眾，不能取勝。」 軍事上既然無能為力，官軍就轉而採取陰謀手段。曹文詔聽說部下士卒張立位的姐姐是王嘉胤的妻子，就親自秘密找張立位談話，布置他詐降充當內應。王嘉胤在裙帶關係面前喪失警惕，竟把這個內奸當作親信，任用為帳前指揮。六月初二日，張立位同他的姐姐和王嘉胤的部將王國忠串通一氣，用酒把王嘉胤灌醉刺死 。隨即放火為號，同曹文詔部官軍裡應外合，直撲起義軍營壘。起義軍大亂，遭到嚴重損失。王嘉胤手下的右丞白玉柱投降。左丞紫金梁（即王自用）領著餘眾逃出，會合山西境內的他部義軍，聲勢復振。
史籍記載紫金梁會合的起義軍一共有三十六營，眾號二十萬。這三十六營的首領人物，各種文獻記載詳略不等。其間也有傳聞失實的地方。為了使讀者對在山西活動的起義軍有一個大致的了解，這裡舉出當時山西一個鄉紳的記載供參考：
「紫金梁其首也，餘八大王（張獻忠）、掃地王、邢紅狼，黑煞神、曹操（羅汝才）、亂世王、闖將（李自成）、撞塌天（當即闖塌天劉國能）、滿天星、老回回（馬守應）、李晉王、黨家、破甲錐、八金剛、混天王、蠍子塊、闖王（高迎祥）、點燈子（趙勝）、不沾泥（張存孟）、張妙手、白九兒、一陣風、七郎、大天王、九條龍、四天王、上天猴（劉九思）、丫頭子，齊天王、映山紅、催山虎、衝天柱、油里滑、屹烈眼（當即革里眼賀一龍）。」
這裡需要指出三點：一是各種史籍的作者，對當時農民軍的內部組織情況不一定了解得那麼清楚，難免發生錯誤；二是起義軍的行動經常在變化，有的隊伍時而在山西，時而又返回陝西，更增加了記敘的困難；三是說以紫金梁王自用為首，其實他當時只是各部起義軍一種鬆散聯盟的盟主，各部首領的獨立性是非常大的。
明政府在確立以剿為主的方針以後，三邊總督洪承疇加緊了對農民軍的鎮壓。這時，滿洲貴族入侵畿輔地區的軍隊早已飽掠而還，明廷可以騰出手來了。陝西總兵王承恩、甘肅總兵楊嘉謨等部勤王兵，先後被調回陝參加追剿。官軍齊集陝西，農民軍就轉入山西。洪承疇一面派出官軍追剿留在陝西的起義軍，一面抽調兵馬尾隨入晉，配合山西官軍夾剿。崇禎四年七月，點燈子趙勝在陝西連續遭到官軍的追擊，立腳不住，被迫轉入山西。洪承疇和部將曹文詔、艾萬年追過黃河。九月十八日，趙勝部在晉西石樓縣遭到官軍的夜襲。由於變生意外，趙勝在匆忙中「裸身提刀欲戰」，被官軍砍死。
趙勝部雖然遭到挫折，起義軍在山西境內卻仍然發展很快。各部分頭作戰，流動不居，使官軍疲於奔命。是時，山西的起義軍主要活動於三個地區，一是平陽（今晉南臨汾一帶），一是澤、潞（今晉東南晉城、長治一帶），一是汾、太、沁、遼（今晉中地區）。明廷命宣大總督張宗衡駐平陽，統部將白安、虎大威、李卑、賀人龍、左良玉等士卒八千人，負責今晉南、晉東南四十一州縣的追剿事宜；山西巡撫許鼎臣駐汾州（今汾陽），統領張應昌、苟伏威、史記、頗希牧、艾萬年等部士卒七千人，鎮壓今晉中地區的義軍。由於防區過廣，起義軍又好比水銀瀉地，無所不在，官軍的追剿很少收到預期的效果。
到崇禎五年，李自成在山西境內的各支起義軍中已經嶄露頭角，成了重要的首領之一。這年八月，山東道御史劉令譽上言：
「有自賊中逃回者言，舊在晉中賊首掌盤子等十六家，最梟獍者為闖將、紫金梁，戴金穿紅，群賊效之。遂皆以紅衣為號。」
同年七月，「李自成、八大王（張獻忠）、老回回（馬守應）、紫金梁（王自用）、翻山鷂（高傑）等寇掠蒲縣。攻城三晝夜，不克。是夜，賊令精銳三百人襲大寧，三更城陷。八月，自大寧襲隰州，守備高逸開北門遁去。知州楊瑋拒守，射傷賊甚多，中流矢墜東城下。賊住城中三日」 。攻克隰州、大寧的起義軍是否包括李自成、張獻忠，馬守應、王自用等部在內，史籍記載有分歧 ；但李自成當時已經是一位重要首領則是可以肯定的。
這年秋冬，起義軍向東發展，轉戰於沁水、陽城、高平、陵川、潞安、長子等地，先後攻克了壽陽、澤州（今晉城）。九月間，李自成等部從晉城南面兩省交界處的大口攻入河南。十四日，攻克修武 ，兵鋒直逼懷慶府城。河南鄉紳張惶失措，聯名上疏請救。朝廷急調昌平鎮副總兵左良玉，帶領二千多名官軍趕赴懷慶。十二月，明宣大總督張宗衡所部官軍，尾追紫金梁、邢紅狼等部經陽城、澤州、高平、長子，屯留等縣境。紫金梁等率部轉入山區，官軍因連日追剿業已困憊不堪。這時，李自成同八金剛、過天星帶領的一路起義軍已經由河南修武、懷慶地區北入山西，出現在武鄉縣境，於十二月二十四日五鼓，一舉攻克遼州（今左權縣）。
李自成等部的攻克遼州，使明宣大總督張宗衡和總兵尤世祿大出意料。尤世祿在塘報中說：「職所尾之賊系紫金梁等，而闖將等系西河之賊，不知何故放鬆，令其蹂躪東向。惟恐有破巢覆卵之患，於是不暇顧所尾之賊，急擬走遼州應援，以全疆土。」 尤世祿被迫放棄對紫金梁等部的追剿，於十二月二十八日趕到遼州城下。經過兩天的圍攻，起義軍據城展開了頑強的抵抗。尤世祿和他的兒子副將尤人龍都被射傷。後來，李自成等起義軍首領為了避免據守孤城為官軍圍殲，決定奪門而出，且戰且走地擺脫了官軍的追擊。遼州之戰是起義軍進入山西以後，同官軍展開的一次比較重要的戰役。這次戰役雖然打亂了明政府的追剿計畫，使紫金梁等部得以順利轉移，但是李自成等人的一度據守遼州城是不策略的，光是在突圍時，起義軍戰士就犧牲了一千三百人 。