扶眉戰役後，胡宗南主力被殲，國民黨反動集團更加寄希望於青、寧二馬同我較量。此時二馬集團仍未遭到殲滅性的打擊，處於絕望之中的國民黨反動集團竟又過高地估計了二馬的力量，妄圖依靠二馬扭轉西北戰局，於是積極策動二馬與我決戰於平涼地區。他們認為，平涼扼甘、寧之咽喉，為我進軍西北必爭之地。平涼一線多深壑峭壁，關山險要，青、寧二馬又有蘭州、銀川為後方，供應比較方便；而我軍遠離後方，供應必定十分困難。胡宗南乘機自秦嶺配合出擊，必將陷我於首尾難顧的困境。他們還妄圖在我進入少數民族地區後，煽動民族矛盾，使我無法立足，從而把我軍消滅於隴山之中。
一九四九年七月十九日，彭總在虢鎮附近的文廣村召開軍以上高級幹部會議，對扶眉戰役進行了總結。他把這次戰役稱為與胡馬集團決戰的第一個回合，並提出了第二個回合——平涼戰役的作戰計畫。
彭總在分析敵情的時候指出：胡宗南在扶眉戰役後雖然尚有十餘萬人的兵力，但分散在東起秦嶺之東江口、佛坪，西至徽縣、成縣、兩當、武都地區，南至安康、漢中及其以南地區，已成驚弓之鳥，時刻懼我進攻，短期內已無向我關中發動進攻的能力。青、寧二馬退守隴東地區後，如繼續後撤將失去甘肅、寧夏之咽喉——平涼，勢必造成我大軍直搗蘭州、銀川的形勢，估計青、寧二馬在尚未受我殲滅性打擊的情況下，是不會甘心的，必將憑藉平涼一帶天險進行抵抗。因此彭總決心以十八兵團之兩個軍鉗制胡宗南，保障我後方的安全，集中我一、二、十九三個兵團及十八兵團之六十二軍共十個軍，追擊二馬，力爭殲其主力於平涼地區。以十九兵團附騎兵第二旅為右翼，沿西蘭公路及其兩側向平涼攻擊前進；以一、二兵團為左翼，分兩路平行北上，先取隴縣，直插平涼以西，斷敵退路，並打擊由蘭州、固原方向可能增援之敵。以十八兵團之六十二軍為總預備隊。彭總還指出：西北地區雨季逼近，隴縣南北山高路險，人煙稀少，戰役行動應盡量提前，推遲則困難更多。
毛主席完全同意彭總的作戰計畫，並高興地斷定：只要平涼戰役能殲兩馬主力，西北戰局即可基本上解決，往後佔領甘、寧、青、新，基本上只是走路和接管的問題。同時，毛主席一再指示我們：打馬是一個較為嚴重的戰役，要準備付出較大的代價，千萬不可麻痹輕敵，疏忽大意。
我軍經過幾天的短暫的休整，從上到下地進行了政治動員；在「三大紀律、八項注意」教育的基礎上，特別對團結回族同胞作出了具體規定：要求部隊充分發揮「是戰鬥隊又是工作隊」的作用，一面作戰，一面做好新解放區的群眾工作；針對二馬在馬家軍隊中的欺騙宣傳，制訂了《寬待回民俘虜守則》，並釋放了回民戰俘，每人發給三塊銀元的路費。為了保證部隊供應，彭總還親自籌劃車輛，組織後方交通運輸。各部隊又組織了籌糧工作隊，隨軍就地向人民群眾借用部分糧食，以補充後方供應之不足。
七月二十一日，我兵團自乾縣、禮泉一線出發，沿西蘭公路及其兩側追擊敵人。我們將幾十輛坦克和裝甲車組成的戰車隊放在前面，為部隊開路。這些坦克和裝甲車，都是我兵團在華北戰場作戰時從敵人手裡繳獲的，今天倒成了對付敵人騎兵和嚇唬敵人的有力武器。一、二兵團也按預定計畫，分別於七月二十三日、二十四日開始出動。
這時，倉惶撤退的青、寧二馬，處於戰、退難決的窘境。他們想戰又覺得難以抵擋我三十萬大軍，深恐被我包圍殲滅；想退，又怕失去甘、寧咽喉，造成我大軍直搗蘭州、銀川的不利形勢。因此，遲至七月二十四日，才在敵西北軍政長官公署副長官劉任的主持下，召開了師長以上指揮官參加的軍事會議，制定了所謂「關山會戰指導復案計畫」，作出了平涼決戰的部署：決定以寧馬之第一二八軍、第十一軍共六個師又一個騎兵團、兩個炮兵營，於平涼以東、以南進行防禦，由四十里鋪、安口窯、華亭地區，以平涼為中心，從東北到西南，形成一個弧形防禦地帶，企圖以積極抗擊消耗我軍主力。青馬由安口窯地區西移六盤山，以便待機實施迂迴，從其弧形防禦地帶之右側——華亭、安口窯方向反突擊，攻我右翼，並依靠胡宗南從秦嶺向我後方出擊，「協力而各個擊破之」。
在青馬主持下制定的這個所謂「關山會戰指導復案計畫」一拋出，對青馬早有戒心的寧馬，立刻察覺青馬企圖在平涼決戰中保存自己的實力，而讓寧馬打頭陣。按照這個計畫，即使決戰獲勝，寧馬也將耗損主力，而青馬則可坐享其成；一旦決戰失利，西撤六盤山待機迂迴的青馬必定乘機逃走，而犧牲寧馬。尤其是寧馬見我軍置重兵於其右翼，更惶惶然深感難逃被殲的厄運。早就對馬步芳心懷不滿的馬鴻逵，因國民黨中央許諾的甘肅省政府主席被馬步芳企圖奪取，更加懷恨在心，一見青馬如此部署平涼決戰，立即電令寧馬臨時總指揮盧忠良：保存實力，退守寧夏。於是，敵人的平涼決戰計畫未及實施，就嬰死母胎了。
我各路大軍長驅直入隴東，跟蹤追擊青寧二馬，至七月二十七日，寧馬已向平涼以西撤退，青馬主力也撤至靜寧地區。根據這一情況，彭總斷定敵人已放棄在平涼與我決戰的企圖，而改為各保其家，節節抗擊，遲滯我軍前進的戰法，逐於二十七日發出命令，修訂原定之作戰計畫，十九兵團繼續追擊寧馬，一、二兵團則分兩路追擊青馬，殲滅一切被抓住的敵人。七月二十八日，一兵團抓住了扼守隴山要隘——固關、掩護青馬主力退卻之敵騎兵第十四旅。我第一軍經一小時戰鬥，迅速攻佔其附近據點並搶佔其兩側高地，敵不支，慌忙向固關以西潰逃，第七軍之二十師早已繞固關以南迂迴過來，斷敵退路，逃敵被我殲滅，僅有旅長馬成賢帶傷逃走。這是青馬第一次整旅被我全殲，對青馬震動極大，更加速向蘭州逃竄。寧馬跑得更快，我們十九兵團猛追十餘天，到八月一日始得一戰於固原以南之任山河，六十四軍經六小時激戰，殲敵五千餘人。
同時寧馬以一二八軍扼守六盤山東側之三關口，企圖依託公路兩側之懸崖絕壁阻止我軍前進。我六十五軍之一九三師勇猛地向敵人發起強攻，很快佔領了敵人陣地，奪取了三關口，打開了通路。八月二日，六十五軍之一九五師攻佔戰略要地六盤山。至此，我各路大軍已直入甘肅腹地，雖然未能殲滅青、寧二馬主力於平涼地區，但卻達到了分割二馬的目的，為以後各個殲滅敵人創造了更為有利的條件。敵人失去了平涼地區這一有利的決戰陣地，使蘭州、銀川暴露於我軍的攻擊之下，陷於空前不利的困境。
青、寧二馬被我分割，蘭州、銀川告急，引起逃往廣州的國民黨反動政府的極度恐慌，這對其妄圖保守西北與西南為其最後反革命基地的夢想，是又一次沉重的打擊。當時國民黨政府的行政院長閻錫山急忙在廠州召集馬步萬、馬鴻逢、胡宗南參加的「西北聯防會議」，策划了蘭州決戰計畫：以青馬節節抵抗後退守蘭州，吸引我軍主力於蘭州城下，牽住我軍主力；然後寧馬退出固原後轉向蘭州，胡宗南則進擊隴南，以包圍合擊我軍，並答應派空軍大力支援。敵人認為，蘭州有堅固工事和天險黃河為依託，兵力集中，彈藥充足，而我軍經長途跋涉，部隊疲勞，再用堅壁清野、斷我後路等手段，造成我軍供應困難，然後殲滅我軍於蘭州外圍。
會上，閻錫山極力調解馬步芳和馬鴻逵的矛盾，任命馬鴻逵為甘肅省政府主席。會後，馬步芳一再拉馬鴻逵即赴蘭州到任，實際是想以馬鴻逵為人質取得寧馬的支援。兩個人多次抱頭痛哭，發誓要同生死共患難，並商定一同坐飛機回蘭州。不料飛機將要起飛時，馬鴻逵突然變卦，以回寧親自部署出兵援蘭為借口，決定先回銀川，於是兩馬分道飛回西北。
早在一九四九年七月六日，即扶眉戰役以前，毛主席在《解決西北敵軍的方針》的指示中，就曾指出對青、寧二馬應予區別對待：首先打擊馬步芳，馬鴻逵是傅作義將軍的拜把兄弟，曾派人向傅作義將軍表示有向我求和之意。毛主席設想在殲滅馬步芳後，對馬鴻逵可在軍事打擊下盡量爭取用政治方式加以解決。同時，鑒於青馬在政治上占統治地位，在軍事上也比寧馬大，殲滅了青馬，即可基本上解決西北問題。因此，彭總決定首先集中力量殲滅青馬。當時，縱觀青馬動向有兩種可能：一是在蘭州同我決戰，二是退守青海老窩。如敵逃回青海，將造成我進軍作戰之嚴重困難，勢必延長西北全部解放的時間；而蘭州是甘肅、寧夏、青海、新疆四省之樞紐，雖然攻打蘭州將是一場艱巨的攻堅戰，但作戰條件遠比青海有利。所以我軍的作戰方針是力爭同青馬決戰於蘭州，而嚴防敵人逃回青海。
八月四日，彭總發布進軍蘭州殲滅青馬的作戰命令，確定如下之部署：
以二兵團之三個軍和十九兵團之兩個軍分兩路包圍進攻蘭州；由一兵團附六十二軍突破敵右翼向其青海老窩迂迴，以動搖其軍心，並攔阻和殲滅從蘭州逃竄之敵，爾後西渡黃河，直取西寧。另以十九兵