小河會議上，毛澤東提出我們不能等到敵人的進攻被粉碎，人民解放軍數量上、裝備上都超過敵人後再展開戰略反攻。我們必須立即轉入進攻，主力打到外線去，把戰爭引向國民黨統治區。並作出了「三軍配合，兩翼牽制」的戰略部署。根據部署，西北野戰軍攻打榆林，誘敵北上，把胡宗南拖得筋疲力盡，然後再尋機殲滅其一部，以保證陳（賡）謝（富治）集團順利渡河，挺進豫西。
遵照小河會議制定的戰略部署，彭德懷指揮西北野戰軍8個旅和綏德分區的勤務第4、第6團，於8月6日開始攻打榆林。
榆林舊稱榆陽，又叫駝城，靠近無定河、榆河。這裡地勢平展，土地肥沃，物產豐富。由於它北依長城，南抵烏延，西北與寧夏毗鄰，地處晉陝綏寧要衝，為歷代兵家必爭之地。
駐守榆林的是鄧寶珊指揮的第22軍。毛澤東為西北野戰軍規定的方針是：攻得下就攻，攻不下就撤，然後尋機殲敵。
彭德懷指揮部隊，兩天時間，就掃清了榆林守敵設在神木高家堡至橫山響水堡200餘里防線上的大部外圍據點，大軍直逼榆林城下。
蔣介石得知西北野戰軍圍攻榆林的消息後，十分吃驚。他感到若榆林不保，則寧夏孤立，胡宗南一旦失去北面的作戰配合，必將影響整個西北戰局。因此，榆林之得失對整個西北戰局關係甚大，不可掉以輕心。他急忙於8月7日上午帶著國防部作戰司司長和空軍副總司令王叔銘等人，急匆匆地從南京經西安飛抵延安。
當天下午5時，蔣介石在延安親自主持召開了旅以上軍官參加的作戰會議，研究增援榆林的問題。胡宗南、裴昌會、薛敏泉、董釗、劉戡以及王叔銘等人參加了這次作戰會議。會議提出了固守榆林的作戰方案，其要點是：「第一、榆林守軍必須堅強固守，以待援軍之到達；第二、整36師即馳援榆林；第三、馳援時，應以迂為直，避開綏德、橫山正面匪之阻援，改循保安、靖邊，出長城，沿伊盟南端邊緣挺進，出敵不意，一舉進出榆林；第四、進抵榆林周邊後，應與守城友軍切取聯繫，合力內外夾擊而捕殲之；第五、整36師前進時之補給，由空軍逐日投送糧彈支援。」並限令整編第36師於11日進抵榆林。
作戰會議開完後，8月7日晚，蔣介石又召集胡宗南再次研討榆林戰況。胡宗南說：「現在共軍圍攻榆林，想誘我們去解榆林之圍，在米脂以北地區設伏殲滅我軍。這次，我們再不上他們的當了。」
聽了胡宗南的話後，蔣介石當即指示說：今後在陝北作戰，不必再穩紮穩打，而要用急進猛打的戰法，補救過去的缺陷。此次解榆林之圍，主力可以緩緩地沿咸榆公路北上；而另以鍾松的整編第36師從安塞西南的永寧寨出發，從左翼疾進，經靖邊，出橫山，沿長城北邊東進，側擊榆林附近的共軍。榆林解圍之後，乘共軍撤退之時，立即出榆林南下，與北上的主力相配合，南北夾擊，在榆林、米脂間與共軍決戰，殲滅共軍或將共軍趕到黃河以東。胡宗南提出，其部主力全部北上決戰，後方交通線會缺乏掩護部隊。同時，時值雨季，部隊的補給也會成為大問題。蔣介石說，可以空軍空投和沿途搶糧來解決補給問題。接著，他們商議並擬寫了給鄧寶珊、第22軍軍長左世允、第28旅旅長徐保的信，第二天空投到了榆林。
蔣介石對這次作戰行動看得很重，他在接見整編第27師軍官時說：「陝北為主要戰場，為匪之首腦所在，如不肅清，後患無窮。本令7月底肅清，現延長一個月，8月底定須肅清。」（台灣：《民國胡上將宗南年譜》）一切布置好之後，蔣介石就飛回南京去了。這是蔣介石一生中第一次，也是最後一次視察延安，全部時間加起來，僅為一晝夜。