8月20日，第一野戰軍司令部發布了作戰命令：命令各軍於21日拂曉全線發起攻擊。
1949年8月21日6時，蘭州戰役打響了。攻擊外圍陣地的炮聲震撼著寂靜的山巒，陣地上硝煙瀰漫，刀光劍影，殺聲震天。
要說蘭州地勢之險要，確實具有防守的特殊有利地形。它北依黃河天塹，東、南、西三面環山形成天然屏障，其坐落於起伏綿延的山嶺之中。早在抗日戰爭時期，國民黨軍朱紹良部就在這裡築有永久性的國防工事。而3個月前，青馬匪軍又加強了防禦體系，增設了馬架山、營盤嶺、沈家嶺三大主防陣地，並與豆家山、古城嶺各制高的據點相連接。
主要陣地築有鋼筋水泥碉堡群，通向城裡的環山公路與各主要陣地相連接，機動十分方便。對外有一道至二道高6米至10米的絕壁。絕壁腰部設有暗藏的側射機槍掩體，絕壁外從前沿至縱深挖有深、寬各3米至6米的外壕三道，壕內埋有半米高的尖木樁，各壕間又有暗堡和野戰工事，並有交通溝和暗道相通。陣地上還有密如蛛網的鐵絲網和鹿砦，蜂窩似的地雷區（以每枚航空炸彈連結著數枚地雷，只要踩響一個，半徑二三十米以內人員都會遭到殺傷）。
馬步芳以他的「老本」82軍3個精銳師（100、248、190三個師），分守三大陣地，以馬步鑾的129軍兩個師為預備隊，部署在拱星墩和蘭州西關兩地，又把從新疆調來的榴彈炮營配置於東校場，甘肅保安部隊的3個團駐守東崗及城內，合計共5萬多人據守蘭州。
同時，以3個軍兩萬人為左翼（第91軍、第120軍、第81軍）于靖遠、景泰及打拉池地區防禦，又以新疆援軍2萬人為右翼控制臨洮、洮河地區。兩個騎兵旅（師）（騎8師，騎14旅）、5個騎兵團位於蘭州以西河口至西寧一線，策應蘭州和臨洮方面的作戰，號稱十萬大軍。馬步芳的兒子馬繼援在蘭州黃河北岸坐鎮指揮，前沿指揮所設在龍尾山上。
敵人自以為這樣的部署，加上地形險要，工事堅固，兵力雄厚，可謂天衣無縫，固若金湯。因此，大言不慚地在城門上寫了「萬里金湯」四個大字。馬步芳也狂妄地說：「憑著蘭州依山臨水的地形和抗戰時期的『國防工事』，我不僅要保住蘭州，而且要直下西安！」
果然，21日戰鬥打響後，進行得非常激烈。我軍由於戰前部分指戰員輕敵，未能摸清敵情、充分準備，儘管用了9個團投入戰鬥，部隊指戰員也打得非常勇猛頑強，多次和敵人展開肉搏戰，並給敵人以很大殺傷，但全線卻沒有奪得敵人一個陣地，自己的傷亡倒是很大。彭德懷根據這種情況，果斷地下令：全線停止進攻，迅速進行陣地總結，按21日的戰鬥指示做好準備後再發動總攻。
8月23日，彭德懷來到楊得志所部19兵團指揮所。
19兵團首戰失利，指揮員心情很沉重，向彭總做了檢討。彭德懷卻說：「部隊試攻受阻，其主要原因是輕敵，次要原因是敵人工事堅固，守敵頑強。這次試攻是我決定的，時間倉促，部隊準備不夠。不過，通過試攻，也達到了了解敵人的目的。你們要告訴戰士，沉住氣，總結經驗教訓，仔細研究敵人，扎紮實實地做好準備工作，待命向敵人發動總攻。」
彭德懷的指示精神被傳達到整個攻城部隊，指戰員們聽到後，感到深受鼓舞，一致表示，一定要千方百計拿下蘭州城。
在以後的三天里，「充分進行準備，爭取一舉攻克蘭州」已成為全軍上下的一致行動。無論前線和後方，機關和部隊，都緊張地投入了戰前準備，部隊深入地進行了政治動員，認真總結了經驗教訓，仔細地偵察地形，反覆地摸清道路，進行了沙盤作業，開展了軍事民主……