中央紅軍先遣部隊分別於1935年1月2日、1月3日於回龍場、江界口勝利渡過烏江，敵人吹噓的「重疊堅固，可保無虞」的烏江防線頃刻被瓦解。
1月4日，紅一軍團紅二師紅六團接受了奪取遵義的任務。這時據守遵義的敵軍是貴州軍閥王家烈所統率的一部。由於貴州地處邊遠，加上當地十分貧窮，王家烈在統治貴州時，為了籌足軍餉，就對當地的煙土走私和買賣不但不打擊，還加以保護，以便從中獲取暴利。由於這一原因，貴州的軍隊大多吸食鴉片，所以貴州軍閥王家烈的部隊被稱為「雙槍兵」，即步槍和鴉片槍。那個時候對於敵軍各部流傳一個說法：滇軍黔軍兩隻羊，湘軍就是一頭狼。所以，防守遵義的黔軍的戰鬥力是非常差的。
紅六團團長朱水秋、代理政委王集成，在進軍遵義途中對如何奪取遵義作了認真的考慮，他們認為遵義守敵儘管戰鬥力不強，但敵人是以逸待勞，地形熟悉，所以紅軍還須認真對待。他們對攻城的兵力部署、政治工作、物質保障等，都作了周密的考慮。在白日行軍途中，朱水秋團長和王集成政委把五萬分之一的地圖攤在馬頸上，二人開始「鞍上辦公」。研究的結果，確定紅軍一、二營為突擊營，從遵義城東、南兩面突進城去；三營為預備營。當晚，他們在距離遵義45公里的團溪宿營。第二天凌晨，紅軍總部參謀長兼軍委縱隊司令員劉伯承風塵僕僕地從總部趕來。他一見到王集成政委，就急切地問道：「你們打遵義有把握么？」王集成回答：「沒有問題，王家烈的部隊我們領教過，一定能攻進去！」劉伯承點頭同意並進一步指示：「我們的日子是比較艱難的，要求仗打得好，還要傷亡少，又要節省子彈，這就需多用點智慧了！」
1月6日上午，紅六團由團溪經龍坪向遵義疾步挺進。午後，當紅軍部隊挺進到深溪水時，偵察員報告：在距離遵義15公里的地方，發現敵人的外圍據點，駐有一個多營的兵力。當時，劉伯承指出：要全殲這裡的敵人，不準有一個漏網；否則，走漏了風聲，就會影響紅軍攻打遵義。紅六團的領導經過研究，立即把部隊分為兩路，像一把鉗子，迅速把這個莊子包圍，趁著大雨打了進去，敵營長被擊斃，其餘無一漏網。
為了進一步掌握遵義城的敵情和地形，他們從俘虜群中挑出一個連長，一個排長和十幾個出身較貧寒的士兵進行談話，講明我黨的政策，說明紅軍是打軍閥、地主，為窮人謀利益的隊伍。經過耐心說服教育，消除俘虜的顧慮後，就明確地告訴他們：紅軍今天就要打遵義，誰了解遵義的情況，應當詳細報告我們，說得對的事後有賞。俘虜中那個連長一聽，急忙站起來說：「長官，紅軍對我們這麼好，小人願效勞！」接著，他把遵義城內的工事，守城的兵力，以及城防部署，敵軍裝備都一一講了，並畫了一幅城防要圖。
遵義城的底細摸清楚了，朱團長和王政委商定化裝去詐城，打個便宜仗。他們把這個打算報告劉司令員，劉伯承非常滿意。最終決定這齣戲由一營長曾寶堂來演。由他帶領三連和偵察排，又在全團挑選了20多個司號員，個個都是敵軍士兵打扮，由十幾個經過教育願為紅軍效力的俘虜帶路，其他部隊跟在後面，做好兩手準備，如詐城不成，便強攻上去。
晚上9點多鐘，紅六團冒著大雨出發了，進行了幾個小時的急行軍，因路太滑，每個人都摔了幾跤，變成了泥人。1月7日凌晨，快到遵義城時大雨停了，從夜幕中看見半空中吊著一盞燈。這時，曾寶堂指揮紅軍戰士扮作從前線潰退下來的黔軍來到遵義城下，一出智取遵義城的好戲開演了。時任紅六團政委的王集成在回憶錄中寫到：當城樓上的守敵發現曾寶堂他們時，氣氛頓時緊張起來。「幹什麼的？」城樓上發出一句兇狠的問話，隨之槍栓也拉得嘩啦嘩啦直響。「自己人！」被紅軍抓住的俘虜用貴州話從容地回答。「哪一部分的？」城樓上又問。這個俘虜的連長就按紅軍事先給他安排的內容，講了一遍。城上還不放心，左考問，又考問，還射下幾道手電筒光，認真查看。直到守敵確認城下是「自己人」後，才打開了城門。開城門的守敵還恐慌地問紅軍偵察排的同志：「怎麼紅軍已經過烏江了？來得好快呀！」偵察排的戰士就答：「是呀！現在已經到了遵義城。」說著就把槍對準了敵人的腦袋，嚴厲地說：「告訴你們，我們就是中國工農紅軍！」兩個守敵嚇得「啊」了一聲，癱在地上。大幕拉開了，好戲開始登場。二三十個司號員一起吹起了衝鋒號，六團大隊人馬順勢湧進城裡，頓時，遵義城裡熱鬧起來。激昂嘹亮的軍號聲中夾雜著驚心動魄的槍聲，英勇殺敵的呼喊，混合著敵人的慘叫，大多數敵人還沒有來得及穿好衣服就當了俘虜，只有少數敵人狼狽不堪地從北門逃走了。
1月7日凌晨，黔北重鎮遵義城被攻佔了。
紅軍進入黔北各城市之前，為了保證執行工農民主政府的各項政策，更好地爭取群眾、組織群眾，擴大紅軍影響，曾制訂了《關於進入城市執行政策的規定》，要求紅軍部隊嚴格遵守，不得侵犯。
紅軍先頭部隊奪取遵義時，正值半夜，紅軍戰士沒有敲群眾的門，而是懷抱武器，頂著寒風在屋檐下休息。第二天群眾起來，出門後看到圍坐在屋檐下的紅軍戰士，深受感動。
耿彪、楊成武率領的紅二師紅四團也於當日早晨進抵遵義。楊成武說：「經過戰鬥的洗禮的遵義城，沐浴在朝霞中，我們看到街道寬闊，店鋪很多，有的已經開始營業，鮮紅的橘子，鬆軟的蛋糕——真是琳琅滿目，呈現著獨有的景象。」這讓整日鑽在大山裡打仗的紅軍戰士備感新鮮，而更新鮮的事是好奇的學生圍住戰士們要看「水馬」。原來王家烈的黔軍為了掩蓋自己的無能，編造出紅軍有「水馬」，過江不沉底，上城不用梯子，子彈打不透，把紅軍吹得神乎其神。難怪老百姓湧上來圍觀。
1月9日下午，當紅軍的領導人及大部隊要進城的消息傳來時，群眾紛紛組織起來，興高采烈地趕到城外歡迎紅軍進城，滿街貼滿了「歡迎紅軍」、「紅軍是保護老百姓的軍隊」等標語。大部隊在鞭炮聲、口號聲以及群眾的歡呼聲中，浩浩蕩蕩地開進了遵義城。