1935年12月18日，西北革命軍事委員會以第十五軍團第七十八師和騎兵團等部組成北路軍，任命劉志丹為總指揮，北上打擊橫山地區進犯的國民黨第八十六師，鞏固和擴大陝甘根據地的北線陣地。
劉志丹在率軍北上時，遇到習仲勛，叮嚀說：「你給受過整的同志們捎話，讓同志們不要有情緒，過去的事情不要放心上，要服從中央分配，積極工作，用事實來證明我們是正確的。」
李維漢在《回憶與研究》一書中，對陝北肅反問題是這樣說的：「由於『左』傾路線沒有清算，陝甘蘇區的地方幹部和軍隊幹部仍然戴著右傾機會主義的帽子，所以對他們的工作分配，特別是對一些高級幹部的工作分配，一般是不公正的。當時中央決定對釋放幹部的工作分配辦法是：地方幹部由陝北省委負責，軍隊幹部由軍委負責。
1935年底，中央決定將橫山、綏德、米脂、靖邊一帶的獨立部隊和游擊隊整編為紅二十八軍，任命劉志丹為軍長、宋任窮為政委、楊森為副軍長兼參謀長（之後改任紅三十軍參謀長，1936年5月初在三交鎮以南阻擊敵人時犧牲，年僅29歲），下轄3個團，共計1200餘人。中央還派了裴周玉擔任紅二十八軍特派員。
1936年2月下旬，紅二十八軍奉中央命令，由吳堡北上向神木、府谷進攻，打通陝北蘇區和神府蘇區聯繫，使之連成一片，鞏固和擴大神府革命根據地，並迅速發展蘇區黨的組織和壯大地方武裝力量，鞏固抗日後方，牽制敵軍，策應主力紅軍東征。紅二十八軍在短短一個多月內，先後在清澗、綏德、吳堡、米脂等十多個重要城鎮，強有力的打擊了敵人，勝利進入神府蘇區。在3月20日的行軍途中，群眾報告敵軍八十六師的一個營正在前面的楊家塌搶劫糧食。劉志丹向群眾仔細了解了敵人的兵力、裝備和地形後，當機立斷，給三個團分別部署了由正面主攻、切敵退路、埋伏消滅潰敗之敵的作戰任務。戰鬥打響後，敵營大亂，突圍中沒有退路，潰逃時又被埋伏的紅軍截住，僅1個多小時，就全殲了敵人。這一仗打出了威風，附近幾處敵人聞風喪膽，聽說劉志丹領導的紅二十八軍來了，沒敢打，連夜就逃跑了。
紅二十八軍部隊進人神府後，天氣依然寒冷，當地群眾看到許多指戰員還穿著露腳趾的鞋子，當地政府就發動村村戶戶，在短短几天時間就給紅二十八軍做了2000多雙鞋。有不少老百姓從遠道趕來，帶上當地特產，要親眼看望劉志丹，真心實意地擁護陝北人民的領袖。
隨軍的裴周玉回憶說：
……沿途受到群眾的熱烈歡迎。人們聽說劉志丹帶著紅軍來了，有些人離幾十里地也要趕來看。記得部隊宿營在神木縣境的一個小村裡，那天，我在一個窮人家的破窯洞里看見劉志丹軍長。他盤腿坐在炕頭上，周圍的男女老少擠了好幾層。老鄉們一聲一個「老劉」地叫他。他笑嘻嘻地回答著每個人提出的問話，向大家講著黨中央到陝北以後的革命形勢，講著在毛主席領導下紅軍不斷打勝仗的消息。
這時正值春節期間，老鄉們有人拿著紅棗饃饃來送給「老劉」；有人拿著雞蛋挂面來送給「老劉」；還有人把給神靈作的供品也拿來向「老劉」送禮了。劉志丹不住地答謝著老鄉們的慰問。正說話間，人群里忽然發出一個顫抖著的婦女聲音說：「你們閃開點，讓我也看看老劉。」原來擠進屋裡的是一位白髮蒼蒼的老大娘，看去已有70多歲了，雙目失明，老態龍鍾。眾人鬨笑著問老大娘：「瞎娘，你沒有眼睛，怎麼看老劉呀？」
老人家理直氣壯地辯駁說：「看不見我還摸不著哇！」說著，劉志丹就起身站在老大娘面前。老人家像抓住什麼寶貝似的，從頭頂摸到腳下，又從腳下摸到頭頂，激動地說：「我終於見到你了，你真是咱們老百姓的恩人啊！」老大娘這種真摯感情的流露，使周圍不少人都感動得流出了熱淚。
原陝甘邊特委書記張秀山出獄後，到神府特委任組織部長，見到了東征途中的劉志丹。兩個老戰友重逢，分外親切。張秀山在《我的八十五年》中寫道：
這天晚上，我和志丹睡在一個炕上談到深夜。當說到陝北的錯誤「肅反」時，我們仍然很激憤。因為直到這時，劉志丹和我們這些人身上仍然背著「右派」、「右傾機會主義」的罪名。志丹說：「我們到底是不是『右』派反革命（『左』傾分子仍在散布這種言論），在戰場上讓他們看！黨中央、毛主席總有一天會把這些事情搞清楚的。
這時候，毛澤東率紅一軍團和紅十五軍團，已渡過黃河，逼近同蒲鐵路沿線。中央命令紅二十八軍從佳縣北渡黃河，楔人晉西地區，配合紅一方面軍，迅速打通走向抗日前線的道路。
要過黃河，必須有船！
為了渡過黃河，劉志丹日以繼夜地不停工作，經常跑到村裡找群眾研究河水和造船情況。在一個大風沙天氣，劉志丹在黃河邊和一位60多歲的老大爺促膝相談。
老大爺很嚴肅地說：「黃河有三不過：春汛不過，夏汛不過，凌汛不過。現在春汛快要到了，上面河套里一解凍，房子大的冰塊一堆堆向下流涌，船一下水就有被撞碎的危險。」
劉志丹問：「老翁公，你的船還在嗎？」
「早被閻匪搶走了！還有我的兒子也被抓走幾個月了啊！老劉，你是清官，你得把兒子和船給我奪回來啊！」說著就泣不成聲了。
劉志丹聽了老人一番訴說，安慰說：「你的兒子會平安無事的，我們渡過黃河就是去收拾閻匪的！」
老工人揩乾了眼淚，拉著劉志丹的手：「老劉，就是拼了我這把老骨頭，也要給你們把船隻造好。我還要親自把紅軍送過黃河去！」
群眾聽說是給紅軍部隊造船，積極性很高，全力以赴。木材不夠用，有的人把自己家的門板卸下拿來，有的人還獻出準備做棺材的木料。時間緊迫，船工晝夜倒班，終於在7天之內造好了5條渡船。
經過劉志丹的仔細觀察和分析對岸敵情後，把強渡黃河的地點放在神木縣賀家川的山坡村附近。這裡雖然岸崖陡峭，河面較窄，水流湍急，但敵人防守不嚴，加上這個地方是窟野河與黃河的交匯處，不易被敵人發覺。
當紅二十八軍先鋒隊出其不意渡河時，被敵人發現了，受到機槍火力的猛烈阻擊。頃刻，子彈嘩嘩地掃過來，岩石上火花飛濺，河面水柱亂跳。劉志丹站在河沿上一面命令重火力向敵人射擊，一面指揮部隊強渡。在密集的彈雨中，船工奮力划船，紅軍硬是衝上對岸，拔掉了兩個中心碉堡。紅二十八軍三個團全部相繼在拂曉前渡過黃河。從黑峪口、興縣城、康寧鎮橫掃過去，接二連三地取得了勝利。進入臨縣白文鎮，與紅十五軍團的部隊會師了。劉志丹反覆和徐海東、程子華等商討軍政局勢，研究對敵戰略。這時候的劉志丹只有一件舊大衣，白天穿，晚上蓋。過去打土豪分得一條舊被子，過黃河時讓飼養員給弄丟了，同志們要給他弄一條被子來，劉志丹擋住了，說：天漸漸暖了，我不需要了。現在供給緊缺，如果能弄到被子，讓戰士們用吧。
接著，中央軍委急電：令二十八軍即向以南黃河沿岸地區進擊，並相機攻佔山西中陽縣三交鎮，牽制和調動敵人。
4月13日，紅二十八軍到達三交鎮附近。
三交鎮與陝西省的清澗縣和綏德縣隔河相望，與山西省的石樓縣接壤，處在「雞鳴驚四縣」的位置上。是山西中陽縣靠黃河的一個重要渡口，南北環山，西面臨水，地勢險要，易守難攻。鎮內有重兵把守，沿河有堅固的工事。
劉志丹親自觀察地形後，和軍部的同志一塊研究攻擊三交鎮的辦法，叮嚀說：「越向南走，離中央總部越近，一定要打好三交鎮這一仗，我們千萬不能輕敵。這次戰鬥是與河東整個紅軍的安危有關。周圍都是白區，任何麻痹疏忽，都是不容許的。」
1936年4月14日臨晨，攻打三交鎮的戰鬥開始了。三交鎮周圍大部陣地已經被紅二十八軍佔領，而主要山頭上的敵人還在頑固據守。劉志丹十分著急，到前沿陣地的鰲則疙瘩山頭觀察戰況，不幸中彈犧牲，年僅33歲。
戰友們在清理劉志丹衣兜里的物品時，除了幾份黨內文件和六支香煙外，其它一無所有。大家禁不住失聲痛哭。他沒有給自己留下一分錢，卻為革命流盡了最後一滴血。
當夜，紅二十八軍派出一個排，把劉志丹的遺體運過黃河。4月20日左右，護送到了瓦窯堡北邊的黑山樑。周恩來聽到劉志丹犧牲的消息後，落淚了，沉痛地說：「志丹同志是一個很好的同志，他的犧牲是紅軍的重大損失。我們要永遠紀念他！」接著又指示，「劉嫂子病重，正在住醫院，等幾天她病好一些再開追悼大會。」
4月23日，劉志丹的遺體被運到黨中央所在地瓦窯堡市。24日，各機關團體、紅軍部隊兩三千人，在城內戲台前召開了隆重的追悼會。周恩來和中華蘇維埃中央政府駐西北辦事處主任博古（秦邦憲），先後致悼詞和講了話。