毛澤東、周恩來等人撤出延安後，一直往東進發，先後輾轉劉家、瓦窯堡，同先前到達的劉少奇、朱德、任弼時、葉劍英等會合。1947年3月25日夜，中共中央機關轉移到清澗縣棗林溝。
3月26日夜，中央書記處召開緊急擴大會議，討論黨中央是繼續留在陝北，還是東渡黃河進入山西的問題。會上，形成了兩種不同意見，爭論也很激烈。
爭論最後結果5個人分成兩班，一部分堅持陝北，一部分過黃河。
大家一致贊成。最後毛澤東拍板，劉少奇、朱德和一部分中央委員組成中央工作委員會，以劉少奇為書記，前往華北，進行中央委託的工作；毛澤東、周恩來、任弼時率黨中央的精幹機關繼續留在陝北，指揮全國各戰場的作戰；葉劍英、楊尚昆等人率黨中央及中央軍委的大部分工作人員，到晉西北統籌後方工作。
3月27日下午，劉少奇、朱德率中央工委出發，東渡黃河。隨中央工委一起行動的有中共中央組織部、宣傳部、社會部、辦公廳、黨校，以及《解放日報》等單位。
各個機關分批走了之後，棗林溝頓時冷清了下來。留下來的機關和警衛部隊，進行了輕裝整編。中共中央機關編為4個大隊；警衛部隊編成一個手槍連，成立了司令部，稱為「三支隊」，代號為「崑崙縱隊」。任弼時任縱隊司令，陸定一任政治委員，葉子龍任參謀長，汪東興任副參謀長，廖志高任政治部主任。
周恩來倡議：部隊有了代號，我們也應有個代號，以便保密。毛澤東表示同意，並給自己取代號為「李得勝」，意即撤離延安一定取得勝利。周恩來取代號為「胡必成」。浙江口音中「胡」和「務」讀音一樣，意即革命事業務必成功。任弼時的代號取為「史林」，系司令的諧音。任弼時有斯大林式的鬍子，也愛用大煙斗抽煙。因此，用「史林」為代號頗為形象。陸定一的代號取為「鄭位」，也像政委的諧音了。從此，在陝北就出現了一支神秘的「崑崙縱隊」。