胡喬木初抵延安，在中共中央組織部報到時，遇上了小小的麻煩：他是中共黨員，這當然確實無疑，李凡夫、鄧潔都能為他證明。然而，他的黨齡從何時算起呢？
胡橋木是在1932年加入中共。可是，他的入黨介紹人、中共鹽城縣委書記嵇蔭根後來被捕、叛變，帶人前來抓他。他在倉促之中逃離鹽城，失去黨的組織關係。
在上海，1935年5月，由陳延慶介紹，胡喬木重新辦理了入黨手續。
胡喬木向中共中央組織部說明了以上情況。由於他在鹽城入黨沒有人證，組織部的組織科長對他說，那就只能寫1935年入黨了。
從此，胡喬木填履歷表，一直寫「1935年在上海入黨」。
在他1982年9月當選中共十二屆政治局委員時，他的簡歷上仍寫「1935年入黨」。
後來，經中共中央組織部重新調查，這才確認他是在1932年入黨。這樣，鹽城黨史上的「懸案」，也隨之解決了：因為胡喬木在鹽城發展了邱劍鳴入黨，倘若他那時還不是中共黨員，邱劍鳴入黨又從何談起？
二十五歲的胡喬木來到紅都延安，他對這一往情深。這是他走向成熟的地方，這是他一生中黃金歲月的所在。正因為這樣，他死後，他的骨灰撒在這片紅色的土地上。
剛到延安，中共中央組織部根據他的擅長，分配他做青年宣傳工作。
那時，正是西安事變之後，西北民眾抗日救亡運動高漲，大批青年奔向延安。1937年4月12日至17日，「西北青年救國會代表大會」在延安舉行。大會選出馮文彬、胡耀邦、劉英等二十三人為大會主席團。馮文彬致開幕詞。毛澤東、周恩來、朱德、博古、林伯渠、徐特立等到會講話。大會決定成立「西北青年救國聯合會」（簡稱「西北青救會」），以馮文彬為主任，王盛榮為組織部長，胡喬木為宣傳部長 。
值得順便提一筆的是，胡喬木進入延安時，由原名胡鼎新改為「喬木」。改稱「胡喬木」是後來的事。為了照顧讀者的閱讀習慣，此處仍用「胡喬木」。
胡喬木進入延安之後，寫信給尚在上海的大妹胡穗新、二妹胡文新。由於二妹患傷寒，延至1937年10月才離滬前往延安。她倆到延安，分別改名夏青和方銘。
在西北青救會成立之後，1937年9月下旬，當時任中共中央青年部部長兼西北青救會主任的馮文彬在中共陝西省委書記賈拓夫（即關烽）的支持下，決定開設「戰時青年短期訓練班」。當時，中共陝西省委機關在陝西涇陽縣，那裡屬國民黨統治區、離西安、咸陽很近。訓練班為了便於接納來自國民黨地區的大批青年，於1937年10月11日在涇陽的鄰縣——三原縣鬥口鎮農場開辦訓練班。這個農場原是國民黨元老於右任創辦的。一個月後，訓練班遷至涇陽縣雲陽鎮的城隍廟。又過了一個多月，遷至雲陽鎮之北的安吳堡一座地主庭院內，安定下來。從此，人們也就稱之為「安吳青訓班」。
「安吳青訓班」以朱德為名譽主任，最初只有四名工作人員，以馮文彬為主任，樂少華為大隊長。訓練班辦第二期時，胡喬木從延安調到那，擔任副主任，分管教學工作。後來，又增加了劉瑞龍為副主任。
「安吳青訓班」設在西安的「門口」。西北青救會又派出黃華到西安招生。這樣，大批學員前來。1938年，「安吳青訓班」開辦了十期之多。每期的學員原定一百名，很就被突破了，以至發展到每期三百多名。這些青年經過學習，分送到延安的「抗大」、陝北公學、中共中央黨校等，成為中共培養部的「初級班」。
胡喬木變得異常忙碌。好在他原先當過語文教員、英語教員，有教學經驗，只是此刻改教抗戰理論課程，又要負責安排整個青訓班的教學工作。