上海的中共地下組織在艱難中孤軍作戰，既面臨國民黨當局的白色恐怖，又失去了與中共中央的聯繫。
1935年中共《八一宣言》（即《中國蘇維埃政府、中國共產黨為抗日救國告全體同胞書》）的公開發表，使上海的中共地下組織欣喜若狂，這才知道來自中共中央的信息。不過，中共中央尚未與上海的中共地下組織直接取得聯。
1935年11月，一封署名「S3」的密信，終於從莫斯科輾轉送到魯迅手中。魯迅許廣平抄了一份，轉交給茅盾，茅盾再轉給周揚。於是，周揚、夏衍、胡喬木得知了來自莫斯科的指令。「S3」，亦即蕭三，是「左聯」駐蘇代表，詩人，也是毛澤東青年時代的好友。
蕭三的信中肯定了「左聯」成立以來的所取得的巨大成績，也指出存在關門主義傾向。
他提出：「在組織方面——取消左聯，發宣言解散它，另外發起，組織一個廣大的文學團體，極力爭取公開的可能……」
不言而喻，「S3」的密信，並不僅僅代表他個人的意見。
中共上海地下組織同意「S3」的意見。於是，「文總」宣？解散，「左聯」也隨之解散，另行成立了各界救國會，以適應抗日救國的新形勢。
中共成立了江蘇省臨時工作委員會（簡稱「江蘇臨委」），鄧潔為書記，胡喬木為宣傳部長，陳延慶為組織部長。那時，上海屬江蘇省。「江蘇臨委」領導著中共在上海的工作。
1936年4月下旬，一位重要人物從陝北極為秘密地來到上海。他會見了魯迅，也與胡風接觸，而周揚、夏衍、胡喬木等對於他的到來竟毫無所知。顯然，由於中共上海地下組織跟中共中央失去聯頗久，這位負重要使命而來的人物，對中共上海地下組織持謹慎態度。
陝北方面選派他前來上海，可以說是「最佳人選」：他原本就在上海從事地下工作，他曾擔任中共「文委」書記兼中共江蘇省委宣傳部長，他與魯迅也有著頗深的友誼。只是在1933年秋冬之間，他在上海四川北路（那時叫「北四川路」）被國民黨特務盯住。他來到海寧路，那特務仍然緊盯，而那行人頗多，於是急中生智，突然回過頭來跟特務打架，同時大呼「綁票、綁票」。特務措手不及，被路人圍住，他趁機溜之大吉。不久，他奉命離開上海，秘密前往江西中央蘇區，來到紅都瑞金。後來，他參加了長征，到達延安……
此人便是馮雪峰。馮雪峰對於周揚他們的不信任態度，可從魯迅1926年8月所寫的著名論文《答徐懋庸並關於抗日統一戰線問題》中看出。魯迅寫及「駛來了一輛汽車，從中跳出四條漢子：田漢、周起應，還有另兩個，一律洋服，態度軒昂」。周起應即周揚，「另兩個」即夏衍、陽翰笙。從此，周揚等四人有了「四條漢子」之稱。雖說胡喬木不在「四條漢子」之列，不過，他也屬於不被信任的範圍。
在馮雪峰來到上海一個多月，周揚他們才從別人那風聞延安派來要員。他們通過各種渠道打聽，得知來人乃是馮雪峰。周揚他們求見馮雪峰，馮雪峰終於答應。不過，彼此的關係仍處於緊張狀態。
這時，胡喬木也與馮雪峰見了面。馮雪峰要求中共江蘇臨委暫停發展黨員工作，必須純潔黨的組織。對於已經入黨的黨員，要做重新審查的工作。
在派出馮雪峰之際，中共中央又派出劉少奇前往天津，主持中共中央北方局工作，大力糾正「左」傾關門主義錯誤。北方局派人來滬，帶來了北方局組織部長林楓、劉少奇的秘書的信，跟胡喬木取得了聯繫。不久，帶來了劉少奇的文章、北方局的文件。這樣，中共江蘇臨委總算結束了孤軍作戰的年月。
然而，中共江蘇臨委的一位委員，被國民黨特務盯上了。這個委員與某女子相好，落入國民黨特務手中。
特務們在跟蹤這個委員的過程中，發現了中共江蘇臨委書記鄧潔。於是，鄧潔也被捕了。
中共江蘇臨委不得不迅速改組，由李凡夫擔任書記。
胡喬木仍為臨委成員，但他隱蔽起來，原本他住在福煦路（今金陵西路）福煦里，此時趕緊轉移。
於是，上海新閘路的培明中學，來了一位新的教師。校長是鹽城人，新教師是校長的同鄉。新教師教英語課，看來還頗為在行。此人便是胡喬木。據估計，國民黨特務可能會盯上他，黨組織叮囑他在外邊少露面。正因為這樣，諸如在上海鬧得沸沸揚揚的營救「七君子」運動，胡喬木也沒有參與。
終於，胡喬木接到馮雪峰的通知，要他離開上海，和李凡夫一起，前往延安。
據1992年10月3日新華社電訊《胡喬木同志生平》載：「胡喬木同志於1937年7月到達延安。」據方銘回憶，胡喬木離滬，是在1937年3、4月間，不是7月。胡喬木離滬時，方銘去送行，記得他穿一件夾大衣。考慮到上海北站的特務多，胡喬木和李凡夫特地前往上海遠郊火車站——真如站上車。
據說，李凡夫後來曾笑謂胡喬木，臨行前，馮雪峰曾叮囑，一路上要「監視」胡喬木。
李凡夫的話，倒也不假。雖說在解放後，馮雪峰跟胡喬木關係很不錯，不過，那時馮雪對胡喬木確實有著戒心，如同那時馮雪峰對待周揚他們不信任一樣。
在胡喬木之前，鄧潔獲釋出獄，先去了延安。
胡喬木從上海來到延安，是他一生中重要的一步。