江蘇八中，一所學風嚴謹、教育質量很不錯的中學。今日中國科學院的學部委員之中，有十多位便出自該校。
江蘇八中的左翼勢力也頗強。1926年冬，江蘇八中的學生們上街宣傳，胡喬木也參加了。胡喬木在講演時，點名批判了軍閥孫傳芳，為此遭到逮捕。鑒於他年幼，不過十四歲，很快獲釋。此事表明，年紀輕輕的他，已是左翼陣營中的一員。
他的大哥胡達新也在這所學校學習，他參加了國民黨左派。胡氏兄弟都熱心於政治。
惲代英來到江蘇八中演講，給學生們莫大影響。惲代英是中共早期重要的領導人之一，主編《中國青年》雜誌，江蘇武進縣人。他的演講，富有鼓動性，使學生們為之振奮。胡喬木也是熱心的聽眾之一。
從此，《中國青年》雜誌成了胡喬木的密友。這是中國社會主義青年團的機關刊物，當時的發行量達三萬多份。惲代英在《中國青年》上發表了一百多篇文章。蕭楚女、鄧中夏、張太雷、任弼時、李求實等擔任編輯，也發表不少文章。二十多年後，胡喬木在延安成為《中國青年》的主編，這足以表明，當年的《中國青年》雜誌，當年該刊主編惲代英的演講，給予胡喬木多麼巨大的影響力。
中共在這所名牌中學建立了組織。胡喬木讀到了《嚮導》。《嚮導》是中共中央刊物，周刊，半公開發行。胡喬木在《嚮導》上讀到陳獨秀、李大釗、瞿秋白、蔡和森、張國燾、羅章龍等的文章。他也讀了陳望道翻譯的《共產黨宣言》。他的政治傾向，日漸明朗起來。
1927年，大革命失敗，軍閥孫傳芳佔領了揚州，抓學生當兵。八中的校長葉維善決定學校停課，讓學生們回家躲避。胡喬木隨哥哥胡達新到鎮江住了些日子。當他返校時，江蘇八中已改名揚州中學，他進入了高中一年級。
高中分文科、理科。那時的胡喬木學理科，卻又酷愛文史。他給校刊寫詩，被吸收為校刊編輯。
1929年江蘇大旱，胡家收不上租米，經濟困頓。那時，胡家五個子女，有四個在上學。不得已，胡喬木則不得不休學，以便省下錢來供大哥胡達新上完大學。
失學，對於胡喬木無疑是個莫大的打擊。幸虧校長幫了他的忙。校長教化學，讓胡喬木做他的助手，批改實驗作業，給他一些錢。這樣，胡喬木在半工半讀中讀完高三。
臨近畢業時，校方開除了幾名學生，說他們是共產黨。胡喬木為此寫信給學校教務長，批評校方「甘當國民黨的工具，把無罪的同學開除了……」這表明胡喬木的政治態度已很鮮明，表明他與共產黨人有很多聯。
1930年夏，十八歲的胡喬木從揚州中學畢業，考取了北平清華大學。