1928年3月，正當《新月》在黃浦江邊升起的時候，上海吳淞海邊的中國公學發生風潮，至4月底尚未解決，校長何魯辭職。校董會推胡適繼任，希望他能出面維持，平息風潮。胡適因母校的關係，慨然允諾，於4月30日就任中公校長。
胡適接長中國公學以後，頗多興革。當時的中國，既缺人才，又缺經費，很難辦一個完善的大規模的大學。中公經費更是異常困窘，瀕於破產的境地，卻設有文、商、法、理工4院，17學系，而學生僅三百餘人。胡適覺得非裁併改革不可。他在所作校史中說：
我們覺得何魯先生任內所定學科組織的規模太大了，不是公學的經濟狀況能負擔的，故自十七年暑假起，裁撤工學院與法學院，其餘學系也經裁併，改為文理學院及社會科學院，共兩院，七學系。原有之商學院成為社會科學院中之商學系。
餘六係為中國文學系、外國語文學系、哲學系、數理學系、史學社會學系、政治經濟學系。①
這樣改革，實事求是，經過一段努力，竟把學校「從破產中救了出來，使他有很大的發展」，以致興旺發達起來了。②學生最多時達到1300餘人；而全校只有會計1人，事務1人，舍監1人，職員共計僅14人。③比起今日一些機構臃腫的大學來，真可以算得上精兵簡政了。
作為大學校長，胡適非常重視學生智能的培養。他在中公設立了獎學金，獎勵學生讀書；並積極提倡寫作及各種學術研究會、演講會等活動。胡適認為，這些活動可以引起學生讀書的興趣，幫助思想學問。他曾說：
我們相信，文字的記錄可以幫助思想學問：可以使思想漸漸成條理，可以使知識循序漸進。……商家的賬簿上往往寫著「勤筆免思」；其實勤筆不是免我思想，正是助我思想。④
在胡適的提倡與鼓勵之下，學校創辦了《吳淞月刊》，學生中也辦起了《野馬》等許多刊物，出現了一種自由、主動、活潑的讀書風氣。
胡適也相當重視體育，曾親自為全校運動會寫了一首短歌：
健兒們大家上前。
只一人第一，要個個爭先。
勝固然可喜，敗亦欣然。
健兒們大家上前。
健兒們大家齊來。
全體的光榮，要我們擔戴。
要光榮的勝，光榮的敗。
健兒們大家齊來。⑤
他所看重的不僅是學生體格的鍛煉，而且重視運動場上對學生品格的培養，希望青年們養成一種堂堂正正的運動員風度。
對於校中成績突出的青年學生，胡適非常熱心培養扶持，甚至有些偏愛，卻也相當嚴格。當時文理學院的學生羅爾綱，平時一點也不活躍，在校中無聲無息。但他成績優秀，得過學校首屆獎學金，文化史的論文也作得不錯，很得胡校長的賞識。1930年夏，羅爾綱要畢業了。畢業前夕，他給胡適寫了一封信，請求他介紹工作。胡適便約請羅爾綱做家庭教師，並收他做「徒弟」。羅氏在胡家先後五年，除指導祖望、思杜兄弟倆讀書外，又幫助抄錄整理胡鐵花先生的遺集，⑥並在胡適的指導下研究史學。後來，羅爾綱寫了一本《師門辱教記》的自傳，記述這五年跟胡適做「徒弟」的生活，頗為親切生動。其中寫道：
我一入師門，適之師就將「不苟且」三字教訓我，我以前謹遵師教。到了妻兒來北平後，為了要賣稿補助生活，一大部分文章不得不粗製濫作了。……至今想起來還是一件痛心的事。
我十分慚愧，又十分感激，當我每次發表這種文章的時候，就得到適之師給我嚴切的教訓。
據羅爾綱所記，胡適對他的幾次批評確是很嚴厲的，但嚴厲之中卻也能給人以啟迪；而對羅氏的成績，胡適也多有稱許和鼓勵。⑦羅爾綱後來研究史學頗有成就，尤為太平天國史的著名學者。他自己認為，跟胡適的指導與嚴格要求是分不開的。
吳晗，當年名春晗，也在中國公學念書，也是胡適的一個得意門生。在胡適講授中國文化史課程時，吳晗得到胡適的指導和幫助，寫出了他的第一篇學術論文《西漢的經濟狀況》，也得到胡校長的賞識。後來，胡適被迫離開中公，吳晗也離校北上，考入了清華大學歷史系二年級。胡適又介紹他在學校謀得當「工讀生」
的機會，解決了經濟困難；又親書一副對聯送給他，寫著：
大處著眼，小處著手；
多談問題，少談主義。
胡適還寫信勉勵吳晗，要他「訓練自己作一個能整理明代史料的學者」；並在《大公報》上撰文，希望大學生們以吳晗為榜樣，「埋頭讀書，不問政治」。吳晗那時確也深受胡適的影響，不僅把胡適送的對聯掛在自己的房間里，也給胡適辦的《獨立評論》寫文章，並且按照胡適的指導和要求，成了專治明史的著名學者。⑧但是，吳晗是一個熱血青年，看到黑暗腐敗的現實，他怎麼坐得下圖書館而無動於衷呢?他給胡適寫信，說：
處在現今的時局中，黨國領袖賣國，政府賣國，封疆大吏賣國，……翻開任何國任何朝代的史來看，找不出這樣一個卑鄙無恥、喪心病狂的政府，也很難找到這樣一個麻木不仁、渾渾噩噩的國民。
他這些痛苦，不敢「向有黨籍的人吐露」，因此向胡適傾訴，說自己「過去備受先生的訓誨指導」，也希這時能給他「指示一條應走的路」。⑨胡適卻難以為力。後來吳晗思想轉變，走上了與胡適相反的道路，成為一位堅強的民主鬥士。
當時中國公學的學生中，還有一位吳健雄女士。後來她留學美國，胡適對她仍經常關心指導。她終於成了名滿天下的物理學家，胡適常常以有這樣的學生而自豪。⑩吳健雄呢，對胡適的教導也終生不忘。1985年，她應邀回祖國參加母校南京大學校慶紀念，對青年後生談治學經驗時，猶說到胡適先生對她的教導和關心，是她後來積極進取的動力。
為了培養學生，大學最重要的是要聘請好的教授。胡適接長中公以後，雖受各方面條件的限制，還是努力延聘，羅致了一批英美留學生到校任教，使人文科學和社會科學方面的教授較為齊整。他聘請教授，有蔡元培的作風，不限資格，不分派系。如中國文學系，有王運的弟子馬宗霍教先秦文學與《說文》，有左派作家白薇教戲劇，有陸侃如、馮沅君教古典詩詞考釋，有鄭振鐸、梁實秋教西洋文學等等，還有年輕作家沈從文教小說創作。又聘請高一涵先生任社會科學院院長，胡適自兼文理學院院長，還兼授「文化史」一門課程。他每周除了來校上課，洽商校務及主持各種會議和活動之外，大部分時間仍住在滬西極司斐而路寓所，從事學術研究和寫作。在任中公校長的兩年間，出版了《白話文學史》上卷，《廬山遊記》、《人權論集》，編校了《神會和尚遺集》，還寫了收在《胡適文存三集》里的許多文章。這樣一位飽學而勤奮的校長，在研究和寫作方面有這許多成果，對教員，對學生，對學校的學風，將會產生怎樣良好的影響，是不言而喻的。
胡適不拘資歷，破格延聘沈從文來校任教，在中國公學曾傳為美談。
沈從文，湖南鳳凰人。只念過小學，大兵出身。後來刻苦自修，創作小說，多發表在《現代評論》和《晨報副刊》上，成了《現代評論》的一個台柱作家，頗得讀者的喜愛。1928年春天，沈從文來到上海，與丁玲、胡也頻夫婦合辦《紅黑》雜誌和紅黑出版社。他們三人有很深的友誼。後來胡也頻被國民黨政府逮捕殺害，沈從文曾多方奔走，協助丁玲設法營救。但據沈的好友丁玲女士說：
沈從文因為一貫與新月社、現代評論派有些友誼，所以他始終有些羨慕紳士階級，他已經不甘於一個清苦的作家的生活，也不大滿足於一個作家的地位，他很想能當一個教授。
那時候，教授的社會地位遠比作家高，因為自學可以當作家，搞創作；卻很難成學問家，當教授。沈從文也想當教授。但他沒有學歷，小說雖然寫得好，卻不能算學問，因此難進大學的門檻。
胡適原來就器重沈從文，出任中公校長後，便聘請他來校教「小說習作」，破格提拔他當了教授。沈從文訥於言辭，小時候讀書也很不認真；但教書卻很認真。
為了給學生作習題舉例，他隨時用不同的藝術手法，寫了表現不同生活題材的許多作品，在藝術上作了多方面的探求。這些作品，大多發表在《新月》雜誌和《小說月報》上，是他在中公教書的一項大收穫。
沈從文在中公的最大收穫，是找到了他的終身伴侶——夫人張兆和女士。據說這事也與胡適校長有些關係，得到過胡適的幫助。當時中公已實行男女同校，但女同學為數不多。據中公校友回憶，張兆和女士心地善良，性格純樸，沉靜，又擅長球類體育，富健康美，被公認為中公的「校花」。許多男同學爭相追求，都被她一概拒絕，不予理睬，因此都知難而退了。惟有教師沈從文鍥而不捨，寫了許多情書給張。她起初也不理睬，後