在上海，康生完成了他從上等階層任性的寵兒到獻身於共產主義的積極分子的轉變。他被捲入了黨的初創時期一些里程碑的事件中：一九二五年聲勢浩大的反英抗議活動、一九二六年底和一九二七年初的城市起義以及一九二七年四月十二日國民黨對共產黨的破壞性清洗。在中國最大的城市所度過的九年時間裡，康生還為他安全和諜報專家的聲譽打下了基礎。
上海，向每一位富有冒險精神的人招手。當一九二四年七月康生第一次在它的大街小巷裡徘徊的時候，上海已經成為中國最擁擠的城市和遠東最大的西式城市。對一位生氣勃勃的二十六歲青年人來說，上海提供了各種驚人的可能性：不受約束的商業形式，精力充沛而有想像力的市民，賭博、毒品走私和賣淫的地下經濟社會網路。觀察家們以各種各樣舶語言描述上海：諸如「一個待售的城市」；賭徒、騙子和其他冒險家的天堂；一個財富可以很容易揮霍一空的地方。或者偷竊：大量有錢人吸引了同等數量的小偷。上海是個名副其實充滿機會的城市——從商業到文化、從犯罪到革命，它引誘者人們，甚至在他們的美夢已成泡影之後依然如此。
作為那時世界上最全球化的城市，上海有許多外國居民，包括英國人、美國人、法國人、德國人，俄國人、日本人、墨西哥上海，革命者的避風港人和菲律賓人。在亞洲，沒有其他城市能夠同它的複雜多樣化相比較。沿著混濁的黃浦江邊伸展的寬闊大道外灘，和熱鬧擁擠、領導內地潮流的購物街南京路，都矗立著時髦的裝飾派藝術風格的摩天大樓。寬敞而又富麗堂皇的房子，座落在用圍牆圍起來的院子里，優雅的住宅區到處是花壇和樹木。舒適的公寓樓里居住著日益增多的商人和專業人員等中產階級。許多法國風格的街區住房延伸到「法租界」，帕卡德（Packard）、拉塞爾（La Salle）、奧德斯莫比爾（Oldsmobile）、福特和其他由受雇司機駕駛的外國小轎車，穿行於擁擠的苦力和人力車夫之間。
賽馬場和許多夜總會及酒吧為有錢人提供了無窮的豐富多彩的娛樂消遣。世界各地的各式烹飪實際上幾乎在餐廳里都有供應，但是最受喜愛的是上海本地風格的烹調，以及蟹和其他海昧等精美特產。為了其他感官方面的取樂，上海還提供了一種頹廢的生活。妓院幾乎同飯店一樣多；有些中國人開設的店鋪同時提供這兩項服務。大量的別墅以漂亮的年輕姑娘吸引著富人們，但幾乎任何人都付得起費用的簡陋窯子里儘是面容憔悴的姑娘。鴉片煙館生意興旺，儘管根據法律它們都是不合法的，而且大幫吩鴉片必須由犯罪圃伙提供。
隨著奢侈、娛樂和各種現代便利設施的出現，上海理所當然贏得了「東方明珠」的聲譽。
但是，別墅和公寓、私人俱樂部和餐館、受雇司機駕駛的小轎車和人力車的老闆們，在上海的兩百萬人口中只佔著一個很小的比率。大批苦力和工廠工人生活在難以忍受而又無法逃避的貧困中。上海是個貧民的城市；冬天，當寒風呼嘯著癸刮過灰色的天空，乞丐的屍體就像排泄物一般堆積在街遭上疾病和犯罪到處蔓延，死亡是件輕而易舉的事情。
有些中國人被上海的極度洋化所觸怒，但是康生曾在德國人建造的現代港市青島住過三年，這使他很容易在這個城市裡安居下來。由於來自山東，他能夠依靠那些原先來上海發家致富的同鄉的幫助。確實，山東人代表了一個相當大的幫派，許多山東人積極活動於上海臭名昭著的青幫，這是個犯罪聯合組織，生存於一種古代的榮譽準則中，控制著上海興旺的下層社會。康生由於受到父親的限制，手頭比較拮据，但是他的家庭關係、他所受的教育和他漂亮的外表結合在一起，可以確保他生活得不錯。康生過著一種有節制的學生生活，但他從未面對過真正的經濟困難。
到達上海後不久，康生又改變了他的名字。他保留了張姓，但採用了一個新的名字張耘，使人聯想到他意欲在上海花時間根除他私人花園裡的莠草。康生還採取了另一個意義更為深長的行動，他同兩個來自諸城的朋友李宇超和孟超一起，註冊就讀於以激進作風而著稱中國的上海大學。
上海大學是政治自由的產物，這種政治自由產生於這個城市的複雜和獨特的法律地位：上海由三個獨立的行政機構統治管理——英國、法國和中國的行政機構；緒果法律的多種解釋和漏洞有助於說明這個城市的浮誇。市中心的公共租界，由英國人領導的上海市政委員會管理，這個委員會代表著一個由十一個國家組成的聯盟，其中美國和日本兩國有主要發言權。毗連這塊英國化領地的南部邊界是規模較小，膽更為優美和腐敗的「法租界」，一塊法國保留的租界地，作為獨立於公共租界的實體與英國抗衡。環繞著兩個外國租界的就是大上海，由中國人管理的貧民窟、居民住宅、大小工廠、混濁的小河和溝渠、供應市場的菜園和廟宇寺院，構成一幅雜亂的拼貼畫。
當地的軍閽統治大上海一直到一九二七年，那年，國民黨在南京成立的國民政府統一大部分中國。二十年代大部分時間的軍事統治者是大元帥孫傳芳，他極端保守的行政機構以極其無情和殘酷的手段統治著上海和周圍的省份。激進派和煽動家落到孫傳芳的士兵手裡，經常被當作殺人犯和搶劫犯一樣即刻砍頭。
相比之下，公共租界的法租界是中世紀專制主義大海中的自由孤島。生活在這兩個外國管區的中國居民可以免遭軍閥們的殘忍暴行，中國人允許上海發展一種新的、混合的文化和政治模式。對於那時候的中國人來說，「海派」意味著任何現代的、外國的、有獨創性和大膽的東西，是對那種在這個國家更為流行的陳腐和古老的「京派」的反動。
上海的外國領地吸引了毒品走私犯、冒險家、投機家、騙子、軍火商和間諜，同時還吸引了持異議的中國知識分子、藝術家、詩人、小說家、革命家、敗落的軍閥和退隱的政客。康生在上海的時候，大部分中國晟大膽的文化活動和知識分子都集中在上海地區。這個城甫的出版社、書店和報紙引發了一場巨大的現代文學運動，而且許多中國最著名的現代作家先後都在這裡工作過。在文藝圈中最有名望的大概是魯迅，他是一位批評家、雜文作家和短篇小說家；茅盾，一位共產黨小說家，未來的文化部長；巴金，一位無政府主義作家；還有郭沫若，一位詩人、歷史學家和學者。
上海的折衷主義為一九二一年由包括毛澤東在內的十三人創建於上海的中國共產黨，提供了理想的繁殖地。組織者將他們的第一次會議放在上海女子學校內舉行，但是對警察監視的擔心，迫使他們轉移到臨近湖泊的一艘大型遊艇上。從一九二四年到一九二七年四月，共產黨一直是國民黨的同盟者，當時的國民黨是同蘇聯有著牢固關係的民族主義革命政黨。
康生所在的學校上海大學，原先是所師範學院，但是在一九二三年改頭換面，當時信奉共產主義的學生們進行反抗並奪取了學校的控制權。中國共產黨把大學從閘北郊區遷往公共租界，在那兒兩幢花園環繞的西式別墅里上課。學生們，包括康生，住在附近小巷和衚衕的集體宿舍里。這所大學由校長是博學而受人尊敬的國民黨元老於右任。然而，於右仨平常不在學校里，學校實際上是由邵力予管理，他是國民黨員，但同中國共產黨很親密。在大學裡邵力子不是唯一受到左翼影響的人。兩位有獻身精神的共產黨人：作家兼理論家瞿秋白與組織家兼宣傳家鄧中夏，都在大學裡開課，這樣就會吸引未來的黨員們。
康生的一位老師是瞿秋白，他那變動劇烈的個人生活同他的才智一樣名聞遐邇。瞿秋白曾捲入同女作家丁玲和也的一個學生櫪之華的三角戀愛，後來他同後者結婚。 瞿伙白把浪漫主義和革命熱情相結合，對中國的青年人有著強烈的吸引力。他在蘇聯度過了三年，能夠講述來自實踐中的馬克思列寧主義的直接經驗。瞿秋白是個能激發他人興趣酌、熱情的演說家。康生的同學楊之華後來回憶說，康生在聽她未來的丈夫上課時非常仔細作筆記，因此那些缺課的學生們總是找他幫忙。正是瞿秋白那關於不可避免的布爾什維克勝利的生動描述，使康生成為一個職業革命家。
康生選擇了大學的社會科學系，這個系比另兩個科系——中國文學和英國文學——更能適應政治形勢。他很快就沉浸在辯證唯物主義、政治經濟學、馬克思主義和社會發展史的學習中。這些課程試圖逐漸動搖傳統社會中的信念，並為一個美好的嶄新未來提供藍圖。他剛進上海大學的時候，幾乎對馬克思主義理論缺乏最起碼的概念，於是康生開始培養成為一個知識分子的名聲。若干年以後，毛澤東告訴安娜·路易斯·斯特朗（Anna Louise Strong），一位美國新聞工作者和共產主義宣傳員，康生是早期革命領導人中少數幾個大學畢業生之一。實際上，只有同他的黨內領導同事較量時，康生才是個學者；帶給他意識形態專家名望的不是學術造詣，而是口才敏捷和樂於利用自身地位來壓制批