一九二七年四月蔣介石對共產黨的清洗而引發的政治迫害，一直持續到一九三七年日本人侵略中國，這迫使國民黨再一次和共產黨結成脆弱的聯合。在此之前，共產黨一直自信革命即將在中國舞台上滾滾向前，相反卻發現到處都是緊迫的危機。威脅迫使一些中國共產黨員流亡，逃往像漢口那樣的內地城市，那兒國民黨左派依然歡迎他們；或者逃往香港，那兒英國法律提供了防範國民黨秘密警察的保護措施。但是許多共產黨員在上海轉入了地下，只有靠小心謹慎和偽造身份來保護自己。在這些領導人當中，包括在五卅運動中贏得卓越聲望的年輕勞工鼓動家李立三，他裝扮成一個古玩商人；還有康生在上海大學的老師鄧中夏，鄧化裝成一個理髮師。
康生也留在上海，在法租界過著共產黨員的秘密生活，由於他的機智和對這個城市的了解，加上日趨謹慎和對都市生活方式或世態的熟知，他存活了下來。他熟悉上海的衚衕小巷，他了解上海豪華旅館和大百貨商店的進口和出口，他後來自誇說，沒有一個人能夠抓住他。就這樣過了六年，直到上海變得異常危險，康生才不得不撤退，前往莫斯科。
康生不僅僅熟悉這個城市的自然環境。按照一位後來移居香港的左翼作家的說法，康生的生活就像其他許多來上溥求學的富有年輕人一樣。在一○年代中期，電影院和舞廳尚屬風毛麟角，因此他們的時間大都泡在中等妓院里，那兒的風俗允許他們一邊同鴇母們喝酒，一邊懷著免費性交的希望同妓女們調情。上海大學的男學生，同其他意識形態不強的學生並無二致，一樣尋求娛樂，儘管他們以「調查社會弊病」之名，為自己尋求快樂的行為辯護。也許如這位作家所說的，康生也不例外。
一旦捲入地下黨工作，康生便對上海夜生活的知識運用自如。當他覺得自己正處於被國民黨特務逮捕的危險中時，他時常會躲避到某個妓院，在那兒他可以消失一個小時或者一個晚上，因為他知道安全檢查機關很少會突然搜查這些付給當地警察規費的場所，所以很安全。康生還利用上海為數眾多的彈子房和澡堂，作為緊急庇護所和小心謹慎的會議場所。這些娛樂場所一直通宵開放，為黨幹部進行秘密集會提供了極好的去處。
在一九二七年四月的突發災禍之後，康生開始過一種新的生活，這種生活能提供他日常的各種需要——食物、金錢和性——並能使他在國民黨特務的眼裡顯得毫不起眼。他的第一個動作是找了一位新妻子，這樣他可以做為普通的已婚男子而被人忽略。在中國，沒有比一個獨身男子更令人懷疑的了；在中國共產黨的早期，資深男幹部至少要以已婚形象出現的壓力非常強大，因此時常有隼輕的女性黨員被指定同他們一起生活來作為掩護。 誠然，康生已經有妻子和孩子，但是這場由父母安排同陳宜的婚姻，已經遠遠不適合他了。
康生最後一次看望陳宜是在一九二五年六月，當時他同他的親密夥伴李宇超和孟超一起回到諸城老家。從那以後，他簡直就不再理她了。最初，陳宜依靠康生的父親過活，在他父親死後，她則同康生的兒子張子石一起生活。她死於何時不太清楚，但是無論如何，她早已從康生的生活中消失了。康生的女兒張玉瑛，最後嫁入諸城一戶地主家庭，但後來同她丈夫離了婚，進了一家煙草工廠做工。
康生本人並不注重法律上的細節，也從未操心過要辦理正式的離婚手續。根據那個時代的標準，他的行為並非異常。
在五四運動之後，個人主義和自由選擇的現代西方思想日益普及，許多年輕的中國人，不論是共產黨員還是非共產黨員，都紛紛摒棄父母做主的婚姻。中國共產黨後來實施清教主義的法規，但是在二○年代和三○年代期間，一些年青人接受非正式的婚姻並且信奉自由戀愛的理論，即所謂的「一杯水」主義——性交就像喝杯水一樣。有些中國男人實行一夫多妻，另外有些人在適當的時候就變換配偶。
蔣介石，雖然他的生活更為拘謹保守，卻有著類似的記錄。一九二七年十二月，蔣介石瘋狂地愛上了孫中山的遺孀宋慶齡的漂亮妹妹宋美齡，遺棄了他的第一任妻子毛福梅，他最喜愛的兒子蔣經國的母親。蔣介石從未正式同毛福梅離婚，然而，他擅自考慮著同宋美齡結婚。這兩人的結合引起許多爭吵。宋夫人堅決反對這樁婚姻．美齡的父親宋耀如則表示，除非蔣介石同意皈依基督教，他才肯同意這門婚事。不僅如此，青幫頭子杜月笙也害怕這場同孫中山家庭的聯姻，會使蔣介石忘記對上海黑手黨的義務。在美麗的美齡「嫁給」蔣介石不久，她乘上一輛轎車，以為她將前往她姊姊的房子，但是相反，她被送往一座陌生的、條件舒適的別墅並且被扣留。蔣介石的內弟宋子文最後同杜月笙打交道，杜月笙解釋說他很關心美齡的安全，因而把她保護在一個安全的地方。蔣介石毫不費力就猜透了杜月笙的心思：他永遠不可忘記付給這位青幫頭子適當的權益。
一九二七年，康生同一位在上海大學遇到的年輕女子結了婚，她學習中國文學。康生的新娘原名為曹淑英，後來她把名字改為「軼歐」（壓抑歐化）——這種中國沙文主義的作法完全合康生的意。她也來自山東，是個典型的現代中國女性。曹軼歐是帶著自然的、未曾纏綁過的雙腳長大的，在省會濟南享有聲望的山東女子學校受教育。由於受到五四運動激進觀點的洗禮，她在一九二六年加入共產黨。像康生一樣，曹軼歐以前也結過婚，她拋棄第一任丈夫同康生結婚，這也是她反抗的一個象徵。
曹軼歐從未給康生生過一男半女，但是他們的關係卻比那個時代許多便利的共產主義「婚姻」包含更多的東西。個子嬌小、表情愉快，曹軼歐事實上充分準備好參與康生那些最曲折和最危險的密謀，這是政治代價。對一個過著秘密生活的男人來說，她是個極相稱的伴侶。康生最終協助她闖出自己的政治生涯。
結婚一年以後，在一九二八年年底，康生又一次改了名，捨棄了「張耘」，代之以「趙容」這個名字，這是他第一次隱瞄同張家的關係，採用了另一個同他本家不同的姓。康生通過僱傭關係，安全地成為上海中華商會會長虞洽卿的私人秘書，開始了他的新身份。虞洽卿控制著銀行業和船舶航運業，是上海最有影響和最富有的中國企業家之一。他是一個大有爭議的人物，是一九二五年反英罷工運動的主要支持者；身為一個帶有民族主義傾向的商人，能夠僱用一個來自山東、具有進步和排外傾向的年輕人，這並不出人意外。虞袷卿在上海的中國公民圈享有很高的名望，幾度被推選為市民公眾代表，同上海市議會談判協商。他堅定擁護中國利益——有些人懷疑他「同情共產黨」——然而他還是舊秩序的一部分。虞洽卿是黑幫領袖杜月笙的密友，還是蔣介石的主要財政捐助人之一。
但是虞洽卿僱用康生是因為他的書法，而不是因為他的政治傾向。就其所擁有的財富和權力來看，虞洽卿依然是個買辦，這是中國商人中的一個特殊種類，靠同西方人做生意賺取巨大的財產，但是上海之外的中國人普遍輕視與西方貿易，他們對現代商業世界及其可疑的道德標準抱著悲觀的態度。
外省的居民們不信任像虞洽卿那樣從事多種商業活動的上海人，同今天許多美國人對華爾街那些追求財富者的看法幾乎一樣。「對買辦來說，甚至外國人的屁都是香的。」二十世紀早期作家吳趼人這樣評論道。
為了表明自己是個文化人，虞洽卿保持著十九世紀士紳的習慣，繼續穿戴傳統的中國帽和長袍馬褂。為了同他的中國式長袍馬褂的形象相一致，虞洽卿給朋友和生意合伙人寄出不計其數用毛筆書寫昀來往信函：請帖、領受書、拜帖、賀辭、弔唁信。虞洽卿需要僱用一個擅長書法的人，而康生，一個出生於歷史悠久的書香門第的孩子，正擅長使用毛筆。
到二○年代末，康生一直過著一種雙重生活。對於外界來說，他是個受雇於上海最有錢的商人之一的年輕人，與他的妻子一起生活在法租界。在上海，有數千名年輕人在為大商號工作，他的生活方式看上去並沒有什麼與眾不同。但是康生和他的妻子卻是獻身於共產主義的人，而且他還是個地位正在上升的幹部，統管上海大部分的地下黨組織。
利用喬裝成上海最大的資本家的秘書之便，康生狂熱地工作，在黨內擴張他的勢力，並漸漸爬上共產黨的上層。那時並不缺乏機會。蔣介石一九二七年對共產黨的大屠殺，在中國共產黨內部點燃了長期爭鬥和派性活動的導火線，時間長達十年之久。關於四月災難，黨內互相譴責，黨的戰略被熱烈地爭論，幹部們為了黨的領導權而彼此競爭，每一個人都把失敗歸咎於他的對手，並允許重新恢複失去的地盤。一些人，比如中國共產黨總書記陳獨秀，把這次災難歸咎於斯大林的錯誤情報及自私自利的政策，他並轉向托洛茨基，組成了中國的托洛茨基派；其他一些人對黨的領導感到極度的幻滅，他們因而試圖建立類似的共產黨組織；另有一些人轉向了國民黨；還有一些人完全厭倦於激進政