隨著一九四九年蔣介石勢力的垮台，中國看到了新時代的黎明。中國共產黨不再是一支土匪軍隊；像那位和尚——冒險家——皇帝朱元璋所領導的叛亂軍隊在六百年前建立了明朝一樣，中國共產黨建立了一個新的政府、新的國家。黨員們不分地位，興高采烈地展望新中國欣欣向榮的未來，展望著一個進步和發展的時代，一個使人聯想到過去歲月那些輝煌朝代的金色時代。但是康生對這一片舉國歡騰的景象無動於衷，他反而避開這種慶祝場面，對共產黨的勝利並沒有表現出公開的滿足。確實，此後有六年時間，他幾乎沒有在公共場合上露過面。
在人民共和國的初期，外界的中國專家對他活動的描述是很含糊的，他們簡單列舉了他在山東和新首都北京的官位。有些西方的新聞記者暗示，為了發展中國的第一批核武器，康生被指派去招募科學家和專家，這是一個極機密的任務，以致他生活在絕對的秘密狀態中。
儘管康生在五〇年代初期不在公眾場合露面，在外國記者中間引起了許多猜測，但是導致這種現象的與其說是情報的重大業績，不如說是更為世俗的東西。由於投能在共產黨的政權里重新獲得重要的職位，康生感到惱怒，一九四九年六月下旬他索性聲稱生病了。他隱退到青島，那個他曾在那兒上過理查德·衛立姆學校的海濱勝地，定居在榮成路四號一幢德國風格的別墅里，這幢別墅遠眺膠州灣的人口，周圍是一片松樹林。
在北京，為了在十月一日宣告人民共和國的成立，準備工作正在進行，這個時期，康生顯然還留在青島。每一個共產黨官員都可以前去聆聽毛澤東在天安門城樓上歷史性地宣告一個新國家的誕生。康生惹人注目的缺席證實了他聲稱身體有病的可信度。最後，在十月中旬，康生乘火車去北京，他堅持他需要治療，以此來解釋他的突然抵京。在首都短暫停留以後，他又宣稱自己的身體不好，因此又到了青島，黃海的暖流使得這兒的冬天比北京這個北方城市更暖。
康生接下來的六年里在共產黨的事務上幾乎非常消沉，放棄了他在官場上的工作，過著離群索居的病榻生括。名義上，康生擔任了好幾個顯要的職位，但是他不在公開場合上露面，不為黨做事，並且不接待來自官方的訪問者。
在自稱生病的第一年裡，康生住在青島那幢他於一九四九年六月隱退的海邊別墅，過著隱居的生活。一九五〇年五月上旬，他坐火車往南旅行到上海，在那兒他逗留了一星期左右，並且拜訪了依然擔任華東局首腦的饒漱石。仔細掩蓋住對他以前同事的狂怒和妒忌，康生向饒漱石打聽關於華東局政治生態的最近淌息。然後他繼續前往杭州，那座在西湖邊上聳立著古代寶塔和廓宇的花園城市，度過了聲稱是康復期的兩個月。七月下旬，他在前往北方的途中在上海停留，又同華東局的領導們見了面。在上海停留幾天以後，他坐火車去了北京，由於住進北京醫院專為高級幹部設的私人病房進行檢查，對於他所聲稱健康不佳的說法就更增加了可信度。在今後的五年里，那兒將是他的家。
康生最初在青島和杭州、後來在北京醫院所過的隱居生活，是與中國的傳統相一致的。無數大臣在朝廷里處於逆境時，就隱退到病床上，從而避開官職所應承擔的義務，使自己遠離那個政治世界，以增加倖存機會，直到一個重新執掌權力的機會出現。
儘管康生在六年內大部分時間裡都過著病人的生活，但是有關他醫療情況的詳情卻是模糊不清的。 整個時期他都以生病為借口，他繼續向北京的最高領導人暗示，如果有合適的位置提供給他，他願意不顧自己的病情，重新回來工作。但是這種召喚從未出現過。
政治上和身體上的雙重原因，促使康生避開公眾的視界。拒絕給予他更大的權力和威望的現實激怒了他。由於這麼多年在黨的最高層的經歷，他發現自己忽略了結交那些農民將軍和不識字的政委；他們在內戰的最後幾年裡已日益突出，而那時康生卻被流放去主管一個省的工作。所有的事情中最令康生惱火的，是被迫在華東局饒漱石的手下做事，但是每當兩人見面時，康生繼續把饒漱石看成是他值得信賴的朋友。
康生未能獲得一個有影響力的位置，這件事引起了他的恐懼：黨的最高領導人可能懷疑他曾經做過國民黨的特務。一九四九年年中，在西柏坡共產黨總部召開黨的會議以後，針對他的政治偏狹主義的怒氣和義憤，開始使康生感到不知所措。當共產黨的軍隊贏得了最後的勝利時，康生擔心他可能會被監視。一九四九年十月他前往北京旅行時，康生在濟南停了下來，在那兒他通知公安官員說他的秘書，一個叫沙韜的年輕人，正在露出他的真面目。康生向其他人報告說沙韜——他的私人隨員中唯一具有良好教育程度來做間諜工作的人——是「饒漱石的小走狗」。但是康生把他的懷疑瞞著沙韜本人；正相反，他向沙韜誇口說他非常了解上海，因此在三十年「白色恐怖」時期，國民黨的秘密警察從未能抓住他。
一九五〇年六月在杭州的時候，康生向饒漱石和陳毅元帥（後來的上海市長）吐露他的恐懼，害怕有人懷疑他是一名敵特，並請求他們進行干預，支持他。饒漱石不知道只要有機會康生就會往他背後捅十刀，他在七月二十日一份打給毛澤東的電報里，稟報了康生清白無辜的陳述：
我偕陳毅同志在華東局擴大會議結束後，即趕往杭州看康生同志的病。他反覆向我說：「我工作上可能有錯誤，但絕不是姦細。現在黨對我不信任，我想不出什麼理由。」康生同志離滬赴京時，我又在他住處停了一個小時。康生同志又進一步要求我，向主席說明，他絕不是特務姦細，請組織不要誤會他。
通過一個他暗自認為是敵手的人來轉達他的請求，顯示了康生絕望的深度。
在同一時期里，康生頻頻受到惡夢的折磨，在這些惡夢裡，戴著面具的暗殺者悄悄潛進他的住處，用匕首向他進攻。一俟夜晚來臨，他就會特別注意地檢查每一扇門窗的鎖是否鎖上。他並開始陷於對鬼魂的恐懼中；他推想道，既然人類的身體遠比高級的科學儀器複雜，那麼上帝必定存在，如果上帝存在，那麼必須有鬼魂和惡魔。
康生有些病態的恐懼可能是很荒謬可笑的，但是他被懷疑為敵特的可能性使他很有理由感到害怕。國民黨在一九三年畢竟逮捕過他，而且他的被捕一旦被揭露，就會引起同志們懷疑，他曾經妥協並被迫出賣共產黨的事業；畢竟雙方的人馬時常來來去去的。康生隱瞞這件事情的時間越長，只會對他的可信度產生不利影響。除此以外，在上海的派系鬥爭期間，有關康生如何出賣他的共產黨同志何孟雄五烈士的詳情，將會強化任何謠傳他是叛徒的說服力。康生在上海的變節行為，是為了王明的利益，而不是為了國民黨，不會導致通敵的指控，但是也無法減輕他的窘迫。
康生只是很清楚地知道，在一九四九年以後，他同國民黨秘密警察之間聯繫的證據有很多暴露的機會。國民黨的失敗，為共產黨的安全部門去發現那些曾經同敵人合作過的黨員敞開了通道。隨著共產黨的軍隊佔領北京、南京和上海那樣的城市，他們沒收了由於國民黨軍隊的逃跑而遺棄的大批情報檔案。共產黨還活捉了幾名高級的國民黨情報官員，他們說服這些人幫助圍捕其他的特務。在國民黨被逑捕的特工人員中，有盧福坦和王雲程，二〇年代末和三〇年代初在叛投國民黨的情報機構之前，他們在上海都是康生的同事。康生明白一個新的情報富礦落到了共產黨的手裡；他不清楚這一切是否會把他牽連進去。
從他在莫斯科和延安的歲月起，康生就清楚地意識到，在極權主義國家裡，叛變的指控在沒有絲毫證據的情況下，就可能被「證實」。身為一個秘密警察頭子，他本人已經製造了無數的假間諜案件。康生還知道秘密警察首腦自己也會成為犧牲者：亨利·雅戈達，斯大林的「大清洗」開始時的內務人民委員部的首腦，他被處決時康生正在莫斯科，還有他的繼任者尼古拉·葉若夫，不久以後也失蹤了。
康生被自己的幻想嚇個半死，他開始設想自己的罪行的結果。他在延安的許多受害者都倖存了下來，並且在黨內的地位也逐漸升高——現在正想要進行報復。康生身陷畏懼和虛妄中，這影響了他的行為，顯示了他心理的混亂。他的人格承受了一種明顯的變化：與他早年在上海搞地下工作、在莫斯科與延安策謀、非常無情地貫徹土改政策時的那種冷靜、自信的態度相反，他現在變成了一個膽驚受怕的人。在以後的歲月里，康生會恢複他對權力貪得無厭的胃口；但是在五〇年代的初期，他似乎耗盡了所有的精力和生氣。
五〇年代初期，卧病在床並不是康生生活中唯一符合中國傳統的一面。他還沉溺於十八和十九世紀中國的一種主要的惡習中：吸食鴉片。在康生出生的一八九八年那個時代，中國的社會曾經被這種毒品淹沒。十年以後，外國的觀察家們統計，中國的城市有多達百分乏五十的男人和百分之二十的女人吸食鴉片，同時農村有百