依靠王明，康生才得以使自己身處中國共產黨的菁英名流之中。但是他晉陞為秘密機構的領導人——一個已變成與康生的名字同義的角色——與其說是因為他在利用王明的庇護時所玩弄的技巧，不如說是因為共產黨在反抗國民黨的戰爭中隨著失敗而來的危險。可以這麼說，康生的擢升歸功於每一位資深的黨的領導人，而不是幸運；促使他從地下黨的組織者轉變為特務和暗殺者的是時運。
在一九二七年四月清洗共產黨的決定性勝利之後，國民黨漸漸加緊了對中國大部分城市的控制。在上海、南京、北京、天津、漢口，廣州和許多較小的城市裡，國民黨控制了政府機構，並動用警察、軍閥和特務機構來同共產黨作戰。一場消耗戰接踵而來，國民黨通常佔有優勢。即使在人種混雜的上海，政治上、外交上和法律上的各種漏洞對各種秘密組織都很有利，但中國共產黨長期倖存的可能性看來似乎很微小。
但是共產黨並不是輕易就被擊垮的對象；被不共戴天的敵人所包圍，他們學會了如何使自己藏身於上海的喧囂混亂之中。上海市警察局特科檔案卷宗描繪了康生和他的同志們棲居的黑暗世界的戲劇性畫面。中國共產黨漸漸形成了一個無窮盡的基層組織網路，它們被劃分成非常獨立酌部分，以確保任何個人的被捕，都不會向警察提供更多的情報。共產黨發明了一種複雜的控制規則，其中多數是模仿蘇聯人的：幹部在街上不準談論政治；開會人數不得超過五人，時間不得超過三小時；會議地點不準一星期使用三次以上；任何時候在任何黨的「機關」，到場人數不得超過七個人；如果一位同志被捕了，同他有聯繫的每一個人都應該立即轉移（這個規定說明了為什麼警察偶爾突然搜查備有傢具的公寓，而裡面的房客卻消失了）。共產黨還掌握了顯影墨水的技術，將秘密情報寫在那些看來好像是每天來往於朋友或情人間的信函里。
當共產黨變得更難以捉摸時，國民黨建立了一個專門的安全防衛或者「特務」 組織，獨立運作於警察和軍隊之外的調查科。調查科先是作為國民黨組織部內一個小小的基層組織，但是它很快就擴大成一個蔓延的、遍布全國的間諜特務體系。它的首任長官是蔣介石的秘書、著名的陳氏兄弟中的弟弟陳立夫。陳氏兄弟領導的「cc系」，是國民黨中一個很有勢力的集團。像許多早年奮發有為的國民黨領導人一樣，陳立夫曾留學美國，獲得匹茲堡大學採礦工程學碩士學位，然後在賓夕法尼亞的煤礦工作。陳立夫在美國的經歷使他確信科學技術是把握中國未來的關鍵，但是當他於一九二五年回到中國以後，在他的哥哥的訓諭下捲入了政治。
到一九二九年，陳立夫大部分時間花在其他工作上，因此他就把秘密機構的管理權交給了他的表親徐恩曾，儘管陳立夫名義上還是調查科的負責人。在西方以U·T·徐聞名的徐恩曾，畢業於上海交通大學電機工程系，然後同陳立夫一起在匹茲堡大學求學，曾為西屋（Westinghouse）電氣公司工作，在一九二五年返回中國之前並參加了卡內基技術研究所（egie Institute of Teology）的研究工作。徐恩曾平時說話溫和，臉上一直掛著笑，實際上卻是個狡猾、無情、貪婪和好色之徒。
由於受到調查科的威脅，共產黨決定建立自己的秘密機構。作為黨軍事委員會首腦的周恩來，也負責各種安全事務。一九二七年十一月，他利用在四月十二日大屠殺以後創立的一支秘密小分隊和倖存的工人糾察隊員，建立了「特科」 。最初，特科傾其全力於兩個基本職責——設置安全的會議場所和處置共產黨的叛徒——但是它很快發展成一個綜合性的安全情報組織。一年之內，它有了四個科，每個科都有自己特定的任務。
特科中最普通的任務是總務科的職責，它管理財務、後勤和高層共產黨領導人的生活起居。它發展同照相館、古玩店、傢具店和其他商業性企業的關係，用來隱藏武器，傳遞秘密情報並為特科的行動提供掩護。總務科設法租下房屋，使別人無法搜尋到共產黨；基層組織的幹部們有時會在這些安全的房子里生活和工作。小組領導人洪揚生，在法租界租了一間公寓，周恩來和特科成員可以在那兒集合碰頭，因此避免了知道彼此家庭地址的必要。洪揚生後來在愛文義路 租了一間公寓，在那兒黨的領尋人和共產國際的代表可以假裝成當地的商人和外國商人進行會面。
總務科還是黨同分散在全上海的知識分子和專業階層中同情共產黨的社會知名人士發生聯繫的中介環節。當黨的成員被捕時，總務科就會接近思想進步的律師尋求幫助，著名的法律教授潘震亞，不管共產黨什麼時候來請求，他都自願提供免費服務。另外一位律師費國禧，也幫助共產黨解決難題，但通常只收取微少的費用。總務科還約請醫生陳家康，請他醫治受傷的共產黨員。
為了採取較具實力的行動，特科僱用了一批熟練的槍手。
以「紅隊」之名而著稱，為上海全黨的高級幹部提供警衛，並負責各類會議的安全；他們還緊盯因反共特別有效而著稱的調查科特務，作為打擊目標。但是「紅隊」最重要的職責是實施懲罰，處置那些對應盡義務發生動搖或者背叛投向國民黨一邊的共產黨員——這個任務為「紅隊」掙得了「打狗隊」的名稱。
「紅隊」實施行動時用盡各種各樣的花招和偽裝。槍手們有時會裝扮成乞丐和沿街叫賣的小商販。女追捕隊員們有時會化裝成家庭女傭；參加更為精心策劃的行動的槍手會裝扮成拍電影的攝影師和技術員。但是「紅隊」手法的戲劇性絕不能掩蓋他們任務的生死攸關或行動的乾脆利落。
從一九二七年年中開始，共產黨的衛士們實施了一系列的攻擊和保衛。上海市警察局檔案卷宗中記載，僅僅在公共租界，從一九二七年到一九三一年之間，「紅隊」消滅了至少四十個對手或叛徒——一個最低限度的數字，因為「紅隊」的許多行動從未被發現過。他們經常被悄悄地遺忘掉，所以他們的命運依然無人知曉。除此之外，許多符動是在法租界和中國人管轄的大上海進行的，因此上海市警察局是沒有紀錄的。
警察對行動的紀錄揭示了康生和他的同伴們令人困惑的忠誠和不斷換人馬的聯結。被上海市警察局詳細記錄的四十名「紅隊」的犧牲者中，至少有十三人是共產黨員，他們或者是投靠警察成為提供情報者，或者是投向其他反共組織。叛徒們通常被打死，但是「紅隊」也遭受過慘重的損失；負責暗殺的「紅隊」隊員中有二十六人被上海市警察局逮捕。對於一個秘密組織來說，共產黨的傷亡人數是很高的，在一個以告密和私人交易作為生存手段的社會裡從事活動，這是必然的結果。
周恩來平時一直很忙，以致不會十分關注黨的秘密工作，因此他逐漸把特科和「紅隊」的日常管理工作委託給一位性格浮誇、名叫顧順章的「紅隊」隊員。顧順章個子矮胖，精於槍法和傳統的中國棍術，一九二五年在五卅運動的示威遊行和罷工中引起了共產黨領導人的注意。後來他去蘇聯待了一年，接受安全工作的訓練——調查、審訊、射擊、爆破器材的使用和徒手格鬥。回到中國以後，他做過共產國際代表米哈依爾·鮑羅廷短時期的保鑣，然後開始同周思來密切合作。顧順章在一九二七年的起義中指揮過一些共產黨的武裝運動，在四月大屠殺中逃離了死亡，據說，在國民黨軍隊進攻被圍困在商務印書館大樓里的武裝工人之前，下久，他是同周恩來一起逃脫的人之一。一九二八年，顧順章繼續當選為中央委員會委員。
作為出生於上海貧民窟的孩子，顧順章渴望在政治上和社會上得到重視。身為社月笙聲名狼藉的青幫中一員，顧順章很快就能接觸到來自上海各種警察隊的情報，因為所有警察部隊都被青幫的會員所滲透。他還時常出入夜總會，吸鴉片，並贏得了魔術家的名聲，經常以化廣奇的名字在著名的大世界娛樂中心表演。大世界是一幢高高的、像結婚蛋糕一樣的建築，座落在愛多亞路 ，裡面提供各種形式的娛樂遊戲，從跳舞和賣淫到射靶遊戲、番攤 和輪盤賭。五卅運動期間同顧順章一起工作過的張國燾指出，「他的外表和習性有點像上海的花花公子。」盛岳，一位認識顧順章的前共產黨員，也說他的「私生活和品行揮霍浪費，」但認為周恩來似乎對顧順章品格方面的問題太過輕忽了。
當上海警察當局越來越精於偵查「布爾什維克」之道時，暗中監視黨的敵人的工作，對共產黨的生存也變得更緊要了。
一九二八年四月，周恩來建立了情報科，這是一個從屬於特科的小組，任務是滲透到敵方的安全機構里卧底。情報科的第一任科長是陳賡，一位二十五歲的湖南人，曾同顧順章一起在蘇聯學習過暗殺技術。回到上海以後，他從事安全保衛工作；他總是警覺性高度加強，睡覺時在枕頭底下放著一把槍。同在上海的許多黨工作人員一樣，陳賡同康生也很熟悉，有時候就住在他家裡。
情報科剛建立，上海市警察局特科