在遍嘗人生的況味後，歷經三十年的改寫，《色，戒》發表於《半生緣》之後的十年，……它是胡、張塵封十八年戀情的最後回眸，這又是張愛玲的一次不經意地坦露自己。張愛玲在一九七一年接受水晶先生的訪問時，曾稱「《傳奇》里的人物和故事，差不多都『各有所本』的」，而張子靜在張愛玲去世後所寫的《我的姐姐張愛玲》一書中，更明確地指出，《金鎖記》的故事、人物脫胎於太外祖父李鴻章次子李經述的家中；而《花凋》則是寫張愛玲舅舅黃定柱的三女兒，也就是她三表姐黃家漪的故事。學者馮祖貽則指出，《創世紀》是以張愛玲的六姑奶奶，也就是祖母李菊耦的妹妹（任家）的故事為底本的，另外《茉莉香片》則活脫脫是上海張愛玲的家，主人公聶傳慶就是張子靜（當然也有張愛玲的投影）。而這都指向張愛玲的小說可說是一個家族的小說，雖然這個家族已從繁華走向沒落，但張愛玲作為舊家族的一員，她憑藉著「記憶」，揭示了他們無可挽回的沒落以及種種掙扎；而童年的不幸經歷，又使她毫不留情地鞭笞著這沒落貴族的「猥瑣，難堪，失面子的屈服」，於是「蒼涼」成為她《傳奇》小說的總主題。
不同於她的家族小說，發表於一九七八年四月十一日《中國時報》人間副刊的《色，戒》，也被認為是「有所本的」，香港學者兼影評家陳輝揚在其《夢影錄》一書中就說：「我一直認為《色，戒》的材料來自胡蘭成，因為易先生和王佳芝的故事，是根據鄭蘋如謀刺丁默邨一案而寫成的。其中種種細節，只有深知汪精衛政府內情的人才能為張愛玲細說始末。」
而張愛玲在一九八三年由皇冠出版社集結《色，戒》、《浮花浪蕊》、《相見歡》、《多少恨》、《殷寶灧送花樓會》、《五四遺事》和電影劇本《情場如戰場》為《惘然記》一書出版時，曾在序中談到《色，戒》、《相見歡》和《浮花浪蕊》：這三個小故事都曾經使我震動，因而甘心一遍遍改寫這麼多年，甚至於想起來只想到最初獲得材料的驚喜，與改寫的歷程，一點都不覺得這其間三十年的時間過去了。愛就是不問值不值得。這也就是「此情可待成追憶，只是當時已惘然」了。因此結集時題名《惘然記》。由此可見她非常喜歡這些自外界獲得的材料，並且從一九五年左右就寫成，期間又經過三十年的改寫。至於她沒有提及材料得之於胡蘭成，甚至在《色，戒》發表後的同年十月一日有署名「域外人」的《不吃辣的怎麼胡得出辣子？——評〈色，戒〉》一文的嚴厲批評時，張愛玲在一個多月後的十一月二十七日發表《羊毛出在羊身上——談〈色，戒〉》的反駁文章，亦沒有提到「胡蘭成」三個字，只說：「這故事的來歷說來話長，有些材料不在手邊，以後再談。」幾句話避重就輕地帶開。這是由於張愛玲和胡蘭成分手後，「胡蘭成」三個字，似乎在張愛玲的記憶中清除。
「最是傷心終無言」，胡蘭成對張愛玲的傷害，正如曼楨在《半生緣》中的感受——「不管別人對她怎麼壞，就連她自己的姐姐，自己的母親，都還沒有世鈞這樣的使她傷心。」在當時張愛玲的心境恐怕是「不管別人對她怎麼壞，就連她自己的父親，自己的母親，都還沒有胡蘭成這樣的使她傷心」。因此即使最親近的友朋如宋淇者，都避談胡蘭成的事，在張愛玲面前，胡蘭成是談話的禁區。也因此張愛玲沒提及材料得之於胡蘭成，實不願再觸及情傷及因胡蘭成而再度遭致「漢奸」污名的攻訐。張愛玲雖然在一九四三到一九四五兩年內，紅極一時，但在抗戰勝利後，雖然沒有被南京政府正式定為「文化漢奸」的罪名，但社會輿論卻欲置她於死地而後快，她的文學活動甚至於私生活，都成為公眾謾罵的焦點。從一九四五年八月到一九四六年十一月的一年多，她甚至沒有發表過一篇文章，而事實上也沒有機會讓她發表。直到同年底，張愛玲借《傳奇增訂本》的發行，寫了《有幾句話同讀者說》為自己做了辯白：我自己從來沒想到需要辯白，但最近一年來常常被人議論到，似乎被列為文化漢奸之一，自己也弄得莫名其妙。我寫的文章從來沒有涉及政治，也沒有拿過任何津貼。想想看我唯一的嫌疑要麼就是所謂「大東亞文學者大會」第三屆曾叫我參加，報上登出的名單有我；雖然我寫了辭函去，（那封信我還記得，因為很短，僅只是：「承聘為第三屆大東亞文學者大會代表，謹辭。張愛玲謹上。」）報上仍舊沒有把名字去掉。
至於還有許多無稽的謾罵，甚而涉及我的私生活，可以辯駁之點本來非常多。而且即使有這種事實，也還牽涉不到我是否有漢奸嫌疑的問題。何況私人的事本來用不著向大眾剖白，除了對自己家的家長之外，彷彿我沒有解釋的義務。所以一直緘默著。張愛玲以退為進，反駁了「文化漢奸」之說。同理，她在面對「域外人」指控《色，戒》為「歌頌漢奸的文學——即使是非常曖昧的歌頌」的論調時，她又再度地反駁：「域外人這篇書評，貌作持平之論，讀者未必知道通篇穿鑿附會，任意割裂原文，與以牽強的曲解與『想當然耳』，一方面又一再聲明『但願是我錯會了意』，自己預留退步，可以歸之於誤解，就可以說話完全不負責。」對「域外人」提出嚴厲的質疑。由此可見她不願再被任何污水所濺污，即使僅是那麼一點點，她都不願意。
然而《色，戒》絕無任何歌頌漢奸的味道，即使是曖昧的，它只借著這個有關漢奸被暗殺未遂的真實故事，來重寫女性對感情的看待。這其中的種種細節，正如陳輝揚所說的，只有深知汪精衛政府內情的人才能細說始末，而活躍於汪偽政權中，曾任偽中宣部政務次長、偽國民黨中央執行委員，兼《中華日報》總主筆的胡蘭成，就成為張愛玲獲得這令她震動的故事的不二人選。因為自一九四三年底胡蘭成從蘇青主辦的《天地》月刊中，讀到張愛玲的《封鎖》時，他讀其文而驚其才，透過蘇青得知張愛玲的住處而找上門去，在次年二月初兩人初次見面，其後兩人很快墜入情網，並於同年八、九月間結婚。
到一九四六年二月，張愛玲曾悄悄到溫州看望逃離中的胡蘭成，但風流成性的胡蘭成卻又另有新歡。張愛玲在傷心之極回到上海，她在雨中的船上「面對著滔滔黃浪涕泣久之」。次年六月十日她寫信給胡蘭成，兩人正式分手。在這短暫的熱戀與婚姻生活中，他們有過兩情繾綣、無話不說的時刻，胡蘭成向張愛玲說出這段故事的細節，也是最自然不過的事。而有關於鄭蘋如謀刺丁默邨一案，最早披露的是六十年代金雄白在香港出版的《汪政權的開場與收場》中的一小節，筆者參考了李偉、黃美真等人的多種史料，發覺此一暗殺事件，除了中統鋤奸以外，還得從丁默邨與李士群兩人的恩怨衝突說起。
丁默邨是湖南常德縣人，生於一九零一年，幼時就讀於湖南省立第二師範附屬小學。畢業後，未能考入中學。一九二一年下半年，年輕氣盛的丁默邨只身前往上海闖蕩，積极參加青年學生運動，經由施存統的介紹加入了中國社會主義青年團。次年春他回湖南籌建常德團組織，並自任組長。同年十月十三日社會主義青年常德地方執委改選，丁默邨擔任團書記，而在次年改選時，他卻失去書記一職，對此他極為不滿，並與新領導人鬧翻。次年一月他謊稱去長沙彙報工作，其實是遠走上海，叛離共產黨，加入了國民黨。
一九二六年他到廣州擔任國民黨中央組織部調查科辦事員。次年四月十二日蔣介石在上海發動反革命政變，他認為時機成熟，便積極投靠蔣介石，追隨陳立夫、陳果夫的「CC派」。一九三二年他擔任國民黨組織部調查科上海區直屬情報小組組長，在上海文化界進行特務活動。他與李士群等在「萬春坊新光書局」編輯《社會新聞》，先後出版三日刊、旬刊、半月刊等，是當時國內有名的「造謠」刊物，曾多次污衊詆毀魯迅，相關資料收在魯迅《偽自由書·後記》中。
李士群，浙江遂昌人，生於一九七年三月二十日。幼年在本鄉私塾讀過幾年書，二十年代初進入了日本人開設的東亞同文書院，後又轉入上海大學讀書，此時他生活來源主要仰仗妻子——大夏大學學生葉吉卿，由於葉家有錢，使得李士群生活無憂。這期間他參加了中國共產黨，並赴蘇聯莫斯科中山大學求學，後又轉蘇聯特種警察學校。
回到上海的李士群，以「蜀聞通訊社」記者的身分，從事共產黨的地下活動。但不久他卻為公共租界工部巡捕房逮捕，為了怕被引渡給國民黨政府，妻子葉吉卿找到恆豐錢莊的韓傑，走通了青幫「通」字輩大流氓季雲卿的門路，由季雲卿通過巡捕房裡的熟人，將他保釋出來。後來他便向季雲卿投了門生帖子，從此李士群與青幫拉上關係。
一九三一年國民黨中央組織部「調查科」的特務，以上海為重，活動非常活躍，共產黨組織屢遭破壞。一九三二年，李士群又被調查科逮捕，他眼見地下鬥爭處境艱難，再加上自己貪生怕死及老婆不斷地施壓，就向國民黨自首了。起初他被委派為調查科上海區直屬情報員，不久就調去與丁默邨、唐惠民等編輯《社會新聞》。