胡適的小說考證，對《紅樓夢》用力最多，成績最突出，影響也最大。①他由考證《紅樓夢》而開創了一個「新紅學」派。
《紅樓夢》原名《石頭記》。從清朝乾隆中葉(18世紀60年代)《石頭記》抄本問世開始，便有與曹雪芹同時的「脂硯齋」②評閱批點；到本世紀20年代初，約一百六七十年間，許多人喜愛評點和考證《紅樓夢》，以致形成了一種專門的所謂「紅學」，後來一般人稱之為「舊紅學」，以區別於胡適一派的「新紅學」。這種舊紅學，有的保存了著者曹雪芹及《紅樓夢》創作情況的一些重要材料或線索，有的包含著很有見地的評論與賞析；但大多是主觀的臆想與附會。例如，舊紅學中影響很大的索隱派，以穿鑿附會、煩瑣考證的方法，探索《紅樓夢》所「隱」的是何人何事：有的說是寫清世祖與董鄂妃的故事；有的說是寫納蘭成德家事；有的說是「康熙朝的政治小說」。雖然具體說法不一，卻都陷入了主觀唯心主義的迷宮。試以蔡元培先生的《石頭記索隱》③為例，開卷即說：
《石頭記》者，清康熙朝政治小說也。作者持民族主義甚摯。書中本事，在吊明之亡，揭清之失。而尤於漢族名士仕清者，寓痛惜之意。
於是，他根據這個假設，比擬引申，以為「紅」影「朱」姓，「石頭」指金陵，以「賈」斥偽朝，以「金陵十二釵」影指仕清的江南名士：林黛玉影朱彝尊，因為絳珠仙子的「珠」與「朱」諧音，黛玉所住瀟湘館比附朱彝尊的號「竹」；王熙鳳影余國柱，因為「王」為「柱」字偏旁之省，「」字俗作「國」，故熙鳳之夫曰「璉」，即二「王」字相連也；史湘雲影陳維崧，因為陳字其年，號迦陵，史湘雲所佩的金麒麟，當是「其」「陵」二字之借音；……諸如此類。蔡先生說，他用的是「三法推求」，「審慎之至，與隨意附會者不同」。④其實也完全如胡適所說的是猜笨謎，只不過是很認真的猜笨謎，很認真的煩瑣考證與附會罷了。
胡適考證《紅樓夢》，首先向舊紅學挑戰，指出他們都走錯了道路：
他們不去搜求那些可以考定《紅樓夢》的著者，時代，版本等等的材料，卻去收羅許多不相干的零碎史事來附會《紅樓夢》里的情節。他們並不曾做《紅樓夢》的考證，其實只做了許多《紅樓夢》的附會!⑤要真正了解《紅樓夢》，就必須首先打破這種「牽強附會的《紅樓夢》謎學」!而第一個來打破這種《紅樓夢》謎學的，就是胡適。
他從考察《紅樓夢》作者的身世入手。《紅樓夢》的作者，大家都知道是曹雪芹，但曹雪芹的生平、家世，大家又都不很清楚。從袁枚的《隨園詩話》起，便一直誤認雪芹為曹寅的兒子。⑥胡適為此費了不少工夫。
1921年3月，他作《紅樓夢考證》初稿時，對曹氏的家世也知之甚少。他也相信袁枚的話，以曹寅為曹雪芹之父。4月間，他在學生顧頡剛、俞平伯的幫助下，⑦查得了《江南通志》、《八旗氏族通譜》、《曹楝亭全集》等許多材料，得知曹家祖孫三代四人，相繼都做「江寧織造」，長達58年，在任上辦過四次接駕(招待皇帝)的闊差事，正是「天恩祖德，錦衣紈」，榮華富貴極了，與《紅樓夢》描寫的賈府頗相符合。而對袁枚的話也開始有所懷疑，但仍疑信，以為曹寅是「老年得子」，故對雪芹「寵愛之極」，取名字也搞點特殊化。⑧
5月的一天，胡適在京師圖書館翻查《楝亭書目》。有位張中孚先生告訴他，說楊鍾羲的《雪橋詩話》里有關於曹雪芹的事迹。⑨胡適於是向單不廣先生借到《雪橋詩話》及《續集》，果然查得：
敬亭(按，清宗室敦誠字)……嘗為《琵琶亭傳奇》一折，曹雪芹()題句有云：「白傅詩靈應喜甚，定教蠻素鬼排場。」雪芹為楝亭通政孫，平生為詩，大概如此，竟坎坷以終。敬亭挽雪芹詩有「牛鬼遺文悲李賀，鹿車荷鍤葬劉伶」之句。⑩
這條材料實在重要，由此得知曹雪芹名，是曹寅的孫子。胡適查得此條，否定了袁枚的誤記，也推翻了自己原來的許多假設，卻使他感到「狂喜」不已。
後來他又得到《八旗詩鈔》(即《熙朝雅頌集》)和《八旗文經》，從敦誠敦敏的贈詩中，得知雪芹晚年貧窮潦倒、縱酒狂歌的境況，及其他許多材料。這年的11月，胡適便寫成《紅樓夢考證》的改定稿，考定曹雪芹是漢軍正白旗人，曹寅之孫，曹之子，生於極富貴的家庭，身經極繁華綺麗的生活，但後來「大概因虧空得罪」，家被抄沒；《紅樓夢》是他在破產傾家之後的貧困境況下做的，止80回。據此，胡適便得出了《紅樓夢》「是曹雪芹的自敘傳」這一結論，他說：
《紅樓夢》是一部隱去真事的自敘：裡面甄賈兩個寶玉，即是曹雪芹自己的化身；甄賈兩府即是當日曹家的影子。
這個「自敘傳」說，是新紅學派的一個根本性觀念。初提出來的時候，讀者囿於舊說，多不大信服。經過胡適與顧頡剛、俞平伯諸人艱苦深入的考證，搜集了大量實際可靠的材料，考定曹雪芹的家世和生平，確與書中的賈府寶玉「絕似」，也符合《紅樓夢》開卷的「作者自雲」及「石頭」所說的一番話；而書中所描寫的生活和人物，也確有曹雪芹及其家庭的影子。因此，對於索隱派牽強附會的各種臆說，是一個沉重的打擊。魯迅當年在北京大學講「中國小說史」，便屢引胡適的考證，來批駁索隱派的謬說，並充分肯定胡適的「自敘傳」說，指出：
然謂《紅樓夢》乃作者自敘，與本書開篇契合者，其說之出實最先，而確定反最後。……迨胡適作考證，乃較然彰明，知曹雪芹實生於榮華，終於苓落，半生經歷，絕似「石頭」，著書西郊，未就而沒；晚出全書，乃高鶚續成之者矣。
對於續作者高鶚，胡適也結合《紅樓夢》的續書及版本問題，進行了考證。起初，他從俞樾的《小浮梅閑話》里，看到張問陶的《船山詩草》中《贈高蘭墅鶚同年》一詩，有「艷情人自說紅樓」的話，詩題下有注云：「《紅樓夢》80回以後俱蘭墅所補」。又從《郎潛紀聞二筆》得知高鶚後來中了進士。他便去查高鶚的履歷。那時，他還不知道有歷科《進士題名碑錄》一類的書，便托顧頡剛到國子監去，在那高大如林的許多「進士題名碑」里，居然查找到了：高鶚是鑲黃旗漢軍人，乾隆六十年乙卯(1795)科進士，殿試第三甲第一名。後來又為「侍讀」、「御史」、「刑科給事中」等官，算是爬上去了的。
據乾隆年間周春的《閱紅樓夢隨筆》記述關於《紅樓夢》流傳的情況：
乾隆庚戌秋，楊畹耕語余云：「雁隅以重價購抄本兩部，一為《石頭記》80回，一為《紅樓夢》百廿回，微有異同，愛不釋手，監臨省試，必攜帶入闈，閩中傳為佳話。」時始聞《紅樓夢》之名，而未得見也。壬子冬，知吳門坊間已開雕矣。茲苕估以新刻本來，方閱其全。
壬子是乾隆五十八年(1792)年，百廿回的《紅樓夢》已有刻本。可以肯定高鶚續作《紅樓夢》是在他中進士之前。胡適當時並未見到周春的《閱紅樓夢隨筆》，但他自藏的《紅樓夢》程乙本，有高鶚的一篇序，寫於乾隆辛亥(1791)年。據此，胡適斷定他續補《紅樓夢》「工既竣」的時候，尚未中進士，處在「閑且憊矣」的境況。正因為如此，他才與曹雪芹的蕭條之感大致相通，續作的後40回也就能基本上貫徹曹雪芹的創作意圖，寫成了一個大悲劇的結束。胡適對此大加讚賞，說：
我們平心而論，高鶚補的40回，雖然比不上前80回，也確然有不可埋沒的好處。
他寫司棋之死，寫鴛鴦之死，寫妙玉的遭劫，寫鳳姐的死，寫襲人的嫁，都是很有精彩的小品文字。最可注意的是這些人都寫作悲劇的下場。還有那最重要的「木石前盟」一件公案，高鶚居然忍心害理的教黛玉病死，教寶玉出家，作一個大悲劇的結束，打破中國小說的團圓迷信。這一點悲劇的眼光，不能不令人佩服。
我們試看高鶚以後，那許多續《紅樓夢》和補《紅樓夢》的人，哪一個不是想把黛玉晴雯都從棺材裡扶出來，重新配給寶玉?那一個不是想做一部「團圓」的《紅樓夢》的?我們這樣退一步想，就不能不佩服高鶚的補本了。
但是，從《紅樓夢》的內容和文字來考察，後40回又有許多地方不符合曹雪芹原定的想法。俞平伯曾舉出幾條，如第31回的回目「因麒麟伏白首雙星」，確是可疑，史湘雲後來似乎應該與賈寶玉做夫婦，但後40回全無照應。胡適很讚賞俞平伯的見解。他自己也舉出小紅的無結果，香菱的好結果，鳳姐的下場，都與前80回里曹雪芹所暗示的創作意圖不相符合。最突出的是賈寶玉的結果，本書開篇明說「一技無成，半生潦倒」，又說「蓬牖茅椽，繩床瓦灶」，豈有「蘭桂齊芳」
之理?而「懸岩撒手」難道就是出家成仙?胡適把這些版本文字上的問題，同續作者高鶚的身世境遇聯繫起來考察，指出：
寫賈寶玉忽然肯做八股文，忽然肯去