棉花，原是一種熱帶植物，古時稱為吉貝、白疊、木棉或梧桐木，用它織成的布稱為白疊布。古文獻記載和出土文物都表明，我國種植和利用棉花最早是從海南島、西南和西北地區開始的。雖然棉花在我國最初的使用時間現仍無定論，但古文獻記載表明，在漢代時西南地區雲南的棉紡織技術已具有相當水準，當地生產的一種叫「廣幅布」的棉布，由於幅寬質優，很受人們的歡迎，並被漢王朝大量徵調。《後漢書·南蠻西南夷傳》記載了這樣一件事：漢武帝(公元前140年—87年)後元年間，珠崖(郡府設今海南省崖城)太守孫幸對轄地所產廣幅布徵收過度，激起了當地人民包括漢族在內的強烈不滿，引發了人民起義。憤怒的人群攻佔了太守府，殺掉了孫幸。另外，此書「哀牢夷」條記載了雲南哀牢山區和瀾滄江流域的棉紡織生產情況，書中寫道：「(哀牢山)土地沃美，宜五穀蠶桑，知染采、文綉、罽毲〔duo奪〕、帛疊，藍干細布，織成文章如綾錦。有梧桐木華，織以為布，幅廣五尺，潔白不受垢污」。帛疊即是白疊，藍干細布是有藍花的棉布，梧桐木華即是棉花。能利用各種染料，印染出斑斕多彩貌似綾錦的棉質花布，說明當時雲南少數民族地區的棉紡織技術業已相當發達，並且已有相當長的歷史。東漢末年新疆地區生產的棉花以鮮潔聞名於中原地區，魏文帝曹丕曾說：山西黃布以細，樂浪練帛以精，江蘇、安徽太未布以白出名，但其鮮潔程度都比不上新疆的棉布。
南北朝以後，兄弟民族與內地的交往日漸頻繁，流入內地的棉織品逐漸增多。據記載，僅海南林邑、阿單羅、於陀利、婆利、中天竺等小國，每年貢給中央王朝的棉織品，數量就相當可觀。南朝帝王大臣往往多用這種棉布製作衣服。唐代隨著「絲綢之路」的暢通，西北地區生產的棉織品，流入中原的數量更是驚人。唐上元年間(公元760—761年)，高昌地區為支援唐王朝平定「安史之亂」，曾以賒放的方式收集大批軍需疊布運往中原。
唐代末年，嶺南地區也出現了棉織業。《太平廣記》記載：文宗時，有一個叫夏侯孜的人，著「桂管布」衫上朝，文宗看了奇怪，問他什麼布這麼粗澀，他說是桂布，並說此布粗厚可以防寒。從此之後，滿朝官員們也紛紛購置此布做服裝，桂布因此身價倍增。這種「桂管布」就是棉布，因產於廣西桂管地區而得名。白居易「桂布白似雪」、「吳綿細軟桂布白」的詩句，即是指此布而言。
兩宋期間，我國東南閩、廣一帶棉花種植漸盛，江南一帶也開始種植棉花。據古書記載，閩嶺南多木棉，當地人競相種植，有種棉達數千株者。江南種植棉花最早是在松江地區，當時松江一帶土地貧瘠，民食不給，遂從閩廣引進棉種開展棉植業。由於棉花種植、紡織等工藝技術在江南剛開始不久，軋花、彈花、紡紗、織布等工序還沒有像絲織業那樣分離開來成為某一手工業者的專門工作，而是自始至終在同一農戶中由若干成員共同擔任，因此它的生產效率很低，而且只能作為家庭紡織來經營，未引起眾多紡織生產者的重視。
宋以前的棉織物實物大部分是在新疆出土的。1959年新疆民豐東漢墓曾出土藍白印花布、白布褲、手帕等棉織品，其中有一塊藍白印花布殘片長89厘米，寬48厘米，組織為平紋，經線密度為18根/厘米，緯線密度為13根/厘米，僅比目前的市布稍稍厚一些。吐魯番高昌時期(公元6世紀)的墓葬中出土過絲、棉交織的錦和白棉布；于田縣北朝墓葬中出土過用棉布製成的褡褳和藍白印花棉布；在吐魯番阿斯塔那還發現過和平元年(公元551年)借貸棉布和銀的契約。從這件契約，可以看到一次借貸棉布達60匹之多，這些出土的實物，印證了當時新疆地區棉植業之普及。1966年浙江蘭溪宋墓曾出土一條長2.51米，寬1.6米純棉製成的棉毯，此毯經緯條幹一致，兩面拉毛，細密厚實，證明了當時江南一帶確有少量棉織物的生產。
自南北朝至唐宋，雖然有關棉花、棉布的文獻記載很多，但由於我國中原地區和江南地區還沒有種植棉花，人們對棉花形狀的認識，都是得自傳聞，所記都不甚確切。有的書將棉花寫成高大的樹，有的又將棉花寫成一種草，分不清棉花究竟是草本植物還是木本植物。如《梁書·林邑皮》記載：西南地區有一種叫吉貝的樹，開的花如鵝之毳毛，抽其緒織成的布，潔白與紵布不相上下。該書《高昌傳》還記載：吐魯番地區有一種草，結的果實像內地的蠶繭一樣，從裡面抽出的絲叫白疊子，當地人用它織布。由此可見內地人對棉的知識是相當貧乏的。
其實棉花分粗絨棉和細絨棉兩大類(後者質量優於前者)。粗絨棉屬於亞洲棉或非洲棉系統，棉纖維粗而短；細絨棉屬陸地棉或海島棉系統，纖維細長，它們均非我國原產。從《梁書》對吐魯番地區所產棉花形狀的描述推知，當時新疆地區種的棉花是經中亞傳入的一年生非洲棉。而西南地區種植的棉花，古稱「古貝」或「吉貝」；有人認為是從印度阿薩姆經緬甸的北部傳入的多年生亞洲棉。多年生亞洲棉高可達丈余。
中國古代也沒有「棉」字，只有「綿」字，凡所謂綿，不是指今天所稱的「棉」而是指絲綿。隨著棉織物的日益增多，為了同蠶繭的「綿」相區別，大約在6至11世紀之間，才演變出現今天的「棉」字。日本的棉花是由中國傳去的，因而日語中把棉花寫作「木綿」，棉布寫作「綿布」。
從一堆堆雪白的棉花到一匹匹光潔細密的白布，要經過初加工、紡紗、織造等工序。其紡紗、織造方法和我國已行之數千年的絲、麻紡織相近。但是為什麼棉紡織生產在宋以前的1000餘年的時間裡，始終僅局限在邊疆，而未在黃河和長江流域廣泛傳播呢？這是因為棉紡織本來可借鑒若干絲、麻紡織的先進技術來提高生產力，但由於棉花首先要去籽，然後彈松，棉纖維較絲、麻纖維短，紡的技術也與絲、麻有些不同，這些棉紡織的特有工序是絲、麻紡織中所沒有的，而當初傳入的這些工序技術所產棉紗數量，遠遠不能滿足後面擁有先進織機的織造工序的需求，造成了棉紡織生產的瓶頸狀態。直到宋末元初，去籽、彈棉、紡紗技術有了實質性進步，長期處於停滯狀態的棉紡織生產才有了突飛猛進的發展。從此，棉植業在我國農業生產中佔了重要地位，棉織物逐漸成為人們日常主要的衣著材料。