直到明中葉以前，在數學的許多分支領域內，中國在世界上一直處於遙遙領先的地位。傳說早在黃帝時代，隸首就創造了數字元號和計算方法。《史記》中記載大禹治水時已使用了規 、矩 、準繩 。從出土文物看，公元前三四千年的西安半坡遺址和公元前二千年的河南偃師二里頭遺址出土的陶文中就有了數字；而通過對商代甲骨文中數字的研究，我們發現其中已具有了位置值制的萌芽，形成了十進位的數字系統。十進位記數法是我國古代人民對世界人民的一項不可磨滅的貢獻。
在我國的上古及夏商周時代，一些專門技能和知識往往掌握在少部分人手中，並且世代相傳。那時數學和天文的專門人才被稱為「疇人」。到了春秋時代，周室衰微，政權下移，疇人子弟四散，私學開始興起，數學知識逐漸普及。同時生產的發展，也促進了數學知識和計算技能的提高。從古代文獻中我們得知，九九乘法表在當時是人們的常識，分數概念和分數運算也已形成，特別是像營造都城這樣的大型土木工程，無疑需要更為複雜的數學運算。可見，春秋時代我國的數學已有了較高的水平，只是沒有專門的數學著作傳世而已。
戰國至西漢，是我國以《九章算術》為代表的古代數學體系確立的時期。在春秋戰國之交，我國社會完成了生產關係的轉變，人們的生產積極性大為提高，興修水利，開墾土地，改進耕作技術，同時手工業和商業也得到進一步發展。在這些活動中，數學知識得到普遍應用，為數學的發展提供了新的動力。如《考工記》中就有許多表示直角、鈍角、銳角和分數等的專門術語。這時的思想界也異常活躍，諸子興起，百家爭鳴，不僅在社會文化方面取得了豐碩的成果，而且促進了思維規律方面的研究。其中的墨家和名家尤為重視邏輯推理和理性思辨，他們提出的一些命題具有深刻的數學內涵。像《墨經》中關於圓、平、端(點)等數學概念的定義就已十分嚴謹。應該說這時已具備了對數學知識進行總結整理的條件。據《周禮》記載，當時「士」階層所受的數學教育有「九數」之稱。「九數」指的是數學分為九個細目。東漢鄭玄注《周禮》時引鄭眾之說：九數是「方田、粟米、差分、少廣、商功、均輸、方程、贏不足、旁要。」這與現傳《九章算術》的篇目基本相同，只是第九為旁要而不是勾股。《周禮》一般認為成書於戰國，因此，至遲在戰國時代，由九數發展起來的數學著作可能就存在了。1983年底在湖北江陵張家山西漢墓中出土的《算數書》，是我國目前所見最早的數學著作，其中有許多內容與《九章算術》相似，有些標題和算題甚至完全一致。由於該書文字古樸，一般認為很可能是先秦著作或錄自先秦著作。
漢代成書的《九章算術》，是先秦至西漢數學知識的總結和升華，在數學的許多方面取得了在當時世界領先的成就，確立了中國古代以計算為中心的數學體系。另外，我們前面談到的《周髀算經》，由於其中的數學內容，也被後世視為重要的數學著作。
《九章算術》產生以後，我國古代數學研究有過兩次高潮，第一次是在魏晉南北朝時期。這一時期數學著作的一大特點是為《九章算術》、《周髀算經》作注。據《隋書·經籍志》記載，僅注《九章算術》的著作就有八種。魏晉南北朝時期，由於戰亂不斷，政治鬥爭嚴酷，致使一些人採取以靜制動的方針周旋於紛亂複雜的社會之中，於是清談之風盛行。在思想領域，儒家的統治地位被削弱，取而代之的是以《周易》、《老子》、《莊子》為主的玄學。玄學力圖通過抽象的思辨來論證現實世界的後面有一個產生和支配現象世界的本體，即世界的本原和根本規律。與之相適應，數學家們也開始重視數學理論的研究，試圖把以前積累的數學知識建立在必然性的基礎之上，三國趙爽的《周髀算經注》和晉代劉徽的《九章算術注》就是典型代表。在這一時期，還出現了一些新的數學著作，彌補了《九章算術》所未涉及的內容，開創了數學研究的新的分支。其中即有劉徽的《海島算經》。該書原本附於《九章算術注》之後，後人將它獨立成書。書中討論了由《周髀算經》測日高法發展而來的重差術，並因書中首題是測量一海島的高遠而得名。《孫子算經》，約成書於公元400年前後，記述了籌算記數制度和乘除法則、分數和開方等。其中最著名的是「物不知數」題，書中提示的解法被後世推廣成一次同餘式組解法，由於是本書中首先提出這一課題，因此被史家稱為「孫子定理」。《張丘建算經》，公元5世紀張丘建所著，主要成就是最大公約數與最小公倍數的應用、等差級數、開帶從平方和不定方程等，著名的「百雞問題」就是出於此書。北周甄鸞著有《五曹算經》、《五經算術》、《數術記遺》三種數學著作。《五曹算經》是一部為地方行政官員編寫的應用算術書，其中有十進位小數的萌芽；《五經算術》對儒家經典中需要數學知識的部分作了注釋；《數術記遺》介紹了三種大數進位制及14種演算法，反映了當時改進計算工具的歷史情況。這一時期還有許多數學著作沒能流傳到今天，比較著名的有《夏侯陽算經》、祖沖之的《綴術》、董泉的《三等數》，前二種被收入唐代的「算經十書」，後一種在唐代也是教科書。《綴術》在數學上的成就極高，書中將圓周率精確到3.1415926到3.1415927之間，同時在球體積問題、二三次方程正負係數的開方問題等方面都有重大突破。
隋唐統治者在國子監設算學館，在科舉考試中設明算科，唐代還將漢唐間的十部重要數學著作加以整理注釋，作為算學館的教科書。這十部著作是《周髀算經》、《九章算術》、《海島算經》、《孫子算經》、《夏侯陽算經》、《張丘建算經》、《五曹算經》、《五經算術》、《綴術》和《緝古算經》。其中《緝古算經》是唐初王孝通所著，書中20個問題大部分用高次方程求解，是現存最早的介紹開帶從立方(即求三次方程的正根)的數學著作。中唐以後，由於工商業有較大發展，人們對簡化籌算計算過程的要求較為迫切，於是出現了不少有關實用數學的著作，如龍受益的《演算法》、江本的《一位演算法》、陳從運的《得一算經》等。但是這些著作都沒能傳到今天，只有韓延的一部算書因原來的《夏侯陽算經》失傳，被冠以《夏侯陽算經》之名補入「算經十書」，才流傳下來。該書中記載了相當多的捷算方法，並對十進小數進行了推廣。總的來說，唐代數學研究的成就不高。除了一行等人的二次內插法外，沒有什麼重大突破。究其原因，是唐代統治者對數學的重視不夠，習學數學的人社會地位非常低，遠不如以儒家經典和詩詞歌賦中舉的人地位高。但是，唐代對古代算書的整理以及算學知識的普及卻為宋元數學的發展奠定了基礎。
宋元時期，社會相對穩定，經濟穩步發展，特別是工商貿易的發達，對實用數學知識的渴求，為數學發展創造了條件。當時出現了許多「捷法」和「歌訣」等，以幫助人們迅速掌握各種記算方法。另外，在這一時期，印刷術已得到廣泛應用，並且發明了活字印刷，促進了數學著作的刊印。宋元豐七年(公元1084年)，秘書省刊刻了十部算經，作為學校的課本，這是印刷本算書在我國首次出現。當時數學家撰寫的數學著作大都能在成書不久就刊印行世。數學著作憑藉印刷術得以空前廣泛地流傳。在這種背景下，宋元數學研究掀起了又一次高潮，特別是在13世紀下半葉，湧現出了秦九韶、李冶、楊輝、朱世傑等一批傑出的數學家，一時間群星閃爍，成就輝煌，可以說是中國古代數學發展中一個登峰造極的階段。11世紀上半葉賈憲《黃帝九章算經細草》的問世，標誌著我國演算法系統在代數學上的飛躍，書中創造的求高次方程係數的「開方作法本源圖」(賈憲三角)和增乘開方法超越其他民族幾個世紀。差不多同時期的沈括在《夢溪筆談》中首創隙積術，開創了高階等差級數求和這一新的分支，還提出了弓形弧長的近似公式。蔣周著的《益古集》用二次方程解決圓的各種關係問題，對天元術的發展也做出了貢獻。12世紀劉益的《議古根源》再次引入負係數方程，並創造了益積開方術和減從開方術，南宋楊輝稱之為「實冠前古」。南宋時期，由於宋遼、宋金、宋元在政治上長期南北對峙，因此數學研究也形成了南北兩個中心。南方中心以秦九韶、楊輝為代表，以高次方程數值解法、同餘式解法及改進乘除捷法為主要研究對象。秦九韶的著作是《數書九章》，其中有兩項舉世矚目的重要成就，一個是首次系統解決了一次同餘式組的解法，一個是提出了求高次方程正根的完整方法。楊輝的著作很多，主要的有《詳解九章演算法》和《乘除通變本末》、《田畝比類乘除捷法》、《續古摘奇演算法》。後三部是楊輝晚期作品，後世合稱《楊輝演算法》。在楊輝的著作中，收錄了不少現已失傳的各種數學著作中的算題和演算法，如賈憲的「增乘開方法」和「開方作法本源圖」等，並且在二階等差級數和乘除簡捷演算法上都取得了很高的成就。北方數學中