對石的使用與認識，與玉大致走了一個相反的方向。石首先是作為一種被加工、被使用的材料出現於人類生活中，以後才逐漸對石的各種特性進行總結，並由此引出石的精神內涵。最後石自身成為一種獨立於物象之外、能與人的感情相通的靈物。不同類別和形狀的石，能寄託人不同的感情。即使我們將石作為抽象雕塑來看，它也不是冷冰冰地遊離於人的生活以外，而是與人心靈息息相通，成為人的生活中不可缺少的伴侶。陸放翁(陸遊)「花若解語還多事，石不能言最可人」的詩句，很好地道出了中國人與石的這種親密關係。
石器時代這一稱呼，再清楚不過地說明了最初認識是建立在制器之用上，這是由石頭的堅硬物性決定了的。在夏商周三代、秦漢時期，對石的認識開始演化。夏商周三代、秦漢對石的認識，主要體現在三個方面：對物性的演化(器物之用)；對物性的理化(品性的認識)；對物性的異化(兆應所反映出來的靈性)。在三代諸多的以石言理的理論中，《周易》「介於石」、「以中正」這一說法對後代影響最大。此語是對「豫」卦(䷏)第二爻(六二)的解釋：「介於石，不終日，貞吉」；「不終日，貞吉，以中正」，以石為例闡明君子的行動原則。石是堅定不移的，故稱「介」；「六二」在下卦(☷坤卦)居中，陰爻陰位得正，故這一爻的品性是「中正」，正好與石性相符。「介於石」、「以中正」作為行動原則，其一用於修養，君子應在任何環境中處變不驚，堅守中正，如石一樣堅定不移；其二用於處事，凡碰上如石頭一樣不改變的情勢時，君子要及時採取應變措施，才能避免禍害。「介於石」、「以中正」雖然以石比附人事，但作為對石的認識，貢獻極大。它所提出的石頭「貞介」、「中正」之性，一直是後世各代對石最恨本的認識。從晉代陶淵明的「介介若人，特為貞夫」(《讀史述九章·魯二儒》)，直到清代鄭板橋「介如石，臭如蘭，堅多節，皆《易》之理也，君子以之」(《題畫·蘭竹石》)。多少代的有骨氣文人都用石的這一貞介、中正之性來言情寓志。三代好言鬼神之事，秦漢時興讖緯之風，言兆應成為一代顯學。石的兆應是石有靈性的發端。隨著對自然、對社會的認識的深入，石的靈性於是乎就成了人與石相通的基礎和人與石親近的感情之橋。秦漢時有的思想家提出「山體曰石」(劉熙《釋名·釋山》)，「雲觸石而出」(劉向《說苑·辨物》)；有的又提出石與金同類，其性質「從革」(《漢書·五行志》引劉歆語)，即可以進行改變。由這些理論，可知當時認為石是組成山的骨，是山的構架。這種構架又是氣所凝聚而成。「從革」又指出石有再創造、再生的特性。漢時梁孝王築兔園，「園中有百靈山，山有膚寸石、落猿岩、棲龍岫。」巨富袁廣漢於北邙山下築園，「構石為山」。這些行為都是「從革」的具體表現。以石組成象徵性山體，以石的本性來組合成另一種美的東西，這是對石審美並將人的這一審美取向付諸實踐的開端。
如果說夏商周三代、秦漢是對玩石的一種認識和實踐上的奠基，那麼魏晉南北朝則是這一認識和實踐的重要轉折時期，表現出了石與人生的交感。隨著魏晉南北朝山水詩、山水畫的發達，對石的認識也有了山水之情、山水之思。如梁朝蕭推《賦得翠石應令詩》中所云：「依峰形似鏡，構嶺勢如蓮」。又如陳朝摽〔piao漂〕法師《詠孤石詩》中所云：「中原一孤石，地理不知年。根含彭澤浪，頂入香爐煙。」這些句子，都表明了詩人由石引出的山水之思。這時期在造園中的疊石之藝也漸趨精巧。如北魏張倫造景陽山「有若自然。其中重岩復嶺『嶔崟〔qinyin欽銀〕相屬，深谿〔xi溪〕洞壑，邐逶〔liwei里危〕連接。」但這個時期，對孤石的「獨高不群」、「孤秀白雲」、「獨標千丈」這種貞介之質吟詠尤多，說明詩人由石引發的這種山水之情，是詩人在動亂的年代裡，移情於石，以石自比，抒發了人們對事世不滿的情緒和自己身處濁世而求清白的願望。
唐代是石與人生融和的時期。唐代玩石之風大盛，尤其在文人士大夫中，互相贈石，詩文唱和不乏其例。如白居易、李德裕、牛僧孺都是玩石名家。其中李、牛二人在政治上是勢不兩立的對手，唐代政壇上有名的牛、李之爭，就由他二人引起。但在玩石這一點上，他們二人都是白居易好友。這個例子再好不過地證明中國文化中的玩石對精神的凈化作用。若論唐代玩石最有代表性者，當屬白居易。與前代和同代人相比，白居易至少在三個方面特別突出。一是以石比堅貞忠烈，如其《青石》詩中云：「願為顏氏段氏碑，雕鏤太尉與太師。刻此兩片堅貞質，狀彼二人忠烈姿。義正如石屹不轉，死節如石確不移。」二是以石為伴侶。如其《雙石》詩中云：「回頭問雙石，能伴老夫否？石雖不能言，許我為三友。」又在《北窗竹石》中寫道：「一片瑟瑟石，數竿青青竹。向我如有情，依然看不足……有妻亦衰老，無子方煢〔qiong窮〕獨。莫掩夜窗扉，共渠相伴宿。」三是以石自比，如寫《太湖石》，先言此石神奇之姿，再言此石神奇之事，最後歸結為才太大無器之用，實是以石比己。又有《蓮石》詩云：「青石一兩片，白蓮三四枝。寄將東洛去，心與物相隨……莫言千里別，歲晚有心期。」也是以蓮石自比。此外，李德裕的詩：「聞君采奇石，剪斷赤城霞」，「名山何必去，此地有群峰」，也都是賞石的名句。牛僧孺在給白居易的一首詩中，提到「念此園林寶，還須識別精」。將太湖石與園林相聯繫，並明確太湖石為園中之寶。(圖28)與此詩相呼應的是白居易會昌三年(公元843年)五月為牛僧孺建園的一篇記事文(《太湖石記》)。言牛僧孺當丞相時為官廉潔，唯不拒別人贈石，並「以石為伍」，「惟石是好」。牛僧孺將形態不一的太湖石列置園中，「三山五嶽，百洞千壑，覶〔luo羅〕縷簇縮，盡在中。百仞一拳，千里一瞬，坐而得之，此所以為公適意之用也。」白居易這篇文章，充分說明石在唐代人生活中重要的作用。唐代玩石賞石，多為園林中列石與疊石，對奇異之石的欣賞，也見於唐人的生活中。如上舉李德裕詩(「聞君采奇石」)中所說臨海太守所贈奇石，即為產於天台之花乳石，色如玳瑁，瑩潤堅潔可愛。又吳興卞山產桃花石，皎然《桃花石枕歌》一詩中比之為和氏美玉(「卞山幽石產奇璞，荊人至今采不著」)。東陽、永康松化石，為松樹化石，盤根大柯，文理曲折，陸龜蒙《二遺詩》寫此石自然天成，有山林之趣(「萬股清風吹作籟，一條寒溜滴成穿」；「幸與野人俱散誕，不煩良匠更雕鐫」)。綜上所述，唐代對石的賞玩，已進入了人石相融的階段，而對各種奇石的注目，又拓展了石與人聯繫的範圍(非園林用石)，這些無疑對宋代玩石賞石高峰的形成，作了認識上和材質上的準備。
對宋代的雕塑成就，歷來的評價甚低，認為中國雕塑自此開始衰落，且每況愈下，甚至還有宋代無雕塑可言之論。真實情況如何呢？宋代是山水畫達到高峰的時期，也是文人畫大興的時期。在這一形勢下，佳石、盆景，帶著濃郁的文人氣息和書卷氣息，演變成一種新的雕塑品種——文人雕塑。這一中國最獨特的雕塑藝術，高峰就在宋代。就這點而論，宋代的雕塑成就，可與任何一個朝代匹敵。這些雕塑，要麼一塊，要麼組合，或安於庭院，或置於案頭，或陳於架上，或納於袖中，時時觀賞，時時品玩。宋代對石的品賞形成一種時代風氣，凡天下奇石都列入品賞之內。在這些奇石中，有品種奇特者，有世上罕見者，也有海中珊瑚，岩中化石。宋代杜綰所著《雲林石譜》共列石116種，其中有天下名石及其特點與歷史，也有佳石及其品性與產地等，可謂是宋代賞石的一部簡明辭典。書中提到對石之極品太湖石的加工(按需求加工後沉於水中，久經流水沖刷，再取出時，加工之處石理宛如天生)，也就是雕塑製作。此外，書中對一些名石的敘述中，頗多文人名士收藏或玩賞的記載，由此也能看到宋代文人玩石風氣之盛。可以說宋代崇石之風，夾雜著高雅的審美情趣與濃厚的獵奇習氣，而「花石綱」則是這種風氣的集大成。「花石綱」即北宋徽宗趙佶〔ji 吉〕為在汴京(今河南開封)修造艮〔gen〕獄(皇家園林名稱)，徵集江南珍異花木奇石而設。經十幾年的搜刮，艮獄以太湖石、靈璧石一類奇石堆成假山，「雄拔峭崎，巧奪天工……千態萬狀，殫奇盡怪」。除了假山外，還在園中豎立許多造型奇特的單塊石頭作為點景，這種設置目的與今天的園林雕塑的作用是完全一樣的。汴京被金人攻破後，艮獄也被毀。名貴的太湖石散失四方，一些被金人掠至金中都(今北京西南)。以後朝代更迭，這些太湖石又散失許多，今故宮、頤和園等皇家宮苑內，尚有不少艮獄舊物留存。
這個時期在石的認識中，還有一個明顯的變化。在宋代這個山水畫對山川自然景物表現得淋漓盡致的時代，對石頭的審美反而跳出了山水之思、山水之情的框子，形成了一種獨特的審美形式，即從狀