槓桿的使用或許可以追溯到原始階段。當原始人拾起一根棍棒與野獸搏鬥、或用它撬動一塊巨石，他們實際上就是在使用槓桿。石器時代人們所用的石刃、石斧，都以天然繩索將它們和木柄捆束在一起；或者在石器上鑿孔，裝上木柄。這表明他們在實踐中懂得了槓桿的經驗法則：延長力臂可以增大力量。
槓桿在中國的典型發展是秤的發明及其廣泛應用。在一根槓桿上安裝吊繩作為支點，其一端掛上重物，另一端掛上砝碼或秤錘，就可以秤量物體的重量。古代人稱它為「權衡」或「衡器」。「權」就是砝碼或秤錘，「衡」是指秤桿。《呂氏春秋·古樂》中記載：黃帝使伶倫「造權衡度量。」《史記·夏本紀》記載夏禹「身為度，稱以出」。可能，中國早在4000多年前就有雛型的權衡器。不過，迄今為止，考古發掘的最早的秤是在長沙附近左家公山上楚墓中的天平。它是公元前第四到第三世紀的物品，是個等臂秤。不等臂秤可能產生於春秋時期。古代中國人還發明了有二個支點的秤，俗稱銖秤(圖2-1)。使用這種秤，變動支點而不需要換秤桿就可以秤量較重的物體。這是中國人在衡器上的重大發明之一，也表明中國人在實踐中完全掌握了阿基米德(公元前287—前212年)槓桿原理。
《墨經》一書最早記述了秤的槓桿原理。《墨經》是戰國時期以魯國人墨翟為首的墨家著作。墨翟和他的弟子們以刻苦耐勞、參加生產、勇敢善戰著稱。因此，他們的著作中留下了許多自然科學知識。
《墨經》將秤的支點到重物一端的距離稱為「本」(今稱為重臂)，將支點到權一端的距離稱為「標」(今稱為力臂)。書中寫道：
(1)當重物與權相等而衡器平衡時，如果加重物在衡器的一端，重物端必定下垂；
(2)如果因為加上重物而衡器平衡，那是本短標長的緣故；
(3)如果在本短標長的衡器兩端加上重量相等的物體，那麼標端必下垂(圖2-2)。
墨家在這裡將槓桿平衡的各種情形都討論了。他們既考慮了「本」與「標」相等的平衡，也考慮了「本」與「標」不相等的平衡；既注意到槓桿兩端的力，也注意到力與作用點之間的距離大小。雖然他們沒有給我們留下定量的數字關係，但足以將槓桿的平衡條件敘述得十分全面了。這些文字記述肯定是墨家親身實驗的結果，它比阿基米德發現槓桿原理要早約200年。
桔槔也是槓桿的一種。它是古代的取水工具。作為取水工具，一般地用它改變力的方向。作其他目的使用時，也可以改變力的大小，只要將桔槔的長臂端當作人施加力的一端即可。春秋戰國時期，桔槔已成為農田灌溉的普通工具。