软玉的摩氏硬度并不高，因而在新石器时代已经有人类使用玉为材质的工具。中国将在辽东半岛对兴隆洼文化（距今约8000年）的遗址考古发现中发现岫岩玉作为世界上最早的玉器予以认定。[1]新西兰的土著人也曾在他们的文化遗迹中发现了众多遗迹，考古证实在新西兰玉石也曾流行了数个世纪。在日本，玉器也被作为祭祀用的器皿材质之一，尤其是勾玉。在日本历史上的三大神器中也有玉石的出现。
新石器时期出土的玉器大多不是当前国际公认的阳起石一类软玉，而是蛇纹石种，亦即文化观念上的玉石。因而这一时期出土的玉器材质往往种类繁多，岫岩玉、独山玉为这一时期的主要玉材。
伴随着社会的进步，玉石的雕刻工艺日趋进步。前16世纪中国商代开始将玉器作为奴隶主贵族的财富象征。并且玉器也开始分担政治器皿的职能，帝王在分封贵族、授予大臣财富时往往不乏玉器的存在。在河南殷墟，1976年妇好（商代帝王武丁的妻子）墓中出土了755件玉器，其中囊括了岫岩玉、和田玉（这说明在当时中国中原地区已经和新疆有了经贸联系）等材质制成的玉龙、玉桂、玉璧、玉琮、玉盘等装饰、配件、礼器；在商代的考古中也发现了“跪坐人”等反映社会风气的配饰。说明玉器在商代形成了种类繁多，用途广泛的一个系统，其样式也有新石器时代的片状物检发展为简单的配饰、雕件，说明了当时主要的工具青铜器加工已经有了很大的发展。西汉金缕玉衣。其制作的精良程度代表了当时最先进的玉器制作工艺。