在距今七、八千年前，新石器时代中晚期的内蒙古敖汉旗兴隆洼遗址、辽宁阜新查海遗址、沈阳新乐遗址和浙江河姆渡遗址，出土了中国最早的真正玉器。而玉的文化、宗教和政治属性，夏、商、周三代已经渐次完善。
在约距今七千至四千年间的新石器时代晚期，掌祭祀大权者，多用珍贵的美玉制作「祭器」，礼拜神祇祖先。他们相信天圆地方，便琢制圆璧与方琮，来礼拜天神与地祇；他们相信氏族远祖的生命，是经由神物源自上帝，便在玉器上雕饰想像中神祇祖先的形貌，甚至刻绘极具深义的符号，以礼拜之。希望藉玉器特有的质地、造形、花纹与符号，产生感应的法力，与神祇祖先交通，汲取祂们的智慧，获得福庇。
上古社会里，个人地位的高下，端视人与神祇祖先关系的亲疏而定。事神之「礼」，建立了人神之间的沟通管道，也维繫了人际间的和谐关系。「瑞器」就是象徵身份地位的玉器。「祭器」与「瑞器」的制度，都源起於新石器时代晚期，夏、商、周三代，配合不同的政治体制与社会结构，继续发展。在宗庙祭典与朝享会盟上，发挥其形而上的功能，以维繫礼制，故总称为「礼器」。
东周时，人文主义兴起，儒家将一些传承自原始宗教的文化成份，道德化，生活化，提倡「君子比德於玉」的观念。於是佩玉之风大盛，而雕琢之精美，後世亦难出其右。
汉室崇玉，生者佩玉、食玉；亡者裹玉、填玉。甚至在帛画、墓砖上，都饰以玉璧图象。圆璧有助於灵魂通天的观念，此时发挥至极。
六朝至唐，中土玉雕艺术转衰。虽然李唐盛世，仍秉承道统，举行封禅大典，然而礼神之册都难用真玉，而以次玉代之。传世玉器，仅见带銙、梳、簪、佩等。部份亦系西域工匠所制。
宋、明以降，玉雕艺术再度兴盛，帝王祭典用玉之外，更因学者对商、周礼制的考订，民间遂兴起了研究与仿制古玉的热潮。此时，以知识相结合的士大夫阶层，重视生活品味。玉制文房陈设，除供欣赏把玩外，兼具实用功能。自然界的花鸟、人物、山水等，也成为装饰主题，呈现柔美雅緻的文人品味。由於所取玉料，多为河中玉子，玉工常是因材施艺。所琢成品，常是图必有意，意必祥和。
孔子说，玉有仁、智、义、礼等十一德，《礼记》所言“君子无故，玉不去身”，都是强调有社会地位和身份的人要向玉学习，警示他们没有特殊原因，要玉不离身。中华民族这种崇玉、敬玉、爱玉的情操，明清时期比汉唐时期有过之而不及，玉的雅丽和圣洁，征服了一代又一代中国人。而尊玉、爱玉、佩玉、赏玉、玩玉、藏玉，就是目前社会玩玉爱好者的真实写照。
中国人眼里的玉是与众不同的，它已经超越了单纯分类学的范畴而成为中华民族族群的精神寄托。
在一般人看来玉就是石头。以矿物学分类，玉可以分为两种，一种是键状硅酸盐中的角闪石组，包括透闪石和阳起石，也称软玉。还有一种是单链状硅酸盐碱性单斜辉石，又叫硬玉（如翡翠）。中国传统的古玉大多是软玉，包括新疆玉，岫玉等，只是在清代初年吴三桂追击南明永历皇帝进入并控制了云南及缅甸北部盛产翡翠的矿区之后，硬玉才正式进入中国并流行起来。
早在近万年前的旧石器时代晚期，中国人的先祖就发现并开始使用玉石了。一般认为上古时的人们在制作、使用石制工具时发现了玉这种矿物。它比一般石头更为坚硬，于是人们就用它来加工其他的石制品。它又有与众不同的色泽和光彩，晶莹通透，惹人喜爱，于是人们慢慢就用它来做装饰品。又由于玉的数量不是很多而且加工困难，因此就只有族群里少数头面人物如族长、祭师才有资格佩带并使用它，这又使它渐渐演变成礼器、祭器或图腾。正是在这种长期缓慢的进化过程中，玉由原来仅仅是一种特别性质的石头转化为代表权力、地位、财富、神权的象征。
我们现今看到史前早期的古玉大多是玉工具如玉刀、玉斧、玉针。然后就出现玉礼器（祭器）如良渚文化的玉琮、三叉型器，也有部分象形的玉器如红山文化的玉龙、玉猪等，应是作为族群的图腾而制作的。此一时期的玉器并不完全是由现代意义所指的玉石所制作的，它可以是玉，也可以仅仅是漂亮一点的石头，如与变质大理石矿共生的透闪石原矿。及至新石器时代晚期到青铜时代，在中国主流文化区域内已再难见到玉工具了，代之而来出现的是大量的玉冥器、玉配饰如商代妇好墓出土的玉龙、玉风、玉鹤。此时已广泛采用软玉来制作器物了。
由老三代经秦汉至隋唐，玉器一直是皇公贵族的专有装饰用品。两宋时经济发达，商业繁荣，由于手工业技术进步，玉器加工变得更方便快捷，玩玉赏玉之风大盛。此时出现大量制作精巧、加工细腻、构思奇妙的玉摆饰、玉佩件。
明清时玉器制作及玩赏达到顶峰，品种也更为丰富多彩，小到玉头簪，玉钮扣，大到整片的玉屏风、玉山、玉船。王公贵族家还常用玉石来制作日用具如玉碗、玉杯、玉壶等等。一般来说玉质以白玉（特别是新疆产的羊脂白玉）为上，黄玉次之，青玉再次，杂玉（如南方玉，河南玉）为下。
清初时翡翠传入中原，其动人心魄的碧绿马上赢得了国人的倾心。用翡翠制成的玉饰件大行其道，成为时人竟相追逐的时尚。但在传统的中国人眼里，翡翠制成的玉饰却远远比不上古玉。直到今天，如果我们拿起一件翡翠，我们只会去评价它的颜色，它的质地，它的制作。可当我们看见一件古玉，欣赏它的造型，它的沁色、它的质料的时候，心中油然而升的却会是一种强烈的民族自豪感，究其原由，就是因为古玉里孕含着中华五千年文明的沉淀以及炎黄子孙的民族精神。