中国古人所用建筑材料多为木和土，相比之下，古建筑的石制材料并不被太多人所重视。甚至有人认为，中国古代石制建筑的技术并没有那么的发达，但若对中国古代建筑稍有了解，并加以考究，都会发现事实并非如此。  一、中国早期玉器与石制建筑的形成
 
　　在中国古代其实对于石头的认识要从玉石说起，玉与石头本身并无太大的差别。一般来讲，玉的硬度比石头要高，所以加工起来比石头更加困难。
 
　　距今60万年以前，北京的猿人就用水晶制造工具，这是玉器在我国发展的开始。从新石器时代开始，中国人和玉的联系就变得密不可分。迄今发现中国最早的玉器应该是兴隆洼文化出土的一块白玉珏，其加工特别精湛。
 
　　考古学家认为玉器其实在兴隆洼文化以前就有了很大的发展。在黄河中下游地区的仰韶与龙山文化中，还出土了大量的斧、铲等加工玉器的工具。距今大约5500年的崧泽文化就出土了玉璜，红山文化则出土中国国宝级文物玉猪龙与碧玉龙，而良渚文化也出土了很多动物形制与人身兽面的玉器。 很多考古发现表明，从新石器时代中期开始，玉器的加工就开始变得越发成熟与精湛。玉器的发达，说明我国古代对于石材的加工技术已经达到了相对较高的水平。古代文献中常用“玉”，或是以玉作为偏旁部首作的字表示石头宫殿的奢华，这为我们探索早期石制建筑提供了珍贵的线索。 《竹书纪年》载：“帝辛受居于殷。作琼室，立玉门。”这里的琼、玉实际就是早期的建筑材料所用的石头。有学者推测，中国对于石作建筑可能最早出现于夏商时期。
 
　　将石头加工为工具，是人类最早的活动之一，从旧石器时代开始，这种经验就开始逐渐积累。但对石头的大规模的开采则不太容易，所以利用石头建造建筑物要晚了许多。《史记正义》记载：“始皇陵在骊山，泉本北流，障使东西流，有土无石，取大石于渭南诸山。”这说明在中国，至秦汉时就可以进行大规模的石料开采，并营建宫殿了。
 
　　在秦始皇陵西北，考古人员曾发现了大型的采石场，其东西长近2公里，南北宽近500米，出土了大量的石料、石头的半成品等。这说明在秦始皇陵修建的时候就采用了大型的石头作为材料，据此可推测秦始皇陵内部很有可能是一座巨大的石制墓葬群。
 
　　开采大量的石制材料需要更加完备的开采工具与技术，这和战国时铁器的发明有着密切的联系。至汉代冶铁开始逐步完备，在中国很多地方都发现了制铁的作坊，铁制工具也开始逐渐增多，这使得大型的石材更容易获取，也为石制结构建筑的发展提供了必要的条件。 二、汉代以后石制建筑的兴起与发展
 
　　到了汉武帝时对大型石制材料的利用得到进一步的完善，如汉长安城中就出现用石材建造的宫殿。根据考古发现与文献记载，汉长安城建章宫的玉堂与避门就是典型的石制材料，汉长安城的宫殿内还设有石结构的藏书室等。
 
　　汉代石结构的建筑物比较多，尤其是从东汉开始对石的利用更加广泛，如我们常见的汉画像石，是汉代最有代表的石制遗迹。在东汉至魏晋时期的大型墓葬中，石材料的利用则更加广泛。特别是今天保存在今河南、湖北、四川的汉石阙，结构十分精湛，造像精美，是中国石制建筑的典范。
郦道元的《水经注》就记载了更多关于石制的建筑或遗迹。如《水经注》载：“寿光县有孔子石室，中有孔子像，弟子问经。”再如：“文翁为蜀太守，立讲堂，作石室于城南。”种种记载都说明从两汉到魏晋时中国石结构的建筑已经非常普遍，但由于战乱等因素都未能很好地保存到今天。
到了南北朝时，随着佛教传入中原，中国各地的佛教寺庙开始兴建，根据杨衒之《洛阳伽蓝记》的记载，单单是北魏都城洛阳的佛寺就有近1300多座，而北魏全国的佛寺已经达上万座。西来的佛教促使了石制建筑的兴起，最典型的例子就是中国现今保存下来的云冈石窟的昙曜五窟、龙门石窟的古阳洞、武威的天梯山石窟与巩义石窟等，这些建筑的修建都说明了我国古代石制建筑的高超技艺。石窟寺的开凿，需要消耗大量的人力与物力，而且需要耗时极长。