零陵文庙始建于南宋嘉定元年（1208年），初为县学，建在黄叶渡口、愚溪桥的左侧，后移至城东。元至正二十年（1360）毁于战乱。明洪武三年（1370），零陵知县马裕在城南重建，但城南地势较低，雨季来临时潇水水位暴涨，多次被淹。为避水患，弘治三年（1490）再次将县学迁到了城北。嘉靖二十四年（1546），再次迁往城东，因由湖南巡抚的参与并亲自选择地点，所以这一次县学建设的规模要比之前大很多。
据康熙《零陵县志》载：“创建先师庙，前为左右东西庑，又前为戟门，下为頖池、为档星门，庙左为明伦堂，下为二斋，曰兴贤，曰育才，为仪门。门外有青云桥，又前为儒学门。殿右为名宦祠，为乡贤祠，殿后为启圣祠，为敬一堂，左为教谕。廨右为训导，廨明末毁于兵火”。可谓规模宏大，充分体现了明代地方官员对于零陵文化发展的重视。
在嘉靖二十四年的重修后，文庙日渐衰败。清代顺治十四年（1651），零陵知县刘方至于原址重建，康熙八年（1669），知县吴志灏对其进行了一次修缮，此后康熙二十一年（1682）知县王元弼、雍正四年（1726）知县刘尚质、教谕徐源舒先后进行过不同程度的修缮或重建。乾隆四年（1739），知县徐锡仁改迁到县署后方。但因此地地势较低，湿气较重，故乾隆四十年（1775）在知县黄九叙等人的主持下迁回城东旧址附近高地。
此次重建奠定了零陵文庙现在的规模格局：正中为大成殿，殿后稍偏西的位置为崇圣祠，殿前为东西两庑，两庑前正对大成殿的为大成门，左右两侧的戟门为档星门，西南侧有泮池。戟门再往左前则是名宦祠、孝子祠和节妇祠，右前方为乡贤祠和明伦堂，明伦堂后为教谕署。后随着时间流逝，文庙日渐损坏，嘉庆八年（1803），知县李清英等人对文庙进行了一次大修，翻新正殿、两庑，各处窗扇；对戟门进行改建，崇圣祠居中重建。道光元年（1821）重修，道光二十六年（1846），因大殿和两庑门墙损坏倒塌，在县中绅士的倡议下再次重建，这次重建历经多年才完成，但未改变文庙的大体格局，只是将位置再次向北移动了数十步（即今日文庙的位置），使其规制更加完备。
晚清文庙建制完备，时至今日又经过了百余年的历程，现仅存大成殿及东西两庑，总占地面积2700平方米。零陵文庙建筑风格独特，无论是在建筑表现手法上，还是在装饰构件表达的具体内涵方面，都渗透着鲜明的湘南民族个性风格，尤其是将古代庙宇建筑传统作法与永州地方民族建筑的技巧不露痕迹奇妙的融于一体则更是难能可贵。现存于零陵文庙的众多石雕中，许多是屡次迁移之后保存下来的明代石雕作品。
另有多处木刻石雕，内容十分丰富，有传统的龙凤造型，有反映古代历史的人物故事，有体现民俗风情的山川风物，还有别出心裁的地方掌故；工艺手法多姿多彩，有阴刻、浅浮雕、圆雕、堆塑，还有镂空雕刻。更令人叫绝的是，汉白玉浮雕云龙石柱和汉白玉五龙御路石，图案结构繁缛复杂，互相缠绕，却整体轮廓分明，形象栩栩如生，可谓精美绝伦，实非能工巧匠之大手笔不能为之。而其圆雕石作，狮的威武，象的笨拙，人物、花卉、仪仗、生活图景的写实手法，看似随手而来，实是得之于心。它们共同构成了一组石雕艺术的长廊，表现了卓越的艺术价值，凝聚了永州零陵人民独具匠心的聪明才智。