魯哀公十六年、西元前479年，孔子七十三歲病逝，葬於泗水之濱。孔子過逝後第二年，魯哀公下令將其故居改建為廟。一開始，只有三開間的規模，供奉的是孔子生前用過之衣冠、琴、車、書冊，也就是山東曲阜孔廟，更是歷史上第一間孔廟。

孔子過逝後三百多年，史記作者司馬遷到山東遊歷，並親訪山東曲阜孔廟，依《史記》所載，當時孔廟還是很簡陋，和初建時沒有太大的變化，史記太史公曰：「余讀孔氏書想見其為人。適魯，觀仲尼廟堂車服禮器，諸生以時習其家，余低回留之不能去云。」

漢武帝採董仲舒之議，罷黜諸子百家，獨尊儒術，自此孔子儒家思想被納入政治核心，成為中國政治、學術思想主流。此後漢代許多皇帝，都曾到孔廟祭孔，曲阜的三間孔廟已不敷使用，於是漢桓帝於永興元年(西元153年)下昭修建孔廟，也是國家涉入孔廟的建置的開始。

此後孔廟一再修繕擴建，到了宋真宗時，孔子廟的規模已達殿堂三百間一十六間，變成一座有皇宮規格的巨型祠廟。今日曲阜孔子廟之規模則是明清兩代修建的結果，為一組規模龐大之中國古典建築組群，佔地327.5畝，建築物466間，前後有九進院落。