臺北市孔廟的創建，肇始於清光緒年間。當時臺灣北部設置臺北府，府城於清光緒5年（1879年，明治12年）動工後，清光緒6年 (1880年，明治13年) 知府陳星聚於臺北城垣興築後，用剩餘的材料及剩餘款，附帶在城內南門內(即今臺北市立教育大學及北一女一帶)建造文武廟，兩座廟皆座北朝南，文廟在左，武廟在右，這即是臺北府的孔廟。
臺北府孔廟初建時，由當時臺北知府陳星聚督工，清光緒7年（1881年，明治14年）完成了大成殿、儀門與崇聖祠，當年秋，舉行首次釋奠典禮。第2年，再由臺北士紳提議募捐，再建造禮門、義路、櫺星門、泮池與萬仞宮牆，到清光緒10年（1884年，明治17年）才完成竣工，形成頗具規模的孔廟。
這座孔廟在劉銘傳任臺灣巡撫時，每年均如期舉行盛大祭典，為臺北讀書人之盛事。到了清光緒17年（1891年，明治24年）邵友濂繼任巡撫之後，派員赴福建添購祭祀用器，且敦聘禮官樂師來臺北教習。
清光緒20年（1894年，明治27年）中日甲午戰爭，臺灣割讓給日本，第2年日軍進佔臺灣，抗日義軍蜂起，日軍進駐臺北孔廟，至聖先師及先賢牌位多被損毀，禮器與樂器亦遺失，建築物逐漸遭到荒廢，而祭孔典禮也停止了。
至清光緒33年（1907年，明治40年）日人為建立日語學校(今臺北市立教育大學前身)，乃拆除孔廟，並利用其址建造第一高等女學校。不久，再於日語學校之內建五坪左右的小閣，重雕至聖先師、四配及十二哲諸牌位奉祀，未設置先賢、先儒牌位，每年的孔子誕辰，由學校師生致祭。
民國6年（1917年，大正6年）元月，臺北的詩人團體瀛社及大正協會會員組織崇聖會，推舉日人木村匡為會長，由臺北士紳顏雲年，李景盛為副會長。每年農曆八月二十七日孔誕，從日語學校小閣恭迎牌位，於大稻埕公學校、蓬萊女子公學校或艋舺龍山寺、大龍峒保安宮等處舉行祭典。雖然主事者力倡重建孔廟，但經濟條件不足，未能償願。