在正南邊的庫倫街，可以看到一座高大的照牆，此即為孔廟必備的「萬仞宮牆」。 萬仞宮牆之典故出自論語子貢曰「夫子之牆數仞，不得其門而入，不見宗廟之美，百官之富，得其門者或寡矣」。寓意孔夫子學問道德高深，若要求取上進，並無捷 徑，唯有進黌門或泮宮（皆古代學校）潛心修習，才能窺其堂奧。臺北市孔廟的萬仞宮牆四字書於牆外側，牆內側則彩繪一隻麒麟，傳說它是仁獸，有麒麟送子之寓意。古時不僅孔廟萬仞宮牆常繪麒麟，一般寺廟或官府亦常見在照牆上繪似麒麟，可見其淵源久遠。

泮池位於萬仞宮牆之後，是一個半月形的水池。古時宅第或寺廟之前常有半月形水池，具有防災、調節暑熱及風水之象徵意義。孔廟的泮池，除有同樣的作用外，尚有泮宮之水的意義，即學校所附之水池之意。泮池中有一座三孔的石拱橋，稱為泮橋，橋面彎曲如虹，兩側圍以石雕竹節形欄杆。橋頭欄杆尚且有文筆柱頭作為裝飾，不但玲瓏美觀，且又有高風亮節與振興文運之象徵，甚值仔細欣賞。

關於泮池上的泮橋，有一有趣的傳說，據說古時地方上出過進士殿試狀元及第者，祭孔時可以走過泮橋，過櫺星門與儀門，直上大成殿恭祭，不過有些地方的孔廟並不築泮橋。