台北孔廟原址於清光緒33年（西元1907年）為建造第一高等女校（即現今的北一女）而拆除，直到西元1925年多位台北仕紳共議重建、號召倡捐，並由陳悅記家族的詩人《陳培根》捐獻大龍峒保安宮東側私地兩千餘坪、《辜顯榮》購田捐地一千餘坪，自西元1927年興工動土，其中主殿「大成殿」於1929年峻工，而包含崇聖祠、儀門、欞星門、禮門、萬仞宮牆等則陸續落成，整體建築群直到1939年正式完工。
搭建方式採曲阜本廟建築形式，而孔廟內所有樑、柱、門、窗皆無刻字，據說這表示沒有人敢在「至聖先師」孔夫子面前賣弄文章；而由於孔廟為民間興建，故除了形制與規格外也加入閩南地區特有的交趾陶和剪粘裝飾，成為台灣地區孔廟建築中較特殊之一例。
孔廟雖沒有眾多神像與祭具，卻擁有不少遵古制所作之禮器與樂器，每年9月28日孔子誕辰時皆舉行釋奠禮，一場遵循傳統流程，以音樂、舞蹈，並呈獻牲、酒等祭品的祭孔大典，吸引相當多國內外遊客參觀，也讓民眾體驗傳統祭孔典禮之莊嚴氣氛。
