观音阁位于孔子避雨处前，夫子庙西侧，为一楼阁式建筑。观音阁面阔2间，室内地面高出室外1米余，面南辟一门，里面有观音、文殊和普贤雕像。
观音阁前现存有三通石碑，东边一通为康熙二十八年（1689年）重修观音阁记，石碑中间阴刻“万善同归”四个大字，石碑上刻有捐修者姓名。中间一通为康熙五十九年（1720年）重修观音塑像碑记，石碑上刻“福缘万庆”四个大字，并刻有捐修者姓名。西边一通为康熙三十六年二月十九日（1697年）立的观音阁碑记，上面记载修建观音阁的缘由。据碑文记载，观音在南海，文殊在五台山，普贤在峨嵋山，当地好善之人要朝拜观音、文殊、普贤须至南海、五台山、峨嵋山，要瞻仰三山须穷年累月，非数年不能完成。为方便当地善男信女在此建立神阁一座，额曰“观音阁”。此处观音阁可能建于明朝，清康熙二十八年，当地群众又捐款进行了重修。
