最早的蟾溪杨氏宗祠建于何时己无籍可考。现祠则建于清同治年间（旧祠在清光绪年间拆掉，建国后在旧祠址上建起了村委楼），曾小修数次，公元1997年丁丑岁又进行了重修。
　　宗祠建于村委楼边，与吴氏宗祠毗邻而建，宗祠面积600多平方米，砖土木结构，坐西朝东。宗祠分为二进半（天井面积约为半进）。前厅大门额上悬刻有“杨氏宗祠”四个行楷大字，字体古朴遒劲。
　　大门正面一扇均是板壁。前厅建有戏台，戏台两厢是辅房，辅房连着回廊。回廊下边中央即是天井，天井中间筑有五级台阶连接后厅。后厅供桌、神龛等什物还较完备，只是龙牌、柱联（木质镂刻的）等在“文化大革命”中被当作“四旧”破坏殆尽。现有“关西故郡三千纪，蟾溪名宗万代兴”等若干楹联皆是用纸书写贴上的。而后厅正座上的悬匾：“四知门第”；左右匾额：“雀馆开祥”、“　堂庆集”、“清白传家”、“明德惟馨”等均为1997年重修时各地祠堂馈赠的。“度尽劫波”后能有如此模样，乃是不幸中的万幸。后厅比较起眼的，是两厢的辅房，辅房保持完好，这在同类宗祠中还是少有的。与宗祠类为神器的，还有奶娘宫（供奉陈靖姑）和土地庙，此两处均与吴氏族人共建同祀。此外，杨吴两姓还在蟾溪月波桥上建有避雨亭，亭阁上供奉着南海观世音菩萨，以庇佑蟾溪两姓族人。