寺始建于唐代咸通年间。北宋神宗赐额“灵山寺”，并赐金建造。千百年来曾多次毁损，几度兴衰，古建筑和景点荡然无存。 1989 年重建。寺周有三板桥、石牌坊、七宝塔、九株樟、十八踏、石狮子、石碑等八景。有灵山古井，为宋代重建灵山寺时筑成，井栏为宋代原物，为县级重点文物保护单位。