高僧鉴真应邀赴日本传，由于海上风涛险恶，鉴真东渡三次失败。唐天宝四年（745年）鉴真准备第四次东渡，为了寻找最佳出海口，他们从宁波经天台、临海入黄岩，在黄岩县东南40里的禅林寺住了十来天。该寺北宋时改称香严寺,有较大知名度的寺院。