灵山寺具有悠久的历史，曾多次修缮或改名。据《明一统志》记载：灵山寺，为五代时建，旧名灵鹫。清道光版《丽水县志》称：灵鹫寺，始建之年无考，有元至元二十六年(1289)重刊宋淳熙四年(1177)碑。现据相关史料考证，它始建于东晋大兴三年(320，即汉光初三年)，北周建德三年(574)因大火焚毁，唐朝贞观六年(633)重建灵鹫寺，定名为灵鹫禅寺。宋太祖赵匡胤建隆二年(961)，僧人，剡州丹城人祝生修缮了寺宇并新建观音堂，将灵鹫禅寺改为祝生寺。祝生，剡州丹城人，事得我国南朝的名僧僧佑，勤业兵法，精于儒学。南唐升元中得举人，官婺州节度使，不从委压之旨，逃隐处州灵鹫禅寺，曾遭到御林军不断的追捕，十分危及之时，被迫剃染出家，才得生安宁。后逐渐趋持平静，就勤学三论，从中悟出佛理，顿生禅心，并乐意将传经送佛作为自己的事业。建隆二年(961)，被众僧贺举为寺主，淳化三年(992)圆寂，年寿七十三。
灵山，亦名马头山，原名灵鹫山，位于市区东北部，距市区约十公里。山不高，海拔约191米，青山环抱，层峦叠翠，山色幽致，好溪之水环其前。清道光《丽水县志》记载“灵鹫山，在县东二十里，与鹁鸪山相对，好溪环其前，层崿峙云，重阴被水，霜旦晴初，尤极幽致。中有灵鹫禅院。宋绍圣中，郡守刘泾建溪雨亭其上，山南有元祝梅所墓碑”。这里交通便利，330国道二线从灵山南北山麓夹绕，城区8路公交车可直达。
灵山南侧山麓的现为莲都区岩泉街道办事处所辖的堰头村，有我市著名的始建于唐代的好溪堰，村因处于好溪堰的源头而得名。唐宣宗大中年间(847-860年)，括州刺史山东临淄人段成式主持创建了好溪堰。好溪原名为恶溪，人们为纪念造福于民的段成式，将恶溪改称为好溪，并一直流传至今。现在灵山东南隅建有一段公亭，就是为纪念唐宣宗大中年间处州刺史段成式而建。