灵谷寺位于钟山东麓，与中山陵相邻，是古代钟山70多所南朝佛寺中唯一留传到今天的一座，其前身是梁武帝萧衍为名僧宝志（济公和尚）所建的开善寺，至今已有1400多年的历史。
此寺原来修建在紫金山独龙阜，即现在的明孝陵所在地。明洪武十四年（1318），明太祖朱元璋为在独龙阜建明孝陵，将寺和塔迁此，并改名灵谷寺。明代灵谷寺辖12座佛寺，拥有地产达 34000余亩，号称“天下第一禅林”。
灵谷寺风景优美，松木参天，一径通幽，环境悠静。 现存主要名胜有：无量殿，是1381年从独龙阜拆迁于此的一座建筑。
无量殿全用大砖砌成，殿内不用一木一梁，俗称“无梁殿”。此殿高22米，宽53.8米，纵深37.85米，分作五极楹，是中国现存最大的一座无梁殿。
清咸丰年间，灵谷寺遭到严重破坏。因无梁殿由砖砌成而未被毁。
灵谷塔位于灵谷寺后。1929年中山陵的主要工程完工后，在灵谷寺后建革命纪念塔，现叫灵谷塔。该塔高约60米，九层八面，全部用钢筋水泥建筑。每层以绿色琉璃瓦披檐，外有走廊，围以石栏。塔内有螺旋式扶梯，可登高远眺，冈峦古城，如影历历，似入画境。这些古今建筑和山水胜景，掩映于郁葱深秀的林海之中，每至深秋，红叶入火，色彩斑斓，桂花飘香，景色十分迷人。
为进一步改善旅游生态环境，景区规划建成了万株桂园，其中桂花专类园区近1700亩，共有桂花18000株。专类园设计风格独特，布局自然清幽，秀木佳林，郁郁苍苍，令游客神往。