平遥县城东南面的一座大山，有二十二个大小山头。此山虽然山势险峻，怪石嶙峋，但却古木参天，庄禾遍地。千百年来，人民群众在这里安居乐业。相传，麓台山原来不叫此名，叫作麓台山是因一个叫麓泰的人。
麓泰出生在一个贫苦的山民家里，从小缺吃少穿，生活过得十分清贫。不过麓泰人虽穷，却十分孝顺母亲。母子两人相依为命，日子总还能支撑着过下去。
有一年，久旱无雨，山上的光坡地旱得就象乌龟壳一样，眼看连一帽壳粮食也难打下，山民们纷纷弃家外出谋生。可麓泰不忍扔下年迈的母亲，就只好到祁县舅舅家去借粮食，暂度饥荒。
舅舅是有名的大财主。麓泰看到舅舅家高门大院，家人丫环忙里忙外，心里就踏实了许多。心想，只要舅舅借给少数粮食，不愁熬不过今年，等来年收成好了，再还给人家也就是了。谁知他将来意跟舅舅一说，便遭到舅舅的辱骂：“不成器的奴才，你还有脸上门叫化？我的门风都给你败坏尽了。”麓泰人穷志不穷，一听这话，肺都气炸了。心想：人有了钱，竟然这样狠心！于是便愤然而去。
回到家里，麓泰把舅舅不借粮的事告诉母亲，母子俩抱头痛哭了一场。晚上，母亲竟吃砒霜自杀，碰巧麓泰发现了，把砒霜夺下。他跪求老人莫轻生弃世。老母原本怕自己拖累麓泰，好让麓泰逃条活路。见儿这样，也就打消了自杀的念头。
麓泰看到眼前乡亲们的惨景，想起舅舅的狠心，深愤世道的不平，于是他便跑出家门，跪在山头向上天祷告：诉说久旱之下黎民的痛苦，诉说荒年富人的不仁，诉说人世的不公。祷告苍天慧眼圆睁，慈心大发，拯救生灵于水火。倘苍天不愿苦渡众生，普降甘露，自己甘愿跪死山上。麓泰就这样跪着、跪着，硬是跪了三七二十一天。众乡亲几番相劝，老母数次哀告，都无济于事。果然，到第二十二天下午，天上阴云密布，顿时东南风骤起，闪电忽忽，猛然一声响雷，降下了倾盆大雨。大雨下了七天，久旱的庄稼树木得救了，人们的眉头舒展了，这一年终于获得大丰收。
而麓泰呢？他跪着祈祷的大石依在，人却不知哪里去了。人们四处寻找都无下落。据说有个人看见在那个暴风雨之夜，一只金鹿跑到跪着的麓泰跟前，久久地、轻轻地舔着他那被雨水淋透的额角，最后引着麓泰走了，升了仙界。
当地人们为了纪念他，就在山上他跪着的地方修了一座庙，并把此山称麓台山。以后每逢天旱无雨时，人们便抬着贡品，到庙里祈祷求雨，据说还挺灵验！