吕祖庙始建于金代，属道教全真龙门派，因供奉神话人物八仙之一的吕洞宾而建。明末，济南知府樊时英曾重修吕祖庙（有碑为证）。清康熙十八年（公元1679年），在吕祖庙西院又修建了一座大殿，名为升阳观。此后，吕祖庙渐渐被人们称为升阳观，2016年又恢复为“吕祖庙”。
据资料记载，吕祖庙历经800多年的风雨，多次重修，原来的吕祖庙是座由东西厢房及正殿组成的四合院，正殿为三开间一殿一卷棚硬山结构，造型稳重而富有变化。但“文革”时期破坏严重，到现在，原先的院落已被各种现代建筑挤得只剩下六七百平方米了。而且尽管1979年便被公布为济南市重点文物保护单位，吕祖庙还是没能避免倒塌的命运，幸好正殿山墙内尚保存着三块碑刻，嵌在东山墙的一块是民国18年重修时的碑刻，一块是帝君画像碑；嵌在西山墙的则是清光绪戊申（1908年）重刻的明天启年间樊时英书《吕祖像赞》并画像碑。
据说八百年前，金人元好问一日在太原街头闲逛，一长须飘洒、身背宝剑的道人突然上前，邀请他一同饮酒就餐。元好问生性好交友，自然不加推辞。推杯换盏中，两人谈得甚是投机。道人自我介绍说，他就住在天下闻名的趵突泉边，大明湖畔，那里景色宜人，并邀元好问一同前去游历。元好问答应说，将来有机会一定前往，与道人临泉对饮。
数年后，元好问调到济南任知县，乘兴来游趵突泉、大明湖等地，此时他已经忘记了先前与道人的约定。游玩之余，便在泉边小憩。迷迷朦朦中看见当年的长须道人走到跟前问他：“太原一别，已经这么多年了。你是不是已经忘了我们当初的约定。为什么到了我的家门还不来和我见面叙旧呢？”元好问顿觉诚惶诚恐，正想答话，不料猛然惊醒，这才想起当年和道人相约一事，随后起身，看到旁边的墙壁上，赫然发现墙上吕洞宾的画像正是当年在太原见到的长须执剑道人。于是元好问出资在济南趵突泉、大明湖畔修建了吕祖庙。
题壁堂
清嘉庆八年（公元1803年），在升阳观之东又修建了题壁堂。当时的题壁堂可谓巍巍壮观、金碧辉煌。清光绪三十一年（公元1905年），当地名绅张景堂等人又捐资扩建题壁堂。自此，吕祖庙分成了升阳观和题壁堂两处建筑，它们也成为城区内一处集正堂、戏楼、大罩棚、道观及附属建筑为一体的道教建筑群。占地约三亩。这里一时也成为了人来人往、热闹非凡的道教活动场地。说起题壁堂，附近百姓都知道一个关于它的神奇传说。相传，题壁堂建成后，有一天住持道士刘道长看见一名道人进入庙内。刘道长赶紧进去寻找，却不见道人踪影。这时，他忽然在正堂的左墙壁上发现了一首诗，墨迹未干，一看便知是新题写上去的。诗为：
曾否当年旧酒楼，松亭水色静悠悠；熏风日跻蓬莱岛，筇杖常经此地游。
世法须从身上想，机关宜向个中求；离离青草会心处，何事浮生空白头。
诗末署名为“木石道人”。刘道长深以为奇，仔细揣摩诗中内容，发现其境界高远，非凡人所能体悟。于是认为这是祖师吕洞宾代身而书，遂倡议将这一新建的大殿命名为题壁堂。几十年过去了，墙壁上的字迹渐渐模糊，后人为了便于传存，抄录刻于石碑之上。
古观重修焕“旧颜”
2012年，经报济南市文物局、民宗局批准，济南吕祖庙建于明天启年间的升阳观正殿，在社会各界人士的大力支持下，已全面整修完毕，本着修旧如旧、恢复古建筑的原则，吕祖庙又以崭新的面貌为济南古城增添亮丽的风采。
走过题壁堂门前，左拐便可看到整修完毕的吕祖庙，道路右侧是记录此次重修吕祖庙的功德碑，走进山门，右手边为请香处，再往前走即有两个香炉，分别为四足长方式与三足圆鼎式，两个香炉分别上书“升阳观”与“吕祖庙”，再往前就是大殿，大殿门前红柱挂有一副对联“天降甘露不潤无根之草，道法无边难度无缘之人”，落款为山东著名书法家武俊杰先生，大殿门框上也有一副对联，为当代国学艺术名家马子恺先生所提“一枕黄粱点破千秋大梦，九转丹阳练就万劫真仙”。
走进大殿，正位上供奉着纯阳祖师吕祖，左右两边分别供奉太乙救苦天尊、圆明斗姥天尊。左右侧山墙分别供奉着福德正神（土地爷）和关圣帝君。大殿两边墙壁上设有祭祖墙，可供善信在此设牌位供养已故先人。正殿东西两边的墙壁上分别镶嵌着两块石碑，东墙石碑为民国十八年重修时的碑刻。西墙石碑则是清光绪戊申（1908年）重刻的明朝天启年间樊时英书《吕祖像赞》并画像的石碑，这正是吕祖庙数百年沧桑的见证。