中岳庙，位于嵩山南麓的太室山脚下，距登封县城东4千米。它背倚黄盖峰，北依黄盖峰，面对玉案山，西有望朝岭，东有牧子岗，群山环抱，布局谨严，规模宏伟，红墙黄瓦，金碧辉煌，总面积11万平方米，为中州祠宇之冠，也是五岳中现存规模最大、保存较完整的古建筑群，也是河南省规模最巨、最完整的古代建筑群。如此宏大而又幽雅庄严的庙宇在全国也是罕见的。它们仿佛是一群历史老人，静谧的肃立着，对游人诉说中国辉煌的古代文明。中岳庙历经2020多年的沧海桑田，风吹雨打，多少代人不懈地修建，才得以完好地保存到现在。
中岳庙的前身为太室祠，始建于秦（公元前221－207年），为祭祀太室山神的场所。历史上的汉武帝，对于建设全国统一的多民族国家作出过巨大的贡献，但因时代的局限，到了晚年，热衷于神仙方士之说，渴望自己能够同传说中的轩辕皇帝一样，成为神仙。西汉元封元年（公元前110年），汉武帝游览和礼祭嵩山，在登上太室山时发生了奇迹：随从的官员在山上听到好像有呼“万岁”的声音，其实，这是方士们为博得汉武帝欢心，投其所好而设的一个骗局。但晚年好大喜功，贪恋长寿的汉武帝听后十分高兴，于是下令叫祠官增建太室神祠，禁止砍伐山上的树木，以山下之百产封给神祠作为供奉之用，使中岳庙地位更加巩固。同时，太室山也被封为“嵩高山”，简称“嵩山”，正式与中国原有的四岳并列，称为“中岳”。
北魏时，祠址经过了三次迁移后，定名为中岳庙，从此由道教管理。
唐代中岳庙得到了进一步发展。武则天于万岁通天元年（公元696年）登嵩山封中岳时，加封中岳神，改嵩阳县为登封县。武氏对中岳庙的“情”有独钟，使它的声望日益兴盛，八方传播。唐开元年间，唐玄宗李隆基仿照汉武帝加增太室祠的故事，对中岳庙大加整饰，扩建殿宇，是中岳庙的鼎盛时期，为之奠定了坚固的基础。
宋太祖金妆神像，岳神的冠戴衣着沿袭至今。以后又绘饰壁画，遍植松柏，不断为之增添光彩。
元末由于战乱庙宇倒塌严重。明清两朝对中岳庙又多次整修，特别是乾隆时按照北京清故宫的建造方法，对中岳庙作了一次大规模的全面整修。又设宜道会司，以掌管全县的道教事务。从此，中岳庙飞甍映日，杰阁联云，梁画栋，金碧辉煌，整个庙宇的布局制式都与故宫相似。
乾隆十五年（公元1750年）十月初一，清高宗（即乾隆）至中岳庙致祭，当夜御制《谒岳庙》诗二首，其一为：“正正堂堂地，巍巍焕焕京。到来瞻气象，果足庆平生。惬我长年愿，陈兹祈岁情。忽闻鸾鹤韵，疑有列仙迎。”中岳庙“得宠”于历代帝王，由此可见一斑。
庙内主要建筑，从南向北，由低至高，顺次为中华门、遥参亭、天中阁，配天作镇坊、崇圣门、化三门、峻极门、峻极坊、大殿、寝殿、御书楼，前后共11重。最北以黄盖亭为终端，站在亭内可俯瞰中岳庙全景，远眺苍翠群山。中轴线两侧建有太尉宫、火神宫、祖师宫、神州宫、小楼宫等。殿宇、楼阁、廊庑等共400余间，气势恢宏。庙内古柏参天，碑碣林立，珍存着许多文物瑰宝。
中岳庙既是祭祀岳神的场所，又是重要的道教宫观。道教虽然兴起于东汉时代，其来源却是我国远古时代的巫术，后来继承了秦、汉以来的神仙方士之传统，历史渊源较长。中岳庙是道教在嵩山地区的最早基地，原是为了祀奉中岳神而设的。道家尊中岳庙为“第六小洞天”，他们认为这里是周朝的神仙王子晋的升仙之处。王子晋又名王子乔，传说是周灵王（公元前571~545年）的太子。他喜欢吹笙作凤凰鸣声，游于伊水和洛水之间。那时嵩山有一个道士叫浮丘公，接他上嵩山。几十年后，有人在山中见到他，他说，告诉大家，七月七日，在缑氏山头等我。那日，果然见他乘白鹤，盘旋数日后才离去。于是后人在缑氏山和嵩山的顶上都建立了神祠纪念他。嵩山峻极峰以东的白鹤观，背负三峰，左右皆绝壁，即为纪念王子晋而建。
据《道学传》说，道教创始人张道陵曾在嵩山修道九年。南北朝时，又有著名道士寇谦之在此改革“五斗米道”，创立“新天师道”。峻极门东侧的《中岳嵩高灵庙碑》就是当年刻立的，碑文记载寇谦之修中岳庙和传道的事迹，是关于这位名道最早的记录。此后，历代还有不少知名道士在这里主持过道场。峻极门东侧还有《五岳真形图碑》，这一高3米的碑石雕刻着象征五岳的图象，为明代万历年间所刻立。据道教经典《云笈七签》说，五岳真形图是道士入山辟邪的护身符，一切妖鬼虫虎都不能近。如今河南道教协会就设在中岳庙，每年农历三月和六月庙会热闹非凡，这一习俗至今不衰。
中岳庙，自东汉以来，为道教徒居住传教之所。北魏上谷昌平（今北京市）人，道士寇谦之，早年学张鲁五斗米道，多年无效。十八岁从成公兴入嵩山中岳庙修道七年，北魏神瑞二年（公元415年），托言太上老君授予“天师”之位，并赐以《音诵新科之诫》二十卷，令其“清整道风”，并授予导引，服气口诀。又经过八年（公元423年），又托言老子玄孙李谱文授予《箓图真经》和劾召神鬼等法，并嘱其辅佐北方“太平真君”。始光元年（公元424年），寇谦之离开中岳庙北上魏都平城（今山西大同），由宰相崔浩推荐，入宫会见北魏太武帝。太武帝接受寇谦之改革天师道的建议，并制定乐章诵戒新法，称新天师道继而在城南建天师道场，太武帝亲临道场受道箓，自称“太平真君”，改元为太平真君元年。
此后，北魏各帝遵为定制，每至登基，都如此登坛受道箓，孝文帝迁都洛阳后，在洛阳城南建立道场，如法受箓。
寇谦之在北魏为新天师道首领后，中岳庙地位骤然大增，寇天师受命大加修缮。中岳庙修缮竣工后，寇谦之特于太安2年（公元456年）树立《中岳嵩高灵庙之碑》以记其事，至今此碑尚存，为中岳嵩山最古的石碑。