五岳的起源与中国先民的山岳崇拜有关。中国的地形特征的三山六水一分田，在对自然科学了解不多的古代，先民们认为山是孕育万物的地方，具有兴云布雨的神奇功能，山顶天立地，是沟通天地的圣地，山里面都住着相应的神仙。遇到旱涝雨雪等自然灾难，人们都会祭祀山神。在中国较好古老的文字——甲骨文中就有祭拜山神的记载，中间也提到了“岳”字。
在《山海经》《尚书》《左传》《国语》等先秦的著作中，都零星地有关于岳的描述，但当时是“四岳”而不是“五岳”，是指东西南北四方的高山。在毛传中对《诗经·大雅·崧高》“崧高维岳”的解释是：“岳，四岳也。东岳，岱；南岳，衡；西岳，华；北岳，恒。”司马迁在《史记·封禅书》中沿用了这一说法，并加上了中岳嵩山。至此，“五岳”的概念基本确定。
公元前219年，秦始皇初次封泰并刻石，开启了中国帝王的封禅之旅。西汉中期汉元帝下诏祭祀五岳，使封禅成为一种国度制度，并对形式进行了统一和规范。我们现在去五岳，都会看到相应的“岳庙”，这些庙都是当年帝王封禅时留下来的。
祭拜五岳是一种儒释道相融合的文化活动。五岳中都有一些古寺、古庙、古书院等，代表着相应的宗教文化和学术交流。比如中岳嵩山，既有代表释家的少林寺，又有代表儒家的嵩阳书院，在少林寺的地藏殿更供奉着道教的十大阎罗王神位，还有一尊释迦牟尼、孔子、老子三圣的合体像。北岳恒山下的悬空寺里，有一个三教殿，里面就供奉着佛祖、孔子和老子。这些都体现着在历史发展过程中，各种文化通过五岳这个载体相互融合、相互影响、相互促进的情况。