因为这户人家姓吕，祖上四代皆是官宦人家。其曾祖吕延之，曾为唐玄宗时的浙东节度使；其祖吕渭，为唐代宗时潭州刺史兼御史中丞；父亲吕让曾任太子右庶子。而这个孩子自出生就自带身份光环，加之出生之时的种种异象，便都认为此子之后的成就和造化不可限量。这些认知当然还需要佐证，恰好在出生不久后，当时一位有名的叫马祖道士，在看到尚在襁褓中的婴儿时就言“骨相清奇不凡，自市风尘物处”。
这个孩子取名叫“吕岩”，终于在孩童及少年时代都没有辜负父老乡亲的认知，从懂事的时候就聪明过人，据说能过目不忘、日记万言。有了这样的聪明，和书香门第的熏陶，略长大后便出口成章；跟着护院兵家也学习了拳脚架势。十岁能文，十五能武，长成后精通百家经籍。受家庭的影响，这时候的吕岩也是一门心思在考取名位，以进仕途上。
然而此子在小时候就已经有高人言说“自市风尘物处”，也就注定了他在世俗中的不得志。据说一连三次进士不第，但仕途之心不死，在四十多岁时又一次进京赴考。在酒肆遇到了八仙中的汉钟离，汉钟离有心引他入仙道，就设法使他做了一个“功名利禄由显到衰的黄粱美梦”。终于吕岩彻悟了，便把那出将入相、封妻荫子的追求抛弃，愿跟随汉钟离学习仙道，这也就有了“汉钟离十试吕洞宾”的故事。这期间他曾入庐山，遇火龙真人，授予他天遁剑法，这也就有了“剑仙”的由来。
上面是吕祖未中进士的传说经历，还有一种传说是中了进士做了官，但因为厌倦了世间纷争，便抛去了功名富贵，带着自己的妻子去往了中条山九峰山修行。在这个版本的传说中，就有了“吕洞宾”这个名字由来，说的是他原叫吕岩，本名绍先；因为这次携妻的入山修行，与妻子各居住在一个山洞，这两个山洞相对可望，就改名为“吕洞宾”，吕是本姓，也代表夫妻二人，洞就是修行的住所，宾就是客居的意思，这个名字解释一下就是“姓吕的两口子在山洞暂住修行”。再之后才是上面传说的授予剑法，云游京师遇汉钟离的故事，并列入八仙。