不久，太子李旦又被诬告谋反，酷吏来俊臣负责审理，对于东宫众人施用酷刑，乐工安金藏剖腹证明主人清白。李旦幸免于难，妃子秦氏却被牵连入“巫蛊案”而被处死。

母亲死去那年，李隆麒不过五岁，他被祖母武则天逐出皇宫，流放终南山，寄居道家七十二福地之首的楼观台。

他如一株山野间的小树苗，又像一头离群的野兽幼崽，风餐露宿，背倚秦岭，俯瞰关中，吸收日精月华地成长。除了楼台观的道长，无人知晓他的皇子身份，只把他当作个洛阳来的孤儿。他跟着老道长学习《老子》、《庄子》，可惜楼观台里只有道家经典，哪来儒家与释迦的典籍？这孩子总是偷偷溜出道观，爬上高山，钻入深谷，追逐蝴蝶与白鹤。

终南山中，遍布避世的隐士。有的结庐而居，有的住在洞穴，有的来自秦汉已越千年。小小年纪的李隆麒，不惜爬上万仞悬崖，跟着隐士们学习《诗经》、《春秋》、《左传》、《楚辞》、《史记》、《汉书》、《三国志》……

天降大雪之时，李隆麒偶遇一个苦行僧，竟是玄奘大法师的关门徒弟。僧人在山中修行一年，便向这有缘的小子传授了《大般若波罗蜜多经》、《瑜伽论》、《大唐西域记》。

年方十二岁，李隆麒便已分别修行了儒释道三家，脑中熟读过的典籍不下百余种，更将诗三百、汉乐府、六朝文、初唐四杰“王杨卢骆”倒背如流。

这一日，少年李隆麒独自深入秦岭，为楼观台的老道长采药，听闻山间有猛虎咆哮。常人听到虎啸，早已撒丫子跑了快，李隆麒却背着猎人的弓箭与小刀，偏向虎山行。他见到深谷之中，一只猛虎截住一头小鹿。但那小鹿长相奇异，全身有九种颜色的花纹，头顶着成年鹿才有的雪白鹿角，绝非猎户所见的梅花鹿、马鹿或麋鹿，体态轻盈，雍容华贵，好似佛本生故事中的九色神鹿。落单的小鹿遇到猛虎，自是做了虎口佳肴，但这九色神鹿却不畏惧，顶着锋利的鹿角与猛虎相持，竟让吊睛白额大虎多处受伤，血迹斑斑而不得手。时值隆冬，老虎饥肠辘辘，除了正面攻击的雄虎，突有一只雌虎从背后偷袭，狠狠咬住九色神鹿的后背。幼年的小鹿发出痛苦的鹿鸣。李隆麒想起自己颠沛流离的童年，无辜冤死的母亲，怜悯这只小鹿，张弓搭箭，百步穿杨，当即射破雌虎的眼睛，接着又一箭射中雄虎的屁股。一雄一雌，两只猛虎，嗷叫着洒血逃窜。李隆麒不会赶尽杀绝，只让九色神鹿脱困即可。年幼的神鹿见到器宇轩昂的山中少年，竟然缠着他不走，伸出脖子与他亲密玩耍。

李隆麒便将神鹿带回道观，每日为它敷药治伤。老道长说此鹿绝非凡间之物，上古即有记载，至今依然幼年，估计享有数万年的阳寿。神鹿伤愈，竟不愿离去，成为少年李隆麒不离不弃的伙伴。

从此以后，神鹿有了名字，它叫九色。

这一年，武则天为平息李氏与武氏的矛盾，召集双方子弟在洛阳明堂盟誓，李显、李旦兄弟与太平公主一同参与。女皇下令召还被流放的皇子，名臣狄仁杰奉命出京，在终南山楼观台觅到李隆麒。

狄仁杰惊讶于小皇子的聪颖与早慧，欣然护送还京，并向女皇极力赞颂。武则天册封李隆麒为终南郡王，延请狄仁杰传授儒家与治国之道，国师李淳风传授道家与阴阳之术。

两年后，突厥默啜可汗南侵，李旦被任命为大元帅。天生孱弱的李旦，岂有戎马征战之力？终南郡王李隆麒，自愿代父出征，旦辞黄河去，暮至黑山头。十四岁的少年皇子，带着九色神鹿，统领大唐铁骑，渡过茫茫戈壁。月黑雁飞高，单于夜遁逃。此役击溃二十万突厥大军，终南郡王凯旋归来，洛阳全城百姓围观，文武百官皆称颂之。

狄仁杰进言武则天，李隆麒熟读儒释道三教经典，内修文治，外有武功，可在马上打天下，亦可在案上治天下，有圣明君主之风范，足以立为储君，继承大统。

女皇毕竟老了，必须考虑接班人问题。她也分外疼爱这位孙儿，总觉得李隆麒的英武之气，颇似曾祖父唐太宗李世民——亦是她的第一个男人。

武则天更对李隆麒宠爱有加。恰逢安西都护府进贡一块价值连城的昆仑暖玉——彼时和田尚称于阗，并无“和田玉”的叫法。女皇便将这块暖玉赠送给终南郡王李隆麒，更让其他皇子颇为嫉恨，尤其是同父异母兄长李隆基。

李隆麒对这块暖玉爱不释手，色泽如同羊脂，每遇大事，焕发热量。彼时尚为青年画师的吴道子，曾为终南郡王画过一幅画像，便是他佩戴暖玉的少年形象。