高力士虽然为唐玄宗挽回了面子，作为奴才，维护主子是他的职责，他也知道得罪了李辅国。他依仗太上皇，心想唐肃宗再怎么样，也不会对父亲不敬。完全不解帝王的心里，并没有意识到事情的严重性。仍然与往常一样，陪伴着唐玄宗，尽心尽力的服侍太上皇。

李辅国回到家里之后，便想办法整太极宫里的那些人，他表面上不动声色，对太极宫所提的要求都应承下来了。但暗地里，想方设法搜集罪证，要对高力士等人下手。

通过察颜观色，他知道唐肃宗对长庆楼的事一直耿耿于怀，便对李隆基登长庆楼事件，进行了认真调查。添油加醋的向唐肃宗参了一本：“启奏皇上，太上皇去长庆楼，并非偶然事情。而是由高力士、陈玄礼精心策划的阴谋。太上皇在闹市之中，向不明事理的百姓，讲述，京城没有往日的繁华，百业萧条，朝廷平叛不力，让百姓们受苦了。王承恩、魏悦等人在旁边鼓动，百姓即高呼万岁。此乃不轨行为，有损皇上的形象。臣奏请皇上要对太上皇有所节制，不然的话会在京城引起混乱。”

唐肃宗看过奏折之后，极为震怒。他对李辅国说道：“上皇天帝，年事已高，怀念旧时情有可原，不要有不敬的行为。但跟随他的高力士、陈玄礼这些天帝身边的人图谋不轨，你让中书省拟定处理意见，上奏于朕。”

李辅国对李揆说道：“高力士、陈玄礼等人纵容太上皇，在勤政楼前闹事，皇上极为震怒。让中书省提出处理意见，上奏皇上。”

李揆说道：“太上皇在集市上走动一下，百姓呼几声万岁，也没有大不了的事，如何处理啊？你对高力士等人说一说，让他们注意一些，以后不要再发生类似的事情。”

李辅国说道：“这是高力士、陈玄礼等人蓄意制造的事件。皇上口谕：‘太上皇年事已高，情有可原，身边之人图谋不轨，必须严惩。’李丞相是要违背皇上的旨意，对高力士、陈玄礼留情面吗?”

迁来新居感怅惆，宫冷烟青无甘露。

春风不入太极殿，上皇冥思对天愁。

唐肃宗本不愿让唐玄宗搬迁到清冷的太极殿，听了张皇后的话后，也觉得太上皇强势，七十多岁的人，还不甘寂寞。拿起李辅国草拟的诏书，叹息一声，在上面签了字，递给李辅国。

李辅国立即到兴庆宫宣读圣旨，读完圣旨之后，李隆基很吃惊，轻声说道：“朕在这兴庆宫住得好好的，为什么要到西内那偏僻的地方去？”内心甚是不悦。

李辅国说道：“皇上的圣旨已经下了，不想去也得去。请太上皇不要为难奴才，请移驾。”唐玄宗虽然内心不悦，但圣旨已经下了，为了维护皇帝的尊严，当下忍下了这口气，没有提出异议，吩咐高力士准备搬家。

高力士虽然答应了，但还在犹豫，李辅国当即就要求搬家，指挥来人搬运物事。护送太上皇的人，只配了二三十个老弱者。

唐玄宗出行，到了交叉路口，四面八方却都有执刀的卫士，这些人明说是为了保护太上皇的安全，实际上是在制造一种声势，起着震慑的作用。他们都听从李辅国的命令，大声鼓噪，各种兵器相互撞击，发出锐耳的声音，象是在战场上似的。唐玄宗已经是七十六岁的人了，虽然年轻时从大风大浪中走过来，但现在是耄耋老人。人老了就没有了年轻时的风范，加上失去了权力。看到这种情况，甚是害怕，又惊又气，好几次掉下马来，都是由服侍者扶上马背的。

高力士甚是不快，他要刹一刹李辅国的气焰，骑马来到李辅国面前说：“太上皇是五十年的太平天子，李辅国你也是老臣了，怎么敢如此无礼，你给我下马！”