（杨玉环和李隆基剧照）公元755年，安禄山发动了“安史之乱”。眼见都城不保，高力士保护着李隆基逃往成都。两人此时亦都是白头翁，但高力士一路上仍然尽心尽力保护在李隆基身侧。公元756年，太子李亨在灵武遥尊李隆基为太上皇，并举行了登基大典，是为唐肃宗。紧接着他又率军平定叛乱，收复都城长安和东都洛阳。次年，待战事平定后，李隆基在高力士的陪伴下，又回到了长安。只是此去经年，在李亨的安排下，李隆基只能屈居于曾经做临淄王的府邸兴庆宫。尽管杨玉环已烟消云散，还好有高力士一路相伴，李隆基的老年生活，好歹还有个作伴的。但李亨还是觉得不放心，毕竟李隆基和高力士可是一起革过两次命的。再加上李隆基在兴庆宫的阁楼上饮酒时，一些百姓看到了，便纷纷向他跪拜，这无疑让李亨夜不能寐。于是，李亨又把李隆基的居所改到了更加偏僻的太极宫。
（李亨剧照）李亨命李辅国负责此事。李辅国拿着鸡毛当令箭，带了五百持刀骑兵，前往迎接李隆基。说是迎接，他这一阵势着实吓人。只见刀光闪闪一片，把个李隆基吓得不轻。高力士十分着恼，呵斥李辅国，命他不得对太上皇无礼。又代李隆基向五百士兵问好，尽管李辅国骂他“不解事”，还杀了他两名侍从，但邪不压正，再加上李隆基余威犹存，那些士兵胆怯，最终纷纷下马给李隆基请安。李隆基这才化险为夷，好歹算平安地迁居到了太极宫。不过，高力士却因此得罪了李辅国，再加上李亨也不愿意让高力士常在李隆基左右，所以李辅国的诬告来得很及时。不久，高力士不仅被削去所有职务，还被流放于巫州。临行前，高力士请求再见李隆基一面，未准，只得抱憾上路。公元762年，李亨大赦天下，高力士这才得以回京，然而他在走到朗州时，，听说李隆基已去世的消息后，不禁“北望号恸，呕血而卒”。高力士一生都对李隆基忠心不二，李隆基去世后，他亦不愿苟活。明人李贽赞他为“高力士真忠臣也！”
