两京光复之后，唐肃宗和唐玄宗双双回到了长安。本应是劫波渡尽、相逢一笑的两父子，却在此时互相猜疑。相比唐肃宗，李辅国更担心唐玄宗复位会威胁到自己的权力。因此他挑拨皇帝与太上皇的关系，并处处为难唐玄宗。唐玄宗被他软禁起来，用于玩乐的三百匹马只保留了十匹，更要命的是，玄宗信任的高力士也被他流放，只安排了几个老弱病残的人伺候太上皇。
不仅如此，唐肃宗要去看望玄宗，也多次被李辅国阻止。这时候的李辅国，不仅干涉唐肃宗的家事，更是将权柄牢牢掌握在自己手中，成为天下实际的主宰。皇帝的圣旨，必须有李辅国的签名才能生效，而所有官员要觐见肃宗，也必须得到李辅国的同意。
在这种情况下，非常多的大臣都纷纷投靠李辅国。当时的宰相李揆，被唐肃宗称为“门地、人物、文学皆当世第一”，几乎将他当作“唐朝第一人”、“形象代言人”，不过即使这样，李揆见到李辅国，仍然行弟子礼，亲切称为“五父”。（见辅国执子弟之礼，谓之五父）
李辅国能如此得势，与张皇后的联手不无关系，但两人的联盟并非铁板一块。早在灵武的时候，李辅国就阻止了时为张良娣的儿子立为太子，而保住了广平王李豫的地位。此后，二人虽然貌合神离，但在攫夺权力，打击异己方面，配合得却相当默契。
