隋大业十三年李渊攻入长安，立杨侑为帝，遥尊远在江都的隋炀帝杨广为太上皇，这个时候的李渊名义上是大隋的臣子，实际上已经是帝国的最高统治者了，杨侑只不过是个傀儡皇帝。次年李渊称帝，建立大唐，并逐步统一天下。可不到十年，李渊就跟当初的杨广一样被迫成了太上皇，真是风水轮流转啊。唐武德九年六月初四，秦王李世民孤注一掷发动玄武门之变，杀了太子李建成和齐王李元吉，并逼宫李渊。李渊无奈立李世民为太子，交出了权力，两个月后李世民正式登基，李渊退位做了太上皇。虽然这之后大唐的主角是唐太宗李世民了，但其实李渊一直活到了贞观九年，这几年李渊过得可不是那么好。
李渊刚开始退位时并没有搬出太极宫，但是身边服侍的人都换了，其中不乏太宗的耳目。李渊也知道自己的儿子忌惮着自己，于是做事也很谨慎，在太极宫深居简出。贞观三年四月，李渊被迫搬出了太极宫，到大安宫居住。大安宫本来是李渊当皇帝时给李世民建造的宫殿，当时李世民身为秦王，为他建造的宫殿各方各面跟太极宫都是没得比的，，也就是说李渊的晚年生活水平其实是下降了。
李世明也一直与李渊关系不好，很少去见李渊。李渊相当于被软禁了，每日无事可做，只能与妃嫔嬉戏，在六十四岁的时候还生了个儿子，就是《滕王阁序》里面的那个滕王李元婴。李渊在如此高龄时还能生个儿子，况且生活环境和条件相较于之前也都差了许多，可见李渊心态保持的还是很好的，也想得开，毕竟李世民当皇帝后做的并不差。
