唐高祖李渊建立李唐王朝后，军功强大的次子秦王李世民和皇太子李建成之间展开了激烈的夺嫡斗争，最终李世民放弃了传统夺嫡途径，采用暴力手段发动玄武门之变，亲手杀死了自己的哥哥和弟弟。武德九年（626）八月，高祖李渊被迫退位，成为太上皇，直到贞观九年（635）去世。李渊一共当了九年太上皇，这期间他的生活是非常不愉快也很凄凉的。
李渊被迫退位成为太上皇，不仅内心怀着丧失两个爱子的悲痛心情，更让他失落的是他失去了皇帝拥有的一切权力，而且在生活上也失去了至高无上的享受。
李世民上位后，由于对父亲偏爱李建成和李元吉心怀怨恨、再加上他要竭力证明自己的正义性，因此不惜对高祖李渊的一些政治措施大加批判，最具有代表性的实践就是李世民对裴寂的处理。
裴寂是李渊最信任和要好的心腹朋友，他是劝说李渊太原起兵的首倡者，是李唐的开国功臣。但李世民当皇帝后，不仅直接对他进行人身攻击，还找了不少借口对裴寂进行严厉的打击，甚至定了他死罪，后来由于舆论沸腾，不得不改成流放。李世民对裴寂的指责和打击实际上是含沙射影针对的高祖李渊，李渊被儿子这样羞辱又有什么办法呢？他只能忍气吞声。
唐朝初年，太极宫是皇帝听政、举行国家大典和休息的地方，可以说是最重要的宫殿。李世民刚即位时还假惺惺地暂居东宫，以示对高祖的尊敬。但时间长了在东宫毕竟显不出自己的皇帝威风，因此在贞观三年他终于把李渊给迁出了太极宫，李渊被迫搬到位于外城郭的弘义宫（改名大安宫），过着被幽禁的生活。
贞观四年，唐朝大将李靖趁着东突厥遭遇天灾时，一举将其灭国，李世民大喜。由于隋朝末年群雄并起，当时位于北方的突厥坐大，包括李渊在内的各个诸侯都曾向突厥称臣示好。这种行为虽然屈辱，不过也是在客观形势下的一种暂时妥协政策，作为李唐王朝的继承人应该体谅。
但李世民为了渲染自己的政绩和吹捧自己的功劳，不仅到处宣扬李渊当初的举动让自己感到多么耻辱，而且还召集了亲近大臣、诸王、妃子、公主等人开了个盛宴，太上皇李渊在宴会上表演了琵琶，并大力称赞了李世民的功业。这显然也是李世民的刻意安排，利用高祖来宣示自己的权威和合法性，李渊也不得不配合演出，在皇室亲贵面前低着头承认自己不如儿子。
而从细节里可以窥见的李世民平时对高祖李渊之苛待的便是避暑一事了。由于长安皇宫夏天暑热尤其厉害，因此初唐时，皇帝往往会选择去清凉之地九成宫避暑。李渊在皇帝位时也经常出去巡游，但在弘义宫就等于被幽禁，不能随便出宫一步了。
李世民自己经常外出巡游或避暑，但从来没有关心和想起过父亲。好几年后，监察御史马周上书批评了李世民，李世民虽然表面接受，但依然我行我素。贞观八年，年老体弱的李渊身体转坏，已经卧病在床，结果李世民在这个时候请他去九成宫避暑，气愤的李渊只能冷冷回了一句：隋文帝崩在那里，不去！（唐朝人认为隋文帝死于其子隋炀帝之手）。这显然是李渊对李世民的一种讽刺。
贞观九年五月，太上皇李渊去世，享年七十岁。李渊去世后，李世民更是毫无忌惮地对史书上下其手。李世民为了证明自己上位的正义性和掩盖自己屠杀亲人的罪恶，对初唐的历史记载定下了一个大的基调，即贬低李建成和李元吉、贬低父亲高祖李渊，将其斥为昏庸糊涂之主，然后再大书特书自己的英明神武，以此衬托自己的高大伟岸形象，李渊建立李唐的功劳和作用被儿子贬低得近乎一无是处。
从家庭和睦到骨肉相残痛失爱子、从至高无上的皇帝到不敢越雷池一步的幽禁生活、从拥有最好生活享受的帝王到门前冷落无人问津的太上皇，从英明伟大的开国帝王到史书里昏庸的老糊涂，唐高祖李渊的晚年生活可以说是非常凄凉的。