李贤继立为太子之后，武则天与他的矛盾开始激化。
当时官中纷纷传说太子是韩国夫人所生，甚至传到了李贤的耳朵里，可见李贤非武则天亲生一说还是有一定根据的。正因为如此，武则天对李贤可没有一丝骨肉情分。何况，对于在李贤宫中抄出数百套甲胄，武则天也是很担忧的。
因为李贤有太子之位，有监国之权，而且笼络了几乎满朝的大臣，这使得武则天想方设法将他定为谋反罪。在流放期间，李贤真的萌发了造反的念头。
李贤去世之后仅半年，徐敬业等人在扬州举兵反叛，就曾找了一个面貌类似李贤的人四处招摇，以示自己是奉李贤之命起兵的，号召天下迅速响应。
可见，只要李贤仍然活着，随时都有可能自觉或不自觉地充当朝野反武势力的领袖，而卷入到谋反之类的事件中去。
李贤遭贬，后来死于非命，和明崇俨有着直接的关系。早在李贤仍是太子的时候，明崇俨以能通鬼神而深受高宗、武则天宠信，武则天和明崇俨还有情人关系，多次在庆山寺相会。这样的事情，李贤当然愤恨，所以，明崇俨那时便开始散布太子不能继承皇位，应该另选英王或相王取而代之等言论。
明崇俨的说法记载在新旧《唐书》中：“太子福薄，不堪继体，惟英王貌类太宗，相王旦貌当大贵，两子中择立一人，方可无虞。”
武则天十分信任明崇俨，只因李贤无过错可指摘，只得勉强容忍。
1972年，考古工作者从李贤墓中发掘出了《章怀太子李贤墓志铭》，文中多次以晋献公听骊姬之言杀申生、汉武帝听江充之言杀刘据、晋惠帝听贾后之言废愍怀太子司马遹之类的典故来暗喻李贤之死。看来李贤遭谗而死，不是妄言。
20世纪60年代初，郭沫若又提出了一个全新的说法，认为李贤实为宰相裴炎陷害致死。他推测武则天在废掉唐中宗之后，有意起用李贤，立即派丘神绩去巴州，看看李贤是否已经悔过自新。裴炎出于篡夺朝廷大权的阴谋，设计暗害了李贤。所以李贤之死既不是出于武则天的指使，也与丘神绩无关。
郭沫若认为丘神绩此后不久被贬官是误以为丘神绩逼死了李贤，后来发现他被冤枉了，就召回他官复原职。此说法基于大量的推测，缺乏直接证据的支持，只能聊备一说。
对于武则天的作为，李贤当然心知肚明，他做《黄台瓜词》：“种瓜黄台下，瓜熟子离离，一摘使瓜好，再摘使瓜稀，三摘犹为可，四摘抱蔓归。”
这首诗与曹植的七步诗有异曲同工之妙。
此时的李贤是有些幼稚了，以为此诗能够感动武则天，岂不知，武则天见诗之后，更加对李贤恨恨不已，一定要置李贤于死地了。
永隆元年（公元680年），武则天把李贤充军一样贬到巴州（现在的四川巴中县）闲居。尽管如此，武则天仍不放心，四年之后，派人逼令李贤自杀，李贤死时才三十一岁。
武则天得知李贤已经死掉的消息后，为了安慰朝中大臣，于显福门为李贤举哀，贬丘神绩为叠州刺史，并回复了李贤的王位。
唐中宗神龙二年（706年），追赠李贤司徒的官位，并派人迎其柩陪葬乾陵。
唐春宗景云二年（711年），追赠李贤皇太子地位，谥章怀太子，与其妃房氏合葬。
应该说，李贤的死是母子争权与兄弟争权所导致的。
