首先，高颎是反对杨广..的头号绊脚石，贺若弼曾经在平陈战役中，不听杨广指挥，为了抢头功不把杨广放在眼里。而宇文弼是汉王杨谅的老部下，汉王杨谅又是隋炀帝曾经的死敌。总之，三人与隋炀帝早已结下仇怨，而且在隋炀帝登基之前，他们就跟杨广不是一伙的。
其次，三人是隋文帝元老，不领隋炀帝的情。高颎之所以被革职为民，就是因为反对立杨广..，隋炀帝提拔高颎，本以为他会感恩戴德，没想到他丝毫不领情，而且他一上任，就跟隋炀帝起了冲突。隋炀帝巡游，想把前朝废掉的那些礼乐拿出来展示。高颎是主管礼乐方面的大臣，对此事并不配合，二人理念严重不合。高颎与前朝皇帝的意见一致，当然与现任皇帝的观念就不一致了。他的反对意见明显意味着隋炀帝不如隋文帝，这让隋炀帝很不爽。
