文帝欲出兵辽东，高颎不同意，但文帝坚持要打，这次统军主帅名义上是汉王杨谅，高颎则掌握实际指挥权。结果，因为疾疫流行，士兵十之八九病死，隋兵无功而返，在征战过程中，高颎对于杨谅的意见多不采纳，杨谅恨透了他，返京后在皇后面前告他的状：“儿万幸没有被高颎杀掉。”对于这些事情，文帝没有调查，信以为真，对高颎更加不满，找了个借口将高颎免官，让他顶个齐公的虚衔回家闲居。
高颎比较谨慎，以养病为由不参与国事，但此举又遭人陷害，有人说高颎想学司马懿假托有病不上朝，意图取得天下，还有人建议把高颎杀掉，这次文帝虽然没有杀高颎，但还是免除了他的爵位，取消了他离休的待遇。
直到杨广即位，重新启用高颎为太常卿，高颎对杨广也是克尽臣道，认为不当的就直言不讳，招致杨广对他的怨恨，高颎以诽谤朝政罪被杀，同时被杀的还有宇文弼、贺若弼等人。高颎“诽谤朝政”的罪状主要有以下几条：一是劝皇帝不要听“亡国之音”。杨广曾下诏收集北齐、北周故乐人及天下散乐，高颎谏止，认为北周天元皇帝喜爱音乐，结果亡了国，前车之鉴应引以为戒，这令杨广甚为不满。二是劝皇帝不要浪费。杨广为显示隋朝的国力强大，在接待外国人，特别是突厥君主启民可汗来朝时，举行盛大仪式，花费很大，高颎、贺若弼等人对此颇有议论。
杨广得知后大怒，动了杀机，更让杨广忌讳的是，高颎是废太子杨勇的儿女亲家，高颎曾经反对废去杨勇太子之位，杨广即位后杀死了杨勇，对太子的亲家高颎，自然要除之而后快。