很快黄明远就顾不得义成公主的事情了，因为朝廷之中，爆发了一件大事，天子下令，罢免宰相苏威，诛杀高颎、贺若弼、宇文弼等人。
杨广北上之时，便下诏征发男丁一百余万人修筑长城，西起榆林，东至紫河（即今内蒙古南部、山西西北长城外的浑河）。尚书左仆射苏威劝阻，杨广不听。这条路修筑了二十天便完工，死伤无数。
这便是高颎等人要被诛杀的直接原因。
因为高颎的主动投诚，杨广在登基之后，还是很优待高颎的，不仅任命其为太子太师，与杨雄、杨弘等人并列，还恢复了其爵位齐国公。
不过高颎似乎还沉浸在杨坚的时代，对杨广的性格并不完全了解，因此对于杨广的作为，屡屡劝谏。
杨广征召全国周、齐、梁、陈等朝乐家子弟为乐户，从六品以下到庶人，有擅长音乐的，全向太常寺报到，高颎对此对不以为然，认为这是乱政，劝杨广废止，但杨广不听。
此时的高颎似乎因为年老和离开政治中心，已经丧失了政治警惕性，因此他之后对太常丞李懿说道：“北周天元帝因为好乐而亡国，殷鉴并不远，怎么可以再重复呢？”
而这两年，杨广的种种作为，也越来越让高颎不满，因此高颎竟然和安德王杨雄说道：“近来朝廷太无纲纪了。”
这一次杨广召见启民可汗，黄明远、长孙晟皆对杨广对胡人厚赏不满，但也没有说话，但高颎却认为杨广此举不妥，对启民可汗的待遇过厚。他又对太府丞何稠说道：“这个胡虏很清楚中国的虚实，山川的险易，恐怕会成为后患。”
不仅如此，高颎还和杨谅的旧部礼部尚书宇文弼走得迫近。须知祸从口出，从高颎管不住嘴开始，他的下场已经注定。
宇文弼也不知是不是知道杨广对其虎视眈眈，却与高颎私下里说道：“周天元帝的奢侈，以今天的情况与之比较，也不算太过分吧？”后来又说“修长城的工程，幸而不是急迫的任务。”
如此种种，早有人上报给了杨广。
七月二十五日，杨广下令，捉拿高颎和宇文弼，满朝皆惊。
二人一个太子太师，一个礼部尚书，虽说都没有多大的实权，但皆是前朝老臣，地位崇高，身份贵重，影响深远，因此被逮捕之后，朝臣纷纷上书求救。
光禄大夫贺若弼也上书进言，请求天子明察，没想到有人上告贺若弼也私下议论宴请启民可汗的规模太奢侈。杨广遂把贺若弼也抓了起来。
贺若弼之父贺若敦因口出怨言，为北周晋王宇文护所不容，逼令自杀，临死前，曾嘱咐贺若弼说“我想要平定江南，然而现在看来已经不能实现了，你应该继承我的遗志。还有我是因为嚼舌根而遭致杀身之祸的，你不能不好好想想啊。”并用锥子把贺若弼的舌头刺出血，告诫他要慎言。
之后贺若弼因伐陈之功，变得越发骄纵，自命不凡，在朝廷之上屡屡大放厥词，数次被贬官下狱。这一次，他终于又倒在了这张嘴上。可惜杨广不是杨坚，不会轻易放过贺若弼。
贺若弼是军中仅存的名将，威望显著，他的被捉，使得众人明白杨广处置高颎的决心，因此再无人敢进言。
七月二十八日，杨广以诽谤朝政的命令，下诏赐死高颎、宇文弼、贺若弼等人。