好事不出门，坏事传千里。
很快蜀王是真正凶手的说法便传了出去，而此时朝堂上的舆论也开始转折、发酵。众人都知道原来截杀黄明远的竟然是毫无存在感的蜀王。
有人若是反驳，支持者便会说道：“蜀王如不是阴谋作乱，又如何会在京囤积数百死士？”
不论真凶是不是蜀王？这蜀王府中的数百死士成了压倒杨秀命运的最后一根稻草。
隔了几日，杨素又上奏，说有人在华山底下挖出来木偶，上面写着杨坚和杨谅的名字，丝绳束手，铁钉穿心。
杨坚气得差一点昏厥，令人立即前往益州锁拿杨秀进京。
事情发展到这一步，其实再去查杨秀是不是幕后主使已经没有太大意义了。众多的事情积聚在一起，杨坚这次铁了心要废黜杨秀。
无论是蜀王宅里的死士，还是华山下的木偶，其实都是杨广布置的。为此杨广付出了数百私兵被杀的代价，当然这其中很多人不是真正的私兵，不过人都死了，再说这些也没用。
对待敌人，杨广真狠。
杨广又以杨广又以杨秀的口气作檄文，说：“逆臣贼子，专弄权柄，陛下空守朝堂，一无所知。”然后陈述兵甲如何强大，说是要“指期问罪”。最后杨广把这篇“檄文”偷放在杨秀的文集之中，交给了杨坚。
不得不说，对兄弟下手，杨广真是太擅长了。从杨勇到杨秀，他不可谓经验不丰富，招招都是死穴。
杨昭看到事情如此急转直下，心中无比担忧，去信黄明远说了一下京中的形势。黄明远回信杨昭，让他稍安勿躁，静待京中之事自己发展便是。杨昭也清楚这些事情真不是他能够左右的，只得无奈作罢。
不久之后，杨秀被锁拿回京。
杨秀可以说在几个兄弟中是个完完全全的悲剧人物。作为杨坚的亲生儿子，他从小就是一个舅舅不疼，姥姥不爱的人。杨坚经常对独孤皇后说，杨秀一定不会得善终。不管杨秀到底多不堪，但这么说自己的儿子，做父亲未免也太不厚道了。有这样一个爹，命运怎么可能会美好。
史书记载：杨秀胆气豪壮，容貌雄伟，美须髯，多武艺，朝廷百官对他非常敬畏。可杨秀被杨坚逼地废了，也就两件事。
杨秀通过元衡请求杨坚给他扩大部属，增加官佐这些权力，却被杨坚痛斥。按道理来说，杨秀镇蜀，安排点死党也算正常，杨坚根本犯不着如此生气。难道你杨坚真的如此公正为国？但同样的杨谅却有督五十州，遇事不必拘于律令限制，有自行行事的特权。
开皇初，党项羌屡次在边境袭扰，朝廷派大将军刘哙征讨，同时杨坚又派上开府杨武通统兵。杨秀作为益州总管，派遣心腹万智光担任杨武通的行军司马本就正常。杨坚倒好，痛骂了一顿，还当着群臣的面：“违犯朕所制定的法律的人，必然出现于朕的子孙当中。这就像猛兽一样，强有力的外敌都无法伤害，但它却会被毛间小虫叮咬、吸食。”