当然柳述不过是投机取巧，真正撼动杨素地位的是大理卿梁毗的弹劾，梁毗直接弹劾杨素作威作福，图谋不轨。
梁毗，字景和，安定乌氏人，曾当过十一年的西宁州刺史。
梁毗见杨素专权，直接上奏弹劾：“左仆射越国公素，幸遇愈重，权势日隆，绅之徒，属其视听······天下无事，容息异图；四海有虞，必为祸始······王莽资之于积年，桓玄基之于易世。”
梁毗虽然不是明朝的言官，但这给人定罪的水平已经不下于明朝的言官。
他直接弹劾杨素作威作福，祸害天下，就要成为下一个王莽、桓玄了，若是皇帝不处置他，你的位置就要完了。
当然杨素具体干了什么坏事，不知道；或者说这种弹劾，换个名字，一样能用，倒是一篇规范化、普遍化的格式文。
奏表送上去，杨坚看后勃然大怒，把梁毗投入监狱，亲自审问他，当然也有可能是为了保护他。
杨坚跟梁毗辩论了半天，梁毗极言“素擅宠弄权，将领之处，杀戮无道。又慜太子、蜀王罪废之日，百僚无不震竦，唯素扬眉奋肘，喜见容色，利国家有事以为身幸。”意思就是杨勇、杨秀被废的时候，只有杨素一个人很高兴，所以他是一个坏人。
最后杨坚果然说不过梁毗，然后就这么把他放了。
律法定罪的标准什么时候改成辩论了？
事实上到这里，不管梁毗到底出于什么目的的弹劾，其实都像是和杨坚演了一出绝妙的双簧。
梁毗没有错，身为臣子，直言不畏，忠臣也。
杨坚也没有错，身为君主，亲自与朝臣辩论，既表明自己没有对杨素过河拆桥，也表明自己纳谏之心。
相比之下，唯一一个有错的，只是杨素的。在众人眼中，是杨素不知检点，才引得朝臣攻讦，是杨坚保护了他。
不过此事并没有完，很快也有不少人跟风上书，弹劾杨素，当然这些弹劾都被压下，但弹劾之人也没有受到实质性的处置。但三人成虎，杨坚开始逐渐疏远和猜忌杨素，或者说很多人知道天子似乎有些不是那么完全信任杨素了。
不久杨坚下敕曰：“仆射国之宰辅，不可躬亲细务，但三五日一向省，评论大事。”
意思杨素是国家的宰辅，不用事必躬亲，隔上几天去尚书省评论审视一下大事即可。
此敕表面上表示优待推崇杨素，实际上是夺下杨素的权力。很快，尚书省内便没有什么大事送到杨素的面前。
接着杨坚外任太子左庶子杨约为伊州（今河南临汝县）刺史；宗正卿兼给事黄门侍郎判礼部尚书事杨纪迁荆州总管。
杨素是个智者，很多东西看的也很清楚。既然天子要剥夺他的权力，他是熬不过的。杨家的人，都是刻薄寡恩之人，他不是不争，而是在为以后而准备。