杨广一征高句丽失败，天下震动。接着山东、河北等地的老百姓也纷纷作乱，整个大隋陷入了混乱。
此时杨玄感觉得起事的时机已经到了。
杨广自己作死，这不正是意味着皇位要落到他们杨家。
杨玄感便决定趁机作乱。其三弟杨玄挺最是稳重，便劝兄长“父亲曾有言，黄明远不动，杨家亦不可动，今黄明远统兵幽州，俯瞰天下，未可轻动。”
然杨玄感却听不进去，他认为黄明远将要统领大军征讨高句丽，到时候是胜是败难料。若是不选择这个良机，等到黄明远平定高句丽，再想动手便难了。
其余几个弟弟，也纷纷赞同杨玄感。
对于杨家兄弟来说，杨广是杀父仇人，当初杨素为杨广登基立下了汗马功劳，可是杨广坐稳皇位之后，便翻脸不认人，杨素便是给杨广活活逼死的。现在有机会起事，既是为了杨家的未来，也是为了报父仇，如何能不愿动手。
杨玄挺无奈，最后只得与兄长商议，等到杨广到了辽东之后，再偷偷动手，抢在杨广反应过来之前，抵定形势。
果然到了第二次征讨高句丽，杨玄感自请督运粮草。他本身是兵部尚书，虽然督运粮草的事有些大材小用，但也算立功的机会。
而且为了让杨广信任，杨玄感还请自己的弟弟虎贲郎将杨玄纵、虎贲郎将杨万项二人跟随杨广一同前往辽东，使得杨广更是满意。
在杨广看来，杨玄感也算知趣，可以用之。
杨玄感作为督运粮草的总负责人，坐镇黎阳城（今河南省浚县）。杨玄感便和亲信虎贲郎将王仲伯、汲郡赞治（相当于郡丞，杨广改州为郡，并长史、司马为赞治，后改为郡丞）赵怀义等谋议，减缓运送粮草的进度，使得东征大军缺粮。
杨玄感多次以道路不通畅为名使运粮队伍在黎阳逗留，不按时发运粮草。
杨广在行营眼看粮草进度缓慢，便派遣使者来催促。杨玄感便推脱道：“水路有很多反贼，不可前后而发运。”
此时各地反叛沸沸扬扬，整个河北到处都是乱民，杨广对此也无奈，只得命人加紧催促杨玄感，令其不可误了大事。
此后杨玄感更进一步，只往辽东发一半的粮食，其余全部截留下来。
眼看杨广已经远去，杨玄感又偷偷传信自己的弟弟杨玄纵、杨万项二人，令他们偷偷潜回中原。
四月十五日一早，杨玄感突然囚禁跟他一起在黎阳的朝廷官员，并召集手上的运粮民夫和护卫，宣称“来护儿因为失军期而造反”，正回师准备攻打洛阳。众人半信半疑，杨玄感便亮出他用家奴伪装的使者，宣称正是从东莱郡归来的。
因为杨玄感的身份、地位，众人只得跟从。
至此，杨玄感开始了他的不甚好看的造反之路。