杨广笑道：“这才对嘛，年轻人还是要有朝气，否则如何能挑起更重的担子来。尚书省之中，越国公久不视事，苏威一个人担着，也是难以周全。朕准备让你管越国公这一摊事务，分管吏部、礼部、民部，你可不要让朕失望。”
大隋八名宰相之中，杨素虽是宰相之首，但有名无实，实权都在苏威手中。七名宰辅之中，苏威总揽政务，负责尚书省；杨达负责门下省；杨约负责内史省；牛弘专掌人事权；张衡、裴矩二人负责制诏；唯有黄明远在宰辅之中属于打酱油的，没有什么具体负责的事情。
尚书省实际上除了虚名的尚书令，权利一分为二，左、右仆射各掌一部分，相互制衡。但身为尚书左仆射杨素不管政务，权利全部为苏威掌握。此时尚书省还不是唐朝时期的执行机构，尚书仆射作为真正的宰相，地位极高，也是一朝的核心。杨广素来不信任苏威，自是不愿意让苏威一人独霸尚书省。
尚书仆射管理掌统理六官，为令之贰，令阙则总省事，劾御史纠不当者。六部九寺之中，左仆射分管吏部、民部、礼部、太常、宗正、鸿胪、太府、司农，右仆射分管兵部、刑部、工部、大理、太仆、光禄、卫尉、将作、都水，互为照应又互相监视。
黄明远想了想，自己负责杨素的那一摊实在不合适。左仆射主要负责人事、钱粮、礼仪，权利太重，影响也大。而且自己若是上到苏威那个小心眼的前面，岂不是让他忌恨。
因此黄明远说道：“圣人隆恩，明远本该依从，只是尚书省尚有苏相，明远一个毛头小子，若是掌管左仆射之事，乃越过苏相，实为不妥。况且明远也不善钱粮、礼仪之事，贸然上手，反而影响朝政运转，还请圣人明鉴。”
杨广笑道：“你啊你啊，什么时候都是这般周全。既然如此，便让苏威分管左仆射之事，你分管右仆射之事。苏威这个人，滑头的很，你跟着苏威，可学其才，切不可学其油滑之道。”
黄明远只得点头应和。
教训了黄明远一顿，杨广才觉得舒畅了。就如很多父亲看到嘚瑟的儿子一样，总是能找到儿子的缺点然后狠狠地批一顿，才能感到酣畅淋漓。
两个儿子之中，杨昭那里，太过一本正经，杨广是没办法给他发脾气；至于杨暕，那就是个顽石，杨广根本没法感受到父亲的权威。所以杨广有事没事只好在黄明远这里找补一下心理落差了。
杨广不好女色，身边几乎没有什么妃嫔，也只有萧氏所出的三子一女，而且三儿子早死，只剩下杨昭、杨暕二人，寻常时候，杨广倒是真把黄明远当成儿子。
包括给黄明远定亲，给黄明远的儿子取名字等事，都是在行使一个父亲的权利。尤其是黄明远与南阳公主的事情，杨广现在也颇有些后悔，只是不能提，只得在别的方面给黄明远以补偿。
杨广信佛也信道，也曾经使人给黄明远算命，但皆是黄明远一生无帝命，无反骨等一类的说法，因此杨广更不怀疑黄明远。
至于黄明远，倒也真的尊敬杨广，杨广在其生命之中扮演了一个父亲的角色，对黄明远影响非常重。只是黄明远本人又是个矛盾的综合体，既不愿跟着杨广陪葬，但也感念杨广的恩情。
双方就这么一直以这样一种真诚而又虚伪的关系相处，直到多年以后。