黄明远多次进宫的收获就是家里又多了好几个杨广赐给他的女人。黄明远不得不怀疑杨广是为了减少宫里开支，变向辞人。
跟杨广一起待了两次，杨广就不愿和黄明远一起玩了，无趣。看着黄明远看个宫廷美女的歌舞都能睡着的样子，杨广是又气又笑。在他看来，黄明远就是个享不得福的人。
黄明远倒是对于自己的出丑不以为意，歌舞倒是精彩，但在皇宫这个大笼子里，是人怎么能舒服的了。
再往后，再有这种事杨广也就不叫黄明远了。
黄明远也是直言，自己喜欢“诵明月之诗，歌窈窕之章”、“纵一苇之所如，凌万顷之茫然。浩浩乎如冯虚御风，而不知其所止；飘飘乎如遗世独立，羽化而登仙”的感觉，一个人悠然自得，达到忘我的境界，比什么灯红酒绿、纸醉金迷都舒服。
杨广看得出，自己这个臣子真的是一个奇人，一个向往自然生活的人又怎么可能贪恋权利呢？
黄明远独特的性格倒是让他在杨广的心中又重了几分，信任也多了几分。
黄明远抽空也会教授儿子和几个养子以及外甥张文玙（张方翼长子）等人功课。虽然刘仁轨、程名振、李商胡几人都是青史留名之辈，那只能说明他们有天赋和运气，但若是从小不悉心培养，再有天赋也无用。
黄明远本就文武双全，又通晓时事，见识广博，不是那般腐儒，一味读死书，因此几个孩子在黄明远的教导下，成长很快。
后来长孙无忌也是不时地来府上拜访，便加入了他们的团体，跟着黄明远求学。黄家的大门拒的都是不想见的官吏，至于长孙无忌这些小孩子有谁会注意呢？
长孙无忌的舅父高士廉因与斛斯政有交往，受到牵连，本来要流放岭南，但因为黄明远说情，并未被深究，只是被贬为长沙郡郡丞。但即使如此，舅舅的离京也使得长孙无忌母子失了母族的依靠。他年纪不大，但因为从小丧父，性格老成，担心黄明远看不起长孙家的没落会悔婚，因此一有时间便往黄明远府上跑，希望能够得到黄明远青睐，好重振门楣。
十五六岁的孩子，正是可塑性最好的年龄，黄明远并不在乎长孙无忌的功利，只要他不做有违德行的事情。自己当年也是从怀着一份幼稚的功利心讨好杨广才出头的，这个年龄段的年轻人能够勇敢地承担起自己的责任远比莽撞与退缩要好的多。
长孙家毕竟是长子的岳家，黄明远也想扶持对方一番，免得因为地位沦落而使长子难看。
黄明远也不担心长孙家日后的尾大不掉，长孙家在唐朝的迅速膨胀除了有长孙皇后和长孙无忌二人外，是基于其出身关陇世家，是关陇世家新的代表。而没了关陇世家在后的推手，长孙家即使成了外戚也只是一个普通世家。
本着“一个也是养，两个也是放”的原则，其他一些姻亲子弟和黄明远看得上的晚辈，有时候也会来府上受教，毕竟人才难得。
而这其中最特殊的人便是黄明远唯一一个弟子李世民了。