来护儿匆匆西来，装备也不齐全。
韩世谔据城而受，而来护儿则率军攻城，双方在荥阳城展开了一场攻守大战
韩世谔占了地理优势，来护儿占了兵多优势，因此一时之间，谁也无法击败对方。双方在荥阳城相持了近十多日，各有胜负，但来护儿并没有攻下荥阳城。
这时，从洛阳传来的消息打破了双方僵持的局势。
杨玄感兵败西逃。
很快这个消息便秘密流传于荥阳城中，城中各大世家知道，到了该抛弃韩世谔的时候。
这时，以郑家为首的世家大族，秘密集会，聚集私兵，联络城外的来护儿，再次打开了荥阳城的城门，引来护儿入城。
还在苦思对策的韩世谔听到郑家人叛，而来护儿已经入城的消息，心中大惊。不过韩世谔也不傻，他很清楚郑家等人是荥阳的地头蛇，人心皆在郑家，不是他可以比的。此时荥阳城已破，而来护儿兵力远胜于他，再在荥阳与来护儿争夺，胜算不大，因此韩世谔急忙下令全军突围。
此时韩世谔赶到兵营，便调集旧部向西而去，之前新募的军队也被他抛弃了。在韩世谔看来，这些新募之兵，不知道有多少是郑家的人，根本靠不住。因此韩世谔突围，只带自己带到荥阳的三千人马。
不过韩世谔还是高看了自己部队的凝聚力。
其部逃出荥阳之后，各部闻得杨玄感兵败的消息，纷纷溃逃。这些部队也皆是新募之兵，且大多都是农夫，本就对杨玄感没有什么忠诚之心。此时闻听杨玄感兵败，还不四处逃命，唯恐无法与叛军脱了联系。
韩世谔还没到虎牢关，兵马已经逃散了一多半。
韩世谔一路紧赶慢赶地到达虎牢关，原以为能松口气，没想到洛阳之兵竟然已经分兵攻打虎牢关。
关中主将是顾觉，顾觉虽然是杨玄感的心腹，但明显不是一个良将。
裴仁基和来整奉黄明远之命，从金墉城西来，占据偃师之后，兵临虎牢关下。虎牢关虽为天下之险关，但实际上却是防东不防西。
因为虎牢关实际上属于洛阳外围防线之一，朝廷也自是防备有人据关叛乱的危险。隋军很轻松的便攻破了虎牢关西面的城墙、兵营，与顾觉在虎牢关相持。
韩世谔的到来，虽然给顾觉补充了一部分兵力，但并没有太大意义。
韩世谔也尽力帮着顾觉守城，但关中兵马，早就士气丧尽，全无战心，任凭韩世谔和顾觉如何鼓舞，全无作用。甚至不少人到了夜间，便从城墙上缒下，投奔隋军。
等到来护儿主力从东面赶来，双方夹击，虎牢关还是落入隋军的手中，而韩世谔本人也被俘虏。
至此，洛阳与山东郡县的联系被完全打通。