后来，李密杀死翟让，将他的部下瓜分，诸将各怀鬼胎，自此瓦岗军走上下坡路。李密与王世充展开决战，此战李密留王伯当镇守金墉，自率大军出征，结果瓦岗军惨败，单雄信等人纷纷率众投降王世充，秦琼、程咬金等人也为王世充所获，被迫归顺。李密率领残兵败将与王伯当会合，准备西入关中投靠李渊，当时王伯当家人都被王世充擒获，一旦他归降唐朝，家人很难保全，李密对王伯当说：“将军室家重大，岂复与孤俱行哉！”王世充答道：“昔萧何尽帅子弟以从汉王，伯当恨不兄弟俱从，岂以公今日失利遂轻去就乎！纵身分原野，亦所甘心！”
李密归唐后，被封为邢国公，王伯当也被封为左武卫大将军，这个官职已经是相当的高了，要知道秦琼在参加玄武门之变后，才被加封为左武卫大将军，此时的王伯当寸功未立，就被封为如此高位，如果王伯当以后跟李世民混下去，将来封国公，进凌烟阁应该不在话下。但王伯当偏偏是个重情义的汉子，他依然对李密忠心耿耿。
李密因不满唐朝对他的待遇，想以招抚旧部的名义东山再起，王伯当知道事不可行，曾极力劝阻李密，“伯当亦止密，以为未可，密不从”，王伯当并不傻，他知道此行必死，事实如王伯当所料，两人在途中遇到唐军的伏击，最后战死。王伯当死保李密，他是为李密而死的，但更是为心中的“义”而死，是忠义，更是情义。
李世民心慕当年的瓦岗五虎将——罗成、秦叔宝、单雄信、王伯当、程咬金，手中已有秦叔宝、罗成和程咬金，单雄信由于和李家有杀兄之仇，不共戴天，在李世民看来，劝降王伯当还有些希望。在断密涧围住李密和王伯当，为招降对手，李世民不惜下跪，以显示其爱才之心，而王伯当誓死追随李密，表一将不侍二主之心意，最后和李密一起被唐军射死于断密涧。对于王伯当的不降，人们众说纷芸，可谓是：仁者见仁，智者见智。