一天，刘贺在睡觉的时候，梦到在皇宫西门的台阶上，有一堆重五六石的绿头苍蝇的粪便，上面还盖着许多大片的屋瓦。在梦醒后，他赶紧问龚遂这是何征兆，龚遂说道：“陛下，在《诗经》中有句诗是这样说的‘绿蝇往来落篱笆，谦谦君子不信谗’。此梦境意指陛下身边多为奸佞之人，他们就像陛下梦中所见到的绿头苍蝇的粪便一样。因此，陛下应当信任先帝留下的众位贤臣，不能信任并重用那些从昌邑带来的谗佞阿谀之人。否则，必会为您招致不祥之祸。希望陛下能反祸为福，将从昌邑带来的那批奸佞之徒全都逐出朝廷。”刘贺听后则不以为意，仍旧我行我素。
刘贺的这些荒唐行径终于引起了霍光的不满，并让霍光产生了“更选贤而立之”的想法。随后，霍光便联合群臣，在得到皇太后的准许后，乘着刘贺在宫中玩乐的时候，一举控制住了他从昌邑带来的那批亲信。然后，又在未央宫召开“公审大会”，将其劣迹一一列举了出来，之后把他给废掉了，转而改立汉武帝的曾孙刘病已为帝。至于刘贺从昌邑带到长安的200余亲信，除了王吉、龚遂等少数人外，皆被处死。