刘贺面有惧色地马上问道：“这是干什么?”霍光在旁跪道：“皇太后有诏，不许原昌邑国的群臣入宫。”刘贺说：“慢慢吩咐就是了，何必如此吓人!”霍光命人将昌邑国的群臣全部驱赶到金马门之外，被张世安率领的羽林军全部逮捕，关进监狱。同时，霍光又命曾在汉昭帝时担任过侍中的太监专门守护刘贺，命令道：“一定要严加守护，谨防刘贺被害或自杀，让我在天下人面前担上杀主的恶名。”

　　此时，刘贺还不知内因，便问身边的人说：“我以前的群臣和从属们犯了什么罪?大将军为什么要将他们全部关押起来呢?”等到皇太后下诏召见刘贺时，刘贺才真正感到害怕地说：“我犯有什么错?太后为什么要召见我?”就这样，刘贺在霍光与文武群臣的联名参劾下，皇太后下诏将刘贺废黜。

　　刘贺仍不死心，说：“我听说‘天子只要有七位耿直敢言的大臣在身边，即使荒淫无道，也不会失去天下。’”霍光说：“你已被废黜，岂能再称天子。”随即抓住刘贺的手，将他身上佩带玉玺的绶带解下送与皇太后，然后扶刘贺下殿，直送到长安所设置的昌邑王官邸。