朝臣们担心刘贺要危害国家，使天下不安。霍光同群臣一起谒见禀告上官太后，详细陈述昌邑王不能继承皇位的情况。皇太后于是乘车来到未央宫承明殿，诏令各个宫禁门卫不要放刘贺的群臣进宫。
刘贺进宫朝见太后返回，准备坐辇车回到温室殿，宫中的黄门宦官各自手持门扇，等昌邑王进去后，就把宫门关上，刘贺的群臣就进不来了。刘贺问道：“这是干什么？”
大将军霍光跪下说：“皇太后有诏令，不让殿下的群臣进来。”
刘贺说道：“慢点来，为什么要弄得这么吓人！”
霍光派人将昌邑王的群臣全部驱逐出宫，集中在金马门外。车骑将军张安世率领羽林骑士拘捕捆绑了二百多人，都交给廷尉关在诏狱内。并命令原昭帝的侍中、中常侍看守昌邑王。霍光告诫他们道：“尔等要小心值班守卫，昌邑王如果突然死了或自杀，就会让我对不起天下人，背上杀害君王的罪名。”
刘贺这时还不知道自己要被罢黜，对身边的人说：“朕原来的群臣随员有什么罪，而大将军全把他们关押起来了？”
不久，太后下诏召见刘贺。刘贺听到要召见自己，心中开始害怕起来，于是说道：“朕犯了什么罪要召见朕？”