官桀走长公主的门路把女儿送入宫，次年立为皇后。后宫的事情长公主说了算，霍光也没办法。
皇后的父亲上官安被封为车骑将军，位居左将军之上，仅次于大将军。汉昭帝又封他为侯。
成了外戚，上官桀越来越不满霍光专权。他想取霍光而代之。他自己不便出面，去找燕王刘旦。
刘旦当年想当太子结果弄巧成拙，一直为此耿耿于怀。汉武帝死后，他一面到处散布谣言，说汉昭帝不是汉武帝的亲儿子，一面暗中串联同伙准备政变夺位。但是霍光得到举报迅速出手把政变扼杀在摇篮里，杀了他的同伙。看在他是汉武帝亲儿子的份上放他一马，仍让他做燕王。但是刘旦不但不感激霍光还心怀怨恨。
上官桀把长公主、桑弘羊也拉入伙。这两人都曾向霍光为自己的亲朋好友求官，但霍光一点面子也不给。他俩对霍光非常不满。
皇帝的姐姐、哥哥加两个顾命大臣，这样的豪华阵容扳倒霍光应该不在话下。但他们忽略了小皇帝的智慧。汉昭帝那时已经14岁，有了一定的判断能力。
上官桀罗织了很多霍光的罪名去告霍光的黑状。他趁霍光休假回家的机会，让人冒充刘旦的使者去向皇帝上书，声称霍光出城操演军队享受皇帝规