却说昌邑王刘贺做了皇帝，可他却没有一点做皇帝的样子。他不仅不同霍光和大臣们商议国家大事，反而将昌邑的那些打鼓的、斗狗的、耍把戏的人员都弄到皇宫里来，叫他们陪着自己玩儿，并随意给他们赏钱。居丧期间，宫里不允许吃肉，他却偷偷地派人到宫外去买鸡、猪，然后宰了大吃大喝。他闲着没事儿，就跑到汉昭帝的后宫去奸污宫女。
刘贺梦见在皇宫西门的台阶东侧，有一大堆绿头苍蝇的粪便，约有五六石之多，上面盖着大片的屋瓦。刘贺向龚遂询问，龚遂说：“陛下身侧的奸佞之人很多，就像您在梦中见到的苍蝇粪便一样。希望陛下将昌邑旧人中的奸佞之徒全部逐出朝廷。我龚遂以身作则，第一个走。”刘贺不加理会，根本听不进龚遂的话。
汉书记载：刘贺受玺以来27天内干了1127件荒唐事，平均一天40件。这个数字确实惊人!试问一个孩子能有多荒唐，有没有故意夸大之嫌？要知道汉代有严厉的规定，皇帝是不准干预《起居注》记载的。但霍光不是皇帝，作为政治高手，他是不是干预了记载皇帝起居的官员呢？
事实上这是霍光等大臣的托词。真实的原因恐怕是刘贺即位之后，急于提拔自己从昌邑带来的僚属，想用这些旧臣来亲政。这点就得罪了大将军霍光，霍光能够把持朝政那是辛苦经营而来，刘贺怎么可能会那么容易拿走呢，于是双方就产生了冲突。可论权谋手段，刘贺岂是霍光的对手。霍光悄悄地叫人把他的心腹大司农田延年找来，并将他延入密室，屏退从人问以方法。
田延年道：“将军为国柱石，既知此人不可为君，何不奏闻太后，另选贤人立之。”霍光道：“吾意也是如此，但以臣废君，不知古代曾有此事否？”延年道：“昔日伊尹为商朝宰相，废太甲以安宗庙，后世皆称其忠。将军若能行此，也是汉之伊尹也。”
原来霍光未曾读书，不知伊尹之事，所以史官说其不学无术。如今既闻田延年之言，便引入为给事中。一面又与车骑将军张安世秘密计议此事，除他三人之外别人一无所知，刘贺更是终日昏昏毫无知觉。
时当六月，正是大热时候，偏偏连日阴沉不雨。一日刘贺正要出游，光禄大夫夏侯胜进谏道：“上天久阴不雨，臣下必有异谋，陛下将欲何往呢？”刘贺闻言大怒，斥为妖言惑众，立命左右将胜缚住发交有司究办。有司转告霍光，霍光暗思夏侯胜语似有因，于是提胜到来亲加研讯，夏侯胜从容答道：“《洪范传》有言，人君无道上天降罚。皇极不守现象常阴，白昼常阴，下人且谋代上位。臣不便明言，但云臣下有谋。”霍光闻言大惊，也不由刘贺主意，即将夏侯胜释放复任原官。
霍光想废立之事不宜再延。便一面与张安世着手预备，一面遣田延年密报丞相杨敞。杨敞本霍光故吏，霍光料他必然同意。因为他现为丞相，位居百僚之首，所以预先告明，免得会议之时惊慌失措。田延年奉命到杨敞家中备细说知。杨敞一听吓得汗流满背，不知如何答话。田延年起身出外更衣，杨敞独自坐在室中，杨敞之妻为司马迁女，这时急从东厢趋出对杨敞说道：“大将军已有成议，特使九卿来报君侯，君侯若不亟允，祸在目前了！”杨敞迟疑未决，可巧田延年更衣归座，杨敞妻不及回避，索性坦然相见，与田延年当面认定，愿奉大将军教令。田延年还报霍光，霍光又念起苏武现在免官家居，遂邀其共同谋议，一则自己可以取信于国人，二则苏武也可以借此恢复官位。