田延年对霍光说道：“大将军乃国之中流砥柱，既然已知昌邑王不适合做君主，不如禀报太后把他废掉，另选一个贤明之人当君主好了。你应该向商朝的伊尹学习。做一个安定汉室社稷的重臣。”

此事，还有一段渊源：霍光要废肆意妄为、不能担当国家社稷的刘贺，又怕日后担“忤逆”的骂名，便想援引古例，看看历史上有没有这样的典故，于是向田延年问了一句“于古尝有此否”。没想到即此一问，也就开口见喉咙，叫人看出“光不涉学”了，“不学无术”一说就是这样来的。此后，历代政治家都试图避免让别人看到自己的深浅，而且高官和学者一般都能画上等号，当然，除了那些开国元勋外。

霍光见此，其实心中已经有了定议，只是担心仅仅凭借他二人之势，不免会落人口实，霍光对于政治从来都是谨小慎微，他怕田延年的意见不合礼法，最终还是选择和其他两个重要大臣商量。

其实，在大家的心目中，对于刘贺的胡作非为，都已经产生了不满，于是，众大臣一致决定要废掉这个无道昏君。霍光和群臣一起去见太后，陈述废掉昌邑王刘贺的理由，太后也同意了众臣的意见。于是只当了二十七天皇帝的昌邑王就被废黜了。