严嵩的儿子严世蕃被任命为工部左侍郎。严世蕃为人阴险凶残，凭借父亲的宠爱，诈取权势和财物不知满足。严嵩年老后，朝廷大事一概委托给严世蕃，士大夫愤恨而不敢言，不法之徒奔走在他的门下，装在竹器中的贿赂财物在道路上都互相望见。严世蕃在京城营造府宅，每天聚集宾客纵情作乐。

首辅夏言权力比严嵩大，经常排挤严嵩的党羽。严嵩见夏言对自己不利，又听说明世宗的宠臣陆炳不喜欢夏言，就和陆炳结交，共同对付夏言。等到夏言失去明世宗的信任后，他以河套地区被蒙古占领为理由弹劾，最后害死了夏言。

明世宗喜欢掩盖自己的过失，是个很爱面子的人。严嵩就抓住这点想方设法激怒他，以铲除异己。很多大臣都上书弹劾严嵩，但由于他老奸巨猾，加上明世宗昏庸无能，那些大臣都被严嵩残害。

另一个阁臣徐阶获得明世宗的恩宠。徐阶为了争权，指使党羽弹劾严嵩，但没有成功。严嵩虽然很能揣摩明世宗的心思，但也力不从心。后来万寿宫失火，严嵩奏请明世宗搬到南城暂居。南城是当年明英宗被软禁期间住的地方，明世宗听了严嵩的建议后心里很不舒服。而徐阶负责重新修建的万寿宫让明世宗非常满意，从此徐阶取代了严嵩在明世宗心目中的地位。

明世宗听从方士蓝道行的劝告，有意除去严嵩。御史邹应龙上书直言，透彻地评论严嵩父子违法，说：“臣子的话不合事实，乞求斩臣子的头来向严嵩、严世蕃请罪。”皇帝下圣旨审问严嵩，而把严世蕃交给法官处理。严世蕃获罪后，和倭寇勾结图谋不轨，事发后被论罪处死，严嵩全家被罢官为民。