王安石变法自推行以来就受到了各方的阻力，1074年，天下大旱，颗粒无收，饥民遍野，流离失所，反对变法的大臣们纷纷上书弹劾新法，上书是免行钱造成的这种局面。神宗左右为难，信心动摇，欲打算废除不好的法令。但是王安石认为这属于天灾是难以避免的，天灾不可避，但是我们能后天处理和维护，派人治理方可解决。反对派们不仅上书反对甚至还绘制流民旱灾困苦图给神宗看，为新法的过失提供了强有力的证据，并且要求罢免王安石。

敌对关系正是紧张时刻，两位太后也出来干预朝政，认为王安石乱了整个天下。神宗心中动摇，于是罢免了王安石的宰相之位，让其当吏部尚书。被罢免后的王安石为了新法能继续推行，就推荐了新法的拥护者吕慧卿和韩绛在朝中任要职，没想到吕慧卿掌权后，对王安石下手，在韩绛的帮助下，王安石再次回朝。

王安石第二次罢相：1075年，王安石再次当上宰相，但是王安石的变法依然受到多方阻碍，内部矛盾加外部因素，变法失败不能在推行。一年后，王安石就以生病为由，辞去宰相之位。先后任职左仆射，同平章事等职位。