因变法招致天灾人祸，熙宁七年被免去宰相之职。次年再任宰相；熙宁九年再被免职，中共教课书上所称赞的「王安石变法」实际是历史上的一次教训。
王安石变法，遭到了北宋元老重臣的反对。他们同王安石的政治见解不同，偏重于保持原来的法令制度。他们不同意王安石那样全面而大刀阔斧地改变原有制度。为此，他们不断地向神宗进言。有人说：“祖宗法制俱在。不须更张。” 有人说，天灾人祸，必须“安静”。
仿佛是要印证元老重臣的意见似的，从王安石变法的那一年开始，天灾就接踵而至。
熙宁二年(1069年)，河南地陷；
熙宁三年(1070年)，江西铅山大旱，大饥；
熙宁四年(1071年)，山东“大风异常，百姓恐慌”；
熙宁五年(1072年)，“华州少华山前阜头 峰越八盘岭及谷，摧陷于石子坡。东西五里，南北十里，溃散喷裂，涌起堆阜，各高数尺，长若堤岸。至陷居民六社，凡数百户，林木、庐舍亦无存者”。(《宋史。五行志》)
熙宁六年(1073年)，浙江“春大早，井皆竭”。(光绪《杭州府
志》)
熙宁七年〔1074年〕，“自春及夏，河北、河东、陕西、京东西、淮南诸路久旱；九月，诸路复旱。时新复兆河亦旱，羌户多殍死”。(《宋史五行志》)
这期间，浙江、河北、山东、河南、安徽等地还相继发生了蝗灾。
频繁的天灾，逃亡的农民，为反对变法者提供了最佳契机。皇宫门吏郑侠，向神宗上《流民图》，画的是带着脚镣的难民在砍树挣钱，用以偿还宫府的青苗贷款。
据说，“神宗反复观图，长吁数四，袖以入，是夕，夜不能寐”。
为了遵天命，顺天意，神宗终于解除了王安石的宰相职务。变法失败了。时为熙宁七年(1074年)四月。