了第二天，范仲淹、孔道辅等人正要去见皇帝，刚走到待漏院(百官朝见的地方)，就见皇帝已下发了诏书，谕令范仲淹出任睦州官员，孔道辅聘任泰州官员。

终于，仁宗决定不顾朝臣反对，下诏说，郭皇后入宫多年，却没有生育，自愿进入道观忏悔，一举废了郭氏的皇后之位。

郭皇后就这样被废，尚氏、杨氏更为得宠，仁宗宠爱她们更是肆无忌惮，结果夜夜笙歌，致仁宗帝因纵欲过度卧病不起，连日来不能进食。

朝中大臣见皇上多日不能上朝，纷纷归罪指责于尚氏、杨氏二人，连杨太后也出面干预，宋仁宗迫于众臣的压力，不得不命人将尚氏、杨氏逐出宫外。第二天，废尚、杨二人为女道士。

经过此事，仁宗忽然又想念起郭废后来，并隔三差五地派人前去关心慰问。有一天，仁宗在后宫走着，看到郭皇后以前乘坐的肩舆，想起了自己和郭皇后少年相识时，两人在一起的花前月下和美好回忆，心中不忍，于是写了一首词让人带给废黜的郭皇后。