而就在当年八月，苏辙被贬黜，到了筠州之后，苏辙对于官场名利、人生苦乐又有了新的深刻认识。此后，苏辙去黄州看望苏轼，写下了“天下之乐无穷，而以适意为悦”的句子，对于名利看得更淡了。随后到了太皇太后高氏听政期间，又将苏辙召回，并且加以重用。可是这位女性不久就去世了，随后到了哲宗管理朝政，朝廷的结构发生了重大的变化。哲宗准备全面恢复新法，他将太皇太后高氏听政期间重用的大臣都划分为“元祐党人”，苏辙也因此再次被贬。
苏辙在罢官之后，终日闭门写自己的思想学说。他虽然不会再去见官员，但是他自己的思想，仍然是不变的。对于因为自己的直言不讳而导致自己的仕途一直都很不顺利这件事上，苏辙在晚年的记录当中表示，自己对于曾经的做法并不后悔。老而无悔的苏辙，一辈子都坚守着自己的政治立场，这在以黑暗著称的官场而言是十分难得的！
