官杜若姑姑才知道这件事，想要将季衡拦在那里，但季衡只说了一句话就让杜若姑姑放了行。
季衡说，“皇上尚且不能留我，你又何必。”
杜若女官让了人去给皇帝汇报此事，但皇帝在接见大臣，等知道时，已经是午时，季衡已经走了。
好在付扬心思比较灵活，看季衡要走，也不阻拦，只是和他说了几句话，季衡希望自己出城并不引起人注意，随行之人自然不能太多，所以付扬只安排了最放心的四骑人马便衣一路随行护卫。
杜若女官担了照顾季衡的职责，看自己是留不下季衡的，所以也就带着人跟着收拾东西随行去照顾了。
季衡当天就在西山季府别院里安顿了下来。
仲秋时节，正是西山红叶满山之时，风景优美，季衡对许氏说，“即使为这一山美景，在此长居，也不会寂寞。”
许氏则是没有季衡那些风雅心思的，道，“夏日还好，冬日下大雪就不大方便了，肉类菜蔬不易送来。”