到与张衡相见时，杨玄感又没说什么。张衡又先对杨玄感说：“薛道衡真是被冤死的。”杨玄感把这些事都报告给了杨广。
扬州不少官员也上奏张衡频频减少劳役的饭食。
杨广于是发怒，把张衡关起来，送到江都，将要杀他，过了很久才放他，除名为民，放他回老家乡里，只是常令亲信窥探张衡在做些什么。
大业八年，杨广从辽东回到洛阳，张衡的小妾说他心怀怨恨，诽谤朝政，杨广也不知是不是真的恨张衡欲死，竟然赐他在家里自尽。
张衡临死时大声说道：“我为世人作了什么好事，还想久活！”监督行刑的塞耳不敢听，下令杀了他。
······
黄明远絮絮叨叨跟陈远讲他跟张衡的事情，实际上这些年张衡的情况黄明远都知道，只是不想引得天子忌惮，所以对于张衡的贬黜才不发一言。
终究是张衡和杨广不和，在黄明远看来，张衡太耿直了，老死地方，或许也是一种好的交代。
可谁能料到，张衡最终死在了杨广的手上。
若是可能，黄明远真的想在杨广一次次贬黜张衡的时候替恩师求一下情，也使得杨广在痛下杀手的时候能够心生忌惮。