：“你们与父皇共度佳节，唯独我不在其中，看来父皇是彻底把我给抛弃了。”
此言一出，几个弟弟顿时就发觉他们今晚不该过来更不该对大哥说那一番话，他们也不知道该如何安慰和劝解自己的大哥，最后只得各自回家。等到他们走后，元佐是越想越觉得悲愤以至于让他觉得自己继续活在这世间已经没有任何的意义。
到了半夜，元佐终于是再次神志大乱，他将自己的妻妾关在屋子里，然后一把火把自己的府邸给点着了，这场大火一直烧到黎明时分也没熄灭。得知消息，赵光义大怒之余认定这场火就是自己的这个疯儿子所为，他下令将元佐押至中书省并由御史负责审问，而且还将一大堆刑具也摆在了元佐的面前。神圣庄严的中书省竟然变成了审问犯人的刑堂，如此可见赵光义此时确实出离愤怒了。
，！
一番讯问之后，元佐承认是自己放的火。当审理的结果摆在赵光义的面前时，他对自己的这个曾经被他寄予厚望的儿子彻底失望了，他甚至都不想再跟赵元佐见面。他派遣大太监、入内都知王仁睿向赵元佐传达了他的口谕：“汝为亲王，富贵极矣，何凶悖如此？国家典宪，朕不敢私，父子之情，于此绝矣！”
面对赵光义当场与自己断绝父子关系，赵元佐的反应不是呜咽痛哭，而是沉默不语。作为父亲，赵光义在说出这番话时定然是悲愤难当，可元佐难道就不悲痛吗？如此重情之人对待自己的叔父和堂兄尚且那般，而眼下自己的父亲要跟自己断绝父子关系，他又岂能无动于衷？大悲无言，这或许才是赵元佐此时的真实心境。或许这也是他想要的结果，从此在形式和名分上他就不再是赵光义的儿子了，恐怕也只有如此他才能对赵廷美之死少一些罪责感和愧疚感。
眼见赵元佐大难临头，他的弟弟们连同宰相和赵光义身边的近臣都跑到赵光义面前极力为他求情，希望赵光义能够对赵元佐宽大处理。面对座下哭成一片的儿子和大臣，赵光义仍然不打算收回成命，他也流泪以道：“朕之前翻阅史书每当看到帝王家里的那些不成器的子孙都会扼腕叹息，可没想到这种事竟然也会发生在朕的身上。为了皇家颜面和国家体统，此等逆子朕断不能恕！”
于是，赵光义下令将赵元佐废为庶人并发配到均州（今湖北省丹江口