当官之前都吹嘘自己有管仲乐毅之才，但真的身居其位之后却什么行动也没有，整天就知道按时打卡上下班每月准时拿俸禄，你们甚至连个合理化建议都不提。朕身为皇帝倒是每天起早贪黑忙得四脚朝天，连一点闲暇时间都没有。两位爱卿，朕现在就想问你们一句，我们到底谁是皇帝谁是臣子啊？”
一听这话，李昉和张齐贤立马跪地磕头认错，但嘴上说自己有错心里却未必知道自己哪里错了。这其实也怪不得他俩，李昉本身就是一个大学者，你要他做学问倒是一把好手，而张齐贤就是一个权谋家，攻战伐谋是他的长处，你要让他当一个国家的大管家着实是在为难他。但是，这两人还不是你赵光义自己选的，你又能怪谁？
看着李、张二人在他的训斥下一副惶惶不安之状，赵光义叹息了一声，或许他也觉得这话说得太直接了，于是他又打了一个圆场：“朕这个人说话就是直，心里有什么想说的朕就会说，我们君臣之间本就该如此坦诚相待。”
话虽如此，但君臣之间的嫌隙由此也就公开化了。依照赵光义的行事风格，李、张二人在宰相之位上显然是待不了多久了，他所需要的仅仅只是一个能够罢免他们的正当理由，而最先倒霉的就是这个张齐贤。
话说此时有一个叫王延德的京官想离开京城去外地为官，至于原因，因为像他这种级别的京官想要获得升迁就必须得有一份在外为官且政绩卓着的履历才行。于是，他找到了自己的同僚朱贻业请他帮忙从中运作一下。王延德为什么要找这个朱贻业？因为朱贻业是现任参知政事李沆的亲家。“老奸巨猾”的李沆可能是觉得这事有风险，于是他就来找到了身为宰相的张齐贤，他请张齐贤去赵光义面前为这个王延德讨个外官。
这事其实细看下来也根本算不得什么大事，更是谈不上什么原则性错误，张齐贤也只需以为国举贤为名就能让王延德得偿所愿，可赵光义却为此而勃然大怒。他发怒的理由很奇怪，因为这个王延德早年曾是他当晋王时的府吏，所以他觉得王延德应该自己来跟他说这个事而不该私下里去求张齐贤。
这件事最后的结果是朱贻业和王延德被一顿明文申饬，张齐贤则被罢了宰相之职。至于参知政事李沆，他啥事没有，他的鞋子上甚至连一滴水也没有沾，因为厚道的张齐贤从