事，他的反应是随即下令所部赶紧后撤，可就是在陈钦祚后撤的时候黎桓追上了他并在他的屁股后面狠狠地踹上了一脚。陈钦祚的军队其实不能叫后撤，而是叫逃跑，逃命的军队哪里还有什么战斗力可言？这一战宋军同样是死伤惨重，越南的史书是这样记载宋军当时的惨状：钦祚军大败，死者大半，尸填原野。
陆路的宋军就此遭遇大败，走水路的孙全兴与刘澄也因此不敢再与黎桓交战，他们就此从原路回撤到了宋朝境内。此时对于还留在交州境内的宋军残兵而言，除了战事的不利导致军心震恐之外还有一个事比这更为的闹心——那就是气候和水土不服。久居内地的宋军这时有很多人都因气候原因和水土不服而患上了疾病，军中因疫病而死亡的人数占到了全军的三成，如此局面造成宋军的战斗力严重锐减。这时候如果黎桓再派兵杀来，那宋军的下场很有可能就是个全军覆没。
值此全军危亡之际，随军的广南转运使许仲宣一面上奏朝廷请求罢兵，一面命令全军撤回广西境内。许仲宣在未得到朝廷回复的情况下就让全军撤军，有人提醒他这样做可能要被杀头，许仲宣回道：“如果等到朝廷的批复下来，只怕到时候我们已经尸横遍野了，杀我一人而让千万人得活，我死亦无恨。”
与此同时，许仲宣紧接着也上疏自行弹劾自己未经批准就下令撤军回国之罪。
得知宋军在交州大败，赵光义倒也没觉得有什么大不了的，经历过以武力灭亡北汉以及高粱河之败的他这个时候对胜败得失早已经看透了。胜不足喜，败不足忧，这话在胜利者嘴里说出来是一番味道，但在失败者嘴里说出来却又是另一番味道，但不可否认这是一种只有成熟的人才能修炼得出来的心性。对赵光义来说，征伐交州本就是一个可有可无的便宜，胜利了固然可喜可贺，但失败了也对宋朝的元气和国力没什么损失，毕竟宋朝这次出兵也就两三万人的规模，而且还不是由名将统帅的精锐之师。
话虽如此，但这却并不代表他赵光义就可以容忍这次的失败，他反而对此次战败的责任人进行了极为严厉的处罚：阁门祗候王僎（后周枢密使王朴的儿子、杨业之死的直接责任人王侁的弟弟）、军器库副使贾湜（赵光义当王爷时的王府幕僚贾琰的儿子）、宁州刺史刘澄三人因为督军不力或逗留不进