将袁彦从而为赵匡胤和新生的宋朝免除了一场兵祸，后在跟随赵匡胤平定李重进叛乱之后，他主政扬州三年为赵匡胤镇守南部边疆防备南唐。此后，潘美又前往湖南平乱并震慑南汉，而且在当地一待就是整整七年。如此功勋卓着，但他当时的官职却不过是一方的防御使。等到公元970年，已经四十五岁的潘美方才迎来自己军事和政治生涯的高光时刻。
宋朝平定南汉可以说是潘美的全功，他以地方州兵而非大宋精锐禁军的实力歼灭了南汉的数十万大军并最终让南汉灭国。攻灭南唐之战他虽然不是主帅，但他在采石矶的登陆以及在金陵城下大败南唐十万大军的功绩无疑是宋朝攻灭南唐的决定性战役之一（宋军大将刘遇覆灭南唐十万水军则是另一场决定性战役）。以潘美此时的人生发展势头，他完全有可能成为有宋一代无可争议的第一名将，可就在他带领大军前去攻灭北汉时赵匡胤却突然离奇驾崩。
在这之后，潘美的皇帝变成了赵光义。从此，潘美的双手被一条无形的绳索给束缚住了，这个征战无数的沙场悍将成了不得不听从军事发烧友赵光义操控的一只木偶。胜利了，功劳属于英明的皇帝，失败了，责任得由他这个名义上的统帅来承担，而这就是潘美人生悲剧的开始。
攻灭北汉，潘美的每一个行动都是在按照赵光义的安排在进行，而历史也并没有将平定北汉的功劳记在他的名下，尽管他当时是名义上的北征大军主帅。北征幽燕，潘美的名字在史书里几乎未被提及，他就像是凭空消失了一般，史书里只是说到了赵光义将他任命为未来的幽州知府。随着宋军在高粱河的战败，潘美开始在山西为国镇守北疆，在此期间辽国人在他面前从来就没有前进一步且每次的进犯无一不是灰头土脸地丧气而回。然而，潘美的职责和任务也仅仅是保壁自固，他的锋芒则是被赵光义彻底封存。即使如此，潘美也抓住了雁门关之战和雍熙北伐两次难得的机会证明了自己的战力仍然是一如既往的锋锐难当。
遗憾的是，就是他晚年的这两次难得的露脸机会和战功还被小说演义里的那位伟大的、战无不胜的杨无敌给“抢”了过去。诸如在雁门关前击败辽国十万大军的是杨业的几千兵马干的，潘美只是打了辅助，甚至是连辅助都有可能没有打。雍熙北伐时，西路军一路攻城拔寨连下数