受历史小说《杨家将演义》的影响，千百年来，在人们的心目中，潘仁美是个用心险恶、陷害忠良、罪大恶极的奸臣。
潘仁美的形象映射的是北宋名将潘美，与历史中的潘美本人形象大相径庭，把潘美当做奸臣，是极为不公正的。
从潘美的经历来说，平心而论，他一生的战功要比杨家将的主人公杨业大得多，他是大宋朝的一个大忠臣。
潘美(925—991)，河北大名人，风流倜傥，是当时出了名的美男子，年轻之时，当过典谒(掌管宾客请见的传达和接待事务)。潘美从小就胸怀大志，他曾对朋友王密说：“汉代（指五代时期的后汉）将终，凶臣肆虐，四海有改卜之兆。大丈夫不以此时立功名、取富贵，碌碌与万物共尽，可羞也。”
950年，周太祖郭威建立后周。郭威没有儿子，收柴皇后的侄子柴荣为子。柴荣任开封府尹之时，潘美和赵匡胤同在他的手下做事，二人关系非常好。954年，周世宗柴荣即位后，补任潘美为供奉官(皇帝身边的武官侍从)。高平之战，潘美因为战功迁为西上阁门副使。后出任陕州(今河南三门峡市)监军，改任引进使，管理西部战事，深得周世宗器重。
959年，周世宗病逝后，军权落在大将赵匡胤手里。960年，发生“陈桥兵变”，赵匡胤当了皇帝，对潘美委以重任。
大宋建立之后，天下并不太平。陕州主帅袁彦拥兵自重，信任奸佞小人，滥杀无辜，民愤很大，赵匡胤担心他叛乱，就派遣潘美去担任监军，伺机杀掉他。潘美单骑到达陕州，向袁彦等人晓以大义，陈述利害，劝他恪守臣职。袁彦被潘美的诚意打动，就跟着潘美到了京城，以示效忠。赵匡胤非常高兴地说：“潘美不杀袁彦，就让他来觐见，正合我的心意啊。”
960年九月，郭威的外甥李重进高举“驱逐赵贼，回复周室”的旗号在扬州叛乱，宋太祖赵匡胤命大将石守信为招讨使、潘美为行营都监，率部亲征。叛乱平定后，潘美被任命为扬州巡检，以行使镇抚之事，后又因功任秦州团练使。没过多久，湖南将领汪端反叛被平定后，人心不稳，赵匡胤又任命潘美为潭州防御使。
南汉高祖刘魫荒淫残暴，他几次进犯桂阳、江华，都被潘美打败。武陵山一带的溪峒蛮獠等民族自唐代以来，就经常闹事，潘美带兵几次征剿，稳定了这一地区的局势。
964年，潘美奉命与丁德裕率军攻克郴州。
970年，宋太祖又命潘美征讨南汉，刘魫的军队被潘美打的大败，潘美先后富州、贺州。十月，攻下昭州、桂州、连州，西江各州相继投降，潘美移任南面都部署，进驻韶州。
971年五月，潘美指挥部队斩杀南汉军人数万，刘魫无奈投降。五月，宋太祖任命潘美为山南东道节度使。
972年，潘美兼任岭南道转运使。土豪周思琼纠聚民众依仗海域叛乱，潘美率兵征讨，平定了叛乱。自此，岭南局势稳定下来。
974年，大宋兴兵南唐。十月，任命潘美为升州道行营都监，与大将曹彬一同到达秦淮。宋军连连获胜，很快就兵临金陵城下。李煜仓促抵抗数次之后，被迫降宋。金陵平定后，潘美因功被封为宣徽北院使。
同年秋天，宋太祖派潘美辅佐党进攻打北汉都城太原。北汉在辽国的援助下，这次大宋的北伐没有成功。不久，宋太祖病死，宋太宗赵匡义继位。
976年，宋太宗任命潘美为南院使。
978年，加封潘美为开府仪同三司。
979年，宋太宗决心完成统一北方的事业，任命潘美为北路都招讨，判太原行府事，亲自率领四路大军围攻北汉都城太原。宋太宗首先截断辽兵对北汉的援助，然后包围太原城。太原城里无粮草，外无救兵，北汉国主刘继元只得投降。刘继元手下武艺高强，英勇善战的老将杨业，也归附了宋朝。
北汉灭亡之后，由于辽国时常侵犯大宋边境，宋太宗就想乘胜攻打辽国，统一北方。宋太宗派杨业为代州刺史，扼守雁门关。
接下来，大宋征伐范阳，潘美被任命为知幽州行府事。宋军一直打到幽州(今北京)。高粱河(今北京城西)一战，辽军在耶律休哥的救援下，宋军大败，宋太宗仓皇逃回东京。宋太宗让潘美兼任三交都部署，屯兵北部边境，以防御辽国的进攻。后来潘美在固军大败辽军，此后一段时期内，辽国一直不敢轻举妄动，北方边境暂时稳定下来。
981年，辽国一万多骑兵挑起战事，潘美秘密行军，以迅雷不及掩耳之势发起攻击，大破辽军。宋太宗十分高兴，封潘美为代国公。
983年，改任忠武军节度使，受封韩国公。
982年，辽主耶律贤去世，辽圣宗耶律隆绪年幼，萧太后执政。宋太宗决定趁辽国朝政不稳，出兵收复燕云十六州。986年，太宗命潘美、曹彬、崔彦进分别率大军北伐，并且派杨业做潘美的副将。
以下就是《杨家将演义》里潘美陷害杨业的真实历史。
潘美、杨业这一路人马出兵雁门关，接连取得了几场胜利，很快就收复了寰州、朔州、云州、应州四个州。但是，曹彬率领的主力由于孤军深入，被辽军杀得大败，宋太宗急忙命令各路大军撤退。潘美、杨业接到命令之后，掩护四个州的百姓内撤。这时，辽兵攻势十分凶猛，已占领了寰州。杨业建议派兵佯攻，先吸引住辽军主力，然后派精兵埋伏在撤退的路上，掩护军民撤退。
监军王诜反对杨业的意见，他讽刺杨业说带了几万精兵却对辽军如此畏惧怯懦，建议只管沿着雁门大路，大张旗鼓地行军。他的建议得到了大将刘文裕等的赞成。
杨业对他们分析说现在敌强我弱，如果这样一定会失败。
王诜就嘲笑杨业，说你杨将军不是号称杨无敌吗，怎么在敌人面前畏缩不前了，是不是另有打算呢。
这一句话把杨业激怒了，他悲怆地对他们说我杨业并不是怕死，只是时机对我们不利，我怕士兵白白丧命。你们一定要打，我可以打头阵。
潘美其实挺爱惜杨业的，他本来也赞同杨业的建议而不同意王诜的主意，但有有监军王诜和他的几个随从从中作梗，最后只得违心同意了。杨业无奈，只好带领手下人马出发了。
临走时，潘美抓住杨业的马缰绳，对他一再地叮嘱说：“将军此去一定要多多保重，能打则打，不能打就迅速回兵，切记不可恋战。”
杨业哭了，对潘美说：“这个仗肯定要败，我是个降将，本该死，但是皇上相信我，让我带兵抗辽，我本来想看准时机痛击敌人，报答国家。但是现在大家责怪我惧怕敌人，我只有率先舍命杀敌了。”
潘美问道：“将军有什么要交代的吗？”
杨业就指着前面的陈家峪(今山西朔县南)说：“我杀上去之后，希望你们在这个谷口两侧埋伏好步兵和弓弩手，等我兵败退到这里，你们带兵接应，两面夹击，也许会有转败为胜的机会，否则，我们真的可能都会被敌所杀。”
杨业没走多远，就遭到辽军的伏击。困斗之中终于抵挡不住了，他只好一边打一边把辽军引向陈家峪。
但是杨业退到谷口的时候，他绝望了，那里一个宋军的影子也没有。
原来，杨业走后，潘美按杨业的建议，把人马埋伏到陈家峪准备接应，但等了一天，也没有杨业的消息。王诜认为一定是辽兵被打败退了，他怕杨业抢了头功，就催促潘美把伏兵撤离了陈家峪。
杨业与追上来的辽兵展开生死搏斗，最后寡不敌众，兵败被俘，在辽营绝食三天而死。
潘美见大势已去，只得立即带兵后退。
消息传到东京，朝野震怒，宋太宗先是把王诜革职查办，然后又把潘美连降三级，让潘美担任了检校太保。
987年，潘美任检校太师，任真定知府。不久，改任都部署、并州通判。
991年，太宗加封潘美为同平章事。数月后潘美去世，终年67岁。后追赠中书令，赐谥号武惠。
999年，潘美配置于宋太宗庙附祀。
潘美死后朝廷给他的待遇从另一个方面说明了当政者给他的肯定。
不过，杨业的死终究与潘美有很大的关系，尽管从主观上讲他并没有要陷害杨业的意思，更没有要故意置杨业于死地的意图，但是，作为一军之主帅，潘美在这一场失败的战役中，负有不可推卸的责任 ： 其一，没有运筹帷幄的能力，看不清眼前的形势，盲目听从于亲近的大将，关键时刻决策失误，导致杨业悲怆出击； 其二，当形势危急的时候，瞻前顾后，没有战略战术，缺乏作为主帅的魄力。当王诜心存私念让他从陈家峪撤军时，潘美没有坚持，只是一昧听命于王诜，致使杨业兵退陈家峪时没有得到援助。所以说，杨业的死，虽说主要责任在王诜，但是作为主将的潘美难纠其责。
可以说，陈家峪一役让一生英明的潘美，老来“晚节不保”，“一失足成千古恨”。
杨家将的故事在以后的日子里流传很广，民众可怜杨业的忠心，憎恨置杨业于死地的那些同僚们，慢慢地就把他们演绎成了奸佞小人。《杨家将演义》成书于明代中叶，书中塑造的潘仁美故意陷害杨业，一定要置杨业于死地，是一个让人痛恨的奸臣。这也在一定程度上表达出了民众的爱憎，当一个英雄站立起来的时候，和他对立的一定是一个罪大恶极的奸佞小人，不幸，潘美承担了这一形象。
因此只能说，演义中的潘仁美只是一个艺术形象，他跟历史上的潘美根本不是一个人。