首先说历史上没有潘仁美这个人，只有潘美这个人，潘仁美是戏书里的叫法。这事得从辽国和金国开战说起，为了抵御辽国的进攻，于是朝廷选将领，结果潘仁美她女儿是妃子，就这么的把自己弟弟，潘任美的三儿子潘豹推荐上去了。然后潘豹在东京汴梁城打擂台。老令公杨继业就约束自己的几个儿子说，你们几个可别给我出去惹事去。结果这杨七郎就是不服，压不住心里的火，喝了点酒就去打擂去了。几招下去，居然把潘豹活劈了。
这下杨家可算是把潘家惹下了，两家从此结了大仇，但是潘仁美表面不说，把这件事给压下去了，但是在两军阵前上，潘仁美开始报复了。一方面，潘仁美不派援兵帮助杨家将打仗。另一方面他把回来搬援兵的杨七郎射的万箭穿心，生生的把杨七郎给射死了。结果那一边杨家将等来等去援兵不到，杨家将血战金沙滩。最后杨大郎，杨二郎，杨三郎死于非命，杨四郎流落北方。后来有一出戏曲叫《四郎探母》，说的就是这个故事，杨五郎出家去了五台山当和尚去了。杨六郎总算是在乱军阵前捡了一条命。老令公杨继业几番杀出重围，最后被围在苏武庙里边，想到潘仁美陷害到。他仰天长叹，最后碰死在李陵碑前。于是潘杨两家，彻底结下了血海深仇。
后来，杨六郎会回去向皇帝状告潘仁美，潘仁美就抵赖不承认，最后没办法，八贤王就把寇准，从山西调过来，专门审理潘杨这一按。他利用潘仁美，做多了亏心事，夜怕鬼敲门的心理，于是夜审潘仁美，他把整个场景都布置成十殿阎罗下的场景，吓得潘仁美把所有的事情都说了出去，总算把这个案子给结了。
后来经过，各种评书戏曲的演绎，就给大家留下一个印象，杨家是一门忠良，你看从老令公杨继业到杨大郎，到杨七郎，杨六郎，是国家栋梁，杨宗宝，再到杨文广，最后这些人都死绝了。为了国家的利益，佘太君领着12寡妇，和烧火丫头杨排风去征西，一门忠烈全都是为了国家，中国人历来都是敬佩一心为国之人，而潘仁美居然把这样的人害死了，你说是不是奸臣，为了迎合人们的心里，说书艺人和戏曲作者也就开始丑化潘仁美，于是渐渐的潘仁美就成了坏人，杨家将就成了好人。
其实你要说潘仁美干啥出卖民族利益的事情了，或者是戕害其他人了，这都没有，主要是针对杨家杀他儿子的一事耿耿于怀，后来潘仁美也被降了职，不过他死后还是配享受太庙待遇，在古代这一般是对朝廷有大功的人，才有的待遇，当初潘仁美在大宋建立的时候，那可是立下了赫赫战功的。所以才被这样对待，所以你说他是奸臣这帽子扣得有点大了，充其量就是因为儿子去世，一个发怒的父亲为了儿子公报私仇而已。