大象二年（580年）五月十一日，北周宣帝去世，近臣刘昉、郑译等和杨坚有旧，矫诏引杨坚辅政。杨坚担任右大丞相夺取军政权，清理完北周诸王后，怕前朝旧臣叛乱，于五月二十七日派韦孝宽取代尉迟迥担任相州总管。尉迟迥深知丞相杨坚将会篡夺政权，就密谋起兵讨伐。韦孝宽进至朝歌，尉迟迥派遣部下大都督贺兰贵持他的亲笔信来迎接。韦孝宽把贺兰贵留下来，与他交谈，从贺兰贵的言谈话语中，觉察到尉迟迥可能会有变故，于是就假称有病，缓慢而行。一面派人以寻医买药为名到相州，暗中侦察尉迟迥的动静。韦孝宽的侄子韦艺，当时正在尉迟迥手下任魏郡太守。尉迟迥就派韦艺去迎接韦孝宽。韦孝宽问他关于尉迟迥的情况，韦艺因为是尉迟迥的同党，没有告诉韦孝宽实情。韦孝宽非常愤怒，要把韦艺斩首，韦艺惧怕，就把尉迟迥的密谋全部告诉了韦孝宽。于是韦孝宽带着韦艺向西奔还，每到一个亭驿，就把驿站里供使者换乘的传马全都驱赶走，又对驿官说：“蜀公尉迟迥很快就要到达，赶快准备酒宴招待。”稍后，尉迟迥派遣仪同大将军梁子康带着数百名骑兵追赶韦孝宽，每追到一个驿站，遇到的都是丰盛的酒宴，又没有传马可以替换，于是就不再追赶。韦孝宽和韦艺因此得免于难。杨坚又命令候正破六韩裒到邺城去，向尉迟迥申述自己并没有异图，同时暗中带着自己的亲笔信给相州总管府长史晋昶等人，要他们防备尉迟迥起兵叛乱。尉迟迥得知此事后，就杀了晋昶和破六韩裒，然后召集相州文武官吏和百姓，登上城北门楼，对他们说：“杨坚凭借着皇后父亲的地位，挟制年幼的天子，作威作福，这种不遵守臣道的行为，早已路人皆知。我和太祖文皇帝是舅崐甥，与国家情同一体，休戚与共，一身担当出将入相的双重大任。先帝让我镇守相州，本来就寄托着的国家安危兴亡。现在我要与你们一起纠合仁义勇敢之士，揭竿而起，以匡扶国家，保护百姓，你们看怎么样？”相州官吏百姓都表示愿意服从尉迟迥的命令。尉迟迥于是自封为大总管，宣称秉承天子之意，设置各种官吏。当时赵王宇文招应朝廷征召入朝，小儿子留在封地襄国。尉迟迥就尊奉他并以他的名义号令天下。
尉迟迥权力的地理中心正处于华北平原的心脏，他在那里能够动用惊人的资源，并且在地方强大的氏族中还有一批强有力的潜在的追随者。 他们在看到了尉迟迥的号召后，纷纷响应。尉迟迥所管相、卫、黎、毛、洺、贝、赵、冀、瀛、沧，尉迟迥弟子勤所统青、胶、光、莒诸州，一起叛乱，人数达到数十万。 进入七月，叛乱规模越来越大。荥州刺史邵公宇文胄、申州刺史李惠、东楚州刺史费也利进、东潼州刺史曹孝达，各据州以应尉迟迥。尉迟迥又北结高保宁以通突厥；南连陈朝，许割江、淮之地。七月二十五日，郧州总管司马消难以其管辖的七州叛变投降陈朝。八月七日，益州总管王谦又以其管辖十八州响应尉迟迥。而北周荆、襄、豫境内诸蛮也造反，“焚烧村落，攻略郡县”。 但也有不响应尉迟迥的地方总管。幽州总管于翼拒绝起兵响应尉迟迥，并倒向杨坚，截断了尉迟迥与北部少数民族联系。徐州总管源雄不理尉迟迥号召，并出兵击退陈朝毕义绪、曹孝达等部进攻。毫州总管贺若谊出兵出兵消灭了叛乱的申州刺史李惠，分隔尉迟迥和司马消难所部的联系。利州总管豆卢勣死守本州，挡住王谦北进，为杨坚大军进入四川提供敞开门道。
六月十日，朝廷派韦孝宽为行军元帅，讨伐尉迟迥。六月二十六日，任命老将梁睿为益州总管，但王谦在益州叛乱而改任行军元帅讨伐王谦。七月十六日，命令杨素领兵讨伐宇文胄。七月二十五日，派王谊领兵讨伐司马消难，又任命韦世康为绛州总管，保卫关中安全。韦孝宽所部开至武陟（今河南省武陟县），与盘踞武德郡的尉迟迥之子尉迟惇所部十万人隔着沁河对峙。此时，韦孝宽长史李询秘密启杨坚说：“梁士彦，宇文忻和崔弘度三位行军总管接受了尉迟迥馈赠的金钱，因此军中不安，人心异常。”杨坚感到十分忧虑，与内史上大夫郑译密谋派人取代这三人，李德林反对说：“您与 这些将领本来都是国家重臣，地位平等，他们没有服从您的义务，现在您只是凭借挟天子以令诸侯的权威来控制和驾御他们罢了。以前所派遣的，您疑心他们怀有异意；那么往后再派遣的，您又怎么能知道他们会向您推心置腹呢！再说，他们三人收取尉迟迥馈赠金钱的事，真假不明，现在如果马上派人替代他们领兵，他们可能会因害怕获罪而逃走；如果把他们都抓起来，那么前线的将帅自郧公韦孝宽以下，就会人人自危，莫不惊慌。况且临战易将，正是战国时期燕国、赵国被齐国、秦国打败的根本原因。以我看来，您只要派遣一位既是您的心腹，又通晓谋略，向来为众将领所信服的人，立刻到军中去，监视将领们的举动。纵使他们怀有异意，也肯定不敢轻举妄动；万一有异常举动，也必能将其制服。”杨坚大悟，说：“如果不是你讲明这些道理，几乎要败坏大事。”于是杨坚命少内史崔仲方往监诸军，为之节度。又派高颎前往前线。 高颎至军中，在沁水上搭建桥梁。尉迟惇见阵，在沁河上游纵火筏想用它们烧掉桥，高颎则命人填土以阻火筏。尉迟惇布阵二十余里，想等韦孝宽军半渡而击之；不料，韦孝宽却将军队略作后退，然后鸣鼓齐进。军队一过河，高颎命令焚烧桥，以绝士卒后退之心。因此，士兵作战时一往无前，尉迟惇大败，单骑逃亡。韦孝宽乘胜进击，追至邺。八月十七日，尉迟迥与尉迟惇及弟西都公尉迟祐，集结十三万部队于邺城南，尉迟迥统帅万人，皆着绿巾、锦袄，号“黄龙兵”。尉迟迥弟尉迟勤统帅士卒五万，自青州增援而来，派三千骑先投入战场。尉迟迥麾下兵皆关中人，作战勇猛，韦孝宽军作战不利只能后退。邺中士民观战者达数万人，行军总管宇文忻说：“形势已经到了危急关头！我要用诡诈的战法击败敌军。”于是先射击观战的百姓，这些人纷纷逃避，互相推搡践踏，呼声震天。宇文忻于是大声喊道：“叛贼失败了！”韦孝宽的军队很快士气重振，乘纷乱之机发起进攻。结果尉迟迥的军队大败，退保邺城。韦孝宽指挥军队包围了邺城，李询与安思伯代郡人贺娄子干首先登上城头。邺城被攻破后，尉迟迥计穷，登上城楼，崔弘度径直从龙尾道追上去。尉迟迥弯弓搭箭，准备射崔弘度，崔弘度摘下头盔对尉迟迥说：“还认识我吗？今日我们各自都是为了国事，不能顾及私情。念我们有亲戚之情，特地遏制住乱兵，不许对您侵犯欺侮。现在事情已经到了这一步，您应该早为自身考虑，还等待什么呢？”尉迟迥投弓箭于地，尽情大骂左丞相杨坚，然后自杀。崔弘度对弟弟崔弘升说：“你可取下尉迟迥的头颅。”于是崔弘升将尉迟迥斩首。在邺小城中的尉迟迥士卒，都被韦孝宽活埋。尉迟勤、尉迟惇与尉迟祐向东逃往青州，还没有到达，就被开府仪同大将军郭衍率兵追上抓获， 山东各地叛乱相继被镇压。
八月二十七日，尉迟迥被杀十天后。郧州总管司马消难连夜南逃，投降陈朝。杨素攻克荣州，宇文胄逃亡，被追兵所杀。十月，梁睿率领步骑二十万进讨王谦，王谦分命诸将据险而守，梁睿连战连克，势不可挡。王谦遣其将达奚惎、高阿那肱、乙弗虔等带领十万军进攻利州，掘开江水以灌城。利州城中战士不过二千，总管豆卢勣昼夜督战，成功抵抗四十天；等到梁睿军至，叛军退兵，梁睿军自剑阁入四川，进逼成都。王谦命令令手下达奚惎、乙弗虔城守，亲率精兵五万，背城结陈。梁睿军与之作战，叛军战败，达奚惎、乙弗虔打开城门投降。王谦带着麾下三十骑逃往新都，但被新都令王宝捉住。十月二十八日，梁睿斩王谦及高阿那肱，四川平定。至此，叛乱平息，历六十八天。
《剑桥中国隋唐史》认为杨坚在这次战役有几个有利条件成就了胜利：（一）他的关中平原根据地长期以来是远征的跳板，只要他有取得胜利的迹象，他就能得到从北周继承下来的强大的战争机器的效忠；（二）他还掌握着统一领导和各个击破分散敌人的优势；何况后者只有地方的追随者，各怀私心异志，缺乏协调的战略。（三）杨坚得力于高颎，而他的敌人又缺乏想象力和个人魅力，所以他继续走运。复旦大学教授韩升认为这次叛乱既得不到官僚阶层的支持，也得不到民众的支持。而且北周经历宣帝的暴政之后，已经失去了过去的号召力和凝聚力，而中原百姓也对新征服者无特殊感情 。所以，尉迟迥的失败是无可避免的。
一般认为，北周时汉人大量进入军队，至其末期北周的将领更是以汉人占多数；政治实权也转移到汉人手中；杨坚得到这两批汉人文武官员支持是其成功代周的关键 。而平镇这次叛乱之后代表一个时代的结束，隋朝登上历史舞台。
对于尉迟迥之乱，历代评价众说纷纭，有人说尉迟迥此举是维护北周政权不被杨坚篡夺，也有人说尉迟迥完全是为了实现个人野心，唐朝常乐公主在劝唐宗室举兵反抗武则天篡夺唐室时，曾以尉迟迥为例，评价说：“尉迟迥，周之甥也，犹能举兵匡救社稷。功虽不成，威震海内，足为忠烈。” 明朝学者张燧曾盛赞王谦和尉迟迥，评价道：“周灭而有王谦、尉迟迥，斯皆破家殉国、视死犹生。”王夫之则认为：“尉迟迥可以为宇文氏之忠臣乎？宇文阐称帝已二年矣，父死而正乎其位，杨氏虽逼，阐未有失德也，迥乃奉赵王招之少子以起兵。曹操所不敢奉刘虞以叛献帝者，而迥为之不忌，迥之志可知矣。迥可为忠臣，则刘裕之讨刘毅，萧道成之拒沈攸之，使其败而死也，亦晋、宋仗节死义之臣乎？杨坚无功而欲夺人之国，于是乎有兵可拥者，皆欲为坚之为，迥亦一坚也，司马消难亦一迥也，王谦亦一消难也。志相若，事相竞，则以势之疆弱、谋之工拙、所与之多寡分胜败矣。胜者，幸也；败者，其常也。”