裴行俭为隋末名将裴仁基的小儿子，裴仁基和长子裴行俨（即隋唐演义中裴元庆的原型）本为隋将，勇猛异常，后投靠瓦岗军，在和王世充作战失利后，兵败被俘，后为王世充杀害。
裴行俭后来在军事上师从名将苏定方，善于用兵，成为可以与李靖、李勣、苏定方等名将并列的唐初期的大将。
裴行俭头像
高宗永徽年间，在长安县县令任上的裴行俭听到高宗将立武则天为后的消息后，忧心忡忡，认为国家之祸必然从此开始，于是与长孙无忌、褚遂良私下商量对策。武则天的心腹袁公瑜听说三人聚会之事，遂告知武则天的母亲杨氏，武则天找其他借口让高宗贬裴行俭为西州都督府（今新疆吐鲁番东南高昌故城）长史，效力于西域边陲。
裴行俭被贬可以说是因祸得福，一方面远离政治中心长安，避免像长孙无忌一样被武则天陷害；另一方面，裴行俭由文官改为武官，造就了一代名将的产生。
高宗总章元年，唐政府军事重心转向西部，以限制吐蕃为主。但此时唐在防守西域问题上犯了严重的错误。这时裴行俭为安西大都护，坐镇西域，他已经镇守西域十多年，深得人心，了解西域山川地形，应该是唐防御吐蕃的最佳人选。但高宗和武后不信任裴行俭，害怕他叛国投敌，在大战前夕，高宗突然下诏书召回裴行俭，任命为吏部侍郎。
裴行俭出征雕塑
裴行俭在选才任官的工作岗位上，也做出了突出贡献，获得了广泛的赞誉。他和另一名吏部官员李敬玄齐名，人称裴、李。
但裴行俭到长安担任吏部官员后，西域缺乏有能力、有经验的大将，导致安西四镇轻易被吐蕃攻占。
裴行俭除了是军事家、政治家，还是著名的书法家
仪凤二年，西突厥十个部族的可汗阿史那都支及李遮匐，引诱各附属部落来骚扰安西都护府，并和吐蕃结为联盟。
唐廷准备讨伐西突厥，但路途遥远，害怕不会成功。此时在长安的裴行俭建议说：“吐蕃跋扈蛮横，现在正处于强盛时期，李敬玄征讨失利，刘审礼已死，用兵征伐难以成功。波斯王刚刚去世，他的儿子泥涅师在长安做人质，如果派遣使者送泥涅师回波斯继承王位，就从突厥、吐蕃两国经过，要是运用计谋解决问题，是可以不用劳神费力就能成功的。”高宗于是命令裴行俭带上诏书护送波斯王，并任安抚大使。裴行俭奏请高宗任命王方冀为自己的副手，检校安西都护，协助自己完成平叛任务，高宗答应了裴行俭的要求。
裴行俭出发西行，到了西州，各属国官员出城迎接，他从当地招集了一千多名才智出众的人跟着自己向西走。制造舆论说：“天气太热，不能前进，应该住下来等待秋天。”阿史那都支侦探到这个情报，就没有设防准备。裴行俭从容地召见安西四镇即龟兹、于阗、疏勒、碎叶的酋长，假装邀约打猎，对他们说：“我爱好打猎的兴趣从来都没有忘掉，谁愿意跟我去打猎？”表示愿意跟随的当地年轻人有上万名，裴行俭于是把这些年轻人武装起来，暗地带着队伍出发。几天之内，加速前进，离阿史那都支的营帐十多里，先派他亲近的人去向他问安，外表显得清闲无事，不是来袭击的，又派人急速召见阿史那都支。
裴行俭铜像
阿史那都支本来和李遮匐商量好，到了秋天再迎战护送波斯王的队伍，后来听说唐军到了，仓促之间想不出对策，只得率领五百名下属到裴行俭的军营拜见，随即被活捉。当天，传递阿史那都支做符契用的弓箭，召集各部族酋长都来为他祈求保全生命，一同将他们押送到碎叶城。挑选精悍的骑兵，轻装简从，袭击李遮匐。半路上抓住了李遮匐的使者，释放了他，叫他回去告知李遮匐，阿史那都支已被捉拿，李遮匐走投无路被迫投降。军官们在碎叶城为裴行俭镌刻石碑来记述功劳。裴行俭把俘虏全部押送到长安，让波斯王自己回国，留王方翼于安西，负责修筑了“安西四镇”之一的碎叶城。
调露元年（679年），东突厥的阿史德温傅、奉职二部又背叛唐朝，拥立阿史那泥熟匐为可汗，单于都护府管辖的二十四州的突厥民众响应他，有众几十万。
十一月，高宗亲自设宴慰问裴行俭，说：“你率领孤立无援的军队，深入到万里以外，不用作战就捉拿了叛党，平息了叛乱，可以说是文韬武略集于一身了，可得同时授予文臣武将两种官职。”当即任命他为礼部尚书，兼检校右卫大将军。同时任命他为定襄道行军大总管，领兵十八万，会同西军检校丰州都督名将程名振的儿子程务挺、东军幽州都督李文暕，总共二十余万兵讨伐突厥，他们都由裴行俭节制调度。
裴行俭进军到朔州（今山西省朔州市），对部下说：“用兵之道，安抚士卒重要的在于诚恳，对待敌人就不惜虚伪欺诈。上次萧嗣业运粮被突厥所掠夺，士卒们又冻又饿，所以战败。现在突厥人必然再用这种计谋，应当用计策欺骗他们”。于是伪装运粮车三百辆，每辆车中埋伏壮士五人，各拿着砍刀强弓，派老弱残兵数百人跟车，并且在险要地方埋伏精兵等待伏击。敌人果然来抢粮车，老弱残兵丢下车四散而走，敌人驱赶粮车到有水草之处，解下马鞍放马，准备夺取车上粮食；壮士们从车中跳出，进行袭击，敌人惊慌逃走，又被埋伏的兵阻击，几乎全被杀死俘虏。从此唐军运粮行走，敌人不敢接近。
唐军到达单于府以北，已是晚上，扎下营后，在四周挖下壕沟，裴行俭突然命令转移到高冈上。诸将都说：“士卒已经安顿好，不可以再移动”。裴行俭不答应，还催促快转移。这天晚上，发生暴风雨，原来的营地水深一丈余，诸将都惊叹佩服。问他为何知道这种情况，裴行俭笑着说：“今后只要听从我的命令，就不必问我怎么知道的”。第二年即永隆元年三月，裴行俭在黑山(在今内蒙五原县境内)大破突厥兵，擒住他的酋长奉职。部下杀死可汗泥熟匐，带着他的头投降唐军。
奉职被擒后，他的余党逃到狼山。高宗下诏令户部尚书崔知悌乘驿站车到定襄宣诏慰问将士，并且负责处理残余敌人，裴行俭领兵返回。
裴行俭军回来后，突厥首领阿史那伏念又自立为可汗，和阿史德温傅联合出兵侵犯唐边境。唐任命裴行俭为定襄道大总管，以右武卫将军曹怀舜、幽州都督李文暕为副手，领兵讨伐突厥。
开耀元年（681年）闰七月，裴行俭驻军在代州的陉口，多派人进行反间，因此阿史那伏念和阿史那德温傅互相猜疑。阿史那伏念把妻子和辎重留在金牙山，用轻骑兵袭击曹怀舜军。
曹怀舜与裨将窦义昭率领前锋出击突厥军。有人告诉他：“阿史那伏念与阿史德温傅在黑沙以北，左右才二十多骑，可以直接去捉取”。曹怀舜等相信这情报，留下老弱在瓠卢泊，率领轻锐战士兼程前进，阿史那伏念乘风进行攻击，唐军大乱，曹怀舜等丢弃军队逃走，唐军于是大败，死伤大半。
唐与周边少数民族政权
裴行俭派遣裨将何迦密从通漠道出兵，程务挺从石地道出兵，乘其不备袭取金牙山。阿史那伏念与曹怀舜等讲和后返回，等到达了金牙山，妻子和辎重都已失去，而士卒又多发生疾疫，便领兵北去细沙，裴行俭又派副总管刘敬同、程务挺等率领单于府兵跟踪追击。阿史那伏念请求捉住阿史德温傅向唐投效，但尚在犹豫不决，又自恃道路遥远，唐兵必然不能赶来，就不再加以防备。刘敬同等率兵一到，阿史那伏念非常狼狈，不能集合士卒，于是捉住阿史德温傅，从小路到裴行俭军中投降。侦察兵报告有烟尘漫天而来，将士都很震惊，裴行俭说：“这是阿史那伏念捉了阿史德温傅来投降，不是别的盗贼，然而受降如应敌，不可以没有防备”。于是命令严加戒备，派遣单使迎接前去慰劳，过了不多久，阿史那伏念果然率领酋长捆绑着阿史德温傅到军门请罪。于是裴行俭把突厥的余党全平定，带阿史那伏念和阿史德温傅回京城长安。
十月，裴行俭等进献定襄道的俘虏，唐朝为此更改年号为“开耀”，寓意旗开得胜，耀武于边境。把阿史那伏念、阿史德温傅等五十四人处斩。当初，裴行俭曾许诺不杀阿史那伏念，所以他才投降。宰相裴炎忌妒裴行俭的功劳，便向高宗上奏说：“阿史那伏念是被副将张虔勖、程务挺所逼迫，又有回纥等从沙漠北向南进逼，窘急走投无路才投降的”。于是把他处决。裴行俭叹息说：“晋王浑、王浚争功，古今都认为是耻辱，但恐怕杀了投降的人，今后不会再有人敢投降了”。因而称有病不再出来。
永淳元年（682年），西突厥贵族十姓阿史那车薄啜又起乓反叛，围攻弓月城（今新疆霍城西），裴行俭又被任命为金牙道行军大总管，但还没有出发就去世了，享年六十四岁。
裴行俭画像
裴行俭作为当世名将，不仅善于指挥战争，而且知人善任。他提拔或推荐的高级将领，例如程务挺、张虔勖、崔智聅、王方翼、蚕金毗、刘敬同、李多祚、黑齿常之，大都是当世名将，由副官升为刺史将军的几十人。
在吏部任职时，他善于发现人才，当看到还是底层官员的苏味道、王剧时，说道：“你二位日后会做到宰相的位置。”当时宰相李敬玄大力赞扬王勃、杨炯、卢照邻、骆宾王的才学，推荐给裴行俭，裴行俭说：“做官的人要达到远大的志向、职位、前途，就要把度量见识放在首位，把文学技艺放在其次。像王勃等人虽然富有文才，但轻浮急躁，爱卖弄夸耀，哪里是享有爵位俸禄的人呢？杨炯比较稳重谨慎，可以当到县令，其余的人都不会善终。”众人都不相信，但结果一一被验证。
裴行俭还仗义疏财，把财富看作是身外之物。高宗曾赏赐给他骏马和珍贵的马鞍，令史私自骑马奔驰，马跌跤摔坏了马鞍，吓得逃跑了。裴行俭叫他回来，没有追究他。当初，平定阿史那都支、李遮匐时，缴获的珍宝数量巨大贵重无比，各国的首领将士希望看看，裴行俭乘机设宴，全部拿出来让他们观赏。有一个直径两尺的大玛瑙盘，错杂艳丽的色彩闪烁光亮，军中小吏脚步太快跌了一跤，盘子被摔碎了，惶恐惊怕，跪在地上叩头出血。裴行俭笑着说：“你不是故意的，怎么吓成这个样子？”没有一丝舍不得的颜色。高宗赏赐给他从阿史那都支那儿缴获的财物金银器皿三千多件，骆驼马牛数字相同，裴行俭分送给亲戚朋友直到部下，几天时间就送光了。