张叔夜是江西人，生于1065年，出身将门世家。他年轻的时候在兰州边境从军，有丰富的军旅经验。回到中央做官后，因为得罪了权臣蔡京，被蔡京所忌恨，所以他被贬到海州做了知州。
宣和三年(1121年)，宋江率军转战至海州，被张叔夜设埋伏击败，宋江被迫投降。
平定了宋江起义军的张叔夜被提拔为济南府知府，后来又因为斩杀了几千盗匪的功绩，被改任为青州府知府。
宣和七年(公元1125年)，金国在消灭了辽国之后，分兵两路南下进攻宋朝，东路军直逼宋朝国都开封。宋徽宗因惊恐传位给太子赵桓。宋钦宗上位后，重用主战派李纲等人，多次打败攻城的金兵。但是懦弱无能的宋钦宗，听从奸臣谗言，罢免了李纲，向金国求和，割让太原、中山、河间三镇，康王赵构、太宰张邦昌成为人质。
金国撤军后，主战派被主和派压制，名将种师道气愤致疾，以至病死。李纲则被外调河北河东宣抚使，无所作为，最后被逐到江西。
靖康元年(1126年)，金兵再次大举南侵。不久开封被围，围城的东西两路金军的兵力已超过十五万人。而城内守军则不满七万，各地勤王军早已受到主和派的命令而裹足不前。只有张叔夜与两个儿子张伯奋、张仲熊违抗这一投降式的命令，率领一万多人进京勤王，在经过大小十八战之后，才全军突入开封城，这是金兵第二次大举南侵中唯一一支能够进入开封城的勤王军队。
宋钦宗见张叔夜帅军赶到，十分开心，令他为签署枢密院，指挥城内宋军作战。在张叔夜的部署下，接连数天与金兵大战，数次打败金军。
此时城内出现戏剧化的一幕，身为兵部尚书、尚书右丞、同知枢密院的孙傅，仅凭一句“郭京杨适刘无忌”的诗句就在近卫中访得一位郭京，这个小兵自称会法术，可抵挡金兵，宋钦宗及孙傅等均深信不疑。郭京手下的“神兵”出城就受到金军四面夹击，死了大半。郭京带着残兵向南逃跑。金兵顺势登上已经没有几个人的城墙，尽管张叔夜等拼死抵抗，但是开封城还是在当天就被攻陷。
开封城陷后，张叔夜受伤，父子几人仍竭力作战。但是此时的宋钦宗已经失去抵抗的信心，准备出城与金兵议和，张叔夜极力劝谏，宋钦宗说：“我为了百姓，不得不亲自前往金营啊!”张叔夜痛哭着再次跪拜，在场宋朝军民都哭了起来。皇帝回头喊着他的字说：“嵇仲(张叔夜字)努力吧!”
最后，退位的宋徽宗赵佶与宋钦宗赵桓以及皇室、皇族、贵戚、近臣、各种工匠等14000多人，全部被押往金国。
张叔夜在被押往金国时，在途中绝食。到达边界白沟时，张叔夜突然惊起，仰天大呼。第二天，张叔夜自缢去世，终年六十三岁。南宋朝廷为表彰张叔夜，追赠开府仪同三司，谥号“忠文”。