《新唐书·张柬之传》记载："张柬之，字孟将，襄州襄阳（今湖北省襄阳市）人。少涉经史，补太学生。祭酒令狐德棻异其才，而以王佐期之。中进士第，始调清源丞。"虽说张柬之早早就展露出自己的天赋，但他仍可谓是大器晚成。永昌元年（689），张柬之才从数千人中脱颖而出，当上监察御史和凤阁舍人。这一年，他已七十有余。
晚年的张柬之在仕途上仍然不是一帆风顺。他因为反对武延秀娶突厥女子为妻而触怒武则天，被贬为合、蜀二州刺史。此后他又上书武则天，不被采纳，不久迁任荆州长史。
幸运的是，张柬之得到了狄仁杰和姚崇的赏识。狄仁杰多次在武则天面前推荐张柬之，使之先后迁任洛州司马、司邢少卿、秋官侍郎。《新唐书》记载："后姚崇为灵武军使，将行，后诏举外司可为相者，崇曰："张柬之沉厚有谋，能断大事，其人老，惟亟用之。即日召见，拜同凤阁鸾台平章事，进凤阁侍郎。"不顺了几十年的张柬之，终得在姚崇的举荐下以八十高龄出任宰相。
武则天晚年宠幸张昌宗、张易之兄弟，荒废朝政，导致大权落入二张手中。为了推翻武则天，恢复正统李唐王朝，张柬之等人准备发动政变。神龙元年（705）正月二十二日，凤阁侍郎张柬之、鸾台侍郎崔玄暐、左羽林将军敬晖、右羽林将军桓彦范、司刑少卿袁恕己联合右羽林卫大将军李多祚、左羽林将军李兴宗等，发动政变，力图扳倒武则天，拥立李显为君。
几人以麟台监张易之、司仆卿张昌宗意图谋反，他们需清君侧为名，率领禁军诛杀张易之、张昌宗。但二张并不是他们的最终目标。张柬之等人在除掉二张后，包围集仙殿，逼迫武则天退位。迫于压力，武则天在第二天就任命太子李显为监国。第三天，武则天下诏禅让。第四天，李显正式复位，天下重归李家。二月初四，李显复国号为唐，至此神龙政变成功。持续数十年的匡复李唐的运动也在张柬之等人的努力下宣告结束。
得知张易之兄弟被诛杀，洛州长史薛季昶对参与政变的敬晖说："二凶虽除，但吕产、吕禄那样的人物依然存在，大人们应该借着兵势诛杀武三思等人，匡正王室，以安天下。"
此后敬晖多次向张柬之提起斩草除根，但张柬之都不同意。按张柬之的话来说，"（斩草除根）这应该是皇上的事情。皇上还是英王的时候，以勇烈闻名，我留下武家子弟，是希望皇上能够亲自锄奸立威。"可以说，是张柬之自己白白错失了将乱党一网打尽的机会，是他自己促成了自己的不幸。
神龙政变成功后，中宗皇帝对各位功臣论功行赏。 "中宗即位，以功擢拜天官尚书、凤阁鸾台三品，封汉阳郡公，食实封五百户，未几，迁中书令，监修国史。月余，进封汉阳郡王，加授特进，令罢知政事。"大臣被封王封爵，乍一看是好事。可福兮祸所依，祸兮福所伏。遭受武三思和韦后算计的张柬之功臣集团，实际上被以加王爵为名夺取了实权。
失去实权的张柬之再度感受到在朝中的无力。对朝堂失望后，他上书请求回襄州养病。《新唐书》记载："柬之既失权，愿还裹州养疾，乃授裹州刺史。"虽然对中央无望，但张柬之还是张柬之。回到襄州任刺史的他为官刚正不阿，从来没有受财枉法、徇私舞弊。他还全力抗击洪灾，成为了全州百姓的救星。当时甚至出现了"阖境赖之"的局面。
神龙二年（706）七月，武三思暗中命人将韦皇后淫乱之事大肆宣扬，请求废黜皇后，并诬陷是张柬之等人所为。其后事情的发展，不难想象。《资治通鉴·唐纪二十四》记载："上大怒，命御史大夫李承嘉穷核其事。承嘉奏言："敬晖、桓彦范、张柬之、袁恕己、崔玄暐使人为之，虽云废后，实谋大逆，请族诛之。"听完御史大夫的汇报，中宗又派大理寺去结案。大理丞三原李朝隐奏称："晖等未经推鞫，不可遽就诛夷。"大理丞裴谈奏称："晖等宜据制书处斩籍没，不应更加推鞫。"
武三思想要把张柬之等人置于死地。但中宗因为曾经给敬晖等人赏赐过保命的铁券，所以免了张柬之一行人的死罪。死罪可免，但活罪难逃。张柬之等人都遭到了长期流放。他们家中十六岁以上的子弟，也受到牵连，流放他乡。被流放到泷州的张柬之，忧愁愤懑而死，享年八十二岁。
贤臣怀恨远去，后任皇帝相继为张柬之平反，并给予其极高的哀荣。景云元年（710），唐睿宗追赠张柬之为中书令，谥号文贞，制曰："褒德纪功，事华典册；饰终追远，理光名教。故吏部尚书张柬之翼戴兴运，谟明帝道，经纶謇谔，风范犹存。往属回邪，构成衅咎，无辜放逐，沦没荒遐。言念勋贤，良深轸悼，宜加宠赠，式贲幽泉。可赠中书令，封汉阳郡公。"开元六年（718），唐玄宗下诏，同意张柬之配享中宗庙庭。唐德宗建中年间又追赠张柬之为司徒。
北宋龙图阁学士宋祁在编撰《新唐书》时评论到："五王提卫兵诛嬖臣，中兴唐室，不淹辰，天下晏然，其谋深矣。至谓中宗为英王，不尽诛诸武，使天子藉以为威，何其浅耶？衅牙一启，为艳后，竖儿所乘，劫持戮辱，若放豚然，何哉？无亦神夺其明，厚韦氏毒，以兴先天之业乎？不然，安李之功，贤於汉平、勃远矣！"这段话可谓是对张柬之复唐之功的称颂、下场凄惨的原因分析与遗憾的准确表达了。