张养浩字希孟，元济南（位于今山东省济南市）人。他早年刻苦读书，注重品德修养。一次，他外出拾到一包钱，跑步追上远去的行人，把钱还给失主。张养浩以品学兼优在当地出名，山东（即山东东西道宣慰司，治所济南）按察使（主管监察司法）焦遂推荐他担任东平（治所位于今山东省东平县）学正（主管教育）。平章（丞相）不忽木赏识张养浩的文章，召任他为礼部令史（朝廷主管礼仪、教育部门文秘官员）。之后，张养浩几经变动职务，出任堂邑（治所位于今山东省聊城市西北）县尹（行政长官）。
张养浩到堂邑县上任后，下令拆除陈列盗贼罪证的展览，认为“彼皆良民，饥寒所迫，不得已而为盗耳”，这样做会阻碍盗贼自新之路。众盗为之感动得流泪，互相告诫说：“不能辜负张县尹对我们的关爱。”该县有个恶霸名叫李虎，结伙抢劫杀人，民众深受其害。过去历任县尹不敢过问此事。张养浩下令逮捕李虎及其同伙，按罪依法论处，人心大快，老百姓自发为他立碑颂德。
后来，张养浩调任监察御史（最高监察机关官员）。他忧虑国事，上奏万言书，列举朝政十大弊端：一是赏赐太侈；二是刑禁太疏；三是名爵太轻；四是台纲太弱；五是土木太盛；六是号令太浮；七是幸门太多；八是风俗太靡；九是异端太横；十是取相之术太宽。由于说了真话直话，元武宗及执政大臣大为恼火，随即将张养浩罢官。
元仁宗即位（1311年）后，将张养浩召回朝廷，提任为礼部侍郎（礼部副长官）知贡举（主管科举考试），接着又提任他为礼部尚书（礼部长官）。中榜进士纷纷上门给张养浩送礼，他一概不受，并告诫他们说：“要多多考虑如何报效国家，用不着感谢我个人。”
元至治元年（1321年），元英宗继位不久，准备在新年元旦晚上构设灯山庆祝。张养浩时任参议中书省事（职位略低于副丞相），他通过左丞相拜住上书劝谏说：“灯山之构，臣以为所玩者小，所系者大；所乐者浅，所患者深。伏愿以崇俭虑远为法，以喜奢乐近为戒。”元英宗看了张养浩的奏书后勃然大怒，转而又认为他说的有道理，称“非张希孟不敢言”，决定取消营建灯山。
此后，张养浩以其父年老多病需要赡养，辞职回乡，为其父养老送终。此间，朝廷两次召任张养浩为吏部尚书（朝廷主管官吏任免的部门长官），他都辞谢没有赴任。
张养浩为官从政注意积累经验，并能联系实际提出治政主张。他在担任县尹时写了《牧民忠告》、任监察御史时写了《风宪忠告》、任礼部尚书和参议中书省事时写了《庙堂忠告》，合称《三事忠告》或《为政忠告》。张养浩认为，天子之职是择相，丞相之职是用贤。他建议举荐人才应从小官开始，纠察失职应从大官做起。他痛切地感到治吏比治民难，直言不讳地指出：“人徒知治民之难，而不知治吏为尤难。”（《牧民忠告》御下威严篇，陈生玺辑《政书集成》第五辑《为政忠告》）他为官爱民，称“民之有讼，如己有讼；民之流亡，如己流亡；”“民陷水火，如己陷水火。凡民疾苦，皆如己疾苦也”（《牧民忠告·听讼》“民病不如己病”篇）。
至治三年（1323年），元朝廷发生内乱，为官贪赃的御史大夫（最高监察机关长官）铁失与知枢密院事（最高军事机关长官）也先帖木儿等人发动政变，杀死元英宗和拜住，立晋王也孙铁木尔为帝。也孙铁木尔即位为帝后将铁失和也先帖木儿处死。之后，朝廷数次召请张养浩回去任职，张养浩亦都没有赴任。
张养浩退隐后淡泊名利，以气节自守，以吟诗作曲为娱。他在曲中写道：“那的是为官荣贵，止不过多吃些筵席，更不呵安插些旧相知。家庭中添些盖作，囊箧里櫮些东西，教好人每看做甚的”（《朱履曲》，张月中等主编《全元曲》张养浩散曲）；“无官何患？无钱何惮？休教无德人轻慢。你便列朝班，铸铜山，止不过只为衣和饭，腹内不饥身上暖。官，君莫想；钱，君莫想”（《山坡羊》）；“功名事一笔都勾，千里归来，两鬓惊秋。我自无能，谁言有道，勇退中流。柴门外春风五柳，竹篱边野水孤舟”（《折桂令》）。张养浩寄情山水，乐在其中，以致“不知余之为山，而山之为余也”（《标山记》，见王彬主编《古代散文鉴赏词典》）。
天历二年（1329年），关中地区（位于今陕西省渭河平原）发生严重旱灾。张养浩听说灾区发生人吃人的现象，再也于心不安。他毅然离开闲适的环境，接受朝廷任命，出任陕西行台（治所位于今陕西省西安市）中丞（主管陕西、四川、云南、甘肃四行省监察），参加赈灾救民。
临行之前，张养浩将家中所有财产分散送给当地的贫困乡亲。他到任后救死扶伤，不分昼夜，深受民众爱戴。在《喜春来》一曲中，张养浩写道：“路逢饿殍须亲问，道遇流民必细询，满城都道好官人。还自哂，只落的白发满头新。”
张养浩全力以赴投入救灾，吃住都在官府，夜以继日忙于公务，“到官四月，未尝家居”。他常常为灾民疾苦而忧伤痛哭，由于操劳过度而一病不起。当年十二月，张养浩病逝于救灾前线，终年六十岁。关中百姓听说张养浩劳累而死，悲伤得如同失去父母。
《元史》卷一百七十五《张养浩传》
卷二十八《英宗本纪二》
卷二十九《泰定帝本纪一》
【简评】
张养浩是元代很有独到见解的政治家。他为官爱民，急民众之所急，想民众之所想，始终把民众的疾苦、民众的利益放在心上，堪称为官者的楷模。