张伯行，清顺治九年生人，字孝先，号敬庵，一号恕斋。他家是地主。他爷是个乡贤，他爹也是。他爹打小就跟他说，“你将来要是当官，当以廉洁报效朝廷。若受人一钱，不惟不忠，且是不孝。”他牢牢记下了。这个人会读书，13岁就读通了四书五经。30岁中了举人。34岁殿试三甲八十名，赐进士出身。41岁补授内阁中书。内阁中书是从七品，掌管撰拟、记载、翻译、缮写之事。张伯行当了没多久就改了中书科中书。然后，就回老家丁忧去了——他爹没了。
康熙三十八年（1699年）六月，黄河大水，仅距故道不到3里的仪封北堤被冲垮，情势紧急。正在家中赋闲的张伯行二话没有，自行招募民众，用麻袋装土的办法堵住了堤坝缺口，疏解了险情。河道总督张鹏翮事后一查，大为称奇，这样的人怎么能让闲着呢，马上给康熙打报告，让帮着治水。康熙爷一看，准，恢复原职，赶紧到位。张伯行走马上任，跑河堤上看了看，感慨，“予观河工之坏，往往坏于不学无术之人。”写了个“治河十议”提交上听。督修黄河南岸河堤200余里，筹划水道，使蓄泄得宜，漕运畅通。
因他的尽心勤敏、诚实有守，又被推荐到山东济宁道治理水患。康熙四十二年（1703年），张伯行到任，眼见百姓流离失所，饿殍遍野。马上从自家运来钱、米，并让人缝制棉衣，拯救灾民于饥寒之中。之后，康熙下旨分道赈济，张伯行被派往汶上、阳谷二县。一到地方，马上拿出仓谷2万余石，令灾民得活。山东市政使因此责备他“专擅”，准备上奏弹劾。张伯行说：“灾情重大，如不急加赈济，灾民性命不保，谁来承担这个责任？假如因擅动粮谷而问罪官员，恐怕以后官员们都以此为戒，只求自保，不顾百姓性命，流弊更为巨大。”布政使一听言之有理，就不弹劾了。
康熙四十五年（1706年），张伯行任江苏按察使。一不带眷属，二不带随从，生活日常均从家中带去。按惯例，新官上任，先上见面礼，随便给巡抚、总督4000两白银即可。张伯行算了算，要是不靠贪污，自己得不吃不喝20年，才能挣够这么多钱。不由愤不平，“我为官，誓不取民一钱，安能办此！”送了仪封的土特产。督府大人一看，这小子是打发要饭的？“拿走拿走，我们清廉一生，安能受此大礼。”张伯行坦然受之。回头，在辖区整顿吏治，革除弊病，令百姓大喜。他做的不亦乐乎，别人却当他是另类，不光不和他来往，还排挤他。康熙四十六年正月，皇帝南巡，让举荐贤良。当地官员拉了一长溜名单，康熙看完了，没找到张伯行，火了，“我早就听说过张伯行的清廉，这样的栋梁不用，你们到底还要举荐什么样的人！”说完，把张伯行从人群中叫出来，当着众人面对他说，“朕久识汝，朕自举之。他日居官而善，天下以朕为知人。”当场任命张伯行为福建巡抚，并赐“廉惠宣猷”匾额。
福建地方有个特点，人多地少。粮食不够吃，每年从外地进。这事官府懒得管，奸商们管，他们囤积居奇，贱买贵卖，牟取暴利。老百姓叫苦不迭。张伯行查了，当即拍板，政府出钱，从江西买粮，平价卖。此外，他还赈济灾荒，设置社仓，储备荒年；以身作则，捐献衣物钱财，在他任职期间，百姓没有一个因灾荒和饥饿而背井离乡的。
康熙五十年（1710年），张伯行上书，“我病了，我退休。”康熙说，“知道了，不准退。”这年，江苏乡试，发生了作弊，副主考赵晋内外勾结串通，大肆舞弊，发榜时，苏州学子大哗。康熙命张伯行、噶礼同户部尚书张鹏翮、安徽巡抚梁世勋共同会审。一个月没审出个头绪，噶礼在里边受贿了白银五十万两。张伯行愤而上奏。噶礼知道了，反告张伯行。主审官怕噶礼，嘎礼是满人，他娘是康熙的奶妈，这案没法审。康熙只好下道旨，两个一同免职。又让主审官审。百姓听见了，不干了，罢市抗议，哭声震天。跑到会所见张伯行，不送银，不送金，送水果蔬菜。张伯行说，“我不能受。”百姓哭，“公在任，止饮江南一杯水；今将去，无却子民一点心！”张伯行只好收了一把青菜。等他受完审，回来又路过这里，百姓纷纷前来护送他，生怕他有什么测。等结果下来，出乎人意料，居然噶礼免议，张伯行革职治罪。这下捅炉子了，康熙爷第一个不干。搞什么搞，你们怎么查的。自己去查，居然仍是张伯行舞弊。康熙不信，另派人去调查，答案依旧。康熙马上换人，再去调查。一而再，再而三，都是张伯行的错。康熙火了，说，“我就不信，天下乌鸦一般黑。”派了最最心腹的去。果然，张伯行没舞弊。康熙高兴了，大笔一挥，“天下清官第一”，让人拿给张伯行，“给朕挂门头上去。”
雍正元年（1723年），张伯行升礼部尚书，两年后病逝，谥号“清恪”，意思是为官清廉，恪尽职守。
