于成龙在罗城六年，政绩卓著，升任四川合州（今合州）知州。1667年的一天，天未亮，于成龙穿着洗得发白的官服，带着一个随从悄然离开了罗城。清晨，罗城人民闻讯奔走呼号，追出几十里，当看到那熟悉的身影消失在万山之中时，都不禁哭了起来。

 

明末，四川是饱受战火的地方。为了安定地方、恢复经济，于成龙就任合州知州后，立即废除了一些扰民的积弊，在官场中提倡俭朴，他本人则身体力行。人们经常看到，身为知州的于成龙不乘轿，也不摆仪仗，只骑一匹瘦弱的老马，带着一个随从出现。大乱之后人口锐减，土地大片荒芜。他召集流民，贷给耕牛、种子，让他们垦荒，一时百姓从者纷纷，户口迅速增加，既解决了人们的吃饭问题，也为国家增加了收入。他又建学宫、祭孔子，恢复地方的文化事业。

 

1680年，于成龙升任直隶巡抚，不久，又升任江南、江西总督。清代初期的吏治比较清明，康熙帝更是一代贤明的君主，因此，于成龙按步升迁，二十年间从七品知县升至封疆大吏，但他始终是一个深受人们爱戴的清官。

 

清代前期官员的俸禄极低，虽贵为总督、巡抚，每年俸银也只有不到十两，这对于那些挥金如土的大官僚来说，尚不够一衣一餐之用，即使节俭使用，不搞排场，也只能维持中下等的生活。但对大多数官员来说，并不在乎俸银的高低，因为他们另有生财之道，这就是通过“火耗”来贪污。每年，官吏要把从民间征收来的大小不一、成色各异的赋税银子重新熔铸，使其成色、大小一致。在熔铸中必然要有损耗，于是，官吏便在法定赋税之外再征收一定比例的银子，来弥补这一损耗。其实火耗不足1%，而官吏却要征收10%　～ 50%的火耗，各级官吏从中分贪。对此，朝廷是默许的。“三年清知府，十万雪花银”就是这样来的。于成龙只靠俸禄生活，此外一钱不贪，因此，他生活清苦并非故作姿态，而是不得不如此。1681年，康熙帝特地下诏，表彰他“廉明著闻”、“一介不取”，并念其家计薄凉，赏银一千两、马一匹，以示鼓励。

 

于成龙除早年任罗城知县外，其余都是在富庶地区担任要职，发财很容易，但他十分清廉，为官多年从不带家属随任，随身财物也仅是一个竹箱、两只锅、书籍文卷数十束，此外便身无长物了。

 

于成龙初任直隶巡抚，立刻下令严禁各级官吏分贪火耗，并罢免了几个违反规定的州县官吏，震动了官场。直隶地近北京，历来为朝廷重视，八旗军民势力较大。他们仗着自己的特殊身份，常做些为害地方、欺压百姓的事，于成龙对此做了很多工作。他编保甲，严连坐，锄豪强，还经常亲自或派人深入民间访察，凡有犯法者严惩不贷。他还注意民间疾苦，每有灾荒他都力请赈济，妥善安排。康熙帝称他为“天下第一清官”，并希望他能始终一节。

 

于成龙多年为官，没能奉养母亲，这一直是个憾事。他在就任江南、江西总督之前，母亲去世，他回乡葬母，然后赴任。按照清代制度，沿途地方对他有接待之责，但他自雇一辆骡车，从不打扰地方，悄然无声地到达任所。他任江南、江西总督期间，革除积弊，安定地方。为了了解民风世俗，他经常微服出访，一时在民间传为美谈。为了提倡清廉，他告诫部下：“若一味爱钱，只恐子孙纵会做文字，绝不出头。更恐神鬼怨恨，生出瞎眼子孙，上长街唱莲花落，要看字也不能够了。莫笑老夫迂谈。”江南风俗多尚侈丽，于成龙却常身穿布衣。见长官如此，一些官吏也不得不收敛。于成龙年事已高，但俭朴如初，他每餐粗茶淡饭，常年以青菜佐餐，很少吃鱼肉，所以江南人民善意地给他起了个绰号——“于青菜”。