一九二五年三月，张作霖依据“鲁人治鲁”的原则，向段祺瑞提出，由张宗昌督鲁的要求。于是张宗昌逼走皖系的郑士琦，继任鲁督。这以后张宗昌就更加积极地给张作霖充当“打手”。
奉系军阀张作霖，为了保全自己的实力，总是让别人去打头阵、当炮灰。郭松龄事件以后，张宗昌与李景林，因为受不了东北军人排外意识的歧视，竭力结交吴佩孚。张与吴同为山东老乡，接上关系后。张愿意拥戴吴为名义上的领袖。
只是，张作霖很快平定了郭松龄，其后还罢免了李景林；而吴佩孚的势力却一天天地衰败了下去。张宗昌也就只有继续跟着张作霖混下去了。
一九二七年六月十八日，张作霖在怀仁堂就任安国军海陆大元帅。张宗昌也算是推戴首功的。
十月，张宗昌的鲁军与冯玉祥的军队在陇海线上展开激战。十一日，鲁军由砀山以西杨集进攻马牧集，此时冯军中路刘镇华担任由兰封、考城进攻菏泽、定陶一线。刘部旅长姜明玉与鲁军师长潘鸿钓相勾结，倒戈内变。诱擒了冯军第八方面军副总指挥郑金声。并解往济南。
冯将鹿钟麟逃往开封。冯军第五十三师王鸿恩向鲁军第三军程国瑞投降。十月三十日，冯军反攻时，王鸿恩又倒戈做了冯军的内应。至使鲁军大败。
张宗昌气急败坏，于十一月六日，把作为战俘的郑金声枪杀了。也就有了一九三二年九月三日，郑继成受韩复榘指使，声言为报父仇，枪杀张宗昌的后事。
一九二五年四月张宗昌任山东督办，并兼省主席。在其任内苛酷残忍。人民除交纳一般赋税之外，还有所谓食盐税、讨赤捐、地方公债等。军队所需米面柴火等更是掠取民财。搞得民怨沸腾。于是送给他一个外号叫做“狗肉将军”
当时张宗昌还有一个外是叫“三不知将军”，第一他不知道手下有多少兵，第二他不知道自己有多少姨太太，第三是不知道他聘用了多少参议、顾问。一九二七年他用去了五千余万的军饷，却有八、九个月的军饷没有法子发下去。山东农民无力缴纳他名目繁多的捐税，纷纷逃出故乡。
张宗昌的军队号称四十万人，都是靠剥削山东人民来养活，把山东搞得到了罗雀掘鼠的地步了。
张作霖责备他兵多不精，张宗昌便搞起了“精兵”。
他在济南对其部队进行改编，而编余的士兵纷纷占山头，落草为寇。张宗昌的部队本来多是收编土匪而来的。因此大家讥诮张宗昌往日是化匪为兵，今天是化兵为匪。
在鲁南前线的军队，大多是土匪转化而来的。他们勾结当地土匪进行军火买卖。
当时的士兵说不清何时受到北伐军的攻击。也搞不清何时遭到当地上匪来劫夺枪支。为了壮胆一入夜就漫无目的的放枪。光这一项平均每晚每人消耗子弹就有二三十发。张宗昌严令禁止浪费子弹。这些愤怒的士兵们表示：“饭也不让吃饱，枪也不许放，还怎样跟你去打仗啊”。