1940年冬，张灵甫出任74军58师副师长。

　　1941年3月15日，张灵甫代理58师师长（58师师长廖龄奇当时去湖南岳麓山参加军官训练团学习，不在任上）指挥58师参加上高会战，作为上高会战的首功部队74军的核心部队58师与余程万的57师一起与日军血战11日，在其他部队到达后，率58师首先反击，重创日军34师团，33师团，上高会战74军歼敌16000人，缴获骏马2800匹，击落敌机一架.击毙日军中将、少将各一名，74军在战役中“拼死力拒，虽血肉横飞、伤亡惨重，仍不稍退，是日一日间敌我伤亡均在四千以上”，被罗卓英评价为“战斗力量坚强”！(荣获国民政府第一号武功状和最高荣誉“飞虎旗”，被誉为抗日铁军。何应钦称之为“开战以来最精彩之作战”)

　　1941年9月26日，第二次长沙会战，日军调集南京大屠杀的元凶第6师团，精锐的第3师团，以及第40师团围攻74军，在永安58师孤军作战，与日军精锐的第3师团主力和第6师团一部混战，第3师团在作战期间损失严重，仅步兵第18联队就死了八个中队长，花谷旅团伤亡人数据日方的报告达八百余人，11军军长阿南惟几在永安之战后认为该师团损失甚大，以致不忍使该师团再向株洲追击一事来看，日方战史所报的该师团实际损失人数很可能大为缩水。58师在第二次长沙会战中参战官兵为官兵约一万一千九百人，伤亡超过百分之四十，其中阵亡将近百分之十。

　　1941年10月24日张灵甫接任58师师长。

　　1942年6月浙赣会战，张灵甫率58师在衢州外围与日军血战3日，击毙敌86联队第3大队队长长岛田仁次郎，74军伤亡4000余人。

　　1943年6月张率58师参加鄂西会战.6月6日，74军58师与51师携手打击日军独立混成第17旅和第3师团，两师协同夹击敌独立混成第17旅团，使得该旅团成为日军在鄂西会战中损失最大的一支部队，其独立步兵第87大队大队长浅沼吉太郎和第88大队大队长小野寺实也在这两天的战斗中殒命。6月13日，张灵甫率58师主力收复公安。

　　1943年11月常德会战，日军精锐南京大屠杀元凶13师团主力5个联队猛攻慈利，慈利地区正面主阵只有张灵甫58师孤军作战，日军另一精锐师团第3师团全部和13师团剩余部队一起与74军另一师51师，100军激战在慈利附近地区，74军、100军顶住日军两个精锐甲种常设师团5昼夜的进攻，其中13师团慈利战后伤亡近一半，张灵甫转守为攻，向13师团残部发起猛攻，率58师收复黄石，九溪。58师略事整顿，于12月8日复向停留在漆家河畔的第13师团发起进攻，与51师一起夹击漆家河东北之敌，第13师团的最后防线终于被突破，敌师团长赤鹿理也在督战时负了伤。至此，张灵甫作为主力与51师携手歼灭日军南京大屠杀元凶13师团大部（这里歼灭包括击毙，击伤，俘虏）。张灵甫在常德战役外围作战表现突出，获颁云麾勋章一枚，他是因常德战役有幸授勋的少数将领之一，被蒋介石誉为“模范军人”。

　　在常德会战中74军57师8000之众面对日11军数万人马，死守常德16天，顽强抗击了日军陆、空、坦的协同攻击，在日军猛烈炮火甚至释放毒气情况下仍死战不退，伤亡殆尽.时值开罗会议期间，57师的英勇奋战极大的提高了国威、军威，给罗斯福总统的留下极为深刻的印象，还专门在备忘录上记下余程万师长的名字。着名作家张恨水就根据常德之战写出一部名叫《虎贲英雄》的小说。为纪念74军为国捐躯的牺牲将士，常德人民自发募捐，于1944年3月在市青年路东侧修建占地达30000平方米的阵亡将士墓地，作为永远的纪念。