在国民党与我党签订停战协定后，晋冀鲁豫军区部队除坚决执行和维护停战协定，击退敌人对我解放区的蚕食和偷袭外，各部队展开了大练兵运动，并积极参加地方减租减息和生产运动，为对付国民党发动全面内战作了充分的准备。

1946年6月，国民党军队在美帝国主义的支持下，向解放区发动全面进攻。晋冀鲁豫军区处于解放区南线的中央，除要粉碎敌人对本区的进攻外，还担负着前与中原、左与华东、右与陕甘宁我军进行战略配合和策应的重要任务。据此，军区于6月27日，以第3、第6、第7纵队(后增加第2纵队)和冀鲁豫军区主力一部组成野战军，由刘伯承、邓小平等率领，担负豫东方向的作战任务。接着，于7月14日组成野战军指挥部，由邯郸开赴冀鲁豫前线指挥作战。军区的工作由滕代远、薄一波等负责。

1946年7月至10月间，晋冀鲁豫野战军在刘伯承、邓小平的指挥下，连续取得出击陇海、定陶、巨野和鄄(城)南等战役的胜利，予敌以沉重的打击。与此同时，陈赓率领的第4纵队和太岳军区部队，在晋南辗转机动作战，接连取得闻(喜)夏(县)、同蒲、临(汾)浮(山)等战役的胜利。军区各地方武装依靠广大人民群众开展游击战争，有力地配合了野战军作战。1946年11月至1947年2月，第4纵队在晋绥部队的协同下，取得吕梁、汾(阳)孝(义)战役的胜利；野战军主力取得了滑县、巨(野)金(乡)鱼(台)等战役的胜利。1947年3月-5月, 为粉碎敌人对山东和陕甘宁解放区的重点进攻，野战军又分别在晋南和豫北进行战略性反攻，歼敌6万余人，克城30多座，并为转入战略进攻创造了有利条件。

在此期间，为建立战略机动的枢纽，1946年12月12日，以冀鲁豫军区水东军分区与华中军区第8军分区扩建为豫皖苏军区，张国华任司令员，吴芝圃任政治委员。同年12月20日，第1纵队由晋察冀军区归建。1947年3月16日，第1纵队与第7纵队合并为第1纵队，由杨勇任司令员，苏振华任政治委员。

到1947年6月，晋冀鲁豫军区部队已发展到42万人，其中野战军为5个纵队，炮兵和工兵的建设有进一步发展，各二级军区所辖独立旅已达10个。

遵照党中央关于以主力打到外线去，将战争引向国民党统治区域的战略方针，1947年6月10日，由刘伯承、邓小平率领的第1、第2、第3、第6纵队组成晋冀鲁豫南征野战军(亦称刘邓大军)，执行挺进中原创建大别山根据地的战略任务。6月23日，野战军指挥部率南征大军由安阳地区向楼阳、寿张地区出动。6月30日晚，刘邓野战军4个纵队12万余人在冀鲁豫军区部队的配合下，发起鲁西南战役，歼敌4个师部、9个半旅6万余人，揭开了战略进攻的序幕。

1947年7月2日，中共晋冀鲁豫中央局和军区决定以太岳、太行、冀南、冀鲁豫军区主力与原中原军区部队一部(原第5师)，依次组成第8纵队(辖新组成的第22、第24旅和第23旅)，由王新亭任司令员；第9纵队(辖第25、第26、第27旅), 由秦基伟任司令员、黄镇任政治委员；第10纵队(辖第28、第29、第30旅)，由王宏坤兼司令员、刘志坚任政治委员；第11纵队(辖第31、第32、第33旅)，由王秉璋任司令员、张霖之任政治委员；第12纵队(辖第34、第35旅)，由赵基梅任司令员、文建武任政治委员。