自公元263年魏灭蜀之后，三国鼎足之势变成了魏、吴的南北对峙。晋武帝代魏之后，雄心勃勃，“密有灭吴之计”，统一全国就摆上了议事日程。和晋的强势相比，吴国却是夕阳昏鸦，吴主孙皓昏庸、残暴、荒淫，为了使东吴美女只供自己一人享受，竟禁绝民间婚嫁。又嗜杀成性，大臣们常无辜被他挖眼、剥脸皮和砍掉双脚等，致使民心离散，将帅北归。

要不要兴兵灭吴，在西晋朝廷形成对立的两派。以羊祜、杜预、王濬、张华为一派，屡有讨伐吴国的建策，而以贾充为一派的，则坚定反对。两派意见，针锋相对。但晋武帝最终倾向于贾充的意见。

贾充是晋武帝的宠臣，在司马氏夺取政权的关键时刻，曾下令杀死了魏帝曹髦，受到司马昭的器重。后来又在立储事件中帮助司马炎战胜司马攸，因此晋武帝对他特别信任。他对晋武帝分析说，当年曹操以百万之众，碾草成灰，犹败于赤壁。东吴有长江天险，且善水战，北人难以取胜。此时对吴作战，“非其时也”。劝晋武帝不要拿江山去冒险。晋武帝被他说动了，也认为，江东经过孙权父子几代人的统治，雄厚的根基尚在，正所谓“百虫之足，死而不僵”。暂时搁置了灭吴之事。虽然表面上搁置了，但暗中无不加紧做着积极的战争准备。

泰始五年（269年），司马炎任命尚书左仆射羊祜坐镇襄阳，着手灭吴的准备工作。使晋军由“军无百日之粮”变为“有十年之积”。

泰始八年（272年），又派羊祜部下名将王濬为益州刺史，密命他在长江上游训练水军，建造战船，“为顺流之计”。王濬遂着手做“大船连舫，方百二十步，受二千人，以木为城，起楼橹，开四出门，其上皆得驰马往来……舟楫之盛，自古未有。”一支强大的水军在长江上游逐渐建立起来了。羊祜死后，又向朝廷推荐杜预，让他继续完成自己未尽的事业。杜预是个卓越的统帅，他到任后先设了一道离间计，让孙皓换掉了颇有能力的西陵总督张政，削弱了吴军的西线实力。