司马昭的儿子司马炎称帝(晋武帝) 后，便积极筹划消灭孙吴政权的战争，以实现统一全国的大业。泰始五年(269年)，司马炎特地调任羊祜为荆州诸军都督。

当时，西晋和孙吴各有一个荆州，形成南北对峙局面。西晋的荆州包括今天的陕西、河南的一小部分和湖北北部地区。吴国的荆州则有今天的湖北和湖南的大部分地区。晋吴间的边界线以荆州为最长，所以这里是灭吴战争的关键地区。羊祜到任后，发现荆州的形势并不稳固。不但百姓的生活不够安定，就连戍兵的军粮也不充足。

于是，羊祜首先把精力放在开发荆州方面。他把军队分作两半，一半执行巡逻戍守的军事任务，一半垦田。当年，全军共垦田八百余顷。羊祜刚来时，军队连一百天的粮食都没有，到后来，粮食积蓄可用十年。羊祜的这些措施迅速地安定了荆州的社会秩序，增强了军队的战斗力；他大量开办学校，兴办教育，安抚百姓，并与吴国人开诚相待，凡投降之人，去留可由自己决定。

就在羊祜上任后的第二年，吴国在荆州的都督也换上著名的军事家陆抗。陆抗就是当年火烧连营七百里，在彝陵大败刘备的孙吴大将陆逊的儿子。他到荆州后，注意到西晋方面羊祜的动向，立即上疏给吴主孙皓。对荆州的形势表示忧虑，他提醒孙皓不要盲目迷信长江天堑，应该认真备战。

陆抗的到来，也同样引起羊祜的警惕和不安。因此，他一面加紧在荆州进行军事布置，一面向晋武帝密呈奏表，建议利用长江上游的便利条件，在益州(今四川地区)大办水军，为最终的伐吴战争做好军事上的准备。为此，他采取了军事蚕食和提倡信义的两面策略，以积蓄实力，瓦解对方，寻找灭吴的合适时机。在荆州边界，羊祜对吴国的百姓与军队讲究信义，每次和吴人交战，羊祜都预先与对方商定交战的时间，从不搞突然袭击;有部下在边界抓到吴军两位将领的孩子，并以此冒功领赏。羊祜知道后，马上命令将孩子送回。后来，那两位少年的父亲也率其部属一起来降；而对那些敢于进犯的敌军将领，羊祜将他们一一追杀，然后，又嘉赏他们死节而厚礼殡殓。他们的子弟前来迎丧，羊祜又以礼送还；羊祜的部队行军路过吴国边境，收割田里稻谷以充军粮，但每次都要根据收割数量用绢偿还。打猎的时候，羊祜约束部下，不许超越边界线。如有禽兽先被吴国人所伤而后被晋兵获得，他都送还对方。羊祜这些做法，使吴人心悦诚服，十分尊重他，不称呼他的名字，只称“羊公”。