东晋南朝在江南建国，水军是重要的武装力量。这一时期水军普遍装备“拍舰”,使用大型抛石机进行水面战斗。与之对峙的十六国及以后的北朝都是长于骑兵而水军较弱，但是北方统一后，隋朝大大加强了水军建设。杨素提出进攻江南的方略，并在永安（今四川奉节东）主持建造一批大型战舰：“五牙”,有楼5层，并仿照南朝拍舰，在舰只的前后左右设置6架抛石机，全舰可容纳800名士兵；“黄龙”,可容纳100名士兵；以下还有“平乘”、“舴艋”等。588年隋朝发动全面攻势：杨素率水军主力从永安出发顺流而下，燕荣率领另一支水军自东莱沿海南下包抄，步骑兵主力则逼近长江北岸，准备在南陈水军被消灭后分两路渡江。杨素所率的水军主力出三峡，以数千艘“黄龙”乘夜攻破南陈水军以百余艘“青龙”舰组成的狼尾滩封锁线。“水军东下，舟舻被江，旌甲曜日”,杨素坐平乘大船，容貌雄伟，被南陈人称为“江神”.在荆州的水战中，隋军的4艘五牙战舰击毁十多艘陈军战舰，南陈水军主力被歼灭。隋水军主力顺利到达汉口，与步骑军主力会师，保证了步骑军一举渡江成功。隋朝另一路包抄的水军也顺利攻下江南的重镇江阴、吴郡以及会稽等地。隋朝只用一年时间就获得南北统一战争的全面胜利，说明其水军具有对于南朝水军的压倒性优势。
　　
　　唐朝初年在统一全国战争中组建水军，以后又为征讨高丽组建起庞大的海军。如660年苏定方率领这支海军降伏百济（朝鲜半岛西南部）。第二年当地叛唐，刘仁轨坚守府城，唐朝又派出孙仁师“率兵浮海以为之援”.刘仁轨率领援军在白江口与前来干涉的日本海军连续作战，四战皆捷，焚毁400余艘敌船，“烟焰涨天，海水皆赤”.得以平定百济。但是以后唐朝的军事重心移往北方边境，水军建设逐渐萎缩，并没有建立常备的水军编制。
　　
　　北宋时期在朝廷直属的军队中设有“虎翼水军”,各地部署的水军很少。南宋则倚靠水军守边，在江淮之间组建大批水军部队，有“凌波军”、“楼船军”等名号。“其战舰则有海鳅、水哨马、双车、得胜、十棹、大飞、旗捷、防沙、平底、水飞马之名”.以后又在沿海地区部署水军，仅驻防各战略要地的水军编制约有33000人，另外还有直属于御前的虎翼水军等为机动部队。
　　
　　元朝军队以骑兵为主力，但在攻略南方的过程中充分注意到水军的重要性。1260年忽必烈即位当年就组建了第一支水军，任命张荣实为第一位“水军万户”.1268年阿术率领元军围攻襄樊，南宋降将刘整建议：“我精兵突骑，所当者破，惟水战不如宋耳。夺彼所长，造战舰，习水军，则事济矣。”元军迅速造船5000艘，同时训练水军7万。1269年宋援军赶到，元军将新练水军投入战斗，击败宋军，“大破之，杀溺生擒五千余人，获战船百余艘”.从此水上战斗形势逆转，宋军多次从水上来援都被打败。元军将领阿里海牙以水军焚毁宋军连接襄阳和樊城的浮桥，断绝两城联系，各个击破。1273年先下樊城，后下襄阳。这次战役的胜利说明元军的水军实力已超过宋军。以后在元军南下过程中，接连打败宋水军。1275年宋将张世杰率水军在镇江焦山一带长江与元军决战，结果大败。元军同时还组建海军，在渡江进攻的同时，董文炳率领的水军也已从海道逼近南宋都城临安。以后元朝又招降南宋泉州一带的海军将领蒲寿庚，从而在海军方面也超过南宋残军。1279年张弘范指挥元军舰队在崖山海面与宋军决战。宋军将上千艘舰只抛锚固定在海面上，在船只上建立楼橹，如一座水上城市。张弘范指挥元军两路包抄，迫近宋军舰只进行接舷近战，“弓弩火石交作，顷刻并破七舟”,宋军溃败。南宋朝廷至此彻底灭亡。元朝统一全国后，继续以水军为主力向外扩张，但1281年进攻日本和1282年进攻占城，水军损失极其惨重。以后停止使用水军为主力对外进行大规模扩张。各地编练的水军改为驻防为主。