东汉后期舟师一般改称“水军”。如208年曹操准备一举攻略江南，在邺都开挖玄武池训练水军。刘备退到江夏，仅存关羽指挥的“水军万人”。赤壁之战，曹操精心操练的水军几乎全部被歼灭。但第二年即重新“作轻舟，治水军”。到曹魏代汉时，已建有一支完整的水军，有能力以水军发动东征，进攻东吴。三国中东吴的水军最为强大，建有濡须口（今安徽巢县南）、西陵（今湖北宜昌）两大水军基地，防备来自西、北两方面的威胁。同时还建造大型海船，渡海远征。如230年卫温率载有万人以上的舰队登陆台湾。东吴水军还曾远征辽东、海南岛等地。后来西晋准备灭吴时，大将王浚编练水军，建造大型楼船，得以突破吴军封锁线。

东晋南朝在江南建国，水军是重要的武装力量。这一时期水军普遍装备“拍舰”，使用大型抛石机进行水面战斗。与之对峙的十六国及以后的北朝都是长于骑兵而水军较弱，但是北方统一后，隋朝大大加强了水军建设。杨素提出进攻江南的方略，并在永安（今四川奉节东）主持建造一批大型战舰：“五牙”，有楼5层，并仿照南朝拍舰，在舰只的前后左右设置6架抛石机，全舰可容纳800名士兵；“黄龙”，可容纳100名士兵；以下还有“平乘”、“舴艋”等。588年隋朝发动全面攻势：杨素率水军主力从永安出发顺流而下，燕荣率领另一支水军自东莱沿海南下包抄，步骑兵主力则逼近长江北岸，准备在南陈水军被消灭后分两路渡江。杨素所率的水军主力出三峡，以数千艘“黄龙”乘夜攻破南陈水军以百余艘“青龙”舰组成的狼尾滩封锁线。“水军东下，舟舻被江，旌甲曜日”，杨素坐平乘大船，容貌雄伟，被南陈人称为“江神”。在荆州的水战中，隋军的4艘五牙战舰击毁十多艘陈军战舰，南陈水军主力被歼灭。隋水军主力顺利到达汉口，与步骑军主力会师，保证了步骑军一举渡江成功。隋朝另一路包抄的水军也顺利攻下江南的重镇江阴、吴郡以及会稽等地。隋朝只用一年时间就获得南北统一战争的全面胜利，说明其水军具有对于南朝水军的压倒性优势。

唐朝初年在统一全国战争中组建水军，以后又为征讨高丽组建起庞大的海军。如660年苏定方率领这支海军降伏百济（朝鲜半岛西南部）。第二年当地叛唐，刘仁轨坚守府城，唐朝又派出孙仁师“率兵浮海以为之援”。刘仁轨率领援军在白江口与前来干涉的日本海军连续作战，四战皆捷，焚毁400余艘敌船，“烟焰涨天，海水皆赤”。得以平定百济。但是以后唐朝的军事重心移往北方边境，水军建设逐渐萎缩，并没有建立常备的水军编制。

北宋时期在朝廷直属的军队中设有“虎翼水军”，各地部署的水军很少。南宋则倚靠水军守边，在江淮之间组建大批水军部队，有“凌波军”、“楼船军”等名号。“其战舰则有海鳅、水哨马、双车、得胜、十棹、大飞、旗捷、防沙、平底、水飞马之名”。以后又在沿海地区部署水军，仅驻防各战略要地的水军编制约有33000人，另外还有直属于御前的虎翼水军等为机动部队。