谢石接受了朱序的建议。十一月，谢玄部刘牢之率精兵5000人开赴洛涧(今安徽怀定县西南洛水入淮处)，强行渡河，大破秦军5万人，斩了秦将梁成。初战告捷，东晋将士士气大振。

刘牢之(？～402) ，东晋名将。字道坚，彭城(今江苏徐州)人。官至征西将军，都督兖、青、冀、幽、并、徐、扬州和晋陵诸军事。出身将门，骁勇善战。377年应募参加兖州刺史谢玄统辖的“北府兵”，初任参军。在383年淝水之战时，他率精兵5000夜袭驻洛涧（即洛河，今安徽淮南市东）的5万前秦军，并分兵断其退路,使前秦军腹背受敌，迅速崩溃，争渡淮水。初战告捷，对整个战争的胜利起了重大作用。他因功晋龙骧将军、彭城内史。次年，随谢玄北伐，收复了今河南、山东、陕西南部等地区。后来在东晋朝廷内争中，兖、青州刺史王恭、骠骑大将军司马元显、荆州刺史桓玄等为争夺朝权，都拉拢手握强兵的刘牢之。刘对他们先靠后反，反复无常，致使将佐逐渐离散。不久，其兵权为桓玄所夺，被迫自缢。

谢石、谢玄随后指挥晋兵节节进逼，直逼寿阳。在深秋的寒风中，苻坚与苻融登上寿阳城楼远望，看到东晋军阵严整，转而眺望八公山，见草木摇动，以为都是东晋驻扎的士兵，身经百战的苻坚开始感到不安，脸上也不觉露出了惊虑与惆怅的神色。从最初的自信满满到寿阳城头的惊惧不安，苻坚的心理变化影响到了整支军队的士气，也制约了自身作为统帅的判断和决策能力。

东晋军与前秦军隔淝水遥相对峙，形势对晋军来说依然很严峻。东晋将帅与朱序合谋，经过精密策划，想出了一条妙计。谢玄派使臣告诉苻融说：“你们孤军深入，却在这淝水岸边扎营布寨，不利于速战速决。你们何不稍微向后退一退，让我们渡过淝水与你们一决胜负?”苻坚觉得答应对手的要求也未尝不可，等晋军渡河到一半时，便可以发动铁骑冲杀，杀他个措手不及。

于是苻坚就真的下令后撤。没想到，秦军这一退就乱了阵脚，竟然不可遏止，收都收不住，苻融连忙在后阵约束士卒。不曾想朱序又趁机夹在秦兵中大声呼喊：“秦军败了!秦军败了!”前秦大部分士兵是被强迫征来，无心与东晋作战，各族俘虏此时更是乱作一团，不可收拾。当晋军乘乱涉水过淝水时，他们在战场上相遇的，是一群早已溃不成军、正在自相蹈藉的乌合之众。晋军趁机大举进攻，迅猛追击，于乱军中杀死前秦前锋主帅苻融，苻坚也被乱箭射中。秦军溃不成军，听到风声鹤唳，都认为是东晋的追兵赶到，更加慌不择路，在饥寒交迫中日夜狂奔，仓皇逃回北方时，百万大军已失去了十之七、八。