1862年4月，李鸿章率淮军抵达上海不久，正遇上那里有外国人组成的武装——洋枪队和外国军舰。他总觉得同样是军队，为什么外国军队的战斗力那样强呢？

他要解开这个谜。找许多书来看，看完后，还觉得不过瘾。于是想出个主意——微服私访。主意打定，李鸿章就真的就化装成一个小老百姓的样子，溜上了停泊在长江口的一艘外国军舰。洋人的武器装备与军纪，让李鸿章感到震惊。

于是，他决定从他手中这支部队做起，引进先进的武器装备，改革落后的兵制。

当时，李鸿章淮军的武器装备除刀、矛、弓、矢等冷兵器外，就是传统的鸟枪、抬枪和劈山炮。于是，他先是通过他的亲哥哥李瀚章向洋人加急订购3000支洋枪，到货后，于1862年7月首先将其兵营改为洋枪队。

这支洋枪队真给李鸿章做脸，8月就在七宝街和北新泾之战中大败太平军。李鸿章更坚定了更新装备提高战斗力的决心，同年9月，李鸿章着手开始营制的改编，将各营之鸟枪队改为洋枪队，改编后的淮军装备为：每营共有洋枪328支，洋枪兵占全营战兵总数的71.6%。

1863年初，李鸿章又开始在淮军中建立炮队。原来，中国军队的炮兵是步兵的一部分，从来没有独立执行过作战任务。这次，李鸿章专设洋炮队，独立于步兵，成为中国最早的独立炮兵。到6月间，淮军每营都有劈山炮40尊，炮兵占全营战兵总数的26.2%。这一改革使淮军的战斗力大为增强。到1877年，淮军炮营，已成为可以独立执行作战任务的炮兵部队。

李鸿章不仅注意到了武器装备的更新，而且还认为，如果不强化训练，建立近代化的军队，也是一句空话。

李鸿章用新式战法训练军队通过两个途径完成：一是雇外国军官担任教练顾问。二是拨军队由外国军官训练。

一开始，那些土里土气、没有文化的农民出身的士兵并不懂得如何使用洋枪和洋炮，李鸿章就让外国教练手把手地辅导。

有空时，李鸿章还自己搬把椅子，坐在教练场看士兵演练。有一次，发生了士兵因操练失误导致弹药被引爆，炸死20多名官兵的事件。但是，李鸿章一点都没有动摇训练改革的决心。他说：“世间没有唾手可得之果，待兵士百发百中之时，将无坚不摧！”