戚继光率军之初，同僚和敌人都不把他放在眼里。一次，一支800余人的倭寇窜到浙江慈溪一带沿海，将数倍于自身兵力的明军打得大败。戚继光率军救援，他跳到一个高处，弯弓搭箭，一连三箭，把三路倭酋一一射倒。贼首束手就擒，敌人作鸟兽散，明朝将士连连称赞。鸳鸯阵是戚继光在抗倭战争中独创的一种阵法，此阵法以十一人为一队，居首一人为队长，旁二人夹长盾，又次二从持狼筅，复次四从夹长矛、长枪，再次二人夹短兵。阵法可随机应变，变纵队为横队即称两仪阵，两仪阵又可变为三才阵。

戚继光虽然以三箭退敌，但他深感明军存在严重问题，整肃军纪、加强装备、提高战斗力才是致胜的关键。原先世袭的旗军战斗力太差，戚继光多次上书请求招募新军。他说:“现在的官军，平时不训练，行军不带粮，打仗时没有统一号令，驻扎时不会安营扎寨，这样的军队，绝不可能抵挡身经百战、有必死之心的倭寇！”在戚继光的一再坚持下，他终于被获准招募新兵。经过几个月的严密筛选和艰苦训练，他建立起一支以义乌农民和矿工为主的新军。戚继光还创造了“鸳鸯阵”战术，统一编组、统一口号、严肃军纪，大大提高了作战能力。

戚继光对属下士兵要求极其严格。一次，有官员到前线视察军队，突然间大雨如注，其它官兵一阵骚乱，有的甚至离队避雨，只有戚继光的军队纹丝不动，军容整齐。戚继光对军队严格要求，自己同样以身作则。有一次，戚继光率军到浙江乐清，恰逢天降大雨。当地的士绅百姓邀他入室避雨，戚继光说:“士兵们都在外面淋雨，统帅怎么可以独自进屋避雨呢？”戚继光治军有方，培养了严明的军纪。他领导的这支军队英勇善战，屡立战功，受到老百姓的支持和爱戴，被誉为“戚家军”。

嘉靖四十年，戚继光率军在浙江台州迎击来犯之敌，救出上万名被俘百姓，打出了戚家军的威风。浙江倭寇被消灭后，戚继光又转向福建，成功地捣毁了倭寇的老巢。凶残的倭寇心惊胆寒，畏之如虎，他们称戚继光为“戚老虎”。

此后几年，戚家军驰骋海疆，所向无敌。嘉靖四十五年，在中国沿海横行200年的倭患终被肃清。

隆庆元年，刚刚平定“南倭”的戚继光奉命北上抵御“北虏”。他先被任命为京军神机营副将，后被任命为蓟镇总兵，负责从山海关到京师的军政事务。这一时期，戚继光做了两件大事：练兵、修长城。

戚继光在抗击倭寇时，已经摸索出一套练兵的成功经验，但在关系复杂、积弊尤重的京畿地区，推行这套经验却实属不易。戚继光认为，要建立一支勇敢善战的军队，必须从三个方面入手，一是把普通百姓训练成有纪律、听指挥、技艺精、战术强的士兵；二是把军人培养成卫国保民、爱卒恶敌、谙韬略、习武艺的良将；三是改善武器装备，充分发挥其威力和作用。

在戚继光任蓟镇总兵不到三年的时间里，明朝北部最强劲的敌人、蒙古贵族俺答汗就放弃了敌对态度，接受明王朝的封贡，并表示永远不再南下骚扰。戚继光知道，俺答汗放弃对抗愿意合作，原因之一就是蓟镇的强大军事压力。所以，他一刻也没有放松对军队的操练。