1924年，中国共产党和中国国民党合作领导人民进行反帝反封建的社会大革命。1927年4月和7月,中国国民党内的蒋介石集团和汪精卫集团先后背叛革命，血腥屠杀共产党人和革命人民，使1924年开始的国共两党合作的反帝反封建大革命遭到失败。中国共产党从失败中认识到独立领导武装斗争的极端重要性。

1927年8月1日,以周恩来为书记的中国共产党前敌委员会和贺龙、叶挺、朱德、刘伯承等领导共产党掌握和影响的国民革命军2万余人在南昌举行起义,打响了武装反抗国民党反动派的第一枪。8月7日，中共中央在汉口召开紧急会议，正式确定实行土地革命和武装起义的方针。8月下旬，中共中央决定建立工农革命军。9月11日，以毛泽东为书记的中共湖南省委前敌委员会领导由农民、工人和革命官兵组成的工农革命军第1军第1师，在湖南、江西两省边界地区举行秋收起义。12月11日，中共广东省委书记张太雷和叶挺、黄平、周文雍、叶剑英等领导革命官兵和工人赤卫队举行广州起义。至1929年底，中国共产党还在洪湖、海(丰)陆丰、琼崖、黄(安)麻(城)、赣西赣南、湘南、弋(阳)横(峰)、桑植、闽西、渭(南)华(县)、平江、川东、百色、龙州等地区领导了百余次起义，创建了许多支工农革命武装。

湘赣边界秋收起义后，毛泽东率部向罗霄山脉中段转移。1927年9月29日到达永新县三湾村，进行改编，将部队缩编为工农革命军第1军第1师第1团，把党的支部建在连上，实行民主制度，制定革命纪律，为建设新型人民军队奠定了初步基础。10月，毛泽东率部到达井冈山地区后，开展游击战争，创建农村革命根据地。在井冈山斗争中，毛泽东为部队规定了打仗、筹款和做群众工作三大任务,制订了“三大纪律六项注意”(后来发展成“三大纪律八项注意”)，以及宽待俘虏的政策。1928年4月，朱德、陈毅率领由南昌起义军余部和湘南农军编成的工农革命军到达宁冈县砻市，和毛泽东部会师。两支部队合编为工农革命军第4军，辖3个师，共约1万人。5月以后，各地起义建立起来的武装陆续改称红军。1928年12月,彭德怀、滕代远率领由平江起义部队组成的红军第5军主力转移到井冈山，同红4军会合，编入红4军。

1929年1月，红4军主力向江西省南部和福建省西部挺进，开展游击战争。至1930年3月，挫败赣粤闽3省国民党军两次“会剿”，创建了后来发展成为中央苏区的赣南、闽西根据地。1929年12月，中共红军第4军前委根据中共中央“九月来信”，在福建省上杭县古田村召开中共红4军第九次代表大会(又称古田会议),总结红4军的建军经验，通过了《中国共产党红军第四军第九次代表大会决议案》，规定了红军的无产阶级性质和基本任务，明确了共产党对红军的绝对领导和政治工作的地位，解决了如何把以农民为主要成分的军队建成无产阶级性质的新型人民军队这个至关重要的问题。古田会议决议在中国人民解放军建设史上发挥了长远的指导作用。

1930年8月23日，中国工农红军第一方面军成立，朱德任司令员，毛泽东任政委。1931年11月，中国工农红军第四方面军成立，徐向前任总指挥。1933年5月，中国工农红军总司令部成立，朱德任总司令兼第一方面军司令员,周恩来任总政治委员兼第一方面军政治委员,刘伯承任总参谋长，王稼祥任总政治部主任。1934年，组成以第一方面军为主力的中央红军。

由于中共中央的路线错误，中央红军于1934年10月被迫进行长征。1935年1月，中共中央政治局在遵义召开扩大会议，结束了“左”倾冒险主义在中共中央的统治，实际上确立了毛泽东在红军和中共中央的领导地位,在极端危急的时刻挽救了红军,挽救了党。这是中国革命中具有伟大历史意义的转折。随后，由毛泽东、周恩来、王稼祥组成三人小组，负责指挥红军的行动。此后，中央红军经过四渡赤水等作战行动,渡过金沙江,摆脱了几十万国民党军的围追堵截。接着，强渡大渡河，飞夺泸定桥，翻越终年积雪的夹金山，于6月中旬到达四川省西部懋功(今小金)地区,与5月初撤离川陕苏区的第四方面军会师。10月19日，中央红军到达陕甘苏区的吴起镇(今吴旗县城)，结束了二万五千里长征。

1936年7月5日，中国工农红军第二方面军成立，贺龙任总指挥，任弼时任政委。10月，红军第一、二、四方面军在甘肃会宁回师，红军三大主力全部结束长征。陕甘宁革命根据地不断发展壮大，到1937年七七事变前夕，红军主力部队和地方部队已发展到74000余人。