1898年戊戌变法失败后，梁启超流亡日本，回望风雨飘摇中的祖国，深感国民精神的萎靡，转见日本军歌对培养其国民尚武精神的积极作用，不禁感慨道：“中国历代诗歌皆言从军苦，日本之诗歌无不言从军乐。”“吾中国向无军歌”，“于发扬蹈厉之气尤缺。”后来成为护国名将的蔡锷，当时更撰文痛言：中国“自秦汉以至今日皆郑声也”。

中国古代当然还是有军歌的，但总的实绩确实欠佳。

中国最早的军歌，当数《诗经》时代秦国抗击西戎入侵的一首《无衣》：“岂曰无衣，与子同袍；王与兴师，修我戈矛，与子同仇。”怎么说没有征衣？我们将同披战袍。大王已下令集合，赶快准备好兵器，我和你同仇敌忾。不过此歌所唱，只是战前动员的情形，并没有出征作战的内容。

“操吴戈兮被犀甲，车错毂兮短兵接；旌蔽日兮敌若云，矢交坠兮士争先。”屈原所作《国殇》，开头四句写战士披坚执锐，战车迎敌，短兵相接，很像是一首沙场厮杀的战歌。然而，它整篇却只是祭歌，祭奠那些为国捐躯的阵亡将士，接下来便是战败的惨烈景象，“严杀尽兮弃原野”、“子魂魄兮为鬼雄”。

三国时，曹操命缪袭作鼓吹曲，于是有《魏鼓吹曲》组歌十二首《战荥阳》《获吕布》《克官渡》《定武功》《屠柳城》等；吴国让韦昭作鼓吹曲，于是有《吴鼓吹曲》组歌十二首《摅武师》《伐乌林》《克皖城》《通荆门》等。有人称其“字硬句坚，一扫沉靡，颇有些《长征组歌》的气势。”然而，这些都是战后的追叙，并非战时的军歌。如《获吕布》赞颂曹操率军东围临淮，生擒吕布：“获吕布，戮陈宫。芟夷鲸鲵，驱骋群雄。囊括天下，运掌中。”如《克官渡》歌唱曹军以少胜多，官渡一战，大破袁绍：“克绍官渡，由白马。僵尸流血，被原野。贼众如犬羊，王师尚寡。沙塠旁，风飞扬。转战不利，士卒伤。今日不胜，后何望。土山地道，不可当。卒胜大捷，震冀方。屠城破邑，神武遂章。”

南北朝时，与西魏对峙的柔然汗国有一首颇为大气的军歌：“茫茫瀚海，亲亲我家。滚滚尘土，悠悠我穴！朗朗乾坤，男儿热血，浩浩苍穹，佑我柔然！”不过，那是胡歌的译文，不是汉歌。

唐代边塞诗最能鼓舞军心士气可作军歌的，当数王昌龄的“但使龙城飞将在，不教胡马度阴山”、“黄沙百战穿金甲，不破楼兰终不还”，和杜甫的“男儿生世间，及壮当封侯。战伐有功业，焉能守旧丘。召募赴蓟门，军动不可留。千金买马鞭，百金装刀头。闾里送我行，亲戚拥道周。斑白居上列，酒酣进庶羞。少年别有赠，含笑看吴钩。”其它所谓边塞诗，如“可怜无定河边骨，犹是深闺梦里人”（陈陶）“醉卧沙场君莫笑，古来征战几人回”（王翰）“战士军前半死生，美人帐下犹歌舞”（高适）“天山雪后海风寒，横笛偏吹行路难”（李益）“死是征人死，功是将军功”（刘湾），以及“苟能制侵陵，岂在多杀伤”（杜甫），表现战争残酷和征戍艰辛，披露军中矛盾，批评所谓穷兵黩武，都作不得军歌。而《秦王破阵乐》歌颂唐太宗打败叛军、巩固政权的赫赫战绩：“受律辞元首，相将讨叛臣。咸歌《破阵乐》，共赏太平人。”“四海皇风被，千年德水清；戎衣更不著，今日告功成。”“主圣开昌历，臣忠奉大猷；君看偃革后，便是太平秋。”也只是战后的颂歌，不是战时的军歌。