该剧是根据国民革命军29军大刀队的真实故事改编而成的，28集战争题材电视剧《大刀向鬼子们的头上砍去》，讲述了北平耍刀艺人郑承龙一家——他和三个徒弟及女儿郑莺先后以不同的方式卷入战场，与日军奋勇作战的故事。

“九·一八”之后，日军进攻热河，承德守军弃城而逃，一路搅扰难民。58岁的郑承龙正带着三个徒弟在长城外卖艺，血气方刚的老二郑羽与逃兵发生冲突，跟家人失散。郑羽在逃亡中意外地进入29军大刀队，被迫与攻击喜峰口的日军交战。郑羽第一次上战场，就是一场肉搏。

郑承龙回到北平，依靠早年的把兄弟路传虎的帮助，继续在天桥卖艺。路传虎与日本人关系密切，其女明珠则与郑氏兄弟交好。日本武士三岛明夫在华北驻屯军特务机关任职，他在路传虎的帮助下，以比武为名，欲谋取郑家宝刀和刀谱。幸好郑羽从兵营中赶回，打败了三岛。从此三岛明夫一心要打败郑羽，并且要为日军找到击败中国大刀的方法。

喜峰口大捷，郑羽成为抗日英雄，正式进入大刀队。但由于中国上层的不抵抗政策，长城抗战最终失败。做事乖巧的老二郑飞喜欢明珠，他为求取功名而加入29军，成为一名学员兵。郑承龙和胆小怕事的老大郑德则避事搬到卢沟桥附近居住。

七七事变前的几年间，郑羽随29军先后驻守察哈尔和北平，在日军的一再挑衅下，奉上司命令，不许开枪，不许还击，受尽屈辱。郑飞则担当29军高级军官的副官，了解到中国军队的上层矛盾，日本如何一步步攫取在华利益。

“一二九”运动期间，组织者、中共地下党员曹明爱上了明珠，这使得明珠在他和郑飞之间选择不定。负责警戒任务的郑羽与游行学生发生冲突，奉令逮捕曹明，但最终成为朋友。

不久，七七事变爆发，29军奋起抵抗，郑羽和郑飞分别在卢沟桥、南苑等地血战，见证了事变真相。郑承龙寻找两兄弟，意外地成为29军年纪最大的战士。就在跟儿子即将相见的一刻，壮烈牺牲。郑承龙临死时，留下临终遗言，把郑莺的终生许给老三郑飞。郑羽爱着郑莺，他含泪答应了父亲。但郑飞拒不相从，导致兄弟反目。

老大郑德在日军占领北平后一心委曲求全，直到妻子被日军奸杀后，他引着一帮土匪偷袭小队日军。又是因为他的怯懦，土匪被日军全部杀死。从此郑德的性格骤变，成为一个残暴无情的人，进入西山当了土匪。

中日全面开战之后，郑羽率大刀连与日军经历数次浴血奋战，从一百多人直到最后十二个人，但因为食物与另一支国军发生冲突，对方开枪打死了他所有的人。侥幸未死的郑羽悲愤无言，再也不信任政府军，他只求死在打日本的战场上。他与大师兄郑德重逢，从此带着郑德共创“铁血救国军”，独立抗日。

郑飞决心刺杀被称为汉奸的某将军，却发现事实并非如此，他为救将军而负伤。在经历了与明珠、曹明的情感风波之后，曹明投奔延安，明珠留在北平，郑飞则追随将军南下。他在抗战中一步步高升，同时认为必须成为国军的嫡系部队，否则不可能坚持到底。

抗战进入了相持阶段。郑羽的铁血救国军中来了不速之客——曹明，曹明已是八路军晋察冀军区北上支队的参谋，使命是说服郑羽接受共产党的领导。郑羽一步步接受了共产党的影响，但郑德却和曹明之间矛盾重重，直到最后郑德投靠日伪，曹明被囚。郑羽孤身入平，伺机救曹明，却遇上了时任中央军旅长的郑飞，二兄弟在明珠的帮助下，成功救出曹明，明珠依诺要许身郑飞。

国共之间的磨擦越来越频繁，郑羽和郑飞之间矛盾重重，最终二人同仇敌忾，击毙了顽固反共的中央军师长石彪。

不久，郑羽与郑莺重逢，两情相悦，但日伪军的大扫荡开始了，打头阵的竟然是大师兄郑德。

郑羽和郑飞终于迎来了抗战的胜利，共同剿灭了拒降的日花田师团。郑羽的主力团率先攻进城内，参谋长三岛明夫正欲切腹自杀。郑羽要求再比一次刀。

中国大刀对日本军刀，展开了中日之间在1945年的最后一场厮杀。