"剑道"一词最早是出现在中国战国时期的古籍《吴越春秋》中，越王勾践与剑客越女的一段对话中。中国古代曾一度将剑的修行称作剑道，《汉书艺文志》中就记有《剑道》三十八篇。由此可见中国古代剑道早已有了相当完整的理论体系，如《庄子说剑》一篇中就有"……夫为剑者，示之以虚，开之以利，后之以发，先之以至……"的论述。
　　 隋、唐时期，剑道传入了日本，最早的剑被称为“多知伽伎”、“多知宇知”和“太刀”（见下图，这把刀是唐朝八世纪中国制的宝刀，当时运到日本。现藏日本皇宫拥有的正仓院。）仿制而成。

在18世纪，日本国内发明了接近今天剑道的护具和竹刀，从此剑道开始了穿着护具使用竹刀，限定打击有护具保护下的地方进行练习的方法（详见剑道装备和比赛规则），同时为了正确理解真刀的使用，保持练习的韵味，同时用木刀进行形（套路）的练习 。竹刀和护具的出现在剑道发展史上具有革命性的作用，非常显著地减少了对抗训练中的伤害事故，极大地提高了训练效果和趣味性，从此在日本国内，剑道的练习人口迅速增加并获得极大发展。时至今日，使用护具和竹刀练习的剑道早已走向世界，日本仍是世界上剑道人口最多的国家。
　　 特别是自明治12年，日本警视厅正式采用剑道为训练规程。同时为了国民体质的改造和民族精神的培养，少数学校开始采用剑道教学，此后，仿效者云起，很快即为许多学校所接受。至明治44年（1911年），日本议会审议决定，正式将剑道设立为中学校和师范学校的正课。1955年起剑道成为日本国民体育大会的正式项目。?
　　 今天，剑道已成为国际性的体育项目。1970年国际剑道联盟成立，每年都有各种国际剑道比赛举行，1979年4月更改了剑道比赛和裁判规则。日本每年都有许多指导者到各国进行指导和普及工作，同时世界各地也有很多人去日本，韩国等剑道水平较高的国家学习或交流剑道。在中国的香港、澳门，都建有剑道馆，也时有选手参加国际赛事。
　　 现代人学习剑道是为了锻炼身心，学习其有益的成份，如通过剑道练习来增强自身的礼节涵养，培养勇往直前、不怕牺牲的精神，正如《剑道教室》一书中提到的：“透过剑道来锻炼身体，把剑道发展为优秀体育的一环。”