浙江省江山中学源于1737年(清乾隆2年)创建的官办文溪书院,传承于1906年(清光绪32年)知县李知岳奉命改名的县立江山中学堂,时设正科(中学班),预科(小学班),师范科各一班。
1908年,知县蒯思曾将中学堂改为高等小学堂(今实验小学)。以学生年长者编入师范科,小者编入小学,于十二月两班各行毕业。
1909年,停办师范,只招小学部学生。
1938年,在县立中山小学(今实验小学)校舍创办江山县中学生补习学校,为现代江山中学的前身。
1939年3月,为避免日机空袭,学校被迫迁往长台。
1942年夏,日军窜犯江山,长台校舍3/4被焚,学校被迫停办半年。
1943年春,迁往石门,改称江山县立初级中学。
1945年春,在城内增设高中班,借城东门江西会馆上课。
1946年春,从石门迁回城内,学校租当店巷汪氏大宅和南徐祠堂为校舍。
1947年1月,改校名为江山县立中学。
1949年1月,学校迁至县河顶(县河西路18号,今西城华庭小区),学校设高中、初中、简师(1950年停办)、附属小学(1950年单独建制)四部。
1950年春,私立萃文中学部分师生并入该校。
1953年9月,迁高中部于蓝田坊王氏宗祠。
1954年8月,高中部迁回,并在蓝田坊王氏祠设初一年级五个班。
1955年8月,奉省教育厅指令改称校名为"浙江省江山中学",列为金华地区重点中学。
1969年6月,与江山新一中(今江山二中)合并,校名为“江山县城关中学”。
1978年下半年,与江山一中分开,复称江山中学,启用县委颁发的"浙江省江山中学"印章。
1981年5月,被列为浙江省80所重点中学之一。
1997年7月,被省教委命名为浙江省一级重点中学。
2002年,江山市政府启动江山中学整体搬迁方案,2003年10月在城北五里亭开工建设。
2005年1月,整体搬入新校园(城北凝秀中路2号)。