自古畲族的他称和部分自称中都有“畲瑶”、“瑶”、“瑶家”、“山瑶”、“瑶人”等等跟瑶族密不可分的称呼。
畲族又自称“山哈”，是与他们的居住环境、迁徙历史有关。“山哈”是指山里客人的意思。先来为主，后来为客，先来的汉人就把这些后来的畲民当为客人。畲族原分布在闽、粤、赣三省结合部。元、明、清时期，从原住地陆续迁徙到闽东、浙南、赣东、皖东南等地山区半山区。
“畲”字来源于“畲”，来历甚古（畲畲这两字使用非常混乱）。在《诗》、《易》等经书中就已出现。“畲”字读音有二，读yú（余），指刚开垦的田；读shē（奢），意为刀耕火耘。“畲”字衍化为族称，始于南宋时期。据刘克庄《漳州谕畲》载：“民不悦（役），畲田不税，其来久矣”，“畲”作为族称，是由于当时畲民到处开荒种地的游耕经济生活特点而被命名的。因此《龙泉县志》说：“（民）以畲名，其善田者也”。
“輋民”名称也出现在十三世纪，文天祥《知潮州寺丞东岩先生洪公行状》说：“潮与漳、汀接壤，盐寇輋民群聚”。“輋”音shē，是广东汉人俗字。关于“輋”解析，顾炎武《天下郡国利病书》云：“粤人以山林中结竹木障覆居息为輋”。显然，以“輋”字作族称是侧重于居住形式，指在山里搭棚而居的人群。“輋”的含义虽与“畲”有差异，但非指两个不同的民族，也不是指同一民族的两个不同经济发展阶段，而是前者指福建畲族，后者指广东、江西畲族，这是由于汉族文人对闽、粤、赣畲族经济生活观察的侧重点不同而出现的异称。
宋末元初，各地畲民组织义军，加入抗元斗争的行列，《元史》中又出现“畲军”、“畲丁”等名称。明、清时期，闽、浙各地方志以“畲民”、“畲人”和“畲客”等称畲族的非常普遍，粤、赣各地方志以“輋户”、“輋蛮”和“山輋”等称畲族的也比比皆是。清代以降，由于许多人不了解畲民的民族成分，还有以“苗族”、瑶族”、“瑶僮”和“苗民”等称呼畲族的。
总之，史书对畲族的族称记载相当混乱，称呼也因时因地而异。新中国建立后，政府对畲族的族称问题十分重视。经过商议，改“畲”为“畲”（取“人一一小田”的“畲”为族称，意为新中国每个族人都拥有了那一片小小的天地）。1956年由国务院正式公布确认，畲族是一个具有自己特点的单一的少数民族。从此，“畲族”（写作“畲”，音shē）成为法定的族称。