至公元678年（唐仪凤三年）时，吐蕃已“尽收羊同、党项诸羌之地”，“其处者皆为吐蕃役属，更号‘弭药’”。但是党项羌中的拓拔部却在唐朝的庇护下徙居庆州，内附于唐朝。公元1038年，他们终于建立了以党项人的为主体的国家政权――西夏。
在19世纪末20世纪初期，一些英美学者提出了木雅藏族是“西夏遗民”的重要观点。后来，中国的一些学者又进一步深入木雅地区进行专门的调查和研究。对“西夏遗民”一说进行了补充和完善。他们认为，木雅是西夏灭亡后，由一部分西夏王族南下建立的新邦，木雅藏族就是这部分西夏人的后裔。其依据主要有：（1）木雅王称“西吴甲尔布”。“西吴甲尔布”就是西夏王。因为“夏”和“吴”在汉语中的古音相同，皆发“虎”音；“甲尔布”在藏语里是“王”的意思。因此“西吴”就是西夏，“西吴甲尔布”就是西夏王。（2）木雅为藏名，原指西夏都城兴府府地，是西夏人南下后把这一名称带到康区。（3）木雅藏族的文化，如八角碉、住房、语言、服饰等，都与西夏人具有密切的联系。对于“西夏遗民”一说，国内也有许多学者持不同意见。有的学者认为木雅藏族是由康区“原始党项”发展而来，而非“西夏遗民”。也有一些学者认为，木雅藏族是由留居康区的“原始党项”为主体，同时也融入了一部分西夏遗民的成分。就目前学术界对于木雅人的来源依然是莫衷一是，木雅与西夏之间是否存在继承关系还需要进行深入的研究。