On ignore avec certitude quand Muş fut fondée pour la première fois et d'où vient son nom, et il existe quantité d'histoires à ce sujet. Selon une version, le nom fut donné par l'une des tribus hébraïques qui fuyaient les Assyriens et vinrent dans le district de Muş ; l'annuaire de la province de Bitlis de 1914 soutenait qu'il vient du mot hébreu muşa, qui signifie bien arrosé, fertile et bon pour le pâturage. Que la plaine de Muş soit verte et bien arrosée du passé jusqu'à aujourd'hui laisse penser que l'histoire n'est pas tout à fait sans fondement.
Une deuxième version désigne un peuple plutôt qu'un mot. Dans cette lecture, le nom vient des Mushki, qui apparaissent pour la première fois dans les sources assyriennes après les migrations égéennes du XIIe siècle av. J.-C. et dont on rapporte qu'ils s'établirent dans la haute vallée du Tigre. Les Mushki mirent fin à la domination des Hatti en Anatolie centrale dans la seconde moitié du IIe millénaire av. J.-C. et s'étendirent vers l'est, et l'on dit qu'une de leurs branches vint dans le district de Muş et posa les fondations de la ville avant de poursuivre vers le territoire assyrien.
