Mardin porte les traces de civilisations différentes empilées les unes sur les autres. Les matières premières qui la résument sont la pierre et l'argile, et par le nombre même de ses œuvres anciennes et de ses monuments de pierre, la ville possède quelque chose qu'aucune autre civilisation ne possède de la même manière. Dans toute la Mésopotamie, l'argile fut le support décisif de l'écriture — c'est-à-dire du savoir.
L'établissement ici est très ancien. La Mésopotamie du Nord compte Mardin comme habitée depuis le moustérien, vers 50 000 av. J.-C., et lorsqu'une économie fondée sur la culture des céréales apparut, la zone prit une place importante parmi les districts durablement peuplés. Dans l'établissement néolithique de Jarmo, sur la bordure montagneuse de la Mésopotamie, trois mille ans de phases de transition peuvent encore être suivis l'une après l'autre ; la plus ancienne poterie, les animaux domestiqués et les terres cultivées qu'on y trouve datent le début de l'établissement continu d'environ 6750 av. J.-C.
