Erzurum est l'un des plus anciens lieux habités d'Anatolie, et les raisons en sont pratiques : une position favorable, des conditions naturelles praticables et la proximité des grands centres de civilisation. Des outils de pierre trouvés dans la région font remonter son passé au Paléolithique. Les trouvailles de Karaz, Pulur, Güzelova et Sos montrent qu'à l'âge du bronze ancien, Erzurum était le centre de la culture de Karaz, qui s'étendit sur un vaste territoire.
Se trouver à la frontière de l'État hittite exposa la région, qui connut un très grand nombre de guerres et d'invasions. Après 3000 av. J.-C., les Hourrites, les Hayasa, les Ourartéens, les Assyriens, les Cimmériens, les Scythes, les Mèdes et les Perses la tinrent tour à tour ; Alexandre de Macédoine la prit au IVe siècle av. J.-C. Les Séleucides lui succédèrent à sa mort, puis Rome — et sous Rome la région devint le théâtre de combats sanglants entre Romains et Parthes.
