On sait peu de choses de Sivas avant les Hittites, sous lesquels elle était un établissement important. Les invasions cimmériennes et scythes la frappèrent au VIIe siècle av. J.-C. ; les Mèdes la tinrent au début du VIe siècle et les Perses au milieu du même siècle. Alexandre prit la ville dans la seconde moitié du IVe siècle av. J.-C., après quoi elle fut rattachée au royaume de Cappadoce, et en 17 apr. J.-C. elle passa avec la Cappadoce à Rome.
Sous Rome, elle était une ville fortifiée et un important siège métropolitain, et à partir du IIIe siècle le christianisme s'y répandit rapidement. La tradition locale attribue à un saint de Sivas, Blaise, une grande part de cette diffusion par les miracles qu'on lui prête ; les musulmans d'ici le tiennent pour un saint des yeux, et sa tombe passe pour se trouver près de la Gök Medrese, hors des remparts de l'époque.
