Sivas’ın Hititler öncesi hakkında az şey bilinir; Hititler döneminde önemli bir yerleşimdi. Kimmer ve İskit istilaları MÖ 7. yüzyılda kenti vurdu; Medler MÖ 6. yüzyılın başında, Persler aynı yüzyılın ortasında elinde tuttu. İskender kenti MÖ 4. yüzyılın ikinci yarısında aldı, ardından Kapadokya krallığına bağlandı ve MS 17’de Kapadokya ile birlikte Roma’ya geçti.
Roma döneminde surlu bir kent ve önemli bir metropolit makamıydı; 3. yüzyıldan itibaren Hristiyanlık burada hızla yayıldı. Yerel gelenek, Sivaslı bir azizi, Blaise’i, ona atfedilen mucizeler yoluyla bu yayılmanın büyük bölümünden sorumlu tutar; buradaki Müslümanlar onu gözlerin azizi sayar ve mezarının, o dönemin surlarının dışında, Gök Medrese yakınında olduğu kabul edilir.
