Se sabe poco de Sivas antes de los hititas, bajo los cuales fue un asentamiento importante. Las invasiones cimerias y escitas la golpearon en el siglo VII a. C.; los medos la dominaban a comienzos del siglo VI y los persas hacia mediados del mismo siglo. Alejandro tomó la ciudad en la segunda mitad del siglo IV a. C., tras lo cual fue anexada al reino de Capadocia, y en el 17 d. C. pasó con Capadocia a Roma.
Bajo Roma fue una ciudad amurallada y una importante sede metropolitana, y desde el siglo III el cristianismo se difundió rápidamente aquí. La tradición local atribuye a un santo de Sivas, Blas, gran parte de esa difusión por los milagros que se le atribuyen; los musulmanes de aquí lo consideran un santo de los ojos, y se cree que su tumba está cerca de la Gök Medrese, fuera de las murallas de entonces.
