Über Sivas vor den Hethitern, unter denen es eine wichtige Siedlung war, ist wenig bekannt. Kimmerische und skythische Invasionen trafen es im 7. Jahrhundert v. Chr.; die Meder hielten es zu Beginn des 6. Jahrhunderts und die Perser gegen die Mitte desselben Jahrhunderts. Alexander nahm die Stadt in der zweiten Hälfte des 4. Jahrhunderts v. Chr. ein, wonach sie dem Königreich Kappadokien angegliedert wurde, und im Jahr 17 n. Chr. fiel sie zusammen mit Kappadokien an Rom.
Unter Rom war es eine ummauerte Stadt und ein bedeutender Metropolitansitz, und ab dem 3. Jahrhundert verbreitete sich hier das Christentum rasch. Die örtliche Überlieferung schreibt einen großen Teil dieser Verbreitung den ihm zugeschriebenen Wundern eines Heiligen aus Sivas, Blasius, zu; Muslime hier betrachten ihn als Heiligen der Augen, und sein Grab soll in der Nähe der Gök-Medrese liegen, außerhalb der damaligen Stadtmauern.
