Le nom de la ville est la réunion de deux noms. La colline conique et abrupte au milieu de la ville, haute de 226 mètres parmi des montagnes volcaniques, attire les hommes depuis les Hittites ; bien que déjà facile à défendre, elle fut ceinte de trois lignes de remparts — inférieure, intermédiaire et supérieure. Chaque souverain la nomma : Hapanuwa pour les Hittites, Akroinon pour les Romains et les Byzantins, Karahisar-ı Devle et Karahisar-ı Sahip pour les Seldjoukides, les principautés et les Ottomans.
L’autre moitié vient d’une plante. Le pavot à opium est cultivé ici depuis le IIe siècle av. J.-C. comme source de revenus, et le latin opium, prononcé localement afion, a donné à la ville son autre nom. Les deux furent finalement réunis en Afyonkarahisar, forme que l’on trouve pour la première fois dans les registres judiciaires du XVIIe siècle.
