Название города составлено из двух названий. Крутой конический холм посреди города, высотой 226 метров среди вулканических гор, привлекает людей со времён хеттов; он и без того был удобен для обороны, но его опоясали тремя линиями стен — нижней, средней и верхней. Каждый правитель давал ему своё имя: Hapanuwa у хеттов, Акроинон у римлян и византийцев, Karahisar-ı Devle и Karahisar-ı Sahip у сельджуков, бейликов и османов.
Вторая половина названия происходит от растения. Снотворный мак выращивают здесь с II века до н. э. как источник заработка, и латинское opium, которое местные произносили как afion, дало городу его второе имя. В конце концов оба названия соединили в Afyonkarahisar — эта форма впервые встречается в судебных записях XVII века.
