Kentin adı iki adın birleşmesidir. Kentin ortasındaki, volkanik dağlar arasında 226 metre yüksekliğindeki dik, konik tepe Hititler’den beri insanları çekmiştir; zaten savunulabilir olmasına rağmen alt, orta ve üst olmak üzere üç sıra surla çevrilmiştir. Her yönetici ona bir ad verdi: Hititler’e göre Hapanuwa, Romalılar ve Bizanslılar’a göre Akroinon, Selçuklular’a, beyliklere ve Osmanlılar’a göre Karahisar-ı Devle ve Karahisar-ı Sahip.
Öbür yarısı bir bitkiden gelir. Haşhaş burada MÖ 2. yüzyıldan beri geçim kaynağı olarak yetiştirilmektedir; Latince opium, yöre ağzında afion diye söylenerek kente öbür adını vermiştir. İkisi zamanla birleştirilip Afyonkarahisar oldu; bu biçim ilk kez 17. yüzyıl mahkeme kayıtlarında görülür.
