Les premiers résultats de la fouille du tell de Pınarbaşı, dans le village de Süleymanhacı, à l'intérieur de la province, établissent que Karaman et ses environs étaient habités dès 8000 av. J.-C. Sous les Hittites, la province était un centre militaire et commercial, puis elle passa aux Phrygiens et aux Lydiens. En 322 av. J.-C., elle fut envahie et pillée par Perdiccas et Philippos.
Sous Byzance, Karaman fut l'une des villes importantes du christianisme, et les vestiges le montrent. Sur le Karadağ se trouve un site connu sous le nom de Binbir Kilise — mille et une églises — avec un très grand nombre d'églises, de monastères, de basiliques et de chapelles. Derbé, dans le village d'Ekinözü, et les grottes de Manazan sur la route de la ville de Taşkale étaient des établissements importants de la même époque.
