Aunque construido en el s. IX, fue reedificado por los nazaríes en el s. XIII. La medina llegó a tener tres murallas, pero en la actualidad solo se aprecian dos, conservándose en la exterior varios torreones cilíndricos interceptados por torres cúbicas, donde se ubican las puertas de acceso

En las murallas de la medina destacan diversas puertas-torreones, así como un aljibe en su parte más elevada junto a la mezquita, hoy convertida al culto cristiano y denominada Santuario de la Virgen de Gracia.

Se encuentra coronado el Cerro de la Virgen de Gracia de un doble recinto amurallado. El anillo exterior conserva varios torreones cilíndricos, interceptados por torres cúbicas, que servirían de puertas de acceso. Este complejo defensivo se alza solamente en la ladera Sur de la Sierra, pues la otra vertiente, cortada a pico, constituye por sí misma una fortaleza natural.

El camino de acceso a la Ermita pasa junto a una de estas puertas mencionadas; la Puerta del Sol, abierta hacia levante, con acceso en recodo y un segundo piso. El aparejo es de mampostería, reforzadas sus esquinas de ladrillo; recientemente ha sido reconstruida en buena parte.

Otra puerta, llamada de la Ciudad, presenta también entrada en recodo y restos de un piso alto.

En lo más alto de la Sierra, otro anillo de murallas con torreones macizos con base de sillares, alternan con otros de ladrillo. En esta zona se encuentra el aljibe, un recinto de 6 x 5 metros, cubierto con bóveda de medio cañón y seis arcos fajones. Las paredes se recubren de estuco amarillento. Este aljibe era imprescindible en una sierra sin manantiales naturales, y situado en el lugar más inexpugnable, lo que permitió su defensa durante siglos.

La Ermita tiene una primera parte, por donde se accede, formada por tres naves paralelas entre sí, que constituyen los testos de la mezquita. La siguen tres naves separadas perpendicularmente a las anteriores, obra del siglo XVII y escuela antequerana. La mezquita tiene arcos de herradura apenas insinuada, levantados sobre gruesas columnas reaprovechadas lisas, y dos de ellas sogueadas, procedentes de algún monumento romano tardío o quizás visigodo. Los capiteles son de perfil cúbico, cuya única moldura son muescas en los ángulos.

Desde 1634 se documenta la necesidad de construir una capilla a la Virgen de Gracia, y se hará prolongando el espacio de la mezquita con tres naves perpendiculares a las ya existentes. Se levantaron sobre columnas toscanas, con bóvedas de arista, y en el centro ovalada, en el estilo arquitectónico del primer tercio del siglo XVIII, remodelándose su exterior con soportales de ladrillo, arcos de ladrillo y arcos de medio punto.

Sobre la ermita y parte del recinto se levanta el Centro de Interpretación de la Cultura Mozárabe en la primera planta.