El Castillo de Qasr Bunayra data, en su mayor parte, del siglo décimo y está declarado como Bien de Interés Cultural, aunque de él perduran pocos restos, en concreto varias torres y algunos lienzos de muralla. No obstante, actualmente se está recuperando.

Aunque posiblemente de origen romano, fueron los árabes los que le dieron su esplendor. Concretamente Umar ibn Hafsum en el 922 lo convirtió en su base de operaciones contra Bobastro; y es que en esa época nazarí fue un bastión importante en guerra de frontera. Por eso es el principal exponente del antiguo asentamiento árabe en el municipio creciendo en su entorno la ciudad islámica amurallada.

Esta situación finalizó el 2 de junio de 1485 cuando los castellanos entraron en el municipio permanecendo el uso de fortaleza militar hasta el siglo dieciocho.