Algunos historiadores mantienen que el castillo de Baena retuvo entre sus dependencias a Boabdil en la torre de las Arqueras. Eran tiempos en los que la fortaleza alcanzaba su apogeo. Sin embargo, el transcurrir de los siglos obligó a adaptarse a las necesidades que fueron surgiendo y el castillo comenzó a sufrir un progresivo deterioro. El recinto fue baluarte defensivo y lugar de residencia de señores, tesoreros y administradores. En el siglo XVI, Diego Fernández de Córdoba, el III Conde de Cabra y V Señor de Baena, lo convirtió en su palacio.
En los siglos XVII y XVIII, el entorno del castillo va progresivamente despoblándose a la vez que se produce un abandono de dicha construcción por parte de sus habitantes. Este proceso continuó a lo largo del siglo XIX y siglo XX, iniciándose su restauración actual en el año 2006.
Os incluimos estas bellas imágenes antiguas de la fortaleza baenense.