Die Burg wurde im 9. Jahrhundert nach der Plünderung der damals bestehenden Siedlung durch Omar Ibn Hafsun auf römischen Resten errichtet. Während der Herrschaft der Almoraviden und Almohaden wurde sie erweitert, bis sie schließlich über sieben Türme verfügte. Die Burg hatte zwei befestigte Tore, den Arco Oscuro und den Arco de Santa Bárbara. Im Turm des Arco Oscuro, der auch Torre del Cabildo genannt wird, gibt es einen Saal mit Mudéjar-Artesonado, in dem die ersten Stadtratsversammlungen stattfanden.