Bien que son origine remonte à la domination arabe, sa structure actuelle date de l'époque médiévale. La tour Grossa fut ajoutée au XVI^e siècle pour surveiller les incursions des pirates provenant de la Méditerranée.
 

Les murs de l'édifice, juché au sommet d'une colline qui domine la ville, s'adaptent à la structure du terrain. Principalement construit en maçonnerie, il possède des pans de muraille jalonnés de tours cylindriques crénelées. À l'intérieur, une grande cour d'armes montrant les vestiges de plusieurs annexes (notamment une citerne arabe des XII^e-XIII^e siècles) sépare les deux bâtiments les plus importants, situés de part et d'autre de l'ensemble.
D'un côté, le palais, résidence seigneuriale des XIV^e-XV^e conçue comme un petit château à l'intérieur du château. Et de l'autre, la tour Grossa, construite en 1579 pour surveiller les pirates barbaresques venus de la Méditerranée qui s'introduisaient dans l'arrière-pays.. Réalisée en pierres de taille, elle se distingue par ses trois étages couronnés d'une terrasse crénelée.