L’origine du palais remonte au XV^e siècle, même si la plus grande partie a été construite au XVI^e par le premier marquis de Tarifa. C’est ensuite, sur les ordres du vice-roi de Naples, que l’architecte Benvenuto Tortello a été chargé de créer un nouveau palais en laissant les anciennes salles mudéjares intactes. Les salons et les jardins se distribuent de part et d’autre du grand patio central de style Renaissance, orné d’une fontaine. Le Grand jardin, restauré au XIX^e siècle, possède deux galeries ou loggias à triple arcade reposant sur des colonnes ainsi que des niches occupées par des bustes. Il abrite également un bassin central et des allées bordées de haies. Le Petit jardin, encore appelé « Pretorio », est divisé en quatre espaces distribués sur plusieurs niveaux et contient un grand bassin rectangulaire.