Die ersten Anfänge des Palasts gehen auf das 15. Jahrhundert zurück, doch wurde der größte Teil des Gebäudes im 16. Jahrhundert vom ersten Marquis von Tarifa errichtet. Später wurde der Architekt Benvenuto Tortello vom Vizekönig von Neapel mit dem Bau eines neuen Palasts unter Erhalt der alten Mudéjarräume beauftragt. Der große zentrale Renaissanceinnenhof mit Brunnen bildet das Bindeglied zwischen den Salons und Gärten zu beiden Seiten. Der im 19. Jahrhundert umgestaltete Große Garten besitzt zwei Galerien bzw. Loggien mit dreifachen Bogenreihen auf Säulen und Nischen für Büsten. Des weiteren gibt es einen zentralen Teich und heckengesäumte Wege. Der „Pretorio“ genannte kleine Garten ist auf vier Ebenen angeordnet und verfügt über einen großen rechteckigen Teich.