El origen del palacio data del siglo XV, aunque la mayor parte se construye en el XVI por el primer marqués de Tarifa. Más tarde, a las órdenes del virrey de Nápoles, el arquitecto Benvenuto Tortello será el responsable de crear un nuevo palacio dejando intactas las antiguas salas mudéjares. El gran patio central renacentista con fuente articula los salones y jardines que se distribuyen a ambos lados. El Jardín Grande, reformado en el siglo XIX, tiene dos galerías o loggias con triple arcada sobre columnas y hornacinas para bustos. Tienen también un estanque central y caminos bordeados por setos . El Jardín Chico, llamado "Pretorio", está dividido en cuatro espacios con diferentes niveles y alberga un gran estanque rectangular.