Il est situé dans l'ancien hôpital du Cardinal Tavera, une construction du XVI^e siècle.

La façade Renaissance du monument mérite une attention particulière. À l'intérieur se trouve le sépulcre en marbre du Cardinal Tavera, œuvre d'Alonso Berruguete. Le musée expose des peintures du Gréco et d'autres maîtres comme Rivera, Berruguete, le Tintoret, Titien... ainsi que des tapisseries, du mobilier et des objets somptuaires. Sa célèbre pharmacie renferme une importante collection de récipients et de flacons en céramique de Talavera et de Puente del Arzobispo.