Questo palazzo, residenza degli arcivescovi di Toledo dal XIII al XIX secolo, nel 1939 subì un grave incendio che, oltre a danneggiare un importante patrimonio artistico, distrusse l'Archivio Centrale di Stato. La facciata attuale fu progettata da Alonso de Covarrubias nel XVI secolo. Il complesso è integrato da un torrione eretto dall'arcivescovo Pedro Tenorio, che ricorda l'antico uso difensivo dell'edificio.