Der Palast war vom 13. bis zum 19. Jahrhundert Residenz der Erzbischöfe von Toledo. 1939 vernichtete ein Großbrand jedoch nicht nur das bedeutende kulturelle Erbe, sondern auch das zentrale Staatsarchiv. Die heutige Fassade wurde im 16. Jahrhundert von Alonso de Covarrubias entworfen. Den Komplex vervollständigt ein auf Geheiß von Erzbischof Pedro Tenorio errichteter Festungsturm, der an die Verwendung des Gebäudes als Verteidigungsfestung erinnert.