El Palacio fue residencia de los arzobispos de Toledo desde el siglo XIII hasta el siglo XIX, pero en 1939 sufrió un grave incendio con el que no sólo se perdió un importante legado artístico, sino que además se incendió el Archivo Central del Estado. La fachada que observamos en la actualidad fue trazada por Alonso de Covarrubias, en el siglo XVI. El conjunto se completa con un torreón realizado por el arzobispo Pedro Tenorio, que recuerda el uso que tuvo el edificio como fortaleza defensiva.