Das im Guadarrama-Gebirge gelegene Schloss war königliche Residenz und ist ein schönes Beispiel europäischer Palastarchitektur.

Heinrich IV. errichtete an derselben Stelle um 1450 ein Jagdschlösschen. Später schenkten die Katholischen Könige das Grundstück den Hieronymiten von El Parral. Im 18. Jahrhundert ließ Philipp V., der erste Bourbonenherrscher, den Königspalast von San Ildefonso errichten. Er ist ein wundervolles Beispiel der europäischen Palastarchitektur. Seine Gärten und Brunnen sind im Stil von Versailles mit Blick auf Legenden und Mythen gestaltet. Die Räume sind mit Carrara-Marmor, japanischem Lack und Kristalllüstern dekoriert. Der Name „La Granja“, der Bauernhof, spielt auf das frühere dortige Landgut der Hieronymiten an.