Après la mort de Philippe V, la Reine Élisabeth de Farnèse résida à La Granja pendant le règne de Ferdinand VI (1746-1759) C'est au cours de cette période qu'elle acquit le domaine du Coto de Riofrío, où elle fit construire ce nouveau palais royal.

L'architecture du palais est italienne ; ses deux escaliers principaux, jumeaux et symétriques sont particulièrement impressionnants. François d'Assise, époux d'Isabelle II, et Alphonse XII, après la mort de la Reine María de las Mercedes, ont fait de longs séjours à Riofrío. De ces règnes date la décoration des pièces royales qui occupent la moitié de l'étage principal. Le reste de cet étage est consacré au musée de la chasse, l'un des plus importants du genre.