Este palacio fue utilizado por los Borbones como pabellón de caza y lugar de descanso.

Tras la muerte del rey Felipe V, su esposa Isabel de Farnesio se trasladó a La Granja donde residió durante el reinado de Fernando VI (1746-1759). En ese periodo adquirió el llamado Coto de Riofrío, donde mandó construir este palacio. Su arquitectura es italiana, con sillares grises de mampostería enlucida en rosa. Las estancias se sitúan alrededor del patio interior central y sus grandes salones están decorados con un mobiliario suntuoso del siglo XIX. El recorrido por su interior incluye la visita al Museo de Caza, en el cual se pueden contemplar colecciones de armas desde la época del rey Felipe V hasta la de Alfonso XIII, trofeos, tapices de la Real Fábrica y dioramas de especies cinegéticas españolas. También posee ilustraciones y pinturas de temas relacionados con la caza, entre las cuales hay cuadros de Velázquez, Rubens o Snyders.