L'ermitage fut commandé par Charles IV à l'architecte italien Filippo Fontana en 1792. La sculpture de Saint Antoine fut réalisée par José Ginés. La décoration est l'œuvre de Francisco de Goya, qui réalisa les fresques narrant le thème de la vie du saint. L'ermitage présente un plan en croix grecque et possède une coupole caractérisée par sa lanterne. La façade ne possède qu'un seul corps, orné de deux piliers doriques. Elle a été déclarée monument national en 1905. Comme mesure préventive, le culte y fut interdit en 1926 et on commanda la construction d'une réplique à l'architecte Juan de Moya. Les restes de Francisco de Goya y furent transférés en 1919. En 1928, le roi Alphonse XIII céda l'ermitage à l'Académie Royale des Beaux-Arts de San Fernando, qui se chargea de sa surveillance.