Die Einsiedelei wurde 1792 im Auftrag Carlos' IV. vom italienischen Architekten Filippo Fontana erbaut. Die Skulptur des San Antonio stammt von José Ginés. Francisco de Goya gestaltete die Dekoration und schuf die Fresken, die Szenen aus dem Leben des Heiligen darstellen. Die Einsiedelei hat einen Grundriss in Form eines griechischen Kreuzes und eine zentrale Kuppel, bei der die Laterne bemerkenswert ist. Die nur aus einem Teil bestehende Fassade ist mit dorischen Pilastern geschmückt. 1905 wurde das Gebäude unter Denkmalschutz gestellt. Als Schutzmaßnahme wurden 1926 die Gottesdienste eingestellt und der Architekt Juan de Moya mit der Errichtung einer Kopie des Gebäudes beauftragt. 1919 wurden die sterblichen Überreste des Francisco de Goya hierher überführt. 1928 übergab König Alfonso XIII. die Einsiedelei an die Akademie der Schönen Künste San Fernando, die sich um ihre Erhaltung kümmert.