La ermita fue mandada construir por Carlos IV al arquitecto italiano Filippo Fontana en 1792. La escultura de San Antonio fue realizada por José Ginés. La decoración fue llevada a cabo por Francisco de Goya, quién realizó los frescos que narran el tema de la vida del santo. La ermita tiene planta de cruz griega, con cúpula central en la que destaca su linterna. La fachada tiene un solo cuerpo, decorado con dos pilastras dóricas. En 1905 fue declarada Monumento Nacional. Como medida de protección, en 1926 se suspendió el culto y se encargó la construcción de una réplica de la misma al arquitecto Juan de Moya. En 1919 se trasladaron los restos de Francisco de Goya. En 1928, el rey Alfonso XIII cedía la ermita a la Real Academia de Bellas Artes de San Fernando, quien se encarga de su custodia.