Se creó durante el reinado de Felipe V. En principio su sede estuvo en la Casa de la Panadería. En 1774 se trasladó a su actual emplazamiento en la calle Alcalá, en el Palacio de Goyeneche, realizado por Churriguera. La fachada fue modificada por Juan de Villanueva. Actualmente es sede del Museo de Bellas Artes de San Fernando, en él encontramos obras de Juan de Juanes, Ribera, Zurbarán, Murillo, Velázquez y Goya, entre otros.