Fondée sous le règne de Philippe V, son siège fut d’abord hébergé par la Casa de la Panadería. En 1774 il fut déplacé à son emplacement actuel rue Alcalá, au palais de Goyeneche, un ouvrage de Churriguera dont la façade fut ensuite transformée par Juan de Villanueva. Elle accueille désormais le musée des beaux-arts de San Fernando, qui conserve des œuvres de Juan de Juanes, Ribera, Zurbarán, Murillo, Velázquez et Goya, entre autres.