Ubicado en la confluencia de los ríos Eresma y Clamores, la primera referencia que existe por escrito de su existencia es cristiana y data de principios del siglo XII. Fue construido sobre una roca, que indica su original empleo militar. Sirvió de residencia para Alfonso VIII. En el siglo XIII el edificio adquirió aspecto gótico con la intervención de los arquitectos de Juan II y Enrique IV. La última fase arquitectónica la sufre en el año 1.587, de la mano del arquitecto Francisco de Mora, posiblemente en colaboración con Juan de Herrera, que realiza el Patio Principal y La Escuela de Honor. En 1.764, Carlos II establece aquí el Real Colegio de Artillería. El edificio posee numerosos pasadizos secretos que bajan hasta el río y comunican con algunos palacios de la ciudad.