Está situado en un extremo del recinto amurallado. Fue construido entre los siglos XIV y XV. Pertenece al estilo mudéjar, realizado en ladrillo y mampostería. Tiene forma casi cuadrada y está fortificado por siete torres, una de ellas tiene planta pentagonal y el resto con plantas diferentes. Las torres tienen vanos rematados por arcos de medio punto, realizados por aproximación de hiladas, y en herradura. Fue residencia del Marqués de Santillana y sus descendientes. El recinto amurallado y el alcázar fueron declarados Monumentos Nacionales en 1931. En 1993, Buitrago es declarado Bien de Interés Cultural, en la categoría de Conjunto Histórico-Artístico. La titularidad del castillo pasó al municipio de Buitrago en el año 2000.