Il se trouve à une extrémité de l’enceinte fortifiée. Construit entre le XIV^e et le XV^e siècle, il est de style mudéjar, réalisé en brique et en maçonnerie. De forme presque carrée et fortifié par sept tours, l'une d'elles a la forme d’un pentagone et les autres sont de formes différentes. Les travées entre les tours sont couronnées par des arcs en plein cintre, réalisés par rapprochement de rangées et en fer à cheval. Le marquis de Santillana et ses descendants y ont résidé. Son enceinte fortifiée et l’alcazar ont été déclarés monument nationaux en 1931. En 1993, Buitrago a été déclaré Bien d’intérêt culturel, dans la catégorie Ensemble historique et artistique. Depuis l’année 2000, le château est la propriété de la municipalité de Buitrago.