Espléndidamente conservado y restaurado, esta fortaleza señorial de origen medieval típicamente gallega funciona en la actualidad como biblioteca, centro cultural y de exposiciones.

Este castillo perteneció a la Casa condal de Lemos, fue incorporado a la Casa de Alba en el siglo XVIII. Fue construido en el siglo XIV como fortaleza puramente militar, y en el siglo XVI fue renovado para transformarlo en residencia palaciega.
Su planta dibuja un polígono irregular, ya que se adapta al cerro donde se alza. Consta de varios cuerpos o edificios. La torre del homenaje, de planta rectangular, y la torre del reloj constituyen la parte más antigua. También se conservan el patio de armas, lienzos de muralla —con numerosos blasones esculpidos, además de almenas, barbacanas y troneras—, tres torreones cuadrangulares, la casa del administrador, el palacio —que alberga la biblioteca, un museo sobre el castillo y otras dependencias—, el camino de ronda interior y el foso exterior.