El Castillo está enclavado en la zona más elevada de la ciudad. Construido por los templarios sobre los restos de la antigua alcazaba árabe. El castillo fue levantado con muros de piedra labrada. La mayoría de las dependencias se cubren con bóvedas de cañón. Se trata de una construcción sobria y sólida. El Papa Luna, tras su traslado a Peñíscola en 1411, convirtió el castillo en palacio y biblioteca pontificia.