Die Burg erhebt sich an der höchsten Stelle der Stadt. Sie wurde von den Templern auf den Resten einer alten arabischen Alkazaba errichtet. Die Mauern der Burg wurden aus behauenen Steinen gebaut. Die meisten Räume sind mit Tonnengewölben überwölbt. Es handelt sich um ein schlichtes, solides Bauwerk. Der Papst Luna ließ die Burg nach seiner Versetzung nach Peñíscola im Jahre 1411 zu einem päpstlichen Palast mit Bibliothek umbauen.