Le château se dresse sur les hauteurs de la ville. Construit par les Templiers sur les vestiges de l'ancienne alcazaba arabe, ses murs sont en pierre de taille. La majorité de ses dépendances sont surmontées de voûtes en berceau. Il s'agit d'une construction sobre et solide que le pape Luna, après son installation à Peñíscola en 1411, transforma en palais jouxté d'une bibliothèque pontificale.