Il est situé au cœur de la ville. Il s'agissait à l'origine d'une forteresse médiévale. Son plan est carré, avec des tours aux angles, dont on ne conserve actuellement que la tour des Damas. Par la suite, on lui ajouta le donjon, à plan carré, et la tour du Moral, toutes deux unies par un passage. Au sein de l'ensemble est conservé la porte extérieure, avec un arc en ogive, déprimée vers l'intérieur, qui communique la forteresse avec la ville. C'est là que fut emprisonné le roi nasride Boabdil el Chico. Suite à la disparition du Royaume de Grenade, il devint le palais résidence des seigneurs de Lucena. C'est actuellement le siège de l'office municipale d'information et de développement touristique. Elle possède diverses salles destinées à accueillir des expositions permanentes et temporaires.