Der kleine Ort Castellar Viejo liegt hoch oben auf einem Hügel, vollkommen umschlossen von den Mauern seiner Burg arabischen Ursprungs.

Trotz ihres Alters ist die Verteidigungsanlage von Castellar Viejo in sehr gutem Zustand. Mit dem darin enthaltenen bescheidenen Dorf ist sie damit eine der wenigen heute noch bewohnten Festungen aus dem Mittelalter. Der Ortskern zeichnet sich durch einige wenige kleine Plätze und enge, gewundene Gässchen aus und besitzt einen unverkennbar maurischen Charakter.
Die Burg ist heute als Hotel und Mesón-Restaurant hergerichtet. Von den Gebäuden des Ortes sind vor allem der Palast des Markgrafen Moscoso und das Kloster La Almoraima hervorzuheben. An Tagen mit klarer Sicht kann man von Castellar Viejo aus nicht nur die nähere Umgebung, sondern ohne weiteres auch die Bucht von Algeciras, den Felsen von Gibraltar und die afrikanische Küste sehen.