Aufgrund des Vertrages von Alcañices von 1297 stand Olivenza bis zum Jahre 1801 unter portugiesischer Herrschaft. Sowohl die spanischen als auch die portugiesischen Denkmäler wurden dank einer städtischen Initiative restauriert.

Olivenza wurde im 13. Jahrhundert vom Templerorden gegründet. Noch heute ist dort der portugiesische Einfluss spürbar. Die Architektur der Stadt, welche zahlreiche Sehenswürdigkeiten beherbergt, weist im allgemeinen eine Mischung der Stilrichtungen der beiden Länder auf.

Die Altstadt, die von einer Stadtmauer umgeben ist, zählte früher 14 Türme. Im Jahre 1334 begann man, innerhalb der Stadtmauern eine Festung, den sog. Alcázar, zu errichten. Der höchste Turm an der Grenze wurde mit einer Höhe von 37 m jedoch erst 1488 erbaut. Im Inneren des Alcázar, in der Königlichen Bäckerei, der Panadería del Rey, (18. Jh.) befindet sich das Völkerkundemuseum. Die Magdalena-Kirche aus dem 16. Jahrhundert ist ein wahres Meisterwerk der manuelinischen Baukunst. Die Kirche Hermandad de la Misericordia, wie man sie heute sieht, stammt aus dem Jahre 1732, wenngleich ihr Hospital mehrfach restauriert wurde. Der Bau des Klarissinnenklosters, das auch als San Juan de Dios bekannt ist, dauerte nahezu ein Jahrhundert (1556-1631). Heute ist darin ein Kulturzentrum und eine Schule für Tanz und Theater untergebracht. In der Evangelistenkapelle von Santa María del Castillo kann man ein erstaunliches Retabel von Olivenza bewundern - eines der wenigen seiner Art, die noch erhalten sind -, das einen Baum von 15 m Höhe darstellt.

Olivenzas Eigenschaft als Grenzstadt führte zum Bau zahlreicher Verteidigungseinrichtungen wie der Pulverkammer Santa Bárbara, der Wachhäuschen an den Stadttoren und der Kasernen.