C'est par le Traité d'Alcañices, de 1297, qu'Olivenza est passée aux mains des portugais jusqu'en 1801. Aussi bien les monuments espagnols que les portugais ont été restaurés par le municipe.

Olivenza fut fondée par l'Ordre du Temple au XIII^e siècle. Or, même de nos jours, elle n'a pas perdu son ascendance portugaise. Toute son architecture en général combine les styles des deux pays, ce qui fait que son patrimoine soit particulièrement large.

La vieille ville, entourée de remparts, possédait quatorze tours au total. En 1334, débute la construction de l'alcazar à l'intérieur des remparts. Cependant, la plus haute tour de la frontière qui mesure 37 mètres est érigée en 1488. L'alcazar et la « Panadería del rey » (Boulangerie du Roi), du XVIII^e siècle, abritent le Musée ethnographique. L'église de la Magdalena, du XVI^e siècle, est un véritable chef-d'œuvre du style manuélin. L'église de l'Hermandad de la Misericordia acquiert son aspect actuel en 1732. Mais son hôpital a été constamment réformé. La construction du Couvent des Clarisses ou de San Juan de Dios dura pratiquement un siècle (1556-1631). Actuellement, il abrite le Centre culturel et l'École de théâtre et de danse. La Chapelle de l'Évangile, de Santa María del Castillo, renferme le retable le plus remarquable d'Olivenza - un des rares existant encore en son genre - qui représente un arbre de quinze mètres de hauteur.

Le caractère frontalier d'Olivenza s'est traduit par la construction de forteresses comme celles de la poudrière de Santa Bárbara, les corps de garde des portes et les casernes.