Lerma erstreckt sich auf einem Hügel, der das Tal des Flusses Arlanza beherrscht. Die Stadt, die auf vorrömische Zeiten zurückgeht, erlebte ihre Blütezeit unter dem Herzog von Lerma, einem Günstling Philipps III. von 1598 bis 1618.

Das herrschaftliche Flair der Altstadt wird vor allem von ihrem majestätischen Herzogspalast geprägt, in dem sich heute das Parador-Hotel der Stadt befindet. Dieser wurde zwischen 1601 und 1617 von Francisco de Mora über den Ruinen einer alten Burg errichtet. Der schlichte aber elegante Bau wird von vier eckigen Türmen flankiert. Vor diesem Palast erstreckt sich die große Plaza Ducal, die vollkommen von einem Säulengang umgeben war. Der bedeutendste Sakralbau der Stadt ist die Kollegialkirche San Pedro, die Anfang des 17. Jahrhunderts entstand und durch eine Passage mit dem Herzogspalast verbunden ist. Von der Kirche aus genießt man einen herrlichen Blick auf den Fluss Arlanza. Ihre Außenseite ist eher schlicht gehalten, im Inneren kann man jedoch eine wertvolle Statue von Juan de Arfe bewundern, die den betenden Erzbischof Cristóbal de Rojas y Sandoval, den Onkels des Herzogs, darstellt. Die Orgel, die aus dem Jahre 1616 stammt, ist eine der ältesten Spaniens. Sehenswert sind auch die Wallfahrtskapelle La Piedad, die Klöster San Blas, Madre de Dios und Ascensión de Nuestra Señora, die im 17. Jahrhundert erbaut wurden, sowie der Gefängnisbogen, ein Tor der mittelalterlichen Stadtmauer, das auf Veranlassung des Herzogs von Lerma restauriert und in ein Gefängnis umgebaut wurde.