El jardín se ofrece como un pequeño remanso de paz en el interior de la ciudad, invitando al reposo y la oración. Se piensa que la superficie del Patio de los Naranjos es aproximadamente la ocupada por la antigua mezquita, a la que pertenecen dos de los muros exteriores. En el centro hay una gran fuente, cuyo tazón se cree que es uno de los escasos restos de la época visigótica, y en el espacio o claustro del lado oriental, llamado de la Granada, se encuentra al famoso púlpito de piedra desde el que se dice predicaron Vicente Ferrer, Francisco de Borja, Fernando de Contreras, Fray Diego, José de Cádiz, Juan de Ávila. Se le dio el nombre de Patio de los Naranjos porque, según escribió en el siglo XVI Rodrigo Caro, "hay en él naranjos de muchos siglos atrás, con algunas palmas y cipreses".