A él se accede por un portal neoclásico conocido como de Sant Antoni, abierto en el siglo XVIII en las murallas. Está situado en el casco antiguo, denominado popularmente como Castell de Pilat. Formaba parte de la arquitectura del foro provincial de Tarraco del siglo I d. C. Fue convertido en castillo real en la Edad Media y en la actualidad es sede del Museo Nacional Arqueológico de Tarragona.