Desde el siglo XVII se iniciaron las obras de un sistema de torres que serviría a vigilar la costa y enviar señales de aviso ante posibles ataques enemigos. Su mantenimiento sería a través de la “sisa del pescado”. Esto era un impuesto sobre el pescado capturado en la costa y por cada libra de pescado se pagaría un maravedí.
A Cádiz le correspondía la jurisdicción de las torres de Sancti Petri, Hércules y San Sebastián.