Punta Cantera era el lugar idóneo para una batería. Su posición, ligeramente adentrada en el mar y llana, le permitía batir la Punta de la Clica, la entrada del caño de la Carraca y la ruta de Cádiz a La Isla. Además, podía atacar Puerto Real, el Trocadero y el fuerte de San Luís.
Las murallas de Punta Cantera se levantaron desde 1777. En 1808 se instalaron allí, en Fadricas y en el Lazareto, baterías de morteros para atacar a la escuadra francesa de Rosilly, que las desmontó con sus andanadas a partir del 9 de junio. En 1810, al iniciarse el cerco napoleónico, se comprobó que la costa entre la punta de la Clica y Puntales carecía de artillería. En noviembre se comenzó a instalar baterías en Punta Cantera, Lazareto y Ossio.
La batería de Punta Cantera se construyó alrededor del almacén Santa Bárbara, con veintiuna piezas de artillería. Estuvo guarnecida por 200 soldados (portugueses y fusileros ingleses) alojados en la santabárbara tras el traslado de la pólvora en 1810. En 1943 aún existían las troneras orientadas al norte, idénticas a las de las fortificaciones coetáneas del Puente Zuazo.
Para evitar el asalto marítimo, se demolió un tramo de tres metros del muelle para crear un foso, con un puente móvil para el tránsito. Tras 1823, se reconstruyó para restaurar la funcionalidad del espigón.
En 1978 se hallaron losas y dos cañones de hierro durante movimientos de tierra. Tras limpiarse, se montaron en cureñas junto al mástil de la bandera de los polvorines. Desde 1986, estos cañones asoman por las troneras de la torre del polígono hacia la playa de Torregorda.
La batería de Punta Cantera tuvo poca actividad durante el asedio francés, ya que las aguas de la bahía estaban controladas por españoles e ingleses, y la presencia de la flota y las salinas disuadieron un ataque por ese flanco. Sin embargo, fue decisiva en la sublevación contra Fernando VII, pues su fuego ayudó a rechazar los ataques desde el fuerte de la Cortadura contra las posiciones sublevadas de Torregorda y Santibáñez.
En 1822, el Congreso de Verona autorizó la intervención de potencias europeas en España para restaurar el absolutismo de Fernando VII. El duque de Angulema lideró a los "Cien Mil Hijos de San Luis" (70.000 franceses más tropas españolas) en la invasión. El gobierno y el rey se refugiaron en San Fernando y Cádiz, repitiendo la situación de 1810.
En junio de 1823, Angulema sitió la bahía. Aunque se repararon las baterías de San Fernando, el apoyo popular y militar fue menor que en 1810. El cerco absolutista era total, incluyendo el mar. La población, exhausta y hambrienta, fue obligada a trabajar en las fortificaciones frente a un enemigo superior atrincherado en La Isla de León.
En agosto, el Duque de Angulema ordenó la toma del Trocadero, lo que obligó a abandonar las obras de Matagorda y reforzar Torregorda y Punta Cantera con materiales de otras construcciones (roca ostionera, ladrillos, ánforas, etc.). Tras la caída del Trocadero, Punta Cantera intervino en escaramuzas. Finalmente, las defensas se rindieron y se firmó la paz, reinstaurando a Fernando VII. Para evitar nuevos levantamientos, el Estado Mayor francés desmanteló el cinturón defensivo y ocupó San Fernando hasta 1828, imponiendo normas con desprecio a la población.
Un proyecto francés de 1825 para fortificar Punta Cantera preveía cerrar el recinto amurallado y construir un baluarte artillado en el centro. Mantenía los polvorines Santa Bárbara y San Jerónimo, y proyectaba eliminar el San Bernardo.