Punta Cantera era el sitio ideal para una batería de cañones capaz de alcanzar todo el seno interior de la bahía, algo entrada en el mar y sobre terreno llano. Su línea de fuego podría batir la Punta de la Clica, la embocadura del caño de la Carraca y el camino de Cádiz a La Isla. También podría atacar Puerto Real, el Trocadero y el fuerte de San Luís.
Las murallas de Punta Cantera se construyeron a partir de 1777 y en 1808 se instaló por primera vez una batería de morteros, además de otras en el embarcadero de Fadricas y en el Lazareto, para acosar a la escuadra de Rosilly, fondeada a su alcance. En el fuego que se intercambió a partir del 9 de junio, las andanadas francesas hicieron blanco en las posiciones de Punta Cantera hasta desmontarlas. Cuando en 1810 las tropas de Napoleón establecieron el cerco y se reconocieron las defensas de La Isla se encontró que en la costa desde la punta de la Clica hasta Puntales no existía artillería que oponer a los franceses si intentaban desembarcar por esta zona. En noviembre se iniciaron los trabajos para instalar baterías en Punta Cantera, Lazareto y Ossio.
La batería de Punta Cantera se construyó en torno al almacén santabárbara y estuvo artillada con un total de veintiuna piezas. Tenía una tropa de 200 soldados entre portugueses y fusileros ingleses, que se alojaron en la santabárbara, tras el traslado de la pólvora a los almacenes de Setina en 1810.
Las troneras orientadas al norte aún existían en 1943 cuando se levantó un plano para instalar un depósito elevado de agua. Eran idénticas a las que se construyeron en las fortificaciones de la misma época en el entorno del Puente Zuazo.
Para impedir el asalto desde el mar se destruyeron unos tres metros del muelle para formar un foso. Un puente móvil permitía el paso para el embarque y desembarque. Después de 1823 se cubrió de nuevo para recuperar la funcionalidad del espigón.
En 1978 durante unos movimientos de tierra aparecieron las losas de piedra colocadas en el suelo del patio de armas así como dos cañones de hierro. Una vez limpios de óxido, se colocaron sobre cureñas junto al mástil de la bandera de los polvorines. Desde 1986 están en la torre de este polígono asomando por las troneras hacia la playa de Torregorda.
La batería de Punta Cantera no tuvo demasiada actividad durante el asedio francés debido a que las aguas de la bahía estaban en poder de españoles e ingleses. La artillería montada en la flota de sutiles con base en el espigón y en el embarcadero, así como un amplio terreno cubierto de esteros y marismas disuadieron el ataque francés por ese lado.
En la sublevación contra el absolutismo de Fernando VII los cañones de la batería de Punta Cantera tuvieron una actuación decisiva puesto que todas las escaramuzas se desarrollaban dentro de su alcance. Su fuego contribuyó a rechazar los ataques que partían del fuerte de la Cortadura pretendiendo tomar Torregorda o Santibáñez, ambos en poder de los sublevados.
En 1822 el congreso de Verona las potencias europeas deciden intervenir en España para devolver el poder absoluto a Fernando VII. El duque de Angulema, futuro Carlos X de Francia, invade la península al mando de 70.000 franceses. A estos se unen tropas españolas hasta formar los “Cien Mil Hijos de San Luís”. El gobierno, con el rey retenido, se refugia en San Fernando y Cádiz y se repite una situación similar a la de 1810.
En junio de 1823 el duque de Angulema cercó toda la bahía y se repararon de nuevo todas las baterías de San Fernando. Esta vez el apoyo de la tropa y la población no fue tan fuerte como en la lucha por la independencia. El cerco es total ya que el mar es de los absolutistas. Los vecinos son obligados a trabajar en las fortificaciones pero están exhaustos y hambrientos. El enemigo era más fuerte que los defensores atrincherados en La Isla de León.
En agosto el duque de Angulema ordenó tomar el Trocadero a toda costa. El bombardeo duró diez días. Con la toma de este punto los franceses tenían a tiro los trabajos que se estaban realizando en Matagorda, de manera que se abandonaron y reforzaron los de Torregorda y Punta Cantera. Fueron trabajos encima de las construcciones originales porque los recursos no permitían otra cosa. Los nuevos muros se levantaron con sillares de roca ostionera extraídos de otras construcciones, piedras del entorno, viejos ladrillos, restos de ánforas romanas y cualquier material que se encontrara a mano. Muchos de esos añadidos se mantienen todavía y son visibles sobre las construcciones originales.
Tomado el Trocadero los enemigos quedaron a tiro de los cañones de Punta Cantera, que intervinieron en las escaramuzas de los días siguientes. Poco a poco las demás baterías y cuerpos se van rindiendo y es necesario firmar la paz. Fernando VII volvió a ser el nefasto y despótico rey.
El Estado Mayor francés ordenó desmantelar todo el cinturón defensivo para asegurar que la ciudad no apoyara otro alzamiento contra el poder absoluto del rey. San Fernando fue ocupado por tropas francesas hasta 1828. Las autoridades de ocupación exigieron nuevos sacrificios a la población e impusieron sus propias normas con menosprecio de los vecinos.
Un proyecto francés de 1825 para fortificar Punta Cantera preveía cerrar el recinto amurallado y construir un baluarte artillado en el centro. Mantenía los polvorines Santa Bárbara y San Jerónimo, y proyectaba eliminar el San Bernardo.