Punta Cantera era el sitio ideal para una batería de cañones capaz de alcanzar todo el seno interior de la bahía, algo entrada en el mar y sobre terreno llano. Su línea de fuego podría batir la Punta de la Clica y la embocadura del caño de la Carraca, además de tener a tiro el camino de Cádiz a La Isla. También podría atacar Puerto Real, el Trocadero y el fuerte de San Luís.
Las murallas de Punta Cantera se construyeron a partir de 1777 y en 1808 se instaló por primera vez una batería de morteros, además de otras en el embarcadero de Fadricas y en el Lazareto, para acosar a la escuadra de Rosilly, fondeada a su alcance. En el fuego que se intercambió a partir del 9 de junio, las andanadas francesas hicieron blanco en las posiciones de Punta Cantera hasta desmontarlas. Cuando en 1810 las tropas de Napoleón establecieron el cerco y se reconocieron las defensas de La Isla se encontró que en la costa desde la punta de la Clica hasta Puntales no existía artillería que oponer a los franceses si intentaban desembarcar por esta zona. En noviembre se iniciaron los trabajos para instalar baterías en Punta Cantera, Lazareto y Ossio para impedir con sus fuegos cruzados cualquier intento de desembarco.
La batería de Punta Cantera se construyó en torno al almacén santabárbara y estuvo artillada con tres morteros, dieciséis cañones de a 24 libras y dos obuses de a 9. En total veintiuna piezas. Tenía una tropa de 200 soldados entre portugueses y fusileros ingleses, que se alojaron en la santabárbara, tras el traslado de la pólvora a los almacenes de Setina en 1810.
Las troneras orientadas al norte aún existían en 1943 cuando se levantó un plano para instalar un depósito elevado de agua. Eran idénticas a las que se construyeron en las fortificaciones de la misma época en el entorno del Puente Zuazo.
Para impedir el asalto al Reducto 22 desde el mar se destruyeron unos tres metros del muelle para formar un foso. Un puente móvil permitía el paso para el embarque y desembarque. Después de 1823 se cubrió de nuevo para recuperar totalmente la funcionalidad del espigón.
En 1978 durante unos movimientos de tierra aparecieron las losas de piedra colocadas en el suelo del patio de armas del reducto 22 así como dos cañones de hierro. Una vez limpios de óxido, se les fabricaron cureñas en el arsenal de la Carraca y se colocaron junto al mástil de la bandera de los polvorines. En 1986 se enviaron al polígono González Hontoria. Hoy día están en la torre de este polígono asomando por las troneras hacia la playa de Torregorda.
La batería de Punta Cantera no tuvo demasiado trabajo durante el asedio francés debido a que las aguas de la bahía estaban en poder de españoles e ingleses. La artillería montada en la flota de sutiles con base en el espigón y en el embarcadero así como un amplio terreno cubierto de esteros y marismas disuadieron el ataque francés por ese lado. Las acciones bélicas discurrían por otras zonas.
En la sublevación contra el absolutismo de Fernando VII los cañones de la batería de Punta Cantera tuvieron una actuación decisiva puesto que todas las escaramuzas se desarrollaban dentro de su alcance. Su fuego contribuyó a rechazar los ataques que partían del fuerte de la Cortadura pretendiendo tomar Torregorda o Santibáñez, ambos en poder de los sublevados.
El 9 de febrero volvieron a intervenir para rechazar el ataque a San Fernando de las tropas que salieron de Cádiz y las que se desplegaron en guerrillas en el ventorrillo del Chato. Finalmente Fernando VII se vio obligado a jurar la constitución de 1812. Las baterías de Punta Cantera contribuyeron a este desenlace.
En los tres años de liberalismo la Casa Blanca de Fadricas se usó como cuartel. Los excesos de la tropa ocasionaron tales destrozos que el marqués del Pedroso, dueño de la misma, llegó a presentar una queja ante el juez de primera instancia de Cádiz.
Las potencias europeas, reunidas en el Congreso de Verona, deciden intervenir en España para devolver el poder absoluto a Fernando VII. El duque de Angulema, futuro Carlos X de Francia, invade la península al mando de 70.000 franceses. A estos se unen tropas españolas hasta formar los “Cien Mil Hijos de San Luís”. El gobierno, con el rey retenido, se refugia en San Fernando-Cádiz y se repite una situación similar a la de 1810. En junio de 1823 el duque de Angulema cercó toda la bahía.
Se reparan de nuevo todas las baterías de San Fernando. Esta vez el fervor de la tropa y la población no es tan fuerte como en la lucha por la independencia. El cerco es total ya que el mar es de los absolutistas. Los vecinos son obligados a trabajar en las fortificaciones pero están exhaustos y hambrientos. Además, el momento político no es a favor de los liberales. El enemigo se es más fuerte que los defensores atrincherados en La Isla de León.
En agosto de 1823 el duque de Angulema ordena tomar el Trocadero a toda costa. El bombardeo duró diez días. Con la toma de este punto los franceses tenían a tiro los trabajos que se estaban realizando en Matagorda, de manera que se abandonaron y reforzaron los de Torregorda y Punta Cantera. Fueron trabajos encima de las construcciones originales. Los medios no permitían otra cosa. Los nuevos muros se levantaron con sillares de roca ostionera extraídos de otras construcciones, piedras del entorno, viejos ladrillos, restos de ánforas romanas y cualquier material que se encontrara a mano. Casi todos esos añadidos se mantienen hoy día y son visibles sobre las construcciones originales.
Tomado el Trocadero los enemigos estaban a tiro de los cañones de Punta Cantera e intervienen en las escaramuzas que se suceden en los días siguientes. Poco a poco las demás baterías y cuerpos se van rindiendo y convencen a la regencia para firmar la paz. Fernando VII volvió a ser el nefasto y despótico rey.
El Estado Mayor francés ordenó levantar planos y desmantelar todo el cinturón defensivo de la ciudad para asegurar que la ciudad no apoyara otro alzamiento contra el poder absoluto del rey. San Fernando fue ocupado por tropas francesas durante cinco años (1823-1828). Las autoridades de ocupación exigieron nuevos sacrificios a la población e impusieron sus propias normas con menosprecio de los vecinos.
Un proyecto francés de 1825 para fortificar Punta Cantera preveía cerrar el recinto amurallado y construir un baluarte artillado en el centro. Mantenía los polvorines Santa Bárbara y San Jerónimo, y proyectaba eliminar el San Bernardo.