El aumento de las necesidades urbanas y portuarias impulsó la construcción del recinto de San Carlos y del nuevo muelle o punta de San Felipe sobre terrenos ganados al mar.

El lienzo de la muralla que corría por el lateral de la actual plaza de España fue demolido y las bóvedas restantes se emplean para usos diversos, como plazas de garaje o negocios privados.

En el paseo sobre las murallas se han instalado varios cañones procedentes del baluarte de Santa Cruz, que fueron encontrados durante las obras de ampliación del aparcamiento de Canalejas. Parece que estos cañones se tiraron a la arena tras el asedio francés y encima se construyó el muelle. Se han reproducido sus cureñas al modo de la época. También hay otro correspondiente a uno de los barcos del asalto angloholándes a Cádiz.

Sobre el muelle se instaló una alargada batería construida mediante bóvedas, son 14 más 3 en la rampa de subida, para distintos usos. Desaparecido el muelle, se conserva en buen estado. Esta ampliación de la muralla de San Carlos supuso la desaparición del baluarte de San Felipe. Su perfil se asienta sobre la denominada Punta de San Felipe, saliente del muelle que fue construido en la década de 1730 sobre terrenos ganados al mar.

El cerramiento de la muralla al mar está resuelto mediante muros de sillería de piedra ostionera vista, mientras que hacia la ciudad son de mampostería de ladrillo tosco y piedra revestido con mortero de cemento y cal.

A principios del siglo XX se derriba todo el frente hacia el puerto y al baluarte de San Carlos se le elimina el flanco sur. Desaparecen la doble puerta llamada de San Carlos o de Madrid,  el cuartel de San Carlos y otras dependencias militares. Se urbanizaron los terrenos, que luego se recuperaron para la construcción del monumento a las Cortes de 1812. En 1928 se construyó la escalera situada en uno de los ángulos de la plaza de España.

Esta plaza, no existía sino que la ocupaba el mar. Con la reforma de las murallas del flanco del muelle en 1724 esto cambiará. La modificación de la muralla y la construcción de dos baluartes darán lugar con terrenos ganados al mar al espacio que es la plaza de España así como a la construcción del Palacio de la Aduana. El proyecto implicaba tres grandes edificios: la Casa de Contratación, el Consulado y la Aduana. Solo se realizó esta última.

El "Cuartel de Marina" estaba situado en lo que hoy es la "Casa de las cuatro torres". Este edificio corresponde a los almacenes reales, dependientes del cuartel al que le servían de arsenal para guardar pertrechos.

En 1761 se propuso la construcción del edificio de la Aduana en el terreno que había dejado el derribo del arsenal. El vocal de la Real Junta de Fortificación, Francisco Roldán, propuso la venta del terreno para edificar casas particulares y financiar mejoras en las fortificaciones de la plaza. Una vez aceptada por el rey la enajenación del terreno, se adjudicó en pública subasta a Sebastián Franco Sánchez por 751.000 reales de vellón. 

En este solar se edificaría la "Casa de las cinco torres, que son en realidad cinco fincas independientes cada una con su torre-mirador. Su adjudicatario era un comerciante de la Carrera de Indias con un cuantiosas propiedades en la ciudad. El terreno fue de los más caros en su época. Fue en la década de los setenta del siglo XVIII cuando se edificaron las casas, "todas principales”, de cuatro cuerpos con sus oficinas, mirando su frente a la muralla y al mar de la bahía. Supuso una nueva alineación del frente del caserío y tuvo un coste total de 974.313 reales de vellón.

Las casas son todas iguales, con la fachada de estilo barroco en transición al neoclásico y con la característica planta centrada. El propietario de las edificaciones fue nombrado en 1773 conde de las Cinco Torres por "...haber beneficiado a la Hacienda Real con más de dos millones y medio de reales de vellón”.

Dos edificaciones terminan de conformar el frente del caserío junto a la "Casa de las cinco torres". Una es una casa de viviendas por pisos edificada en 1800 de estilo neoclásico modificado posteriormente por la presencia de cierros. La otra hace esquina con la calle Antonio López, es un palacete del mismo año de estilo neoclásico imitando las construcciones del próximo barrio de San Carlos. Todas estas fincas tenían a muy pocos metros la muralla que defendía la ciudad.

El proyecto de la Aduana y su ubicación tuvo muchos cambios. El primero de ellos en 1730 contemplaba una muralla entre los baluartes de San Antonio y San Felipe, y en el espacio que quedaría entre la muralla nueva y la vieja, construir la Aduana, la Casa de la Contratación y el Consulado. Solo se hizo en la parte del castillo de San Felipe (casi en ruinas) ganando un terreno que sería el futuro barrio de San Carlos. Siguieron varios proyectos más. El de 1764 contemplaba una dársena a la que rodearían los tres edificios.

Los arbitrios habituales sobre vino, aceite, vinagre, cerveza y corridas de toros no eran suficientes para financiar las obras. Eran necesarios 1,5 millones de pesos. Se vendieron los terrenos del relleno (barrio de San Carlos), los materiales resultantes del derribo del castillo de San Felipe y se alquilaron los almacenes de comercio.

Para construir la Aduana hubo que modificar el baluarte de San Antonio. De ser una simple plataforma pasó a ser un baluarte con sus correspondientes bóvedas.