Por su situación, en un extremo de la muralla y cerca del castillo del Castro, era un lugar fundamental de la defensa viguesa. Al tiempo, dependía de la salvaguarda del Castro porque, si caía éste, era fácil tomar San Sebastián, y desde allí la villa de Vigo.

En 1665, cuando los portugueses invaden la comarca, el recinto de San Sebastián aún no estaba acabado. Sin embargo los lusos se quedarán a las puertas de Vigo, sin intentar su asalto.

Durante la invasión inglesa de 1719 la defensa española se hace desde la fortaleza del Castro. La vecindad, siguiendo órdenes, evacúa la villa. La tropa española, después de volar uno de sus baluartes, abandona S. Sebastián. Lo toman los ingleses y desde él bombardean la fortaleza del Castro. Sin víveres y con muchas bajas, los españoles rinden el Castro seis días después de una defensa que los mismos ingleses calificaron de bárbara. Vigo tardaría años en reparar los estragos de esta agresión.

Ocupado por los franceses en 1809, vencidos los galos dejaban aquí 17 carros vacíos y varios caballos y mulas famélicas.

Efectos del ataque de 1719, según un mayor, y posible espía, del ejército británico

"Esta es una gran ciudad pesquera. Hay pescado en gran abundancia, y tan barato, que por un cuarto pude comprar un centenar de sardinas, que son tan grandes como sprats (espadines). Los estragos causados por los ingleses en 1719 son aún visibles; y los habitantes aún no se han repuesto de las pérdidas. Me sentí avergonzado al oír hablar de los actos licenciosos cometidos por mis compatriotas, que aún se mencionan con horror: robaron, violaron y prendieron fuego a las casas: tales pruebas de crueldad son indignas de su carácter: realmente tales métodos de hacer la guerra son miserables; destruir la propiedad y llevarse las pequeñas pertenencias de unos cuantos individuos ni persigue la gloria de la nación ni lleva los negocios a buen fin; es solo el modo de llegar a las maneras disolutas de piratas y bucaneros."

Carta XII de “Viajes a través de España y Portugal”, William Dalrymple (1774).