Pola súa situación, nun extremo da muralla e preto do castelo do Castro, era un lugar fundamental da defensa viguesa. Asemade, dependía da salvagarda do Castro porque, se caía este, era fácil tomar San Sebastián, e desde alí a vila de Vigo.

En 1665, cando os portugueses invaden a comarca, o recinto de San Sebastián aínda non se rematara. Con todo os lusos quedarán ás portas de Vigo, sen tentar o seu asalto.

Durante a invasión inglesa de 1719 a defensa española faise dende a fortaleza do Castro. A veciñanza, seguindo ordes, evacúa a vila. A tropa española, despois de voar un dos seus baluartes, abandona S. Sebastián. Tómanno os ingleses e dende el bombardean a fortaleza do Castro. Sen víveres e con moitas baixas, os españois renden o Castro seis días despois dunha defensa que os mesmos ingleses cualificaron de bárbara. Vigo tardaría anos en reparar os estragos desta agresión.

Ocupado polos franceses en 1809, vencidos os galos deixaban aquí 17 carros baleiros e varios cabalos e mulas famélicas.

Efectos do ataque de 1719, segundo un maior, e posible espía, do exército británico

"Esta é unha gran cidade pesqueira. Hai pescado en gran abundancia, e tan barato, que por un cuarto puiden comprar un centenar de sardiñas, que son tan grandes como sprats (tranchas). Os estragos causados polos ingleses en 1719 son aínda visibles; e os habitantes aínda non se repuxeron das perdas. Sentinme avergoñado ao oír falar dos actos licenciosos feitos polos meus compatriotas, que aínda se mencionan con horror: roubaron, violaron e prenderon lume ás casas: tales probas de crueldade son indignas do seu carácter: realmente tales métodos de facer a guerra son miserables; destruír a propiedade e levar as pequenas pertenzas duns cuantos individuos nin persegue a gloria da nación nin leva os negocios a bo fin; é só o modo de chegar ás maneiras disolutas de piratas e bucaneiros."

Carta XII de “Viajes a través de España y Portugal”, William Dalrymple (1774)