Era o punto máis alto da vila de Vigo. En época medieval aquí estaba a fortaleza do Penso, pertencente ao arcebispo de Santiago, señor da vila. Derrubada despois do ataque de Pedro Madruga, no seu lugar construíronse casas. Logo demoléronse para levantar o castelo de San Sebastián.

As crónicas describen a fortaleza como "fecha de piedra de gra-no con su cal e almenada y sobradada de dos o tres sobrados e cubierta de teja y madera, muy bien reparada dentro y de fuera con su cerca y barbacana alderredor almenadas".

Os conflitos dinásticos e as loitas de poder desatadas no século XV provocaron a súa derruba. A finais do século é tomada por Pedro Álvarez de Soutomaior, Pedro Madruga. Despois de reconquistala, o arcebispo mándaa derrubar.

Logo no lugar levantáronse casas. É o "montezillo alto" na primeira imaxe coñecida da vila, de 1597. Aquí tamén aparece representada unha capela dedicada a san Sebastián, avogado da peste, cuxa construción podería relacionarse cos andazos que o pobo de Vigo padeceu nestes tempos.

Cando en 1656 se levanta a muralla, derrúbanse as casas e constrúese o forte ou cidadela cuxos restos contemplamos. A capela que lle deu o seu nome quedou fóra do reduto. Inicialmente o castelo só aloxaba un corpo de garda. No século XIX construiríanse pavillóns e edificios militares.

O 28 de marzo de 1813, celebrando a festa da Reconquista, explota a súa polvoreira e como consecuencia derrúbase a colexiata, que xa se atopaba en moi mal estado.

Foi cuartel ata 1964 en que se cede á cidade. En 1972 comeza a construírse o actual edificio municipal, despois de derrubar boa parte dos seus muros. Os conservados seguen albergando a historia do lugar.