Era el punto más alto de la villa de Vigo. En época medieval aquí estaba la fortaleza del Penso, perteneciente al arzobispo de Santiago, señor de la villa. Derribada después del ataque de Pedro Madruga, en su lugar se construyeron casas. Luego se demolieron para levantar el castillo de San Sebastián.

Las crónicas describen la fortaleza como "fecha de piedra de grano con su cal e almenada y sobradada de dos o tres sobrados e cubierta de teja y madera, muy bien reparada dentro y de fuera con su cerca y barbacana alderredor almenadas".

Los conflictos dinásticos y las luchas de poder desatadas en el siglo XV provocaron su derribo. A fines del siglo es tomada por Pedro Álvarez de Soutomaior, Pedro Madruga. Después de reconquistarla, el arzobispo la manda derribar.

Luego en el lugar se levantaron casas. Es el "montezillo alto" en la primera imagen conocida de la villa, de 1597. Aquí también aparece una capilla dedicada a San Sebastián, abogado de la peste, cuya construcción podría relacionarse con las epidemias que el pueblo de Vigo padeció en estos tiempos.

Cuando en 1656 se levanta la muralla, se derriban las casas y se construye el fuerte o ciudadela cuyos restos contemplamos. La capilla que le dio su nombre quedó fuera del reducto. Inicialmente el castillo sólo alojaba un cuerpo de guardia. En el siglo XIX se construirían pabellones y edificios militares.

El 28 de marzo de 1813, celebrando la fiesta de la Reconquista, explota su polvorín y como consecuencia se derrumba la colegiata, que ya se encontraba en muy mal estado.

Fue cuartel hasta 1964 en que se cede a la ciudad. En 1972 comienza a construirse el actual edificio municipal, después de derribar buena parte de sus muros. Los conservados siguen albergando la historia del lugar.