En 1861 el arquitecto José María Ortiz y Sánchez redacta el proyecto de construcción del edificio. Tras varios años de cambios y añadidos, las obras se terminan en 1880 como indica la placa de mármol situada en la fachada principal, aunque en realidad se siguieron haciendo cambios y reformas.

Además de cárcel, el edificio terminó siendo un Palacio de Justicia; en el cuerpo rectangular, con fachada a la calle Príncipe, se instalaron los Juzgados y en el resto del edificio, la cárcel.

Es de planta hexagonal irregular formada por un cuerpo rectangular con fachada a la calle Príncipe, un cuerpo circular en el centro del que parten tres naves radiales y por último varios cuerpos laterales que cierran los lados del inmueble. Este tipo de planta -llamada panóptica- fue diseñada por el filósofo británico Jeremy Bentham (fallecido en 1832) y utilizada por primera vez en la construcción de cárceles en el siglo XIX; con ella se facilitaba la vigilancia, a la vez que se creaban varios patios exteriores que facilitaban la ventilación y la entrada de luz natural, además de espacios abiertos para los presos.

Originalmente tenía dos plantas, pero se le añadió una más en los tres cuerpos de la fachada posterior y la nave central que los comunica. La fachada principal forma un conjunto airoso y armónico; en ella destacamos un cuerpo central más saliente que el resto y un zócalo que la recorre longitudinalmente. Este cuerpo es de sillares almohadillados y presenta una mayor profusión decorativa que el resto de la fachada; de él destaca el balcón corrido, situado sobre ménsulas de piedra, y en el que se abren tres puertas con arcos semicirculares enmarcados en pilastras de estilo corintio y, como remate, un reloj. La fachada posterior y las laterales son más pesadas al tener menos vanos.

Los materiales constructivos empleados son la sillería de granito y la mampostería revestida en los entrepaños de los muros.

Este edificio fue declarado Bien de Interés Cultural en 1990.

La remodelación del edificio se inició en 1999 y concluyó en el año 2001, para convertirlo en el museo de arte contemporánea de la ciudad, actualmente de titularidad municipal.

De su remodelación se encargó un equipo vigués de arquitectos formado por Manuel Portolés Sanjuán, Francisco Javier García-Quijada Romero y Salvador Fraga Rivas.

En la reforma se mantuvo, en todo momento, el esquema original del antiguo edificio. Destaca por ello, como señal de identidad frente a otros museos, el trazado panóptico de las salas de exposición. Su estructura está formada por tres galerías y cuatro patios que parten de un núcleo central, rodeados de salas perimetrales, con lo que se desplaza la entrada de las salas de exposición desde la fachada al centro.

En su exterior se construyó un edificio anexo y un paseo peatonal, en las calles posteriores, que lo integran perfectamente en su entorno.