El edificio que abrió sus puertas como prisión provincial en 1929 dejó de tener esta función hace casi cuarenta años. Sólo tres años después de su cierre, en 1984, comenzaron los estudios para la posible transformación del edificio en museo y se incoa la calificación como Bien de Interés Cultural (BIC). No es hasta 1998 cuando la Delegación de Hacienda tramita un expediente de declaración de ruina e insta la demolición del edificio para albergar su nueva sede. Sin embargo, un año más tarde, la Real Academia de Bellas Artes de San Fernando, tras estudiar la solicitud remitida por el Colegio de Arquitectos y la Consejería de Cultura, se pronuncia a favor de la conservación y recuperación del edificio, pasando en 2013 a ser propiedad municipal.