Lores viaja a Madrid acompañado de un extenso informe fechado el pasado 9 de mayo y elaborado por el archivero municipal que da fe de la importancia del inmueble en la historia de Pontevedra. Arranca desde la construcción del primitivo convento, probablemente entre 1214 y 1235, hasta la reedificación del inmueble ahora en cuestión en el siglo XVIII, costeada por el Arzobispo Malvar. Se terminó de construir en 1800, instalándose como principal acceso la puerta de la San Domingos de la muralla pontevedresa. En su fachada se conserva uno de los escudos representativos de la ciudad más bonitos.
Por su situación estratégica (de hecho, se integró como parte del entramado defensivo de la ciudad) el convento sirvió de refugio y fortaleza en repetidas ocasiones a lo largo de su historia: En 1809 dio cobijo a las tropas francesas frente a la insurrección popular que los asedió hasta su rendición el 28 de febrero. El 24 de marzo de 1823 los liberales se hicieron fuertes en su interior frente a la facción absolutista de Cotobade. El 3 de agosto de 1823 se parapetaron en él los propios pontevedreses, atacados por fuerzas procedentes de Vigo que pretendían llevarse la capitalidad de la provincia. Entre 1835 y 1837 se produjo el proceso desamortizador y pasó a pertenecer al Estado como delegación de Hacienda, Gobierno Político y Diputación Provincial. Más tarde fue sede de la Caja de Ahorros y Monte de Piedad, además de sede de los bomberos.
