Cuando Fermín Brey solo llevaba un mes al frente del Ayuntamiento, tuvo que afrontar su primera decisión trascendental: qué hacer con las Torres Arzobispales, símbolo de poder de la Mitra Compostelana sobre la Boa Vila.
Una corporación anterior había acordado su derribo en 1868 y había destinado el uso de la piedra a una ampliación del Consistorio. Pero no hizo ni lo uno ni lo otro, porque solo duró tres meses al frente del Concello, y el compás de espera sobre su futuro se prolongó durante el quinquenio siguiente.
Probablemente construidas entre los siglo XII y XIII, las Torres Arzobispales se mantuvieron erguidas tras soportar unos cuantos episodios bélicos, desde la Revolución Irmandiña, hasta la invasión del ejercito anglo-francés. Los historiadores locales situaron su declive irremediable a finales del siglo XVIII, después de fallar todos los intentos por insuflarles una nueva vida como cuartel, prisión y hospital, sucesivamente.
El arquitecto municipal advirtió al pleno corporativo en septiembre de 1873 sobre la amenaza de venirse abajo "uno de los frentes de la cornisa". El técnico achacó el peligro "al desarrollo que han tomado las diferentes plantas que nacen en la coronación de la torre".
Flórez propuso su conservación, "teniendo en cuenta que es una de las huellas del feudalismo que tanto dicen y que tan admiradas son por las personas entendidas". Sin embargo, prevaleció la opinión de la Comisión de Policía Urbana, que apostó por su demolición, "en evitación de las desgracias que pudieran ocurrir". Poco después, la misma comisión rechazó el derrumbe de las Ruinas de Santo Domingo que aconsejó el citado arquitecto.
Inesperadamente, entró en liza el gobernador civil, Manuel G. Barquín, quien suspendió el desmontaje. Tal decisión no gustó nada a la corporación encabezada por Fermín Brey y solicitó de inmediato la reconsideración de su postura a la primera autoridad provincial. Que pasó en aquellas semanas cruciales para el ser o no ser de las Torres Arzobispales, no consta en ningún documento conocido. El gobernador civil nunca explicó el motivo por el cual se volvió atrás y, finalmente, permitió su derribo.
La piedra del desmontaje se trasladó a un lugar seguro y llenó diez mil carros. Cuatro mil de mejor calidad se vendieron en subasta pública y los otros seis mil se emplearon en enlosar plazas y calles.
La corporación municipal se dio la misma rapidez en ejecutar la demolición de las Torres Arzobispales, que en subastar el solar resultante en la avenida de Santa María. Pero ni siquiera una rebaja a la cuarta parte del precio inicial estimado por el arquitecto municipal atrajo a un solo licitador. Una tras otra, todas las subastas quedaron desiertas, y un acuerdo municipal pospuso la venta hasta una "época más oportuna".
Inopinadamente, el alcalde Brey recibió dos meses después una oferta directa de Francisco Antonio Riestra para quedarse con el solar por 2.904,28 pesetas, el mismo precio fijado en la última subasta. El pleno municipal aceptó la propuesta de mil amores, cuando se temía lo peor.
El Palacete de las Mendoza y el sanatorio Santa María, reconvertido hoy en un centro socio sanitario, ocuparon el solar de las Torres Arzobispales.
