El Memorial de bienes de la Jurisdicción de Lalín y Deza, que el Conde de Lemos, Ginés Fernández Ruíz de Castro, presentó al rey Carlos II, para que autorizara los apeos y deslindes de sus posesiones, en el año 1682, dice que Jacinto Vázquez Taboada era el Alcaide y Merino de la Jurisdicción y en nombre del Conde poseía los bienes y la Fortaleza y Torre de Lalín, que tenía un piso de losas, sus ventanas y cuartos, era de piedra de cantería, estaba tejada y tenía una sala donde se hacía Audiencia y en ella estaba la cárcel pública y las prisiones de la Jurisdicción de Deza y Lalín, en la que desempeñaba el oficio de carcelero Pedro das Maceiras que vivía dentro de los muros de la fortaleza en un cuarto bajo y las demás dependencias eran utilizadas como vivienda por el alcaide.
El Catastro del Marqués de la Ensenada, en1753, indica que en el lugar de La Torre de Lalín, existía un Castillo-Fortaleza, sede de la Jurisdicción de LalÍn y Deza, ormado por una torre, donde se hacía Justicia y se conservaban los archivos, una casa de un alto y una casa terrena que serbia de cárcel de la Jurisdicción, que tenía veintiuna varas de frente y diez de fondo, propiedad de la Condesa de Lemos y lindaba por derecha e izquierda con otras propiedades suyas. Junto a la Fortaleza y Torre, había cuatro ferrados de monte bajo que era donde se hacía, el día3 de cada mes, la feria.
Esta Fortaleza y Torre de Lalín, construida por los Churruchaos, en 1846, abandonada y en ruinas, fue demolida y las piedras, maderas y tejas fueron utilizadas para construir la nueva cárcel de Lalín, en un solar próximo, de 18 cuartillos, donado altruistamente por Pedro Antonio Quiroga, siendo alcalde Lalín, el Juez de Primera Instancia, Benito Failde.
Pedro Antonio Quiroga Hermida, dueño de la Casa de Quintela en Catasós, que había heredado su mujer María Asunción Pérez de Deza y Pinal, padres de José Antonio Quiroga Pérez de Deza, marido de Emilia Pardo Bazán, Eduardo Quiroga Pérez de Deza, diputado por el distrito de Carballiño, en 1872 y 1884 y María del Carmen Quiroga Pérez de Deza, casada con Juan Van Halen, Teniente General y jefe de la independencia de Bélgica en 1830. Pedro era hermano de Antonio Quiroga Hermida, militar y político que destacó en los movimientos revolucionarios de 1820, ya que encabezó junto al general Riego el levantamiento de Cabezas de San Juan, durante el reinado de Fernando VII y que llegaría a ocupar la vicepresidencia de las Cortes.
En 1846, el ayuntamiento, habiendo acordado la construcción de un edificio para la cárcel del Partido Judicial, contratados los Maestros del Arte y aprobada su construcción por el Jefe Político de la Provincia, necesitaba los terrenos para construir la nueva cárcel;con tal objeto el alcalde se reunió con Pedro Antonio Quiroga, rico hacendado y poseedor de varios bienes en el lugar de La Torre, para pedirle que le facilitase un terreno. Quiroga llevado de su generosidad y hombría de bien, conociendo la necesidad perentoria de tal edificio, cedió para su construcción, 18 cuartillos de sembradura en un prado de su propiedad, fronterizo a la Vereda Real que iba de Santiago a Monforte -donde está actualmente la biblioteca- y facultó a su mayordomo y apoderado Ramón Sánchez, vecino de Santa Eulalia de Banga (Carballiño) para que facilitase la cesión del terreno y estableciese las condiciones bajo las cuales se donaba el terreno para la cárcel. Ramón Sánchez, ratificó la cesión generosa, sin exigir retribución ni pensión alguna, estableciendo las siguientes condiciones: que dona y renuncia al derecho que tenía sobre las maderas, tejas y piedras movibles de que se componía el llamado Soto y Cárcel Antigua, derecho que emanaba de las escrituras otorgadas por el Conde de Lemos, al que representaba Quiroga; cárcel antigua que limitaba con la casa principal que formaba la fortaleza y que se la quedaba Quiroga, exigiendo, que los contratista de la obra conservasen la pared medianil, cerrada y perfecta, sin desperfectos ni mala vista.
El mayordomo, también, exigió que las aguas que bajaban por la calle o vereda que iba de Santiago a Monforte, después de entrar en el edificio de la cárcel para limpiar dos piezas comunes proyectas, tenían que dirigirse a los terrenos de Quiroga, sin que persona alguna pudiera extraerlas ni darles distinta dirección y aprovechamiento, ya que eran suyas y no pertenecían a otra persona Para servirse Quiroga y sus caseros, tenían que dejar por el lado superior o naciente de la cárcel un camino de 12 cuartas de latitud, por el que no podría impedirse su tránsito por ningún motivo y cuyo terreno quedaría comprendido en los 18 cuartillos donados, dejando a disposición del ayuntamiento y Comisionado del Partido la distribución que quisieran dar al edificio a condición de que por la trasera de la cárcel tenían que quedar 4 cuartas con objeto de vigilar o reconocer la cárcel cuando se considerase conveniente.
Con estas condiciones, el 11 de mayo de 1846, en el pueblo de Lalín, firmaron el escrito de donación del terreno para la construcción de la cárcel, el alcalde, Benito Failde, y el mayordomo Ramón Sánchez, en nombre de. Pedro Antonio Quiroga, ante el Escribano público Pedro Tomás Ramos y los testigos Domingo Antonio Gutiérrez, Francisco Graña y José Gutiérrez, vecinos del pueblo de Lalín.
