No castro de A Baíña, unha vez abandonado, tamén tivo que suceder o mesmo quedando, ao cabo de poucos anos, todo cuberto por unha densa vexetación formada por silvas, fentos, xestas, codesos... seguida, un pouco máis tarde, por unha invasión arbórea (carballeira). Este suposto, pero lóxico proceso, viuse interrumpido, cando menos, no século XVI, coa fundación da Casa de Castro, arredor do ano 1540, tamén coñecida como a "Casa Grande de A Baíña", asentada sobre o propio castro. Esta gran casa de labranza con eira, hórreos, patio interior ou curro, dependencias anexas, etc, ocupa unha superficie superior a 3.400 metros cadrados, o que supón, cando menos, 1/3 da superficie castrexa (1 Ha). Casa completa e circundo abarcan a totalidade da croa castrexa adaptándose á súa forma redondeada.
Para a construcción desta gran casa tiveron que acondicionar o terreo, cimentar as paredes, mover terras e desfacer as estructuras castrexas (foxos, gabias, etc.), a fin de dispoñer de espazos abertos que facilitasen os accesos, tanto á casa, como ás fincas do contorno. As nosas aldeas impuxeron un novo modelo de ocupación do espazo moi diferente ao dos poboados castrexos. Máis aínda, para que unha aldea, por pequena que fose, se ubicara dentro dun castro había que levar a cabo varias modificacións. Unha aldea formada por varios veciños ten carácter de espazo aberto, con entradas e saídas suficientes para o movemento de animais e persoas. Nun castro iso non é posible porque, normalmente, había un só lugar para entradas e saídas de todos os habitantes do poboado.
As aldeas non están protexidas por elementos defensivos, en todo caso, están rodeadas por terreos circundantes desforestados e isto era moi importante, porque os espazos abertos (desforestados) servían de protección contra as incursións dos depredadores (lobos, zorros, etc). Os elementos defensivos (murallas, terrapléns, foxos, parapetos) eran un estorbo para a nova vida rural e, por iso, se desfacían en caso de converter un castro en aldea.
Aldeas chamadas "Castro"
A Casa Grande de A Baíña é un dos poucos exemplos nos que unha explotación agrícola do pasado, de mediados do século XVI, se instala dentro dun recinto castrexo e, para que isto fora posible tiveron que darse certas circunstancias favorables, tales como o propio lugar de ubicación ou emprazamento do castro. Os estudos de localización castrexa estannos a indicar que os primeiros castros apareceron en lugares relativamente elevados pero, co paso do tempo, fóronse desprazando ata lugares máis baixos, máis cercanos ao fondo dos vales e este proceso mantívose durante a Idade Media e Tempos Modernos. O caso é que as nosas aldeas non se asentaron sobre os castros, pero si o fixeron moitas veces ao seu lado e daí procede o nome que reciben denominándose "Castro", como nome simple ou composto (Castro, Castro de Arriba, Castro de Abaixo, Trascastro, Socastro, etc...). O Nomenclator galego actual recolle 413 núcleos de poboación co topónimo "Castro" e, nunha minuciosa observación dos mesmos, apréciase que a maioría das ubicacións non ocupan croas nin antecastros, senón que se atopan ao seu lado ou a certa distancia.
O caso de A Baíña resulta atípico e pode considerarse como un exemplo excepcional, pero convén ter en conta que non se trata dun castro de "alto de lomba" ou de "outeiro", senón dun castro de media ladeira, formada pola erosión fluvial do Rego de A Baíña ao atravesar unha estructura xeolóxica de disposición contraria ao do curso fluvial. O perfil topográfico da vertente mostra como o Castro, situado a unha altura de 415 metros, se atopa entre o alto do Monte de A Valiña (448 metros) e o Rego de A Baíña a 350 metros de altura. Nun desnivel de 100 metros o castro localízase na metade, é dicir, nunha zona apropiada para o establecemento das nosas aldeas. As aldeas que forman a parroquia de San Pedro de A Baíña están a unha altitude similar: Albergue (395 m), A Braña (375 m), Brandariz (370 m), Casas Novas (390), Eirexe (390) e A Martiña (400).
José Filgueira Valverde, director do Museo de Pontevedra, e Alfredo García Alén, en calidade de secretario, nunha separata publicada en 1956 polo citado Museo, baixo a denominanción de Materiales para la Carta Arqueológica de la Provincia de Pontevedra sinalan que Sebastián González tiña recollido nas notas de campo que en San Pedro de Baíña, arciprestazgo de Ventosa (concello de Agolada), existiu un castro e na súa croa foi construída unha casa denominada "Casa Grande de Baíña"; pero a día de hoxe (1956) ese castro está destruído. Sebastián González, arqueólogo e secretario do Seminario de Estudios Galegos (SEG), estivera, en varias ocasións, na Comarca de Deza entre 1930-1935, cando esta institución recollía datos para a publicación dunha monumental obra etnográfica, que nunca chegaría ao público, porque foi queimada nunha imprenta de Santiago polos paramilitares do réxime franquista.
Nos inventarios posteriores ao realizado por Filgueira Valverde e García Alén non se recolle a súa existencia a non ser, en 1989, os autores de A Comarca de Deza, Armando Vázquez e Daniel González, quen indican que preto do vello castro local se ergueu unha casa fidalga denominada a Casa Grande de A Baíña.
Na actualidade o investigador agoladense Manuel Busto, no blog Aquam Latam, insiste na idea dos anteriores autores e incluso afirma que a área castrexa se pode delimitar con bastante precisión pese ao seu estado de destrucción total. Tamén indica que se observan indicios da existencia dun pequeno antecastro.
O castro de A Baíña, alterado desde mediados de século XVI por reocupación habitacional dun espazo abandonado durante máis dun milleiro de anos, pode ser considerado como un dos primeiros casos, a nivel comarcal, de alteración ou destrucción dun asentamento castrexo non recoñecido oficialmente.