Las primeras menciones en documentos en las que se registra la existencia de este castillo están datadas en el año 964, donde se menciona a la condesa Ilduara, madre del obispo San Rosendo, como propietaria del castillo.

Pero no es hasta el siglo XII cuando Lobeira juega un papel fundamental en las intrigas de la nobleza gallega. En 1111, durante las Revoltas Irmandiñas, Arias Pérez consiguió hacer prisionero al arzobispo Gelmírez, al que llevó por varios castillos, entre ellos el de Lobeira, antes de ser liberado. Un año después, el propio Arias Pérez es cercado en Lobeira por las tropas de Urraca y Gelmírez, donde se rinde.

En 1139, con la muerte de Arias Pérez, el castillo pasará a las manos de la mitra compostelana, a la que pertenece todavía en 1466, cuando se registra la segunda Revolta Irmandiña, en la que la fortaleza es seriamente dañada a pesar de estar considerada como casi inexpugnable. Finalmente, la tradición afirma que la piedra del castillo acabó siendo usada para construir el pazo de O Rial, levantado en el siglo XVII.

En lo más alto del mirador, desde 1896, existe una gran cruz, que ordenó instalar el comandante de Marina de Vilagarcía, Adolfo Reynoso y Díez de Tejada, como recuerdo de todos los marineros muertos en los naufragios registrados en la ría. También en ese punto, la Armada Británica instaló una placa en memoria de los 173 marineros del Serpent, barco hundido en 1890 frente a las costas del Cabo Vilán, en Camariñas.

También existen diferentes leyendas que rodean la antigua fortaleza, como son la existencia de pasadizos que la conectaban con Cambados o las minas escondidas en Vista Alegre y Baión.