Parece que fue edificada en el siglo XIV, pero apenas quedan restos de la primitiva edificación ya que fue reedificada a finales del siglo XVI. A mediados del siglo XVIII, según la descripción de unos testigos de la época, la casa "estaba sola e independiente de otras, en medio de una campiña y próxima a un bosque de castaños y robles, su fábrica era antigua y edificada hacía muchos años y era toda de piedra de sillería labrada".
El edificio actual ocupa un solar de 1.000 metros cuadrados. La fachada principal es de estilo neoclásico, toda de piedra de sillería, estructurada por columnas estriadas gigantes y cuatro balcones de hierro sobre ménsulas. Tiene forma de U, sobresaliendo las partes laterales de la fachada, que en su parte central queda en posición retrasada, en la que esta la puerta principal en el centro de la fachada y sobre la portada, en el nivel superior hay una ventana y a los lados dos balcones y sobre cada uno hay un escudo de armas labrado en piedra de cantería.
Escudos
El escudo de la derecha está coronado de un morrión, se compone de cuatro cuarteles, de los cuales el superior de la derecha contiene tres tablas de alto a bajo y ocho cadenas que las rodean, el inferior una torre o castillo almenado y debajo de ella un pez nadando y de los dos de la izquierda el superior contiene trece tornillo o bezantes y el inferior tres peces encajonados cada uno con separación. El escudo de la izquierda está coronado también de morrión y penacho, como el anterior contiene igualmente cuatro cuarteles, de los cuales el superior de la derecha consiste igualmente en tres tablas de alto a bajo con las mismas ocho cadenas y el inferior una torre o castillo almenado con un león rampante a la derecha y tres estrellas que le superan y el superior de la izquierda es un tablero ajedrezado, bajo el cual hay una figura que parece ser un grillete y el cuartel inferior es una M coronada al parecer de Conde, bajo la cual hay dos serpientes enlazadas por la cola. Los escudo representan las armas de las familias originarias de esta casa y en la que han vivido los: Taboada, Deza, Sarmiento, Gayoso, Gil, Bermúdez, Montenegro y Arias.
En la parte posterior del edificio está la solana, una gran balconada, con una escalera que conduce a la finca. Todo el conjunto está muy bien restaurado y conserva toda la elegancia cortesana y la belleza arquitectónica del proyecto original: amplios ventanales y balcones, grandes salones, capilla, biblioteca y un riquísimo contenido en artes decorativas: muebles de época, valiosos cuadros y espejos; también conserva en el interior el calabozo y parte de las cadenas y grilletes, ya que los señores tenían jurisdicción civil y criminal sobre el coto de Des.
Antiguamente, este pazo, era la casa solar de los Villamarín, a quienes perteneció hasta que doña Beatriz Villamarín y Mosquera, hija de Diego Villamarín Sarmiento y de Luisa Mosquera Puga, se casó el 2 de mayo de 1696, con don Francisco Gil de Taboada Fernández Noguerol, nacido en el Pazo de Bergazos, hijo de Gómez Gil Taboada y de Beatriz Fernández Gundín; era hidalgo según el padrón de Lalín de 1702, y por testamento de 8 de octubre de 1729, dejo el pazo a su hijo don Felipe Diego Gil Taboada Sarmiento y Villamarín, que nació en dicha casa el 4 de marzo de 1703, también era hidalgo, se casó el 21 de julio de 1717, con doña María Josefa de Lemos Taboada Rois y Gayoso, nacida en San Pedro de Vilalle; le sucedió su hijo don Benito Gil Taboada y Villamarín, nacido el 31 de marzo de 1729, se casó con doña Manuela Gil Taboada, nacida en San Esteban de Barcia, fue nombrado Conde de Taboada el 20 de Julio de 1789, además fue Procurador Síndico General de Santiago en 1770 y 1775, y también aparece como hidalgo en alistamiento de 1762 en el padrón de Calleita.
Hermano suyo fue el célebre Virrey don Frey Francisco Gil de Taboada y Lemos Villamarín que nació en la casa de Des y fue bautizado el 24 de noviembre de 1733. En el año 1788 fue nombrado Virrey, Gobernador y Capitán general del nuevo Reino de Granada y al año siguiente Virrey de Perú. Don Benito y doña. Manuela, además de Condes de Taboada, fueron señores de la fortaleza de Villamarin; de los Pazos de Des, Cristimil, Visantoña y Carballeda. Le suceden sus hijos don Antonio, don Felipe, don José y don Vicente Gil Taboada, que fueron respectivamente, séptimo, octavo, noveno y decimo Condes de Taboada y señores de Des.
En el año 1830, se extingue la línea de don Benito Gil Taboada, recayendo el pazo y el Condado de Taboada, en don Manuel Roldan y Gil Taboada, hijo de su hermana María Antonia Gil Taboada, al que suceden sus hijos Nicolás Roldan Riobóo, Vicente Roldan Riobóo y María de la Presentación Roldán Riobóo, fallecida en la ciudad de A Coruña en 1873, pasando el pazo y el Condado de Taboada a doña Manuela Agar y Roldan, casada con el general y luego Mariscal de Campo don Francisco Javier García de Paredes, hija de su hermana Doña Francisca de Paula Roldán y Riobóo, con la que se había casado en segundas nupcias don Pedro de Agar y Bustillo, que en las Cortes de Cádiz fue elegido Regente de España, desde 1810 hasta 1812 y con el Cardenal Luis de Borbón volvió a ocupar la Regencia hasta el año 1814 en que fue disuelta por Fernando VII, falleciendo en Madrid el 8 de octubre de 1822, siendo Capitán General del Ejercito y del Reino y Consejero de Estado.
Su segunda hija doña Petra de Agar y Roldán, hereda el pazo y el titulo de Condesa de Taboada pasa a Amelia García de Paredes, hija de su hermana Manuela Agar. Doña Petra se casa con don Ramón María de la Maza y Quiroga y a su fallecimiento en 1895, hereda el pazo su hija doña María Teresa de la Maza y Agar, que se casó con don José Arias Armesto, y a su fallecimiento en 1928 pasó a su hijo don Vicente Arias de la Maza, casado con Carmela Díaz de Rábago y Aguiar, hija del sociólogo y economista Joaquín Díaz de Rabago y Díaz de Mier; a su fallecimiento el 5 de marzo de 1963, heredó la casa de Des su hijo don Joaquín Arias y Díaz de Rábago, que terminó la restauración que había iniciado su padre, devolviéndole su antiguo esplendor.
Actualmente el titular y señor de la Casa Grande de Des es su hijo don Vicente Arias Mosquera.
