Muy próximo a Torrelavega, en la comarca del Besaya, Cartes puede presumir de un largo y esplendoroso pasado. Creció a lo largo del camino tradicional que fue la vía de acceso a Castilla y posee una excelente muestra de arquitectura civil montañesa de los siglos XVII y XVIII. Sus numerosas casas dispuestas en hilera a lo largo de la antigua carretera, muchas adornadas con flores y escudos, son su tarjeta de presentación, además de sus populares torreones, unidos por un arco y símbolo del poder medieval de los Manrique, condes de Castañeda, señores del lugar.
La saga obtuvo de los Reyes Católicos la centralización en Cartes de la administración de justicia para el valle de Toranzo y otros lugares próximos. Este dominio señorial era ejercido desde los famosos torreones rectangulares, construidos con fábrica de sillería y con estilo gótico. Situados a ambos lados de la vía, están unidos mediante gruesos muros perforados por arcos apuntados. Se cree que uno de los edificios fue dedicado a residencia y aduana, mientras que el otro se reservaba para un uso exclusivamente militar.
Bajo las arcadas ojivales de la fortaleza transcurría el tráfico de mercancías de Castilla hacia los puertos santanderinos, hecho que se aprovechaba para cobrar los correspondientes portazgos. Símbolo por excelencia de Cartes, en la actualidad tienen un uso público. Uno de ellos acoge un Aula Museo de divulgación de la Física.
De esa situación de pueblo-calle, asentado a lo largo del Camino Real, viene su poderío constructivo, reflejado en sus muchas casonas de excelente cantería. Además de su arquitectura civil, destacan edificaciones religiosas como la iglesia de Santa María de Yermo, uno de los testimonios románicos más importantes de la comarca, edificado en el siglo XIII, aunque antaño fue monasterio existente ya en el siglo IX.
Cartes también es villa de inspiración literaria. En el verano de 1877, pocos meses antes de escribir "Marianela" (1878), Benito Pérez Galdós visitó el municipio y sus alrededores. Los parajes le sirvieron de recreación de algunos pasajes de su novela.
Al municipio pertenece Riocorvo, declarado igualmente conjunto histórico, estructurado en torno al Camino Real.
