La seigneurie de Texon est signalée dès 1400. Elle appartient à cette date à la famille du Dréseuc. En 1572, Jamet du Dréseuc est cité comme seigneur de Texon. À cette date, il rend aveu au seigneur de Campzillon pour son fief et herbregement de Texon, avec ses courtilz, pourprins, yssues et appartenances contenant pour font deux journaux et demy de terres ou environ. La métairie est attestée dès 1720 dans le registre de la Capitation. Elle appartient à cette date à Maurice Guesso qui en doit 6 livres tournois. Le cadastre de 1819 et des gravures anciennes figurent l'ancien manoir, de plan en L, ayant probablement fait l'objet d'une reconstruction dans le courant du XVIIIe siècle et sa métairie, au nord.

À la fin du XIXe siècle, Tesson est racheté par Théodore Lorieux (1834-1821), Ingénieur des Ponts et Chaussées, Vice-Président du Conseil général des Ponts et chaussées, qui le fait reconstruire. Il en confie les plans à l'architecte nazairien Henri Van den Broucke qui avait construit dans les mêmes années la villa Ker Juliette à Sainte-Marguerite. Celui-ci reconstruit dans un premier temps la partie ouest du logis, avec son pavillon, puis rehaussé l'aile est. L'oriel sur le pignon est date du 1er quart du XXe siècle.