La seigneurie de Lessac - plus tard du Haut-Lessac en distinction des seigneuries de Lessac-Bouteiller (au nord-ouest) et de Lessac-Chevalier (au sud sur la commune d'Escoublac) - est attestée dès 1395. À cette date, la veuve de Raoul de Lusangé rend aveu au duc de Bretagne pour son herbregement et ses dépendances dudit lieu. Dans le 1er quart du XVe siècle, la terre et le manoir passent par héritage à la famille Saint-Gilles. Jean de Saint-Gilles et Marie de Kervarin en rendent aveu en 1421 puis Robert de Saint-Gilles, écuyer, fils de Jean, seigneur du Pordo et de Ranlieu, en 1478. À la fin du XVIe siècle, Lessac passe sous l'égide de la famille Le Boteuc. Pierre Le Boteuc est signalé comme seigneur de Lessac dans un aveu de 1555 puis Hardouin, son fils, en 1575 et 1617. Jean Charpentier acquiert la seigneurie peu avant 1655.

De l'ancien manoir composé, d'après un aveu de 1602, des maisons, métairie noble, rues, yssues, pourprins, jardrins, l'un devant la maison vers soleil levant, l'aultre au bout de ladicte maison vers le nort contenant dix journaux ou environ il ne reste rien si ce n'est peut-être des éléments remployés dans le bâtiment nord. En 1859, une maison nouvelle est construite à l'emplacement de l'ancienne métairie (1819 H1 280) et l'ancienne maison du métayer est transformée en écurie (1819 H1 281). En 1878, Gabriel Méresse, propriétaire du lieu, fait détruire l'ancien manoir et reconstruire le logis actuel. En 1890, une maison de gardien est construite au sud du château (1819 H1 293).

Le cadastre de 1819, indique la présence d'une chapelle, isolée au nord, (1819 H1 221) aujourd'hui détruite. Celle-ci n'est pas mentionnée dans les aveux du début du XVIIe siècle. La chapelle actuelle date sans doute du XIXe siècle. Le seigneur de Lessac possédait également un pigeonnier-tour, vraisemblablement du XVIIIe siècle, situé au nord-est du domaine. Il est actuellement en ruine.