La demeure et ses communs apparaissent sur le plan cadastral de 1836, avec la même emprise au sol. L'aile de communs en retour d'équerre par rapport à la maison pourrait remonter en partie au 18e siècle, comme le laissent penser les petites baies à linteau chanfreiné.

Cette propriété semble tenir son nom d'une famille de notables qui détenait des biens à Vix et dans la région dans la seconde moitié du 16e siècle. Le 21 avril 1555 (devant Misère, notaire à Fontenay-le-Comte), Jehan de Chantemerle, écuyer, demeurant à Vix, vend ainsi à Nicolas Giraud, marchand à Fontenay-le-Comte, une maison située à Saint-Michel-le-Cloucq. Le 1er février 1590 (devant Ménard, notaire à Fontenay-le-Comte), le même Jehan de Chantemerle marie sa fille, Polle de Chantemerle, veuve de Méry de La Fenestre, à Maître Jehan Myon. De cette époque, voire avant (15e-16e siècle), pourrait dater la cheminée qui se trouve encore aujourd'hui dans l'aile sud de communs, avec ses jambages à corbeaux.

On retrouve le domaine de Chantemerle au milieu du 18e siècle. Le 27 janvier 1750, René Denfer de Haute-Roche, fermier seigneurial de Vix, afferme à Jacques Druet, laboureur, époux de Françoise Gastard, demeurant à Ecoué (Montreuil), "la métairie de Champtemerle vulgairement appelée le Grand Logis", précédemment affermée au nommé Arsicault. Chantemerle passe ensuite à la fille de René Denfer de Haute-Roche, Françoise Denfer (1733-1808) et à son mari, Venant François Gaudicheau, marchand et maître apothicaire à Fontenay-le-Comte, qui l'afferme le 14 janvier 1773 à Jean Galiot. Trois ans plus tard, le 22 mai 1776, il vend "le Grand Logis ou Chantemerle" à Pierre Guérin (1743-1804), notaire à Vix, époux de Marie Gaudineau. L'acte, passé en la maison seigneuriale de Vix, indique que le logis touche à l'ouest et au sud à la maison et au jardin de l'abbé François Bonnin, chanoine de la cathédrale de Luçon. La "maison de Chantemerle" est mentionnée à diverses reprises dans des actes notariés, par exemple le 7 février 1808 dans la vente d'un terrain confrontant au sud à la grande rue et à l'ouest au chemin qui conduit à la maison de Chantemerle.

En 1837, la demeure appartient aux héritiers de Nicolas-Augustin Prouzeau (1781-1836), propriétaire, veuf d'Anne-Louise Guérin (1781-1828) et remarié à Marie-Véronique Renoux (1795-1869). Egalement propriétaire (et constructeur) de l'actuelle mairie, il a hérité Chantemerle de son beau-père, le notaire Pierre Guérin. A la mort de Nicolas-Augustin Prouzeau, Chantemerle échoit à son fils, Armand Prouzeau (1817-1893) (donateur de l'actuelle mairie) qui la fait reconstruire en 1849. La maison abrite ensuite plusieurs notaires successifs et leurs familles : d'abord Charles Jobert et son épouse Alexandrine Héraud, dans les années 1850-1860, puis en 1901 Victor Parion (1848-1906), célibataire, André Puiroux (1876-1936), époux de Louise Prax, en 1909, et enfin son fils Jacques Puiroux, également notaire, époux de Hélène Garnet.