Ces bâtiments, importants par rapport au reste du village du Mazeau, constituaient peut-être la métairie de l'Infirmerie, saisie à la Révolution comme bien national à l'encontre de l'abbaye de Nieul-sur-l'Autise. Elle est estimée le 18 avril 1791 et vendue le 6 juin à François Rouget (1732-1810), propriétaire et ancien lieutenant au baillage général de Niort, veuf de Renée Arnauldet. Il possède aussi la métairie de Château Musset. La métairie de l'Infirmerie comprend alors une maison pour le métayer, soit trois chambres basses dont une à feu, des greniers, un fourneau ou boulangerie avec le four, une grande grange avec toit à brebis et crèche pour les boeufs ou chevaux, un toit à cochons, un puits et une aire à battre les blés. Le 28 décembre 1810, jour du décès de François Rouget, son testament ouvert indique que la métairie de l'Infirmerie est léguée à son fils, François (1764-1837), juge à Niort, époux de Marie-Elisabeth Rouget.

Le plan cadastral de 1835 mentionne ici deux ensembles de bâtiments. L'un, dans l'angle sud-ouest de la propriété actuelle (parcelle 1021), regroupait une habitation et des dépendances, le tout appartenant à Jean Desmier. L'autre ensemble, à la place de la partie est de la demeure actuelle (parcelle 1025), était formé d'une autre habitation, plus petite que la première, avec une dépendance au nord, en arrière d'une cour. Ce second ensemble appartenait à François Pouvreau, charron.

Ces bâtiments sont plus tard acquis par Henry Desmier (1790-1873), propriétaire, époux de Marie Martin, puis par son fils Henri Desmier (1836-1925), époux de Marie Bourolleau. En 1867, l'ensemble de bâtiments à l'est est démoli, puis celui au sud-ouest en 1878. L'année suivante, 1879, Henri Desmier fait construire la demeure et, probablement aussi, ses communs et dépendances. Cette demeure est quasiment identique à celle construite dès 1871 par son frère, Honoré Desmier, à la sortie nord du bourg du Mazeau (44 rue de l'Eglise). Après la mort de Henri Desmier en 1925, la propriété passe à sa fille, Clémentine Desmier (1863-1939) et à son mari, Léon Micheau, puis à la fille de ces derniers, Louise Micheau, épouse de Maurice Charpentier.