Aucune construction ne figure à cet endroit sur le plan cadastral de 1836, au contraire de la ferme ou hutte de la Roulerie, située à l'ouest, et qui appartient alors à François Guéret. Celui-ci, marié avec Marie Augereau, est pêcheur et huttier, demeurant sur la Grande levée de Vix, un peu à l'ouest de la Roulerie. Il possède à l'est de celle-ci, au lieu-dit la Barbitterie, des terres sur lesquelles, en 1840, son fils François Guéret (1811-1895), qui vient d'épouser Julie Roux (1803-1866), fait construire une nouvelle ferme. Le logis a semble-t-il été construit en deux étapes, la partie est état la plus ancienne. A l'origine, il avait son entrée au nord, du côté du Contrebot de Vix, voie d'accès principale par bateau.

Après la mort de François Guéret-Roux, en 1895, son fils François étant décédé dès 1866, la ferme passe à la veuve de celui-ci, Célestine Sausseau (1847-1926), remariée avec Pierre Légeron. En récompense des soins qu'ils lui ont prodigué, elle la lègue à sa mort à son neveu, Aristide Sausseau, époux de Modeste Garreau, qui vit près de là, dans une autre ferme sur l'île de Charouin. La Barbitterie passe ensuite à la fille d'Aristide Sausseau, Suzanne et son mari Camille Renou. L'ancienne ferme a été en partie remaniée à la fin du 20e siècle et au début du 21e.