Cette propriété apparaît sur le plan cadastral de 1835. On y relève la maison et ses deux ailes perpendiculaires, et les communs au nord-est. Parmi les bâtiments actuels, la partie nord-est des communs pourrait être la plus ancienne (XVIIIe siècle ?) : sur son élévation est, se trouvent une petite baie avec encadrement chanfreiné, ainsi qu'une gargouille en forme de fût de canon, probablement un remploi.

Peut-être cette maison était-elle la "maison de la Coutume", dépendance de l'évêché de La Rochelle, où devait se prélever les droits ou "coutume" sur les marchandises transitant par le port. Cette maison est saisie comme bien national et vendue le 22 juin 1791 à Jean Raison, marchand à Maillé. Elle comprend alors "quatre chambres basses, un cellier, un petit grenier à pied et deux autres greniers qui règnent sur toute la maison, deux écuries, un petit jardin, une petite motte devant icelle maison, tenant icelle petite motte du nord à la veuve Bourdelle, et des autres parts entourée par la rivière de Sèvre".

En 1835, la propriété, qui aurait abrité, selon la tradition orale, une gendarmerie sous le premier Empire, appartient aux héritiers Raison. En 1867, elle est acquise par Louis Gousseau (1837-1908), cabaretier et négociant, époux de Marie Roux. Selon le cadastre, il fait reconstruire la maison en 1872, lui donnant probablement son aspect et son décor actuels. Après lui, la maison est divisée en deux parties, dont l'une passe à son gendre, Joseph Benet, lui aussi cabaretier.