Aucune construction ne figure à cet emplacement sur le plan cadastral de 1835. On y observe juste un emplacement encadré de deux ports qui avancent depuis la Sèvre Niortaise en direction des bâtiments situés au nord.

En 1898, Alfred Martin (1873-1916), venant de Maillé, vient habiter à Damvix, commune de son épouse, Marie-Louise Largeaud (1875-1959). Il exerce la profession de marchand de poisson, comme ses aïeux à Maillé, faisant le lien en bateau entre ses fournisseurs, les pêcheurs du Marais, et les marchés de la région, notamment à Marans et à Niort. Son activité se développe, il ajoute à la vente du poisson le négoce de légumes (notamment de mogettes), cultivés sur les 10 hectares de terres qu'il a achetés dans les marais proches. Plusieurs employés travaillent avec lui.

En 1912, Alfred Martin achète à la famille Charrier, du Coudreau (Saint-Sigismond), une maison située le long de la rue de la Garnauderie (actuel numéro 39) et l'espace en arrière, qui mène au bord de Sèvre. En 1913, selon le cadastre, il fait construire la grande maison actuelle, agrandie par la suite. Il achète aussi la maison voisine, à l'ouest, et la fait percer d'un passage couvert pour accéder à la grande écurie qu'il a fait édifier en arrière. Dès 1912, il est élu conseiller municipal, deux ans avant d'être mobilisé. Il trouve la mort à Verdun le 16 juin 1916. Après la guerre, son fils, également prénommé Alfred (1899-1984), prend le relai du négoce de poisson, activité qu'il est le dernier à exercer, jusqu'en 1975.