Deux maisons parallèles apparaissent à cet emplacement sur le plan cadastral de 1835. L'une, à l'est, appartient à Marie Tristant, l'autre à Jean Desmier. Selon le cadastre, la première est démolie puis reconstruite en 1849-1850 pour le compte d'Agathe Saint-Martin (1788-1871) et sa demi-soeur, Lucile Saint-Martin (1803-1870) (qui fut à l'origine de la fondation de l'école Sainte-Mathilde, en 1849). Les deux maisons sont sans doute réunies à cette occasion. La partie orientale semble avoir été surélevée : le cadastre mentionne un agrandissement en 1856 pour Agathe Saint-Martin.

A la mort de Lucile puis Agathe Saint-Martin en 1870 et 1871, leurs biens, dont cette maison, reviennent à leur neveu et seul héritier, Ernest Saint-Martin, médecin à Niort et maire de Benet. Sa veuve, née Mathilde Arnaud de la Grossetière, bienfaitrice de la paroisse et des écoles Sainte-Mathilde et Saint-Martin (actuel collège), intervient en 1906 lorsque, à la suite de la Loi de séparation des Eglises et de l'Etat, le curé doit quitter le presbytère (devenu ensuite école publique de filles). Elle met à sa disposition dans un premier temps une maison lui appartenant, la Villa Béthanie, puis sa propre maison pour qu'elle serve de presbytère. Le curé y emménage après la mort de la veuve Saint-Martin, survenue en décembre 1913. L'exécuteur testamentaire de celle-ci, Jean de Lacoste-Lareymodie, avocat à Niort, propriétaire de la maison depuis 1910, la vend à l'association diocésaine de Luçon, le 22 décembre 1933 (devant Me Amédée, notaire à Benet).