Parmi les bâtiments actuellement visibles, la dépendance située à l'angle de rues est la plus ancienne. Elle figure déjà sur le plan cadastral de 1834. Celui-ci montre aussi le logis de la cure, alors parallèle à l'actuelle rue de la Cure. Il s'agissait, avant la Révolution, du logement du vicaire, le presbytère se trouvant alors à l'emplacement de la mairie actuelle. Ce bâtiment avait dû être construit au 18e siècle. A la Révolution, le presbytère est saisi et vendu comme bien national. Lorsque le culte est rétabli et que le curé François Nicolas Baugat retrouve ses fonctions, il achète l'ancien logement du vicaire aux héritiers de son prédécesseur, le curé Rivière, pour en faire son presbytère. A sa mort, en 1815, la paroisse se retrouve sans presbytère. La commune envisage un temps de loger le curé dans une maison qu'elle a acquise en 1810 à l'emplacement de l'actuelle école primaire. L'ancien logement du vicaire, maison du défunt curé Baugat, est finalement racheté en 1817 par la commune, avec la participation de celle de Puyravault (succursale de la paroisse), auprès des héritiers du curé Baugat.

En 1860, le mauvais état et la vétusté du bâtiment sont constatés. Des plans en sont établis à cette occasion. Après avoir envisagé de le réparer, on décide finalement de le démolir, chose faite en 1864 (seul un "caveau" ou cave est conservé). Le nouveau presbytère est construit suivant les plans présentés le 20 novembre 1862 par A. Dabin, architecte à Luçon. Les travaux sont adjugés le 24 janvier 1864 à Pierre-Jean Gubot et Jean Gilardeau, entrepreneurs à Chaillé-les-Marais. On utilise des moellons "du pays" et de la pierre de taille provenant des Quatre Chemins de Sainte-Gemme-la-Plaine et de Luçon. Le nouveau bâtiment est réceptionné le 28 décembre 1864.