L'endroit était occupé jusqu'à la Révolution par une exploitation agricole dépendant de la seigneurie de Vix, siégeant juste à côté (4 rue du Vivier). Comprenant un logis et une grange (en violet sur le schéma ci-joint), la métairie seigneuriale est mentionnée pour la première fois le 5 juin 1601 lorsque Jehan Rolland, procureur de l'abbesse de Saintes, achète à Pierre Garreau, de Vix, le droit de fief à complan au fief des Vignes blanches, dépendant de la Prévôté de Vix, moyennant 300 écus sol. Cette somme est acquittée par Pierre Bouildron, sieur de la Mauzée, demeurant à La Rochelle, à cause de l’aliénation à lui faite par la dame abbesse, de la métairie de la seigneurie de Vix et du moulin banal à vent dépendant de ladite seigneurie, selon contrat passé à Saintes le 28 avril 1601 devant le notaire Maireau. La métairie est ensuite décrite en 1757 lors d'une visite de la seigneurie. Le logis comprend deux chambres au rez-de-chaussée, avec greniers. Un fournil se trouve à sa suite, au nord, avant la grange grange qui s'élève au nord de la cour.

Comme tous les biens dépendant de la seigneurie, la métairie seigneuriale est affermée tout au long du XVIIIe siècle à des exploitants par les fermiers seigneuriaux au nom de l'abbesse. De la métairie dépend une aire à battre les blés qui s'étend au sud, au pied de l'abside de l'église (parking actuel). Un colombier devait s’élever aussi là avant le XVIIIe siècle. En 1751 en effet, Marie-Anne Saunier, veuve Sausseau, se déclare propriétaire de biens dans le bourg de Vix, confrontant notamment "à l’aire et à l’emplacement du vieux colombier de la métairie de Madame de ce lieu de Vix".

Les terres de la métairie seigneuriale sont saisies et estimées comme bien national le 9 août 1791. Les bâtiments de la métairie font partie de l'ensemble seigneurial estimé le 31 janvier 1794 et acquis le 5 mars suivant par Luc-René Denfer du Clouzy. Après lui, la propriété passe à sa fille et son gendre, Marie-Stéphanie Denfer et Alexis-François Bernard, qui la cèdent le 23 juin 1810 à leur oncle, André Piet-Roquépine. Le 28 avril 1811, la métairie est définitivement séparée de l'ancienne Seigneurie lorsque Piet-Roquépine la vend pour une part à Pierre Delaunay, et pour l'autre à Pierre Guérin. Au cadastre de 1836, Marie Delaunay, veuve de Charles Malécot, a succédé à son père à la tête de sa part de l'ancienne métairie seigneuriale. Pierre Guérin est toujours propriétaire de l'autre partie. Selon la tradition orale, trésorier de la fabrique paroissiale, il aurait mis le logement à la disposition du sacristain, une mise à disposition perdurant jusque dans les années 1930.

Quelques années plus tard, Pierre Pageaud (1807-1876) et son épouse Françoise Prunier (1816-1897) acquièrent l'ancienne métairie seigneuriale. Jusqu'en 1862, Pierre Pageaud y tient semble-t-il une école privée de garçons. Lui et son épouse font reconstruire le logis vers 1864, lui donnant sans doute son aspect actuel. Le 8 février 1889, la veuve Pageaud-Prunier lègue ses biens au curé de Vix, l'abbé Bourseau. Désormais propriété des curés successifs, à titre personnel, la maison continue à abriter le sacristain, et ce jusque dans les années 1930.

Le 23 décembre 1936, l'ancien curé Pluchon cède la maison à la congrégation de l'Union chrétienne. Une petite croix, encore visible aujourd'hui au-dessus de la porte piétonne du jardin, vient alors marquer l'entrée de la "maison des sœurs". Celles-ci assurent les visites aux malades, les soins d'infirmerie, ceux des défunts. En 1959, pour faciliter leurs déplacements, elles se dotent d'une voiture 2CV, abritée dans un garage construit dans un jardin près de la maison. Dans les années 1960, elles sont mises à contribution lors de la création de la maison de retraite Saint-Joseph. La "maison des sœurs" accueille même un temps quelques-uns de ses pensionnaires. En 1971, le jardin au sud de la maison est acheté par la municipalité pour agrandir la place de l'église et y créer un parking.

En septembre 1996, faisant face au vieillissement des religieuses et au manque de nouvelles vocations, l'Union chrétienne se retire de Vix. Dans le même temps, l'ancien presbytère est démoli pour les besoins d'agrandissement de la maison de retraite. L'association diocésaine achète alors l'ancienne "maison des sœurs" à l'Union chrétienne pour y établir le nouveau presbytère, en novembre 1996.