Le presbytère occupe vraisemblablement cet emplacement depuis une période reculée. Une première description sommaire est donnée à l'occasion d'un inventaire des meubles suite au décès du curé Pierre Geslin, en 1720. On y décrit une chambre avec cabinet, une chambre haute, une cuisine, des celliers. L'aspect du bâtiment est entièrement transformé lors d'une vaste campagne de modification, voire de reconstruction, en 1757. Cette date figure sur l’agrafe de la porte principale, confirmée par la forme des ouvertures, de l’escalier et des boiseries conservées. Le plan terrier du prieuré de Tuffé, réalisé entre 1757 et 1759, indique une maison avec trois pièces au rez-de-chaussée (salle, salon, cuisine où se greffent deux fours à pain) et cellier adossé. Les communs placés dans la cour, aujourd’hui disparus, incluent alors une grange, deux étables et, flanquant la nef de l’église, une chambre et des toits à porcs. Une déclaration du 5 avril 1757 précise que les moines étaient dans l’intention de réaliser, à travers le jardin, « un canal couvert pour l’écoulement des eaux et immondices de leur cuisine pour tomber en leur dit petit étang, lequel canal sera entretenu par ledit sieur curé ». Il semble que cet ouvrage ne fut jamais réalisé.

A la Révolution, le presbytère, dit en bon état, n’est pas aliéné et sert très temporairement de logement d’instituteur, de mairie et de justice de paix, tandis que la grange est affectée à l'usage de prison. Il retrouve sa vocation première suite au Concordat et la conserve pendant tout le XIXe siècle, malgré des projets d'installation de l'école dans les années 1830. Les comptes de fabrique font état de plusieurs travaux d'agrandissement : une chambre dite "Vicariat" est reconstruite en 1821, puis la tour d'escalier en 1824 (l'escalier parait toutefois être celui du XVIIIe siècle), puis une aile en retour avec boulangerie au rez-de-chaussée et chambre à l'étage est ajoutée vers 1838. Cette modification est perceptible dans certaines anomalies de charpente et le mur très épais séparant les deux ailes. Peut-être même a-t-on remployé les deux corbeaux d'une cheminée du XVe ou du XVIe siècle pour soutenir une sablière de la charpente. Un portail à piliers est réalisé du côté de la place en 1842 (disparu).

Suite à la séparation de l’Église et de l’État (1905), le presbytère est loué par la commune au desservant. Le prix du bail est l’objet de querelles entre le curé et la municipalité, celle-ci menaçant de vendre le bâtiment. Toutefois, la population s’y oppose, redoutant de perdre son curé. Dans la 2e moitié du XXe siècle, le bâtiment est occupé par une communauté de sœurs qui y assure le catéchisme jusqu’à la fin des années 1980. La toiture est remaniée dans la 2e moitié du XXe siècle et deux lucarnes en bois, visibles sur des photographies anciennes, sont supprimées. La façade arrière fait également l’objet de quelques transformations, tandis qu’un portail et deux appentis sont construits. Quant au grand portail charretier, il est transformé en local pour la pompe à incendie en 1938, comme le rappelle l’inscription peinte encore visible. Une colonne sèche, aujourd'hui supprimée, s'élevait contre la chapelle est de l'église. Un nouveau garage pour les pompiers est construit dans le jardin du presbytère en 1962 et agrandi en 1981.