La maison peut, au vu de sa charpente, remonter au XVIe siècle ou au XVIIe siècle. L'escalier a été refait au XVIIIe siècle. L'extrémité ouest, couverte d'une croupe, a vraisemblablement été ajoutée à la même époque. La cheminée de la salle située à l'ouest du vestibule est sans doute du début du XIXe siècle. Un remaniement important, touchant les autres cheminées et les ouvertures, est intervenu au milieu du XIXe siècle. Les lucarnes ont été refaites et la corniche simplifiée dans les années 1950 ou 1960. Le corps de bâtiment qui abritait la cuisine et la buanderie peut dater du XVIIIe siècle ou du début du XIXe. Un autre corps qui a servi de bureau de perception a été accolé au pignon est dans les années 1940. L'écurie et le fournil sont sans doute du XVIe siècle ou du XVIIe siècle. Les baies du second ont été refaites au XXe siècle. La remise a été construite en 1760 (date portée sur le pignon ouest) pour Pierre-Louis Bouge curé de Vaiges de 1752 à 1786 et remaniée durant la deuxième moitié du XIXe siècle. Le bûcher a été édifié dans la deuxième moitié du XIXe siècle et le poulailler vraisemblablement au début du XXe siècle. Les bâtiments abritaient déjà le presbytère en 1718. Le curé de Vaiges, Christophe Pocheton-Desportes, rend alors hommage au seigneur du Châtellier pour « les maisons, granges, étables et autre corps de bâtiment du haut presbytère avec la cour, estrages, issues, jardins, vergers et terre sis en proximité contenant trois journaux ou environ, joignant d'un côté au chemin de Vages à Sablé, d'autres côtés aux jardins et cour du dit lieu abuttant d'un bout à un cloteau dépendant du lieu de la Croix ». Le logis est transformé en 1794 en caserne de gendarmerie. Ses dépendances sont alors constituées de trois toits à porcs, d'un fournil et de deux écuries, l'une près du portail et l'autre près du jardin. Après le concordat de 1801, il retrouve sa fonction de presbytère. La propriété est vendue par la commune en 1887, l'année qui suit le transfert de l'habitation du curé dans la maison du Perray, l'actuelle mairie. La maison comprend alors au rez-de-chaussée « une salle à manger, une petite salle, un vestibule et une grande salle », « au premier étage un corridor, quatre chambres à feu et une chambre froide » et en appentis vers le nord et vers l'est « une cuisine, une laverie, un cellier et des lieux d'aisance, au-dessus trois mansardes et lieux d'aisance ». Un autre bâtiment est « composé d'une écurie et d'un bûcher » avec au-dessus « un grenier à fourrage ».