La maison actuelle remplace une maison plus ancienne, décrite dans une expertise en 1757. Cette maison était alors en très mauvais état et menaçait ruine. En 1778, elle est toujours dans cet état critique lorsqu'elle est vendue par Louis Landriau, chirurgien à Montréal, au chanoine Pierre Angibaud ; il semble que le chanoine, décédé l'année suivante, en entreprit immédiatement la reconstruction, même s'il n'en vit pas l'achèvement. Cette maison correspond aux corps de bâtiment à l'ouest et au nord de la cour. Sous l'Ancien Régime, elle ressortissait du fief du chapitre. Elle ne fut pas vendue comme bien national à la Révolution. La construction de l'aile sud, donnant à la demeure un plan en U entre cour et jardin, peut être datée du deuxième quart du XIXe siècle ; cette datation s'appuie sur la comparaison du plan d'alignement de 1822, où elle n'apparaît pas, et du plan cadastral de 1845, où elle apparaît. Suite à la demande du curé de Luçon, l'abbé Charpentier, en 1872, cinq religieuses de la congrégation de la Miséricorde de Sées s'installent dans la maison, achetée aux demoiselles de la Boucherie du Guy. Une modeste chapelle est bénie en 1879 ; elle est reconstruite peu après et bénie par Mgr Catteau le 12 juillet 1891. Cette chapelle se situe en prolongement de l'aile sud, du côté du jardin.