Le prieuré a été construit à côté de l'église, en retour d'équerre. C'est une haute et grande maison avec entresol et un étage qui présente des dispositions originales correspondant à des fonctions différentes. Le rez-de-chaussée voûté et partiellement enterré à une extrémité était divisé à l'origine entre une grande salle à cheminée sur mur goutterot et de petits celliers divisant l'espace horizontalement et verticalement. La grande salle est voûtée en berceau alors que cellier de l'entresol placé à l'autre extrémité l'est en arc brisé. Ce dernier dispose d'une petite baie d'aération. Ces éléments font pencher pour une datation antérieure au XIIIe siècle. Il semble qu'au XVIIe la grande salle fut réduite pour l'installation d'un escalier tournant à retour avec jour en bois. Cet escalier desservait des chambres placées au-dessus des voûtes. Dans le même temps ou par la suite, trois chambres sont construites en appentis sur la face postérieure. Ces transformations font évoluer le bâtiment d'une fonction d'engrangement à celle d'une habitation. Le fond du jardin est limité par un vivier appelé aussi douve. Il peut s'agir de la garenne d'eau mentionnée dans le cartulaire de Saint-Vincent : en 1265, Guillaume de Courcillon, chevalier, reconnaît qu'il avait cédé en toute propriété à l'abbaye de Saint-Vincent une garenne d'eau située au-dessous du prieuré de Saint-Vincent-du-Lorouër, depuis l'endroit où était autrefois le moulin de Malrepast jusqu'au pont de la Léproserie.