La demeure de l'Hermitage, volontiers qualifiée de manoir bien qu'elle n'ait jamais été le siège d'une seigneurie, doit être en réalité considérée comme une de maison de maître. La première mention relevée par l'abbé Angot date de 1649, à l'époque où le propriétaire est Gabriel Constantin, conseiller au parlement de Bretagne et grand doyen de l'église d'Angers. En 1670, le domaine est vendu par Gabriel de Langan, marquis de Bois-Février (neveu du précédent ?), également conseiller au parlement de Rennes, à Hyacinthe de Quatrebarbes qui l'adjoint à son domaine de la Rongère.

L'ensemble du corps de logis figure sur le plan cadastral napoléonien de 1833. On distingue au moins deux campagnes de constructions : le pavillon peut être daté sans trop d'hésitation du XVIIe siècle, de par sa forme générale et le décor de ses cheminées. Les bâtiments accolés ainsi que l'étable ou écurie sont présumés antérieurs, mais aucun élément architectural ne permet d'avancer une datation précise. Le portail couvert avec ses tours circulaires date sans doute également du XVIIe siècle. Cette pseudo-fortification renvoie, comme le pavillon et ses échauguettes, au statut social prestigieux du commanditaire de cette demeure de campagne, peut-être Gabriel Constantin ou Gabriel de Langan.

Les archives de l'Hermitage sont conservées au sein du chartrier de la Rongère. En 1690, Hyacinthe de Quatrebarbes fait donation de la propriété, pour un motif inconnu, à un bourgeois nommé Jean Denis, qui prend le titre de "sieur de l'Hermitage". En 1729, son fils Jean-Baptiste-Pierre Denis, sieur du Bory et cavalier de maréchaussée résidant principalement à Laval, en hérite. Le partage de sa succession fait état du "lieu et closerie de l'Hermitage situé proche le bourg et paroisse de Saint-Sulpice, composé d'une maison de maître, d'une salle par bas, d'un petit cabinet à côté, une cuisine, un office, un sellier à côté, une chambre à ouvroir de l'autre côté de ladite cuisine, une chambre sur ladite salle, un cabinet à côté, une autre chambre sur la cuisine, les greniers dessus couverts d'ardoizes, une cour close avec murs et pallis, une petite maison étant à côté du portail, le fournil, étable, écurie, un toit à porcs, le puits étant dans ladite cour, un jardin clos de murs et pallis".

En 1778, la demoiselle Denis héritière du lieu baille la closerie de l'Hermitage à un certain Florent Péan ; toutefois, "ladite demoiselle bailleresse se réserve la maison de maître, la salle par bas, la petite chambre d'à costé, les chambres par hault, les cabinets, les deux greniers dessus, un cellier à son choix, le petit jardin devant icelle dite maison, et les deux tourelles ; de façon que lesdits preneurs n'auront seulement pour logement que la cuisine, grenier dessus, l'office de la dite maison, un cellier avec le grand jardin". De la même façon, lorsque Nicolas Denis, résidant à Rennes, cède à titre de viager les closeries de l'Hermitage et des Portes à Jean Anger, gros commerçant en fil, en 1798, il se réserve la "chambre par hault régnante sur la salle de la maison du dit lieu de l'Hermitage, un petit cabinet aussi par hault à coté de ladite chambre, un petit jardin au-devant de ladite maison, droit de faire cuire du pain au four du dit lieu et de déposer du bois dans la cour".

Vers 1829, l'Hermitage est racheté pour servir de dot à la seconde épouse de Gabriel de Chavagnac qui le réintègre dans le domaine du château de la Rongère. La remise, le hangar, le four et les toits à porcs, qui ne figurent pas sur le plan napoléonien, sont ajoutés dans la 2e moitié du XIXe siècle. Le logis est restauré entre 1978 et 1980 : les ouvertures sont presque intégralement refaites, elles conservent néanmoins leur emplacement et leur forme originelle. Seule une petite baie cintrée est percée et une lucarne en pierre à fronton triangulaire se substitue aux petites lucarnes en bois du XIXe siècle. Une ancienne fenêtre murée de la façade postérieure du pavillon est réouverte, tandis qu'une autre est supprimée sur le mur-pignon. L'intérieur est également modernisé mais conserve ses charpentes, son escalier à vis et ses cheminées du XVIIe siècle.