La Pescherie est présentée comme une simple closerie à la fin du XVIIIe siècle. Considérée comme bien national à la Révolution, elle comprenait selon une estimation dressée en 1794 un logement pour le colon avec cave, pièce à feu, pièce froide et grenier, grange, pressoir et jardins. Il ne reste rien des modestes bâtiments signalés sur le plan cadastral napoléonien de 1833. La construction de la maison est signalée par les matrices cadastrales en 1862, pour la famille de Quatrebarbes. Elle est probablement remaniée à la fin du XIXe siècle ou au début du XXe siècle, comme l'indiquent le traitement des ouvertures latérales avec aisseliers en bois ou celui de la logette centrale vitrée. Les bâtiments annexes ont été partiellement remaniés au début du XXIe siècle et accueillent un gite.

La maison est vendue à plusieurs reprises ; l'abbé Angot précise qu'en 1868, le propriétaire Chaignon (très probablement Paul-Frédéric Chaignon, banquier à Château-Gontier) fait installer une statue de la Vierge dans un grotte voisine. La famille Ledivin y réside par la suite. Le lieu est mis en vente en 1894 et décrit en termes élogieux dans le Journal de Sablé : "la jolie propriété de la Pescherie, située commune de Loigné, sur le bord de la Mayenne [...] comprenant jolie maison de maître, bâtiments de ferme et servitudes en très bon état, magnifique jardin anglais parfaitement dessiné et planté, couvrant tout le coteau qui domine la Mayenne". La Pescherie est achetée en 1895 par Maurice Mignot, médecin à Château-Gontier, qui d'après les recensements la met probablement en location. Il revend pour 36 000 F en 1920 à André du Boisguéhenneuc, originaire de la région nantaise et résidant principalement à Neuilly près de Paris. Un article dans la presse de l'époque précise que la propriété de la Pescherie comprend "un chalet renfermant trois pièces au rez-de-chaussée, trois au premier étage, mansarde au-dessus, grande cave derrière, jardin et parc ; autre bâtiment renfermant maison de domestiques, écurie, étable, toit à porcs, pigeonnier ; volaillerie, remise, hangars et autres servitudes ; jardins potagers, verger, terres, prairies et châtaigneraies", ainsi que la ferme voisine de la Cadeurie.

A noter la présence, dans le bois proche de la Pescherie et de la Cadeurie, des restes d'un dolmen ou "pierre tremblante". Un peu plus loin dans le ressort de l'ancien parc, un site réaménagé sans doute au XIXe siècle (murets concentriques autour d'un arbre) est réputé être celui d'une ancienne motte castrale.