Le dictionnaire de l'abbé Angot reste succinct sur le Bois-Belleray. Il relève néanmoins la mention du fief et seigneurie de "Boisbeleré" dès 1450 : à cette date, Jean de Mesenge en fait don à sa sœur Jacquette, femme de Guillaume Thieslin, lequel l'échange ensuite à Jean Le Vennier de Laval. Les archives de la seigneurie sont conservées au sein du chartrier de la Motte-Husson (papiers de la famille de Baglion). On y apprend, à travers les actes de vente et les divers aveux, qu'elle était vassale de celle de la Motte d'Aron (seigneurie de paroisse de Martigné-sur-Mayenne), mais on n'y relève aucune description du manoir qui devait exister à l'emplacement du hameau actuel, et dont il ne semble subsister aucun vestige. En 1656, René de Fontenailles vend pour 5 000 livres tournois le lieu du Bois-Belleray, déjà déclassé en simple métairie, ainsi que le moulin de Corçu, à François de Baglion de la Dufferie, seigneur de la Motte-Husson. Dès lors, le Bois-Belleray sera confié à des fermiers, comme la famille Leclair à la fin du XVIIIe siècle et au début du XIXe siècle.

Il ne peut toutefois être établi aucun lien direct entre l'ancienne seigneurie du Bois-Belleray et cette maison, pourtant surnommée château. Elle est effectivement édifiée ex-nihilo bien au sud du hameau de Bois-Belleray, et déclarée comme nouvelle construction imposable en 1837. La commanditaire est Marie-Rose-Jacqueline – dite Rosalie – de Baglion de la Dufferie, dernière fille célibataire de Jacques-Bertrand Baglion de la Dufferie, résidant à Mayenne. La nouvelle construction, à vocation de villégiature, est conçue comme un belvédère au-dessus de la Mayenne. Malheureusement, les pièces concernant les travaux, qui pourraient nous renseigner sur l'architecte et les entrepreneurs, semblent ne pas avoir été conservées. Quelques notes des années 1830, trouvées dans les archives de la famille de Baglion, pourraient toutefois y faire allusion : abattages de bois au Bois-Belleray, "toisée de la maison du Bois-Berray" évoquant certains aménagements intérieurs, relevé de comptes de Rosalie de Baglion avec la mention "payé pour le plan venu d'Angers".

L'architecture s'inspire des sobres compositions du XVIIIe siècle, avec une élévation ordonnancée et un fronton triangulaire, peut-être empruntés à la maison de maître voisine du Tertre. Si la demeure est conservée, enchâssée dans le complexe industriel actuel, seules les vues aériennes du milieu du XXe siècle donnent une idée de l'ensemble de la propriété avant ses transformations récentes. Partant du hameau du Bois-Belleray, une grande allée plantée d'arbres débouchait dans la cour d'honneur devant la maison. Cette cour, où était aménagé un bassin circulaire, était délimitée par deux corps de communs, dont un seul subsiste. Au nord se trouvait un potager en forme de losange, aujourd'hui signalé par une portion du mur de clôture et l'ancien pavillon du jardinier. Un verger semble avoir pris place à l'arrière. Le reste du parc, délimité par l'à-pic dominant Mayenne et la vallée d'un petit affluent, se composait de prairies ceinturées de haies.

Au décès de Rosalie de Baglion (1858), la maison passe à son neveu Octave, qui y réside jusqu'à la reconstruction du château de la Motte-Husson, à partir de 1868. En 1912, la maison est rachetée par Albert Le Masne de Brons, fondateur de la Fromagerie Nantaise (rue de Paris à Nantes), qui serait tombé en panne à proximité du Bois-Belleray. L'industriel y voit l'opportunité de créer une nouvelle fromagerie au cœur d'un terroir laitier et à proximité immédiate de l'eau. Une concession de force motrice lui est accordée au barrage voisin de Corçu, dont la chute d'eau est la plus importante de la Mayenne, et il obtient l'autorisation de faire circuler les charrettes apportant le lait sur le chemin de halage afin d'éviter des détours de plusieurs kilomètres. Le lieu conserve néanmoins une fonction d'agrément puisque, dès 1912, M. Le Masne de Brons sollicite l'autorisation de faire naviguer sur la Mayenne un bateau de plaisance nommé "le Lotus".

Dès 1933, l'affaire est reprise par la famille de Vaubernier, qui donne son nom à l'entreprise, puis en 1936 par la famille Drezen qui en assure toujours la direction aujourd'hui. Pendant les premières décennies, toute l'activité se concentre dans la maison, le sous-sol servant de beurrerie, le rez-de-chaussée agrandi de quais est utilisé comme atelier de fabrication, l'étage comme atelier d'emballage, et le comble comme logement pour les patrons et les ouvriers. Une maison pour les Drezen est construite dans les années 1960 ou 1970. L'établissement connaît une forte croissance dans les années 1980, sous l'impulsion de Jean Drezen, notamment grâce au succès de son fleuron, le camembert "Bons Mayennais". L'usine est considérablement agrandie et modernisée dans les années 1990 par l'adjonction de nouveaux locaux tout autour de l'ancienne maison, qui abrite aujourd'hui le laboratoire et le service qualité de l'entreprise.