Longeant la Mayenne au sud de Château-Gontier, le bois de Gaudré, déjà cité au XIVe siècle, était un lieu de promenade prisé des citadins au XIXe siècle ; à ce sujet, l'instituteur communal Sorien écrit en 1899 que les Castrogontériens "à la faveur d'une partie de pêche y venaient dîner en famille et répandre une bruyante animation". Une grotte y est signalée, entretenue par le propriétaire des lieux : celle-ci existe toujours, mais la statue de la Vierge qui y avait été installée a été enlevée. A la fin du XIXe siècle et pendant la 1ère moitié du XXe siècle, on trouvait des cafés destinés aux promeneurs à Pendu, quelques centaines de mètres en amont. "Il y a quelques années, un bac faisait glisser d'une rive à l'autre de gracieux couples qui allaient se perdre dans les sinuosités du bois de Gaudré et prendre la collation que d'autres préfèrent se faire servir dans le bourg […]. A présent, plus de collations, plus de promenades dans le joli bois : un écriteau en interdit formellement l'entrée", lit-on dans la presse (La Mayenne) en 1903.

L'inclusion du bois dans un parc privé autour de 1900 est à mettre en relation avec la construction du château de Gaudré. Bien qu'elle porte le nom des villages voisins, le Grand-Gaudré sur le coteau et le Petit-Gaudré dans la vallée, la demeure est en réalité édifiée ex-nihilo tout près d'une ancienne maison nommée le Roc : aujourd'hui disparue, celle-ci faisait partie, au même titre que les métairies du Grand et du Petit-Gaudré, des nombreux biens fonciers progressivement achetés autour de Château-Gontier au début du XIXe siècle par la famille Quinefault. Le notaire Abel Quinefault et son épouse Gabrielle Destriché sont cités comme propriétaires à la levée du cadastre napoléonien en 1833. Gaudré échoit ensuite à leur fils Camille Quinefault, résidant avec son épouse Léonide Thoreau-Touchardière au château du Tertre à Mée, puis à la fille de ces derniers Gabrielle, épouse de Paul Trippier de Lozé, résidant tous deux au château de la Fontaine à Larchamp.

En 1897, Gabrielle Quinefault devenue veuve et son frère parti pour Paris se séparent de l'hôtel familial de Château-Gontier et de nombreux domaines autour de la ville. La même année, elle vend seule la métairie de Grand-Gaudré, le bois de Gaudré et la closerie de la Rouairie à Anaïs-Marie-Charlotte Agaisse, veuve du comte Marie-Georges Vanel de Lisleroy, résidant à Paris, laquelle fait aussitôt édifier la nouvelle demeure aux allures de château sur le rebord du coteau dominant la Mayenne. Les plans, datés de 1898, sont partiellement conservés mais ne sont pas signés. Surplombant le chemin de halage, le site offre alors une vue dégagée sur la Mayenne et le bourg d'Azé, avec son pittoresque clocher roman et ses belles maisons des XVIIIe et XIXe siècles – en témoignent encore les cartes postales des années 1900. D'après les matrices cadastrales, le château est achevé en 1899 puisque déclaré imposable dès 1902, avec sa remise, son écurie et la maison du jardinier. Les moellons de schiste sont prélevés dans une carrière située en contrebas près de la Mayenne.

Alors que la demeure est à peine terminée, Sorien écrit dans sa monographie : "Au sommet et sur la lisière de ce bois [de Gaudré], au milieu d'un parc encore inachevé, on a tout récemment édifié un château au style indécis. Deux avenues y donnent accès : l'une près du viaduc, l'autre partant de la route de Ménil". Par "style indécis", l'auteur fait référence aux touches médiévales (tour, lucarnes) qui agrémentent cette architecture plus généralement inspirée des villégiatures franciliennes et de bord de mer (rusticité des moellons apparents, imbrication de volumes, pignons à fermes débordantes). Il parait vraisemblable que la commanditaire ait fait appel aux services d'un architecte parisien pour la construction de sa demeure ; son identité demeure pour l'instant inconnue.

En décembre 1917, la comtesse de Lisleroy revend la propriété, "comprenant château, communs, maison de jardinier, jardin, pelouse et terrasse", à Mathilde Lambert de Cambray, veuve du marquis d'Assas, résidant avenue Friedland à Paris. Celle-ci réalise quelques aménagements complémentaires. En 1920, s'attachant les services de l'architecte castrogontérien Martin, elle obtient l'autorisation d'établir une prise d'eau dans la Mayenne pour usage domestique. Un édicule doit être construit pour abriter la motopompe à piston de type Japy qui achemine l'eau jusqu'aux jardins via une canalisation enterrée ; il semble que des travaux plus modestes aient été finalement réalisés, avec le creusement d'un puits à proximité de la rivière. Un château d'eau en béton armé système Hennebique est construit près de communs. On doit peut-être également à la marquise l'aménagement du potager et de la serre. Par la suite, Gaudré appartient brièvement à un certain Camille Gauthier puis à la famille de Villèle de 1928 jusqu'à se revente en 1984.