La Drouardière dépendait au Moyen Âge de la baronnie du Horps et était détenue par la famille Margerie. Alix des Arglantiers, qui avait épousé Jean II de Margerie en 1399, hérite des terres de la Baroche-Gondouin vers le milieu du XVe siècle, jusqu'alors possédées par la famille le Voyer d'Aron, réunissant par là les terres de la Baroche-Gondouin et de la Drouardière. C'est également par alliance que les domaines de la Drouardière et de la Baroche-Gondouin sont inclus à celui du Bois-Froult : Jean III de Margerie et Catherine de la Chapelle n'ayant pas eu d'héritier mâle, et leur fille Françoise ayant épousé Georges de Chauvigné, seigneur du Bois-Froult, leur petit-fils François de Chauvigné reçoit en héritage en 1527 tant le Bois-Froult que la Drouardière et la Baroche-Gondouin. Si les terres de la Baroche et de la Drouardière restent longtemps liées, elles sont dissociées de la seigneurie du Bois-Froult vers 1600, alors que Jean de Madaillan et Judith de Chauvigné les cèdent à Josuas de Madaillan, frère puîné de Jean, pour solder ses dettes. En 1666, la Drouardière arrive entre les mains de la famille de Saint-Aignan, originaire des environs d'Alençon, grâce au second mariage de Marie de Foulogne, veuve de Michel de Madaillan. De ces secondes noces est issue Marie-Françoise, qui épouse François du Bois, seigneur de la Fosse. La famille Dubois est toujours en possession de la Drouardière à la Révolution et compte parmi les émigrés. Elle rentre de nouveau en possession de ses terre à son retour. Le domaine était alors composé de la métairie de la Drouardière, de celle de la Retenue, du moulin de la Drouardière, de la métairie de la Baroche, de la métairie du Temple, de la métairie du Mélangé, des closeries des Hivets, de la Goupillière, de la Grivellière, de la Corbière et du pré de la Baroche.

Au XVIe siècle, la Drouardière est décrite comme "beau manoir et logis, estang, moulin, deux mestairies, fief et seigneurie, hommes et subjets" et comme "maison seigneuriale" en 1684. C'est peut-être cet édifice qui apparaît sur le plan du cadastre napoléonien, dressé en 1813. Il possède les mêmes proportions que l'édifice actuel : un grand corps de logis avec deux ailes en retour en direction de l'étang. Ce dernier existait déjà et alimentait un moulin, aujourd'hui disparu. Plusieurs bâtiments de communs se trouvaient à l'ouest de l'édifice.

Le château actuel a été entièrement reconstruit en 1856, après destruction de l'édifice précédent, par Dubois de la Drouardière. Les recensements de population indiquent que celui-ci n'y résidait pas. C'est donc comme une demeure de villégiature que le château a été conçu.