Le Fresne était "terre, fief et seigneurie" aux confins de la Touraine, du Maine et de l'Orléanais (comté du Vendômois), sur la paroisse de Beaumont-La-Chartre. Cette seigneurie relevait de La Chartre. On en trouve la mention dans l'aveu et dénombrement de 1454 de Jean de Vendôme, seigneur de La Chartre et Lassay : Item Guillaume Mergerie foy et hommaige a cause et par raison de son fief et feaige du Fresne et des appartenances d’iceluy par raison desquelles choses il m’est tenu faire un cheval de service a muance de homme et de seigneur. D'après Le Paige, le Fresne détenait la seigneurie de paroisse de Rortre (paroisse rattachée à Épeigné-sur-Dême au XIXe s.). A noter que rien n'a été retrouvé sur Guillaume Mergerie. La généalogie des seigneurs du Fresne n'est pas entièrement connue. On ne sait pas comment ni quand la seigneurie passe des Mergerie aux Savary. Elle passe des Savary, qui (re)construisent le château à la charnière des XVe et XVIe siècles, aux Bonnin de la Bonninière, qui le détiennent de 1563 jusqu'au début du XVIIIe siècle. Le 14 juin 1563, Marie de Savary, fille et unique héritière de défunt Jacques de Savary, écuyer, sejgneur du Fresne, et d'Ysabeau de Fromentières, épouse Jehan Bonnin de la Bonninière (1538-1569), écuyer, seigneur des Chastelliers, paroisse de Beaumont-la-Ronce, en Touraine. Les seigneurs du Frene, qui résident principalement en leur maison seigneuriale des Chastelliers au XVIe siècle, sont ensuite

- Loys Bonnin de la Bonninière (1566-?), écuyer puis chevalier, seigneur des Chastelliers, du Fresne Savary et de Rortre, enseigne de la compagnie des gendarmes de monsieur le maréchal de Fervaques,

- Anne Bonnin de la Bonninière (1602-1689 décédé en sa maison du Fresne, enterré dans l'église de Rortre), écuyer puis chevalier, seigneur des Hauts et Bas Chastelliers, des châtellenies du Fresne et de Rortre,

- Claude Bonnin de la Bonninière (1643-1707), chevalier, seigneur du Fresne-Savary, des Chastelliers et de la terre et chastellenie de Beaumont-la-Ronce,

- Joseph Bonnin de la Bonninière (baptisé en 1675) [succession des pères et mère : 7 mai 1714 ; mais il décède], chevalier, seigneur du Fresne Savary, de Rortre et autres lieux.... La succession des seigneurs du Fresne reste délicate à dresser au XVIIIe siècle. Soeur de Joseph, Agathe Bonnin de la Bonninière (1680-1765) transmet par alliance le Fresne aux Juglart : elle épouse en 1715 Robert Antoine du Juglart (1659-1728), chevalier, seigneur de Forgeais [à Chenu] en Anjou, du Grand Baugé et autres places, veuf...

En 1825, le château du Fresne appartient au vicomte Auguste Herry de Maupas, propriétaire à Blois, qui le détient par alliance (il a épousé en 1812 sa cousine germaine Aimée du Juglart, fille d'Antoine Ier du Juglart, fils d'Agathe de la Bonninière et de Robert Antoine du Juglart). Le château est fortement restauré dans le style néogothique au XIXe siècle et peut-être jusqu'au début du XXe siècle. La tour circulaire qui existe au niveau des communs ne figurait pas sur le cadastre de 1814.