Le site aurait pu être celui d'une villa gallo-romaine [VERDIER].

La terre, fief et seigneurie des Hayes relevait de La Chartre [aveux et dénombrements par le seigneur de La Chartre en 1659 et 1771]. En 1470, Pierre Gaudin est seigneur des Hayes. La famille Gaudin est également présente à Chahaignes et Marçon pendant quelques siècles. La famille de Berziau prend ensuite possession des Hayes.

Selon la tradition orale, le manoir aurait été ruiné à la fin des Guerres de Religion [les Berziau étaient protestants]. A la fin du XVIe siècle, Berziau seigneur des Hayes aurait fait reconstruire l'ensemble. Le logis, les deux pavillons fortifiés peuvent dater de cette époque. L'exceptionnel portail du jardin potager présente un décor stylistiquement antérieur de quelques décennies : il a été influencé par l'un des modèles gravés du Livre extraordinaire du théoricien italien Sebastiano Serlio (1475-v. 1554).

En 1690, Françoise de Berziau, fille de Guillaume de Berziau, écuyer, seigneur des Hayes et de la Marcellière épouse Anne II de la Bonninière (1651-1704), dont la famille possède la Borde à Beaumont-La-Chartre, le château de Beaumont-la-Ronce, etc. D'après un document notarié de 1768, la terre des Hayes rassemble les caves des Hayes (aujourd'hui commune de Marçon) dont l'une, toujours visible, abrite une fuie. Le siège de seigneurie était entouré de jardins et d'une vigne à l'arrière. Le cadastre napoléonien de 1814 indique la croix des Hayes, aujourd'hui disparue. Une bonne partie des dépendances agricoles paraît avoir été reconstruite au XIXe siècle. La façade sud du logis a été refaite, la charpente modifiée et abaissée à une époque indéterminée.