En dépit des apparences, on ne peut parler stricto sensu de manoir, a fortiori de château, pour la demeure des Yvets, puisqu’elle n’était en réalité le siège d’aucune seigneurie. Le fief Roussin, sur lequel fut construite cette gentilhommière, relevait à foi et hommage simple de la seigneurie de Torcé. De nombreux documents compilés dans le chartrier de Lassay témoignent des aveux rendus par les divers propriétaires de maisons et de terres au fief Roussin. Parmi eux, Jean Hayrie, sieur de la Chevronnière et des Yvets, déclare en 1605 posséder une propriété importante composée de trois "maisons manables", un pressoir, un fournil, une grange et une étable, cours et jardins. Il décède aux Yvets en 1646 et est inhumé dans l'église de Cigné. En 1660, dans l’aveu rendu par sa veuve Louise Leforestier, la description se précise avec "une maison manable composée de salles chambres cave et greniers un pressoir et un four et fournil le tout couvert d’ardoises une escurye couverte de tuille et ardoise une court gallerye et un jardin".

L’analyse architecturale porte à croire que la demeure date de la 1ère moitié du XVIIe siècle et a probablement été édifiée par les Hayrie entre ces deux aveux. A titre de comparaison, le manoir de la Grande Haie (également commune d'Ambrières-les-Vallées), dont la forme parait plus archaïque, ne date que de 1612 d'après une date inscrite au linteau de la porte. Les aveux suivants concernant les Yvets, de 1698 et 1722, laissent entendre que la demeure est par la suite propriété de Jean-Jacques de l’Epinasse, lequel déclare posséder, entre autres, "la grande maison des Yvets" dont la description est la même : pressoir, four, galerie, dépendances, jardin clos de murs. On notera qu’à aucun moment, il n’est fait allusion aux tours qui donnent à l’édifice ses allures de château (seules celle de droite et celle à l’arrière existaient alors, celle de gauche ne figurant pas sur le cadastre de 1837). La galerie citée dans les aveux, aujourd'hui disparue, n'est pas localisée avec plus de précision.

D’après la comparaison d’un "plan géométrique de la terre des Ivets" levé en 1812 mais assez schématique, et du cadastre napoléonien de 1837, les communs des Yvets semblent avoir été agrandis et le bâtiment en rez-de-chaussée adossé au logis construit entre ces deux dates. A cette époque, on entrait directement dans la propriété par un passage ménagé à gauche du logis (emplacement de la grosse tour). La propriété était alors entourée de parcelles de jardins rectangulaires, dites le jardin, le grand jardin, la pépinière et le jardin de derrière. Au début du XIXe siècle, la demeure est la propriété et résidence de Louis Dugué, receveur de l’enregistrement et acquéreur de nombreux biens à Cigné après la Révolution, parmi lesquels l’ancien manoir de la Cour voisin et la ferme du Haut-beauchêne, où sera édifié le château de Louiseval. La famille Pollet qui en descend donnera quatre maires à la commune de Cigné.

Les bâtiments sont de nouveau agrandis durant le 3e quart du XIXe siècle. Les matrices cadastrales signalent une nouvelle construction pour l’année 1865, qui correspond vraisemblablement à la maison à quatre travées édifiée en retour du logis. Les travaux sont réalisés pour Félix Pollet, vérificateur de l’enregistrement à Mayenne. Le logis initial, dont l’intérieur est alors totalement remanié, est agrandi d’une tour d’angle en pendant de celle existant à droite, avec un grand souci d’homogénéité. Un corps de dépendances, comprenant hangars, écuries et four, est également édifié. Il semble probable que le parc d’inspiration anglaise est aménagé à la même époque ; une nouvelle entrée est placée sur la route de Cigné à Ambrières, avec un chemin d’accès en courbe et un bosquet d’arbres étudiés pour ménager un effet de surprise en découvrant la maison.