D'après le Livre des Chroniques de la paroisse de Lavenay, composé en 1847 par le curé de la paroisse puis recopié, Sainte-Croix aurait été construit autour de 1497. Le manoir tel qu'il se présente aujourd'hui, avec l'escalier en vis et en-oeuvre, a probablement été remanié au XVIIe siècle. En 1517, le propriétaire du manoir, Benoît Fillette, originaire de Lavenay, prêtre et curé de paroisses en Touraine, établit par testament une chapellenie de Sainte-Croix avec un autel de la Sainte Trinité - probablement dans l'église paroissiale de Lavenay. Il y associe en bénéfice la maison et les dépendances de Sainte-Croix, ainsi que des jardins, champs, vignes, bois, étangs, vivier, répartis entre Lavenay, Sougé et La Chapelle-Gaugain. Le vivier mentionné existe toujours dans le champ en dessous du logis. Le chapelain desservant la chapelle Sainte-Croix, et qui logeait dans la maison, devait être choisi de préférence dans sa famille (ses neveux sont les premiers chapelains), et en tout cas choisi par sa famille tant que celle-ci se perpétuait. Le candidat retenu était ensuite « présenté » à l’évêque du Mans qui validait la proposition et nommait officiellement (c'est le droit de présentation). Vers 1710 ou 1720, la dernière descendante de la famille s’éteint et le droit de présentation du chapelain passe au conseil de fabrique de Lavenay, qui en profite pour fusionner la chapellenie avec le collège fondé en 1647 suite à un autre legs, celui d’Antoine Huau ou Huault, prêtre et curé de la paroisse de Lavenay. Le collège s’installe peut-être à Sainte-Croix, dans la petite annexe à côté de la maison.

Vendu comme bien national à la Révolution, Sainte-Croix est racheté sur ses biens propres (sans les terres qui y étaient autrefois attachées) par le curé de Lavenay, Gatien-Jean Drouin, en 1807, qui le lègue aux Sœurs de la Charité de Notre-Dame d'Évron, en Mayenne, à la conditions qu’elles y maintiennent deux sœurs en charge de l’instruction des enfants du village et du soin à domicile aux pauvres et aux malades. Le curé de Lavenay qui relate cela en 1847 explique que Gatien-Jean Drouin consacre sa fortune pour faire ce legs afin de se faire pardonner son inconduite pendant la Révolution (il avait alors prêté serment à la constitution civile du clergé). Deux sœurs d’Évron installent une école dans l’annexe en 1821 ou 1823. Elles font la classe aux filles jusqu'à la loi de séparation de l'Église et de l'État du 9 décembre 1905. En 1908, Sainte-Croix revient dans la famille Drouin, qui fait « casser » le legs de 1807 puisque les sœurs d’Évron ne peuvent plus en respecter les conditions initiales. La famille Drouin cède aussitôt Sainte-Croix à la famille de La Rochebousseau, propriétaire du château de la Flotte.