En 1777, le site de Gâtine est acheté par la famille Defermon. A la fin du XIXe siècle, Raoul Ginoux de Fermon fait construire un nouveau château sur les plans de l'architecte nantais Emile Libaudière. A partir de 1940, le château est loué par le Conseil général afin d'abriter une maternité pour mères célibataires. Rapidement, il est converti en centre d'accueil pour de nombreuses femmes réfugiées. Charley et Henriette Ginoux de Fermon reçurent en 2011 la médaille de Juste parmi les Nations pour avoir caché et sauvé Nuchem Kozak de 1943 à 1944 des rafles anti-juives. Après la guerre et jusqu'en 1977, la maison maternelle d'Issé continua à fonctionner avec des conditions de vie difficiles pour les pensionnaires : il n'y avait pas d'encadrement médical excepté une sage-femme et les tâches quotidiennes étaient assurées par les femmes elles-mêmes. La maison pouvait accueillir 38 mères et 20 enfants. La propriété reste dans la famille Defermon jusqu'en 1977 avant d'être vendue à M. Sauvager. Ce dernier vend les haras à la ville de Châteaubriant en 1988.