Une propriété composée de quatre bâtiments autour d'une cour, apparaît à cet emplacement sur le plan cadastral de 1835, ainsi que deux habitations accolées à l'ouest. La propriété appartient alors à Jean Coirier, de même que le jardin qui s'étend vers l'est jusqu'à la rue de la Quarantaine et la rue de l'Eglise. Le 16 janvier 1864, la propriété est vendue par Jean Henri Fouquet, médecin à La Mothe-Saint-Héray, et son épouse Adèle Morisson, à l'abbé Pierre François Pondevie, aumonier de la congrégation des ursulines de Jésus de Chavagnes-en-Paillers (et neveu de la supérieure de l'école privée Sainte-Mathilde qui a ouvert ses portes à côté quelques années plus tôt). Le 23 janvier 1869, l'abbé Pondevie cède les lieux à la congrégation des ursulines de Jésus.

En 1892-1893, la congrégation, qui tient déjà l'école primaire Sainte-Mathilde, fonde ici une école maternelle ou "salle d'asile". Les anciens bâtiments sont démolis pour faire place à un logement et une salle de classe. L'opération est permise par la générosité de Pascal Fradin et son épouse Alexandrine Martin, en souvenir de leur fille Anne, décédée à l'âge de 12 ans le 28 mars 1892 et dont le prénom est alors donné à l'école (la chapelle funéraire de la famille Fradin-Martin se trouve encore au cimetière). La nouvelle école, construite sur un terrain appartenant à la congrégation mais avec l'argent fourni par les époux Fradin, est inaugurée en mars 1893. En 1896, elle compte déjà 80 élèves.

Le 30 mars 1911, la congrégation des ursulines vend aux enchères les bâtiments de l'asile Saint-Anne ainsi que ceux de l'école Sainte-Mathilde. Les bâtiments de l'asile comprennent un logement de concierge, un hangar, un préau couvert et la salle d'asile elle-même, divisée en deux pièces. Ces bâtiments sont alors rachetés par Me Eugène Baudry, notaire à Fontenay-le-Comte, homme d'affaires des époux Fradin qui fournissent les fonds nécessaires à cette acquisition. Sur le même mode, le 12 janvier 1913, Me Baudry achète la maison voisine, appartenant aux époux Malvaud-Soulisse, pour construire à la place un nouveau logement (la maison actuelle). A la mort des époux Fradin, en 1923 et 1928, Me Baudry est chargé de continuer à financer l'entretien et le fonctionnement de l'école.

En 1955, l'école maternelle est réunie à l'école primaire Sainte-Mathilde. Les locaux sont réaménagés, accueillant notamment une nouvelle cantine, puis sont vendus en 1957 à l'Association d'Education Populaire "Etoile du Marais Vendéen" pour être incorporés au collège Saint-Martin. Un bâtiment de classes à l'usage de celui-ci est ensuite construit dans le jardin au sud, remplacé par un autre vers 2010. Quant au logement, il est vendu en 1961 par les héritiers Baudry à un particulier.