L'angle de rues et l'espace le long de la rue des Fuies est dénué de constructions sur le plan cadastral de 1835, lequel situe des bâtiments le long de la rue Alfred-Roux. Liés à une plus grande propriété située au sud-ouest, ils appartiennent à Augustin Bernard. Le cadastre mentionne la construction d'une maison en 1863 pour Jean Lucas.

Dès 1830, une école est tenue à Aziré par François Mesnard. En 1868, les habitants d'Aziré et des Nattes (ou la Culasse) adressent une pétition au préfet pour réclamer l'ouverture d'une école de hameau, estimant que l'école du bourg de Benet est trop éloignée. La demande, renouvelée en 1870 puis 1872, est pourtant appuyée par le député Alfred Giraud. Le conseil municipal la rejette à plusieurs reprises, indiquant que la commune est déjà dotée d'écoles primaires tant publiques que privée. Par ailleurs, les effectifs d'une école à Aziré étant réduits, cette école serait mixte, ce que refusent les autorités.

Après une alternance politique, la municipalité change d'avis et, les 4 et 25 mars 1877, le conseil municipal demande finalement à son tour l'ouverture d'écoles de hameau, mixte, à Aziré mais aussi à Nessier. A Aziré, on projette d'acheter une maison appartenant à Françoise Pelletier, épouse de Pierre Riffaud, contenant deux chambres au rez-de-chaussée, deux à l'étage, un grenier au-dessus de l'une d'elles, plus un four et un fournil au nord et deux petits toits à l'ouest. Dès le 22 mars, l'architecte fontenaisien Arsène Charrier présente un projet de transformation de la propriété Pelletier-Riffaud (le même jour, il propose un projet similaire pour l'école de Nessier) : les filles seraient accueillies dans la partie sud, avec salle de classe au rez-de-chaussée et logement d'enseignant à l'étage ; pour les garçons, une salle de classe serait en retour d'équerre par rapport à la maison, vers le nord-ouest. Le projet, modifié le 10 janvier 1878, est approuvé par décision ministérielle du 5 juillet suivant. L'école étant mixte, elle ne comptera qu'une seule salle de classe, celle construite au nord-ouest. Les travaux sont adjugés le 1er septembre à l'entrepreneur Piron. Le 6 octobre, la commune achète la maison à Françoise Pelletier, épouse de Pierre Riffaud. Les travaux, menés en parallèle à Aziré et à Nessier, commencent aussitôt et sont réceptionnés le 16 juillet 1880. L'école a toutefois pu ouvrir dès le 1er février 1879, avec 45 élèves.

En 1927, décision est prise de transformer l'école mixte en écoles de garçons et de filles séparées. Le bâtiment de classe est donc agrandi vers le nord-ouest, de manière à créer deux salles de classe séparées par un couloir formé de cloisons mobiles. Celles-ci pourront être retirées pour que le bâtiment serve de salle des fêtes. La cour des garçons, au nord, sera aussi redistribuée pour être divisée. L'ancienne cour de récréation des filles, au sud, sera transformée en jardin pour les enseignants. Un premier projet est élaboré par Abel Filuzeau mais on lui préfère celui présenté le 31 mai 1928 par Ariste Fournier, lui aussi architecte à Fontenay-le-Comte. Louis Poincet, entrepreneur à Sainte-Christine, est chargé des travaux qui sont réceptionnés dès le 13 août.

Redevenue mixte dès 1934, l'école passe à une seule classe puis ferme en 1967. Resté en partie propriété communale, le site accueille un café et une salle des fêtes, inaugurée en février 1997. Celle-ci a reçu le nom d'Alfred Roux en l'honneur de l'instituteur qui, avec son épouse Odette, mena des activités de résistance dans la région à partir de 1942, en particulier dans leur logement de l'école d'Aziré, devenu atelier d'imprimerie clandestin (arrêté le 13 mars 1943, Alfred Roux est mort en prison à La Roche-sur-Yon le 29 juin).