La construction du groupe scolaire (1887)
Jusque dans les années 1880, la commune de L'Île-d'Elle dispose (outre l'école privée) d'une école de garçons, établie avec la mairie dans les bâtiments au sud de l'école actuelle (2 rue du Moulin Rouge, actuelles boucherie et salle des fêtes) ; et d'une école de filles installée dans les locaux de l'ancienne mairie-école de garçons (emplacement actuel du monument aux morts).
Les deux écoles étant insuffisantes, décision est prise de construire un véritable groupe scolaire réunissant garçons et filles, dans le terrain situé entre la mairie-école de garçons et le champ de foire. Le 20 février 1881, le conseil municipal en adopte le principe. Un an plus tard, l'inspecteur d'académie vient sur place constater l'urgence de la situation, alors que la population et donc le nombre d'élèves ne cessent d'augmenter. Victor Clair est de nouveau chargé de superviser l'opération qui, malgré tout, s'éternise. Un devis de 74949 francs est approuvé le 11 février 1885. Victor Clair prévoit un bâtiment de plan allongé, distinguant de manière symétrique école de filles (à l'est) et école de garçons (à l'ouest), l'une avec 86 élèves et deux enseignantes, l'autre avec 169 élèves et trois enseignants. Le bâtiment délimitera au nord une vaste cour divisée en deux par un mur et fermée à l'est comme à l'ouest par un préau. Au sud se trouveront les jardins des enseignants.
Les travaux de construction sont enfin adjugés le 22 mai 1885 à René Prieur, entrepreneur à Luçon. Ils ne sont achevés qu'en 1887. L'école quitte alors les bâtiments situés au sud et où ne demeurent plus que l'école maternelle et la mairie (elle-même transférée à son emplacement actuel en 1909). Quant à l'école de filles, elle quitte l'ancienne mairie-école de 1839 ; encore présents sur des cartes postales au début du 20e siècle, ces bâtiments, loués par la commune à des particuliers, disparaîtront au début des années 1920 lors de la construction du monument aux morts.
Les agrandissements des années 1960
Le groupe scolaire évolue peu au cours de la première moitié du 20e siècle. Sa partition en deux (école de garçons d'un côté, école de filles et école maternelle de l'autre) est matérialisée par un mur de clôture au milieu de la cour. Des arbres délimitent la cour au sud et à l'est, d'autres en occupent le centre. Le jardin de l'instituteur et celui de l'institutrice s'étendent au sud, à côté de l'ancienne mairie-école de garçons devenue école maternelle. En 1950, une nouvelle cantine est aménagée dans des servitudes se trouvant dans l'angle est des bâtiments.
Des aménagements plus conséquents sont réalisés autour de 1960, dans la foulée de l'ordonnance du 6 janvier 1959 qui rend l'école obligatoire jusqu'à 16 ans. En mars suivant, à la suite de la visite de l'inspecteur d'académie et du directeur de l'école normale, décision est prise de doter la commune d'un collège d'enseignement général (CEG). Le projet est soutenu par le maire, Henri Salardenne, et par le directeur de l'école, Marcel Vallade.
Une première classe de 6e ouvre dès le 1er octobre 1959 avec 16 filles et garçons originaires de L'Ile-d'Elle et des communes environnantes. Cette classe, placée sous l'autorité du directeur de l'école de garçons, est abritée dans un premier temps dans un bâtiment préfabriqué en bois, construit pendant la guerre par les Allemands à Saint-Nazaire, près de Nantes, où on est allé le chercher. Le 3 juin 1960, un arrêté préfectoral autorise la construction, dans l'ancien jardin de l'instituteur, au sud-ouest de la cour de l'école, d'un bâtiment en briques devant abriter deux salles de cours, avec une remise en soubassement. Le projet est confié à Jean-Baptiste Durand, architecte à La Roche-sur-Yon. Alors que l'affaire est encore en cours, une classe de 5e ouvre dès la rentrée d'octobre 1960 (le collège compte alors 36 élèves). Le nouveau CEG est finalement inauguré le 1er octobre 1961 en présence du préfet et de l'inspecteur d'académie. Voilà qui permet d'accueillir une classe de 4e en 1961, puis une de 3e en 1962. Le CEG s'avère pourtant très vite insuffisant, tout comme le reste du groupe scolaire.
Au printemps 1963, la commune de Chaillé-les-Marais refusant d'accueillir un collège faute de financement, celle de L'Île-d'Elle, toujours sous l'impulsion de MM. Salardenne et Vallade, se porte candidate. Le 11 septembre, le conseil municipal charge donc l'architecte Jean Salmas, de La Rochelle, à la fois de la construction d'un nouveau collège à l'extérieur du groupe scolaire, et du réaménagement et de l'agrandissement de celui-ci. Ces derniers travaux sont adjugés le 8 août 1964. A l'est de l'école des filles et de la cour, l'ancien préau construit en 1887 (identique à celui qui demeure encore aujourd'hui à l'ouest) fait place à de nouveaux bâtiments parallèles à la rue de la Mairie, soit du nord au sud : trois celliers, un logement de fonction et un préau avec sanitaires. Une cuisine-réfectoire vient prendre place au sud de la cour, et un préau vient prolonger le collège. Le collège déménage en septembre-octobre 1966 sur son site actuel, libérant ses anciens locaux dans l'enceinte du groupe scolaire.
Devenue mixte dans les années 1970, l'école s'organise désormais en une école maternelle à l'ouest (ancienne école de garçons) et une école primaire (ancienne école de filles) à l'est. En 2018, le sol de la cour est surélevé, par souci d'accessibilité, supprimant les marches qui donnaient accès aux salles de classes et aux logements.