L'ensemble occupé de nos jours par la salle des fêtes d'une part, la boucherie d'autre part constituait à l'origine l'école publique de garçons et la mairie, devenue ensuite bureau de poste.

Dans la seconde moitié du 18e siècle, Paul Giraudeau puis son neveu exercent les fonctions de régent. Divers instituteurs se succèdent dans la première moitié du 19e siècle. En 1838, répondant à la loi Guizot de 1833 obligeant les communes à se doter d'une école primaire, la municipalité de L'Île-d'Elle décide d'en construire une, englobant la mairie et un logement d'enseignant, dans le jardin du presbytère d'alors (soit à l'emplacement actuel du monument aux morts). Jusqu'à présent, la mairie était logée dans un bâtiment loué auprès d'un particulier. Le 25 septembre 1838, un devis est présenté par J. Lévêque, architecte à Fontenay-le-Comte. Il propose un bâtiment orné de pilastres d'angles, avec chapiteaux doriques et fronton au-dessus de la façade. L'opération sera financée par la vente d'une partie du marais communal pour les besoins de la route départementale qui vient d'être construite. Les travaux d'édification de cette mairie-école sont adjugés le 10 novembre 1839 à M. Taféry, pour 6606 francs.

En 1850, le curé Debillot, avec l'accord de la municipalité, fait venir des religieuses de l'Union chrétienne pour tenir l'école des filles. Le 15 novembre, elles s'installent dans une maison située à l'Audairie, avant de déménager en 1860 dans les locaux de la mairie-école de 1839. Ces locaux s'avèrent toutefois vite insuffisants et, le 26 mars 1859, un arrêté préfectoral autorise la commune à acheter un terrain appelé le champ de la Tourelle pour y construire une école de filles et y aménager un place publique ou champ de foire (future place de la Liberté). On décide finalement d'y établir l'école de garçons et la mairie, l'école de filles restant dans les locaux de 1839. L'architecte départemental Victor Clair est chargé du projet. Le bâtiment, en simple rez-de-chaussée "en raison des coups de vent qui sont très violents dans cette localité", comprendra deux salles de classes, trois pièces pour la mairie, quatre pour le logement d'enseignants, une cave, un bûcher et un hangar ou préau. La façade sera d'un style simple, "en rapport avec la destination de l'édifice". Le 18 mai 1860, le conseil municipal adopte ce projet et décide d'y affecter les fonds prévus jusqu'ici pour la construction d'un nouveau clocher à l'église.

Les travaux sont adjugés peu après à Jean Boisdé, entrepreneur à Fontenay-le-Comte. Ils s'éternisent jusqu'au printemps 1864, après que des malfaçons aient été constatées. L'école de garçons et la mairie peuvent enfin aménager dans leurs nouveaux locaux, tandis que l'école des filles reste dans les anciens. La même année 1864, les autorités retirent aux religieuses la tenue de l'école des filles (les religieuses installent alors leur école dans l'ancien prieuré puis dans l'actuelle école privée Saint-Hilaire). Quant à la nouvelle mairie-école de garçons, elle s'avère vite trop petite. En 1875, décision est prise de l'agrandir par l'adjonction d'un étage au-dessus de la partie est, pour abriter des logements de fonction, la mairie conservant le rez-de-chaussée. Victor Clair en présente le projet le 24 avril 1875. L'école des filles, elle, est réaménagée en 1880-1881 : l'unique salle de classe est subdivisée en trois de manière à recevoir jusqu'à 250 élèves. En 1883, une classe enfantine (maternelle) est installée dans une partie de l'école des filles et dans la salle de l'ancienne mairie.

En 1887, un groupe scolaire digne de ce nom (actuelle école Jacques-Prévert) est enfin construit au nord de la mairie-école de garçons. L'école de garçons quitte donc les locaux de 1864-1875 où ne demeurent plus que la mairie. Après la séparation de l'Eglise et de l'Etat, la municipalité récupère le presbytère et, en 1909, elle y installe la mairie qui quitte donc ses locaux de 1864-1875. Ceux-ci accueillent l'école maternelle dans la partie en rez-de-chaussée, et le bureau de poste avec logement pour le facteur, aménagés dans la partie à étage. Après le départ de l'école maternelle dans les années 1970, la partie en rez-de-chaussée est transformée en salle des fêtes. L'aile ouest en retour d'équerre est aussi remaniée dans les années 1970. Elle abrite l'Union philarmonique de L'Île-d'Elle, fondée en 1919. Quant à l'ancienne mairie puis bureau de poste, elle est transformée en magasin de commerce (charcuterie) en 2015.