L'emplacement de la salle des fêtes était, jusqu'au début du XXe siècle, occupé par plusieurs habitations et dépendances, comme le montre notamment le plan cadastral de 1835. La plus importante de ces propriétés (parcelle 1425), de plan en U ouvrant sur le port, appartenait alors à François Bouchand, boulanger, époux de Marie Tison. Elle est reconstruite en 1870 pour son fils Julien Bouchand, aubergiste. Après sa mort, son gendre, Arthur Ménard vend les bâtiments à la commune en 1887, laquelle les fait démolir pour créer un champ de foire. Une autre maison plus proche du port (en avant de la salle actuelle) est achetée par la commune à Alfred Favreau en novembre 1932. Un plan des lieux établi à cette occasion montre qu'il existait alors déjà une salle des fêtes, entre la salle actuelle et la mairie actuelle. Cette salle a été aménagée en 1913 par transformation d'un bâtiment communal, aux frais de la toute nouvelle Harmonie musicale de Damvix. La commune conservera toutefois la libre disposition de la salle pour organiser des conférences et autres réunions.

L'acquisition de la maison Favreau en 1932 est réalisée alors même qu'est engagé un projet de construction d'une nouvelle salle des oeuvres postscolaires, au même emplacement. L'objectif est d'abriter des activités culturelles et éducatives à destination en priorité de la jeunesse, alors que la commune, comme les environs, connaît déjà les effets de l'exode rural. Le projet est confié à l'architecte Pierre Barbachoux, de Fontenay-le-Comte qui présente ses plans et devis le 15 avril 1932. Il prévoit un bâtiment à l'architecture Art déco, avec un décor à la fois géométrique et sobre. La structure sera en poteaux de béton, avec remplissage en briques creuses et enduit au ciment. Les marches d'escalier et les jardinières prévues aux appuis des baies seront aussi en béton. La pierre de taille proviendra des carrières de Saint-Même (Charente-Maritime) ou de Chauvigny (Vienne). Le conseil municipal du 9 mai 1932 adopte ce projet d'un montant de 180 823 francs, dont 72 000 pris en charge par l'Etat. Le conseil justifie ainsi sa décision : "En raison du nombre toujours croissant de jeunes gens du pays pratiquant soit la musique, soit l'éducation sportive, il y aurait intérêt pour la commune d'édifier, avec l'aide des pouvoirs publics, une salle des oeuvres postscolaires ou patronage laÏque. Cette salle pourrait aussi servir de lieu de réunion et de projection d'oeuvres cinématographiques d'éducation documentaire, ou encore pour des conférenciers donnant des précisions sur l'emploi nouveau de matériel agricole."

Les travaux sont adjugés le 14 février 1934, notamment, à Pierre Coudert, entrepreneur à Luçon, pour la maçonnerie ; à Emile Pouvreau, de Vix, pour la charpente et l'escalier intérieur ; à Octave Guéret, peintre à Vix, pour la peinture et la vitrerie. Le chantier commence aussitôt mais on s'aperçoit vite que les fondations prévues sont insuffisantes : l'emplacement est constitué de terre rapportée et perméable, résistant mal à l'écrasement. Un devis supplémentaire de 28 299 francs est présenté le 27 juin, et adopté par le conseil municipal le 22 juillet.

La salle des fêtes a connu plusieurs rénovations à la fin du 20e siècle et au début du 21e, notamment en 1998-1999. Située à l'origine sur le mur pignon ouest, l'entrée a été transférée au sud, face au port, avec création d'un sas.