Le collège a succédé à une ancienne propriété appelée la Cantardière. En 1644, mention est faite de Philipe Bastard, sieur de la Cantardière. La propriété apparaît sur le plan cadastral de 1835. Occupant déjà l'ensemble du périmètre compris entre la rue du Coin Sage, la rue de l'Eglise et la rue du Temple, elle comprenait à cette époque deux ensembles de bâtiments. Le plus important se situait sur le côté nord de la cour actuelle du collège, l'autre au centre de cette cour. La propriété appartenait à cette date à Jean Desmier. Un bâtiment est ajouté à l'est de la propriété en 1845, selon le cadastre, pour François Desmier. L'ancien bâtiment, au nord, est reconstruit en 1848 et 1854 pour Pierre Desmier. Le tout, sans doute en mauvais état, est transformé en dépendances en 1883 pour le compte de la veuve Desmier. Une reconstruction a lieu en 1890 pour M. Nouzille et autres.

En 1899, la propriété est achetée par Mathilde Arnault de la Grossetière, tout juste veuve d'Ernest Saint-Martin qui lui a légué sa fortune, bienfaitrice de la paroisse et de l'école privée de filles Sainte-Mathilde. L'objectif est d'ouvrir là cette fois une école privée de garçons, tenue par les Frères des Ecoles chrétiennes. La partie la plus ancienne des bâtiments actuels, au nord et à l'est de la cour, est alors édifiée. Le chantier commence le 23 mai 1899 avec la construction du logement d'enseignants, au nord de ce qui est alors un grand jardin, puis, à l'est, du bâtiment de classes (pour l'instant en simple rez-de-chaussée, contenant trois salles de classe), avec cour de récréation en surplomb du jardin. Celui-ci est accessible depuis la cour par l'escalier en fer-à-cheval. En 1904, un état du mobilier acheté pour l'école par Mme Saint-Martin, précise la composition des bâtiments. Le bâtiment principal comprend, au rez-de-chaussée, une salle à manger pour les enseignants, une autre pour les élèves, une chambre de compagnie et une cuisine ; à l'étage, une salle de travail avec une bibliothèque, puis un oratoire, deux chambres de compagnie et deux autres chambres sont celle du directeur. Le bâtiment de classes comprend une première salle de classe, avec tables, bureaux, cartes géographiques et un harmonium, puis une salle de classe inoccupée et une troisième, avec aussi une cave.

L'école Saint-Martin (du nom d'épouse de la bienfaitrice) ouvre le 6 octobre 1899, avec tout d'abord 24 élèves (54 en avril 1900), et est bénite le 5 novembre 1899 lors d'une grande fête donnée en présence de l'évêque de Luçon, Mgr Catteau. Le premier directeur de l'établissement est Joseph Morel (1865-1906), en religion Frère Dauphin (dont le tombeau se trouve au cimetière de Benet). En 1900, la veuve Saint-Martin institue une fondation destinée à financer l'école. Dès 1901 cependant, l'école est concernée par l'interdiction de l'enseignement congréganiste, et elle doit continuer avec un personnel enseignant laïcisé, nonobstant la présence maintenue des Frères des Ecoles chrétiennes. A la mort de Mme Saint-Martin, survenue en 1913, la propriété de l'école passe à son héritier, Jean de Lacoste-Lareymodie, avocat à NIort. Celui-ci la cède le 3 mai 1934 à la société immobilière "Côte d'Azur et Côte d'Argent". Le 17 août 1935, les Frères des Ecoles chrétiennes quittent Benet. Le 14 septembre, arrive un vicaire-instituteur, l'abbé Alfred Couteau.

L'école devient en 1955 la propriété de l'Association pour l'Education Populaire "L'Etoile du Marais vendéen", créée en 1954. En 1959, un collège est créé, nécessitant de réaménager les locaux. Le bâtiment de logement au nord est réaménagé de manière à créer trois logements de fonction. Le projet est présenté le 28 août 1962 par Gaston Senné, architecte à Niort, et le permis de construire est accordé le 5 avril 1963. En 1964, l'école primaire de garçons rejoint l'école Sainte-Mathilde, et le site est exclusivement consacré au collège. C'est probablement Gaston Senné qui conçoit le bâtiment de classes à un étage, construit cette même année 1964 à l'est de la cour supérieure, à la place (ou par surélévation) de l'ancien bâtiment de la fin du XIXe siècle. Un atelier d'enseignement technologique est édifié en 1982 sur le côté sud de la cour, succédant à un préau. En 1987, le collège incorpore une partie de l'ancienne école maternelle Sainte-Anne qui se trouve au nord, de l'autre côté de la rue de l'Eglise. Une annexe y est construite vers 2010.