Château Musset apparaît sur la carte de la région par Claude Masse en 1720, laquelle représente deux bâtiments perpendiculaires (sans être certain de la fiabilité de cette représentation). La carte indique aussi la présence d'un moulin à vent lié à Château Musset mais le positionne trop au sud puisqu'il se trouvait au bord de la route de Damvix (87 allées du Château).

Siège d'une petite seigneurie qui se confond parfois dans les textes avec la seigneurie du Mazeau, Château Musset est mentionné à plusieurs reprises au cours des XVIIe et XVIIIe siècles. Le 20 juin 1678, François de Liniers, écuyer, est seigneur de Saint-Pompain et de Château Musset (son épouse, Louise de Béchillon, est issue des seigneurs du Vanneau et d'Irleau). En 1681 décède son frère, Jean de Liniers, également seigneur de Saint-Pompain et de Château Musset. En mars 1710, Jacques Bernard de Lesmerie, prieur de Luxé, est dit seigneur du Mazeau et de Château Musset à l'occasion de la désignation d'experts pour la visite de la charpente du moulin à vent.

Le 12 novembre 1711, François Picard, marchand au Château Musset, achète à Henri Louis Lucas une maison et métairie située à Arçais. Le 8 janvier 1724, sa veuve, Catherine Clément, demeurant "en la maison noble du Château Musset", afferme cette même maison et métairie. A la fin du XVIIIe siècle, la métairie de Château Musset appartient à François Rouget (1732-1810), lieutenant au baillage royal de Niort, époux de Renée Arnauldet. Le 28 décembre 1810, jour de son décès, son testament ouvert indique que Château Musset est légué à sa fille, Jeanne Ursule Rouget, épouse de Victor Trinquelague de Quinssac. Le 5 janvier 1812, sont vendus aux enchères différents biens constituant la métairie de Château Musset. Pierre Lucas (1773-1826), époux de Marie Poupeau, se porte acquéreur de divers "objets", sans doute des bâtiments, pour un montant de 4500 francs. Pierre Lucas décède à Château Musset en 1826. La propriété passe ensuite à sa fille, Marie Lucas (1813-1891), mariée en 1832 avec François Berton (1809-1883), cultivateur.

Le plan cadastral de 1835 situe la propriété et les trois corps de bâtiments qui la composent alors, formant un plan en U : les dépendances à l'est, le logis à l'ouest et, au nord, disparu à la fin du XXe siècle, un corps de bâtiment qui, selon la tradition orale, regroupait un logement de métayer et une écurie. Le logis présente aujourd'hui la même emprise au sol que sur le plan cadastral de 1835. Plusieurs indices (forme et dimension d'ouvertures, notamment les baies à encadrement chanfreiné sur la façade est) semblent indiquer que le logis remonte pour l'essentiel au XVIIe ou XVIIIe siècle, malgré de probables remaniements ultérieurs. Les dépendances à l'est de la cour étaient en 1835 plus longues vers le sud. Les élévations est et ouest de ce corps de bâtiment montrent deux phases de construction différentes. La partie sud a dû être reconstruite au XIXe siècle. Une petite baie sur son mur pignon sud présente pourtant un appui chanfreiné, sans doute un remploi d'une baie plus ancienne disparue.

Après François Berton et Marie Lucas, la propriété passe à leur fils, Louis Berton (1846-1906), cultivateur, époux de Zélie Lucas (1847-1932), puis aux fils de ces derniers, Louis (1877-1941) et Paul Berton (1889-1944).