Dépendant de la métairie du même nom, le moulin de Château Musset est mentionné en 1710 (il est alors question de la réparation de sa charpente), puis sur la carte de la région par Claude Masse en 1720, et enfin sur le plan cadastral de 1835. Il appartient alors à Pierre Maret, meunier. Ce plan montre que le moulin s'élevait à l'emplacement exact du logis actuel, l'habitation du meunier prenant place là où se trouvent les dépendances, à l'est. Selon le cadastre, Dominique Moreau, alors propriétaire des lieux, fait démolir le moulin en 1869 (la même année, il crée une usine de noir animal à l'emplacement de la future laiterie coopérative). Il demeure ici au recensement de 1876. Après sa mort, survenue deux ans plus tard, ses biens (dont la maison et l'usine) sont repris par François Chauvet (1850-1916), époux de Elisa Deverteuil, banquier à Fontenay-le-Comte. Le cadastre mentionne une démolition partielle à son nom. C'est probablement lui qui fait construire le logis actuel. Celui-ci est compris dans la vente aux enchères de ses biens, après faillite, organisée le 12 août 1885 : la demeure comprend alors "salon, cuisine, chambre, vestibule, cave, chambre au premier étage et greniers, lieux d'aisance, toits à porcs" ainsi qu'une "petite maison au levant, composée de deux chambres basses, serrebois, four et petite écurie, vaste hangar de 25 mètres de long au levant, y attenant, pressoir en pierre et ses agrès".