Cette ancienne ferme constituait la métairie de la Chaume, une des exploitations qui existaient sur les terres hautes avant le dessèchement des marais au 17e siècle et à partir desquelles étaient exploités tant ces terres basses que les terres hautes.

En 1636, Jacques Aymé, laboureur à charrue, époux de Ozanne Giron, est fermier à "la Chaulme des Noyhiers", à Vix. Le 28 juin 1652 (devant Baudon, notaire à Fontenay-le-Comte), a lieu le partage des biens de René Reveillaud, époux de Marie Fonteniou, parmi lesquels une borderie à la Chaume de Vix qui échoit à leur fille, Jeanne Revillaud, épouse de Jean de Messine. Elle passe ensuite vraisemblablement à son neveu, Jean Revillaud (1649-1694), marchand de draps de soie à Fontenay-le-Comte, époux de Gabrielle Fèvre. Les biens de celui-ci sont saisis au profit de ses créanciers à la fin du 17e siècle. La Chaume semble alors avoir été acquise par Pierre Garos (1637-1708), fermier seigneurial et procureur fiscal de la seigneurie de Vix. Notable de la paroisse autour de 1700, il représente les intérêts de l'abbesse de Saintes et accumule biens et bénéfices, dont la Chaume et une demeure qu'il se fait construire dans le bourg (58-60 rue Georges Clemenceau).

Après lui, la Chaume échoit à sa fille, Françoise Garos, épouse de Jacques Renaud, lieutenant de l'élection de Fontenay-le-Comte, puis de Charles-François Harcouët de Prébernard, avocat au présidial de Poitiers. Le 31 mars 1747, demeurant en la communauté de l'Union chrétienne, à Fontenay-le-Comte, où elle s'est retirée, Françoise Garos fait son testament au profit de sa nièce, Catherine Nicolle (1715-1794) (fille de Charlotte Garos et de Henri-Charles Nicolle), qui vit avec elle. En remerciement des soins qu'elle lui apporte, elle lui lègue la métairie de la Chaume, d'une valeur de 3000 livres, exploitée par Michel Batard, laboureur et métayer. Cinq ans plus tard, Catherine Nicolle épouse François Brossard, chirurgien à Doix. Ils vont avoir trois enfants : Charles-Armand, Simon-François et Jacques.

Au milieu du 18e siècle, un contentieux s'élève entre les époux Brossard-Nicolle et Jean Gerbault, fermier seigneurial de Vix mais aussi ambitieux dessiccateur des marais de Gargouilleau, accusé d'avoir usurpé des terres dépendant de la Chaume. Une ordonnance de l'intendant du Poitou du 28 janvier 1787 confirme les époux Brossard-Nicolle dans leurs biens, contre les Kermau-Delaunay, héritiers de Jean Gerbault.

A la mort de Catherine Nicolle, la Chaume est partagée entre ses héritiers. Le 25 mars 1796, son fils Charles-Armand vend à son père son tiers de la métairie, mais cette vente est annulée le 19 juin 1798 lorsque les biens de François Brossard sont partagés. Les 13 juin et 26 août, l'inventaire après décès des biens de François Brossard mentionne les pièces relatives au procès contre Jean Gerbault. Le 14 mars 1830, la métairie de la Chaume est vendue aux enchères à la requête de Suzanne-Elisabeth Millouain, veuve de Charles-Armand Brossard, remariée à Charles-Prosper Dumay. La vente, qui rapporte 40 000 francs, comprend les bâtiments, acquis par Pierre Jubien, artiste vétérinaire à Vouillé-les-Marais. Ceux-ci sont sans doute rachetés peu après par le beau-frère de la vendeuse, Jacques Brossard (1760-1839), propriétaire, ancien officier de santé, fils de François Brossard et Catherine Nicolle, marié à Françoise Thérèse Desaire. Il demeure là jusqu'à sa mort le 8 septembre 1839.

La ferme apparaît sur le plan cadastral de 1836 et appartient déjà à cette date à Jacques Brossard. Le plan montre une emprise au sol proche de celle d'aujourd'hui. La partie droite du logis semble la plus ancienne : elle pourrait remonter au 18e siècle, si l'on en croit la forme et la disposition de ses ouvertures. La partie gauche a été reprise au cours du milieu du 19e siècle, et notamment en 1887, date d'une reconstruction mentionnée par le cadastre au nom d'Auguste Brossard, demeurant à Poitiers. Au début du 20e siècle, selon le recensement de 1911, la ferme est exploitée et habitée par Hippolyte Baudillon (1876-1966) et son épouse, Prudence Bonnaud.