Cette ancienne ferme est établie sur la partie essentielle de l'ancienne commanderie de Sainte-Gemme, l'autre partie étant occupée par la ferme voisine, au nord (42 rue du Vrizon). La commanderie, liée à celle de Cenan, à Saint-Pompain, a probablement été fondée au XIIe siècle. Elle est mentionnée pour la première fois en 1224 lorsqu'un jugement oblige son précepteur à payer la dîme du blé et du vin à l'abbaye Saint-Jean de Montierneuf de Poitiers. En 1313, la commanderie fait partie des biens de l'ordre du Temple transférés à l'ordre des hospitaliers de Saint-Jean de Jérusalem. En 1390, les habitants de Saint-Georges-de-Rex reconnaissent lui devoir une contribution de douze deniers pour chaque troupeau de vingt brebis et agneaux, en échange du droit de pacage dans les marais dépendant de la commanderie. De cette commanderie dépendent aussi les métairies de Mervent, à Sainte-Christine, et de Mantais, à Coulon, ou encore le moulin de Badorit, également à Coulon. En 1407, mention est faite d'une horloge, de la cloche et du marteau de la chapelle de la commanderie, cédés à Frère Guillaume Forugon, commandeur de la Maison de Sainte-Gemme. La chapelle est de nouveau mentionnée en 1488.

Aux XVIIe et XVIIIe siècles, différents fermiers généraux se succèdent dans la gestion et l'exploitation de la commanderie. Celle-ci tire une partie de ses revenus des droits de pêche dans une partie de la Sèvre Niortaise : en 1738, Jacques Magnen, marchand pêcheur à la Sotterie de Coulon, déclare "tenir les eaux et pêcheries assis au cours de l'eau de la rivière de Saivre sous Coullon, vulgairement appelées les eaux de Sainte-Gemme, tenant par le dessus aux eaux et pêcheries de Coullon et par le bas aux cours appelés vulgairement les eaux Chapreaux". L'ensemble des biens, dépendances et revenus de la commanderie de Sainte-Gemme est indiqué dans un terrier établi en 1778 et 1787. Celui-ci mentionne notamment "une étendue de terre dans laquelle sont les bâtiments de maisons, four, grange, écuries, étables, toits et bêtes et autres bâtiments de ladite commanderie et métairie de Sainte-Gemme, en la paroisse de Benet, des vestiges d'une ancienne chapelle et autres bâtiments avec des cours, coursoires, aires à batte les grains, puits à puiser l'eau, jardin, ouches, petit bois appelé la Garenne, le surplus en terres labourables".

Le 18 février 1793, la métairie de Sainte-Gemme, saisie comme bien national, est vendue à Joseph Pierre Desmarest et Grégoire Venant Martineau, demeurant à Fontenay-le-Comte. Le plan cadastral de 1835 montre un grand bâtiment là où se trouve la grange-étable, se prolongeant au nord, et deux autres ensembles de bâtiments au sud-ouest et au sud-est, dont l'un à la place du logis actuel. Le tout est alors la propriété pour moitié de Henri Brivin (1775-1857), propriétaire (demeurant 15 rue du Temple, à Benet), époux de Jeanne Bernier ; et pour l'autre moitié, de Pierre Mudet (1780-1840), cultivateur et maire de Benet, époux de Catherine Dazelle (qui possède aussi la Chevalerie).

Le cadastre mentionne la construction d'un nouveau logis en 1856 pour Catherine Dazelle veuve Mudet, puis une autre en 1859 pour Jacques Turpaud. La ferme passe ensuite à François Ravard époux d'Eugénie Renaud, puis à son gendre, Narcisse Dazelle, et aux descendants de celui-ci.