Cette ancienne ferme est établie sur une partie de l'ancien prieuré de Sainte-Gemme, dont l'essentiel des bâtiments se trouvait sur l'autre partie, au sud (44 rue du Vrizon). Le plan cadastral de 1835 montre un petit bâtiment à l'emplacement du logis actuel, et un grand bâtiment là où se trouvent la grange-étable et les communs qui la prolongent au nord. A la place du grand jardin clos de murs s'étend à cette époque une aire à battre, et un jardin appelé la Calinerie prend place dans l'angle nord-est de la propriété. Le tout est, comme l'ensemble de l'ancien prieuré, la propriété pour moitié de Henri Brivin (1775-1857), propriétaire (demeurant 15 rue du Temple, à Benet), époux de Jeanne Bernier ; et pour l'autre moitié, de Pierre Mudet (1780-1840), cultivateur et maire de Benet, époux de Catherine Dazelle.

Selon le cadastre, le logis est reconstruit en 1869 pour Pierre Fleury (1831-1907), cultivateur, époux d'Amélie Touchard (1835-1906). Il fait aussi édifier un magasin ou entrepôt en 1898. Un de ses fils, Félix Fleury, né en 1854, marchand charcutier, sera l'un des fondateurs de l'entreprise Fleury-Michon, avec son beau-frère Lucien Michon. La ferme de Sainte-Gemme passe à son frère, Jean-Baptiste Fleury (1876-1913), marchand de porcs, époux de Joséphine Ravard. En 1913, la ferme est acquise par Célestin Garnier, époux d'Hélène Gaudin.