Parmi les nombreux moulins que comptait le quartier au XIXe siècle, deux se trouvaient ici, comme le montre le plan cadastral de 1836. L'un, appelé le Vieux moulin ou Grand moulin ou moulin de Noiron, se situait au nord des bâtiments actuels ; l'autre, appelé le moulin Rouge ou moulin Neuf ou Petit moulin, s'élevait au sud, dans la cour actuelle, près de la rue. Entre les deux, prenait place une toute petite habitation.

L’ensemble a dû être construit à la fin du XVIIIe siècle, après la fin du monopole seigneurial de l’abbesse de Saintes sur la meunerie à Vix. Ce monopole s’exerçait à travers deux autres moulins, le Grand moulin et le Petit moulin, situés vraisemblablement de part et d’autre long du chemin qui continue vers le sud-ouest, au-delà de l’ancien moulin Rambaud (c’est ici, aux parcelles 476 et 496, que le plan cadastral de 1836 les situe). Ces moulins étaient affermés à des meuniers membres de la famille Lièvre, issus de Pierre Lièvre (1692-1768), époux de Françoise Soulisse, meunier au Grand moulin en 1738, aux "Deux moulins" en 1739. Son fils, Pierre Lièvre (1730-1793), marié avec Anne Guérin, est meunier mais aussi fermier seigneurial de Vix et, sous la Révolution, acquéreur de plusieurs biens nationaux. La fin du monopole seigneurial permet la construction de nouveaux moulins, dont sans doute ceux du 20 rue des Six-Moulins. Vers 1815, on ne compte alors plus deux mais six moulins dans le quartier (qui prend ce nom), auxquels s'ajoute vraisemblablement un septième en 1819 (au 18 rue des Six-Moulins).

Au début du XIXe siècle, plusieurs enfants et neveux de l'ancien fermier seigneurial Pierre Lièvre possèdent les différents moulins que compte le quartier, dont le moulin Rambaud, le moulin du 17 rue Derrière-les-Champs, et les deux moulins du 20 rue des Six-Moulins. Ces deux derniers ainsi que la maison qui se trouve à proximité (18 rue des Six-Moulins) échoient à la fille de Pierre Lièvre, Jeanne (1766-1819), mariée en 1785 avec Charles Malécot (1765-1829), meunier, originaire de la région de Fontenay-le-Comte. Ils vivent un temps près du calvaire du Carq (3-5 rue du Carq), puis finissent leur vie près de leurs moulins (sans doute dans la maison du numéro 18). En 1819, le partage des biens de Jeanne Lièvre entre ses enfants et son mari mentionne bien le moulin Neuf et "l'Ancien", avec droit de passage pour accéder à celui-ci.

Après la mort de Charles Malécot, la propriété est transmise à son fils, Pierre Malécot (1786-1876), meunier, marié à Jeanne Turgné. Il en est propriétaire au cadastre de 1836 et fait construire une nouvelle habitation entre les deux moulins en 1841. La donation-partage de ses biens, en 1858, mentionne toujours le moulin Rouge, le moulin Vieux, la maison composée d’une chambre basse avec grenier, accolée à une autre ancienne habitation utilisée en écurie, avec aussi un puits, une buanderie, un fournil et des toits. Après Pierre Malécot, la propriété est partagée entre ses fils : Jean, époux de Jeanne Maréchaud, meunier, établi à la Mortonnière, et Pierre, époux de Julie Bouron.

En 1876-1878, Joseph Sacré rachète l’ensemble et fait démolir le moulin Rouge. La maison, le Vieux moulin et la cour où se trouvait le moulin Rouge passent en 1889 à Antoine Maréchaud époux Mercier (déjà propriétaire de la maison du numéro 18). Il fait démolir le Vieux moulin en 1897. Convertie en exploitation agricole, la propriété est acquise en 1921 par Clovis Bienvenu (1886-1955) époux de Florine Gaignet. Désaffectée, l'ancienne ferme a été récemment restaurée et son logis remanié. Un hangar métallique qui se trouvait à l'avant du logis a été supprimé.