Une maison apparaît à ce même emplacement sur le plan cadastral de 1835. Il s'agissait probablement de la demeure, dans la seconde moitié du 18e siècle, de Dominique Quoy (1729-1774), marchand, et de son épouse, Anne Guérin (1731-1784), "maîtresse en chirurgie", par ailleurs propriétaires de nombreux biens à Maillé, par exemple la Pichonnière. La maison a pu aussi appartenir, après eux, à leur fils, Jean Quoy (1758-1817), chirurgien à Maillé, père du chirurgien de marine et scientifique Jean René Constant Quoy. On retrouve toutefois la maison parmi les biens mentionnés en 1820 dans le testament de la soeur de Jean Quoy, Jeanne Anne (1760-1820), veuve de Joseph Constantin, bourgeoise demeurant à Fontenay-le-Comte. La maison comprend alors plusieurs chambres hautes et basses, des greniers et plusieurs dépendances ainsi que le terrain qui s'étend au nord. Par son testament, Jeanne Anne Quoy lègue cette propriété à sa fille, Hélène Perside Constantin, épouse de Philippe Audigé, ancien notaire à Niort, demeurant désormais à Maillé (probablement déjà dans cette maison).

Les 25 mars 1834 et 23 avril 1835, Hélène Perside Constantin et ses fils, Philippe Audigé fils, alors étudiant en médecine à Montpellier, et Jules, sans profession, demeurant à Maillé, font le partage de biens restés indivis entre eux depuis le testament de leur mère et grand-mère. La maison est alors attribuée à Jules qui deviendra marchand de chevaux à Niort. Au cadastre de 1835, elle est toutefois encore indiquée comme propriété de Philippe Audigé (père).

La maison est rachetée en 1875 par Jeanne Porcheron, veuve Robin, puis en 1878 par Prosper Richard (1830-1915), charron, charpentier et menuisier, époux de Julie Prunier. En 1883, il fait reconstruire la maison, lui donnant probablement l'essentiel de son aspect actuel. Augmentant son activité de menuiserie, il ajoute un premier atelier la même année, puis un second en 1901, et un hangar en 1909. Son fils, Prosper (1867-1935), époux de Philomène Clavurier, développe encore l'entreprise familiale, transformée dans l'entre deux guerres en une scierie industrielle implantée à l'arrière de la propriété paternelle, au nord. Les bureaux de l'entreprise restent longtemps au rez-de-chaussée de la maison, à gauche.