Les bâtiments figurent sur le plan cadastral napoléonien de 1829 : la partie la plus ancienne est vraisemblablement la maison perpendiculaire à la rue, bien que les remaniements du XIXe siècle ne permettent pas d'avancer une datation précise. La propriété est liée, comme le précisent les matrices cadastrales, à une famille de fabricants de tissu, les Vivet. C'est dans le sillage d’Élie Savatier, à l’origine de l’importante filature de Bessé-sur-Braye créée vers 1736, que les Vivet comme de nombreux autres fabricants textiles avaient lancé leur activité, sans connaître le même succès ni la même longévité. A la fin du XVIIIe siècle, un certain Jean Vivet louait déjà une maison à étage dans cette rue, bien qu'on ne puisse pas établir sa localisation précise. En 1829, Jacques Vivet "fabricant" est déclaré propriétaire de la maison, sans préciser s'il s'agit uniquement de sa résidence ou également de sa fabrique. Par la suite, c'est Charles Vivet, sans doute son fils, qui procède à d'importantes modifications dans le 3e quart du XIXe siècle : il fait remanier le corps central et édifier l'aile en pierre de taille de droite en 1855 et 1867, puis il fait construire l'aile de gauche en 1870 à l'emplacement d'une petite maison de serrurier démolie vers 1840 (données portées au registre en 1858, 1870, 1873). Quelques remaniements en ciment de la 2e moitié du XXe siècle, notamment côté cour, ainsi que l'ajout de lucarnes, sont visibles.

La famille Vivet se rencontre à plusieurs reprises dans les archives, mais les liens exacts avec les occupants de la maison restent flous. Ainsi, en 1839, un Vivet obtient par ordonnance royale l'autorisation de construire le moulin du Ravet, en aval de la papeterie de Bessé. Les registres de patente indiquent qu'un Jean Vivet succède vers 1870 à la petite fabrique à métiers à tisser non réunis et teinturerie de Henri Ploux, qu'il fait déplacer dans une maison plus modeste. Il n'a pas été déterminé son lien de parenté à Charles Vivet, ni si son activité avait pour siège cette maison.