Les bâtiments de l’ancienne auberge du Chêne Doré, alors propriété d’un certain Louis Olivier, figurent sur le plan terrier du prieuré de Tuffé dressé entre 1757 et 1759. Y sont localisées deux maisons, chacune accostée d’une chambre, de part et d’autre de la cour. Ce sont aujourd’hui encore les parties les plus anciennes de cet ensemble, avec leurs toitures pentues datables de la fin du XVe siècle ou du début du XVIe siècle ; la partie avec pan-de-bois pourrait avoir été ajoutée dans un second temps, peut-être au XVIIIe siècle. Les constructions sur la rue ont depuis été remplacées, tandis que les écuries et autres dépendances autrefois au centre et au fond de la cour ont disparu. Le terrier décrit ainsi les bâtiments au milieu du XVIIIe siècle : « une maison où pend pour enseigne le Chêne Doré, située au bourg de Tuffé composée de deux chambre basse l’une à cheminée, un fournil au bout une boutique à l’autre bout qui est sur la rue, dans laquelle il y a un escalier, six chambre haute dont deux sont à cheminée, grenier sur le tout cave sous deux desdites chambres, un petit célier à côté, deux écurie et trois petits logereaux servant de buchet audevant desdites chambres basses, une ruelle entre deux qui est réunie à la cour siaprès par sous laquelle boutique il y a un canal qui sert pour tirer les eaux dudit Tuffé et qui dessend au ruisseau du moulin du dit lieu ; une autre maison composée de deux chambres basse l’une à cheminée un celier audevant, grenier sur le tout ; une cour entre tous lesdits baptiments dans laquelle il y a un puy, un portail à l’un des bouts d’icelles et à l’autre un jardin ».

Le plan cadastral napoléonien révèle qu’en 1831 la plupart des dépendances de l’auberge avaient disparu, on peut donc penser que l’ensemble n’avait déjà plus cette fonction. Le propriétaire était alors un certain Pierre Rouy, boulanger. Les matrices cadastrales indiquent, sous le même nom, la conversion de l’une des maisons en dépendance en 1843 (c’est toujours le cas aujourd’hui) ainsi qu’une démolition partielle en 1869, peut-être les bâtiments sur la rue. Ce sont sans doute les Rouy, Pierre ou Louis (propriétaire sur le plan d’alignement de 1875), qui font construire, dans la 2e moitié du XIXe siècle, trois logements distincts sur la rue avec des dispositions similaires, dans l’intention de les louer ou de les vendre. Un passage couvert est ménagé à droite pour donner accès à la cour commune où est construite une remise à l’emplacement de l’ancien fournil. La maison en retour est également remaniée au niveau des ouvertures. Une boutique de modiste est signalée dans la maison centrale par des cartes postales et photographies du début du XXe siècle. Une partie des ouvertures sont remaniées, d’autres percées, sur la plupart des bâtiments au cours de la 2e moitié du XXe siècle.