La maison figure sur le plan cadastral napoléonien de 1829. Elle doit vraisemblablement son surnom de « Maison Sous Terre » au souterrain creusé dessous et partant vers l’est. D’après Louis Chéron, cette appellation apparaîtrait dès 1627 dans une donation d’un certain Clément Bomer à la fabrique de Conflans.

La partie principale du bâtiment, de par sa haute toiture pentue et ses baies chanfreinées visibles sur la façade postérieure, peut être datée de la fin du XVe siècle ou du début du XVIe siècle. Quelques remaniements ont été effectués au XVIIe siècle, à savoir la construction de la grande cheminée et probablement l’agrandissement ou le percement de deux fenêtres à l’étage côté jardin. Le soin tout particulier réservé aux ouvertures et à la cheminée en fait un édifice bien particulier dans le bourg de Conflans et pas un simple logis d’artisan. Si l’on admet que la mairie actuelle fut un manoir seigneurial avant de devenir presbytère vers le XVIIe siècle, alors on peut se demander si cette maison n’abrita pas le presbytère du XVIe siècle, mais cette hypothèse reste invérifiable faute de documents.

La maison est agrandie vers le nord avant 1829, probablement dans le 1er quart du XIXe siècle. Les fenêtres côté rue sont reprises en briques tout au long du XIXe siècle, comme l’attestent des photographies d’Alphonse Poitevin prises dans les années 1870 ou 1880 : la fenêtre la plus à droite n’est alors encore qu’une petite baie à l’encadrement en pierre. La couverture en tuile plate est refaite en ardoise postérieurement au cliché. La dépendance donnant sur le jardin est également datable de la 2e moitié du XIXe siècle. D’après la tradition orale, la maison aurait servi d'école libre, peut-être après la communalisation en 1880 de l'école privée qui existait au 15 rue Saint-Maurice. D’après le propriétaire, la partie gauche de la maison aurait servi de salle de classe et un petit préau aurait existé à l’entrée du jardin. Par ailleurs, une pièce de la maison aurait transitoirement abrité la mairie, dans les années 1850.

La maison, propriété de Vanssay jusqu’au milieu du XXe siècle, sert successivement de logement au jardinier et au régisseur du château de la Barre. Quelques remaniements ont été réalisés dans la 2e moitié du XXe siècle, notamment l’ajout d’une véranda et d’un bardage sur le pignon nord.