La maison, située près du pont qui lui a donné son surnom, figure sur le plan cadastral napoléonien de 1829. Dépendant de la seigneurie de la Barre, elle était postée à l’embranchement du chemin de Saint-Calais à Conflans avec un chemin en direction de Marolles. De par la forme de sa toiture, de ses ouvertures et de sa cheminée conservée à l’intérieur, on peut dater la maison de la 1ère moitié du XVIe siècle. On ignore presque tout de son histoire, mais son autre surnom, la Huguenotterie, pourrait faire référence à l’occupation du bas du bourg par le parti protestant, pendant les guerres de Religion, tandis qu’une autre maison du bourg fait elle référence au parti ultra-catholique des Ligueurs. C'est du moins ce qu'affirme Louis Chéron dans sa monographie, mais aucun document d'archives n'apporte de précisions à ce sujet. Par la suite, toujours d’après Louis Chéron, la demeure aurait été occupée par un notaire.

De rares documents livrent quelques informations, à prendre néanmoins avec prudence car le Pont correspond en réalité, sur le cadastre ancien, à deux maisons. Dans un aveu de 1609 rendu par le seigneur de la Barre, Marin de Vanssay, à César de Vendôme, les héritiers Morice sont tenus verser « par chacun an au dict jour de Toussainctz quatre deniers tournoys de cens pour raison de leur maison, granches, tainctures, jardins et terres labourables que en buissons et ruaulz le tout en ung tenant appellé la maison du Pont [...] joignant d'un costé au chemin tendant de Conflans à Marolles d'aultre tendant au chemin de Conflans à Sainct Callais ». On peut lire dans les registres paroissiaux, en 1650, le décès de Pierre Villefeu, habitant le Pont et de son vivant jardinier au château de la Barre. En 1733, on y trouve un certain Michel Tironneau, marchand. Au début du XIXe siècle, la maison est la propriété de la famille Gourmault, de Montaillé. Vers le milieu du XIXe siècle, comme l’atteste ensuite le plan d’alignement de 1872, M. de Vanssay, châtelain de la Barre, acquiert l’ancien chemin de Marolles et la maison pour agrandir le parc de son château et sans doute y loger du personnel. On y trouve ainsi, dans les années 1850-1860, la famille de Louis-Eugène Hubert, voiturier.

Plusieurs baies ont été remaniées, voire percées (notamment sur la façade arrière) dans la 2e moitié du XXe siècle. Le petit bâtiment accolé, postérieur à la construction du XVIe siècle, a également été remanié avec des ouvertures en grison s’inspirant de la porte sur la rue, vraisemblablement remployée.