Le Pont était un petit fief. La dendrochronologie réalisée par Dendrotech en 2019 sur les éléments en bois du logis a donné la date de 1623. La construction est réalisée pour Germain Le Clerc, fermier de la seigneurie de Beaumont-La-Chartre, tenue par le prieuré simple de Vauboin tout proche. Le domaine fut acheté en 1686 par Louis de Rohard, sieur du Bourg. L'une de ses filles, Marie Anne Deschelles, le lègue à sa nièce, épouse de Le Pellerin de Gauville, à condition que ses deux fils (dont l'un est le prieur de Vauboin tout proche) en aient l'usufruit. Le 18 novembre 1754, Louis Charles Le Pellerin de Gauville, chevalier de l’ordre royal et militaire de Saint-Louis, ancien capitaine au régiment du Bourbonnais, chevalier, seigneur des terres du Rouvre, la Thivinière, Launay, Merveille, Le Pont, la Fredonnière et autres lieux, demeurant en son château du Rouvre, paroisse de Neuvy [le-Roi, en Touraine], baille à ferme à Etienne Sébastien Meunier, marchand, et demoiselle Jeanne Rotrou son épouse… demeurant paroisse de Bueil… la maison et terre du Pont, consistant en bâtiments logeables, une grange, caves, pressoir, cour, jardin, chenevrail, terres labourables, vignes, prés, noues, taillis et pastureaux en dépendant, ainsi que la métairie et bordrie de la Petite Maison, la Hoquetière et la Richerie, le lieu et bordrie de la Riderie, etc. Le 23 juillet 1755, Mme de Gauville renonce à la succession de M. Dechelles. En 1769, le domaine est vendu à Michel Guerry, marchand aubergiste au passage du Roux à Neuillé-Pont-Pierre. Vers 1825, l'écrivain et historien Augustin Thierry (Blois 1795-1856) habite au Pont. Devenu aveugle à 38 ans, il fait réaliser une rampe en pierre lui permettant d'accéder du jardin à l'étage par le pignon sud-est du manoir. Le Pont fut la propriété d'André Michel Guerry (1802-1866), avocat, statisticien et inventeur, maire de Beaumont-la-Chartre de 1846 à 1855.

La grange remonte également à l'Ancien Régime.

Les jardins, absolument exceptionnels (hortus conclusus au bas du coteau, jardin de buis sculptés sur le coteau), ont été créés à partir de 1991 par Thierry Juge. Ils ont été labellisés "Jardin remarquable" par le Ministère de la Culture en 2014.