La seigneurie de Vaux (parfois orthographié Vau, Vaulx, et plus tard Vaux-le-Vicomte) est mentionnée dès le XIIe siècle comme relevant de la baronnie de Château-du-Loir, puis des seigneurs de Lucé. Les imposantes mottes fossoyées, situées dans la pente du coteau, signalent l'emplacement de l'ancien château médiéval. En 1406, Jehan de Grazay, "escuyer, seigneur de Vaulx" rend "foy et hommaige simple à Brisegaud de Coësmes a cause et par raison du habergement, terres et appartenances de Vaulx, tant en fiez comme en domaines, justices, obéissance et seigneuries". Au XVIIIe siècle, le fief passe entre les mains des seigneurs de la Chartre, également seigneurs de Courdemanche, qui en conservent la propriété jusqu'au début du XIXe siècle.

Le château disparait avant 1834, date à laquelle le plan cadastral ne figure qu'une ferme, correspondant probablement à l'ancienne basse-cour, composée d'une maison, d'une cour et de quatre bâtiments, auxquels s'ajoutent quatre caves, propriété de la famille Guilier. Ne sont aujourd'hui conservés que le logis de la ferme, associé à une étable sous même faîte, ainsi qu'une grange, bâtiments qui semblent avoir été repris ou reconstruits au milieu du XIXe siècle ; la petite étable et le puits datent quant à eux du début du XXe siècle. La plupart des aménagements troglodytiques, difficilement datables quoique pour la plupart antérieur au XIXe siècle, sont encore en place. Les autres bâtiments ont disparu.