Le château aurait été construit par Geoffroi Plantagenêt en 1131. Dans le cartulaire de Saint-Serge, il est question du Castrum Novum (1134-1150). Son abandon est vraisemblablement lié au déplacement du site avec la construction d'une nouvelle demeure, sans doute durant l'époque moderne, au nord du bourg (du côté de l'actuelle mairie et de l'ancienne place du marché). Entre 1711 et 1720, Jean Goujon fait d'importants travaux de réparation de la demeure seigneuriale, près de la place du marché. Un relevé du bourg, réalisé au XVIIIe siècle, ne montre plus qu'une tour avec les vestiges d'un bâtiment. Dans le descriptif est indiqué : "l'enclos de la motte où était l'ancien château dans lequel il ne reste plus de logement fors un petit pavillon avec une tour dans laquelle sont les prisons du dit Châteauneuf et la maison du geolier". La tour conservée de l'ancien château fort date du XIIe ou du début du XIIIe siècle. D'importantes réfections ont été entreprises au XIXe siècle.