Le prieuré bénédictin de Pont-de-Gennes, sous le vocable de Saint-Gilles, aurait été fondé vers 1092 par Agnès de Chaources, veuve de Hugues de Gennes. En témoigne une charte issue du cartulaire de l'abbaye de Saint-Avit près de Châteaudun, par laquelle Agnès accorde au prieuré l'église Saint-Victeur de Pont-de-Gennes (qui deviendra Saint-Gilles), la chapelle Sainte-Croix (du château de Gennes ou de Montfort selon les deux interprétations possibles), la chapelle Saint-André, ainsi que l'église et la chapelle de Vibraye. A cette occasion, Pétronille et Hadrilde, ses filles, sont consacrées à Dieu et deviennent les premières prieures, sous l'obédience de cette abbaye (voir annexe). Les possessions du prieuré sont confirmées par une bulle du pape Alexandre III de 1176.

L'existence de l'établissement est assurée par des donations, bien-fonds, revenus et droits divers, constituant le fief du prieuré administré par une prieure nommée par l'abbaye de Saint-Avit, et dont les suzerains sont les seigneurs de Montfort en leur vertu de fondateurs. Le prieuré dispose ainsi de plusieurs maisons, notamment à proximité immédiate dans la rue des Dames, d'une place ou "pavé", mais aussi de métairies, terres, vignes, jardins, et même une tannerie citée au XVIe siècle, que les prieures louent pour en tirer des revenus, des droits de pêche dans l'Huisne et la Braye, de faire paître des porcs et de prélever du bois dans les bois de Montfort et de Vibraye, etc. Elles possèdent également les étals sis sous leurs murs qu'elles louent à des bouchers pour le commerce de la viande. Plusieurs transactions des moniales avec les seigneurs de Montfort sont connues, par exemple concernant leur droit de moyenne et basse justice en 1235. Les sœurs disposaient d'une prison où étaient enfermés les accusés relevant de leur juridiction.

Il subsiste du prieuré primitif, élevé au XIIe siècle, le bâtiment attenant à l'église, qui semble correspondre à l'ancienne salle capitulaire, avec ses baies géminées romanes donnant sur la cour. On peut supposer que les bâtiments s'organisaient en carré autour d'un petit cloître en bois, dont subsiste un corbeau dans le mur nord de l'église. Une grande partie des bâtiments peut avoir disparu au cours de destructions (guerre de Cent Ans, guerres de Religion). Au XIXe siècle, alors qu'elle était encore surmontée d'un étage, cette "salle capitulaire" servait de grange et de cave. Quant au logis placé en retour, avec sa haute toiture pentue, sa tour d'escalier et ses ouvertures chanfreinées, il est ajouté bien après la période romane, à la fin du XVe siècle ou au début du XVIe siècle. En 1458, la prieure Jeanne de Baigneux déclare au roi son prieuré de Pont-de-Gennes consistant "en maisons, cloistres, murailles et jardins". En 1571, Antoinette de Chastellux avoue au seigneur de Montfort tenir de lui "les maisons, grange, estable, jardins, cours, circuit d'autour et environs d'icelles choses appelées le prieuré de Genes".

Les noms des prieures nous sont ainsi connus à partir de la fin du XIVe siècle et énumérés par l'abbé Robveille dans sa monographie sur Pont-de-Gennes. Au début du XVIe siècle, la mise en place de la commende déstabilise fortement l'établissement, les prieures ne résidant plus nécessairement sur place et confiant la gestion du domaine à un fermier général. Entre 1546 et 1570, la prieure Antoinette de Chastellux décide de rétablir la conventualité au sein du prieuré alors en pleine déshérence, ce qui ne se fera pas sans difficultés : accusée d'hérésie, elle en sera même chassée. Un document retrouvé par Paul Cordonnier révèle qu'un siècle plus tard, en 1688, les bâtiments du prieuré n'étaient guère propres à recevoir des religieuses : la prieure Catherine Le Geay voulait ainsi se retirer à l'abbaye du Pré au Mans sous prétexte que ledit prieuré n'était point "clos en estat d'habitation pour des religieuses, suivant les institutions canoniques". Il semble que la situation de l'établissement ne s'améliore pas au XVIIIe siècle : les prieures résident alors dans des abbayes citadines, celle du Pré au Mans ou celle du Ronceray à Angers, laissant la gestion du domaine au fermier général. Le dernier d'entre eux, Lemarié, aurait fait détruire la grange dîmière.

A la fin du XVIIIe siècle, de l'aveu même d'une prieure commendataire, la conventualité n'était plus observée à Pont-de-Gennes. Il semble que lorsque la Révolution éclata, le prieuré avait été déserté par ses dernières moniales et qu'il fut supprimé dans la plus grande indifférence. Saisis comme biens nationaux, les bâtiments sont décrits comme suit en 1791 : "Les bâtimens du prieuré du Pont de Gennes, consistans dans une grande cuisine, deux chambres hautes et un petit cabinet, grenier sur le tout, deux granges, quatre écuries, une loge et toir à porcs, cour issues et jardin de trois quart de journal, y compris une ouverture de porte particulière qui conduisoit à l'église". On note que le prieuré ne compte que quelques pièces et n'est sans doute alors pas plus grand que l'ensemble actuel. Le 16 septembre 1791, les bâtiments sont adjugés à un notaire, Jacques Germain. Le domaine, comprenant des terres sur les communes de Pont-de-Gennes, Connerré et Saint-Mars-la-Brière, ainsi que deux maisons dites "maisons des Dames" alors affermées, est morcelé et vendu.

Le plan cadastral napoléonien de 1836 figure les bâtiments actuels : ils sont alors propriété de Louis Germain, sans doute fils de Jacques Germain. Vraisemblablement au cours du XIXe siècle, le logis est partiellement remanié notamment au niveau des ouvertures de la partie ouest, peut-être suite à une division. Devenu habitation particulière, le prieuré appartient à un marchand de biens, puis à M. Garry, huissier à Montfort, dans la 1ère moitié du XXe siècle. Celui-ci aurait fait supprimer l'étage au-dessus du bâtiment roman pour que la tour soit bien visible. On lui doit peut-être également le grand poulailler dans la cour. En 1945, la propriété est achetée par une famille parisienne, les Griffaton. Paul Cordonnier mentionne dans le garage une très grande cheminée, qui correspondait peut-être à la cuisine signalée en 1791. Quelques remaniements d'ouvertures sont réalisés dans la 2e moitié du XXe siècle.