Si une église existait probablement à Pont-de-Gennes (Geneda, Janna) plusieurs siècles auparavant, on joint généralement la construction de l'édifice actuel à la fondation du prieuré attenant, par Agnès de Chaources, veuve d'Hugues de Gennes, vers 1092. L'étude des murs de la nef et du chevet, attribuables à la fin du XIe siècle ou au début du XIIe siècle, ne dément pas cette datation. Si l'on se réfère à l'acte de fondation du prieuré, compilé dans le cartulaire de l'abbaye de Saint-Avit près de Châteaudun, l'église portait à l'origine le vocable de Saint-Victeur, auquel fut accolé puis substitué celui de Saint-Gilles lorsqu'elle devint à la fois paroissiale et prieurale. Le droit de présentation du curé à l'évêque était accordé à l'abbesse de Saint-Avit. En 1176, une bulle du pape Alexandre III confirme les possessions du prieuré de Pont-de-Gennes, parmi lesquelles l'église ("ecclesiam sancti victuris de Janna").

Quelques modifications du bâti sont à signaler à la fin du Moyen Age et à l'Époque Moderne. Ainsi, le contour d'une baie gothique semble apparaître dans la maçonnerie du mur sud. La charpente actuelle pourrait dater du XVe ou du XVIe siècle (dépourvu de contreforts, l'édifice ne fut jamais voûté), tandis que le lambris fut renouvelé en 1604. En 1670, le curé René Moncelet déclare avoir fait "construire son clocher à l'église dudit Pont de Gennes au lieu où estoit son ancien pinnacle qui menaçoit ruine et ne pouvoit supporter les cloches". Par ailleurs, une pièce de 1748 conservée aux archives du diocèse, malheureusement isolée, indique qu'un oratoire des sœurs du prieuré greffé sur l'église aurait été démoli. De plus, elle suggère qu'une des absides latérales daterait du milieu du XVIIIe siècle : en effet, l'évêque Mgr de Froulay accorde aux habitants, pour agrandir l'église, l'autorisation de "faire d'un côté droit de la sacristie [alors située dans l'abside centrale fermée par un grand retable] un enfoncement pareil à celui du côté gauche et porter les deux autels celuy de la Vierge et de saint Michel dans ces deux enfoncements". Or, si cette absidiole n'est pas romane, peut-être que son pendant ne l'est pas non plus, auquel cas l'édifice roman n'aurait compté qu'une seule abside, celle du centre. Cela serait d'ailleurs beaucoup plus cohérent avec ce que l'on sait des églises romanes du secteur.

A la Révolution, l'église devient bien national mais n'est pas aliénée afin de servir au culte et aux assemblées citoyennes. Mais rapidement, le mobilier est vendu aux enchères, les cloches sont fondues et l'édifice est utilisé comme atelier salpétrique. En mars 1795, les femmes de la paroisse se réunissent et sortent de l'église les tonneaux et brisent les instruments de fabrication du salpêtre. A la même époque, un incendie se déclare dans l'église et le conseil municipal décide d'arrêter l'activité de l'atelier pour la sécurité des maisons du bourg.

Le culte est rétabli dans l'église en 1801, mais celle-ci est dans un état déplorable. Elle est partiellement repavée en 1806, mais il faut attendre l'arrivée d'un jeune curé de vingt-quatre ans, François Van Wanghen, en 1818, pour que soit lancée une véritable restauration de l'édifice. Au cours du 2e quart du XIXe siècle, il acquiert de nouveaux meubles et ornements, achève le pavement, ouvre l'oculus de la façade occidentale, fait repeindre les murs et construire la tribune (1849). Dans les années 1870, son successeur François Bouet fait remettre en état les chapelles et les dote d'autels, acquiert une chaire en pierre calcaire. Soutenu par la générosité de plusieurs donateurs dont la famille de Nicolaÿ, châtelains de Montfort, le curé Alphonse Robveille se lance à son tour dans de grands travaux. En 1889-1890, sur les plans de l'architecte Léon Poivet, il fait percer au-dessus de l'abside centrale deux baies géminées et retoucher les fenêtres de la nef qui reçoivent de nouveaux vitraux (une grande baie a ainsi été obturée sur le mur sud de la nef). Afin d'ouvrir l'abside principale, il fait construire une sacristie contre le mur nord de l'église et sa petite annexe sur la placette le long de la rue. Le grand retable du XVIIIe siècle qui fermait jusqu'alors l'abside, avec son tableau de la Nativité signé "De Cherche, fecit et pinscit Cenomani, anno 1732", fut dépecé et le tableau vendu. En 1899, sous la direction de l'architecte Auguste Ricordeau, Robveille fait entièrement remanier la façade occidentale dans un style néo-roman. La toiture est également refaite et l'intérieur est réaménagé et repeint. Un triplet envisagé à la place des baies géminées du chevet, devant permettre un meilleur éclairage, ne sera pas réalisé.

En 1936, le maître-autel en bois du XVIIIe siècle est remplacé par un autel Art-déco en pierre. Brisés par l'explosion d'un train de munitions survenue le 6 juin 1944, les vitraux sont remplacés en 1957 par des créations de Maurice Bordereau, d'Angers. L'intérieur est entièrement restauré en 1965 par l'entreprise Grevet de Laval, sous l'égide du curé Frédéric Lemeunier : la sobriété est de mise pour tenter de retrouver "son caractère primitif", selon la vision de l'église romane dépouillée que l'on avait à l'époque. On doit à cette restauration la mise en évidence des pierres des ébrasements des fenêtres et des chapelles et la suppression des peintures du lambris (il n'en reste qu'un vestige sous le clocher) "orné d'une litre à laquelle sont suspendus des écussons et pendentifs". La chaire est supprimée. Le chemin de croix en terre cuite, œuvre de Claude Gruer, de Solesmes, est posé en 1966. En 1975, un nouveau dallage et de nouveaux bancs prennent place dans l'église. Le clocher et les toitures sont restaurés en 1997.

Au cours du XIXe siècle, un bâtiment avait été bâti sur la placette devant l'église pour servir de prison. Reconverti en local pour les pompiers, il fut ensuite démoli.