L'église de Saint-Jean-sur-Mayenne semble attestée au moins depuis le XIIe siècle (une tradition mal étayée veut même qu'elle ait été brûlée par les Normands en 865), mais il semble aujourd'hui impossible d'identifier une maçonnerie médiévale. D'après l'abbé Angot, l'église s'était effondrée pour partie en 1769 et les offices étaient célébrés depuis lors dans la chapelle Saint-Trèche. La reconstruction ou réparation de l'église dans la 2e moitié du XVIIIe siècle est confirmée par Davelu. Sur le plan cadastral napoléonien du début du XIXe siècle (1811 ?), l'église, encore entourée du cimetière, est de plan très simple avec sa nef rectangulaire et une abside plus étroite demi-circulaire, peut-être romane. Une petite chapelle pour les fonts baptismaux avait été bâtie en 1745 par Charles Desalleux.

Des plans et devis sont demandés à l'architecte lavallois Charles Hubert en 1834 pour la réfection et l'agrandissement de l'église : il s'agit de construire un nouveau chœur bien plus vaste avec déambulatoire pour accueillir davantage de paroissiens. Le projet est approuvé par l'évêque l'année suivante et mis en adjudication en faveur de l'entrepreneur Ambroise Corbin. La construction est certifiée achevée le 24 mai 1837. Une tour surmontée d'une flèche ainsi qu'une sacristie, non mentionnées dans le projet originel, semblent avoir été édifiées au cours des travaux, vers 1836.

Le perron au-devant de la nef est refait en 1886 ; des travaux de charpente sont signalés l'année suivante. La nef est restaurée en 1898 selon un projet dressé par l'architecte départemental Louis Garnier : les entraits sont supprimés et remplacés par des tirants en fer : des ornements en plâtre portant les noms des curés sont réalisés afin de masquer l'empochement des anciennes poutres ; les ébrasements des fenêtres sont également refaits.

Au début du XXe siècle, le clocher montre d'inquiétants signes de faiblesse. Selon un rapport établi en 1913, "la charpente a subi une inclinaison et une torsion faisant craindre un écroulement imminent. Cette chute du clocher dans les rues du bourg pourrait être la cause de très graves accidents". Louis Garnier signe dès 1911 les plans d'une nouvelle flèche, dont les travaux sont confiés à l'entrepreneur Brisard, d'Argentré, le 19 avril 1913. La toiture du chœur est restaurée en 2012.