Vers 1063, une première mention de la fondation d'un prieuré bénédictin apparaît sous le titre Notre-Dame de Torcé, pour les moines de l'Abbaye de Marmoutier, sur des terres données par Buchard de Crapon, fils de Faucher de Crapon. Toutefois, le manque de précision quant à la localisation de ce prieuré, fait subsister un doute sur son édification à Torcé-en-Vallée ou Torcé-en-Charnie, en Mayenne.

Une seconde mention indique néanmoins qu'Albéric, un seigneur local, fait don avant 1100 des églises, du cimetière, des dîmes et d'une pièce de terre aux moines de Marmoutier. Confirmée par Rotrou de Montfort dont le fief englobe les terres concédées et abondée par d'autres seigneurs, cette donation est faite en présence de deux témoins, des seigneurs locaux, Guy de Courvalain (La Chapelle-Saint-Rémy) et Gilduin de Courparent (Torcé). Le prieuré est un établissement très simple à cette époque, il ne compte pas plus de deux moines.

Au cours du XIIe siècle, le prieuré fait l'objet de plusieurs donations et accords quant à la perception de droits sur les marchés, moulins et terres alentours. Malgré cela, la situation du prieuré n'est pas favorable puisqu'il semble qu'à la fin du XIIe siècle, aucun moine n'y réside et son administration est confiée à Payen Garot, chanoine du Mans. En 1235, Geoffroy de Torcé et Marguerite son épouse font don de leur forêt d'Essarts aux moines, agrandissant de nouveau leur possession. Néanmoins, le prieuré est rattaché à celui de Vivoin en 1241. Cette réunion est de courte durée puisque peu de temps après, les deux maisons sont de nouveau indépendantes. Il reste ensuite propriété des Bénédictins jusqu'en 1647, date à laquelle fr. Louis Jousseaume est le dernier prieur régulier. Au cours du XVIIe siècle, une porte est ajoutée entre le prieuré et l'église afin de faciliter la communication entre eux. Celle-ci a vraisemblablement disparu aujourd'hui.

Le prieuré est ensuite placé sous le régime de la commende avec un premier prêtre séculier, Louis Pouget, dès 1647. L'un des plus célèbres est Louis de Lavergne de Tressan qui prend pleinement possession de son titre de prieur le 9 avril 1691, sur décision de l'évêque du Mans, après qu'un religieux bénédictin, fr. Pierre de Cheverie, ait tenté de l'en déposséder. Louis de Lavergne de Tressan est notamment connu pour son titre d'abbé commendataire de l'Epau, à partir de 1699, puis archevêque de Rouen de 1723 à sa mort, en 1733. Ainsi, à la fin du XVIIIe siècle, le prieuré est administré comme un simple bien temporel, affermé au plus offrant. En 1778, dans la rubrique des terres à louer du journal Les Affiches du Mans, il est décrit comme étant composé de la maison priorale dans le bourg, une métairie, des jardins, 55 à 56 journaux de terres labourables, 22 hommées de prés et 4 quartiers de vignes complétés de plusieurs droits de dîme. La même année, Guillaume Crozat, prêtre du diocèse de Limoges résidant à l'abbaye de Saint-Victor à Paris, devient le nouveau et le dernier prieur jusqu'à la Révolution. Le 18 juin 1791, les biens du prieuré sont vendus comme bien national en deux lots : la métairie des Pâtis à Laurent Guédon, marchand à Bonnétable, pour 18 700 livres, ainsi que le prieuré et son domaine à Louis Bigot, vicaire à Torcé, pour 16 200 livres.

Les matrices cadastrales de 1836 indiquent que le propriétaire du prieuré est l'abbé Lochet jusqu'en 1894. A cette époque, il se compose des parcelles 407 à 411 comprenant : trois maisons, deux bâtiments, une cour et deux jardins. Il s'agit donc d'une vaste propriété. En 1898, l'abbé Froger, fait une description du prieuré tel qu'il devait être autrefois. Il le dépeint comme étant composé du logis prioral qui daterait du XVIe siècle, d'une habitation plus petite accolée au premier, destinée au fermier et d'une vaste grange dîmière. Le logis principal se compose alors d'une cave et d'une vaste pièce en rez-de-chaussée. Il semblerait donc que la grange ait disparu lors de l'établissement du plan cadastral en 1836, à moins qu'elle ait été transformée en maison.

A partir de 1907, le prieuré appartient à Emmanuel Liberge, marchand de fromages. En 1910, le logis prioral et l'habitation du fermier sont apparemment détruits. Toutefois, dès 1912, la maison actuelle est construite et occupe le même emplacement. Les anciens bâtiments ont certainement dû être transformés ou réutilisés en partie pour la construction de cette maison, ce qui pourrait expliquer les faibles largeurs et hauteurs de certaines ouvertures. Dans le bâtiment en retour au nord, une fromagerie et des communs sont aménagés. La laiterie-fromagerie établie dans la maison 25 rue Notre-Dame, fabriquant un camembert sous l'appellation Notre-Dame de Torcé, vient s'installer dans le prieuré où elle reste jusque dans les années 50. A cette époque, elle est reprise par Novandie à Savigné-l'Evêque. Dans les années 70, l'ensemble des bâtiments au nord sont détruits. Les seuls communs encore présents aujourd'hui, implantés en L en retour à l'est du logis, date sans doute des années 30/40. La maison n'a pas changé depuis le début du XXe siècle comme le montre les cartes postales anciennes. Seuls les garde-corps en fonte des fenêtres ont disparu.