Au XVIIe siècle, la Contre-Réforme engendre un renouveau de la foi catholique et la création de nouvelles communautés religieuses. C’est certainement dans ce cadre qu’en 1636, Marie Massüe, « pieuse chrétienne » résidant à Château-du-Loir, prend engagement de consacrer une rente annuelle de 336 livres à la création d’un couvent de moniales à Saint-Calais. Les habitants et le seigneur de la localité, César de Vendôme, donnent leur accord en 1639. Il faut toutefois attendre le 12 août 1641, pour que Mgr Emeric Marc de la Ferté, évêque du diocèse, autorise les Bénédictines de Château-du-Loir à ouvrir un nouvel établissement dans la cité. En 1642, la mère supérieure, Madeleine Le Maréchal, du nouvel établissement fait l’acquisition d’un ensemble appelé l’Aubue comprenant « maisons, granges, estables, cave, coulombier, boutiques, chambres basses, chambres hautes, tant en l’enclos de cette ville (de Saint-Calais) que hors d’icelle ». D’autres acquisitions successives de parcelles contiguës à cette propriété constituèrent peu à peu le domaine des religieuses. Un premier bâtiment est construit en 1642 le long de l’actuelle rue de Grenade, il avait alors un simple rez-de-chaussée et était accolé à la maison existante, alors transformée en chapelle et dont l’accès se faisait par la rue de l’Image. Louis XIV confirma la fondation de l’établissement en 1652. En 1682, sous la direction de madame Suzanne d’Hervilly, les communs de la maison de l’Aubue sont détruits et reconstruits parallèlement au bâtiment donnant sur la rue de Grenade. Celui-ci est prolongé d’une aile en retour du côté opposé à la chapelle en 1688. En 1720, le prieuré est atteint par un véritable désastre financier (banqueroute de Law) et n’a presque plus de revenus. En 1728, un incendie détruit l’ensemble des communs construits en 1682 ce qui achève de ruiner l’établissement. Le prieuré ne fait alors que végéter jusqu’au 31 janvier 1782, date à laquelle un arrêt du conseil d’État supprime le couvent. Les dernières religieuses quittent l’établissement. 44 religieuses ont vécus dans ce prieuré dont 11 prieures, 32 religieuses de chœur et 1 converse.

En 1787, par ordonnance épiscopale, l’ancien prieuré est transformé en collège ecclésiastique. Fondé en 1614 par l’abbé Samuel de Caurianne, l’établissement était jusque là situé au centre de la cité, dans le quartier de la Croix-de-fer. A la Révolution, l’abbé Bossé, directeur du collège, conserve son poste jusqu’en octobre 1792. Il est alors remplacé par un directeur laïque.

Dès le début du XIXe siècle, des travaux sont effectués au collège afin de sécuriser les bâtiments en mauvais état et d’aménager un réfectoire. A cette époque, l’établissement appartient à l’université royale de l’académie d’Angers, mais la ville souhaite le racheter. Ainsi, à la suite de l’accord donné par ordonnance royale du 19 octobre 1828, l’université de France vend le collège à la commune le 25 juin 1829. Dès 1830, de nombreux travaux sont nécessaires afin de réaménager et agrandir les bâtiments. Pour cela, la commune fait l’acquisition de nouveaux terrains. Malheureusement, en 1835, une inondation retarde les travaux et des réparations s’ajoutent aux travaux d’origine. Une infirmerie est construite à proximité du portail d’entrée, rue de Grenade, en 1839.

En 1852, le collège est transformé en école libre pour 5 ans, mais reste soumis à la surveillance de l’administration communale. Une salle du collège doit donc être appropriée au service d’une chapelle.

A la fin du XIXe siècle, les lois Jules Ferry engendrent une réorganisation de l’enseignement à Saint-Calais. Ainsi, en 1881, l’école de garçons située rue du Dr Ollivier, est devenue trop petite. Rapidement, la municipalité fait le choix de construire une nouvelle école pour les garçons à l’emplacement du collège. Les travaux de gros œuvre sont terminés en 1898, comme l’indique la date portée sur le fronton du nouveau bâtiment. La réception définitive des travaux a toutefois lieu le 9 août 1900 en présence de l’architecte A. Raoulx.

Puis, c’est au tour de l’école maternelle et de l’école de filles de connaître une réorganisation. Le 15 février 1906, le conseil municipal décide de faire construire une nouvelle école de filles sur le terrain à côté de l’école de garçons. Les travaux sont réalisés par l’architecte départemental Joseph Durand et se terminent en 1911 (date portée). En 1936, des sanitaires et un dortoir sont aménagés dans l’école de filles selon les plans de l’architecte G. Beucher.

A partir des années 1960, les bâtiments sont rassemblés et forment le collège Jules Ferry. Pour cela, un premier agrandissement est réalisé avant 1966 par l’ajout d’un bâtiment reliant ceux de l’école de garçons et de filles et formant un retour sur la rue de l’Image. En 1970, un second dans le même style architectural, est construit en retour à l’arrière du bâtiment de l’école de garçons selon les plans des architectes Levasseur et Goussin, architectes DPLG au Mans.

L’ancienne école de filles, dont les bâtiments ne servent plus depuis quelques années, est restaurée et réaménagée en 2023-2024 afin d’y installer un internat d’excellence.