Cette maison est édifiée par la comtesse Céline de Chertemps de Seuil, châtelaine de Semur, pour qu'y soit tenue une école libre de filles pauvres par des sœurs de la congrégation de la Providence de Sées. Un bâtiment figure déjà sur cette parcelle sur le plan cadastral napoléonien de 1831 : les matrices cadastrales indiquent sa démolition et la construction de la maison actuelle pour l’année 1837. Cette date peut être avancée de quelques années si l'on prend en considération un délai d'enregistrement d'environ trois ans. Les sœurs de Sées sont d'ailleurs mentionnées à Semur dès 1836 dans les comptes de la fabrique. Plusieurs noms de directrices, les sœurs Moul, Hervieux, Lemmonier, Vavasseur, Lebreton, Leguedey et Jouvenal, nous sont connus par les archives. Dans son testament de 1856, la comtesse lègue la maison ainsi qu’une somme de 12 000 F à la congrégation et à la commune pour qu’y soient entretenues à perpétuité deux sœurs donnant la classe aux filles. Cette donation est confirmée par un décret impérial en 1868, auquel s’oppose le duc d’Aumont, neveu et héritier de la comtesse de Seuil, et dont le pourvoi devant le Conseil d’État est débouté en 1870.

A partir de 1881, la municipalité devant se doter d’une école publique de filles, une maison est temporairement louée pour l’enseignement des filles (actuellement 3 rue des Écoles) en attendant la construction du groupe scolaire. Dès lors, deux écoles de filles sont en concurrence à Semur : l’école libre est encore active dans les années 1900 et compte 35 à 40 enfants, mais elle disparaît vraisemblablement suite à la loi de séparation des Églises et de l’État de 1905.