Des bâtiments, dont il ne reste rien, figurent à cet emplacement sur le plan napoléonien de 1829. Selon les matrices cadastrales, la maison aurait été édifiée en 1863 (enregistrement en 1866), puis augmentée en 1876 (enregistrement en 1879) par une certaine Aveline Pralon. La façade de la maison et les communs à l'arrière peuvent être datés de la 2e moitié du XIXe siècle. Un colonel de l'armée française, d'origine angevine, Mathieu Butet (1806-1892), y aurait résidé à la fin de sa vie.

La congrégation des Sœurs Franciscaines Servantes de Marie naît dans les années 1850 à Blois, où se trouve la maison-mère, à l'initiative de Marie-Virginie Vaslin (1820-1873), jeune fille modeste ayant passé son enfance à Vancé, commune limitrophe de Bessé-sur-Braye. Son projet était de recueillir et placer les jeunes filles sans travail, leur apprendre un métier et leur offrir un asile pour leur fin de vie lorsque ces personnes se trouvent sans famille. Peu à peu, la congrégation développe un réseau de maisons de retraite à tarifs peu élevés. Elles sont ainsi appelées par le curé de Bessé Mézière, à l'origine de la reconstruction de l'église, qui connaissait et admirait leur établissement voisin de La Chapelle-Gaugain fondé en 1879. Les sœurs arrivent dans la commune le 23 décembre 1885 et s'installent dans cette maison, grâce au soutien financier du curé, de Marie Bibesco, comtesse de Montesquiou et châtelaine de Courtanvaux, et de nombreux paroissiens. La chapelle est probablement construite dans le 4e quart du XIXe siècle. Les sœurs portent secours aux malades et infirmes, et leur établissement doit accueillir "ceux chez qui la vieillesse ou la maladie nécessitent des soins de tous les instants qu'on ne peut trouver toujours dans les familles". On notera que l'établissement n'est autorisé par la municipalité de Bessé qu'en 1901.

En 1962, la supérieure Odette Louvel fait construire une importante aile à droite de la maison, correspondant à un dispensaire et à des chambres. Les plans sont fournis par l'architecte Jacques Fouquet, de Château-du-Loir, qui a également travaillé à l'extension de la maison des sœurs à La Chapelle-Gaugain. A la même époque, la chapelle est divisée par un plancher et convertie en chambres supplémentaires.

Après plus d'un siècle à Bessé, les sœurs quittent la commune en 2002. L'établissement passe ensuite sous la gestion de la maison de retraite de La Chapelle-Gaugain, administrée par l'association ANAIS (Association Nationale d'Action et d'Insertion Sociale) depuis le départ des sœurs en 1994. Devenus inadaptés à leur fonction, faute d'ascenseur notamment, un projet de réhabilitation est étudié pour les bâtiments. Préconisant une construction neuve qui ne pourra être réalisée, le projet est refusé par la DDAS et le conseil général. Un établissement neuf est finalement construit, non à Bessé mais à La Chapelle Gaugain où les pensionnaires déménagent dans les années 2010. Les bâtiments sont depuis lors désaffectés.