La première maison de charité de Bessé-sur-Braye est fondée par un contrat du 14 avril 1679 par les seigneurs de Courtanvaux et de Bessé, Anne de Souvré et François-Michel Le Tellier, marquis de Louvois, ministre de la guerre de Louis XIV. L'institution, ouverte en 1681 et tenue par des sœurs lazaristes de La Chapelle-au-Riboul, porte secours aux malades indigents et tient une école pour filles. Elle occupe alors une maison "assez vaste" de la rue de la Fontaine (actuellement rue du Docteur Ferrien) attenante à celle dite du Bec de Lièvre qui en est une dépendance. A la Révolution, l'établissement devient communal et loué au curé et à l'instituteur, les sœurs s'étant enfuies à Vendôme. Selon le souhait de la municipalité et avec l'accord de la supérieure, il est rétabli en 1801, car "très utile et nécessaire au soulagement de l'humanité souffrante et pour l'éducation des filles". A partir de 1803, la congrégation de La Chapelle-au-Riboul s'installe à l'abbaye d'Évron qui lui donne son nom. En 1807, un état des biens communaux indique que la maison de charité est occupée par trois sœurs qui "font l'école aux filles et vont gouverner les pauvres malades". Une partie des bâtiments menace ruine ; "on y voit une belle apothicairerie [dont une] grande partie des vases sont vides".

En 1824, le comte Élisabeth-Pierre de Montesquiou et son épouse Louis-Françoise-Charlotte Le Tellier de Montmirail achètent à la veuve Pothée-Nibellerie "un grand corps avec cours jardins et dépendances" de la rue de Courtanvaux (actuellement rue Pasteur) pour y transférer l'institution. L'origine de la propriété n'est pas connue : mais il s'agit vraisemblablement d'une grande demeure de la 2e moitié du XVIIIe siècle. Il pourrait tout à fait s'agir de la maison de maître du fabricant de toile Froger de la Borde, seule de ce type signalée dans cette rue dans un recensement des biens-fonds de la paroisse en 1786. Cette hypothèse semble confirmée par une photographie des bâtiments prise avant les rénovations de la 2e moitié du XXe siècle : la façade du bâtiment central, à cinq travées, est pourvue de grandes baies en arc segmentaire encadrées de briques, d'une porte à deux vantaux et à imposte, et surtout de trois lucarnes moulurées en bois dont la facture accuse la 2e moitié du XVIIIe siècle.

Érigé en hospice civil par une ordonnance royale du 11 juin 1826, le nouvel établissement est administré par une commission de cinq membres. En 1832, il est complété par l'adjonction de trois petites maisons attenantes formant une aile en retour du corps principal. Il se voit doté de quatre lits pour vieillards (deux pour les hommes, deux pour les femmes répartis dans deux pièces différentes) et d'une rente annuelle. Deux lits supplémentaires, portant leur nombre à six, sont fondés en 1839 par les dispositions testamentaires du comte et de la comtesse de Montesquiou. En parallèle, l'acte de fondation prévoit que les sœurs d'Évron continueront à assurer l'école aux jeunes filles et aux petits enfants de la commune. A ce titre, celles-ci reçoivent une subvention municipale à partir de 1830. L'institution s'enrichit de divers legs et donations et constitue un patrimoine foncier qui permet de subvenir au besoin des malades et des sœurs. Un lavoir est construit en 1842 et une partie du bâtiment principal est surélevée en 1843 pour créer une chambre pour un blessé.

Au milieu du XIXe siècle, le développement de l'école de filles est tel qu'elle occupe tout le rez-de-chaussée des bâtiments. D'après un plan de 1854, les bâtiments s'organisent en U autour d'une cour rectangulaire. Une carte postale du début du XXe siècle figure un portail couvert flanqué d'une porte piétonne surmontée d'une niche abritant une statue de la Vierge. Le corps principal à un étage carré, en fond de cour, est desservi par trois escaliers dont un escalier principal au centre. Celui-ci départage, à droite, une classe et l'asile (école maternelle) et à gauche le réfectoire, les chambres des sœurs et une petite chapelle. L'aile en retour à gauche abrite la cuisine, la buanderie et le four, ainsi que deux autres classes. L'étage abrite des chambres et les deux salles réservées aux vieillards, que l'on réaménage pour des raisons de commodité dans l'aile à droite de la cour en 1855 (reconvertie en préau en 1880). Un pensionnat pour les élèves est établi en 1857, puis une nouvelle salle d'asile en 1863. L'ancienne salle de classe à gauche du portail est alors transformée en chapelle à l'initiative du comte Odon de Montesquiou. Une carte postale ancienne montre qu'une petite flèche était érigée au sommet de la toiture du bâtiment principal.

Suite aux lois scolaires de Jules Ferry, au début des années 1880, l'école des sœurs devient communale tout en étant tenue par les religieuses. Cette situation est jugée insatisfaisante par la municipalité, aussi la construction d'une école de fille et d'une école maternelle communales sera-t-elle menée à bien en 1910. L'école des sœurs ayant par la suite fermé ses portes, la famille de Montesquiou lance en 1912 une action en révocation visant à la liquidation de la fondation de 1826 dont une des clauses n'est plus assurée. Celle-ci se solde en 1922 par le remboursement d'une somme de 12 000 F par l'administration de l'hospice, qui se sépare ainsi définitivement de ses fondateurs. Au XXe siècle, plusieurs campagnes de modernisation ont considérablement modifié les bâtiments, en 1933 puis en 1956 (aménagement d'un réfectoire), l'hospice devenant alors maison de retraite. L'ensemble étant trop petit, son agrandissement est prévu au plan d'urbanisme directeur de 1966. De nouveaux travaux de réaménagement et la construction d'une grande aile à trois niveaux et 26 chambres individuelles sont réalisés vers 1968. Entre 1999 et 2001, l'établissement fait l'objet d'une nouvelle restructuration et une nouvelle aile est ajoutée du côté de la rue, tandis que les façades du corps de bâtiment ancien sont refaites. Depuis 2006, la maison de retraite est devenue E.H.P.A.D. (Établissement d'Hébergement pour Personnes Âgées Dépendantes) avec une capacité d'accueil de 71 lits.