Aucun bâtiment ne figure à cet emplacement sur le cadastre napoléonien de 1836 : il s'agissait alors de prairies nommées le Point du Jour. Ce point central entre les bourgs de Montfort-le-Rotrou et de Pont-de-Gennes a été choisi par le marquis Aymard-Marie-Christian de Nicolaÿ pour y construire un nouvel hospice commun aux deux communes avec école de filles. L'hospice précédent, avec son école de filles ouverte en 1778, était effectivement établi à l'extrémité du bourg de Pont-de-Gennes en direction de La Ferté-Bernard : il est toujours visible rue des Dames. Le nouveau bâtiment est prévu pour accueillir huit lits d'hommes et huit lits de femmes. Les plans sont réalisés par l'architecte Pascal Vérité, proche de la famille de Nicolaÿ (son père avait été régisseur du château de Montfort). Quelques modifications y sont ensuite apportées par le Conseil général des bâtiment civils.

La construction est déclarée d'utilité publique par décret du 29 octobre 1877 et l'alignement à suivre est donné le 7 novembre. Les actes pour l'achat des terrains nécessaires sont passés le 13 avril 1878. Les travaux sont réalisés en 1878-1879 entièrement aux frais de M. et Mme de Nicolaÿ (250 000 à 300 000 F), lesquels se font représenter sur la façade de la cour d'honneur par les statues de leurs saints patrons, Adélaïde et Aymard. L'établissement, confié à la gestion des sœurs de la congrégation de la Charité d'Évron, ouvre le 3 décembre 1879. Les vitraux de la chapelle sont datés de 1878 tandis que la date 1879 est inscrite sur la façade avec celle de 1231, année supposée de fondation de l'hospice. Cinq sœurs y sont affectées : deux pour les malades et vieillards, assistées d'une infirmière et d'un médecin qui vient selon les besoins, trois pour l'école.

Les plans de cet ensemble très moderne pour l'époque ont été publiés en 1880 dans la revue Le Recueil d'Architecture, rubrique Architecture civile, section Édifices sanitaires. Le bâtiment fait l'objet des éloges de l'époque : "les distributions intérieures, l'appropriation et l'ameublement, l'installation des services sont des plus remarquables". Le curé de Pont-de-Gennes Alphonse Robveille écrit à son sujet au début du XXe siècle : "Deux vastes salles, dans chacune desquelles s'alignent huit lits aux blancs rideaux, une chapelle où les malades peuvent remplir leurs devoirs religieux, de belles dépendances, ont fait donner à cette maison le nom populaire de Palais des Pauvres". L'établissement vit grâce aux dons et legs mais possède aussi un important patrimoine foncier qu'il loue, maisons, fermes et terres à Pont-de-Gennes et aux alentours. Ce patrimoine sera peu à peu aliéné à la fin du XIXe siècle et au cours du XXe siècle.

Une partie des bâtiments, du côté de la rue, est réservée à l'école de filles de Pont-de-Gennes (celle de Montfort-le-Rotrou demeure en centre-bourg, place Jacques Moreau). Dans l'aile ouest, on trouve les salles de classe des filles, donnant sur une cour de récréation avec un préau aujourd'hui démoli. Dans l'aile est se trouve l'école maternelle, avec salle d'asile et préau (transformé plus tard en logement d'institutrice) donnant sur une autre cour. L'école de filles de l'hospice puis l'école maternelle, d'abord libres, seront reconnues comme communales en 1883 et 1910. Elles seront transférées au nouveau groupe scolaire en 1958.

En 1976, les ailes de part et d'autre de la chapelle sont surélevées pour aménager un étage. En 1984-1985, l'hospice devenu maison de retraite baptisée "Résidence Amicie", fait l'objet d'importants travaux d'agrandissement et de mise aux normes, selon un projet dressé par l'architecte Jean-Louis Delaroux. Le bâti ancien est conservé pour son intérêt historique et architectural, mais débarrassé de constructions parasites ajoutées progressivement de part et d'autre. Une vaste extension est réalisée pour faire passer la capacité d'accueil à soixante-sept chambres à un lit et huit chambres à deux lits. On aménage un secteur hébergement de quatre unités de vie, un secteur accueil et administration, un secteur restauration et un secteur services généraux. "La composition des bâtiments projetés ressemble à deux U renversés d'inégale hauteur dont la partie commune est la galerie de liaison entre eux. Ils sont rattachés aux bâtiments existants par jonction avec les deux branches du H et enserrent ainsi un large patio traité en jardin décoratif. Autour de ce jardin s'articulent les différents services, avec des circulations intérieures ou extérieures créant ainsi une animation permanente perceptible par la transparence des façades vitrées".

Un nouvel agrandissement est actuellement projeté et sera réalisé dans les prochaines années.