L'hôtel de Millesouris, parfois appelé château de Millesouris, semble une construction de la seconde moitié du XVIIe siècle. Cette datation s'appuie sur l'analyse stylistique du bâtiment (porte d'entrée à ordre ionique, portes intérieures en bois, cheminée en pierre, couvrement de l'escalier) et sur le fait qu'il figure sur le plan de Luçon dressé par Claude Masse en 1704. Au XVIIIe siècle, l'hôtel appartient à la famille Mauras de Chassenon ; on ignore cependant à partir de quelle date et, par conséquent, on ne sait si cette famille est le commanditaire de la demeure. Une campagne de décor intérieur est entreprise dans les années 1770 ; en témoignent, en particulier, les stucs de deux salons du rez-de-chaussée. Sous l'Ancien Régime, l'hôtel ressortit du fief de l'évêque. A la Révolution, il appartient à Marie Charles Marc de Mauras de Chassenon, émigré, et est mis en vente comme bien national, ainsi que son mobilier. Le mobilier est vendu le 15 septembre 1797 ; on note la mention d'un poêle en faïence dans le salon, dont la niche en plein-cintre est toujours visible. L'hôtel est estimé 18000 livres le 30 décembre 1797 et est acquis pour 36100 livres, le 22 février 1798, par Louise Armande Catherine Jousseaume de la Bretèche, épouse du dernier propriétaire. En 1808, l'hôtel devient, suite à un héritage, la propriété de la famille Baudry d'Asson, qui le conserve jusqu'en 1918. Cette famille entreprend des travaux au cours de la seconde moitié du XIXe siècle, notamment la réfection de l'escalier, dont le couvrement semble toujours être celui du XVIIe siècle ; de même, la pièce sur cour au rez-de-chaussée est lambrissée et pourvue d'une cheminée en bois. En 1991, les boiseries de cette pièce ont été refaites, mais en conservant la cheminée du XIXe siècle ; à cette occasion, on a découvert l'inscription : Fait par Grollon 1791 menuisier à Luçon, attestant des travaux de menuiserie par cet artisan local au début de la Révolution. En 1923, Millesouris est offert aux Missionnaires de la Plaine par la famille Boussion, amie du fondateur de l'ordre, le père Martin. Les religieux construisent de nouveaux bâtiments et, surtout, dès 1925, édifient une chapelle placée sous le vocable de Sainte-Thérèse-de-l'Enfant-Jésus. Il est difficile de savoir à quoi correspond la date 1729, visible sur la lucarne de droite de la façade sur rue (réfection de la toiture ?).