Cette demeure est l'une des plus anciennes de Luçon et l'une des plus remarquables sur le plan stylistique. A la fin du XVIIIe siècle, elle était connue sous les noms de Vasleau du Rivage, puis de Maynard de la Claye, deux familles alliées ; en revanche, on ignore à quelles familles elle appartenait auparavant, en particulier quels sont les commanditaires des principales campagnes de construction, au XVe et au XVIIe siècle. A la Révolution, elle n'a pas été vendue comme bien national et lors de la levée du cadastre de 1816, elle appartient toujours à la famille Maynard de la Claye. Sous l'Ancien Régime, elle ressortissait du fief de l'évêque. Malgré l'absence de pièces d'archives attestant les campagnes de construction, l'analyse stylistique permet de reconstituer l'histoire de la demeure. Une première demeure en L, à l'ouest et au nord de la cour antérieure actuelle, a été édifiée au cours de la seconde moitié du XVe siècle. Elle était desservie par un escalier en vis demi-hors-oeuvre, actuellement très endommagé, placé dans l'angle des deux ailes ; quant au remarquable sous-sol voûté d'ogives, creusé sous le bâtiment ouest, il existe toujours. Ce logis était probablement pourvu d'une aile de communs du côté sud, à l'emplacement de l'aile du XVIIe siècle ; il en subsiste le sous-sol voûté en berceau brisé. Il semble que la demeure a été partiellement ruinée pendant les guerres de Religion, les parties hautes de l'escalier et des deux corps de bâtiment fortement dégradées. Ceci explique la réfection de l'ensemble et la construction de l'aile sud avec un escalier en pierre remarquable au cours de la seconde moitié du XVIIe siècle, l'hôtel présentant désormais un plan en U. Lors de cette campagne, les bâtiments anciens ont été pourvus d'une corniche identique à celle de la nouvelle aile et l'aile nord a été prolongée vers l'est. Par la suite, on note seulement la construction de dépendances artisanales (hangar et scierie mécanique du côté ouest) par Samuel Labbé, en 1867 ; dans l'hôtel proprement dit, on note des travaux de décoration sculptée par l'artiste Albert Deman, vers 1948. Selon Léon II Ballereau, la cheminée placée dans la salle-à-manger de l'hôpital, lors des travaux de la 2e moitié du XIXe siècle, provient de cette maison (voir le dossier IM85000279 sur la cheminée de l'hôpital, où la pertinence de cette provenance est analysée et attestée).