Cet hôtel se compose de deux parties distinctes. Les bâtiments rue du Pont-Gentilz datent essentiellement du troisième quart du XVIIIe siècle ; toutefois, ils conservent des éléments de la 2e moitié du XVe siècle et l'on note une réfection intérieure au cours du deuxième quart du XIXe siècle. Quant à la partie rue du Port, sa construction est attestée en 1841. On ignore tout de la demeure du XVe siècle, qui devait être importante vu les éléments qui sont toujours visibles. A l'extérieur, on n'en perçoit qu'une petite ouverture en accolade éclairant l'escalier actuel, sans doute au même emplacement que celui d'origine, que l'on suppose en vis. A l'intérieur, subsistent plusieurs baies fortement ébrasées (réduites en largeur ultérieurement) dans la pièce la plus au nord du vestibule, ainsi qu'une partie du sous-sol, dont un piédroit mouluré à l'entrée du caveau situé au bas de l'escalier de descente. Les campagnes du XVIIIe et du XIXe siècles sont mieux connues et peuvent être attribuées à l'initiative de familles ou de personnages importants. Il s'agit tout d'abord de la famille de Loynes de la Coudraye, dont deux marquis successifs furent propriétaires de la demeure, de 1751 à 1782 ; on serait tenté d'attribuer à l'un d'eux - plutôt au premier, décédé en 1769 - le remaniement et l'agrandissement de l'hôtel proprement dit, rue du Pont-Gentilz. De cette campagne datent la reprise de la façade et des baies, la construction de la tour, la cheminée et le potager de la pièce proche de la tour et la grande salle du sous-sol (du moins sa voûte en berceau surbaissé), accessible directement de l'extérieur par un passage, apparemment plus ancien, situé sous la tour. L'autre commanditaire est bien connu ; il s'agit de Bonaventure Aimé Benjamin de Maynard, maire de Luçon de 1826 à 1828, qui acquiert la demeure en 1819. Par les documents cadastraux, on sait qu'en 1844 il est imposé pour une nouvelle construction, ce qui donne l'année 1841 pour l'achèvement des travaux ; vu leur style, il s'agit des bâtiments distribués autour d'une cour antérieure, rue du Port - plus précisément la construction des deux ailes et de la façade du bâtiment principal, ainsi que la réfection intérieure de celui-ci avec, notamment, un nouvel escalier en bois assez simple et des éléments raffinés, comme une cheminée à décor en albâtre et une niche abritant un poêle en faïence. Sous l'Ancien Régime, la demeure ressortissait du fief de la Coudraye. A la Révolution, elle n'a pas été vendue comme bien national ; elle appartenait alors à Claude René Avron, secrétaire de Mgr de Mercy et subdélégué de l'intendant. Au XXe siècle, la demeure a appartenu à la famille de l'Espinay, apparentée à la famille de Maynard. Des photographies et un tableau montrent un curieux aménagement du début du siècle : une construction en quart de cercle surmontée d'une tourelle, à l'angle de la tour et du bâtiment principal. Au cours de la seconde moitié du siècle, l'abbé de l'Espinay a détruit ces adjonctions, seulement perceptibles aujourd'hui par la présence d'ouvertures bouchées. Plus récemment, les bâtiments de communs longeant la rue du Pont-Gentilz (buanderie, écurie et remise) ont été détruits et le portail refait. Notons enfin que l'aspect de la partie supérieure du bâtiment du XVIIIe siècle (absence de corniche etc) laisse penser qu'à l'origine il était légèrement plus élevé.