Cette maison - du moins sa partie principale - a été édifiée en 1877 par l'architecte Auguste-Victor Loué (1836-1890) pour lui-même et Alphonsine Richard, qu'il épousa le 21 août 1877. Loué occupa le poste d'inspecteur des édifices diocésains en résidence à Luçon de 1864 à 1890, date de son décès. Un acte notarié atteste l'acquisition du terrain par Loué à la famille Phelipon en 1876 ; quant à la date 1877 correspondant à l'achèvement des travaux, elle est confirmée par les matrices du cadastre de 1845. En outre, sur un plan de la maison voisine dressé en 1875, l'emplacement de la demeure est désigné comme étant le terrain Phelipon, alors que sur un plan de la rue Neuve-des-Capucins en 1877, c'est la maison du Sr Loué, architecte, qui est notée. Contrairement à ce que l'on pourrait penser, les dates 1864 et 1872 portées sur les palmes et les lauriers d'une fenêtre sur rue, ne font pas allusion à la construction, mais à des médailles obtenues au Salon par l'architecte. Quant au R accompagnant une rose et un compas sur la lucarne de cette même façade, c'est l'initiale de Richard (nom de jeune-fille de Mme Loué), l'ensemble du motif ne constituant pas une allusion rosi-crucienne comme nous l'avions d'abord pensé. Une extension - la partie nord avec la tour - fut pratiquée pour le fils de l'architecte, le publicitaire Auguste Loué, vers 1900 ; on peut même supposer que ce dernier est l'auteur du projet. Par ailleurs, Auguste Loué acquit le jardin situé de l'autre côté de la rue en 1901. Le monogramme AL est visible sur le portail et la construction de la remise est attestée en 1907 par les matrices cadastrales ; en revanche, le logement de domestique figure déjà sur le plan de 1877. Enfin, le jardin contigu à la maison fut agrandi du côté nord en 1934, par l'acquisition d'un terrain.