A la mort de Mme Claire Boutet, riche propriétaire de Pornic, le terrain sur lequel est construite la maison est légué à M. Damourette qui le vend, en octobre 1862, au comte Etienne de Cambacérès et à son épouse Adèle Davoust d'Eckmulh. Ces derniers font construire la villa Daisy. En 1870, Emile Thuau, négociant à Angers, en devient le nouveau propriétaire. En 1893, la villa est vendue aux demoiselles Besnier, Louise, Valérie et Cécile, qui la renomme Villa L'Amitié. En 1896, la maison est rachetée par Martial Caillebotte, frère du peintre, qui la rebaptise Villa Caillebotte et y apporte des transformations : les matrices cadastrales mentionnent de nouvelles constructions dans les premières années du XXe siècle ; peut-être s'agit-il de la surélévation de la partie centrale. Pendant la Seconde Guerre mondiale, une cinquantaine de toiles sont cachées dans la maison du gardien construite de l'autre côté de la route. Depuis elles ont réintégré leur ancienne place et beaucoup ont été achetées par la Fondation Wildenstein à New York.