Cet hôtel de voyageurs s'est constitué à partir de plusieurs maisons, remaniées ou reconstruites par la suite. La première mention d'une auberge - portant alors le nom de La Croix Blanche - date de 1787, mais l'existence d'un tel établissement est sans doute plus ancienne, comme le laisse supposer la vente de la propriété à un aubergiste en 1773. Sous l'Ancien Régime, la propriété ressortissait du fief de Marconnay. Sur le plan cadastral de 1816, l'emprise est la même que sur les actes du XVIIIe siècle et l'hôtel porte toujours le nom d'auberge de La Croix Blanche. Sur le plan cadastral de 1845, s'ajoute une petite parcelle à l'angle des rues Emile-Zola et du Docteur-Paboeuf ; l'hôtel s'appelle alors Le Croissant. La parcelle à l'angle des rues du Croissant et du Docteur-Paboeuf (parcelle 1138 en 1845) est reconstruite en 1862 pour le propriétaire de l'auberge, Jacques Joly, qui l'a acquise à cet effet. En 1862, seules les deux travées sud, rue du Docteur-Paboeuf, ont leur silhouette actuelle ; en effet, sur une carte postale de 1911 les deux autres sont moins élevées et, par conséquent, ont été édifiées dans le même style ultérieurement. La mention de travaux en 1862, en accord avec les conclusions de l'analyse stylistique des façades et de l'escalier, permet d'estimer à cette date la reconstruction de l'hôtel par son propriétaire d'alors, Jacques Joly. Par la suite, la maison où se trouve actuellement la salle de café (parcelle 1144 en 1845) est acquise ; son sous-sol date en partie du XVe siècle. Le projet non réalisé, dressé en 1921 par l'architecte luçonnais Léon II Ballereau est peut-être contemporain de cette extension de l'emprise de l'hôtel.