Cette demeure est connue sous le nom de Gourdeau du Plessis, du nom de la famille qui la possédait à la Révolution. On peut estimer la construction de la demeure au milieu ou cours de la seconde moitié du XVIIIe siècle, par le style des façades et par celui d'une cheminée en pierre, peinte faux marbre, à l'étage. A la Révolution, l'hôtel est vendu comme bien national provenant des mineurs Gourdeau, émigrés ; il est acquis le 19 février 1798 par l'ingénieur Louis Emmanuel Champion de la Bretonnière. La vente inclut les écuries, séparées de l'hôtel proprement dit, qui se trouvaient au sud de l'hôtel Rorthais de Marmande, au n° 8 de la rue. En 1816, date du premier cadastre, l'hôtel appartient à la famille Poictevin de la Rochette et, lors de la levée du cadastre de 1845, à la famille de Chasteigner. Vers la fin du XIXe siècle, la demeure a été divisée, ce qui a nécessité la construction d'une porte sur rue et d'un escalier en charpente pour chaque nouvelle maison, c'est-à-dire au n° 2 et au n° 4. Enfin, une pierre portant une inscription latine a été remployée, posée à l'envers, au sous-sol du n° 2.