Cet édifice est construit à l'angle de la place des Diligences (au nord de ce bâtiment) et de la ruelle des Trois-Pigeons (à l'ouest) qui prit son nom de celui de cet ancien hôtel.

Il est séparé du coteau par une petite arrière-parcelle, en partie bâtie, où, antérieurement à 1892, s'élevait un corps secondaire qui accueillait les espaces fonctionnels de l'ancien hôtel : buanderie (avec puits intérieur), bûcher, cuisine et grenier. Au sud, cette annexe de l'hôtel était adossée en rez-de-chaussée à une banquette rocheuses, percée d'anciens aménagements troglodytiques (deux caves et un pressoir) et elle-même surmontée d'une petite parcelle qui accueillait une étroite cour où en partie orientale était érigé, entre l'annexe de l'hôtel et le soutènement du coteau, un petit bâtiment comprenant des latrines et une petite écurie. Cette cour et ce dernier bâtiments étaient accessibles par l'escalier de la ruelle des Trois-Pigeons, mais aussi directement depuis le premier étage-carré de l'hôtel lui même, au moyen d'un corridor aménagé en partie ouest de la cuisine située à l'étage de l'annexe. De ces éléments secondaires en partie postérieure de l'hôtel, disparus et auxquels d'autres structures ont été substituées, ne subsistent que des traces de reprises des maçonneries.

Le corps principal de l'ancien hôtel est composé d'un rez-de-chaussée, de deux étages-carrés et d'un comble à surcroît, couvert d'un toit d'ardoises à longs pans et à croupes.

Témoin de l'émergence de principes d'urbanisme, à défaut de plus stricts règlements qui n'apparaissent à Montsoreau qu'à partir du XIXe siècle, l'adoucissement de l'angle, à l'intersection des voies, est à noter : il est arrondi et souligné de part et d'autre par des chaines à bossages en table.

La façade principale et les façades latérales sont construites en moyen appareil de tuffeau. Encadrée de chaînes à bossages en table, la façade principale présente trois travées ordonnancées sur rue, dont la travée axiale accueille en rez-de-chaussée la porte d'entrée. Chaque travée est amortie d'une lucarne, à baie en arc segmentaire et couverte d'une corniche curviligne à volutes latérales. Les baies sont encadrées d'un chambranle saillant. L'ensemble de ces éléments confère une rythmique verticale à la façade, à laquelle répond la scansion horizontale des bandeaux d'allège et de l'entablement qui couronne l'élévation.

Percée de seulement quatre baies sans mise en valeur particulière, la façade latérale est bien plus sobre : passée la chaîne de l'angle nord, elle n'est animée que de bandeaux peu saillants et de la corniche et la chaîne sud ne forme qu'un simple ressaut.

La façade postérieure, contre laquelle s'élevait à l'origine un corps annexe, est en moellons de tuffeau ; le petit flanquement de béton qui monte de fond au centre de cette façade est en béton et couvert d'un toit d'ardoise à noues et à croupe.

Malgré plusieurs transformations, ce bâtiment conserve assez largement les éléments de sa distribution originelle, par ailleurs documentée par des plans du XIXe siècle). Du rez-de-chaussée au deuxième étage-carré, un couloir occupe la travée centrale et dessert les pièces des travées latérales, ouvrant autrefois aussi sur le corps secondaire au sud ; au premier étage-carré, dans la configuration antérieure à 1892, le couloir bifurquait et se prolongeait en partie postérieure pour mener également à la cour, aux latrines et aux écuries par le flanquement secondaire. La distribution verticale est assurée jusqu'au grenier par un escalier tournant à jour en charpente, qui occupe l'angle sud-est du corps principal.

Des bureaux couverts d'un toit terrasse occupent aujourd'hui de ce qui fut le rez-de-chaussée (buanderie) de l'annexe de l'hôtel, puis une cour intérieure. Enfin, sur la banquette rocheuse du fond de parcelle se trouve un petit appentis annexe adossé au soutènement du coteau.