La maison est construite à l'alignement de l'actuelle rue Robert d'Arbrissel. Aujourd'hui divisée en deux habitations, elle formait à l'origine un bâtiment imposant de structure double qui abritait la demeure et ses dépendances, mais sans doute aussi une partie des locaux de l'entreprise de fabrication de boutons de Claude Péramy.

L'édifice est construit en moyen appareil de tuffeau, sur solin de calcaire dur, les assises étant continues entre les deux moitiés est et ouest du bâtiments. À l'étage-carré, les baies sont encadrées d'un chambranle à crossettes. Une corniche à denticules règne sur l'élévation sur rue. Le comble à surcroît prend le jour au nord, côté rue, par des lucarnes couvertes d'une corniche segmentaire ; côté sud, le comble est simplement doté d'une porte haute, à l'extrémité ouest de l'édifice. Le toit, à longs pans, est couvert d'ardoises.

Chaque moitié de l'édifice, formant ainsi une maison à part entière, se compose, sur rue, de trois travées, dont celle située à l'ouest, plus large, accueille au rez-de-chaussée un passage couvert menant de la rue à l'arrière-parcelle. Le corps ouest, diffère légèrement dans la mesure où la travée comportant le passage couvert compte à l'étage-carré deux fenêtres séparées d'un étroit trumeau. L'entrée de chaque maison se faisait par une porte située dans le mur oriental des passages couverts.

Sur rue, la façade est relativement homogène, mais au sud, sur cour ou jardin, les deux corps s'opposent nettement : dans le corps est, le traitement du mur est aussi sobre qu'en façade principale ; dans le corps ouest, par contre, la façade porte une ornementation remarquable. En effet, si le rez-de-chaussée est à l'image du reste du bâtiment, le décor du premier étage détonne. Il est en effet souligné d'un bandeau de niveau traité en corniche et les trumeaux des murs sont réduits pour laisser place à de plus larges baies, encadrées de colonnes engagées cannelées à arêtes vives et rudenture. Purement ornementales, ces colonnes montent du bandeau de niveau jusqu'à la plate-bande qui couvre les baies et leur chapiteau toscan ne supporte rien. Les allèges de ces baies sont ornées d'une table affleurée octogonale. L'inspiration de telles colonnes est peut-être à chercher dans celles, très proches, qui encadrent la porte de la galerie principale des Grandes infirmeries, dans la cour Saint-Benoît de l'abbaye de Fontevraud, encore qu'à cette date, l'accès y était très limité, du fait de ce que l'on était là au cœur de la maison centrale de détention.

Cette nette distinction entre les moitiés ouest et est de l'édifice s'explique sans doute du fait de ce que la partie occidentale devait abriter le logis principal de Claude Péramy, alors que la partie orientale était peut-être davantage liée à son activité industrielle ou de stockage, voire destinée à des logements secondaires.

Depuis, des dépendances ont été édifiées dans la cour, perpendiculairement à la maison.

L'édifice est doté de caves qui, construites sans doute entre les années 1830 et 1860, sont antérieures aux aménagements dus à Claude Péramy, et relèvent du bâti qui préexistait. À l'est, la cave est constituée de deux salles parallèles d'axe nord-sud et disposait d'une entrée côté cour ; à l'ouest, la cave n'est formée que d'une seule salle, avec accès par une porte basse sur rue.

Cet édifice connut quelques remaniements au XXe siècle : l'encadrement du passage sur rue de la maison est a été repris ; le passage de la maison ouest a été fermé pour accueillir une salle de restaurant et les accès ont été transformé en baies (large porte sur cour et porte d'entrée encadrée de deux fenêtres sur rue).