Cet ensemble occupe la partie nord-ouest de l'ancienne basse-cour du château fort de Montsoreau. Il se greffe là contre le coteau d'une terrasse calcaire qui domine le fleuve et en bordait directement les eaux avant la construction de la route de Loire. La rive du fleuve était ici élargie à l'est de cet édifice et formait un espace d'environ 1000 m2, au débouché des douves du château, ce qui devait constituer un petit port d'échouage seigneurial sans doute en lien avec le péage de Loire qui se prélevait à l'aplomb du château. Surplombant cette cour basse, un mur de soutènement conforte le coteau au sud, dans le prolongement de l'ancien mur de contrescarpe des douves.

Cet édifice présente un plan en U autour de la banquette rocheuse, avec de hautes façades extérieures dont la partie basse constitue les fondations ou le soubassement d'un rez-de-chaussée accessible de plain-pied depuis la terrasse qui forme une vaste cour intérieure. Celle-ci était autrefois enclose dans la basse-cour, mais une grande part forme aujourd'hui la cour de récréation de l'école primaire qui ouvre désormais sur la place des Diligences. Tous les corps de bâtiment qui le composent sont en moyen appareil de tuffeau, avec toits à longs pans d'ardoises.

S'il fut vraisemblablement élevé en un projet d'ensemble, cet édifice procède de deux campagnes de construction, vraisemblablement rapprochées et se compose de deux éléments clairement différents, la partie occidentale venant se greffer sur la partie orientale.

1. Le corps est

À l'est, un premier bâtiment de grande taille, d'axe nord-sud, fut élevé contre le coteau, assurant par son élévation une liaison entre les berges de la Loire et le haut de la terrasse de la basse-cour. Il est aujourd'hui près d'un tiers moins long qu'à l'origine, ayant été partiellement démoli au début du XXe siècle : le pignon sud actuel n'existait pas et le bâtiment se prolongeait jusqu'aux vestiges de l'ancien pignon qui est accolé au coteau. De même, il semble que le pan du gouttereau ouest qui est visible vers la route de Loire a été presque entièrement reconstruit : les reprises de maçonnerie font nettement penser à la suppression d'un contrefort qui épaulait l'angle nord-ouest de la maison et qui aurait occasionné la réfection de ce gouttereau ouest, avec retouche grossière de l'angle en pan coupé. Il est possible que l'angle nord-est de la maison ait connu le même sort (on y voit une importante lézarde et on devine quelques changements de blocs), mais le mur aurait ici tenu bon. De telles interventions sont certainement à mettre en lien avec la construction de la route de Loire, vers 1829-1833, dont le tracé devait nécessiter leur destruction.

Si ce corps de bâtiment est aujourd'hui très remanié, sa structure originelle reste très lisible et il conserve des éléments qui permettent d'en restituer les espaces originels. Il se compose d'un sous-sol, d'un étage de soubassement, d'un rez-de-chaussée surélevé et d'un comble. Le sous-sol partiellement souterrain est de faible hauteur et peut avoir été partiellement remblayé. L'étage de soubassement est légèrement surélevé par ce sous-sol, sans doute pour échapper aux inondations. Il était initialement formé, sans doute, d'une unique salle (on ne discerne la trace d'aucun refends ancien), très vaste (près de 20x10 m) et équipée d'une cheminée sur chaque pignon. Ces cheminées à hotte pyramidale relèvent d'une typologie courante dans la seconde moitié du XVe siècle. Cette salle ouvrait en façade orientale seulement, en direction de la cour basse près des douves, où étaient percé cinq baies, dont une porte ; les baies basses du pignon nord sont des percements du début du XXe siècle. Toutes ces baies ont été détruites ou remaniées et il ne reste les vestiges que de trois fenêtres, à l'intérieur : il s'agit de baies peu larges, à forte embrasure et couvertes intérieurement d'un arc segmentaire. La fonction d'une telle salle n'est pas claire. Elle pourrait initialement avoir été en relation avec le péage des seigneurs de Montsoreau, permettant l'accueil des nautes ou le stationnement des officiers péagers. Divisée au moyen de cloisons légères, elle pourrait aussi avoir abrité des espaces habités. C'est peut-être à cet étage que fut logé le sénéchal, juge seigneurial, probablement lors d'une réaffectation de ces espaces.

Au-dessus, le rez-de-chaussée surélevé ouvrait sur la terrasse sud par une porte, percée dans le pignon sud et accessible par un petit degré. Dans le gouttereau ouest, une autre porte (aujourd'hui murée et visible dans la partie tronquée de l'élévation), peut-être plus tardive, donnait de plain-pied sur la terrasse ouest de la basse-cour.

Cet rez-de-chaussée surélevé prenait le jour par deux étroites fenêtres dans le pignon nord (aujourd'hui remaniées) et le gouttereau est n'était percé que d'une baie centrale qui était peut-être une porte haute (disparue, mais dont le tableau forme un coup de sabre dans le mur actuel, au niveau de la reprise de maçonnerie du nouveau pignon) et d'une petite fenêtre située près de la tourelle d'escalier (détruite, mais dont les vestiges d'arrachement sont visibles) ; l'actuelle baie du gouttereau date du XXe siècle. Ce rez-de-chaussée surélevé ne disposait d'aucune cheminée et n'était pas chauffé à l'origine, mais une cheminée et un four à pain furent aménagés, sans doute au XVIIe siècle, en partie sud du gouttereau ouest (le four était ainsi construit dans la cour voisine). Le comble était éclairé d'une unique baie (murée depuis) dans le pignon nord à l'est du conduit de cheminée et d'une lucarne centrale en façade orientale (la vue de la collection en montre deux, mais ce dessin est faux quant à la disposition de plusieurs des baies de ce gouttereau). Ce rez-de-chaussée surélevé et ce comble, faiblement éclairés, eux aussi dépourvus de division intérieure et offrant donc chacun une surface de près de 200 m2 d'un seul tenant, correspondent certainement aux « greniers » servant d'entrepôt pour le château de Jeanne Chabot et devenu « grand grenier et magasins dits le salage » à la fin de l'Ancien Régime. Il est à noter que dans son état originel, le pignon était découvert et plus haut (ce que l'on perçoit à l'examen des vestiges du pignon sud). La charpente fut reprise, peut-être au XVIIe siècle, avec un profil moins aigu : lors des travaux du début du XXe siècle, il fut visiblement décidé d'abattre le haut du pignon et de le couvrir en prolongeant la charpente par un léger débord.

La distribution verticale entre ces espaces se faisait par la tourelle polygonale hors-œuvre, qui abrite un escalier en vis en maçonnerie. En partie basse, on n'y entrait que depuis la salle du soubassement. Là, la volée permettait de descendre pour desservir une cave creusée au sud sous le coteau, ou de monter aux étages supérieurs L'actuelle porte basse avec accès depuis le jardin bas résulte d'un percement contemporain. Plus haut, deux petites fenêtres à coussiège, à encadrement chanfreiné, donnent jour au développement de l'escalier, qui dessert le rez-de-chaussée surélevé. Au sommet de la tourelle, marquée d'un renflement sur encorbellement, une porte couverte d'un linteau à chanfrein en accolade donne accès à la terrasse sud. Cette porte, ainsi que celle qui ouvre depuis le rez-de-chaussée surélevé, sont aujourd'hui visibles sous l'appentis qui, sur la terrasse de la basse-cour, flanque l'ancien pignon sud.

2. Les ailes ouest

À l'ouest, les deux ailes perpendiculaires liées par un corps angulaire à 45° sont dépourvues d'étage en partie basse : le haut mur maçonné, épaulé de puissants contreforts, ne forme qu'un massif de fondation qui supporte le rez-de-chaussée.

Ces longues ailes en rez-de-chaussée accessibles depuis la terrasse de la basse-cour ont été très retouchées en façade sur cour au XIXe siècle (avec réalisation notamment d'un décor néoclassique de corniche et pilastres) et leur organisation intérieure fut sans doute reprise, mais il se pourrait que la distribution originelle n'était pas si éloignée que celle de l'actuelle école, avec une série de grandes salles en enfilade ouvertes sur cour par des portes et des baies, séparées de refends percés vraisemblablement de portes permettant un accès entre elles.

Les façades extérieures, sur Loire et à l'ouest, ont été bien plus préservées et voient alterner de grandes baies géminées à meneau et mouluration prismatique (remaniées et restaurées) et les conduits de larges cheminées (disparues ou remaniées). Cette disposition originelle fut longtemps encore en place : on la retrouve figurée sur la vue de la collection de Gaignières (limitée à la façade sur Loire) et on la discerne encore sur le plan de ces ailes que dresse en 1877 Francisque Masson (alors architecte de la Maison centrale de détention de Fontevraud) lorsque la commune de Montsoreau en fait l'acquisition pour établir l'école.

Une petite structure est construite en surplomb dans l'angle de l'aile nord et du corps à 45° : les consoles moulurées à linteaux sculptés d'accolades trilobées qui le portent (très semblables à celles des mâchicoulis du château fort) lui confère une allure de bretèche, mais il semble bien plutôt s'agir de latrines. À l'opposé, du côté de la façade ouest, on note aussi un petit ressaut en encorbellement dans l'angle : il s'agit ici de la cage polygonale partiellement hors-œuvre d'un escalier en vis en maçonnerie, qui permet d'accéder aux combles. Le corps angulaire repose sur un fort massif quadrangulaire au-dessus duquel est élevé une structure en encorbellement continu sur ses trois façades qui abrite une petite pièce à cheminée. Les baies de cette salle ont été remaniées, mais sont attestées par une vue de la collection de François-Roger de Gaignières, dressée en 1699. Au-dessus de cette salle se trouvait également un comble habitable : une lucarne figure sur la vue de 1699 et en 1877 est décrit ici une chambre « en mansarde ». Le pignon de ce corps à 45° porte les conduits des cheminées de ces deux salles, qui ne sont pas à l'aplomb l'une de l'autre et dont celle du bas est hors-œuvre, sur encorbellement. Le corps angulaire occupe ainsi une position notable dans l'articulation physique et fonctionnelle de ces espaces. Les combles des deux ailes semblent n'avoir servi que de lieu de stockage et, hormis l'étroit escalier en vis, ils pourraient avoir été accessibles par des portes hautes en façade sur cour, à la manière des lucarnes (du XIXe siècle) que l'on y voit aujourd'hui. Il est à noter que la partie haute de l'aile nord a été très remaniée, avec ajout de quelques assises pour constituer un surcroît et réfection de la charpente, alors que l'aile ouest, malgré des reprises, a conservé son volume.

L'ensemble peut donc être lu comme deux longues ailes servant à loger un certain nombre de personnes au service du seigneur. La petite pièce du corps angulaire offrirait alors un espace plus intime à un officier supérieur, voire deux, le second habitant le comble.

Le long de la cour, à l'est, une aile en appentis en retour d'équerre, adossée à la partie orientale de cet ensemble, fut très remaniée et sert aujourd'hui de préau ; elle était toutefois décrite comme « hangar et écurie » en 1877 et il est vraisemblable que l'on puisse y voir un corps de bâtiment substitué aux « estables à chevaulx » de Jeanne Chabot.

La distribution verticale est assurée par une tourelle hors-œuvre abritant un escalier en vis en maçonnerie de tuffeau, qui flanque la partie centrale du gouttereau ouest et à laquelle on accédait originellement au rez-de-chaussée depuis la cour. Cette tourelle (qui s'appuie sur la fenêtre de la salle sud du rez-de-chaussée) date d'un remaniement de la maison survenu sans doute au cours du XVIe ou au début du XVIIe siècle et l'on ne connaît pas la nature de l'escalier contemporain des travaux du XVe siècle. Au-dessus de la porte sur laquelle ouvre la tourelle à l'étage-carré se trouve un larmier orné de motifs animaliers (chiens ou fauves ?), décor qui témoigne du prestige de la salle dans laquelle on pénètre alors. Toutefois, la présence d'un larmier pourrait aussi indiquer que la porte était initialement accessible par un escalier extérieur non couvert. L'étage-carré fut plusieurs fois cloisonné et l'on n'en connaît pas la disposition du XVe siècle. La partie nord manque de lisibilité de nos jours et la baie qui perce le pignon, est un pastiche de style XVe siècle qui remplace une baie remaniée à l'époque moderne laquelle devait succéder à une assez large croisée d'époque non déterminée. Au sud, la grande salle prend le jour par deux grandes baies (restaurées, voire remaniée à l'est), l'une dans chaque gouttereau. À l'ouest, une petite niche près de la fenêtre accueillait une pierre d'évier dont l'évacuation reste visible sur cour, près du coteau. Cette salle conserve une longue poutre longitudinale ornée de peintures à motifs de losanges rouges et blancs (?), qui peuvent être purement décoratifs, mais peuvent aussi relever d'un décor héraldique ; dans ce dernier cas, ce décor (losangé d'argent et de gueules) est trop courant pour reconnaître la maison féodale ou l'une de ses branches cadettes qui porteraient ces armes (Turpin de Crissé, Craon, etc. ?). Contre le mur postérieur de cette salle, enfin, une cheminée monumentale présente un remarquable ensemble ornemental caractéristique des années 1520-1540. Le manteau est orné de motifs de la première Renaissance, à disques et losanges chargés de fleurons et la hotte d'un décor héraldique. Celui-ci se compose d'armes masculines (écu, à gauche) et féminines (losange, à droite) entourées de couronnes de rubans et rinceaux que séparent les initiales de ce qui devait être les prénoms du couple des possesseurs de ce logis : F et R. Les armes ne sont pas identifiées et les commanditaires demeurent inconnus. L'écu est composé d'un champ à la fasce chargée de cinq croisettes recroisetées au pied fiché accompagnée de trois têtes d'oiseau arrachées et en chef d'un croissant. Le losange est parti en 1 du même et en 2 d'un champ à une fasce crénelée et abaissée, accompagnée en chef d'une tête (de Maure ?), une étoile à huit rais brochante. Ce décor est couronné d'une devise, elle aussi non identifiée, en lettres majuscules : « Bien est seant quy a bon lustre » dont les mots sont séparés de petits « s » inversés. La hotte présente une découpe d'angle pour contourner la longue poutre ornée, signe de ce que la cheminée est postérieure au grand chantier de transformations de la demeure. Ce déséquilibre dans le décor est compensé en une composition qui décentre le regard par le truchement du petit griffon placé sous la poutre.

Le flanquement nord-ouest est un ajout du deuxième quart du XIXe siècle qui permet, au rez-de-chaussée, de couvrir le passage entre l'entrée de la salle nord et l'accès à la tourelle et, à l'étage-carré, d'assurer depuis l'escalier une distribution individuelle aux différentes salles issues de cloisonnements internes. Construit en style néoclassique, ses façades sont encadrées de ressauts qui forment des pilastres corniers ioniques colossaux portant un entablement à architrave à deux fasces, frise nue et corniche à denticules très saillante. Sur cour, le bas de cette adjonction fut remaniée une première fois de manière très rudimentaire (avec linteau de bois couvrant une porte et une fenêtre) fut totalement transformée dans le dernier quart du XXe siècle pour imiter le traitement des autres baies de ce flanquement, avec corniches très moulurées et pleins de travées à panneaux appuis saillants redoublant de moulurations ; un médaillon à buste féminin sortant d'un oculus pastichant les décors Renaissance fut aussi ajouté, vraisemblablement pour mieux incarner la référence (erronée) à la « Dame de Montsoreau ».

Outre le logis, la propriété actuelle comprend aussi la cour bordée de des dépendances et logements, ainsi qu'un jardin en terrasse coiffant le coteau.