Le corps principal de cet édifice, qui était plus long à l'origine, est constitué de murs relativement épais en moyen appareil de tuffeau. Il compte un rez-de-chaussée, un étage-carré et un comble à surcroît. Le toit couvert d'ardoises, à longs pans, pignons découverts et coyaux, présente un profil très aigu, ce qui a pu être interprété comme un élément attestant une origine médiévale de l'édifice (hypothèse à rejeter après examen des maçonneries et de la charpente). En moyen appareil de tuffeau, lui aussi, le pignon sud est constitué d'un mur plus mince.

Les baies ont presque toutes été remaniées ou au moins partiellement obturées. La lucarne de la façade orientale est un ajout (du XIXe ou début du XXe siècle ?).

Le parement de la façade est, qui donnait sur la cour intérieure, présente des reprises de maçonneries liées à l'obturation des baies originelles qui semblent correspondre à trois (voire quatre ?) portes situées à l'étage-carré. Articulés à ces portes, des alignements réguliers de petits blocs qui correspondent au rebouchage de trous où devaient être fichés des éléments de bois (avant les restaurations récentes, les trous étaient nettement visibles). Ces éléments permettent d'établir que la façade est, sur cour, accueillait originellement une galerie en charpente, vraisemblablement sur poteaux et couverte en appentis, qui assurait la distribution à cet étage de plusieurs pièces, sans doute indépendantes les unes des autres et qui devaient prendre le jour par des fenêtres situées en façade ouest. Cette distribution de l'étage carré a été entièrement transformée pour ne former aujourd'hui que deux grandes salles en enfilade.

En rez-de-chaussée sur cour, où les maçonneries de la façade est ont été très fortement restaurées, il est difficile d'établir la distribution première de ce bâtiment. Une salle, au nord de ce rez-de-chaussée, dispose d'une niche qui était une ancienne baie à l'ouest (obturée) qui a conservé son couvrement à arrière-voussure ; dans cette même salle se trouve une cheminée dont le décor présente des caractéristiques du XVIIe siècle (manteau à corps de moulures fortement marquées).

La façade est, qui donnait sur la cour intérieure, est des plus sobres, alors que la façade ouest, qui ouvrait sur les autres espaces et bâtiments de l'ensemble monastique, est plus ornée : elle est coiffée d'une corniche et conserve également des bandeaux de niveau (bas et haut) et d'appui ; le bandeau bas se prolonge le long de l'appentis nord sur les quelques assises conservées de ce qui était l'aile principale de la Secrétainerie.

Cet appentis nord diffère par les niveaux de son élévation ; en partie basse, il conserve des éléments de l'ancien corps principal de la Secrétainerie, à savoir un soubassement constitué de deux caves voutées d'axe nord-sud, dotées chacune d'une petite fenêtre quadrangulaire ouvrant au nord. Ce soubassement est accessible depuis la cour par la volée droite d'un escalier extérieur. D'identiques caves devaient être répétées au moins sous une partie de l'ancien corps principal disparu de l'ancienne Secrétainerie. Réalisées en moellons de tuffeau, les parties hautes de l'appentis sont issues des reconstructions de la fin du XVIIIe ou du début du XIXe siècle. Au rez-de-chaussée surélevé de cet appentis, se trouve une cheminée caractéristique de la seconde moitié du XVIIIe siècle qui dut être édifiée lors de ces remaniements.

Les jardins en terrasse, à l'ouest de la maison, sont des vestiges des anciens jardins de la Secrétainerie, visibles notamment sur le dessin de la collection de Gaignières, de 1699, et sur le plan de l'abbaye, dit de 1762.