À proximité de la porte Bizienne, le manoir de la Grillère est limité au Nord par la rue de Bizienne, à l'Ouest et au Sud par l'enceinte de ville.

L'étude du cadastre de 1819 indique l'évolution du plan masse. L'ensemble était autrefois organisé autour d'une cour rectangulaire fermée de bâtiments, flanquée à l'Ouest de deux dépendances. Le manoir est actuellement constitué de trois bâtiments : deux corps de logis, l'un au Nord (XVIe siècle), l'autre au Sud (4e quart du XVIIIe siècle), liés à l'Est par un bâtiment en retour (3e quart du XVIIIe siècle ?). Une dépendance (XVIIe ou XVIIIe siècle) est visible à l'Ouest.

Légèrement en retrait de la rue, le bâtiment du XVIe siècle adopte un plan rectangulaire à deux niveaux (rez-de-chaussée, étage carré, étage de comble). Il est construit en moellon de granite enduit avec encadrements en pierre taillée. La couverture à deux pans est couverte d'ardoise. Il est éclairé au Nord d'une grande fenêtre rectangulaire à encadrement fasciculé, surmontée d'une lucarne en tuffeau (XIXe siècle). Une corniche en tuffeau (XIXe siècle) souligne la pente de la toiture. À l'Ouest, le pignon découvert a entièrement été remonté au début du XXe siècle avec des éléments provenant de la destruction. Il est surmonté d'un petit fleuron. Les épaulements reçoivent deux sculptures d'animaux monstrueux. L'épaulement sud représentant un animal ailé à long cou avec une queue de serpent est le mieux conservé. À l'intérieur le bâtiment conserve au premier étage un ensemble intéressant de boiserie, placard et cheminée en bois du début du XIXe siècle.

En fond de cour, l'aile du XVIIIe siècle est un long bâtiment de plan rectangulaire à trois niveaux (rez-de-chaussée, étage carré, étage de comble) sous toiture d'ardoise à longs pans et croupes. Il est construit en moellon de granite enduit avec encadrements et chaînages d'angles taillés. Les façades sont organisées en travées de fenêtres rectangulaires. La façade côté jardin est percée de six travées régulières. Une alternance de lucarnes à frontons triangulaires et segmentaires perce le comble. Une inscription sur une lucarne permet de dater la construction de 1787. On observe un décor de faux bandeau qui sépare le rez-de-chaussée du premier étage, visible sur les deux façades. Une corniche de granite souligne la pente de la toiture. Sur la façade nord, dans la cour, la régularité est perturbée par l'emprise des bâtiments en retour détruits. La porte à doubles vantaux est surmontée d'un châssis vitré en éventail. Elle ouvre dans un dégagement recevant l'escalier tournant à jour en bois avec rampe en fer forgé montant jusqu'au comble. À la suite, un vestibule sur carreaux de ciment, ouvrant vers le jardin, distribue quatre salles en enfilade. On remarque en particulier à l'Ouest un salon sur parquet de type Versailles avec boiseries et cheminée en marbre noir incrustée de marbre blanc (XVIIIe siècle). Trois trumeaux de porte peints sont également conservés. À l'est du vestibule un second salon sur parquet (XIXe siècle), conserve des boiseries et une cheminée en marbre noir (XVIIIe siècle). Les trumeaux peints ne sont plus en place.

Au premier étage, un couloir éclairé par les fenêtres côté cour distribue quatre chambres. Le comble sur carreaux de terre cuite est aménagé de plusieurs chambres de bonne.

Le bâtiment longitudinal qui lie les deux ailes XVIe et XVIIIe siècle, n'a pas été visité. C'est un édifice de deux niveaux (rez-de-chaussée, étage carré) sous toiture d'ardoise dont les ouvertures rectangulaires semblent modifiées. En façade, le linteau de porte est daté par une inscription de 1772. On ignore si cette date correspond à la construction du bâtiment, à un remaniement, ou s'il s'agit d'un élément de réemploi.