La motte castrale qui a donné naissance au bourg de la Baroche-Gondouin, et qui s'élève encore au sud de celui-ci, appartient aujourd'hui au domaine de la Grivellière. En l'absence d'investigations archéologiques, elle apparaît impossible à dater mais est vraisemblablement antérieure au XIIe siècle. Sa construction doit être mise en lien avec le creusement des deux grands étangs de la Baroche-Gondouin, dont l'un est aujourd'hui asséché, et qui communiquent avec ses douves. En 1445, le mariage de Jehan II de Margerie, seigneur de la Drouardière, et d'Alix des Eglantiers, héritière de la Baroche-Gondouin, réunit les deux domaines. Puis, vers 1500, l'union entre Françoise de Margerie et Georges de Chauvigné, seigneur du Bois-Frou, fait de leur petit-fils François de Chauvigné l'héritier d'un vaste ensemble comprenant La Baroche-Gondouin, la Drouardière, le Bois-Frou et le Glandsemé. Ces fusions successives conduisent sans doute à l'abandon de la motte, si celui-ci n'a pas eu lieu plus tôt.

Le hameau de la Grivellière semble se développer à partir de la fin du XVe ou du début du XVIe siècle, à en croire l'analyse du bâti. Le corps de bâtiment orienté nord-sud, situé au sud de l'ensemble, comporte les éléments les plus anciens repérés dans le village. Il s'agit d'un logis vraisemblablement divisé en trois espaces : une chambre haute à cheminée fondée sur une cave en soubassement et une pièce dont le plancher devait être situé entre les niveaux des deux pièces précédentes. Ce premier ensemble occupe le tiers nord du corps de logis actuel. La cave était accessible par une porte en plein-cintre aujourd'hui condamnée, ouverte dans le mur-gouttereau ouest. La salle haute est éclairée d'une petite baie fermée d'une grille dont l'encadrement de granit est creusé d'un chanfrein concave. La pièce mitoyenne était accessible par une seconde porte condamnée ménagée dans le mur occidental. Il semblerait que la porte chanfreinée donnant actuellement accès à la chambre haute par la façade orientale soit en place. Au XVIIe siècle, ce premier logis a été allongé par un second au sud (datation par les corbeaux de cheminée et les ouvertures). Un troisième logis a été accolé au sud de l'ensemble au XVIIIe siècle.

Le logis situé au nord du village de la Grivellière comporte toutes les caractéristiques des maisons rurales antérieures au XIXe siècle : plan simple en profondeur, cheminée contre un mur-pignon, plancher de comble soutenu par une ou deux grosses poutres transversales et cave, ici située sous la salle. La cheminée, dotée de piédroits chanfreinés et de corbeaux à deux ressauts, suit un modèle fréquemment employé avant 1700. Le chronogramme 1609, gravé sur le linteau de la porte de droite, et le décor permettent de dater l'ensemble avec plus de précision. Le millésime est conforté par le linteau de la cheminée, aujourd'hui démonté, mais où l'abbé Angot avait relevé une inscription latine, accompagnée de la date 1609, au nom de François Rioul, curé de La Baroche. Les trous de boulins, percés dans son mur gouttereau oriental, qui accueillaient sans doute des pigeons, témoignent en effet du statut privilégié de l'édifice. À une date postérieure, vraisemblablement au XVIIIe siècle, le logis est divisé en deux, en témoigne le percement postérieur de la porte sud, surmontée d'un linteau de bois.

Le corps de bâtiment, appelé "le château", orienté est-ouest, a été reconstruit sur une base ancienne au milieu du XIXe siècle.