Peu d'archives nous éclairent sur l'histoire du manoir du Plessis. Le document le plus ancien qui en fait état est un aveu daté du 28 mai 1459, rendu par Guy d'Orange, seigneur du Plessis, à Olivier de Feschal, seigneur de Marboué : "ma terre et fief et appartenances du Plessis de Sacé de laquelle la déclaration s'ensuit, et premièrement mon hébergement dudit lieu du Plessis, les vergers, courtils, boys et taillis contenant quinze journaulx de terres ou environ avecques la garenne et plesse à conils, les moulins blérets et foullerets estant en la rivière de Mainerie, la chaussée desdits moulins avecques le droit de pesche que j'ay en ladite rivière", ainsi que les métairies du Plessis, de la Vannerie et des Estonnelières. A partir de 1582, le manoir voisin de la Juvaudière appartient également à la famille d'Orange, seigneurs de la Feuillée ; le destin des deux manoirs est dès lors lié. En 1670, un fermier résidait dans la maison seigneuriale du Plessis.

La famille d'Ozouville hérite de la Juvaudière et du Plessis au tournant du XIXe siècle. Henri d'Ozouville fait construire un château néogothique à la Juvaudière vers 1870. Il est possible qu'un projet similaire ait été envisagé par son père William (ou Guillaume, 1794-1859) pour le Plessis ; l'abbé Angot écrit dans son dictionnaire que "M. William d'Ozouville, dont les goûts épigraphiques sont connus, avait préparé l'inscription suivante à placer au nouveau château du Plessis : En mémoire des services de Guy d'Orenge, chevalier, seigneur du Plessis de Sacé, pendant la guerre de Cent Ans contre les Anglais, 1417-1447". Aucun document ne permet d'affirmer que des travaux aient bien été réalisés et les matrices cadastrales ne font état d'aucune modification du logis au cours du XIXe siècle ; à la fin du siècle, la Juvaudière compte 62 ouvertures imposables, le Plessis n'en compte que deux. En revanche, un grand bâtiment agricole et un hangar sont construits probablement dans la 2e moitié du XIXe siècle.

L'environnement du manoir a été considérablement modifié. La toponymie suggère qu'il existait un passage à gué sur la Mayenne à proximité dont il ne reste trace. Le moulin seigneurial, en contrebas du manoir, est supprimé dès 1835. Selon les matrices cadastrales, une forge est édifiée à cet emplacement en 1868 par un certain Armand Malval, mais il n'en reste aucun vestige. Un hameau nommé la Verrerie, également disparu, se trouvait à proximité : il témoigne peut-être d'une tentative d'implantation d'une verrerie par les seigneurs du Plessis à une date inconnue. Malheureusement, aucun document n'y fait référence. Tout au long du XIXe siècle et pendant une grande partie du XXe siècle, le Plessis est une simple exploitation agricole.

L'abbé Angot semble avoir visité le vieux logis à la fin du XIXe siècle : il indique des travaux de comblement en 1881, qui auraient condamné l'accès à un caveau pouvant correspondre à d'anciens celliers. Il écrit également : "Aujourd'hui on remarque encore dans l'immense salle servant de cuisine à la ferme une cheminée monumentale". Le logis est considérablement modifié probablement dans le 3e quart du XXe siècle et agrandi de bâtiments aux toitures asymétriques et d'une tour à quatre niveaux. L'architecte de ces transformations pittoresques, d'inspiration néo-médiévale avec pignons découverts et lucarnes, n'a pas été retrouvé, pas plus que le commanditaire.