La succession des propriétaires du château de Semur est relativement bien connue grâce aux travaux des historiens et érudits depuis le XIXe siècle. En revanche, la chronologie de la construction reste difficile à établir faute de documents et d’étude archéologique du bâti. De plus, l’intérieur des bâtiments n’a pas été vu lors de l’inventaire.

Les premiers seigneurs de Semur apparaissent dans les textes dès le XIe siècle : les textes qui les mentionnent ne sont toutefois pas relatifs à la châtellenie elle-même, sur laquelle on sait bien peu de choses, si ce n’est qu’elle dépendait de Saint-Calais et par là-même de Vendôme. Par exemple, dans la 2e moitié du XIIe siècle, Hugues de Semur et son fils permettent la fondation du prieuré de Pontvallain. Il ne reste pas trace, semble-t-il, du château initial. Peut-être y eut-il une motte castrale, mais il paraît peu probable qu’il s’agisse de l’île artificielle du parc, trop petite. Il est plus aisé d’imaginer qu’elle fut peut-être recouverte par l’actuel terre-plein du château, et que peut-être la "douve du parc" délimitait une basse-cour au nord. La toponymie et la topographie de Château-Gaillard, à moins d’un kilomètre au nord du château, est intrigante mais le parcellaire ne livre aucun indice. Roger Verdier l’interprète comme un talus fortifié par une enceinte en terre et propose d’y voir le siège primitif de la seigneurie, ce qu’il est difficile de vérifier en l’absence de fouilles archéologiques.

Du manoir des Le Cirier au château

Avant 1320, la châtellenie passe à une grande famille bourgeoise mancelle qui cherche à s’émanciper de sa condition roturière, les Le Cirier (ou Le Sirier). Elle accède à la noblesse probablement grâce à son engagement dans la lutte contre les Anglais pendant la guerre de Cent ans, avant 1465, date d’un aveu de Guillaume Le Cirier seigneur de Semur à Saint-Calais. Les Le Cirier apparaissent par la suite à plusieurs reprises dans diverses donations faites aux couvents du Mans et de Vendôme. On attribue sans trop de doute à cette famille l’édification du manoir ayant servi de noyau au château actuel : celui-ci, daté de la 2e moitié du XVe siècle, semble avoir formé un bâtiment en T si l’on en juge par les vestiges de pignons découverts et d’amortissements sculptés encore visibles à chaque extrémité des toitures du corps central. De plus, la façade sur jardin a conservé son caractère médiéval, avec ses petites baies chanfreinées, ses demi-croisées à appuis moulurés, sa lucarne à gâble en pierre, ses archères-canonnières. Au cours du XVIe siècle, une longue galerie est construite dans la mode de la Renaissance, encore citée pour sa beauté par Le Paige à la fin du XVIIIe siècle mais détruite dans les décennies suivantes. On peut supposer, sans certitude toutefois, que le site est fortifié dans la 2e moitié du XVIe siècle, avec le creusement des fossés, la construction de tours aux angles de la plateforme et d’un châtelet à deux tours avec pont-levis.

Les travaux d’agrandissement postérieurs, notamment la grande façade régulière à fronton et à grandes fenêtres sur la cour et les deux pavillons latéraux à tour, paraissent pouvoir être attribués au XVIIe siècle. Peut-être font-ils écho à l’obtention (ou à l’usurpation) du titre de baronnie de Semur que les Le Cirier auraient obtenu en 1630, d’après Paul Cordonnier. Quant au pigeonnier, il arbore la date 1609 sur sa lucarne. Le 20 juin 1643, Jean Le Cirier très endetté est contraint de vendre la terre de Semur à Philippe de Picher (ou La Roche-Picher) et à sa femme Louise de Beauxoncles pour 154 440 livres. Selon Pesche, l’acte de vente indique que le château consiste alors "en salle, chambres hautes et basses, cabinets, garde-robes, cuisine, cour, galeries haute et basse ; granges, étables, écuries, pressoirs à vin ; une chapelle et autres bâtiments étant dans ladite cour ; le tout enclos de fossés à eau, fermant à pont-levis ; item un grand pressoir et un grand colombier, hors et proche ledit enclos, etc. ; item le grand jardin dudit château, enclos de murailles ; item un parc, proche icelui, aussi enclos de murailles".

Les évolutions du site jusqu’à nos jours

Par la suite, la châtellenie passe par les mariages d’Élisabeth de Picher, dame de Semur, à François-Urbain de Menon, comte de Turbilly et de Bresteau, en 1661, puis au marquis Aimery des Feugerets, en 1668. Du décès, en 1709, de Louise de Picher comtesse de Turbilly, fille du premier mariage, les archives diocésaines du Mans conservent un inventaire des biens levé au château, qui donne l’état de l’ameublement au début du XVIIIe siècle, mais ne permet guère de se représenter l’organisation des bâtiments (une quinzaine de salles et chambres sont citées). Une description précise des très nombreuses pièces du chartrier de Semur est également réalisée, mais l’ensemble des documents, qui permettrait de reconstituer l’histoire du château et du bourg, aurait aujourd’hui disparu. De nouveaux mariages font à nouveau changer la seigneurie de mains : Madeleine-Antoine des Feugerets épouse en 1733 René-Ursin Durand de Pizieux, puis Marie-Jeanne Guéau de Courteilles, veuve de Nicolas-Ursin Durand, s’unit en 1777 à Étienne du Temple de Beaujeu. En 1789, Madame de Courteilles se dit dame de Semur et déclare son "château, jardin, douves, vivier, parcq, vignes, avenue, prés, bois taillis en plusieurs pièces et cinq étangs". Pendant toute cette période, le château semble assez peu habité et fait sans doute l’objet de peu d’entretien. Néanmoins, la petite chapelle accolée au pavillon ouest semble avoir été édifiée au cours du XVIIIe siècle, et diverses ouvertures sur les communs et la grosse tour sont reprises à cette période et au siècle suivant.

A la Révolution, le château n’est pas saisi ; l’ensemble des bâtiments existe déjà au début du XIXe siècle, comme en témoigne le plan cadastral napoléonien de 1830. Par échange, le château devient la propriété d’Alexandre de La Goupillière, marquis de Dollon, qui le vend en 1831 à la comtesse Céline de Chertemps de Seuil. Celle-ci y réside et porte beaucoup d’attention à la commune de Semur : fondation d’une école libre de filles, aide à la reconstruction du presbytère, construction d’une tuilerie… A son décès en 1866, le domaine échoit à son neveu Louis-Marie-Joseph duc d’Aumont et de Villequier, lequel passe l’essentiel de sa vie à explorer l’Égypte. Néanmoins, les matrices cadastrales indiquent qu’il fait réaliser des travaux au château dès 1867 : il s’agit vraisemblablement du remaniement, dans le style néogothique, du pavillon est, sur lequel il fait apposer ses armoiries. Peut-être une restauration plus complète avait-elle été envisagée, non réalisée à cause des longues absences du duc. D’autres travaux réalisés sans doute plus tôt dans le XIXe siècle, mais à une date incertaine, devaient contribuer à donner au château une allure "romantique". Ainsi, le portail avec ses deux tours est remanié et orné de faux mâchicoulis. Il est possible, comme le suppose Paul Cordonnier dans ses notes, que la curieuse tour postérieure ait été surélevée, voire construite, pour coiffer le château d’un pseudo donjon dont la girouette porte haut les armes du duc d’Aumont. Les bâtiments sont semble-t-il pillés pendant la guerre de 1870, en l’absence du propriétaire.

Décédé sans alliance en 1888, le duc d’Aumont lègue à son tour le château de Semur à son brillant intendant (certains disent fils naturel) Aristide Gavillot qui y meurt en 1911, le restituant alors à Charles de Saint-Méloir, petit-neveu du duc. En 1913, il est racheté par Léopold Guéau de Gravelle, marquis de Réverseaux de Rouvray, et son épouse Béatrix Hurault de Vibraye qui font supprimer des bâtiments parasites et restaurer le château, alors ouvert au public et aux sociétés savantes. En 1931, la Société Historique et Archéologique de l’Orne décrit ainsi "les cheminées des XVe et XVIe siècles, un beau plafond peint sous Louis XIII et une série de superbes tapisseries en Aubusson royal, d’après les cartons de Joseph Vernet". En 1934, celle du Maine écrit que les visiteurs "admirent les salons ornés de belles tapisseries, de beaux meubles ; la bibliothèque, pittoresquement aménagée dans une ancienne chapelle ; le parc avec ses pelouses et ses grands arbres ; les douves qui accusent le caractère féodal de cette belle demeure". En 1953, le château passe au neveu de Béatrix Hurault, René Hurault marquis de Vibraye, qui poursuit la restauration du château, dont la famille est toujours propriétaire aujourd’hui.

Le château est inscrit à l’Inventaire Supplémentaire des Monuments Historiques par arrêté du 22 décembre 1927. Peu de modifications extérieures sont à signaler au cours du XXe siècle, comme le montrent les cartes postales anciennes. Des bâtiments de ferme sont édifiés au-delà de l’étang sans doute dans le 1er quart du XIXe siècle. Le perron est refait et la petite porte principale à linteau droit vient remplacer une porte néogothique en arc brisé. D’importants travaux de réparation aux charpentes et de réfection des couvertures sont réalisés en 1990.