Ce cénotaphe est élevé à la mémoire de Louis-Marie-Joseph, dixième et dernier duc d’Aumont et de Villequier, châtelain de Semur. L’architecture évoquant un temple égyptien fait référence à son attachement pour ce pays où il passa l’essentiel de sa vie, où il mourut et fut inhumé. La dépouille devait être rapatriée à Semur mais ne le fut jamais, le mausolée n’abrite donc pas la sépulture du duc d’Aumont pour qui il a été construit, mais celle d’Aristide Gavillot, son héritier, qui le fit construire, inhumé en 1911.

Né en 1809, après une enfance passée à Nantes auprès de sa mère, Louis d'Aumont part explorer l’Égypte qui le fascine. Accompagné d’une petite équipe de mariniers nubiens, il se lance en 1855 dans la remontée du Nil, franchit toutes les cataractes, arrive à Khartoum en 1856 d’où il se lance sur le Nil Blanc pour atteindre le mont Réjaf. De là, il fait demi-tour faute de moyens pour continuer par la terre, le Nil n’étant alors plus praticable en embarcation. Aucun récit ne semble avoir été réalisé à la suite de cette expédition de seize mois, au cours de laquelle le cuisinier de l’équipée aurait même été dévoré par un crocodile. "Amateur instruit et zêlé des antiquités égyptiennes", le duc d’Aumont se passionne pour cette civilisation et étudie certains monuments comme le temple de Denderah ou le Ramesseum de Thèbes. Il participe à l'inauguration du canal de Suez en 1869 où il représente le comte de Chambord. Il entretient dans sa propriété de l’île Rhoda près du Caire, où il recevra le comte, un remarquable jardin planté d’arbres exotiques rares. Ce jardin sera racheté en 1902 par le prince Mohammed Ali Tewfik qui y fera édifier le palais de Manial achevé en 1937. Ayant probablement peu résidé à Semur, le duc d’Aumont décède en 1888 au Caire où il est inhumé. Il ne laisse à la postérité ni descendance, ni autobiographie, récit de ses expéditions ou article scientifique d’égyptologie.

Le duc est accompagné dans ses voyages par un colosse, Aristide Gavillot, son intendant et secrétaire, qui fera édifier le cénotaphe du cimetière de Semur en 1888 ou peu après (l’architecte n’est pas connu). Né en 1837 à Sens-en-Bresse, il serait le fils d’un des fermiers de la famille d’Aumont, voire selon certains le fils naturel d’Aumont lui-même, ce qui expliquerait qu’il devient à sa mort son seul héritier, au détriment des neveux du duc avait qui il était brouillé. L’histoire de l’héritage du duc d’Aumont, estimé à deux millions de francs, est d’ailleurs largement relatée dans la presse : un procès est intenté à Gavillot par la famille d’Aumont devant le tribunal de Saint-Calais, estimant le testament falsifié. On découvre alors que le duc avait réalisé, à partir de 1855, six autres testaments, tous au nom de Gavillot. Ce dernier peut donc conserver l’héritage. Il fait une carrière politique en Égypte, fonde un journal, devient secrétaire général de l’institut égyptien et député de la nation française au Caire. Selon les avis, on le dit très aimable ou sans scrupules. A sa mort au château de Semur en 1911, il restitue l’héritage d’Aumont au petit-neveu du duc, Charles de Saint-Méloir. En 1912, celui-ci obtient de la municipalité de Semur l’autorisation d’exhumer les restes de Gavillot pour les transférer dans la chapelle du duc d’Aumont. Il demande la concession perpétuelle du mausolée en échange du terrain où il se trouve qu’il offre à la commune pour l’agrandissement du cimetière.