Le presbytère de Semur occupait primitivement le flanc nord de l’église (actuellement maison n°1 rue du Château), que l’on trouve encore sur le cadastre napoléonien de 1830 sous l’appellation "vieux presbytère". Il s’y trouvait au moins depuis la fin du XVe siècle, selon plusieurs copies de déclarations à la châtellenie de Semur dont il dépendait. Ainsi, en 1473, le curé Gervais Serre déclarait le "presbytaire dudit lieu de Semur ainsi qu’il se poursuit et comporte tant en maison courtil cour […] joignant d’un costé l’église, le cymetière dudit lieu de Semur et d’autre costé et des deux bouts un chemin de Saint-Calais à Lavaré". En 1652, Louise de Beauxoncles, veuve de Philippe de Picher, seigneur de Semur, fait don au curé d’une autre maison pour servir de presbytère en échange de messes basses à dire chaque samedi pour le repos de son âme. Ce bâtiment, dont l’emplacement ne changera plus, est ainsi décrit en 1722 : "ma maison presbytéralle composée de deux chambres basses, un vestibule entre deux, d’une autre chambre basse avec un four, chambre haute dessus, une cave […], un petit fournil […], un garde-manger […], grenier sur lesdits bâtiments". Quant à l’ancien presbytère, reconverti en dépendances agricoles affermées, il consiste alors "en un petit bâtiment à cheminée où il y avait autrefois un four, un autre bâtiment servant d’écurie, grenier dessus, la grange dixmeresse et deux étables, toit à porcs et une cour close de murailles".

A la Révolution, le "vieux presbytère" est vendu mais le "nouveau" est conservé par la commune qui y tient ses réunions, y loge des indigents et loue le jardin, avant de restituer l’ensemble au curé suite au Concordat. Il aurait été reconstruit (entièrement ou partiellement) dans les années 1800 aux frais du marquis de Dollon. Au milieu du XIXe siècle, le bâtiment est totalement délabré et jugé impropre au logement du curé. Trop vétuste pour être simplement agrandi, c’est une reconstruction complète qui est décidée. Le projet est élaboré par les architectes d’arrondissement de Saint-Calais, Eugène Landron principalement et Émile Vigneau, et validé par l’architecte diocésain, Émile Boeswillwald. La construction est adjugée le 13 juillet 1862 à François Cosme, marchand de bois à Semur, engagé solidairement avec le charpentier Simon-René Clément. La première pierre est posée le 4 mars 1863 et les travaux sont entièrement terminés le 1er juillet 1864. Ils sont financés par la commune et la fabrique, mais aussi par un don de 1 500 F de la comtesse Céline Chertemps de Seuil, propriétaire du château. Du bâtiment précédent, on ne conserve pas même les fondations, trop faibles, mais seulement la cave, dont le plafond est remplacé par une voûte qui porte encore la date 1863. Le nouveau bâtiment, à étage carré, est confortable et possède un salon, une salle à manger, une cuisine, quatre chambres à feu à l’étage et d’autres pièces annexes, ainsi qu’un escalier en bois. La clôture sera refaite et surmontée d’une grille en fer à la fin des années 1890.

Dans les années 1880, alors que la commune peine à lancer la construction de son groupe scolaire, il est envisagé d’établir l’école publique au presbytère. On propose alors au curé de déménager dans l’école de garçons vétuste (qui occupe alors le "vieux presbytère") : le projet est naturellement refusé par le principal intéressé, la fabrique et le diocèse. Devenu propriété communale suite à la loi de Séparation des Églises et de l’État, le presbytère est réaffecté par la municipalité à l’usage d’école enfantine, le groupe scolaire étant alors surchargé. Quelques travaux d’appropriation qui concernant la distribution intérieure du bâtiment sont alors menés selon le devis dressé par l’agent-voyer cantonal Pioger. Suite à un arrêté ministériel du 21 avril 1914 autorisant l’établissement d’un facteur-receveur à Semur, il est décidé d’installer le bureau de poste avec l’école enfantine : de nouveaux travaux sont menés en 1923 par les entrepreneurs Laseigne et Guilloineau, sur les plans et devis de l’architecte J. Tartinville de Saint-Calais. Il ne s’agit toutefois que d’aménagement intérieurs, les travaux n’affectant pas l’enveloppe du bâtiment. Suite au retour de la classe enfantine au groupe scolaire, le bâtiment conserve la fonction de bureau de poste et accueille, depuis 2007, la mairie de Semur-en-Vallon.