Aucun document ne vient éclairer l’aménagement de la grande avenue du château de Semur, celle-ci n’apparaît pas dans la vente du domaine par Jean Le Cirier à Philippe de La Roche-Picher en 1643. On peut supposer qu’elle fut aménagée dans la 2e moitié du XVIIe siècle ou au XVIIIe siècle, à la suite de l’agrandissement du château et de sa symétrisation (régularisation de la façade sud, construction des pavillons latéraux). Il s’agissait à l’évidence de créer, selon la mode de l’époque, une vaste perspective solennelle mettant en valeur l’édifice, bien plus que de faciliter son accès. Néanmoins, cette allée permettait également aux habitants et visiteurs du château d’éviter de traverser le bourg qu’elle longe sur toute sa longueur.

L’allée figure sur le plan cadastral napoléonien de 1830 : y sont mentionnés les deux pavillons carrés qui en gardaient l’extrémité du côté du Gué Hubert. Ils ont d’ailleurs laissé leur nom à cette partie du bourg. Le pavillon de gauche subsiste dans son état originel, enfoui sous la végétation. La maison reconstruite a proximité, vers 1850 d’après les matrices cadastrales, possède d’ailleurs un angle abattu pour ne pas nuire à la perspective. Celui de droite a été intégré dans une maison probablement au début du XXe siècle, preuve que l’allée avait déjà perdu de son intérêt aux yeux des châtelains. Aujourd’hui devenue une vaste prairie partiellement bordée d’arbres, l’allée du château de Semur imprime toujours fortement sa marque dans le parcellaire et dans le bourg.