L’absence totale de sources écrites et l’architecture fruste ne permettent pas de déterminer les origines de cette chapelle, peut-être édifiée à l’époque moderne (?). Le bâtiment figure dans la liste des biens nationaux non vendus de la commune en 1801 et sur le plan napoléonien de 1830. La porte a été remaniée au XIXe siècle ou au XXe siècle. La statue de sainte Barbe en terre cuite, qui semble dater de la 2e moitié du XVIe siècle voire du XVIIe siècle, provient sans doute d'un atelier manceau. Il est peu probable qu'elle ait été réalisée dès l'origine pour cette chapelle mais a plus certainement été rapportée. Elle a été en partie remaniée par la suite (bras gauche notamment). Au début du XXe siècle, le curé Labelle écrit que depuis plusieurs siècles la chapelle "sert de station aux processions de Saint-Marc, des Rogations et de la Fête-Dieu. On vient y invoquer la sainte pour la préservation de la grêle", phénomène duquel Semur serait ainsi entièrement préservé.