La chapelle initiale, située d’après le plan cadastral napoléonien de 1835 à quelques mètres du bâtiment actuel, était un très modeste édifice rectangulaire. Par un partage du 22 avril 1643, le vicaire Étienne Letoré acquiert une pierre de terre dite "l’estre du Val", relevant de l’ancien fief de Gênes, sur laquelle il fait par la suite "bastir une chapelle appelée la chapelle du Val à l’honneur et louange de nostre Seigneur, de la Vierge Marie et de saint Joseph". Par un acte du 2 juillet 1658, alors que l’édifice est achevé, il fonde une rente annuelle et perpétuelle de 20 livres pour son entretien et la célébration d’une messe chaque semaine. Par son testament de 1670, François Letoré père du fondateur y adjoint une autre rente de 15 livres. En 1700, Étienne Letoré deuxième du nom, neveu du premier, lègue la chapelle à la fabrique. Un litige s’ensuit avec François Vidis, sieur de la Flémengère (sans succès pour lui semble-t-il), sur la propriété des terres sur lesquelles sont fondées la rente de 1658.

La chapelle devient bien communal à la Révolution. En 1865, alors que l’édifice menace ruine et que la commune renonce à son entretien, le comte Louis de Malortie, lequel a fait édifier son château à proximité dans les années 1840, fait construire la chapelle actuelle (consacrée le 12 avril), laquelle devient imposable au cadastre en 1868. En 1886, l'évêque accorde l'autorisation d'y célébrer une messe hebdomadaire. Désormais inutile, la chapelle primitive, décrite comme un simple rectangle de 5,30 m sur 7 m, est transformée en maison puis vendue par la commune en 1886. Le comte Louis du Pontavice, maire de la commune et gendre du comte de Malortie, rachète le bâtiment situé au milieu de ses propriétés ; il sera ensuite démoli.

Les vitraux originels sont soufflés lors du bombardement du château en 1944.