Le "haut cimetière" ou "grand cimetière" du Mesnil est cité dans un aveu des seigneurs de Vaugirault à l'abbé de Saint-Florent-de-Saumur dès 1578. Il fut probablement baptisé ainsi pour le différencier du "petit cimetière", qui avait été ouvert devant l'entrée de l'église paroissiale Notre-Dame à la suite de la donation d'un lopin de terre appartenant à Jean de Savennière, seigneur du Mesnil, en 1536. Les registres paroissiaux, qui remontent pour les premiers conservés à 1668, attestent de son utilisation durant les XVIIe et XVIIIe siècles pour la majorité des paroissiens adultes ; les enfants et les adolescents étant plutôt inhumés dans le "petit cimetière" et certains notables dans l'église même.

A la suite du décret du 23 prairial an XII, le grand cimetière devient l'unique cimetière de la commune. En 1821, Pierre-Marie Chauveau, docteur en médecine, demeurant à Paris, y fait édifier une chapelle funéraire (inscrite MH) en la mémoire de son frère Simon Chauveau (1793-1821), prêtre au Mesnil-en-Vallée, décédé à l'âge de 28 ans. Des travaux de restauration du mur de clôture sont effectués vers 1863 et au portail d'entrée en 1883. Le cimetière est agrandi vers l'est entre 2011 et 2016.