L'histoire de la Paumerie souffre de l'absence presque totale de sources. L'abbé Angot évoque tantôt la Pommerie, selon l'orthographe de la carte de Cassini, de laquelle un certain Jean Pommerais aurait rendu aveu à l'aumônerie Saint-Julien de Château-Gontier en 1406, tantôt la Paumerie, selon l'orthographe du cadastre de 1833. Ce dernier révèle la présence de pièces de terres nommées "la chapelle", indiquant la présence probable d'un ancien lieu de culte et peut-être, par extension, d'un site manorial. L'architecture du logis appartient cependant à la fin du XVIIe siècle ou au début du XVIIIe siècle, bien qu'une partie de l'élévation soit plus ancienne (contours de baies murées visibles, notamment derrière l'escalier). Les blasons sculptés sur les lucarnes, non identifiés à l'heure actuelle, n'apportent aucun complément sur les commanditaires, si ce n'est la présence d'une pomme : peut-être s'agit-il des armoiries parlantes de la famille qui a donné ou pris son nom à la Paumerie. L'abbé Angot et le cadastre de 1833 s'accordent à dire qu'une famille Lemasson était propriétaire à la fin du XVIIIe siècle et au début du XIXe siècle : Louis-Charles Lemasson de la Jaillerie est conseiller en l'élection de Château-Gontier dans les années 1780, Chantal Lemasson, résidant également à Château-Gontier, possède la moitié des bâtiments en 1833. Le coteau est alors planté de vignes. Un nouveau corps de ferme est construit face au logis à la fin du XIXe siècle ou au début du XXe siècle.