Le plan cadastral napoléonien de 1833 ne mentionne rien à l'emplacement de ce pavillon, édifié avec une écurie dans le 4e quart du XIXe siècle pour Stéphane de Montozon. Un article du Libéral de la Mayenne du 16 mars 1890, rapportant un cambriolage, précise que "le cottage de Charolles [...] appartient à M. de Montozon et lui sert de rendez-vous de pêche près de l'écluse de la Bavouze". Les voleurs "ont fait buisson creux, car ils n'ont rien trouvé de ce qu'ils cherchaient. Des hameçons, des lignes, des filets, quelques assiettes n'ont pas excité leurs convoitises". Stéphane de Montozon (1837-1891), imprimeur à Château-Gontier, conseiller de préfecture et membre de la Société historique et archéologique de la Mayenne, était un érudit mais aussi un passionné de pêche, comme en témoigne son traité sur La pêche à la carpe à la traînée ou cordée, par un pêcheur de la Mayenne (1890). Suite à son décès, le bâtiment est rattaché au parc du château de la Rivière par Charles Déan de Luigné, pour être finalement revendu en 1952.