Le premier auditoire connu était installé au-dessus des anciennes halles. En 1703, il a déménagé à l'emplacement du logement du capitaine des chasses situé près de l'église saint-Vincent. Il se composait alors, d'un bâtiment haut renfermant une salle d'audience et une chambre du conseil, puis d'une tour renfermant une buanderie et une cave, et enfin d'un bâtiment bas pour loger un garde. En août 1763, les anciennes halles sont démolies par les entrepreneurs Martineau, Marchand et Bosne. En novembre 1763, les fermiers des métairies de Vaunaval, d'Aubevoies, des Sablonnets et du Petit Malidor font des charrois de sable et pierre pour les nouvelles halles du Lude. Ces halles seront ensuite jugées mal construites parce que de part et d'autre de la rue. On préconise alors de les réunir et de couvrir la rue des Halles.
En 1846, l'hôtel de ville se trouve à l'emplacement de l'ancien hôpital Sainte-Anne, dans la Grand-Rue rebaptisée alors, rue de la mairie. En 1856, devant la vétusté des anciens locaux, la municipalité du Lude décide de construire un nouvel hôtel de ville. L'emplacement privilégié est celui de l'ancienne place du Marché aux blés, dans le centre commerçant de la ville. Le nouvel édifice rassemblera trois fonctions : mairie, halle aux grains et justice de paix ou tribunal. Ce projet nécessite la destruction d'un premier ilot situé entre la rue du Château, la rue de Guigne-Folle et la place du Marché-aux-blés. Les travaux commencent la même année par l'élargissement des rues attenantes à la place, sous la conduite de l'architecte voyer Sevin. Le nouvel hôtel de ville est construit entre 1857 et 1863 selon les plans de l'architecte départemental Pierre-Félix Delarue.
En 1870, une nouvelle étude est confiée à Delarue pour un projet de construction d'une salle de spectacle, à l'arrière, au-dessus des halles, mais ce projet n'est pas réalisé.
À partir du dernier quart du XIXe siècle, des réparations sont régulièrement effectuées : réfection de la loge du concierge en 1878, réfection de la dalle en béton de la halle en 1882, réalisation d'une clôture en 1897. En 1921, l'édifice est restauré, avec réfection de la charpente.
Pierre Félix Delarue (1795-1873). Architecte diocésain et architecte départemental très actif. Succède à son oncle comme architecte départemental de l'Orne, à partir de 1818. En 1824, il devient également architecte départemental de la Sarthe. Il emménage alors au Mans. Il a réalisé et restauré de nombreuses demeures en Sarthe, en Mayenne, en Loir-et-Cher. Quitte ses fonctions pour s'installer à Paris à la mort de sa femme en 1863.