Les origines du bourg de Contest demeurent floues. La seigneurie et la paroisse apparaissent simultanément dans les textes, vers 1130. L'hypothèse la plus vraisemblable est que le bourg est né à proximité d'un retranchement fossoyé de type motte castrale, siège du pouvoir seigneurial au milieu du Moyen Age. Aucun vestige ne demeure d'un tel aménagement et aucune fouille archéologique n'a pour l'heure été menée. Toutefois, le toponyme "les Châteliers", signalé par le cadastre napoléonien de 1820 est un indice fort. Il désigne alors une pièce de terre à quelques centaines de mètres au sud de l'église, resserrée entre la Mayenne et le ruisseau de Fontaine-Daniel. Cet espace présentait le triple avantage d'être naturellement protégé sur trois côtés, de disposer d'une vue dégagée sur la rive opposée de la Mayenne, et de contrôler un franchissement à gué de la Mayenne localisé près du moulin de Ponneau (Pontneau), dont le passage pavé apparait toujours lors des écourues.

Le manque d'espace devait conditionner l'implantation de l'église, du presbytère et du cimetière paroissial un peu plus au nord, sur le rebord de l'à-pic dominant la Mayenne. Pour ses parties les plus anciennes, l'église remonte effectivement au XIIe ou au XIIIe siècle. Le noyau ancien du bourg se crée autour de ce pôle mais demeure de taille modeste. L'essentiel du bâti actuel date du XIXe siècle, à l'exception notable d'une maison du XVe ou du XVIe siècle (remaniée), ainsi que du presbytère et du château de la Cour, reconstruits au XVIIIe siècle sur des bases plus anciennes. Situés de part et d'autre de l'église, tous deux bénéficient d'un emplacement privilégié sur le rebord du plateau, propice à l'aménagement de jardins et de terrasses pour l'agrément et la contemplation du paysage.

L'ancien franchissement de la Mayenne à hauteur du bourg de Mayenne, bien qu'il ait été abandonné, explique aujourd'hui la configuration très particulière de l'agglomération : son noyau et ses principaux édifices, église, presbytère et château, se trouvent désormais dans une impasse. En réalité, ce chemin qui conduisait au passage à gué, puis au bac sur la Mayenne, a du demeurer très longtemps, peut-être jusqu'au début du XIXe siècle, l'axe principal du bourg. Suite à sa transformation en cul-de-sac, le bourg s'est redéployé autour de la route de Mayenne à Andouillé, mais conserve ce "noyau décentré" comme une anomalie dans sa structure.

Avant la Révolution, la paroisse avait pour principal commerce celui du lin ; quelques petits logements à escaliers extérieurs, visibles dans le bourg, témoignent encore de l'activité des tisserands. Selon l'abbé Angot, le bourg a été ravagé par le passage d'une trombe en 1808, qui aurait endommagé ou détruit 40 habitations. Les maisons édifiées au XIXe siècle présentent généralement un étage carré et des baies réparties en travées ; celles-ci sont visibles principalement au nord-ouest de l'église et témoignent déjà d'un déplacement imperceptible du bourg vers la route de Mayenne. Le cimetière, jusqu'alors attenant à l'église, est transféré au nord du bourg dans les années 1840. Les écoles communales sont édifiées sur la route de Mayenne et sur celle de Saint-Germain-d'Anxure dans le courant du XIXe siècle.

En 1892, le maire Pascal Charpentier fait établir un devis pour la construction d'un pont sur la Mayenne, à l'emplacement de l'ancien gué, pour relier Contest à la gare de Commer. Ce projet, qui aurait pu considérablement impacter la physionomie du bourg, échoue à cause de l'opposition du propriétaire du terrain. La 2e moitié du XXe siècle confirme le redéploiement de l'agglomération vers le nord et l'ouest avec la création de grandes zones pavillonnaires qui agrandissent considérablement la superficie du bourg. Les nouveaux équipements, une nouvelle mairie et une salle des fêtes, sont construits au cœur de ces quartiers. En revanche, les commerces de proximité ont déserté le centre-bourg, les habitants pouvant s'approvisionner dans les grandes surfaces de Mayenne. Les fermes qui existaient encore dans le bourg au début du XXe siècle ont également disparu.