L'abbé Angot signale l'existence d'un monastère à Azé dès le VIe siècle, lequel aurait été visité par saint Aubin d'Angers au cours de son épiscopat (529-550) qui y aurait rendu la vue à un aveugle. Sur ce point, les archives et l'archéologie n'apportent aucun élément à l'heure actuelle. Toujours selon Angot, il semble qu'Azé offrait, avant le développement de la ville de Château-Gontier, un passage à gué très emprunté sur la rivière Mayenne, notamment pour les voies anciennes venant de Saulges et Sablé.

Au plus tard, le bourg prend forme autour du Xe ou XIe siècle, comme en attestent les mentions les plus anciennes de l'église et certains éléments de son élévation. Avant 1097, l'église est donnée à l'abbaye Saint-Nicolas d'Angers qui fonde à Azé un prieuré. Au voisinage du prieuré et de l'église, dans l'enclos du petit cimetière paroissial, se trouvait également un petit presbytère. Néanmoins, le développement concomitant de Château-Gontier, autour du château de Foulques Nerra et du prieuré Saint-Jean-Baptiste, a certainement limité celui d'Azé. La présence d'un pont y facilite le franchissement de la Mayenne et la ville déborde progressivement sur le territoire paroissial d'Azé, avec la création du faubourg d'Azé sis en rive gauche de la Mayenne. Les moines de Saint-Nicolas d'Angers y fondent un second prieuré, Notre-Dame du Genêteil, entre 1120 et 1130.

A l'exception de ce "pôle" religieux, on ne sait rien du bourg médiéval d'Azé et de son évolution faute de documents et de vestiges. Il semble qu'il demeura un modeste bourg-rue dont les maisons s'alignaient plus ou moins sur l'ancienne route de Château-Gontier à Angers, aujourd'hui rue du Val-de-Loire. Siège d'une châtellenie inféodée au comté d'Anjou, on y trouvait un logis seigneurial cité dans un aveu de 1423 : "l'hébergement, court et jardin d'Azé, avec un vivier sis au pourpris". Aujourd'hui, aucun élément ne parait en subsister, pas même un indice dans le parcellaire qui permettrait de le localiser. Pourrait-il s'agir du Buron avant sa conversion en couvent de franciscaines à la fin du XVIe siècle ? Celui-ci était effectivement le siège d'une seigneurie, mais il n'est pas établi qu'il s'agissait bien de la seigneurie de paroisse.

De rares dessins du XVIIIe siècle et du début du XIXe siècle représentent le bourg au bord de la Mayenne, coiffé par les clochers de l'église et du couvent du Buron : leur précision et leur fiabilité reste toutefois discutable. Le XVIIIe siècle semble toutefois donner un certain lustre au bourg d'Azé, probablement considéré comme une résidence agréable en bord de rivière et aux portes de Château-Gontier : en témoignent les quelques demeures cossues reconstruites à cette époque autour de la petite place de l'église, à commencer par le logis du prieur, actuellement mairie.

Au cours du XIXe siècle, le bourg ne connait pas de modification profonde de sa morphologie : il demeure un bourg-rue, qui s'allonge et se densifie quelque peu mais reste une très modeste agglomération. Une grande partie des façades sont remaniées ou reconstruites à cette période, notamment pour être mises à l'alignement et faciliter la circulation dans le bourg. On ne compte pas de construction publique importante, les écoles et la mairie occupant l'ancien prieuré ou des maisons privées. Seul un presbytère est construit en 1855. Le petit cimetière aux abords de l'église est déporté en périphérie du bourg ancien, actuellement rue du Chant-d'Oiseau, au milieu du XIXe siècle. Le grand cimetière de Saint-Aventin et sa chapelle sont aliénés en 1847. L'implantation de la gare ferroviaire de Château-Gontier, sur le territoire d'Azé, n'a pas d'incidence réelle sur le développement du bourg, mais génère la création d'un nouveau quartier en périphérie de la ville, avec ses coquettes villas des années 1900 signées par l'architecte Fernand Hélain.

Village pittoresque, Azé est apprécié par les promeneurs citadins et les artistes. Un bac établi sur la Mayenne et dont le quai est toujours visible n'a d'ailleurs pas de réelle utilité autre que l'agrément des promeneurs qui arpentent les rives et le bois de Gaudrée, d'après les rapports de l'administration établis à ce sujet en 1861. En 1899, l'instituteur communal Le Roy écrit : "Vu de la Mayenne, le bourg présente un aspect des plus pittoresques. La coquette bourgade se mire dans les eaux brunâtres de la rivière ; l'église ancienne avec son joli clocher frêle et élancé ; les blanches maisons avec leurs jolis jardins ombragés forment un charmant tableau qui a tenté la plume du dessinateur de Château-Gontier Tancrède Abraham".

Ce n'est que dans la 2e moitié du XXe siècle que le bourg d'Azé fusionne progressivement avec l'agglomération de Château-Gontier en pleine expansion, par l'aménagement de vastes lotissements en périphérie de la ville. Cet étalement urbain voit une recomposition de l'espace du bourg, dont le noyau ancien est désormais excentré : de nouveaux espaces publics émergent, notamment le long de la départementale 22 (rue Saint-Avertin) qui devient désormais l'axe fort de l'agglomération : ainsi apparaissent une galerie de commerces, un complexe sportif et une salle polyvalente, un groupe scolaire, un espace de loisir autour d'un plan d'eau. Depuis 2019, entérinant une continuité urbaine établie depuis longtemps, les deux municipalités d'Azé et de Château-Gontier sont regroupées, avec celle de Saint-Fort, dans la commune nouvelle de Château-Gontier-sur-Mayenne. La progression de l'étalement urbain résidentiel se poursuit en direction de l'est, tandis que la partir nord de l'ancienne commune est désormais occupée par une importante zone d'activités.