Le prieuré d'Azé est fondé par les moines de l'abbaye Saint-Nicolas d'Angers suite à la donation de l'église par la famille de Mathefelon avant 1097. Un prieur nommé Herbert est cité vers 1120. Il ne reste aucune trace des bâtiments primitifs. En 1556, le prieur Jean Lecouturier déclarait à la baronnie d'Ingrandes "le corps de son prieuré dudit Azé, composé de maison pressouer jardin cour rue et issues et d’un petit pré contenant une hommée ou environ […] joignant d’un costé à la rivière de Mayenne et au jardin du curé d’Azé, d’autre costé au cimetière et église d’Azé". La maison actuelle est construite dans la 2e moitié du XVIIIe siècle. Il faut donc imputer la reconstruction à l'un des derniers prieurs d'Azé, bien qu'il soit peu probable qu'un de ces prestigieux personnages qui cumulaient diverses charges ait jamais envisagé de résider à Azé. A la veille de la Révolution, les bâtiments étaient occupés par Joseph Laisné, marchand fermier pour le compte du prieur Guesnier des Bordeaux. Le prieuré et son domaine, ainsi que la métairie de la Charpenterie en dépendant, sont saisis comme bien nationaux en 1791. La propriété est vendue à Michel Ory et Jean Jousse, négociants à Château-Gontier et Laval.

A la fin du XIXe siècle, l'ancien prieuré est la "maison de campagne" de François-René Jallot et son épouse Emilie Lesné, propriétaires à Angers. En 1892, la veuve Jallot, éprouvant des difficultés à marcher, demande à l'administration l'autorisation d'établir au droit de sa maison un débarcadère pour faciliter le service du bateau à vapeur d'Angers à Château-Gontier. Le projet, semble-t-il abandonné, sera repris quelques années plus tard au profit de son fils, héritier du château de Haute-Roche.

Ce n'est qu'en 1972 que la mairie, primitivement installée en face dans l'école de garçons, déménage dans l'ancien prieuré. Par la suite, dans le cadre du réaménagement de la place, les abords sont totalement transformés : l'enclos et le portail disparaissent, ainsi que le pavillon abritant le four. Côté Mayenne, le jardin est remplacé par un square ouvert et l'ancien escalier à deux volées symétriques est remplacé par un large perron. Une maison accolée, correspondant peut-être à l'ancien logement du fermier, est également détruite.