Les frères sacs fondent leur couvent rue de la Harpe vers 1263, sur un emplacement donné par Geoffroy de Châteaubriant. L'église est peut-être bâtie dans ces années ou un peu plus tard par les augustins qui leur succèdent au début du XIVe siècle. Vers 1468, elle est restaurée parallèlement à la reconstruction des bâtiments conventuels, grâce à Bertrand de Beauvau, chambellan du roi René : la chapelle dite de la Passion au sud-est de la nef, qui porte ses armes sur l'une des clefs de voûte, est construite peu après, en 1480.

D'autres travaux sont effectués au XVIe siècle d'après quelques éléments fossiles : trois baies postérieures du bâtiment ouest du cloître et la cage hors-œuvre d'un escalier dont la vis a disparu (face nord du même bâtiment). Le couvent s'agrandit en 1535 par l'achat du jardin et du logis de Chambellay, conservé jusqu'à la Révolution (site de l'hôtel d'Ambray, 5 rue Vauvert).

Une nouvelle réfection des bâtiments conventuels est attestée dans le 2e quart du XVIIe siècle : l'un d'entre eux subsiste aujourd'hui sur la rue de la Harpe, daté 1634 sur la lucarne nord, condamnant une ancienne fenêtre du chœur, toujours visible. D'un corps d'entrée menant vers l'église, dit la grande porte du couvent réédifiée en 1626, ne subsiste qu'un arc visible 46 rue Lionnaise. De cette époque sont également conservés les vestiges d'un porche assurant la liaison entre le cloître et l'entrée de l'église. Celle-ci est alors réaménagée, comme l'indiquent la porte occidentale en plein-cintre de la nef, à l'état de trace, ainsi que plusieurs baies de la chapelle de la Passion. Trois des six chapelles bordant le flanc sud de l'église dataient aussi du XVIIe siècle. Dans la 1ère moitié du XVIIIe siècle est édifié un puits contre la tour d'escalier du logis ouest, qui est elle-même percée d'oculus à cette époque.

Le couvent est démantelé à la Révolution et l'église est détruite vers 1795, à l'exception d'une partie du mur nord du chœur, appuyée au corps de 1634, et de la chapelle de la Passion, rachetée par les sœurs de la Providence de Saint-Vincent-de-Paul dans le milieu du XIXe siècle : on leur doit vraisemblablement le portail néo-gothique en arc brisé qui ferme aujourd'hui cette chapelle.

Le plan cadastral de 1840 reflète les divisions actuelles : une petite propriété sur la rue de la Harpe (bâtiment de 1634 et chapelle de la Passion, section G 59) et une vaste propriété relevant alors des fils du marchand de vin Auguste Vinay (section G 60). Sur cette dernière parcelle, les bâtiments conventuels sont reconstruits en 1871 par l'architecte Julien Moirin pour établir une manufacture de chaussures, sous la direction d'Adrien (ou Alexandre) Savaton, auquel succède Octave Hamard en 1881. Lors de la faillite de l'établissement en 1905, la Ville acquiert les bâtiments pour agrandir l'orphelinat (Ambray, acquis en 1869) et assurer le percement de la "rue Guittet prolongée" jusqu'à la rue Auguste-Michel qui devait traverser les îlots des augustins et des hôtels de Montiron, Andigné et Tinténiac. Mais le projet urbain reste en suspens et l'usine est à nouveau louée à des industriels de la chaussure (Dauge, Aubin, Léon), puis revendue en 1923 à l'entrepreneur Goirand. Celui-ci fait transformer en 1934 le bâtiment de la chaudière en maison d'habitation, sur des plans de L. Fayol.

En 1960, un centre d'apprentissage en bâtiment succède à Goirand après réaménagement des lieux : il s'agit probablement des remaniements de structure observés dans l'aile nord (poteaux et planchers en béton) et de distribution (escaliers). En 1977, l'entreprise de peinture et papiers peints Méray-Brisseau s'y établit (traces de cette occupation dans les étages de l'aile nord), jusqu'au nouveau rachat des bâtiments par la Ville d'Angers. Depuis 1993, l'ancienne usine Savaton-Hamard héberge le service municipal du Patrimoine historique, la base locale de l'INRAP et la Mission locale angevine (jusqu'en sept. 2005). La maison de 1934 a été détruite en 2002.