Les origines de cet ensemble nous échappent encore totalement. Il s'agit vraisemblablement d'une demeure du XVIe siècle, comme l'indiquent la forme aiguë de la toiture et la tour d'escalier, qui semble avoir porté le nom de "Grand maison". Les ouvertures ont connu de multiples remaniements : certaines, chanfreinées, peuvent dater de la construction ; d'autres, en arc segmentaire délardé, ainsi que la lucarne en bois, accusent le XVIIIe siècle. D'autres encore, à linteaux droits, ont été remaniées ou percées aux XIXe et XXe siècles. Le petit appentis contre la tour est une adjonction de la 2e moitié du XIXe siècle. La propriété abrite l'auberge des Victoires au moins depuis le XVIIIe siècle.

A cette époque, la création de la première route royale Paris-Nantes via Bellême et Bonnétable délaisse Connerré, aussi un plan dressé vers 1770 indique-t-il que les "magnifiques auberges" de la place du Groisiller sont alors abandonnées. Il faut attendre l'aménagement de la nouvelle route royale passant par La Ferté-Bernard et Connerré, dans les années 1780, pour que le trafic retrouve sa vigueur et que les auberges soient rétablies. Suivant un acte de vente du 7 janvier 1787, la veuve de Pierre Caradret marchand aubergiste achète aux La Ronce la "Grand Maison" à Connerré. Les Caradret sont ensuite mentionnés comme propriétaires de cet ensemble sur le plan terrier de 1787 et divers documents. Les Caradret font agrandir les bâtiments en direction de la nouvelle rue de Paris (construction d'écuries, d'étables et autres dépendances), donnant à la cour des Victoires ses dimensions actuelles. Dans les années 1820-1830, la possession de l'angle de la rue de Paris et de la rue de l'Abreuvoir, qui assure la meilleure visibilité sur la route royale, est l'objet d'une querelle entre Caradret et Gourmy, propriétaires des auberges contigües des Victoires et de Saint-Jean.

Les deux ailes de bâtiments perpendiculaires au logis principal ont été profondément remaniées, voire reconstruites, dès la 2e moitié du XIXe siècle pour y créer des logements particuliers. Les matrices cadastrales mentionnent en effet, entre 1856 et 1888, la construction de nombreuses maisons sur cette parcelle. Ces petits logements d'ouvriers ont été en grande partie remaniés dans la 2e moitié du XXe siècle. L'enseigne d'un café est encore visible sur la façade de la demeure principale sur une carte postale du début du XXe siècle. Jusqu'au milieu du XXe siècle, la cour des Victoires est un quartier défavorisé de mauvaise réputation. L'ensemble abrite aujourd'hui des maisons particulières, seul le nom de la cour des Victoires rappelle encore l'ancienne auberge.

La maison à tour a vu la naissance de Robert Jarry, maire du Mans de 1977 à 2001, le 29 décembre 1924.