En 1529, les sources mentionnent un ermitage de l'Ordre de Saint-François. En 1622, le seigneur de la Hautière, Michel Rigaud, cède le terrain à quatre religieux de l'ordre des Petits Capucins qui y fondent un couvent. Sur un plan de 1711, ce dernier s'apparente à une propriété de vastes dimensions ; plusieurs corps de bâtiments sont regroupés autour de ce qui semble être un cloître. La façade sur le fleuve présente quatre niveaux surmontés de combles avec des croupes, des lucarnes et de hautes cheminées. Une église ou chapelle orientée avec clocheton semble accessible depuis la place, côté nord. Les jardins d'agréments et/ou potagers sont représentés avec des parterres séparés par des allées. Des murs parallèles à la Loire servent de soutènement à des terrasses. Sur une vue cavalière du XVIIIe siècle, un de ces murs dans la continuité d'un bâtiment semble surmonté d'une galerie couverte. Un escalier permet de gagner les berges de la Loire encore non aménagées. Bien national à la Révolution, le bâtiment devient une prison pour les prêtres non assermentés. Il est ensuite vendu à des particuliers. Sur le cadastre napoléonien de 1837, la propriété, mentionnée "place des Petits Capucins", est composée d'une maison à deux étages et d'un vaste jardin côté rue. D'après sa disposition en plan, cet édifice ne semble pas être un vestige des bâtiments conventuels. Des maisons sont dessinées en contrebas de la propriété. La propriété est démolie en 1857. Le bâtiment actuel, entouré d'un jardin, est construit en 1861. Au début du XXe siècle, l'adresse devient "rue de l'Hermitage" en remplacement de "place des Petits Capucins". Cette habitation est parfois nommée "maison du colonel" dans des textes sans précisions supplémentaires. La ville de Nantes achète cette propriété en 1985 qui la loue à l'"Union Compagnonnique du Tour de France des Devoirs Unis". Un centre de démonstration y est installé. En juillet 2005, l'association déménage au manoir de la Hautière. La Ville souhaite désormais restaurer cet édifice.