Le plan d'alignement de 1824 et le plan cadastral napoléonien de 1831 mentionnent des maisons à cet emplacement : il n'existait alors pas d'auberge dans ce bâtiment, en revanche l'auberge Saint-Jean occupait celui en pendant de l'autre côté de la rue Saint-Éloi. Les matrices cadastrales fournissent de nombreuses informations sur la parcelle : deux nouvelles constructions enregistrées en 1846 et 1866, une augmentation et une diminution de construction en 1869, une augmentation et une démolition en 1879. La maison actuelle fut donc vraisemblablement construite dans le 4e quart du XIXe siècle : il en subsiste les fenêtres de l'étage de la façade principale, avec leurs encadrements à crossettes, et les pilastres d'angles à bossages.

Des vues anciennes montrent le café qui existait à cet emplacement au début du XXe siècle, nommé le café du Globe et le café de l'Ouest. Bien que l'enseigne ne le laisse pas entrevoir, l'établissement pouvait également loger les voyageurs ainsi que mentionné sur une carte postale. Des chambres étaient disponibles dans une annexe, une maison du XVIIIe siècle aujourd'hui au 5, avenue de Bretagne. Sur le plan d'alignement de 1824, ce bâtiment figure d'ailleurs sous l'intitulé "auberge du Plat D’Étain".

Dans le 2e quart du XXe siècle, l'établissement appartient aux époux Legrand qui le placent sous l'enseigne du Panier Fleuri, d'abord auberge puis seulement restaurant. On doit aux Legrand l'agrandissement des bâtiments, par rattachement d'une maison à l'arrière (rue Saint-Éloi), et le remaniement complet des façades dans un style néo-régionaliste qui le distingue des autres constructions du bourg de Sceaux-sur-Huisne. Dans un premier temps, la façade sur la rue Saint-Éloi est décorée d'un faux pan-de-bois. Ensuite, la toiture est remaniée pour créer une demi-croupe en façade à la place d'une ancienne lucarne.

L'établissement passe aux enfants Legrand, puis à M. Vanier, avant d'être repris par les propriétaires actuels. La devanture a été remaniée à la fin du XXe siècle ou au début du XXIe siècle.