La première maison occupée par les chapelains est actuellement l'une des plus anciennes maisons conservées dans le Vieux-Bourg. D'architecture simple, sa façade sur rue se compose d'un léger avant-corps percé de trois travées de baies et de deux ailes, chacune ajourée d'une travée. Les portes et les fenêtres, de formes rectangulaires, et les chaînes d'angle sont en tuffeau. La toiture est en tuiles creuses. L'ensemble était ceint d'un mur de clôture. Dans les années 1960, des sanitaires à destination des pèlerins et des gens de passage ont été greffés côté rue.

Les autres maisons de chapelains ont été construites dans le prolongement de ce premier bâtiment, formant un front bâti bordant le nord de la rue du Vieux-Bourg. Bien que très remaniées, leurs façades gardent quelques caractéristiques de l'architecture de la fin des années 1930 proposée par Victor Rabjeau (soubassements et enduits tyroliens, rambardes d'escaliers). Leurs intérieurs, connus d'après les plans, étaient occupés par des cuisines et des salles à manger au rez-de-chaussée et des chambres aux étages.