Durant le XIXe siècle, le rocher du Pont d'Yeu se transformait en carrière aux grandes marées. Il s'agissait d'un ramassage pour l'empierrement des routes. Cette pratique avait été légalisée par les élus de la commune qui avaient voté des tarifs votés permettant à la population de s'acquitter de ses impôts en échange de ces travaux. En 1903, le préfet tenta de d’arrêter cette extraction pour cause de déstabilisation des plages mais la commune s'y est opposée en "considérant que si la pierre du Pont d'Yeu est refusée à l'avenir comme prestation sur les chemins de grande communication de cette commune que cela causera un grand préjudice aux prestataires dont la plupart sont peu à l'aise, s'ils venaient à être obligés de s'acquitter leur prestation en argent". Par ailleurs, le maire ajouta que "depuis longtemps les habitants ont toujours retiré la pierre du Pont d'Yeu nécessaire pour l'entretien des chemins vicinaux... que la pierre de Pont d'Yeu est beaucoup supérieure à celles des carrières de Sallertaine et les galets de côte et de dunes...".