Suivant la géographie des lieux, l’habitat à L’Île-d’Elle se concentre pour l’essentiel sur les anciennes terres hautes. 71 % des maisons et fermes ou anciennes fermes se situent dans le bourg et 20 % dans les écarts qui lui sont pour la plupart annexés (le Quaireau, la Guérinière). Le reste se répartit dans les marais, qu’ils soient desséchés (fermes ou cabanes du Grousseau, de Faussebrie, de Soulisse, etc) ou mouillés (le long de la Sèvre Niortaise et du canal de Pomère. Dans ces derniers, les maisons et fermes se regroupent parfois de manière à former de petits hameaux, comme au Pellereau ou à la Bonde des Jourdain. Au coeur des marais mouillés (par exemple au Pellereau), les habitations apparaissent plus ou moins clairement construites sur des surélévations de terre, de manière à résister plus longtemps à l'inondation.

Cette répartition a engendré un habitat particulièrement dense, resserré de part et d’autre des rues du bourg et de ses annexes. Plus des trois quarts des maisons sont ainsi des maisons attenantes, c’est-à-dire accolées les unes aux autres, sans autre espace libre qu’une petite cour ou un petit jardin, au contraire des maisons indépendantes, séparées par davantage de place. Les maisons forment alors souvent des fronts bâtis le long des rues. Près des deux tiers des maisons sont ainsi construites en alignement sur la voie. Les autres sont, pour l’essentiel, séparées de la rue par leur cour ou leur jardin, plus ou moins profond, avec un muret le long du trottoir.

Malgré le manque de place, la majorité des logements apparaît de taille raisonnable, illustrant la recherche de confort dans les nouvelles habitations de la seconde moitié du XIXe siècle, époque principale de construction. Deux caractéristiques architecturales en témoignent, à commencer par le nombre de travées (alignements verticaux) d’ouvertures comptées sur la façade. Un tiers des habitations relevées présente ainsi trois travées en façade, souvent réparties de manière symétrique autour de la porte centrale (cette disposition concerne là encore un tiers des habitations relevées). Cette proportion dépasse la moitié (57 %) si on y ajoute les façades à deux travées d’ouvertures auxquelles s’additionne souvent une troisième baie au rez-de-chaussée (un tiers des cas). Par ailleurs, 53 % des habitations possèdent un étage, niveau supplémentaire qui permet d’accroître la dimension du logement sans s’étendre davantage au sol.

A côté de ces habitations de taille moyenne, les petits logements restent nombreux, comme le montrent là encore le nombre d’ouvertures en façade et le nombre de niveaux. 42 % des habitations à L’Île-d’Elle sont en simple rez-de-chaussée, dont la moitié sont surmontées d’un grenier, habitable ou non. Si l’on additionne les maisons à une seule travée d’ouvertures (à laquelle s’ajoute cependant, dans deux tiers des cas, une voire deux autres baies au rez-de-chaussée), et les maisons en simple rez-de-chaussée qui ne présentent que deux ou trois baies en façade, on aboutit à 40 % du total. Ces petits logements s’alignent, comme les autres, le long des rues principales ou se concentrent dans les ruelles situées de part et d’autre de celles-ci, notamment de la rue Nationale. A l’opposé, les grands logements sont rares. Seulement 4 habitations présentent plus de 4 travées d’ouvertures en façade, et on ne dénombre que 8 maisons de maître (habitations dont la taille et le décor rappellent ceux d’une maison de notable), dont 2 logis de fermes (16 rue de la Fuye et au Chail).

Toutes ces habitations, quel que soit leur taille, ont en commun un décor généralement sobre, qui s’étoffe toutefois sur les façades des nouvelles constructions de la seconde moitié du XIXe siècle : encadrements et appuis saillants, voire moulurés, corniche au sommet de la façade, bandeau au milieu, solin à sa base… Ces éléments, en pierre de taille, se détachent sur la façade enduite à la chaux. Une plus grande variété est introduite dans la première moitié du XXe siècle et jusque dans les années 1950 par quelques maisons qui empruntent leur architecture et leur décor aux villas de bord de mer. Le phénomène, marginal (il n’est représenté que par 10 maisons à L’Île-d’Elle), est toutefois plus important ici que dans d’autres communes proches, sans doute grâce à l’influence des échanges industriels, artisanaux et commerciaux avec la côte. Formes, matériaux et couleurs se diversifient alors, en empruntant prioritairement des éléments aux villas de type chalet : façade sur le mur pignon (1 rue du Quaireau, 81 rue Nationale) ou partie de façade en pignon (16 route de La Rochelle, "Plaisance" 8 route de Fontenay), ferme de charpente apparente (1 impasse Pelletier, 15 route de La Rochelle), alternance colorée entre la pierre, la brique rouge et la brique vernissée (4 rue du Moulin Rouge, 10 avenue de la Gare, "Sanouva" 9 rue des Faïenciers), voire la céramique ("Optatus", 30 avenue de la Gare). Sans aller jusqu’à imiter les villas de bord de mer, plusieurs maisons de la fin du XIXe siècle et du début du XXe se distinguent par la fantaisie de leur décor : cheminée octogonale en brique et incrustations de morceaux de céramique au 29 rue Nationale, frise à motifs de griffons au 6 de la même rue... Les anciens commerces, nombreux jusqu'au milieu du XXe siècle, ont parfois (rarement) laissé des témoignages sur leurs façades : large ouverture, enseigne.

Enfin, parmi les 41 fermes ou anciennes fermes relevées au cours de l’étude, 22 sont situées dans les marais mouillés, au bord de la Sèvre Niortaise ou du canal de Pomère, 9 dans le bourg et 4 dans les marais desséchés (cabanes de la Grande et de la Petite Soulisse, de Faussebrie et du Grousseau). 70 % ont leurs bâtiments accolés les uns aux autres, signe d’un manque de place (notamment dans les marais inondables et dans le bourg) ou plus simplement de pouvoir disposer des dépendances au plus près de l’habitation. La répartition des dépendances et du logis obéit majoritairement à la même logique : dans 14 fermes (toutes dans le bourg et les marais mouillés), les différents bâtiments sont placés selon un plan allongé, les dépendances prolongeant le logis (par exemple à la Courcellerie et au Gros Aubier) ; dans 3 autres cas (par exemple 13 route de la Guérinière), logis et dépendances sont même alignés sous un même toit, formant un bloc en longueur. Dans les 12 cas restants (notamment les 4 cabanes de marais desséchés relevées), logis et dépendances sont répartis autour de la cour, sans ordre particulier. Parmi les dépendances, étables, écuries et granges sont les plus nombreuses, reflétant l’importance de l’élevage dans les marais jusqu’au milieu du XXe siècle. Au Grousseau, à la Grande Bourée et au 16 rue de la Fuye, de vastes granges-étables à façade sur le mur pignon, capables d’abriter des troupeaux, du foin et du matériel en quantité, sont le signe d’exploitations d’élevage particulièrement développées. Plus modestement, certaines petites anciennes fermes possèdent encore d'ancienne dépendances en partie construites avec des bardeaux de bois ou de roseau. Dernier équipement indispensable dans les marais : la cale pour accoster et amarrer les bateaux, comme on peut en observer une à la ferme de la Bertholerie.