Mentionné pour la première fois au Xe siècle, faisant partie des points d'appui des ducs d'Aquitaine, comtes de Poitiers, le château de Benet, fortifié, joue un rôle stratégique pendant les guerres médiévales et du XVIe siècle. En 1372, en pleine guerre de Cent Ans, Bertrand du Guesclin s'en empare contre les Anglais. En 1574, le duc de Montpensier, chef des troupes royales, fixe là son quartier général pendant douze jours, avant d'aller prendre Fontenay-le-Comte. Il fait pendre devant le château le pasteur du Moulin, le capitaine protestant bigot et plusieurs autres calvinistes. Du 18 au 21 août 1587, Henri de Navarre (futur Henri IV), en route pour La Rochelle, loge au château de Benet.

Détenu par les seigneurs successifs de Benet, qui n'y séjournent cependant jamais, le château apparaît en état d'abandon lorsqu'en 1735, une visite en est faite à la demande de la veuve du seigneur : les bâtiments sont "entièrement en masure, qu'il reste seulement deux tours en mauvais état et qui menacent ruine". Les murs sont "pour les plus grands en partie tombés", seuls subsistent les douves, les entrées et un petit bâtiment dans la cour. Jusqu'à la Révolution, le château est le siège hypothétique de la seigneurie de Benet qui tient ses assises judiciaires et dont dépendent un certain nombre de biens et de prérogatives tels que six fours banaux répartis à Benet, Lesson et Aziré. L'espace au pied du château, au sud, sert de champ de foire.

Saisi comme bien national contre la famille Lusignan-Lezay, le château est vendu aux enchères le 28 vendémiaire an III (19 octobre 1794) et alors racheté par Pierre Bichon (1751-1830), serrurier puis cabaretier, époux de Marie Debreuil. L'ancien château comprend alors des "chambres basses, une petite à côté, un grenier par-dessus, une tour, un jardin, une aire, des douves, un emplacement appelé le champ de foire, une écurie". Cette même année 1794, Henri Prézeau, juge de paix du canton de Maillezais, laisse la description suivante du château de Benet : "On y voyait autrefois une citadelle avec double fort, un donjon avec des pont-levis, trois herses à la porte d'entrée et plusieurs canonnières en pierre de taille tout autour. Il avait sept tours élevées de plus de 150 pieds et bâties sur broches aux extrémités des murs d'enceinte de la forteresse. Au bas de ces murs, des douves sèches de trente pieds de longueur sur vingt-quatre de profondeur. En dehors des douves, des redoutes et des retranchements considérables, avec un épais mur de clôture. Enfin, un souterrain très important avait été pratiqué dans l'enceinte du château."

Démantelé, l'ancien château apparaît sur le plan cadastral de 1835. On y décèle en fait deux périmètres différents, tous deux de forme ovale irrégulière. Le premier noyau (parcelles 795 à 803), en hauteur, est délimité par le mur de courtine encore observé aujourd'hui, au sud, avec ses deux tours et même une troisième à l'est, vestiges des sept tours mentionnées, ainsi que le logis seigneurial dans l'angle sud-ouest. Ce premier périmètre transparaît encore dans le parcellaire actuel, vers le nord et l'est de l'ancien logis ; il est traversé par l'allée du Château. Visible sur le plan de 1835, le second périmètre (parcelles 790 à 793 et 804 à 812) devait constituer la seconde ligne de défense du château, en incluant la basse-cour du château et des douves sèches. Il s'étend au pied des tours et de la courtine sud et englobe, à l'ouest, l'emplacement du puits. L'espace au pied de la courtine est, en ce début du XIXe siècle, utilisé comme champ de foire, et un petit bâtiment abritant un lavoir et un puits est mentionné au sud-est, en contrebas du château, auprès de la rue de la Combe. Le plan de 1835 montre enfin l'existence de maisons à l'ouest et au sud, le long de la rue du Guerfou, tandis qu'il n'en existe encore aucune au nord et à l'est, rue du Payré. Lorsqu'il les dessine en 1846, Octave de Rochebrune montre les ruines du château avec les deux tours encore dotées de leur partie supérieure.

En 1835, l'ancien logis seigneurial ainsi que les tours et l'essentiel du plateau appartiennent à Augustin Lanne (1776-1858), serrurier et cabaretier, époux de Marie Bichon. Il partage le reste de la partie haute de l'ancien château avec les héritiers de son beau-frère, Augustin Bichon (1786-1832), et avec son autre beau-frère, Pierre Petreau, marchand, époux de Marie-Anne Bichon. Tous en ont sans doute hérité de leurs parents et beaux-parents, Pierre Bichon et Marie Debreuil. L'ancien logis seigneurial passe ensuite aux petits-fils d'Augustin Lanne, Louis-Auguste et Eugène Soulisse qui en font reconstruire chacun une partie en 1869-1870 et 1872, tout en conservant certains éléments antérieurs : tours (arasées), mur d'élévation ouest avec sa baie à meneau (sans doute du début du XVIe siècle).