La tour Sainte-Anne est insérée sur un angle de l'enceinte urbaine comme en témoignent les reprises de construction visibles dans la muraille, de part et d'autre. Elle est bâtie en petit appareil bien réglé, avec des pierres de taille assez longues. Sa base plonge dans le fossé en eau. L'enceinte est continue à la gorge de l'ouvrage, et c'est depuis son chemin de ronde que l'on pouvait accéder à l'étage de la tour, et également au sommet, par un escalier ménagé dans l'épaisseur du mur est.

Au premier niveau, le mur de gorge est percé d'une très grande arcade en tiers point qui ouvre sur la salle basse de la tour. Son encadrement bouchardé laisse penser à une création du XIXe siècle.

Le plan intérieur est demi-circulaire. La salle basse possède trois archères canonnières : deux latérales et une surélevée en capitale. Elles présentent toutes une fente étroite et longue, s'élargissant en un trou circulaire à la base pour permettre l'installation de l'arme à feu. Cette dernière était maintenue en place par des poutres encastrées dans les murs latéraux. Le sol des niches est en partie comblé. Ces ouvertures sont de plan pentagonal : l'ébrasement couvert de linteaux droits se prolonge par une niche sous une voûte en berceau surbaissé. L'archère canonnière qui défend le flanc ouest est nettement désaxée, de façon à bien flanquer la muraille voisine. Le plan légèrement outrepassé de la tour, imposé par sa situation sur un angle de l'enceinte, imposait cette disposition.

L'étage était sur plancher, porté par des corbeaux encore en place. Il présente deux archères canonnières tout à fait similaires à celles du rez-de-chaussée. Elles possèdent des coussièges sur lesquels étaient posées les poutres encastrées dans les murs latéraux pour maintenir les tubes. On note la présence de marques de tâcherons, similaires à celles de la tour Théologale.

Cette salle était sans doute ouverte à la gorge car le mur de moellons qui la ferme est très nettement collé. Seule la base de l'escalier d'accès au sommet du parapet semble encore en place. Quelques degrés rachètent la différence de niveau entre le passage réservé à la gorge de la tour et le chemin de ronde de l'enceinte urbaine à l'Ouest. Cet aménagement n'est pas d'origine puisque l'on distingue la trace de l'ancien parapet de l'enceinte qui a été arasée.