La porte Vannetaise, ouverte au nord de la ville, est un châtelet d'entrée qui se raccorde de façon assez maladroite à l'enceinte urbaine. À l'Ouest, la muraille vient se coller à la porte par un pan coupé.

Les deux tours qui encadrent le passage d'entrée sont de plan semi-circulaire. Elles apparaissent élevées en un appareil assez grossier de moellons de granit chaîné à mi-hauteur par une arase de pierre de taille. Les murs latéraux du passage d'entrée sont en revanche en bel appareil de pierres de taille. Ils se prolongent en façade en un léger ressaut qui correspond peut-être à l'encadrement qui accueillait le tablier un pont-levis. Les fossés au-devant de la tour sont désormais comblés, et masquent toute la base. Ni le passage d'entrée, ni les deux portes qui y donnent ne conservent leurs niveaux de circulation d'origine. Il apparaît manifestement que le sol a été surélevé d'au moins 1 m.

Les deux tours présentent une distribution intérieure assez complexe, qui résulte certainement d'au moins deux étapes de construction. On peut parler de tours jumelles tant leurs dispositions sont similaires : la salle basse, sur un plan demi-circulaire, est voûtée en berceau. Elle possède trois archères disposées en éventail : une archère à ébrasement très étroit pointée vers le passage d'entrée, une archère presque frontale et la troisième légèrement décalée. Ces archères sont à ébrasement simple, couvertes d'une voussure segmentaire. Les fentes de tir sont longues et étroites, dépourvues de dispositif d'extrémité. L'appui, formé d'une simple marche, semble avoir été surélevé a posteriori. On ne décèle par la présence de plongée vers l'extérieur. Une quatrième ouverture, très différente, apparaît sur le côté : un orifice circulaire, taillé entre deux pierres presque au niveau du sol, s'ébrase vers l'extérieur en une large canonnière rectangulaire. Les dispositions des archères sont strictement symétriques d'une salle à l'autre. En revanche, le percement des canonnières montre que dans les deux cas, on s'est adapté au tracé de l'enceinte voisine afin d'en assurer un flanquement optimal. Ces canonnières tardives (fin XVe siècle au plus tôt) ont probablement été percées après coup comme en témoigne le parement intérieur assez perturbé. Les deux salles, au rez-de-chaussée des tours, sont accessibles par une porte ménagée dans le mur de gorge. Elle ne donne pas ou plus - directement sur l'extérieur, mais sur un escalier droit qui, dans l'épaisseur de l'enceinte, permet de rejoindre le sommet de la porte. En face de chaque porte, une fente de jour éclaire le passage. Chaque escalier prend son départ dans le passage d'entrée principal, par une ouverture sous un linteau porté par des coussinets (sous arc de décharge à l'Est).

Depuis le passage d'entrée principal de la porte Vannetaise, on pouvait donc accéder directement aux salles basses des tours, ou au sommet. Ce passage ne conserve que deux des trois arcs mentionnés à l'époque moderne. Les deux premiers en façade, sont en tiers point et espacés par un large orifice : un assommoir. Il était commandé par la salle de garde qui devait exister probablement au-dessus du passage mais dont on ne relève aucun vestige : toute la partie haute a été arasée, puis restaurée. Le passage présente, à sa sortie vers l'intérieur de la ville, des glissières de herse, avec les vantaux derrière et les trous pour loger la barre de blocage. L'ensemble semble très homogène. En revanche, les deux massifs latéraux contenant les escaliers peuvent avoir été appliqués a posteriori à la gorge de la porte. Ils ont été écrêtés et taillés en glacis lors de la destruction de la voûte qui devait les réunir.

Quilgars affirme que la porte Vannetaise a été découronnée de la triple rangée de mâchicoulis qui la surmontait. Nous n'en avons pas trouvé la trace, mais cette hypothèse de restitution nous paraît plausible. La porte Vannetaise apparaît en effet comme un ouvrage assez trapu et strictement défensif, conçu pour contrôler l'entrée tout en assurant la continuité de la circulation sur le chemin de ronde de l'enceinte. Rien ne permet d'imaginer plusieurs étages à usage résidentiel comme sur la porte Saint-Michel. On pourrait restituer tout au plus une salle de garde. Notons enfin de nombreux problèmes archéologiques visibles à l'intérieur des tours (reprises, ouvertures biaises, traces de feuillures, fente de jour bouchée) qu'il est difficile d'analyser sans des relevés précis de l'ouvrage.