Selon les registres paroissiaux de Bessé-sur-Braye, le grand pont sur la Braye fut construit en 1596 par la volonté du roi Henri IV et de Gilles de Souvré, seigneur de Courtanvaux. Le 17 mai, celui-ci en posait les premières pierres avec un représentant du roi, César Forget de Baudrye, trésorier général au bureau des finances de Tours. Parmi les personnalités présentes à la cérémonie, Nicolas de la Cordelle, "maistre architecte et conducteur dudit œuvre", et Charles Lasneau, sieur de Plainchamps, "entrepreneur et adjudicatayre de la construction dudit pont". L'ouvrage, baptisé pont Saint-Gilles, est entièrement en pierre de taille et possède un profil en dos d’âne et sept arches en plein cintre de taille décroissante vers les extrémités du pont. A l'hiver 1784-1785, deux des arches centrales sont emportées par une débâcle puis remplacées par un tablier en bois, selon la tradition peint en rouge, d'où l'appellation de "pont Rouge" que l'on retrouve dans les archives à partir des années 1830. Malgré cela, Julien-Rémy Pesche y voyait au début du XIXe siècle l’un des ponts les plus intéressants du département.

L'entretien du pont Rouge est un souci constant de la municipalité de Bessé, afin que soit maintenues les communications avec Montoire et le Loir-et-Cher, et notamment le trafic des vins de la région du Loir et de la Touraine vers Saint-Calais et La Ferté-Bernard. Néanmoins, le financement des travaux est toujours l'objet de litiges avec l'administration et les différentes communes intéressées. En 1812, le conseil municipal indique que "les arches du pont vieu [ont] besoin de réparations, plusieurs pierres de soutien sont carriées, il faudroit en substituer d'autres par sous-œuvre". En 1818, la remise en état d'une arche menaçant de tomber est confiée au maçon Ferchaux. Une réfection de la section en bois dégradée par l’usure et de fortes pluies, par le charpentier Trottereau, est mentionnée vers 1820. En 1833, de nouveaux travaux sont adjugés aux sieurs Ferchaux et Habert, maîtres maçons à Bessé. Dans les années 1850, de nouvelles inquiétudes sont formulées sur une possible chute du tablier du pont. En 1864, les projets des commissaires voyers de Vendôme et de Saint-Calais sont soumis aux municipalités : le premier, prévoyant une coûteuse reconstruction, est rejeté, tandis que le second, se bornant à la restauration de la partie en bois, est finalement adopté et réalisé l'année suivante. Le pont fut semble-t-il reconstruit en 1937 : les culées et les piles en moellons et pierre de taille pourraient dater de cette période. Emporté en 1961 par une crue exceptionnelle de la Braye, de fréquence cinquantenaire, le tablier fut reconstruit en béton dans le 3e quart du XXe siècle.

Le petit pont, dit pont Blanc, situé sur un bras secondaire, se fait beaucoup plus discret dans les archives et ses origines ne sont pas claires. Selon la monographie de Jeanine Lallemand et Jean Méry, il aurait été construit en 1754 en remplacement de plusieurs petites arches. Il devait également posséder un profil en dos d'âne, si bien qu'en 1880-1881, la commune demandait qu'il soit surbaissé afin de faciliter son franchissement, d'où son apparence actuelle.