Le collège Richelieu a été fondé par Mgr Baillès en 1850, année même du vote de la loi Falloux autorisant l'enseignement libre. Pour réaliser son projet, Mgr Baillès a choisi l'architecte parisien Emile Boeswillwald, avec lequel il était en contact pour ses travaux à la cathédrale en tant qu'architecte diocésain. Nous n'avons retrouvé ni les plans ni les autres pièces du projet, mais la paternité de l'architecte est assurée, ne serait-ce que par le texte du marché passé en 1851, où il est fait référence aux plans de Mr Boeswillwald. Selon la tradition, l'architecte se serait inspiré du collège Sainte-Marie d'Oscott (près de Birmingham), construit par Pugin vers 1838 ; bien que les rapports architecturaux entre les deux édifices restent d'ordre général, cette source est vraisemblable pour le choix du style, le parti d'ensemble et l'ampleur des constructions. Toujours selon la tradition, un différend serait survenu entre Mgr Baillès et l'architecte dès le début des travaux ; pour cette raison ou, plutôt, pour des raisons de proximité, c'est l'abbé et architecte Pierre Barillaud qui a conduit les travaux. Le premier événement dans l'histoire du collège remonte au 29 octobre 1850, date de l'achat du terrain par Mgr Baillès. Le mode de financement des travaux sera de trois natures : une souscription lancée par le prélat fin 1850, une loterie organisée en 1858 et un emprunt contracté en 1869. Le chantier se déroulera en trois phases : tout d'abord les bâtiments entourant la cour d'honneur, puis l'aile du réfectoire et, enfin, la chapelle. Le 15 juillet 1851, est posée la première pierre de la future institution ayant pour nom Sainte-Marie et Saint-Joseph (deux des prénoms de Mgr Baillès). A la mi 1852, la construction des bâtiments entourant la cour d'honneur est bien avancée ; la date 1852 est portée sur une lucarne du bâtiment principal, mais les travaux dureront jusqu'en 1856. Comme nous l'avons déjà indiqué, les travaux sont exécutés selon les plans de Boeswillwald et sont conduits par l'abbé Barillaud ; par les comptes de l'institution, nous connaissons l'identité des artisans, la plupart luçonnais comme le stipulait le cahier des charges. La première rentrée des classes a lieu en octobre 1856 (quelques mois après la démission de Mgr Baillès) et le nouvel évêque, Mgr Delamare, confie la direction de l'établissement aux Eudistes, remplacés par des prêtres diocésains en 1878. La seconde campagne de travaux - consistant notamment à bâtir autour d'une seconde cour - est entreprise début 1869, sous l'épiscopat de Mgr Colet ; elle se limitera à la construction de l'aile du réfectoire, située à l'est de cette cour. Enfin, de 1880 à 1882, sous l'épiscopat de Mgr Catteau, la chapelle est édifiée par Victor Clair (architecte départemental de 1855 à 1878) et l'entrepreneur luçonnais Henri Hibert. Les premiers plans, datés de 1877, seront revus et simplifiés par l'architecte. La première pierre est posée le 22 juin 1880 et la cérémonie de bénédiction a lieu le 23 mai 1882. Le mobilier et le décor seront réalisés peu après : le maître-autel par les sculpteurs angevins Chapeau et Belouin en 1887, l'Atelier de Joseph qui orne le tympan par le sculpteur luçonnais Henri Renaud, en 1899. En 1905, lors de la séparation de l'Eglise et de l'Etat, le collège est fermé ; il ouvrira de nouveau, mais à La Roche-sur-Yon. En 1912, les bâtiments sont attribués à la Ville ; celle-ci envisage de les vendre et d'utiliser l'argent à la construction d'une école supérieure de jeunes-filles, mais le projet n'aboutit pas. En 1914, l'établissement est racheté par le diocèse, qui réamènage les locaux en vue de l'installation du grand séminaire, suite à la fermeture du précédent, en 1906, et à sa destruction. Le nouveau séminaire ouvre ses portes en 1921 et fonctionnera à cet endroit jusqu'en 1972. Dans la perspective de projets qui ne se réaliseront pas, la Ville de Luçon rachète les locaux désaffectés en 1989. En 2000, l'aile sud-est est restaurée et accueille l'Institut supérieur des Etablières. Précédemment, les communs avaient été détruits. Quant à la plus grande partie des bâtiments - d'une étendue considérable - la Ville les revend en 2007 ; après une tentative de réhabilitation dans le cadre d'un vaste projet hôtelier, ils sont actuellement au bord de la ruine.