Site emblématique de la confluence, le château du Petit-Serrant est une grande maison de maître de la fin du 18e siècle dont la façade en tuffeau ouvre à l'est sur l'embouchure de la Maine. Le logis a été construit pour Jean-François Allard (1724-1787), négociant en bois pour la Marine royal, devenu maire d'Angers de 1773 à 1777, et sa femme Perrine-Antoinette Legris. Le monogramme Allard, en lettres entrelacées, se lit dans le balcon en fer forgé du perron.

La terre, avec "maison et jardin", autrefois appelé "le Bout-de-Ville", est connue depuis la fin du XVIe siècle. En 1588, elle appartient à Jean Chabot, puis en 1621 à Jean Buron, marchands. Ces derniers en devaient une rente foncière de 20 sols au chapelain de la chapelle du Pin à Ruzebouc. Le domaine est vendu sous le nom de "la Drouinerie" le 18 novembre 1665 par la veuve de Nicolas Gillot, à Pierre Lemarchand, négociant à Saint-Georges-sur-Loire. Renée Frétault, sa veuve, remariée à Jean Laroche, puis à François Taffonneau, sieur de la Varenne, lègue à ses enfants : "la maison autrefois appelée le Bout-de-la-Ville, depuis le Petit-Serrant et après la Grande-Auberge". Revenu en 1718 entre les mains des héritiers de Catherine Buron, veuve de Nicolas Gillot, le Petit-Serrant est vendu le 22 mars 1722 par Charles Gillot de Boutigny à Charles Poullain de Bouju, qui le rétrocède le même jour à Étienne Legris, riche négociant angevin, ancien consul de la ville. En 1731, celui-ci s'acquitte de la rente de 20 sols due au Pin pour la "maison appelée la Drouinerie ou le Bout-de-la-Ville, où pend pour enseigne le Petit-Serrant". En 1733, il rend hommage au chapitre Saint-Laud. À la mort d'Étienne Legris, le partage de ses biens, le 16 mars 1758, attribue le Petit-Serrant à sa fille, Perrine-Antoinette, qui avait épousé Jean-François Allard en 1746. C'est à ce dernier qu'il convient d'attribuer la construction du château tel qu'on l'observe aujourd'hui, comme en atteste son inventaire après-décès effectué en octobre 1787.

Le plan terrier du fief de Ruzebouc, dressé vers 1773, montre le Petit-Serrant tels qu'il apparaissait probablement avant sa reconstruction par Jean-François Allard. À moins qu'il ne s'agisse d'une représentation imaginaire, il figure un bâtiment avec au moins deux étages, divisé en quatre travées et surmonté d'une balustrade de couronnement. Au nord, un petit bâtiment de plan circulaire avec cheminée est interprétable comme une boulangerie. Le long de la route qui mène de Bouchemaine à Savennières, la propriété était clôturée par un mur au centre duquel se situait un petit édicule en encorbellement. Dans l'angle sud-est de la parcelle figure un petit pavillon carré surmonté d'un toit en ardoise. Ce mur de clôture pourrait avoir été construit en 1758 comme le suggère une demande d'autorisation faite par Jean-François Allard le 28 août de cette même année.

La riche carrière de Jean-François Allard, "entrepreneur des bois pour la marine", explique la reconstruction du Petit-Serrant dans le dernier quart du 18e siècle, non loin du quai des Carmes où il possédait ses entrepôts. Associé à son beau-frère, Jacques Legris, qui joua un rôle important dans la manufacture de toiles à voiles d'Angers, Allard est considéré au milieu du siècle comme l'un des plus riches marchands de la ville. Cette renommée lui permettra de devenir consul des marchands en 1760 et d'entamer une carrière politique. Jean-François Allard est ainsi élu échevin de la ville en 1754 puis réélu en 1756. En 1763, il devient conseiller perpétuel de la ville, fonction qu'il perd lors de la réforme Laverdy. Retiré du commerce, il achète en 1771 la charge importante de lieutenant général de police d'Angers qu'il occupe jusqu'en 1780. Il vend alors cette charge à la ville pour 48 000 livres. En juin 1773, Allard est élu maire d'Angers, fonction qu'il occupera jusqu'en juillet 1777. À cette date, il semble se retirer de la vie politique pour se consacrer à l'administration de ses domaines.

Si actif Jean-François Allard résidait principalement dans son hôtel situé au 31 rue Boisnet, dans l'ancienne paroisse Saint Maurille à Angers, dès 1766 il avait acheté la terre et le château du Haut-Plessis, en haut du village de la Pointe, avec ses dépendances, pour s'en faire un lieu de retraite et de villégiature. C'est sans doute peu avant la vente du Haut-Plessis, en 1786, qu'il fait rebâtir le Petit-Serrant signalé comme "nouvellement construit" en octobre 1790. C'est ici où il semble s'être retiré à la fin de sa vie, qu'il meurt le 8 août 1787.

À la mort de sa femme, Perinne-Antoinette Legris, Pierre-Antoine Allard de Grandmaison (1760-1823), leur fils, receveur des gabelles à Amboise, hérite du domaine. Un acte de notoriété du 7 octobre 1790 décrit "une belle maison, nommée le Petit-Serrant, nouvellement bâtie, située au village de Ruzebourg dit la Pointe, paroisse de Bouchemaine, sur le bord de la rivière de Loire, sans être sujette à inondation, composée d'une cuisine, office, beau vestibule dans lequel est un grand escalier, une salle à manger, salon de compagnie, quatre chambres au premier étage, grenier au-dessus, une grande cour au-devant de ladite maison. Un autre corps de bâtiment, aussi construit à neuf dans un des bouts de la cour de ladite maison, au midi, composé d'une chambre et un cellier à côté, au rets de chaussée, deux chambres à cheminée au-dessus, deux greniers regnants sur le tout, une 2e cour au derrière dans laquelle il y a un puits, une grange dans laquelle il y a un pressoir à futs, un autre grand cellier à contenir plus de cent pièces de vin, greniers carrelés au-dessus, une buanderie avec un four servant aussi de boulangerie, un grenier au-dessus, une autre basse-cour. Un enclos considérable dans lequel est un grand et excellent jardin, un clos de vigne, verger et bois taillis avec 2 jets d'eau. Le tout en un tenant clos de mur et planté d'arbres fruitiers en parfait rapport, contenant ensemble trois arpents et demi ou environ". Estimé à 24 000 livres, la maison est par ailleurs composée de 29 quartiers de vigne, des métairie, petite et grande closeries du Pont-de-l'Arche.

En 1808, le Petit-Serrant est acheté par Pierre Aynès, ancien négociant, et à Jeanne Jacqueline Grille, son épouse. C'est à ces derniers qu'il faut vraisemblablement attribuer les réaménagements des jardins ainsi que la restauration des intérieurs du château connus par des plans conservés aux Archives départementales de Maine-et-Loire, malheureusement non datés. Un certain Mary, entrepreneur (?), pourrait en être l'auteur. En 1836, les héritiers Aynès vendent le domaine et ses dépendances à Jean-Baptiste Retailleau. Ses descendants, dont les membres de la famille Griffaton, demeureront propriétaires du lieu jusqu'en 1971.