Jules Olivier Joseph (né en 1898), père, débute une activité commerciale au lendemain de la Première Guerre mondiale. Blessé de guerre, il confie l'exploitation de ses vignes à des ouvriers et développe surtout la vente de ses propres vins. Il prend une licence de marchand de vin en 1936 et commence à acheter des vins d'autres viticulteurs ; mais il meurt dans un accident de la route en 1941.

Son fils, Jules Olivier Augustin (né en 1926), ne reprend pas immédiatement le commerce paternel, du fait de son jeune âge. À son retour du service militaire, en 1947, il décide de vendre lui-même le vin stocké dans la cave familiale. Connaissant un certain succès et manquant de vins, il commence à en acheter aux voisins. Il prend une carte de négociant en 1948 et établit une véritable comptabilité à compter de 1950. Alors qu'il utilisait la cave de ses parents (4 cuves de 40 hectolitres et des barriques), il fait construire une première série de cuves en 1952 au lieu-dit la Laise, non loin de la demeure familiale : il s'agit du premier des cinq bâtiments, le plus proche de la route. Il permet le stockage de 500 à 600 hectolitres de vin. Les bâtiments qui occupaient cette zone (visibles sur une vue aérienne de 1950) sont détruits au fur-et-à-mesure de l'extension des bâtiments de négoce.

Jules Olivier poursuit et accroît l'activité viticole de son père : il atteint les 38 hectares de vignes. Cela n'est cependant pas sans poser problème : la nécessité de séparer clairement les vins de négoce et ceux issus d'une activité viticole lui cause des difficultés avec l'administration. À partir de 1965, il parvient à obtenir l'usage des bâtiments viticoles en face de sa propre entreprise, rue de la Haute-ville. Il y loge alors les vins issus de ses propres vignes et sa société viticole prend alors le nom de "Olivier de Hauteville". Dès lors la cuverie du site de la Laise n'accueille plus que des vins de négoce.

Cette cuverie s'accroît fortement en 1964, avec l'ajout de deux nouveaux bâtiments ; puis d'un troisième au milieu des années 1970. Elle ne s'agrandit plus après cela. En 1968, la maison d'habitation, qui jouxtait les chais, au sud-ouest, est convertie en bâtiment de bureaux où travaillent jusqu'à 5 employés. Une trentaine d'autres employés travaillent aux chais et au transport. Le rachat de la clientèle de plusieurs autres négociants (établissements Pesnot au Loroux-Bottereau, Renaud à Nantes, Libeau à Carquefou, Robert à la Haye-Fouassière, Gautier-Audas à Haute-Goulaine…) ainsi que la création de plusieurs succursales (Pontorson, Muzillac, Brissac-Quincé) donne une dimension nationale au "groupe Olivier", qui emploie jusqu'à 100 salariés. C'est une grande variété de vins français qui est travaillée, ainsi que des vins algériens jusqu'en 1965. La société de Jules Olivier est avant tout celle d'un "négociant-embouteilleur", avec une clientèle dans tout le nord-ouest de la France. Il vend donc essentiellement des vins en bouteille (rarement du vrac) aux cafés, hôtels et restaurants, mais aussi à d'autres grossistes.

Au milieu des années 1990, alors que les marchands de bières tentent de s'emparer de la distribution des vins, le groupe Olivier se diversifie en commençant à vendre de la bière et d'autres boissons. En 2002 la société "Jules Olivier Vins Fins SARL" s'associe à plusieurs autres acteurs de la distribution pour devenir "Jules Olivier Distribution". En 2012 l'activité prend fin sur le site de la Laise, qui est depuis utilisé comme entrepôt. Les derniers actifs de l'entreprise passent entre les mains de Atlantique Boissons, à Nantes.