La seigneurie de Kercassier n'est pas mentionnée dans les sources avant 1576. À cette date, Pierre Jouan, seigneur de Kercassier et de Trénevez, fils ainé et héritier principal de Pierre Jouan, seigneur de Trénevez, et de Marie Le Guennec, y réside. Procureur du roi, Pierre Jouan devient lieutenant de la Sénéchaussée de Guérande en 1591 et pourrait être le commanditaire du manoir. En 1618, Jean Jouan, son fils ou petit-fils, rend aveu au Roi pour le lieu et maison de Kercassier avecq sa court, fuie au-dedans, le tout dans l'anclos du jardin de ladite maison cerné de murailles. La seigneurie passe à la fin du XVIIe siècle dans la famille d'Andigné. Jean-Baptiste d'Andigné, chevalier, est seigneur de Kercassier en 1700, puis Charles-René d'Andigné en 1749. En 1857, Kercassier appartient à la famille Méresse.

Le manoir, en ruine dans la seconde moitié du XXe siècle, pourrait dater du 3e quart du XVIe siècle comme le suggère la porte d'entrée du logis flanquée de deux pilastres et surmontée d'un fronton triangulaire accueillant les armes des Jouan : D'azur au chevron d'or, chargé de 3 molettes de gueules et accompagné de 3 soleils d'or. Le manoir a visiblement été augmenté d'une aile au nord à la fin du XVIIe siècle ou au début du siècle suivant. L'aile est a été reconstruite en partie en 1972. Le bâtiment au sud, signalé sur le cadastre de 1819, a été détruit après cette date. La Carte des côtes de Bretagne, dressée vers 1780-1785, figure un jardin d'agrément et un bois de hautes futaies à l'arrière du logis, à l'est. Le pigeonnier, mentionné au centre de la cour en 1618 ne l'est plus dans l'aveu de 1749. Il ne figure pas non plus sur la carte des Côtes de Bretagne et pourrait donc avoir été détruit avant le milieu du XVIIIe siècle. La métairie de Kercassier, à l'entrée du chemin d'accès au manoir, est attestée dès 1618, de même que l'étang, le moulin à vent et la maison du meunier, situés près du village du Petit-Poissevin (voir dossiers). Le four à pain, signalé sur le cadastre de 1819, a été reconstruit en 1874 comme l'indique un chronogramme sculpté sur une pierre à droite de la gueule du four.