La maison noble de Château-Madic est désignée dès 1679 dans le registre de la réformation du domaine. Elle appartient à cette date à Jacques Le Lan, mais son toponyme est sans doute antérieur puisque les Madic, seigneur de Drézeux, sont signalés à Guérande dès 1445. La métairie de Château-Madic est attestée dès 1720 dans les registres de la capitation. Elle est occupée à cette date par Jan Perrigault. Elle dépendait, comme la maison noble, de la frairie de Quéniquen.

Le manoir prenait à l'origine un plan régulier en L. Il se composait d'un corps de logis flanqué d'une aile en retour à l'ouest, ouvrant sur une cour avec écurie, et d'une métairie dans le prolongement à l'est.

Le gros-œuvre du corps de logis pourrait dater du XVIe siècle comme semblent le suggérer les embrasures d'une croisée et d'une porte dans l'une des pièces du rez-de-chaussée et une porte couverte d'un linteau sculpté d'une accolade sur le mur gouttereau est de l'aile en retour. Il a été très remanié dans le courant du XIXe siècle (façades) et augmenté d'un pavillon dans l'angle sud-ouest dans le 1er quart du XXe siècle. L'écurie, au nord-ouest, ouvrant sur la cour, date peut-être des XVIIe ou XVIIIe siècles.

La métairie a été séparée du logis après 1819. Seuls les vestiges d'une cheminée sont conservés sur le mur pignon ouest. Le bâtiment a ensuite été augmenté d'une nouvelle maison d'habitation, à l'est, au tout début du XXe siècle ; sans doute après 1894 car aucune mention ne figure dans le registre des augmentations-diminutions. L'ensemble des autres bâtiments la remise au bout de l'aile en retour du logis, l'aile nord de la métairie, la porcherie et les deux fours à pain, sont postérieurs à 1819.

Le logis était ceint d'un mur de clôture, figurant sur la carte des Côtes de Bretagne dressée vers 1780-1785, donc probablement antérieur à cette date. Un petit échalier en pierre, ouvert dans ce dernier, à l'ouest du logis, permettait le franchissement du mur à cet endroit, en laissant les bêtes à l'extérieur de l'enceinte.