Le château de la Marguerite doit son nom à l’ancienne léproserie de Sainte-Marguerite situé au hameau de la Maladrerie. Après Nicolas Toustaint de la Marguerite, qui agrandit le manoir existant, celui-ci revient au Conradin de Castillon qui le vendent en 1790 à Jacques Recullard, armateur de navires. En 1876, le château est vendu à M. Bigot de la Robillardière. Aujourd’hui, celui-ci est divisé en copropriétés.