Collégien utilisant une IA

Attention aux générateurs d’images au Collège (arts plastiques)

C’est un article d’alerte… Des parents m’ont parlé d’un sujet d’Art Plastiques de leur enfant, donné en troisième dans un collège d’Ile-de-France. En entendant l’histoire, cela m’a fait bondir ! Le problème ? L’usage qui est fait des générateurs d’image !

En effet, il est demandé aux enfants de comparer au moins trois générateurs d’image sur la base d’un autoportrait de l’enfant (fait par l’enfant) et « des informations (personnelles) dans le petit carnet » (donc ce qu’ils aiment, leur passion, qui ils sont, etc.). L’idée semble intéressante de prime abord (réflexivité, représentation de soi, etc.), mais elle est, réalisée ainsi, plutôt dangereuse pour les enfants. Voyons ensemble pourquoi.

Les éléments clés du sujet Arts plastiques avec générateurs d’images

Le sujet plutôt bien conçu, repart du programme : « Programme : L’oeuvre, l’espace et le spectateur : Les métissages entre arts plastiques et technologie numériques : les évolutions repérables sur la notion d’oeuvre et d’artiste.
Objectifs : Utiliser les outils numériques pour des opérations simples à des fins de création. Découvrir l’utilisation des prompts.
Compétences : Expérimenter, produire, créer : Créer des productions en usant de nouvelles technologies. Expérimenter avec différents générateurs d’image. Dire avec un vocabulaire approprié ce que l’on fait, ressent, imagine, observe, analyse. Confronter intention et réalisation dans la conduite d’un projet pour l’adapter et le réorienter. »

Ensuite le document explique ce qu’est un avatar, un prompt et suggère des outils générateurs d’image : « artguru, Ipic, Crayion, MyEdit, Krea, Visual Electric, DeepImage, Copilot, Stable Diffusion (prompt en anglais). Si vous connaissez d’autres générateurs d’images vous pouvez les utiliser. »

L’enjeu des données personnelles et des générateurs d’image au Collège : quels usages de vos données ?

Avant même de regarder les différents générateurs d’images proposés, il s’avère que dans l’énoncé proposé il y a un souci majeur qui est celui de fournir à des générateurs d’images (dont il n’est rien dit en termes de données) un auto-portrait d’enfant (plus ou moins ressemblant j’en conviens) et des données personnelles à un service qui pourrait en faire un usage.

Ce point est d’autant plus problématique que si (et quand) il y a une formation aux IA génératives au Collège, cet aspect des risques autour des données sera abordé et là, l’enfant, n’y comprendra plus rien car une figure d’autorité (l’enseignant) lui aura déjà fait faire le contraire…

Sur ce cas très concret d’un sujet d’arts plastiques, analysons les risques de manière globale avant de plonger dans les CGU de quelques uns des services proposés dans le sujet.

Les risques globaux autour des générateurs d’images

L’utilisation d’un générateur d’images par un collégien comporte divers risques qu’il est crucial de comprendre et d’expliquer au collégien justement. Sur le plan de la confidentialité, les données personnelles utilisées pour prompter les modèles de diffusion peuvent être mémorisées et réutilisées. Notamment, cela signifie que ces images ou informations sensibles, peuvent être éventuellement incluses dans les ensembles d’entraînement futurs, sans consentement. Par la suite donc, elles pourraient être regénérées suite à l’entraînement du modèle de génération ultérieure en utilisant ces données fournies, entraînant ainsi des violations potentielles de la vie privée.

De plus, une fois les données intégrées dans le processus d’entraînement, il devient pratiquement impossible de les retirer ou d’en empêcher l’usage ultérieur. Ce problème est accentué par les risques d’exploitation malveillante. Par exemple, ces outils pourraient être utilisés pour créer des deepfakes ou pour usurper une identité, exposant ainsi les collégiens à des attaques d’ingénierie sociale ou à des manipulations numériques.

Concernant la sécurité des données, l’usage en ligne amplifie les vulnérabilités, car les images générées et les prompts utilisés sont souvent accessibles aux plateformes hébergeant ces services.

Enfin, les méthodes de protection actuelles, telles que les perturbations numériques ajoutées pour masquer des données sensibles, ne garantissent pas une sécurité absolue, surtout face à des techniques sophistiquées d’extraction ou de contournement.

Que disent les CGU des générateurs d’images proposés par cet enseignant ?

Les CGU d’ArtGuru

J’ai regardé rapidement quelques CGU. Par exemple ArtGuru indique : « BY USING THE WEBSITE, YOU AFFIRM THAT YOU ARE OF LEGAL AGE TO ENTER INTO THE TERMS. IN CASE OF USING MAGIC AVATARS FEATURE YOU EXPLICITLY CONFIRM THAT YOU ARE AT LEAST 18/21 YEARS OLD (AS APPLICABLE IN YOUR JURISDICTION)« , il faut donc être majeur pour utiliser le service Magic Avatars. Et pour le reste du site web : « IF YOU ARE 13 OR OLDER, BUT UNDER THE APPLICABLE AGE OF MAJORITY IN YOUR STATE OR JURISDICTION OF RESIDENCE, THEN YOU AGREE TO REVIEW THIS AGREEMENT WITH A PARENT OR LEGAL GUARDIAN TO MAKE SURE YOU AND YOUR PARENT OR LEGAL GUARDIAN UNDERSTAND AND AGREE TO THIS AGREEMENT. » Cela ne sera pas le cas de notre collégien de troisième… qui n’aura de toute façon même pas ouvert les CGU (en anglais).

Points positifs :

  1. Propriété du contenu : Les CGU précisent que le contenu utilisateur, y compris les images générées, reste la propriété de l’utilisateur. Cela garantit un certain contrôle sur les données téléchargées à partir du site.
  2. Licence limitée et révocable : La licence accordée à Artguru pour l’utilisation du contenu est limitée à l’amélioration et au fonctionnement de l’application. Cette licence est automatiquement révoquée à la suppression du contenu ou du compte.
  3. Exclusion de la vente de données : Les CGU indiquent explicitement qu’Artguru ne vend pas les contenus des utilisateurs à des tiers, limitant ainsi certains risques d’exploitation commerciale.
  4. Protection des données : En cas de violation de sécurité, Artguru s’engage à informer les utilisateurs conformément à sa politique de confidentialité.
  5. Restrictions sur les contenus inappropriés : L’application interdit les contenus exploitant les enfants, incitant à la haine ou promouvant des activités illégales.

Points problématiques :

  1. Licence étendue : Bien que la licence soit limitée, elle permet à Artguru de reproduire, modifier et distribuer le contenu pour « améliorer les produits ». Cela inclut potentiellement l’entraînement des modèles IA, ce qui pourrait poser des problèmes de confidentialité et de contrôle des données.
  2. Publicité liée au contenu utilisateur : Les CGU permettent à Artguru d’associer des publicités au contenu de l’utilisateur, ce qui pourrait être gênant pour des mineurs, notamment si leur autoportrait est utilisé à cette fin.
  3. Risque de stockage temporaire : Même si la licence est révoquée à la suppression du contenu, il est difficile de vérifier que toutes les copies sont effectivement supprimées, surtout si elles ont été intégrées dans des processus d’entraînement.
  4. Responsabilité de l’utilisateur : Les CGU imposent une responsabilité importante à l’utilisateur pour garantir que le contenu téléchargé respecte toutes les lois et obtient les consentements nécessaires. Cela peut être difficile à gérer pour un collégien.
  5. Absence de garanties absolues sur la sécurité : Artguru décline sa responsabilité en cas de perte de contenu suite à des incidents hors de son contrôle, ce qui inclut potentiellement des violations de données.

Les CGU montrent que, bien que l’application ait des mesures en place pour limiter les abus, le téléchargement d’un autoportrait reste risqué. Les données pourraient être utilisées pour entraîner des modèles ou associées à des publicités…

Les CGU de Crayion

L’analyse des CGU de Craiyon révèle aussi plusieurs points importants à considérer avant de permettre à un collégien d’y télécharger un autoportrait.

Points Positifs

  1. Propriété du contenu généré : L’utilisateur conserve les droits sur les images générées, bien que Craiyon se réserve des droits d’utilisation étendus sur ces données.
  2. Utilisation personnelle encadrée : Les CGU interdisent expressément l’utilisation illégale ou non autorisée des images et du site, ce qui constitue une garantie de conformité légale.
  3. Engagements liés à la conduite : Craiyon interdit explicitement la génération ou la diffusion de contenu exploitant ou représentant des enfants de manière abusive, ainsi que de contenu illégal, haineux ou violent.
  4. Respect des lois locales : Les utilisateurs sont responsables du respect des lois de leur juridiction, ce qui impose un cadre légal clair.

Points Problématique

  1. Licence perpétuelle et irrévocable sur les données : Craiyon acquiert une licence mondiale, non exclusive et irrévocable pour utiliser, reproduire et distribuer tout contenu (prompts et images générées). Cette licence ne prend pas fin même si l’utilisateur cesse d’utiliser le service. Cela signifie que l’autoportrait d’un collégien pourrait être utilisé ou exploité de manière imprévisible.
  2. Entraînement de modèles d’IA : Les CGU indiquent que les images générées sont produites à partir de modèles entraînés sur des ensembles de données potentiellement publics ou propriétaires, mais il n’est pas précisé si les contenus des utilisateurs sont également utilisés pour entraîner ces modèles. Cela pose des questions de confidentialité.
  3. Absence de garanties fortes en matière de sécurité : Les CGU spécifient que Craiyon n’assume aucune responsabilité pour les erreurs, pertes de données ou failles de sécurité, même si l’utilisateur peut être informé en cas d’incident.
  4. Publicité et collecte de données : Bien que les CGU n’abordent pas directement l’exploitation des données pour la publicité, la politique de confidentialité associée pourrait permettre une collecte et un usage indirect des données des utilisateurs, y compris les mineurs.
  5. Absence de contrôle parental : Les CGU ne mentionnent pas de dispositifs spécifiques pour protéger les mineurs ou permettre un contrôle parental sur l’utilisation du service.
  6. Risque lié à l’internationalisation : Les données peuvent être transférées et traitées dans des pays ayant des lois sur la protection des données moins strictes que celles de l’Union Européenne, ce qui est problématique pour un utilisateur basé en France… pas très RGPD quoi !

Le cas de Stable Diffusion…

Le cas de Stable Diffusion apporte encore une difficulté supplémentaire c’est que comme il s’agit d’un modèle open source, il existe en fait de nombreux sites « Stable Diffusion ». Aucune URL n’est donnée dans le devoir, donc les collégiens se retrouvent ici possiblement confrontés à des sites encore moins regardant sur les data que les deux précédents !

Ainsi le site en .fr n’a lui carrément pas de CGU / mentions légales. Le site Stable-Diffusion-France renvoie lui vers des « girls friends » (en mode 18 ans et + !!), la version sur Hugging Face est au milieu du lot de liens disponibles sur Google. Et il y a aussi en première page un StableDifffusion (vous noterez les trois « f ») qui semble (à un oeil habitué) plus que bizarre (surtout quand on parcourt aussi les « Terms of Services »).

Que faut-il faire pour utiliser un générateur d’images au Collège ? Ne pas postez de données personnelles !

En tant que parents, abordez le sujet avec l’enseignant quand vous êtes confrontés à cela. Ce n’est pas normal d’avoir un sujet fourni au sein de l’éducation nationale, SANS explication sur les enjeux des données personnelles, le risque de réutilisation pour l’entraînement des générations futures d’IA, etc.

Si vous êtes enseignant, vous pouvez modifier l’exercice pour ne pas vous baser sur la représentation de ce qu’est l’enfant, et ses données personnelles, mais plutôt un personnage imaginaire inventé par l’enfant, un héro de littérature, un personnage de film, etc. A ce titre l’exemple des Chroniques Alternatives est parfait et permet de procéder à la même démarche de formation autour des IA génératives d’images, la sécurité des enfants en plus !

Vous pouvez aussi proposer une installation simple d’un générateur d’images en local sur une machine de l’établissement, ou sur les ordinateurs des familles. Cela sera plus lent, limitera l’exercice aux modèles installables (différentes version de stable diffusion ou de Flux par exemple) en local, mais protégera les données des enfants !

A ce titre, j’ai par exemple prompté Grok 2 avec « Une photo hyper réaliste d’un collégien en train d’utiliser un ordinateur » et imaginez que cette photo soit celle de votre enfant ?

Je suis convaincu que ce cas de figure existe dans d’autres établissements, avec d’autres enseignants, dans d’autres disciplines et mon objectif n’est pas de créer des difficultés à cette personne (que je ne connais même pas par ailleurs), mais d’alerter à nouveau sur la nécessité absolue de réellement former les personnels pédagogiques autour de ces sujets pour qu’en retour ils forment eux aussi les enfants. L’usage intelligent des intelligences artificielles s’apprend !

Alain Goudey

Imaginer l'Ecole du futur à NEOMA, créer l'identité sonore des marques avec Atoomedia & Mediavea, conseiller sur la transformation numérique avec Sociacom | Expert en éducation, technologies disruptives, IA & design sonore.

Voir tous les articles de Alain Goudey →

Laisser un commentaire

Votre adresse e-mail ne sera pas publiée. Les champs obligatoires sont indiqués avec *