C’est un article d’alerte… Des parents m’ont parl\u00e9 d’un sujet d’Art Plastiques de leur enfant, donn\u00e9 en troisi\u00e8me dans un coll\u00e8ge d’Ile-de-France. En entendant l’histoire, cela m’a fait bondir ! Le probl\u00e8me ? L’usage qui est fait des g\u00e9n\u00e9rateurs d’image ! <\/p>\n\n\n\n
En effet, il est demand\u00e9 aux enfants de comparer au moins trois g\u00e9n\u00e9rateurs d’image sur la base d’un autoportrait de l’enfant (fait par l’enfant) et \u00ab\u00a0des informations (personnelles) dans le petit carnet\u00a0\u00bb (donc ce qu’ils aiment, leur passion, qui ils sont, etc.). L’id\u00e9e semble int\u00e9ressante de prime abord (r\u00e9flexivit\u00e9, repr\u00e9sentation de soi, etc.), mais elle est, r\u00e9alis\u00e9e ainsi, plut\u00f4t dangereuse pour les enfants. Voyons ensemble pourquoi.<\/p>\n\n\n\n
Le sujet plut\u00f4t bien con\u00e7u, repart du programme : \u00ab\u00a0Programme : L\u2019oeuvre, l\u2019espace et le spectateur : Les m\u00e9tissages entre arts plastiques et technologie num\u00e9riques : les \u00e9volutions rep\u00e9rables sur la notion d\u2019oeuvre et d\u2019artiste.
Objectifs : Utiliser les outils num\u00e9riques pour des op\u00e9rations simples \u00e0 des fins de cr\u00e9ation. D\u00e9couvrir l\u2019utilisation des prompts.
Comp\u00e9tences : Exp\u00e9rimenter, produire, cr\u00e9er : Cr\u00e9er des productions en usant de nouvelles technologies. Exp\u00e9rimenter avec diff\u00e9rents g\u00e9n\u00e9rateurs d\u2019image. Dire avec un vocabulaire appropri\u00e9 ce que l\u2019on fait, ressent, imagine, observe, analyse. Confronter intention et r\u00e9alisation dans la conduite d\u2019un projet pour l\u2019adapter et le r\u00e9orienter.\u00a0\u00bb <\/p>\n\n\n\n
Ensuite le document explique ce qu’est un avatar, un prompt et sugg\u00e8re des outils g\u00e9n\u00e9rateurs d’image : \u00ab\u00a0artguru, Ipic, Crayion, MyEdit, Krea, Visual Electric, DeepImage, Copilot, Stable Diffusion (prompt en anglais). Si vous connaissez d\u2019autres g\u00e9n\u00e9rateurs d\u2019images vous pouvez les utiliser.\u00a0\u00bb<\/p>\n\n\n\n
Avant m\u00eame de regarder les diff\u00e9rents g\u00e9n\u00e9rateurs d’images propos\u00e9s, il s’av\u00e8re que dans l’\u00e9nonc\u00e9 propos\u00e9 il y a un souci majeur qui est celui de fournir \u00e0 des g\u00e9n\u00e9rateurs d’images (dont il n’est rien dit en termes de donn\u00e9es) un auto-portrait d’enfant (plus ou moins ressemblant j’en conviens) et des donn\u00e9es personnelles \u00e0 un service qui pourrait en faire un usage. <\/p>\n\n\n\n
Ce point est d’autant plus probl\u00e9matique que si (et quand) il y a une formation aux IA g\u00e9n\u00e9ratives au Coll\u00e8ge, cet aspect des risques autour des donn\u00e9es sera abord\u00e9 et l\u00e0, l’enfant, n’y comprendra plus rien car une figure d’autorit\u00e9 (l’enseignant) lui aura d\u00e9j\u00e0 fait faire le contraire…<\/p>\n\n\n\n
Sur ce cas tr\u00e8s concret d’un sujet d’arts plastiques, analysons les risques de mani\u00e8re globale avant de plonger dans les CGU de quelques uns des services propos\u00e9s dans le sujet.<\/p>\n\n\n\n
L\u2019utilisation d\u2019un g\u00e9n\u00e9rateur d\u2019images par un coll\u00e9gien comporte divers risques qu\u2019il est crucial de comprendre et d’expliquer au coll\u00e9gien justement. Sur le plan de la confidentialit\u00e9, les donn\u00e9es personnelles utilis\u00e9es pour prompter les mod\u00e8les de diffusion peuvent \u00eatre m\u00e9moris\u00e9es et r\u00e9utilis\u00e9es. Notamment, cela signifie que ces images ou informations sensibles, peuvent \u00eatre \u00e9ventuellement incluses dans les ensembles d\u2019entra\u00eenement futurs, sans consentement. Par la suite donc, elles pourraient \u00eatre reg\u00e9n\u00e9r\u00e9es suite \u00e0 l’entra\u00eenement du mod\u00e8le de g\u00e9n\u00e9ration ult\u00e9rieure en utilisant ces donn\u00e9es fournies, entra\u00eenant ainsi des violations potentielles de la vie priv\u00e9e. <\/p>\n\n\n\n
De plus, une fois les donn\u00e9es int\u00e9gr\u00e9es dans le processus d\u2019entra\u00eenement, il devient pratiquement impossible de les retirer ou d\u2019en emp\u00eacher l\u2019usage ult\u00e9rieur. Ce probl\u00e8me est accentu\u00e9 par les risques d\u2019exploitation malveillante. Par exemple, ces outils pourraient \u00eatre utilis\u00e9s pour cr\u00e9er des deepfakes ou pour usurper une identit\u00e9, exposant ainsi les coll\u00e9giens \u00e0 des attaques d\u2019ing\u00e9nierie sociale ou \u00e0 des manipulations num\u00e9riques. <\/p>\n\n\n\n
Concernant la s\u00e9curit\u00e9 des donn\u00e9es, l\u2019usage en ligne amplifie les vuln\u00e9rabilit\u00e9s, car les images g\u00e9n\u00e9r\u00e9es et les prompts utilis\u00e9s sont souvent accessibles aux plateformes h\u00e9bergeant ces services. <\/p>\n\n\n\n
Enfin, les m\u00e9thodes de protection actuelles, telles que les perturbations num\u00e9riques ajout\u00e9es pour masquer des donn\u00e9es sensibles, ne garantissent pas une s\u00e9curit\u00e9 absolue, surtout face \u00e0 des techniques sophistiqu\u00e9es d\u2019extraction ou de contournement. <\/p>\n\n\n\n
J’ai regard\u00e9 rapidement quelques CGU. Par exemple ArtGuru indique : \u00ab\u00a0BY USING THE WEBSITE, YOU AFFIRM THAT YOU ARE OF LEGAL AGE TO ENTER INTO THE TERMS. IN CASE OF USING MAGIC AVATARS FEATURE YOU EXPLICITLY CONFIRM THAT YOU ARE AT LEAST 18\/21 YEARS OLD (AS APPLICABLE IN YOUR JURISDICTION)<\/strong>\u00ab\u00a0, il faut donc \u00eatre majeur pour utiliser le service Magic Avatars. Et pour le reste du site web : \u00ab\u00a0IF YOU ARE 13 OR OLDER, BUT UNDER THE APPLICABLE AGE OF MAJORITY IN YOUR STATE OR JURISDICTION OF RESIDENCE, THEN YOU AGREE TO REVIEW THIS AGREEMENT WITH A PARENT OR LEGAL GUARDIAN TO MAKE SURE YOU AND YOUR PARENT OR LEGAL GUARDIAN UNDERSTAND AND AGREE TO THIS AGREEMENT.\u00a0\u00bb Cela ne sera pas le cas de notre coll\u00e9gien de troisi\u00e8me… qui n’aura de toute fa\u00e7on m\u00eame pas ouvert les CGU (en anglais).<\/p>\n\n\n\n Les CGU montrent que, bien que l’application ait des mesures en place pour limiter les abus, le t\u00e9l\u00e9chargement d\u2019un autoportrait reste risqu\u00e9. Les donn\u00e9es pourraient \u00eatre utilis\u00e9es pour entra\u00eener des mod\u00e8les ou associ\u00e9es \u00e0 des publicit\u00e9s… <\/p>\n\n\n\n L\u2019analyse des CGU de Craiyon<\/strong> r\u00e9v\u00e8le aussi plusieurs points importants \u00e0 consid\u00e9rer avant de permettre \u00e0 un coll\u00e9gien d\u2019y t\u00e9l\u00e9charger un autoportrait. <\/p>\n\n\n\n Le cas de Stable Diffusion apporte encore une difficult\u00e9 suppl\u00e9mentaire c’est que comme il s’agit d’un mod\u00e8le open source, il existe en fait de nombreux sites \u00ab\u00a0Stable Diffusion\u00a0\u00bb. Aucune URL n’est donn\u00e9e dans le devoir, donc les coll\u00e9giens se retrouvent ici possiblement confront\u00e9s \u00e0 des sites encore moins regardant sur les data que les deux pr\u00e9c\u00e9dents ! <\/p>\n\n\n\n Ainsi le site en .fr n’a lui carr\u00e9ment pas de CGU \/ mentions l\u00e9gales. Le site Stable-Diffusion-France renvoie lui vers des \u00ab\u00a0girls friends\u00a0\u00bb (en mode 18 ans et + !!), la version sur Hugging Face est au milieu du lot de liens disponibles sur Google. Et il y a aussi en premi\u00e8re page un StableDifffusion (vous noterez les trois \u00ab\u00a0f\u00a0\u00bb) qui semble (\u00e0 un oeil habitu\u00e9) plus que bizarre (surtout quand on parcourt aussi les \u00ab\u00a0Terms of Services\u00a0\u00bb).<\/p>\n\n\n\n En tant que parents, abordez le sujet avec l’enseignant quand vous \u00eates confront\u00e9s \u00e0 cela. Ce n’est pas normal d’avoir un sujet fourni au sein de l’\u00e9ducation nationale, SANS explication sur les enjeux des donn\u00e9es personnelles, le risque de r\u00e9utilisation pour l’entra\u00eenement des g\u00e9n\u00e9rations futures d’IA, etc. <\/p>\n\n\n\nPoints positifs :<\/h3>\n\n\n\n
\n
Points probl\u00e9matiques :<\/h3>\n\n\n\n
\n
Les CGU de Crayion<\/h3>\n\n\n\n
Points Positifs<\/strong><\/h3>\n\n\n\n
\n
Points Probl\u00e9matique<\/strong><\/h3>\n\n\n\n
\n
Le cas de Stable Diffusion… <\/h2>\n\n\n\n
Que faut-il faire pour utiliser un g\u00e9n\u00e9rateur d’images au Coll\u00e8ge ? Ne pas postez de donn\u00e9es personnelles ! <\/h2>\n\n\n\n