« The Dark Side of the Moon »​ de ChatGPT

Dans une exploration révolutionnaire du son et de l’émotion, l’album phare de Pink Floyd « Dark Side of the Moon » a emmené les auditeurs dans un voyage à travers le kaléidoscope de l’expérience humaine, mettant en lumière les ombres qui façonnent notre existence. Tout comme cet album classique plonge dans les recoins obscurs de la psyché, cet article vous emmène en voyage dans les aspects les moins documentés et les plus sombres des modèles GPT, les soi-disant chefs-d’œuvre de l’IA qui ont révolutionné le monde du traitement du langage naturel. En nous aventurant dans les profondeurs de ces modèles énigmatiques, nous découvrons leurs biais, leurs impacts sociaux, leurs questions de sécurité et leurs implications environnementales, et nous nous confrontons aux coûts cachés de ces merveilles technologiques qui font écho aux refrains obsédants du chef-d’œuvre intemporel de Pink Floyd.

Intelligence vs. langage : les LLM concerne le langage et non l’intelligence

Le langage est un système de communication utilisé par les humains, composé de symboles, de sons et de règles qui nous permettent d’exprimer nos pensées, nos émotions et nos idées. C’est un outil qui permet de représenter et de communiquer aux autres la complexité de nos pensées et de nos expériences. Le langage peut prendre différentes formes, telles que les mots parlés, les textes écrits, le langage des signes ou même le langage corporel.

L’intelligence, quant à elle, désigne les capacités cognitives d’un individu à apprendre, raisonner, résoudre des problèmes, planifier, comprendre des idées complexes et s’adapter à de nouvelles situations. C’est la capacité mentale de traiter des informations, de tirer des conclusions et d’appliquer des connaissances dans divers contextes.

GPT, c’est comme la « pensine » dans Harry Potter, dans laquelle n’importe quel sorcier peut mettre ou prendre quelque chose et l’utiliser pour sa propre pensée…

Prenons l’exemple d’un perroquet capable d’imiter la parole humaine. Le perroquet est capable de reproduire les sons et même les phrases du langage humain. Cependant, cette capacité n’implique pas nécessairement que le perroquet possède une intelligence, du moins pas dans la même mesure que les humains. Il se peut que le perroquet ne comprenne pas le sens des mots ou qu’il ne soit pas capable de raisonner de manière complexe ou de résoudre des problèmes. Ainsi, bien que le perroquet fasse preuve d’une maîtrise impressionnante du langage, son intelligence peut être limitée.

Noam Chomsky, célèbre linguiste et critique de ChatGPT, affirme que ChatGPT n’est pas une véritable intelligence, mais un simple outil statistique qui imite le langage humain sans aucune compréhension ni créativité (notre perroquet). Ce qui est sûr, c’est que le GPT ne comprend pas ce qu’il écrit et ne ressent aucune émotion à ce sujet… pour autant sur la dimension verbale du test de QI, les résultats sont très nettement supérieurs à la moyenne de la population.

Il est donc préférable d’éviter de confondre intelligence et langage. En effet, il existe différents types d’intelligence, tels que l’intelligence générale, l’intelligence linguistique, l’intelligence émotionnelle ou l’intelligence sociale. GPT-4 peut faire preuve d’une grande intelligence linguistique, puisqu’il peut produire des textes fluides et cohérents à partir de grandes quantités de données, mais il peut manquer d’intelligence générale, puisqu’il ne peut pas comprendre ou raisonner sur le sens ou les implications de ses textes (en tout cas les raisonnements restent assez basiques). GPT-4 peut également manquer d’intelligence émotionnelle ou sociale, car il ne peut pas interagir avec les humains de manière naturelle ou empathique.

D’après les chiffres que j’ai vus sur le sujet, GPT-3 se situe aux alentours de 83 et GPT-4 aux alentours de 95 aux tests de QI. Une personne moyenne dans la population se situe à 100… c’est au global, mais si nous abordons la partie linguistique du modèle, les résultats du GPT-4 sont bien plus élevés que 100 (on serait autour de 165) !

Ainsi, il est clair que pour moi, les modèles LLM (et donc GPT) sont plutôt des outils, comme un miroir de la pensée, qui permet aux humains de penser mieux, plus vite et de manière plus créative, plutôt que de remplacer la pensée des humains (ou même de la répliquer). C’est comme la « pensine » dans Harry Potter, dans laquelle n’importe quel sorcier peut mettre ou prendre quelque chose et l’utiliser pour sa propre pensée, comme s’il créait une certaine distance avec la pensée. Cela évite aussi le syndrome de la page blanche.

Un examen plus approfondi des biais, des préjugés et de la PI dans les modèles GPT

Les modèles GPT peuvent présenter des biais ou des préjugés qui reflètent les données sur lesquelles ils ont été formés. Ils peuvent générer des propos offensants, haineux ou discriminatoires. L’intelligence artificielle (IA) et l’apprentissage machine (ML) ont fait des progrès considérables ces dernières années, ce qui a conduit au développement de modèles linguistiques avancés tels que GPT-3 et GPT-4. Ces modèles ont démontré des capacités remarquables à générer des textes semblables à ceux des humains, à répondre à des questions et à effectuer diverses tâches liées au langage. Toutefois, ces modèles d’IA ne sont pas exempts de défauts. L’une des préoccupations les plus pressantes est la présence de biais et de préjugés dans leurs données, qui peuvent conduire à des résultats indésirables et perpétuer les inégalités sociales existantes. Dans cet article de blog, nous allons explorer les différents types de biais que l’on trouve dans les modèles TPG et discuter des moyens potentiels de les résoudre.

Biais dans les données

Il y a biais de données lorsque les données d’entraînement utilisées pour construire un modèle contiennent des échantillons déséquilibrés ou non représentatifs de la population réelle. Étant donné que les modèles GPT sont entraînés sur de grandes quantités de données textuelles provenant d’Internet, ils peuvent hériter des biais présents dans le contenu sur lequel ils sont entraînés. Il s’agit notamment de la sous-représentation de certains groupes démographiques, de la surreprésentation d’autres groupes et de la perpétuation de stéréotypes.

Biais de confirmation

Les modèles GPT ont tendance à générer des résultats qui confirment les biais présents dans leurs données d’apprentissage. Cela signifie que si un modèle a été exposé à des données biaisées, il est plus susceptible de produire un texte qui s’aligne sur ces biais. Par exemple, si les données d’apprentissage contiennent des stéréotypes de genre, le modèle peut générer un texte qui renforce ces stéréotypes, même s’ils ne sont pas exacts ou justes.

Biais d’amplification

Le biais d’amplification se produit lorsqu’un modèle non seulement perpétue les biais existants dans ses données d’apprentissage, mais les amplifie également. Cela peut se produire lorsqu’un modèle apprend à associer certains attributs ou stéréotypes à des groupes spécifiques, et que ces associations sont renforcées au fil du temps, à mesure que le modèle affine sa compréhension du langage.

Biais temporel

Les modèles GPT sont formés sur des données historiques, ce qui signifie qu’ils peuvent refléter les valeurs, les croyances et les préjugés du passé plutôt que du présent. Ce biais temporel peut conduire à la génération de textes obsolètes ou inappropriés dans le contexte actuel.

Biais algorithmique

Le biais algorithmique peut provenir de la conception du modèle d’IA lui-même. Il peut s’agir du choix des algorithmes, des techniques d’optimisation ou même des décisions architecturales spécifiques prises au cours du développement du modèle. Ces facteurs peuvent contribuer à l’émergence de biais dans les résultats du modèle.

L’élimination des biais dans les modèles d’IA est un défi permanent qui nécessite des efforts concertés de la part des chercheurs, des développeurs et de l’ensemble de la communauté de l’IA. Parmi les approches possibles pour atténuer les biais dans les modèles GPT, on peut citer : la diversification des données de formation, les outils de détection des biais, les algorithmes de débiaisage, la supervision et l’évaluation humaines. 

En contrepartie de tous les biais exposés, les modèles GPT peuvent être utilisés à des fins malveillantes, telles que la diffusion de fausses informations, la propagande ou le spam. Ils peuvent également constituer une menace pour la vie privée et la sécurité en usurpant l’identité des utilisateurs ou en les manipulant.

Droits d’auteurs et propriété intellectuelle

Une autre question est celle des droits d’auteur et de la propriété intellectuelle. Les modèles GPT, comme d’autres modèles de langage, peuvent présenter des risques liés aux droits d’auteur et à la propriété intellectuelle (PI) en raison de leur capacité à générer des textes semblables à ceux des humains sur la base des données sur lesquelles ils ont été formés. Étant donné que les modèles GPT sont entraînés sur de grandes quantités de textes provenant de diverses sources, y compris des documents protégés par le droit d’auteur, il est possible qu’ils génèrent des contenus qui ressemblent étroitement à des œuvres protégées, voire qui les reproduisent. Cela soulève la question de savoir si le contenu généré constitue une violation des droits d’auteur et comment y faire face.

Les modèles GPT peuvent involontairement faciliter le plagiat en générant du contenu qui ressemble étroitement à des œuvres existantes sans attribution appropriée. Cela peut entraîner des problèmes éthiques et juridiques, en particulier dans les contextes universitaires, journalistiques ou créatifs. Il peut également être difficile de savoir qui détient les droits de propriété intellectuelle sur le contenu généré par un modèle GPT. Alors que l’utilisateur du modèle fournit des données et peut orienter la sortie, le modèle lui-même génère le contenu sur la base de sa formation. Il peut en résulter une ambiguïté quant à la question de savoir si les droits de propriété intellectuelle appartiennent à l’utilisateur, aux créateurs du modèle ou à une combinaison des deux.

Enfin, dans certains cas, les modèles GPT peuvent être entraînés sur des données propriétaires ou confidentielles, ce qui peut entraîner l’utilisation ou la divulgation non autorisée d’informations sensibles. Il peut en résulter des problèmes juridiques et éthiques pour les créateurs et les utilisateurs du modèle. C’est pourquoi il est fondamental de ne pas copier d’informations confidentielles dans vos discussions avec l’IA. 

Impacts sur la sécurité et la confidentialité

La confidentialité des données fournies par les utilisateurs à ChatGPT est une autre question importante. Selon les résultats d’une recherche sur le web, l’utilisation de ChatGPT à des fins professionnelles pour analyser des informations confidentielles pourrait constituer une violation de données protégées par la loi ou par un contrat, telles que des secrets d’affaires ou des secrets médicaux ou bancaires. Environ 3 % des utilisateurs ont déjà utilisé ChatGPT avec des données confidentielles ( !). Microsoft avertit clairement ses employés de ne pas copier de données sensibles dans ses outils basés sur l’IA. 

ChatGPT met également en garde les utilisateurs contre les dangers de lui fournir des données sensibles ou confidentielles, car il peut les stocker ou les partager avec des tiers. En outre, ChatGPT peut présenter un risque de sécurité pour les données professionnelles, car elles peuvent être vulnérables au piratage ou à la manipulation par des acteurs malveillants. Ceci est particulièrement vrai lors de l’utilisation de la génération de code qui peut contenir des failles de sécurité en vue d’une exploitation future par des pirates.

Les problèmes de confidentialité des modèles GPT découlent du fait que ces modèles de langage sont formés sur de grandes quantités de données textuelles accessibles au public sur l’internet, qui peuvent par inadvertance contenir des informations sensibles ou privées. Lorsque les modèles GPT génèrent des réponses ou s’engagent dans des conversations, il existe un risque qu’ils divulguent par inadvertance (en raison du flow de la conversation) des informations confidentielles ou exposent des détails privés. Ce problème peut être décomposé en plusieurs sous-questions :

1. Inclusion de données sensibles dans le corpus de formation

Au cours de la phase de collecte des données pour la formation des modèles GPT, il est possible que des informations sensibles ou privées soient incluses dans le corpus de formation. Il peut s’agir de données provenant de forums privés, de documents ayant fait l’objet d’une fuite, de communications confidentielles ou même de documents protégés par des droits d’auteur. L’inclusion de telles données dans le processus de formation soulève des préoccupations concernant la confidentialité des données et les droits de propriété intellectuelle.

2. Divulgation involontaire d’informations personnelles

Les modèles GPT peuvent divulguer par inadvertance des informations personnelles lors de la génération de texte. Par exemple, ils peuvent générer une adresse électronique, un numéro de téléphone ou un nom d’apparence réaliste mais totalement fictifs qui, par coïncidence, correspondent aux coordonnées d’une personne réelle. Bien que le modèle n’ait pas l’intention de divulguer des informations sur des personnes spécifiques, il existe un risque de correspondances accidentelles avec des données du monde réel.

3. Mémorisation des données d’entraînement

Bien que les modèles GPT soient conçus pour généraliser à partir des modèles qu’ils apprennent au cours de la formation, ils peuvent également mémoriser certains points de données spécifiques. Cela peut conduire à la divulgation involontaire d’informations sensibles présentes dans les données d’apprentissage. Par exemple, si un modèle mémorise les informations médicales ou financières privées d’une personne, il pourrait générer un texte contenant ces informations, ce qui entraînerait une violation de la confidentialité.

4. Mauvais usage potentiel du contenu généré

Les modèles GPT devenant de plus en plus sophistiqués, le contenu qu’ils génèrent peut être très convaincant et difficile à distinguer d’un texte écrit par un être humain. Cela soulève des inquiétudes quant à l’utilisation abusive potentielle du contenu généré, comme la diffusion de désinformation, la création de faux textes ou l’usurpation d’identité. Des problèmes de confidentialité se posent lorsque ce type de contenu est utilisé pour manipuler ou tromper des personnes, en particulier dans des contextes sensibles.

La résolution des problèmes de confidentialité dans les modèles GPT est une tâche complexe qui nécessite la collaboration des chercheurs, des développeurs et des décideurs politiques. Parmi les approches possibles pour atténuer les risques de confidentialité, citons : le filtrage et l’anonymisation des données, l’application de techniques de confidentialité différentielle, le contrôle et le filtrage des résultats et, bien sûr, l’encouragement d’une utilisation éthique.

Les impacts sociaux des modèles GPT

L’essor des modèles linguistiques avancés tels que GPT-3 et GPT-4 a été tout simplement révolutionnaire, car ces systèmes d’IA ont démontré des capacités remarquables à générer des textes semblables à ceux des humains et à effectuer diverses tâches liées au langage. Malgré leurs avantages potentiels, les modèles GPT présentent également des défis éthiques et sociaux qui méritent d’être examinés attentivement. Nous nous pencherons ici sur l’impact des modèles GPT sur la communication, la créativité et l’action humaines.

Les modèles de GPT ont le potentiel de remodeler la communication humaine de plusieurs façons :

a. Modification de la dynamique interpersonnelle : Les systèmes d’IA étant de plus en plus aptes à générer des textes semblables à ceux des humains, il existe un risque de brouiller les frontières entre les contenus générés par les humains et ceux générés par les machines. Cela pourrait entraîner des changements dans la dynamique interpersonnelle, car les gens pourraient avoir du mal à discerner s’ils interagissent avec un humain ou une machine, ce qui pourrait éroder la confiance dans la communication numérique.

b. Chambres d’écho et polarisation : Les modèles GPT peuvent involontairement contribuer à la création de chambres d’écho en produisant un contenu qui s’aligne sur les croyances et les préjugés préexistants des utilisateurs. Ce renforcement peut exacerber la polarisation et entraver un dialogue constructif.

c. Désinformation : La nature convaincante du contenu généré par les modèles GPT soulève des inquiétudes quant à la propagation de la désinformation, car les systèmes d’IA pourraient être armés pour produire des fausses nouvelles, des faux textes ou d’autres formes de contenu malveillant.

Les modèles GPT peuvent à la fois améliorer et défier la créativité humaine. Les systèmes d’IA tels que les modèles GPT peuvent agir comme des partenaires créatifs, aidant les utilisateurs à trouver des idées, à rédiger des contenus ou à résoudre des problèmes complexes. Cette collaboration peut conduire à l’émergence de nouvelles idées et de solutions innovantes… mais sur la base d’un arrangement statistique de contenus antérieurs, ce qui pose la question d’un éventuel plagiat ?

Par ailleurs, l’originalité est-elle menacée ? L’utilisation généralisée des modèles GPT pourrait potentiellement diminuer la valeur de la créativité humaine, car le contenu généré par l’IA pourrait être perçu comme moins original ou moins précieux que le contenu créé uniquement par des humains. Elle peut également polariser la culture manipulée par le biais de l’ensemble de données utilisé, reflétant en soi une certaine vision du monde.

Au-delà de l’impact sur la créativité, il me semble que les modèles GPT peuvent également affecter l’agence humaine, c’est-à-dire la capacité des individus à faire des choix et à prendre des mesures. Ils peuvent diminuer la capacité de prise de décision et l’autonomie : À mesure que les systèmes d’IA deviennent plus sophistiqués, il existe un risque de dépendance excessive à l’égard de leurs recommandations ou de leurs résultats, ce qui conduit à l’érosion de l’action humaine dans les processus de prise de décision.

Alors qu’au contraire, l’outil exprimera sa plus grande valeur lorsqu’il est mis à l’épreuve par un cerveau humain. Toutes les études (dans le domaine médical notamment) montrent que les solutions conçues par un humain augmenté par l’IA sont meilleures que les solutions conçues uniquement par l’IA. L’IA doit être utilisée comme un outil d’aide à la réflexion et non comme un outil d’aide à la solution.

Les impacts de l’IA sur l’environnement  

Les modèles GPT, comme d’autres modèles d’intelligence artificielle (IA) à grande échelle, peuvent avoir des impacts environnementaux significatifs. Ces impacts proviennent principalement des immenses ressources informatiques et de l’énergie nécessaires à l’entraînement de ces modèles. En termes de consommation d’énergie, l’entraînement d’un modèle GPT implique le traitement de quantités massives de données sur des systèmes informatiques puissants, souvent à l’aide d’unités de traitement graphique (GPU) ou d’unités de traitement tensoriel (TPU). Ce processus nécessite une quantité considérable d’électricité, qui peut contribuer aux émissions de gaz à effet de serre, en fonction de la source d’énergie. L’un des aspects environnementaux de l’utilisation des modèles GPT est l’empreinte carbone élevée de leur formation et de leur stockage. Selon un article co-écrit par Timnit Gebru et Emily M. Bender en 2021, les grands modèles linguistiques, tels que le GPT-3, ont un impact environnemental significatif en raison des quantités massives de données et de la puissance de calcul qu’ils requièrent. Le modèle GPT-3, par exemple, a été entraîné sur 175 milliards de paramètres, soit environ 10 fois la taille des modèles précédents. Cette situation soulève des inquiétudes quant à la durabilité et à l’efficacité des modèles GPT. Selon les fondateurs de « Carbontracker », une seule session d’entraînement pour ce modèle génère l’équivalent d’une année de consommation d’énergie de 126 ménages danois et émet la même quantité de CO2 qu’un voyage de 700 000 kilomètres d’un véhicule à essence.

Les émissions de carbone associées à la formation des modèles GPT dépendent largement du mix énergétique des centres de données où la formation a lieu. Si l’électricité est produite à partir de combustibles fossiles, l’empreinte carbone peut être importante. En revanche, l’utilisation de sources d’énergie renouvelables pour alimenter les centres de données peut contribuer à atténuer l’impact sur l’environnement. Mais le rythme rapide de la recherche et du développement en matière d’IA entraîne des améliorations constantes du matériel, rendant souvent les anciens systèmes obsolètes. Cela peut contribuer à la production de déchets électroniques, car les anciens GPU et TPU sont mis au rebut.

N’oublions pas non plus la question de l’extraction des ressources, car la fabrication du matériel utilisé dans les systèmes d’IA nécessite l’extraction et le traitement de diverses ressources naturelles, notamment des éléments et des métaux de la terre rare. Si elles ne sont pas gérées de manière responsable, ces activités peuvent entraîner une dégradation de l’environnement et une pollution.

De la même manière que « Dark Side of the Moon » de Pink Floyd laisse à l’auditeur une profonde réflexion sur la complexité de l’expérience humaine, notre exploration des modèles GPT nous a conduits à travers le labyrinthe des biais, des conséquences sociales, des problèmes de sécurité et des préoccupations environnementales associés à ces puissances de l’IA. Alors que nous nous efforçons d’exploiter le potentiel des modèles GPT, il est essentiel de reconnaître et d’aborder ces aspects plus sombres, tout comme l’opus magnum de Pink Floyd nous implore d’affronter nos propres ombres intérieures… pour tenter de les dépasser.