GPT-3, l’intelligence artificielle qui a appris presque toute seule à presque tout faire

L’entreprise américaine OpenAI exploite le plus gros réseau de neurones artificiels au monde, effectuant une grande variété de tâches avec des résultats souvent bluffants, mais à la qualité imprévisible. Article tiré du journal Le Monde.

L’entreprise américaine OpenAI exploite le plus gros réseau de neurones artificiels au monde GPT-3.

La dernière trouvaille de l’intelligence artificielle sait tout faire, ou presque. Ce robot écrit de la poésie, traduit, calcule, code des programmes informatiques, entretient des conversations en ligne, corrige des textes, rédige des tribunes…

Son nom ? GPT-3, pour Transformateur génératif pré-entraîné, troisième du nom. Il est apparu en mai dernier et est l’œuvre de l’entreprise américaine OpenAI, née en 2015, cofondée par Elon Musk et cofinancée par Microsoft.

Ce cerveau sachant parfaitement écrire est surtout le plus gros réseau de neurones artificiels jamais construit. Il possède 175 milliards de paramètres (équivalents au nombre de ses « neurones » et de la force de leurs interconnections), soit cent fois plus que son prédécesseur GPT-2 sorti en février 2019 et dix fois plus que les plus gros « concurrents ».

Pour apprendre à écrire, GPT-3 a lu près de 500 milliards de mots, l’équivalent de plus de 150 fois toute l’encyclopédie Wikipedia (dans toutes les langues), ou de plus de 2000 ans de lecture du quotidien Le Monde

Il a été programmé sur l’un des dix plus puissants ordinateurs du monde, propriété de Microsoft, doté d’environ 10 000 cartes graphiques, presque dix fois plus que le plus gros ordinateur de la recherche publique française, le supercalculateur Jean-Zay.

Un gouffre énergétique

Sa consommation électrique est cent fois plus grande que pour GPT-2. Une équipe de l’université du Massachusetts, à Amherst, estimait en 2019 que la mise au point d’un seul des processeurs de GPT-3 dégage autant d’équivalent carbone qu’un vol au-dessus des Etats-Unis. « Il y a une escalade sur ces systèmes. Seules les entreprises privées peuvent les développer et les utiliser », regrette Laurent Besacier, professeur d’informatique à l’université Grenoble-Alpes.

OpenAI vend son service, soit depuis le 1er octobre, sur abonnement en fonction du nombre de requêtes envoyées à son « cerveau », soit depuis septembre, par contrat exclusif avec… Microsoft.

« Avant on pouvait distinguer les textes écrits par une machine de ceux écrits par des humains. C’est de plus en plus dur. Ces systèmes produisent du bois lissé, sans écharde », résume François-Régis Chaumartin, président de Proxem, entreprise spécialisée dans l’analyse sémantique de textes.

« Techniquement, c’est compliqué. Conceptuellement, c’est simple. Je suis plus impressionné par la technologie que par la science derrière GPT-3 », souligne François Yvon, chercheur CNRS au Laboratoire d’informatique pour la mécanique et les sciences de l’ingénieur (Orsay).

GPT-3 appartient à la grande famille de l’intelligence artificielle par apprentissage automatique et à la sous-catégorie des réseaux de neurones profonds, c’est-à-dire des fonctions mathématiques dont les paramètres sont calculés pour produire la bonne réponse à partir de données d’entraînement. En 2012, ces modèles surpassaient leurs prédécesseurs à un jeu de reconnaissance d’images. En 2016, ils battaient un champion du monde de Go, puis de Poker ou de jeux vidéo…

En 2017, une équipe de Google innove et propose une modification astucieuse de l’énorme fonction mathématique dans le but d’améliorer la traduction. Au lieu de « bêtement » apprendre la meilleure façon d’accoupler une phrase et sa traduction à partir de nombreux exemples, il s’agit de construire la meilleure représentation abstraite d’un mot ou d’une phrase en tenant compte du « contexte », c’est-à-dire des mots autour de la cible. Cette architecture dite « transformateur », ou « d’attention », a révolutionné la traduction automatique et est utilisée depuis dans tous les systèmes de Google, Facebook, Yandex ou Systran.

Acquisition spontanée de la grammaire

La technique peut servir aussi pour une seule langue, le contexte aidant à la compréhension générale d’un mot ou d’une phrase. Google, toujours lui, a alors eu l’idée d’une méthode d’apprentissage originale, ne nécessitant pas l’aide des humains, contrairement au classement d’images où des petites mains doivent annoter les photos pour aider les machines. Cela consiste à apprendre à trouver les mots manquant dans des phrases. Ainsi naît BERT, fin 2018, suivi chez d’autres équipes, notamment françaises, de CamemBERT, FlauBERT, RoBERT…

OpenAI adopte en revanche une autre technique d’entraînement. Le réseau de neurones apprend à deviner le mot qui suit dans une phrase. Et cela marche, à condition de faire ingurgiter toute une littérature, puisée dans Wikipedia, mais surtout dans d’énormes bases de données de collecte massive de pages Web. « Les tâches d’entraînement ont l’air artificielles, voire absurdes, et loin de la manière dont on apprend à parler, mais ça marche. C’est quand même fabuleux », salue François-Régis Chaumartin, coauteur du livre Le Traitement automatique des langues (Dunod, février 2020, 320 pages, 33 euros).

Qu’entend-on par « ça marche » ? Les ingénieurs ont mis au point des batteries de tests assez particulières pour évaluer les performances et les comparer à la concurrence. Certains exercices sont faciles, comme trouver les noms ou les verbes dans une phrase, ou répondre à une question à partir d’un texte contenant la réponse, ou encore trouver à quel sujet se rapporte un pronom. D’autres sont plus bizarres, comme remettre les lettres d’un mot dans le bon ordre. En tous cas, ces modèles de langue, comme ils sont appelés, donnent l’impression d’avoir appris la grammaire, sans qu’une seule règle leur ait été inculquée. Et GPT-3 est le meilleur actuellement.

Plus fort. Contrairement aux réseaux de neurones précédents qui sont très spécialisés sur une seule tâche (le Go, le poker, la conduite de voiture…), GPT-3 sait faire beaucoup de choses sans s’entraîner particulièrement. Le « pré-entrainement » un peu stupide qu’il a subi suffit, ou presque. Quelques centaines d’exemples sur une tâche particulière fournissent d’excellents résultats, y compris en traduction.

« L’un des enjeux est l’évaluation de ces systèmes, rappelle Benoit Favre, enseignant-chercheur à l’université Aix-Marseille. Il n’est pas exclu que les solutions fournies par GPT-3 soient en fait dans les données qu’il a absorbées. » Dans ce cas, GPT-3 ne serait en somme qu’un perroquet ou un vulgaire plagiaire. « A cause de la taille de ce modèle, ces résultats sont difficiles à reproduire. Peut-être qu’OpenAI a eu de la chance et est tombé sur un modèle de bonne qualité », poursuit le chercheur. La mise au point est en effet délicate et forcément coûteuse en temps de calcul et énergie.

Simulation, pas intelligence

« Des performances sont incroyables, mais la qualité est imprévisible. GPT-3 peut échouer sur une tâche triviale sans que l’on sache pourquoi », note aussi François Yvon. D’autres relèvent que le système est instable, ou qu’il se met en boucle, ou que ses réponses sont biaisées, reproductions probables des biais dans les données du Web ayant servi à son apprentissage…

« Cela se rapproche du nombre de connexions de notre cerveau mais on ne peut pas parler d’intelligence. On arrive à la simuler, sans vraiment être intelligent », estime Laurent Besacier.

« L’une des faiblesses est que la cohérence d’un texte généré se perd après quelques phrases », constate François-Régis Chaumartin. Un roman automatique n’est donc pas pour tout de suite. « Mais c’est inquiétant pour la génération de faux commentaires ou de fausses informations », rappelle-t-il. Des risques dont OpenAI est conscient. Lors de la sortie de GPT-2, l’entreprise avait d’abord tenu secrète la recette précise de fabrication. Cette fois, elle garde un œil, par sa politique d’abonnement, sur ce qui est produit. Elle est dotée aussi d’une branche « éthique » pour réfléchir à ces questions. Enfin, elle développe des collaborations pour étudier les mauvais usages potentiels de cette technologie. Une solution serait de mettre au point un « cerveau » capable de détecter les « faux » créés par des technologies du même type. Un combat de titans.

David Larousserie