Bibliographie & annexes
Présentation
En anglais
RÉSUMÉ
Cet article présente un survol de l’état de l’art en traitement automatique des langues, en explorant une architecture computationnelle, le modèle Transformer, qui joue un rôle central dans une large gamme d’applications. Cette architecture condense de nombreuses avancées des méthodes d’apprentissage neuronales et peut être exploitée de multiples manières : pour apprendre à représenter les entités linguistiques ; pour générer des énoncés cohérents et répondre à des questions ; pour réaliser des transformations des énoncés, une illustration étant leur traduction automatique. Ces différentes facettes de l’architecture seront successivement présentées, ce qui permettra également d’évoquer ses limitations.
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleABSTRACT
This paper presents an overview of the state of the art in natural language processing, exploring one specific computational architecture, the Transformer model, which plays a central role in a wide range of applications. This architecture condenses many advances in neural learning methods and can be exploited in many ways: to learn representations for linguistic entities; to generate coherent utterances and answer questions; to perform utterance transformations, an illustration being their automatic translation. These different facets of the architecture will be successively presented, which will also allow us to discuss its limitations.
Auteur(s)
-
François YVON : Directeur de recherche, université Paris-Saclay, CNRS, LISN, France
INTRODUCTION
Les technologies linguistiques figurent en bonne place parmi les applications de l’intelligence artificielle (IA) et touchent aujourd’hui le grand public. Elles sont essentielles pour accéder efficacement aux informations textuelles disponibles sur le Web ou dans des grandes bases documentaires ; elles permettent de nouvelles formes d’interactions avec la machine, par la voix ou par le biais de dispositifs d’aide à la saisie ou à la rédaction ; elles nous aident à communiquer avec d’autres humains, par exemple par le biais de systèmes de traduction automatique ; de manière plus souterraine, ces algorithmes structurent, organisent, filtrent, sélectionnent, transforment et rendent possible la gestion des monceaux de textes et d’enregistrements audio qui circulent continuellement sur la toile ou sur les réseaux sociaux.
Cette transition s’est accélérée au fur et à mesure que ces technologies devenaient progressivement plus performantes pour des utilisations toujours plus larges et variées. Ces progrès résultent de la conjonction de plusieurs facteurs : d’une part le développement d’algorithmes d’apprentissage automatique de plus en plus sophistiqués, capables de tirer profit de l’amélioration des dispositifs matériel (hardware) de calcul ; d’autre part la possibilité d’accéder à de très grandes masses de données textuelles, annotées ou non annotées, pour réaliser ces apprentissages. Parmi les algorithmes, les algorithmes neuronaux et en particulier l’architecture Transformer figurent au premier rang. Cette architecture est en effet devenue centrale pour réaliser trois types de traitements qui jusqu’alors nécessitaient des architectures dédiées : d’une part les algorithmes de fouille de texte et de recherche d’information, qui bénéficient de la richesse des représentations internes calculées par ce modèle, ensuite les algorithmes d’analyse linguistique qui tirent parti de la capacité des Transformers à prendre en compte des dépendances à très longue distance, enfin les algorithmes de génération de texte, qui utilisent ces modèles principalement pour leur capacité prédictive. Si l’on ajoute que cette même architecture se prête également au traitement de données orales, voire multimodales, et qu’elle permet des calculs efficaces à très grande échelle, on comprend mieux pourquoi ce modèle s’est imposé comme le véritable couteau suisse de l’ingénieur linguiste.
Points clés
Domaine : Transformers pour le traitement automatique des langues et de la parole
Degré de diffusion de la technologie : Croissance
Technologies impliquées : Apprentissage automatique, réseaux neuronaux
Domaines d'application : Traduction automatique, recherche d'information, systèmes de dialogue, transcription vocale, etc.
Principaux acteurs français :
Centres de compétence : INRIA Centre de Paris, laboratoire d'Informatique de Grenoble (université Grenoble Alpes et CNRS), laboratoire interdisciplinaire des Sciences du Numérique (université Paris Saclay et CNRS), LIP6 (Sorbonne Université et CNRS), laboratoire Informatique et Systèmes (université Aix-Marseille et CNRS)
Industriels : Facebook AI Research (Paris), Naver Labs (Grenoble), Systran (Paris)
Autres acteurs dans le monde : Google (Mountain View, USA), Huawei (Shenzhen, Chine), HuggingFace (New York, USA), Microsoft (Redmond, USA), Nvidia (Santa Clara, USA), Open AI (Seattle, USA), Tencent (Shenzhen, Chine)
Contact : [email protected]
L'expertise technique et scientifique de référence
MOTS-CLÉS
Traitement automatique des langues apprentissage automatique Modèles de langue Traduction automatique neuronale
KEYWORDS
natural language processing | machine learning | Language Models | Neural Machine Translation
DOI (Digital Object Identifier)
CET ARTICLE SE TROUVE ÉGALEMENT DANS :
Accueil > Ressources documentaires > Technologies de l'information > Documents numériques Gestion de contenu > Représentation et traitement des documents numériques > Transformer : des réseaux de neurones pour le traitement automatique des langues > Glossaire
Accueil > Ressources documentaires > Innovation > Innovations technologiques > Innovations en électronique et TIC > Transformer : des réseaux de neurones pour le traitement automatique des langues > Glossaire
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Notations
En anglais
5. Glossaire
Annotation ; Labeling
Les données annotées sont nécessaires pour guider l’apprentissage supervisé. Les annotations peuvent porter sur un texte, une phrase, ou encore des mots isolés ; elles peuvent être de nature linguistique (morphologique, syntaxique, sémantique), ou encore représenter la sortie d’une tâche de traitement (par exemple la polarité d’un texte, ou encore l’équivalence sémantique entre deux phrases).
Affinage ; Finetuning
Un modèle entraîné pour une tâche particulière (par exemple un sur une tâche de modèle de langue) peut être transféré vers une autre tâche en prolongeant l’apprentissage avec d’autres types de données ou d’annotations : c’est l’étape d’affinage. Ainsi, les paramètres d’un modèle comme BERT pourront être spécialisés en utilisant quelques exemples d’une tâche d’analyse de sentiments. L’affinage de modèles est une des méthodes pour apprendre par transfert.
Apprentissage par transfert ; Transfer Learning
L’apprentissage par tranfert consiste à apprendre un modèle probabiliste ou neuronal avec des textes annotés pour une tâche, un domaine ou une langue A, puis à l’exploiter pour traiter des textes d’un autre domaine ou d’une autre langue B. Pour le transfert entre tâches ou domaines, on peut utiliser des méthodes de finessage. Pour le transfert entre langues (cross-lingual transfer), il est rendu possible par l’utilisation de représentations multilingues, qui représentent des mots de langues différentes dans un même espace, en rapprochant les mots qui sont des traductions mutuelles.
Apprentissage few shot ; few-shot learning
L’apprentissage « few-shot » d’un modèle consiste à l’exploiter pour réaliser des traitements ou des annotations après un entraînement minimal avec quelques exemples, en exploitant des mécanismes de transfert. Un cas extrême (zero-shot) est quand aucun exemple de la tâche n’a été présenté lors de l’apprentissage. C’est le cas par exemple d’un modèle de traduction multilingue qui peut réaliser des traductions entre des paires de langues pour lesquelles aucune donnée parallèle n’a été utilisée à l’apprentissage.
Modèle de langue ; Language...
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Glossaire
BIBLIOGRAPHIE
-
(1) - AHARONI (R.), JOHNSON (M.), FIRAT (O.) - Massively multilingual neural machine translation. - Proceedings of the 2019 conference of the north American chapter of the association for computational linguistics : Human language technologies, volume 1 (long and short papers), Association for Computational Linguistics, p. 3874-3884 (2019).
-
(2) - BAEVSKI (A.), ZHOU (Y.), MOHAMED (A.), AULI (M.) - Wav2vec 2.0 : A framework for self-supervised learning of speech representations. - Advances in neural information processing systems, Curran Associates, Inc., p. 12449-12460 (2020).
-
(3) - BAHDANAU (D.), CHO (K.), BENGIO (Y.) - Neural machine translation by jointly learning to align and translate. - Proceedings of the first international conference on learning representations (2015).
-
(4) - BARBIERI (F.), CAMACHO-COLLADOS (J.), ESPINOSA ANKE (L.), NEVES (L.) - Tweet-Eval : Unified benchmark and comparative evaluation for tweet classification. - Findings of the association for computational linguistics : EMNLP 2020, Association for Computational Linguistics, p. 1644-1650 (2020).
-
(5)...
DANS NOS BASES DOCUMENTAIRES
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
