Comprendre le fonctionnement des IA génératives

Le processus de formation est la première et la plus importante phase dans le développement des IA génératives. C’est durant cette phase que l’IA apprend à créer de nouveaux contenus à partir des données qui lui sont fournies. La plupart des IA génératives reposent sur des réseaux de neurones profonds (Deep Learning) qui nécessitent d’énormes quantités de données afin d’apprendre à produire des contenus textuels ou multimédias cohérents.

La formation d’une IA générative repose ainsi sur un ensemble de données représentatif du domaine d’application visé. Par exemple, pour entraîner un modèle de langage destiné à générer du texte (comme GPT), il faut fournir un corpus de texte important et varié. Si l’objectif est de générer des images, l’ensemble de données sera constitué de millions d’images.

Il existe deux grandes méthodes d’apprentissage utilisées dans la formation des IA génératives : l’apprentissage supervisé et l’apprentissage non supervisé.

Dans l’apprentissage supervisé, le modèle apprend à partir d’un ensemble de données qui sont étiquetées, c’est-à-dire qu’on associe à chaque entrée la sortie attendue. Par exemple, pour un modèle de reconnaissance d’images, chaque image sera associée à sa catégorie (chat, chien, voiture, etc.). L’objectif du modèle est d’apprendre à établir une relation entre les entrées et les sorties afin de pouvoir prédire la sortie associée à une nouvelle entrée qu’il n’a jamais vue auparavant. Par exemple, dans le cas d’un traducteur automatique, on donne au modèle des phrases dans une langue avec leur traduction correcte dans une autre langue. Le modèle apprend ensuite à traduire de nouvelles phrases en se basant sur ces exemples.

Dans l’apprentissage non supervisé, le modèle travaille avec des données non étiquetées. Le modèle doit donc trouver lui-même des structures sous-jacentes dans les données sans aucune information a priori. Par exemple, dans le domaine des IA génératives, le modèle apprend à prédire le mot suivant dans une séquence, ce qui lui permet de s’approprier la structure du langage et les relations sémantiques entre les mots.

Souvent, les modèles d’IA générative combinent les deux approches : un pré-entraînement non supervisé pour capturer les structures de base des données, suivi d’un entraînement fin (fine tuning) supervisé pour adapter le modèle à une tâche spécifique.

En amont du processus d’apprentissage, les données doivent être préparées et formatées pour être exploitables. Ce formatage dépend de la nature des données.

• Tokenisation (pour le texte) : les textes sont découpés en unités appelées tokens (qui peuvent correspondre à des mots ou chaînes de caractères). Chaque token est associé à une représentation numérique.
• Normalisation (pour les images) : les images sont redimensionnées et les valeurs des pixels sont normalisées pour que les modèles puissent les traiter de manière optimale.

Le pré-entraînement des modèles de langage passe par une architecture de réseaux de neurones appelés « transformeurs ». Chaque mot est converti sous forme de vecteur mathématique. Ce mécanisme permet au modèle de comprendre les relations entre les différents mots d’une phrase, en accordant plus d’importance à certains mots en fonction du contexte. Par exemple, dans la phrase « J’aime manger des pommes », le mot « pommes » sera plus important si l’on cherche à déterminer ce que la personne aime. C’est ce qu’on appelle les « mécanismes d’auto-attention », au cœur des modèles de langage comme GPT.