Bibliographie & annexes
Présentation
En anglais
RÉSUMÉ
Cet article est une introduction aux réseaux de neurones. Après un bref historique, le neurone artificiel est présenté avec les différentes fonctions d’activation. Le principe des réseaux est introduit avec les étapes apprentissage et inférence. Le perceptron monocouche avec des exemples d’implantation des fonctions logiques ET et OU, puis le perceptron multicouche sont introduits, avec les principes des algorithmes de rétropropagation du gradient pour la mise à jour des poids des neurones. Les caractéristiques des réseaux de neurones profonds sont présentées, notamment les réseaux convolutionnels (CNN) et des réseaux récurrents. L’implantation des réseaux de neurones est abordée : programmation à l’aide de bibliothèques comme TensorFlow et supports matériels (processeurs neuronaux, opérateurs matériels spécialisés, formats de données réduits, etc.). Les caractéristiques permettant d’utiliser des réseaux de neurones pour l’embarqué sont présentées.
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleABSTRACT
This article is an introduction to neural networks. After a brief history, the artificial neuron is presented with the different activation functions. The principle of networks is introduced with the learning and inference steps. The single layer perceptron with examples for the implementation of logical AND and OR functions, then the multilayer perceptron are introduced, with the principles of gradient backpropagation algorithms for updating the weights of neurons. The characteristics of deep neural networks are presented, including convolutional networks (CNN) and recurrent networks. The implementation of neural networks is discussed: programming techniques with libraries such as TensorFlow and hardware support (neural processors, specialized hardware operators, reduced data formats, etc.). The features enabling the use of neural networks for embedded applications are presented.
Auteur(s)
-
Daniel ETIEMBLE : Ingénieur de l’INSA de Lyon - Professeur émérite à l’université Paris Saclay
-
Fabrice AUZANNEAU : Ingénieur chercheur en IA embarquée - CEA List
INTRODUCTION
S’inspirant du fonctionnement des neurones du cerveau, les réseaux de neurones artificiels sont définis dans les années 1940. Le perceptron est introduit en 1957, puis le perceptron multicouche en 1986. Ils ont disparu de l’actualité pendant une période avant de revenir au premier plan dans les années 2000 avec les réseaux de neurones profonds.
Le neurone artificiel est présenté avec les différentes fonctions d’activation. Le fonctionnement du perceptron monocouche est présenté avec les exemples d’implantation des fonctions logiques OU et ET ainsi que ses limites. Les caractéristiques des perceptrons multicouches sont détaillées avec notamment les principes de la rétropropation de gradient qui permet la mise à jour des poids des neurones des différentes couches.
Les réseaux de neurones profonds ont marqué une étape décisive dans le développement et l’utilisation des réseaux de neurones. Les réseaux de neurones convolutionnels (CNN) sont détaillés ; les couches convolution et pooling précédant les couches complètement connectées qui permettent de restreindre les tailles de données en extrayant les caractéristiques spatiales simples (comme des contours) que les couches suivantes combinent pour former des concepts plus complexes et abstraits : assemblage de contours en motifs, de motifs en parties d’objets, de parties d’objets en objets, etc. C’est ce qui permet d’utiliser des milliers de configurations différentes en entrées du réseau. Les caractéristiques de réseaux récurrents, permettant la reconnaissance de séquences d’entrée, sont également présentées.
L’implantation des réseaux de neurones a des aspects logiciels et matériels :
-
programmation. Des bibliothèques logicielles comme TensorFlow, Caffee, Torch et PyTorch sont utilisables sur ordinateurs avec CPU multicœurs sans ou avec GPU. Les différentes opérations sont définies sous forme d’un graphe : l’exécution du programme place les différentes opérations sur CPU, GPU ou tout autre processeur ou accélérateur spécifique et définit les méthodes pour leur exécution ;
-
support matériel. Des opérateurs matériels spécialisés (convolution, pooling) sont disponibles sous forme d’IP pour les systèmes sur puce (SoC) ; des processeurs neuronaux sont disponibles (processeurs neuronaux d’ARM, TPU de Google). Par ailleurs, des formats de données réduits comme les flottants 16 bits sont intégrés dans des processeurs neuronaux ou GPU pour réduire l’empreinte mémoire et la consommation et accélérer les calculs.
Les réseaux de neurones sont de plus en plus utilisés dans les applications embarquées. Les contraintes des composants embarqués impliquent de réduire et d’optimiser les réseaux utilisés. Quatre techniques sont possibles :
-
simplification/optimisation du réseau : diminuer le nombre de couches pour diminuer le nombre de paramètres ;
-
élagage (pruning) : réduire la taille d'un réseau en supprimant certains de ses paramètres ;
-
quantification : utilisation de formats de données réduits (entiers 8 bits (INT8) voire 4 ou 3 bits) sans perte de précision ;
-
distillation des connaissances (knowledge distillation) : un gros réseau est d’abord entraîné, puis utilisé pour « enseigner son savoir » à un réseau de plus petite taille.
Dans de nombreux domaines (reconnaissance d’images, traduction automatique, séries temporelles, etc.), les réseaux de neurones sont plus efficaces que les processeurs généralistes. On les trouve aux différents niveaux d’utilisation de l’apprentissage profond : serveurs du nuage, serveurs au bord (edge servers), composants utilisateurs jusqu’aux composants de l’Internet des Objets (IoT).
L'expertise technique et scientifique de référence
MOTS-CLÉS
apprentissage réseau de neurones perceptron inférence réseau convolutionnel réseau récurrent implémentation des réseaux neuronaux RN pour l'embarqué
KEYWORDS
learning | neural network | perceptron | inference | convolutional network | recurrent network | ,neural networks implementation | NN for embedded
DOI (Digital Object Identifier)
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Perceptron
En anglais
2. Neurone artificiel
2.1 Présentation
Le schéma de principe d’un neurone est présenté à la figure 3.
Le neurone a n entrées et un biais (b). À chaque entrée est associée un poids. Le neurone effectue la somme pondérée
. La première partie est le produit scalaire des entrées par les poids. Le biais associé au poids w 0 permet d’ajuster la valeur de s par rapport au seuil de la fonction d’activation.
2.2 Fonctions d’activation
La valeur de s est comparée à un seuil pour activer ou non la sortie du neurone. La figure 4 présente un certain nombre de fonctions d’activation.
La fonction Seuil, aussi appelée Heaviside, ne fournit que deux valeurs 0 et 1. Elle n’est pas dérivable, ce qui est un inconvénient pour la rétropropagation de gradient présentée en 3.3.
Les fonctions sigmoïde et tangente hyperbolique sont dérivables. ReLU (Rectified Linear Unit) est également dérivable, sauf au point x = 0. Elle a l’avantage d’être simple à calculer par rapport aux deux précédentes. Une variante ReLU faible a des valeurs négatives, avec une droite de pente très faible.
Un réseau de neurones est constitué d’un certain nombre de neurones organisés en couches, comme illustré dans les chapitres suivants.
Le fonctionnement se décompose en deux étapes :
-
l’apprentissage :
a) l’apprentissage supervisé, illustré...
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Neurone artificiel
BIBLIOGRAPHIE
-
(1) - LE CUN (Y.) - Quand la machine apprend, la révolution des réseaux de neurones et l’apprentissage profond, - livre, Odile Jacob (2021).
-
(2) - KOHONEN (T.) - Self-Organizing Maps, - Springer Verlag (2001).
-
(3) - LIMA (A.) - Implémentation de l’algorithm Perceptron por XOR Logic Gate avec entrée binaire deux bits, - https://fr.acervolima.com/implementation-de-lalgorithme-perceptron-pour-xor-logic-gate-avec-entree-binaire-2-bits/
-
(4) - Implementation of Artificial Neural Network for XOR Logic Gate with 2-bit Binary Input. - https://www.geeksforgeeks.org/implementation-of-artificial-neural-network-for-xor-logic-gate-with-2-bit-binary-input/
-
(5) - NIELSEN (M.) - Neural Networks and Deep Learning, - livre en ligne, https://neuralnetworksanddeeplearning.com/index.html
-
(6)...
DANS NOS BASES DOCUMENTAIRES
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
