Bibliographie & annexes
Quiz & test
Présentation
En anglais
RÉSUMÉ
L’intelligence artificielle permet aujourd’hui de résoudre des problèmes de plus en plus complexes mais les algorithmes utilisés nécessitent des ressources de calcul qui consomment beaucoup d’énergie notamment pendant la phase d’apprentissage pour entrainer des réseaux de neurones avec une quantité importante de données. Aujourd’hui, la nécessité de traiter les données là où elles sont générées nécessite des architectures à faible consommation d'énergie.
Cet article présente un nouveau réseau de neurones basé sur des neurones oscillatoires (ONN pour Oscillatory Neural Network) qui s’inspirent des oscillations observées dans le cerveau. Les ONN présentent une alternative de calcul à faible consommation pour permettre l'apprentissage et l'inférence en ligne sur les dispositifs IoT (Internet of Things).
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleABSTRACT
Artificial intelligence allows us to solve increasingly complex problems, but algorithms require a lot of computational resources that consume a lot of power, especially during the learning phase to train neural networks with a large amount of data. Today, the need to process the data where they are generated requires low power architectures.
This article presents a novel neural network based on oscillatory neural networks (ONN) which are inspired by the oscillations observed in the brain. ONNs present an alternative low power computing paradigm that enables online learning and inference on edge IoT devices.
Auteur(s)
-
Madeleine ABERNOT : Doctorante à l’Université de Montpellier, Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM)
-
Gabriele BOSCHETTO : Post Doctorant au CNRS, Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM)
-
Stefania CARAPEZZI : Post Doctorante au CNRS, Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM)
-
Corentin DELACOUR : Doctorant à l’Université de Montpellier, Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM)
-
Thierry GIL : Ingénieur de Recherche au CNRS, Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM)
-
Aida TODRI-SANIAL : Directrice de Recherche au CNRS, Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM)
INTRODUCTION
L’intelligence artificielle embarquée nécessite une puissance de calcul très importante afin de pouvoir traiter en temps réel de grandes quantités de données en provenance de plusieurs types de périphériques, comme des caméras, des capteurs de proximité pour un véhicule autonome, etc. Aujourd’hui, le traitement des données se fait principalement dans le cloud ou dans des centres de données. Mais cela nécessite une bande passante élevée pour le transfert des données, une sécurisation de ces données et cela a pour conséquence des délais dans le traitement des données et une consommation énergétique élevée. Pour résoudre ces problèmes, la communauté scientifique et industrielle s’est concentrée sur le développement d’architectures à faible consommation pour permettre le traitement local des données. Cela devient d’autant plus crucial que, dans les années à venir, des milliards de dispositifs IoT périphériques seront connectés
Alors, comment peut-on réduire drastiquement la consommation de ces systèmes électroniques ? La recherche se tourne désormais vers de nouvelles unités de calcul pour permettre de traiter plus de données en moins de temps, tout en consommant moins d’énergie. Les processeurs classiques (CPU) sont basés sur l’architecture de von Neumann dans laquelle l’unité de calcul et la mémoire sont séparées en deux unités distinctes. Le transfert entre la mémoire et l’unité de calcul est alors consommateur de temps et d’énergie. Pour accélérer les traitements, les nouveaux processeurs (GPU) utilisent plusieurs de ces architectures (unité de calcul et unité de mémoire) pour effectuer les calculs en parallèle. Cependant, ce type de processeur consomme toujours beaucoup trop d’énergie lors du transfert de données entre le processeur et la mémoire. Pour réduire le transfert de données entre processeur et mémoire, des architectures de calcul en mémoire ont également été proposées, offrant des cellules mémoires avec des capacités de calculs simples. Plus récemment, la recherche s’est tournée vers de nouvelles architectures inspirées de la nature et du fonctionnement du cerveau humain pour réduire la consommation énergétique des systèmes électroniques. Ces circuits sont dits neuromorphiques. Les chercheurs ont en effet estimé que le cerveau humain a une puissance de l’ordre de 20 watts pour accomplir des tâches extrêmement complexes.
Ainsi, les réseaux de neurones artificiels (ANN pour Artificial Neural Networks) sont apparus. Les ANN s’inspirent des réseaux de neurones et de leur capacité à reproduire et à modéliser des processus non linéaires. Un ANN contient une multitude de neurones connectés entre eux par des synapses. Les calculs sont effectués par les neurones alors que les synapses représentent par leur valeur la mémoire du système.
Plusieurs types d’ANN ont été conçus, les plus utilisés sont les réseaux de neurones à perceptron simple ou multicouche, les réseaux de neurones convolutionnels, les réseaux de neurones à impulsions et les réseaux de neurones récurrents. Parmi les réseaux de neurones récurrents, les réseaux de neurones oscillants (ONN pour Oscillatory Neural Network), sont apparus récemment comme une alternative intéressante pour résoudre des problèmes complexes à basse consommation.
Cet article donne une description approfondie du paradigme de calcul à base d’ONN, de l’implémentation, et des applications. Dans un premier temps, un bref état de l’art des réseaux de neurones artificiels est présenté ; ensuite, le principe de l’ONN, son architecture et ses possibles implémentations sont détaillées ; finalement, des utilisations possibles de l’ONN, et des exemples d’applications concrètes sont décrits.
L'expertise technique et scientifique de référence
MOTS-CLÉS
réseau de neurones oscillatoires intelligence artificielle embarquée économe en énergie mémoire associative résolution de problèmes d'optimisation
KEYWORDS
oscillatory Neural network | edge computing | energy efficient | associative memory | solving optimisation problems
DOI (Digital Object Identifier)
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Conclusion
En anglais
3. Application des réseaux de neurones oscillants
Les ONN peuvent être utilisés selon différentes architectures pour résoudre différents types de problèmes. Si tous les oscillateurs sont couplés, l’ONN se comporte comme un réseau de Hopfield (HNN) et permet de concevoir des mémoires associatives. Des chercheurs ont également montré que l’ONN pouvait résoudre des problèmes d’optimisation lorsque la fonction de coût à minimiser est associée à la fonction d’énergie de l’ONN. Cette partie présente comment utiliser les ONN comme une mémoire associative ou pour résoudre des problèmes d’optimisation comme la coloration de graphe ou la recherche de la coupe maximale dans un graphe. Les méthodes d’apprentissage et les différentes applications sont présentées pour chaque problème.
3.1 L’ONN comme modèle de mémoire associative
Le réseau de neurones de Hopfield fonctionne comme une mémoire associative. La mémoire associative permet d’associer une information nouvelle à une information précédemment mémorisée. Avoir une mémoire associative nécessite donc une phase d’apprentissage pendant laquelle le cerveau ou le réseau de neurones mémorise des informations. Nous verrons, plus loin, que l’ONN, si les neurones sont tous interconnectés, se comporte comme un réseau de Hopfield où les neurones sont remplacés par des oscillateurs, et a donc des propriétés de mémoire associative.
HAUT DE PAGE3.1.1 Apprentissage d’un réseau de Hopfield
Dans le cas d’une mémoire utilisant des images le réseau mémorise des images qui correspondent à des états stables du réseau. Lorsqu’une nouvelle image qui n’a pas été entraînée est présentée au réseau, celui-ci converge vers l’état stable le plus proche de cette image, c’est-à-dire l’image apprise la plus semblable. C’est ainsi que le réseau de neurones peut retrouver une image apprise à partir d’une image tronquée ou d’une image bruitée.
Comment ce type de réseau apprend-il ? La mémoire des images se trouve dans les poids des synapses du réseau de neurones. Il faut donc calculer le poids des synapses du réseau...
L'expertise technique et scientifique de référence
TEST DE VALIDATION ET CERTIFICATION CerT.I. :
Cet article vous permet de préparer une certification CerT.I.
Le test de validation des connaissances pour obtenir cette certification de Techniques de l’Ingénieur est disponible dans le module CerT.I.
de Techniques de l’Ingénieur ! Acheter le module
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Application des réseaux de neurones oscillants
BIBLIOGRAPHIE
-
(1) - ROSENBLATT (F.) - The Perceptron—a perceiving and recognizing automaton. - Report 85-460-1. Cornell Aeronautical Laboratory.
-
(2) - Beyond von Neumann, - Nature Nanotechnol. (2020).
-
(3) - KENDALL (J.D.), KUMAR (S.) - The building blocks of a brain-inspired computer., - Applied Physics Reviews (2020).
-
(4) - SCHUMAN (C.D.), et al - Opportunities for neuromorphic computing algorithm and applications., - Nat. Comp. Sci. (2022).
-
(5) - NAIR (V.), HINTON (G.E.) - Rectified linear units improve restricted Boltzmann machines, - Proc. 27th Int. Conf. Mach. Learn., pp. 807-814 (2010).
-
(6) - LECUN (Y.) et al - Backpropagation Applied to Handwritten Zip Code Recognition, - Neural Computation (1989).
- ...
ANNEXES
AMD XILINX : https://www.xilinx.com/
This work was supported by the European Union’s Horizon 2020 research and innovation program, EU H2020 NEURONN project under Grant 871501 ( http://www.neuronn.eu)
HAUT DE PAGE
Imagenet https://www.image-net.org.
HAUT DE PAGE
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
QUIZ ET TEST DE VALIDATION PRÉSENTS DANS CET ARTICLE
1/ Quiz d'entraînement
Entraînez vous autant que vous le voulez avec les quiz d'entraînement.
2/ Test de validation
Lorsque vous êtes prêt, vous passez le test de validation. Vous avez deux passages possibles dans un laps de temps de 30 jours.
Entre les deux essais, vous pouvez consulter l’article et réutiliser les quiz d'entraînement pour progresser. L’attestation vous est délivrée pour un score minimum de 70 %.
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
