Bibliographie & annexes
Quiz & test
Présentation
En anglais
RÉSUMÉ
L’intelligence artificielle permet aujourd’hui de résoudre des problèmes de plus en plus complexes mais les algorithmes utilisés nécessitent des ressources de calcul qui consomment beaucoup d’énergie notamment pendant la phase d’apprentissage pour entrainer des réseaux de neurones avec une quantité importante de données. Aujourd’hui, la nécessité de traiter les données là où elles sont générées nécessite des architectures à faible consommation d'énergie.
Cet article présente un nouveau réseau de neurones basé sur des neurones oscillatoires (ONN pour Oscillatory Neural Network) qui s’inspirent des oscillations observées dans le cerveau. Les ONN présentent une alternative de calcul à faible consommation pour permettre l'apprentissage et l'inférence en ligne sur les dispositifs IoT (Internet of Things).
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleABSTRACT
Artificial intelligence allows us to solve increasingly complex problems, but algorithms require a lot of computational resources that consume a lot of power, especially during the learning phase to train neural networks with a large amount of data. Today, the need to process the data where they are generated requires low power architectures.
This article presents a novel neural network based on oscillatory neural networks (ONN) which are inspired by the oscillations observed in the brain. ONNs present an alternative low power computing paradigm that enables online learning and inference on edge IoT devices.
Auteur(s)
-
Madeleine ABERNOT : Doctorante à l’Université de Montpellier, Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM)
-
Gabriele BOSCHETTO : Post Doctorant au CNRS, Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM)
-
Stefania CARAPEZZI : Post Doctorante au CNRS, Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM)
-
Corentin DELACOUR : Doctorant à l’Université de Montpellier, Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM)
-
Thierry GIL : Ingénieur de Recherche au CNRS, Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM)
-
Aida TODRI-SANIAL : Directrice de Recherche au CNRS, Laboratoire d’Informatique, de Robotique et de Microélectronique de Montpellier (LIRMM)
INTRODUCTION
L’intelligence artificielle embarquée nécessite une puissance de calcul très importante afin de pouvoir traiter en temps réel de grandes quantités de données en provenance de plusieurs types de périphériques, comme des caméras, des capteurs de proximité pour un véhicule autonome, etc. Aujourd’hui, le traitement des données se fait principalement dans le cloud ou dans des centres de données. Mais cela nécessite une bande passante élevée pour le transfert des données, une sécurisation de ces données et cela a pour conséquence des délais dans le traitement des données et une consommation énergétique élevée. Pour résoudre ces problèmes, la communauté scientifique et industrielle s’est concentrée sur le développement d’architectures à faible consommation pour permettre le traitement local des données. Cela devient d’autant plus crucial que, dans les années à venir, des milliards de dispositifs IoT périphériques seront connectés
Alors, comment peut-on réduire drastiquement la consommation de ces systèmes électroniques ? La recherche se tourne désormais vers de nouvelles unités de calcul pour permettre de traiter plus de données en moins de temps, tout en consommant moins d’énergie. Les processeurs classiques (CPU) sont basés sur l’architecture de von Neumann dans laquelle l’unité de calcul et la mémoire sont séparées en deux unités distinctes. Le transfert entre la mémoire et l’unité de calcul est alors consommateur de temps et d’énergie. Pour accélérer les traitements, les nouveaux processeurs (GPU) utilisent plusieurs de ces architectures (unité de calcul et unité de mémoire) pour effectuer les calculs en parallèle. Cependant, ce type de processeur consomme toujours beaucoup trop d’énergie lors du transfert de données entre le processeur et la mémoire. Pour réduire le transfert de données entre processeur et mémoire, des architectures de calcul en mémoire ont également été proposées, offrant des cellules mémoires avec des capacités de calculs simples. Plus récemment, la recherche s’est tournée vers de nouvelles architectures inspirées de la nature et du fonctionnement du cerveau humain pour réduire la consommation énergétique des systèmes électroniques. Ces circuits sont dits neuromorphiques. Les chercheurs ont en effet estimé que le cerveau humain a une puissance de l’ordre de 20 watts pour accomplir des tâches extrêmement complexes.
Ainsi, les réseaux de neurones artificiels (ANN pour Artificial Neural Networks) sont apparus. Les ANN s’inspirent des réseaux de neurones et de leur capacité à reproduire et à modéliser des processus non linéaires. Un ANN contient une multitude de neurones connectés entre eux par des synapses. Les calculs sont effectués par les neurones alors que les synapses représentent par leur valeur la mémoire du système.
Plusieurs types d’ANN ont été conçus, les plus utilisés sont les réseaux de neurones à perceptron simple ou multicouche, les réseaux de neurones convolutionnels, les réseaux de neurones à impulsions et les réseaux de neurones récurrents. Parmi les réseaux de neurones récurrents, les réseaux de neurones oscillants (ONN pour Oscillatory Neural Network), sont apparus récemment comme une alternative intéressante pour résoudre des problèmes complexes à basse consommation.
Cet article donne une description approfondie du paradigme de calcul à base d’ONN, de l’implémentation, et des applications. Dans un premier temps, un bref état de l’art des réseaux de neurones artificiels est présenté ; ensuite, le principe de l’ONN, son architecture et ses possibles implémentations sont détaillées ; finalement, des utilisations possibles de l’ONN, et des exemples d’applications concrètes sont décrits.
L'expertise technique et scientifique de référence
MOTS-CLÉS
réseau de neurones oscillatoires intelligence artificielle embarquée économe en énergie mémoire associative résolution de problèmes d'optimisation
KEYWORDS
oscillatory Neural network | edge computing | energy efficient | associative memory | solving optimisation problems
DOI (Digital Object Identifier)
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Application des réseaux de neurones oscillants
En anglais
2. Réseaux de neurones oscillants
Les réseaux de neurones oscillants (ONN pour Oscillatory Neural Networks) sont des réseaux de neurones récurrents qui s’inspirent de la représentation de l’information dans le cerveau sous forme d’oscillations.
Un ONN est un réseau de neurones où chaque neurone est un oscillateur, et chaque synapse un ou plusieurs composants analogiques ou digitaux, tels que des résistances, des condensateurs ou des mémoires logiques, respectivement. Le poids de la synapse est défini par la valeur de chaque composant. Lorsque deux oscillateurs sont connectés par une synapse, ils sont couplés.
Le couplage des oscillateurs a été étudié depuis des décennies par les scientifiques pour décrire des phénomènes naturels comme la synchronisation des cellules responsables des battements du cœur, le comportement synchrone des populations d’insectes ou pour modéliser l’activité neuronale. Par exemple, il a été démontré que les interactions entre les oscillateurs décrivent les mécanismes de mémoire et d’autres processus cognitifs dans le cerveau .
Pour caractériser cette variété d’oscillations naturelles, plusieurs modèles mathématiques ...
L'expertise technique et scientifique de référence
TEST DE VALIDATION ET CERTIFICATION CerT.I. :
Cet article vous permet de préparer une certification CerT.I.
Le test de validation des connaissances pour obtenir cette certification de Techniques de l’Ingénieur est disponible dans le module CerT.I.
de Techniques de l’Ingénieur ! Acheter le module
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Réseaux de neurones oscillants
BIBLIOGRAPHIE
-
(1) - ROSENBLATT (F.) - The Perceptron—a perceiving and recognizing automaton. - Report 85-460-1. Cornell Aeronautical Laboratory.
-
(2) - Beyond von Neumann, - Nature Nanotechnol. (2020).
-
(3) - KENDALL (J.D.), KUMAR (S.) - The building blocks of a brain-inspired computer., - Applied Physics Reviews (2020).
-
(4) - SCHUMAN (C.D.), et al - Opportunities for neuromorphic computing algorithm and applications., - Nat. Comp. Sci. (2022).
-
(5) - NAIR (V.), HINTON (G.E.) - Rectified linear units improve restricted Boltzmann machines, - Proc. 27th Int. Conf. Mach. Learn., pp. 807-814 (2010).
-
(6) - LECUN (Y.) et al - Backpropagation Applied to Handwritten Zip Code Recognition, - Neural Computation (1989).
- ...
ANNEXES
AMD XILINX : https://www.xilinx.com/
This work was supported by the European Union’s Horizon 2020 research and innovation program, EU H2020 NEURONN project under Grant 871501 ( http://www.neuronn.eu)
HAUT DE PAGE
Imagenet https://www.image-net.org.
HAUT DE PAGE
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
QUIZ ET TEST DE VALIDATION PRÉSENTS DANS CET ARTICLE
1/ Quiz d'entraînement
Entraînez vous autant que vous le voulez avec les quiz d'entraînement.
2/ Test de validation
Lorsque vous êtes prêt, vous passez le test de validation. Vous avez deux passages possibles dans un laps de temps de 30 jours.
Entre les deux essais, vous pouvez consulter l’article et réutiliser les quiz d'entraînement pour progresser. L’attestation vous est délivrée pour un score minimum de 70 %.
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
