Le Deep learning en passe de devenir moins énergivore

Les modèles d’apprentissage profond (ou deep learning) sont basés sur des réseaux de neurones à plusieurs couches, fonctionnant sur le modèle du cerveau humain. Or, ces processus sont assez coûteux d’un point de vue énergétique, en particulier pendant la phase d’entraînement, qui peut durer plusieurs jours.

Selon différentes études, plusieurs facteurs ont un impact sur le coût énergétique, en particulier la taille des données, l’architecture du réseau, le type de tâche, les décisions d’optimisation des paramètres…

Des chercheurs de l’EPFL (École polytechnique fédérale de Lausanne) ont, semble-t-il, trouvé une solution pour réduire cet impact. Ils ont développé un algorithme avancé pour les réseaux neuronaux. Leur algorithme entraîne efficacement les réseaux neuronaux analogiques, offrant une alternative économe en énergie aux réseaux numériques traditionnels.

Des algorithmes évolutifs

Leur méthode, qui s’aligne plus étroitement sur l’apprentissage humain (en référence aux réseaux neuronaux et aux puces neuromorphiques), a montré des résultats prometteurs. Elle a été testée avec succès sur trois systèmes physiques basés sur les ondes (sonores, lumineuses et micro-ondes) pour transporter des informations.

Sans entrer dans le détail trop technique, leur approche comporte deux étapes. La première est une passe avant où les données sont envoyées à travers le réseau et une fonction d’erreur est calculée sur la base de la sortie. La seconde étape est une passe arrière (également connue sous le nom de rétropropagation) où un gradient de la fonction d’erreur par rapport à tous les paramètres du réseau est calculé.

Mais cette seconde étape n’est pas l’idéal, car elle nécessite un jumeau numérique et elle consomme beaucoup d’énergie. En cause, les itérations répétées pour que le système se mette à jour sur la base des deux calculs de la première étape afin de fournir des valeurs de plus en plus précises.

L’idée des scientifiques était de remplacer cette seconde étape par un second passage dans le système physique pour mettre à jour localement chaque couche du réseau. En plus de réduire la consommation d’énergie et d’éliminer le besoin d’un jumeau numérique, cette méthode reflète mieux l’apprentissage humain.

L’EPFL n’est pas la seule entité à mener des recherches visant à améliorer les réseaux neuronaux à haut rendement énergétique. Une équipe de chercheurs de l’Oak Ridge National Laboratory (ORNL) a démontré que les algorithmes évolutifs peuvent produire non seulement des réseaux neuronaux qui accomplissent bien une tâche, mais aussi des réseaux économes en énergie, petits et rapides. De quoi accélérer les recherches sur le cancer.

« Créer un logiciel capable de comprendre non seulement le sens des mots, mais aussi les relations contextuelles entre eux n’est pas une tâche simple. Les humains développent ces compétences au fil d’années d’interaction et de formation. Pour des tâches spécifiques, l’apprentissage profond permet de comprimer ce processus en quelques heures », annonce ce laboratoire qui mène des recherches depuis 2014.

Le défi des données

Ces initiatives soulignent les efforts en cours pour améliorer l’efficacité énergétique des réseaux neuronaux, ce qui pourrait conduire à des avancées significatives dans le domaine de l’intelligence artificielle. Ils pourraient être utilisés pour gérer la consommation d’énergie dans divers secteurs.

Ces réseaux permettraient également de déterminer la performance énergétique actuelle d’un bâtiment et prédire le potentiel d’économie d’énergie grâce à des stratégies de rénovation.

Cependant, l’adoption à plus grande échelle de réseaux neuronaux économes en énergie se heurte à plusieurs difficultés. Comme pour l’intelligence artificielle de façon générale, le principal défi est toujours la disponibilité de données pertinentes. Leur absence peut en effet nuire à l’efficacité de ces réseaux.

Autre challenge, le manque de compétences dans le domaine de l’IA et de l’apprentissage automatique. Il faut des professionnels qui comprennent non seulement comment développer et former des réseaux neuronaux, mais aussi comment les mettre en œuvre d’une manière économe en énergie.

Il y a enfin la mise à l’échelle. Pour l’instant, les expériences de l’EPFL ne s’appuient que sur des réseaux neuronaux comportant jusqu’à 10 couches. Est-ce que leur procédé donnerait d’aussi bons résultats sur 100 couches et des milliards de paramètres ? C’est la prochaine étape qui nécessitera de surmonter les limitations techniques des systèmes physiques.

Crédit image de une : © Anaïs Chalard (IMRCP) – Laurence Vaysse (ToNIC) – Brice Ronsin et Stéphanie Bosch (CBI-LITC-TRI), Toulouse

Cellules nichées au cœur des fibres du gel moléculaire de N-heptyl-galactonamide. Les cellules, de forme ronde, sont visibles en vert. Les fibres droites et rigides sont visibles en rose. Les fibres courbes et flexibles sont visibles en vert.