Bibliographie & annexes
Présentation
RÉSUMÉ
Développées initialement dans le cadre de l’intelligence artificielle, les méthodes d’apprentissage par renforcement sont des composantes essentielles des architectures de contrôle robotique adaptatives. Deux grandes classes d'algorithmes ont été proposées : avec ou sans modèle interne du monde. La première est coûteuse en calculs mais est très adaptative, alors que la seconde est peu coûteuse mais lente à converger. La combinaison de ces différents algorithmes dans une même architecture de contrôle permet donc d’envisager de tirer le meilleur parti des deux mondes. Nous présentons ici ces deux familles d’algorithmes, ainsi que les méthodes de combinaison qui ont été proposées et évaluées, tant en neurosciences qu’en robotique.
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleABSTRACT
Initially developed in the field of artificial intelligence, reinforcement learning methods are an essential component of adaptive robotic control architectures. Two main classes of algorithms have been proposed: with and without internal models of the world. The first one has heavy computational costs, but is very adaptive, while the second one is cheap but slow to converge. The combination of these algorithms within a single robotic architecture might benefit from the advantages of each one. We present here these two families of algorithms, together with the combination methods that have been proposed and tested in the neuroscience and robotics field.
Auteur(s)
-
Benoît GIRARD : Directeur de recherche CNRS - Institut des systèmes intelligents et de robotique, ISIR (UMR7222, CNRS – UPMC)
-
Mehdi KHAMASSI : Chargé de recherche CNRS - Institut des systèmes intelligents et de robotique, ISIR (UMR7222, CNRS – UPMC)
INTRODUCTION
Les méthodes d’apprentissage par renforcement sont des composantes essentielles du développement de systèmes robotiques autonomes. Elles doivent en effet permettre à ces systèmes d’apprendre, par essais et erreurs, sans intervention additionnelle de leurs concepteurs, les actions qui doivent être effectuées, et celles qui doivent être évitées, pour la réalisation de leur mission.
Deux grandes classes d’algorithmes ont été historiquement développées dans la littérature : celle fondée sur l’utilisation d’un modèle interne du monde, et en particulier des transitions entre états, et celle sans modèle interne. La première est grande consommatrice de ressources computationnelles (i.e. calculs nécessaires pour déduire l’action qui semble aboutir aux meilleures conséquences telles que prédites par le modèle interne), mais permet de réagir en quelques essais aux changements de l’environnement en réutilisant les connaissances précédemment apprises sur la structure de l’environnement grâce au modèle interne ; la seconde est extrêmement peu coûteuse (pas de modèle, donc pas d’estimation des conséquences de l’action), mais au prix d’une convergence lente de l’apprentissage et d’une très mauvaise adaptabilité au changement (i.e. des centaines d’essais sont nécessaires pour mettre à jour les valeurs associées aux actions suite à un changement de l’environnement). Il pourrait donc sembler logique de chercher à bénéficier des complémentarités de ces deux approches en les combinant. Pourtant, la coopération de systèmes d’apprentissage par renforcement multiples a, jusqu’ici, été peu explorée dans la littérature de l’apprentissage automatique.
La mise en avant des bonnes propriétés d’une telle approche s’est donc initialement développée dans le contexte de l’étude du comportement animal. En effet, la cohabitation de systèmes d’apprentissage multiples, et l’existence de substrats neuronaux distincts, ont été clairement démontrées en neurosciences. Plusieurs modèles computationnels ont été proposés pour rendre compte de la manière dont les animaux coordonnent leurs systèmes d’apprentissage multiples. Ces modèles constituent une source d’inspiration pour la conception de systèmes robotiques. Cette importation a principalement eu pour cadre la navigation, mais ne doit pas nécessairement s’y limiter. Enfin, les limites de ces méthodes, dont l’objectif scientifique est la simulation du -comportement animal et non l’efficacité opérationnelle, sont parfaitement dépassables dans le cadre de l’ingénierie, en se défaisant des contraintes biologiques.
L'expertise technique et scientifique de référence
KEYWORDS
Reinforcement learning | ensemble methods | neuro-inspiration | neuro-robotics
DOI (Digital Object Identifier)
CET ARTICLE SE TROUVE ÉGALEMENT DANS :
Accueil > Ressources documentaires > Automatique - Robotique > Robotique > Perception, planification et interface en robotique > Coopération d’algorithmes d’apprentissage par renforcement multiples > Méthodes de coordination d’algorithmes d’apprentissage
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Conclusion2. Méthodes de coordination d’algorithmes d’apprentissage
Globalement, trois grandes familles de combinaisons d’algorithmes d’apprentissage multiples ont été proposées : la fusion des sorties de ces algorithmes avant de prendre une décision, la sélection d’un de ces algorithmes qui prend alors seul le contrôle de l’agent, cette sélection pouvant résulter du suivi de l’évolution de variables internes ou encore d’une deuxième couche d’apprentissage.
2.1 Fusion statique
Si l’on ne cherche pas à optimiser l’utilisation des ressources de calcul, mais uniquement à améliorer le comportement d’un agent, on peut systématiquement calculer les sorties de l’ensemble des systèmes d’apprentissage, et ensuite les fusionner avant de prendre une décision. L’idée est alors que les actions qui font consensus sont probablement les meilleures.
La première méthode de coordination d’algorithmes d’apprentissage a été proposée pour expliquer l’apprentissage de rats dans des tâches de navigation, avant et après lésion d’une partie du cerveau appelée l’hippocampe et connue pour être impliquée dans la localisation spatiale. Cette méthode combinait deux algorithmes d’apprentissage par renforcement sans modèle interne, utilisant des données d’entrée différentes : d’un côté, la configuration locale du labyrinthe (couloirs, intersections, culs de sac, etc.), de l’autre, une estimation de la localisation spatiale dans le référentiel du labyrinthe. L’hippocampe étant supposé être la région du cerveau en charge de l’évaluation de la localisation, sa lésion correspondrait à la désactivation de l’algorithme correspondant dans cette méthode. La combinaison des deux algorithmes était simplement réalisée en sommant les valeurs Q(o,a) associées à chaque direction possible de déplacement, avant d’effectuer la sélection de l’action. C’est une méthode tout-à-fait similaire qui a été...
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Méthodes de coordination d’algorithmes d’apprentissage
BIBLIOGRAPHIE
-
(1) - BALLEINE (B.W.), O’DOHERTY (J.P.) - Human and rodent homologies in action control : corticostriatal determinants of goal-directed and habitual action. - Neuropsychopharmacology, 35(1), 48-69, (2010).
-
(2) - BELLMAN (R.E.) - Dynamic Programming. - Princeton University Press, Princeton, NJ, (1957).
-
(3) - CALUWAERTS (K.), STAFFA (M.), N’GUYEN (S.), GRAND (C.), DOLLÉ (L.), FAVRE-FÉLIX (A.), GIRARD (B.), KHAMASSI (M.) - A biologically inspired meta-control navigation system for the psikharpax rat robot. - Bioinspiration & biomimetics, 7(2), 025009, (2012).
-
(4) - CHAVARRIAGA (R.), STRÖSSLIN (T.), SHEYNIKHOVICH (D.), GERSTNER (W.) - A computational model of parallel navigation systems in rodents. - Neuroinformatics, 3(3), 223-241, (2005).
-
(5) - COLLINS (A.G.), FRANK (M.J.) - How much of reinforcement learning is working memory, not reinforcement learning? A behavioral, computational, and neurogenetic analysis. - European Journal of Neuroscience, 35(7), 1024-1035, (2012).
- ...
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
