Bibliographie & annexes
Quiz & test
Présentation
En anglais
RÉSUMÉ
Cet article est consacré à l’apprentissage statistique supervisé, en tant qu’outil pour l’ingénieur. D’abord sont présentés et expliqués succinctement les grands principes théoriques et méthodologiques. Puis l’article décrit les modèles et algorithmes les plus couramment utilisés en apprentissage supervisé. Y sont présentées et expliquées d’une part les principales techniques « classiques » (Perceptron Multi-Couche, Séparateur à Vaste Marge, Arbres de Décision et Forêts Aléatoires, Boosting), et d’autre part l’apprentissage profond de réseau convolutionnel.
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleABSTRACT
This article deals with supervised statistical machine-learning as a tool for engineers. First, the main theoretical and methodological principles are briefly presented and explained. Then, the article presents the most common models and algorithms used for supervised learning: the main “classical” techniques (Multi-Layer Perceptron, Support Vector Machines, Decision Trees and Random Forests, Boosting) are explained, as well as deep-learning with Convolutional Neural Networks.
Auteur(s)
-
Fabien MOUTARDE : Professeur - Centre de Robotique, Mines ParisTech, PSL Université, Paris, France.
INTRODUCTION
L’objet de cet article est de présenter les grands principes de l’apprentissage artificiel statistique supervisé, ainsi qu’un panorama des principaux algorithmes et techniques de ce domaine.
Ce sont ces techniques d’apprentissage statistique qui ont rendu possible l’automatisation de tâches de plus en plus complexes, et donc permis le développement puis le déploiement dans la vie courante d’applications telles que :
-
la lecture automatisée d’écriture, par exemple pour les chèques bancaires et adresses sur des enveloppes ;
-
la reconnaissance vocale, notamment pour les automates téléphoniques ;
-
les « systèmes de recommandation » capables de proposer des sélections personnalisées (i.e. adaptées aux goûts et/ou centres d’intérêt de chacun) de musiques, vidéos ou informations.
De même, l’apprentissage artificiel est au cœur de futurs systèmes encore plus sophistiqués comme :
-
la robotique « intelligente » (par opposition aux robots-automates des années 1970 exécutant à l’identique des actions répétitives) ;
-
la conduite automatisée de voitures sans conducteur ;
-
les « agents conversationnels » et la traduction automatisée, etc.
Par ailleurs, du fait de la « numérisation » croissante du monde, et de l’avalanche de données qui en résulte, l’apprentissage statistique prend depuis une vingtaine d’années un essor grandissant en couvrant un champ de plus en plus vaste. En effet, les informations de quasiment tous les secteurs (activités humaines telles que commerce, économie, culture, loisirs, etc., mais aussi santé et environnement) étant de plus en plus encodées, enregistrées et transmises sous forme informatique, il devient possible d’accéder pour un coût quasi-nul à une grande quantité de données auxquelles peuvent être appliquées des analyses statistiques, et donc une modélisation empirique par apprentissage artificiel. Enfin, les algorithmes d’apprentissage ont très significativement progressé dans le même temps, et plus encore ces cinq dernières années avec le développement de l’apprentissage profond, ce qui permet de traiter avec des performances « industrialisables » une large palette de problèmes d’ingénierie.
Nota : le lecteur trouvera en fin d’article un glossaire des termes et expressions importants de l’article, ainsi qu’un tableau des sigles, notations et symboles utilisés tout au long de l’article.
L'expertise technique et scientifique de référence
MOTS-CLÉS
KEYWORDS
classification | regression | empirical model | statistics
DOI (Digital Object Identifier)
CET ARTICLE SE TROUVE ÉGALEMENT DANS :
Accueil > Ressources documentaires > Technologies de l'information > Technologies logicielles Architectures des systèmes > Big Data > Apprentissage Statistique Supervisé > Glossaire
Accueil > Ressources documentaires > Technologies de l'information > Technologies logicielles Architectures des systèmes > Intelligence artificielle > Apprentissage Statistique Supervisé > Glossaire
Accueil > Ressources documentaires > Innovation > Innovations technologiques > Innovations en électronique et TIC > Apprentissage Statistique Supervisé > Glossaire
Cet article fait partie de l’offre
Automatique et ingénierie système
(137 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Sigles, notations et symboles
En anglais
6. Glossaire
Apprentissage par transfert ; transfer learning
Méthode consistant à réutiliser ce qui a été appris sur un problème comme une aide pour en résoudre un autre un peu différent. Cela est couramment pratiqué avec les réseaux convolutionnels profonds, en complétant les couches basses d’un réseau pré-appris par de nouvelles couches, puis en effectuant des itérations d’apprentissage sur une nouvelle base d’apprentissage.
Apprentissage supervisé ; supervised learning
Catégorie d’apprentissage statistique dont le but est de modéliser empiriquement une relation entrées-sorties, à partir de couples d’exemples (xn, yn) où xn est un vecteur d’entrée, et yn un vecteur de sortie associé (appelé sortie désirée).
Caractéristique ; feature
En apprentissage statistique, une quantité calculée à partie des entrées brutes des exemples, et qui sera l’entrée du modèle appris.
Classification ; classification
Un des deux sous-types de problèmes d’apprentissage supervisé, correspondant au cas où la sortie à calculer à partir des entrées est à valeur discrète (et correspond à une classe ou catégorie attribuée).
Descente de gradient ; gradient descent
Algorithme d’optimisation continue permettant de trouver, pour une fonction de coût J = F(θ) convexe l’unique point θ*= argMin(J) où J est minimum. Le principe est de calculer en un point initial θ0 le vecteur gradient
, puis se déplacer dans la direction opposée : θ = θ0 –
(où λ est le « pas de gradient »), puis d’itérer jusqu’à ce que
devienne nul. Cet algorithme est utilisé en particulier pour l’apprentissage des réseaux neuronaux, bien que leur fonction de coût...
L'expertise technique et scientifique de référence
TEST DE VALIDATION ET CERTIFICATION CerT.I. :
Cet article vous permet de préparer une certification CerT.I.
Le test de validation des connaissances pour obtenir cette certification de Techniques de l’Ingénieur est disponible dans le module CerT.I.
de Techniques de l’Ingénieur ! Acheter le module
Cet article fait partie de l’offre
Automatique et ingénierie système
(137 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Glossaire
BIBLIOGRAPHIE
-
(1) - RUMELHART (D.E.), HINTON (G.E.), WILLIAMS (R.J.) - Learning representations by back-propagating errors. - Nature, 323 (6088) : 533-536 (1986).
-
(2) - CYBENKO (G.) - Approximation by superpositions of a sigmoidal function. - Mathematics of Control, Signals, and Systems, 2(4), 303-314 (1989).
-
(3) - QUINLAN (J.R.) - Induction of Decision Trees. - Machine Learning 1: 81-106 (1986).
-
(4) - BREIMAN (L.), FRIEDMAN (J.H.), OLSHEN (R.A.), STONE (C.J.) - Classification and regression trees. - Monterey, CA : Wadsworth & Brooks/Cole Advanced Books & Software (1984).
-
(5) - BREIMAN (L.) - Random Forests. - Machine Learning 45 (1) : 5-32 (2001).
-
(6) - FREUND (Y.), SCHAPIRE (R.) - A decision-theoretic generalization of on-line...
DANS NOS BASES DOCUMENTAIRES
ANNEXES
Pour les algorithmes « classiques » d’apprentissage statistique, l’outil logiciel le plus riche (contenant des implémentations de la pluparts des modèles et algorithmes) et très couramment utilisé est :
Sci-Kit Learn (librairie Python), http://scikit-learn.org
Pour l’apprentissage profond de réseaux convolutionnels, les principales librairies utilisées (qui intègrent toutes une utilisation transparente des GPUs sur les ordinateurs qui en ont) sont :
-
Lasagne, http://lasagne.readthedocs.io
-
TensorFlow, https://www.tensorflow.org
-
KERAS, https://keras.io
-
PyTorch, https://pytorch.org/
NB : tous ces outils logiciels sont gratuits
HAUT DE PAGE
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Automatique et ingénierie système
(137 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
QUIZ ET TEST DE VALIDATION PRÉSENTS DANS CET ARTICLE
1/ Quiz d'entraînement
Entraînez vous autant que vous le voulez avec les quiz d'entraînement.
2/ Test de validation
Lorsque vous êtes prêt, vous passez le test de validation. Vous avez deux passages possibles dans un laps de temps de 30 jours.
Entre les deux essais, vous pouvez consulter l’article et réutiliser les quiz d'entraînement pour progresser. L’attestation vous est délivrée pour un score minimum de 70 %.
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Automatique et ingénierie système
(137 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
