Bibliographie & annexes
Quiz & test
Présentation
En anglais
RÉSUMÉ
Après avoir rappelé les différentes étapes qui ont mené des cartes graphiques des années 1980 aux processeurs graphiques entièrement programmables appelés GPU (2007), cet article présente les caractéristiques essentielles des GPU. La naissance de l’écosystème CUDA (2007) et l’explosion du nombre de codes scientifiques accélérés par GPU a conduit à des avancées technologiques spectaculaires de ces processeurs: évolutions matérielles, logicielles, des mémoires, des techniques d’utilisation du parallélisme. Elles permettent de comprendre l’importance croissante des GPU dans de nombreuses applications (calcul scientifique, réseaux de neurones, imagerie, bio-informatique, minage de crypto-monnaie, etc.).
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleABSTRACT
After a brief review of the different steps from graphics boards (1980s) to programmable graphics processing units or GPUs (2007), we present the main GPU features. CUDA’s initial release (2007) and the tremendous increase in GPU accelerated scientific codes have resulted in spectacular technological breakthroughs in these processors. We detail them according to their different aspects: software, hardware, memory hierarchies, and techniques to exploit parallelism. They explain the increasing importance of GPUs in numerous applications (scientific calculation, neural networks, imaging, bio-computing, mining of crypto-currency, etc.).
Auteur(s)
-
Daniel ETIEMBLE : Ingénieur de l’INSA de Lyon - Professeur émérite à l’université Paris Sud
-
David DEFOUR : Docteur en Informatique de l’ENS de Lyon - Maître de Conférences à l’université de Perpignan
INTRODUCTION
L’année 2007 a été marquée par la naissance de l’écosystème CUDA de la société NVIDIA et la période 2007-2017 a vu l’explosion du nombre de codes de calcul scientifique accélérés par les processeurs graphiques (GPU). Il existe actuellement trois grands fournisseurs de processeurs graphiques : AMD, Nvidia et Intel, avec différents segments : GPU pour stations de travail et PC, GPU pour systèmes mobiles et APU (Accelerated Processor Unit), dans lesquels CPU et GPU sont intégrés dans la même puce.
Nous rappelons brièvement les différentes étapes qui ont conduit du pipeline des cartes graphiques des années 1980 aux premiers processeurs graphiques unifiés, totalement programmables, en 2007. Le principe de fonctionnement d’un GPU est détaillé, avec l’exemple de l’architecture Fermi. La mise en œuvre de l’approche SIMT (Single Instruction Multiple Thread) est explicitée. Puis nous développons les différents aspects de dix années d’avancées technologiques liées au calcul généraliste sur GPU (GPGPU).
L’évolution des parts de marché, les applications du GPGPU et les évolutions logicielles sont présentées avec notamment les détails sur l’écosystème permettant de disposer d’API de haut niveau (proche de C) et de bas niveau (proche du matériel).
L’évolution du matériel est explicitée, avec les différentes générations micro-architecturales, les problèmes de consommation et l’apport d’unités de calcul et d’instructions spécialisées.
La hiérarchie mémoire et son évolution sont détaillées, avec les apports technologiques et la simplification introduite par l’approche « mémoire unifiée ».
Différentes techniques permettent d’améliorer l’exploitation du parallélisme, notamment au niveau des ordonnanceurs et des dispositifs matériels de gestion du parallélisme (synchronisation et opérations atomiques).
Tout en conservant leur rôle initial pour l’affichage graphique, les GPU sont devenus un acteur principal du calcul massivement parallèle. Ils exploitent le parallélisme de données grain fin que l’on trouve dans une large gamme d’applications, du calcul haute performance aux réseaux de neurones en passant par le génome. Le modèle d’exécution SIMT leur permet d’avoir un avantage significatif sur les CPU pour le parallélisme massif de données.
L'expertise technique et scientifique de référence
KEYWORDS
CPU | GPU | CUDA | NVIDIA
DOI (Digital Object Identifier)
CET ARTICLE SE TROUVE ÉGALEMENT DANS :
Accueil > Ressources documentaires > Électronique - Photonique > Électronique > Architecture et tests des circuits numériques > Processeurs graphiques totalement programmables (GPU) > Évolutions du parallélisme
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
Remarques pour conclure
En anglais
6. Évolutions du parallélisme
CUDA permet de mettre en adéquation la nécessaire hiérarchisation matérielle du calcul et l’exploitation du parallélisme au niveau logiciel. Au niveau logiciel, un noyau de calcul est défini pour s’exécuter sur un ensemble de données selon le modèle SPMD (Single Program Multiple Data). Dans ce modèle, les threads sont structurés en une grille de blocs de threads. La grille est lancée sur un ou plusieurs GPU, chaque bloc est pris en charge par un Streaming Multiprocessor (SM), et les threads sont pris en charge par les cœurs de calcul qui composent les SM. Plusieurs types d’ordonnanceurs sont nécessaires, ce qui impacte les mécanismes de communication et de synchronisation entre les threads. Dans cette section, nous détaillons les évolutions relatives à ces deux éléments.
6.1 Ordonnanceurs
L’ordonnancement des grilles, des blocs et des threads est réalisé par 3 ordonnanceurs distincts. Le mécanisme général d’ordonnancement a été vu au § 2.2. Nous détaillerons ici les évolutions de celui-ci.
Sur les premières architectures, l’ordonnancement des instructions d’un warp était réalisé à l’aide d’un scoreboard, notamment pour les opérations à longue latence (texture & load). L’ordonnanceur sélectionne le « meilleur warp » parmi les warps éligibles et réalise également l’ordonnancement des warps inter-blocs. Ce mode d’ordonnancement est sensible à la différence de latence des instructions notamment celle passant par le pipeline SFU. L’ordonnanceur de warps a donc été simplifié avec l’architecture Kepler, en fixant statiquement la latence des instructions passant par le pipeline SFU. Sa performance a été améliorée avec l’architecture Volta, en offrant plus de souplesse dans la gestion de la divergence. En effet, à partir de cette architecture,...
L'expertise technique et scientifique de référence
TEST DE VALIDATION ET CERTIFICATION CerT.I. :
Cet article vous permet de préparer une certification CerT.I.
Le test de validation des connaissances pour obtenir cette certification de Techniques de l’Ingénieur est disponible dans le module CerT.I.
de Techniques de l’Ingénieur ! Acheter le module
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Évolutions du parallélisme
BIBLIOGRAPHIE
-
(1) - LINDHOLM (E.), NICKOLLS (J.), OBERMAN (S.), MONTRYM (J.) - « Nvidia Tesla : A unified graphics And Computing architecture », - IEEE Micro, pp 40-55, March-April 2008.
-
(2) - NVIDIA - GeForce 8800 GPU Architecture Overview - (2006) http://www.nvidia.com/object/IO_37100.html
-
(3) - NVIDIA - NVIDIA’s Next Generation CUDA Compute Architecture : Fermi - (2009), http://www.nvidia.com/content/PDF/fermi_white_papers/NVIDIA_Fermi_Compute_Architecture_Whitepaper.pdf
-
(4) - NVIDIA - NVIDIA’s Next Generation CUDA Compute Architecture : Kepler - GK110 https://www.nvidia.com/content/PDF/kepler/NVIDIA-Kepler-GK110-Architecture-Whitepaper.pdf
-
(5) - NVIDIA - NVIDIA Tesla V100 GPU Architecture, - http://images.nvidia.com/content/volta-architecture/pdf/volta-architecture-whitepaper.pdf
-
...
DANS NOS BASES DOCUMENTAIRES
NORMES
-
Floating Point Converter - IEEE754 - 2008
ANNEXES
Rodinia
https://github.com/guhc/gpu-rodinia
SHOC
https://github.com/vetter/shoc
SAXPY
https://github.com/bennylp/saxpy-benchmark
Eigen-Tensor module
https://eigen.tuxfamily.org/dox/unsupported/group__CXX11__Tensor__Module.html
HAUT DE PAGE
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
QUIZ ET TEST DE VALIDATION PRÉSENTS DANS CET ARTICLE
1/ Quiz d'entraînement
Entraînez vous autant que vous le voulez avec les quiz d'entraînement.
2/ Test de validation
Lorsque vous êtes prêt, vous passez le test de validation. Vous avez deux passages possibles dans un laps de temps de 30 jours.
Entre les deux essais, vous pouvez consulter l’article et réutiliser les quiz d'entraînement pour progresser. L’attestation vous est délivrée pour un score minimum de 70 %.
L'expertise technique et scientifique de référence
Cet article fait partie de l’offre
Technologies logicielles Architectures des systèmes
(239 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
