Présentation
RÉSUMÉ
L’implémentation des algorithmes itératifs parallèles asynchrones est l'objet du présent article. On abordera d’abord l’implémentation des tests d’arrêt des itérations à la fois à partir d’une approche informatique et d’une approche analyse numérique utilisant, dans ce dernier cas, soit la propriété de contraction, soit celle de convergence en ordre partiel et enfin également les ensembles emboités. Après avoir rappelé un certain nombre de notions concernant l’architecture des machines multiprocesseurs, on abordera le principe d’implémentation de ces méthodes itératives parallèles asynchrones en particulier pour les méthode de sous-domaines ; l’équilibrage de charge de ces algorithmes sera également discuté.
Lire cet article issu d'une ressource documentaire complète, actualisée et validée par des comités scientifiques.
Lire l’articleAuteur(s)
-
Pierre SPITERI : Professeur émérite - Université de Toulouse, INP-ENSEEIHT – IRIT, Toulouse, France
-
Jean-Claude MIELLOU : Professeur honoraire - Université de Bourgogne Franche-Comté, Département de Mathématiques, Besançon, France
INTRODUCTION
Dans un premier article [AF 1 385] on a considéré la résolution de deux types de problème pseudo-linéaire. Le premier problème est un problème univoque du type
où A est une matrice de dimension
, ensemble des entiers naturels, G et U sont des vecteurs de dimension M et
Le second type de problème est multivoque car sa solution U est soumise à des contraintes inégalité du type
dans ce cas on est amené à résoudre le problème multivoque suivant
où U → Ψ(U) est la fonction indicatrice de l’ensemble convexe K définissant les contraintes, ∂Ψ(U) est le sous-différentiel de cette fonction indicatrice et vérifie la propriété importante d’être diagonal monotone.
La matrice A étant de grande dimension, dans chaque cas, la détermination de la solution consiste à résoudre un système algébrique de grande taille. On associe alors à chacun de ces systèmes non linéaires une équation de point fixe définie formellement par
cette dernière étant résolue par un algorithme parallèle asynchrone. Soit α un nombre entier naturel ; décomposons le vecteur
et l’application de point fixe V → F(V) en α blocs de la façon suivante :
où l’on note
, le bloc-composante de V pour
, avec
, où
, avec
, est un sous-espace de
. Soient
les normes définies dans
, l = 1, … , α.
Pour résoudre le problème de point fixe (5), on utilise les itérations parallèles asynchrones définies comme suit : soit
donné ; alors, pour tout
, U r+1 est défini récursivement par :
où
et
,
Dans ce modèle mathématique de l’algorithme parallèle asynchrone, le parallélisme entre les processeurs est bien décrit par l’ensemble s(r) qui contient le numéro des composantes relaxées par chaque processeur de manière parallèle. De plus l’utilisation dans (7) de composantes retardées
provenant de relaxations disponibles au début du calcul, avec
satisfaisant (9), permet de modéliser un comportement non déterministe et n’implique pas d’inefficacité du schéma de calcul distribué considéré. Sur le plan pratique, et pour que ces méthodes soient le plus efficace possible, on effectue des relaxations en prenant les valeurs d’interaction
les plus récentes disponibles calculées par les autres processeurs ; en fait ce choix s’effectue naturellement lorsque l’algorithme s’exécute sans que le programmeur n’ait à coder quoi que ce soit.
Pour analyser la convergence de ces méthodes itératives, on dispose de trois possibilités liées à des propriétés formellement distinctes
-
une propriété de contraction de l’application de point fixe F soit par rapport à une norme vectorielle soit par rapport à une norme uniforme avec poids ;
-
une propriété de convergence monotone qui est vérifiée uniquement pour le problème (1) puisque l’opérateur
est une M-fonction continue surjective, c’est-à-dire hors diagonale décroissante et
inverse monotone, i.e.
entraîne V ≤ U, et de plus
est supposée continue et surjective ;
-
les itérés successifs Ur appartiennent à des ensembles emboités
centrés en U* .
Dans la mesure où dans la suite, on aura à utiliser l’un de ces résultats, on rappelle les critères présentés précédemment dans le premier article [AF 1 385] dans la section 1 suivante.
MOTS-CLÉS
architectures multiprocesseurs message passing interface terminaison des algorithmes méthode des sous-domaines
DOI (Digital Object Identifier)
Cet article fait partie de l’offre
Mathématiques
(167 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Présentation
2. Terminaison des algorithmes itératifs parallèles asynchrones
Si la détection de convergence des itérations parallèles synchrones ne présente pas de difficultés majeures, par contre, en raison du comportement non déterministe des méthodes asynchrones, il existe dans ce cas une réelle difficulté d’implémenter des tests d’arrêt fiables des itérations. En effet le problème de terminaison des itérations parallèles asynchrones est un problème extrêmement difficile à coder car il relève à la fois des mathématiques appliquées et également de l’informatique. Sur le plan mathématique, la terminaison de telles méthodes doit se produire lorsque le vecteur itéré est suffisament proche de la solution du problème. Par ailleurs sur le plan informatique on doit actuellement tenir compte de la spécificité des architectures des machines multiprocesseurs, en particulier sur des systèmes distribués où les communications s’effectuent par passage de messages et dans ce contexte les processeurs possèdent uniquement des informations locales.
Comme nous le verrons dans le troisième article [AF 1 387] ce type d’étude est d’autant plus intéressant à traiter que les méthodes parallèles asynchrones sont très efficaces lorsqu’il y a beaucoup de synchronisations entre les processeurs, les attentes alors engendrées produisant des phases d’inactivité de ces derniers. En outre, l’utilisation de méthodes parallèles asynchrones présente un intérêt supplémentaire lorsque les communications entre les processeurs sont lentes, situation que l’on retrouve par exemple dans l’utilisation des grilles de calcul ou du cloud computing correspondant au cas où les clusters utilisés sont distants et hétérogènes.
les grilles de calcul, le cloud computing ainsi que les clusters (ou grappes de calcul) seront présentés en détail au paragraphe ...
Cet article fait partie de l’offre
Mathématiques
(167 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive
Terminaison des algorithmes itératifs parallèles asynchrones
BIBLIOGRAPHIE
-
(1) - ORTEGA (J.M.), RHEINBOLDT (W.C.) - Iterative Solution of Nonlinear Equations in Several Variables. - Computer Science and Applied Mathematics. New-York: Academic Press (1970).
-
(2) - BERTSEKAS (D.) - Distributed asynchronous computation of fixed points. - In: Math. Programming 27, p. 107-120 (1983).
-
(3) - SPITERI (P.), MIELLOU (J.-C.), EL BAZ (D.) - Perturbation of parallel asynchronous linear iterations by floating point errors. - In: ETNA Electronic Transaction on Numerical Analysis 13, p. 38-55 (2002).
-
(4) - EL TARAZI (M.N.) - Some Convergence Results for Asynchronous Algorithms. - In: Numerische Mathematik 39, p. 325-340 (1982).
-
(5) - MIELLOU (J.-C.), EL BAZ (D.), SPITERI (P.) - A New Class of Asynchronous Iterative Algorithms with Order Intervals. - In: Mathematics of Computation 67, p. 237-255 (1998).
-
...
DANS NOS BASES DOCUMENTAIRES
ANNEXES
Grid’5000: https://www.grid5000.fr
Cloud Computing: https://www.wikipedia.org/wiki/cloud-computing
National Institute of Standards and Technology (NIST):
HAUT DE PAGECet article fait partie de l’offre
Mathématiques
(167 articles en ce moment)
Cette offre vous donne accès à :
Une base complète d’articles
Actualisée et enrichie d’articles validés par nos comités scientifiques
Des services
Un ensemble d'outils exclusifs en complément des ressources
Un Parcours Pratique
Opérationnel et didactique, pour garantir l'acquisition des compétences transverses
Doc & Quiz
Des articles interactifs avec des quiz, pour une lecture constructive