Optimisation des E/S disques dans les environnements multi-applicatifs distribués
Les applications scientifiques, connues pour exploiter des modes d'accès spécifiques, sont de plus en plus dépendantes des performances des systèmes d'Entrées/Sorties. Parallèlement, avec la croissance de l'utilisation de grappes, plusieurs programmes se retrouvent souvent exécutés en concurrence, luttant pour l'accès au système de stockage et allant potentiellement à l'encontre des optimisations apportées par les bibliothèques d'E/S parallèles. Cet article présente une solution au problème des accès disjoints générés par un ensemble d'applications distinctes exécutées en concurrence sur une grappe. Dans un tel contexte, il est nécessaire de proposer un bon compromis entre performance, équité et temps de réponse. Pour atteindre ce but, nous avons conçu un algorithme d'ordonnancement des E/S couplé à un « agrégateur » de requêtes qui tiennent compte des schémas d'accès des applications et de la charge globale du système. L'infrastructure résultante peut être connectée à une large gamme de système d'E/S.
Scientific applications which mainly exploit non sequential accesses are more and more affected by I/O performance. In the meantime, as cluster usage grows, several applications are often executed concurrently, competing for access to storage subsystems and, thus, potentially canceling optimisations brought by Parallel I/O libraries. This article addresses the issue of disjoint accesses generated by different concurrent applications in a cluster. In such a context, good trade-off has to be assessed between performance, fairness and response time. To achieve this, an I/O scheduling algorithm together with a "requests aggregator" that considers both application access patterns and global system load, have been designed and merged into a new generic framework pluggable into any I/O file system layer.
A.LÈBRE, G.HUARD, Y.DENNEULIN
Reçu le 25 janvier 2007.
Accepté le 25 octobre 2007.
grappe, système de fichiers, NFS, MPI I/O, E/S parallèles, Haute Performance.
cluster, file system, NFS, MPI I/O, parallel I/O, High Performance Computing.
Français
|
