Bonjour,  
 
Dans le cadre de mon travail, je cherche à isoler empreinte I/O d'un job qui tourne sur un calculateur. Grosso modo voici au niveau soft/hard à quoi ça ressemble: 1000 machines (bi-xéons/128Go de ram...), interconnect en infinband, file system partagé (Lustre), Batch Scheduler Slurm et le tout sous RHEL 6.6.  
 
Pour le moment on essaye de capter des infos avec les logs lustre, slurm, MPI, des switches IB... mais aussi avec collectl/collectd et colplot (pour le graphing) mais ça donner plus un tas d'infos plus que des infos sur ce que consomme un job en particulier. J'ai pensé à utiliser des profiler de code mais ça ne fait pas tout et c'est trop intrusif (on lit le code d'un user du cluster et c'est pas vraiment ce qu'il y a de mieux )
 
J'ai hélas peu d'infos dispos et je ne peux pas non plus en dire trop à cause des règles de confidentialité du coup ça ne va pas aider >< Du coup pour ceux qui peuvent m'aider, j'essayerai de répondre au mieux aux questions.  
 
Je sais pas trop par où commencer du coup je pense vous laisser poser des questions ça sera plus simple
 
Merci d'avance à ceux qui peuvent m'aider!  

salut,
 

on n'a pas forcément la même terminologie, qu'appelles-tu empreinte I/O ?

Tout ce qu'un job laisse comme marque sur la consommation I/O. En gros ce que consomme un job en particulier à un moment T en terme d'I/O que ça soit au niveau de l'infiband, de lustre, de la ram, du CPU, du NFS, des ramdisks... Enfin tous les I/O ou un maximum.

a ce momont la faut capturer /proc/tonnumero/* en permanance et idem pour tous les processus fils  
bref de quoi mettre a genou le cluster
 
ce que je ferai un monitoring qui fait de la capture ponctuelle toutes les 30 ou 40 secondes sur chaque noeuds  
en plus comme maintenance preventive ca te sera utile ...
probleme ..si tu as deja un existant si vaste.... ca va te prendre pas mal de temps paur le mettre en place ... genre 30 heures si tu maitrise un peu le sujet jusqu au double si tu decouvres..
 

Je découvre pas vraiment le sujet ^^.  
 
Mais c'est un peu plus complexe qu'une simple capture en fait du numéro du job. Je parle de vrai cluster HPC. Avec Slurm en batch scheduler, du file system partagé Lustre en plus du NFS et des interconnect infiniband...  
 
J'ai planché un peu sur le sujet et du coup avec slurm et un profiler ça devrait aller. Pour voir l'empreinte sur lustre je vais capturer le trafic MPI vs IB et voir la différence ça devrait aller.  
 
Merci en tout cas

 
y'avait eu https://fosdem.org/2016/schedule/ev [...] data_xalt/ lors du fosdem. j'y ai pas assisté mais ça t'aidera p-e (au pire tu verras p-e des trucs intéressants)