noon
** La version française suivre la version anglaise **
Hello everyone,
We've detected an elevated usage of the DFO home space.
Some users are using their home directories for temporarily storing output files that are
created during the execution of their jobs. Because many output files are getting created
and deleted frequently, users' home snapshot sizes are much larger than they should
be. This is because the hourly and daily home snapshots save new file additions created
between a snapshot and the previous one. As a result, there is a risk that the DFO home
space could completely fill up if too many jobs are doing this at the same time -- which
would impact all DFO users.
In summary, the home space should not be used as scratch space.
Would you please make sure that the following has been done to your jobscripts as soon as
you can?
1. Use symlinks to send output files directly to your storage space on fs7
2. If your jobs simply need space for temporary files that will be deleted after the jobs
finish, use the tmpfs space (/tmp) available inside the job containers.
Please feel free to contact me for any questions or concerns.
-----
Bonjour à tous,
Nous avons détecté un usage intensif de l'espace de stockage des répertoires $HOME des
utilisateurs de MPO.
Quelques utilisateurs utilisent leurs répertoires $HOME pour stocker temporairement des
fichiers de sortie créés pendant l'exécution de leurs jobs. À cause de la création et
de la suppression fréquentes de nombreux fichiers de sortie, les tailles des snapshots des
répertoires $HOME sont plus grandes que nécessaire. Ceci est dû au fait que les snapshots
horaires et quotidiens sauvegardent les nouveaux fichiers ajoutés entre un snapshot et le
dernier. En conséquence, il y a un risque que l'espace de stockage des répertoires
$HOME de MPO remplisse complètement si trop de jobs font ça en même temps -- ce qui aurait
un impact sur tous les utilisateurs.
En bref, l'espace de stockage des répertoires $HOME ne devrait pas être utilisé comme
un espace <<scratch>>.
Pourriez-vous vous assurer que les éléments suivants ont été appliqués à vos scripts de
job dès que possible ?
1. Utiliser des symlinks pour envoyer les fichiers de sortie à votre espace de stockage
sur fs7
2. Si vos jobs ont besoin d'espace pour des fichiers temporaires qui seront supprimer
après la fin de leur exécution, utiliser l'espace temporaire (/tmp) dans les
conteneurs des jobs.
N'hésitez pas à me contacter si vous avez des questions ou soucis.
Thank you / Merci,
Dale
Team Lead, High Performance Computing Optimization
Integrated HPC Management, Shared Services Canada
dale.mowbray@ssc-spc.gc.ca<mailto:dale.mowbray@ssc-spc.gc.ca>
Chief d'équipe, Optimisation ordinateur haute performance
Calcul de haute de performance intégré, Services partagés Canada
dale.mowbray@ssc-spc.gc.ca<mailto:dale.mowbray@ssc-spc.gc.ca>