Notice of high use of home space | Avis de forte utilisation des $HOMEs
by hpco-dfo-partner-support--ochp-mpo-soutien-au-partenaire@comm.collab.science.gc.ca
** La version française suivre la version anglaise **
Hello everyone,
We've detected an elevated usage of the DFO home space.
Some users are using their home directories for temporarily storing output files that are created during the execution of their jobs. Because many output files are getting created and deleted frequently, users' home snapshot sizes are much larger than they should be. This is because the hourly and daily home snapshots save new file additions created between a snapshot and the previous one. As a result, there is a risk that the DFO home space could completely fill up if too many jobs are doing this at the same time -- which would impact all DFO users.
In summary, the home space should not be used as scratch space.
Would you please make sure that the following has been done to your jobscripts as soon as you can?
1. Use symlinks to send output files directly to your storage space on fs7
2. If your jobs simply need space for temporary files that will be deleted after the jobs finish, use the tmpfs space (/tmp) available inside the job containers.
Please feel free to contact me for any questions or concerns.
-----
Bonjour à tous,
Nous avons détecté un usage intensif de l'espace de stockage des répertoires $HOME des utilisateurs de MPO.
Quelques utilisateurs utilisent leurs répertoires $HOME pour stocker temporairement des fichiers de sortie créés pendant l'exécution de leurs jobs. À cause de la création et de la suppression fréquentes de nombreux fichiers de sortie, les tailles des snapshots des répertoires $HOME sont plus grandes que nécessaire. Ceci est dû au fait que les snapshots horaires et quotidiens sauvegardent les nouveaux fichiers ajoutés entre un snapshot et le dernier. En conséquence, il y a un risque que l'espace de stockage des répertoires $HOME de MPO remplisse complètement si trop de jobs font ça en même temps -- ce qui aurait un impact sur tous les utilisateurs.
En bref, l'espace de stockage des répertoires $HOME ne devrait pas être utilisé comme un espace <<scratch>>.
Pourriez-vous vous assurer que les éléments suivants ont été appliqués à vos scripts de job dès que possible ?
1. Utiliser des symlinks pour envoyer les fichiers de sortie à votre espace de stockage sur fs7
2. Si vos jobs ont besoin d'espace pour des fichiers temporaires qui seront supprimer après la fin de leur exécution, utiliser l'espace temporaire (/tmp) dans les conteneurs des jobs.
N'hésitez pas à me contacter si vous avez des questions ou soucis.
Thank you / Merci,
Dale
Team Lead, High Performance Computing Optimization
Integrated HPC Management, Shared Services Canada
dale.mowbray(a)ssc-spc.gc.ca<mailto:dale.mowbray@ssc-spc.gc.ca>
Chief d'équipe, Optimisation ordinateur haute performance
Calcul de haute de performance intégré, Services partagés Canada
dale.mowbray(a)ssc-spc.gc.ca<mailto:dale.mowbray@ssc-spc.gc.ca>