[dd_info] [IMPORTANT] Mise à jour de l'arborescence du Datamart du SMC // [IMPORTANT] MSC Datamart tree structure update

(English follows) Chers usagers du Datamart du SMC, J'aimerais vous informer d'un changement important dans la structure de répertoires du Datamart du SMC<https://dd.meteo.gc.ca/> à compter du mercredi 27 novembre (date à confirmer). A partir de fin novembre, nous allons remplacer notre structure de répertoires statiques par une structure dynamique par date à la racine, où les répertoires sont automatiquement créés dès que les données sont générées opérationnellement et disponibles pour être hébergées sur le serveur HTTPS. De la sorte, tous les jeux de données auront la même période de rétention de plusieurs semaines (environ 30 jours), et la gestion de nos infrastructures et de nos services de données s'en trouvera améliorée. Afin que cette migration soit la plus transparente possible pour nos usagers, des liens dynamiques seront installés afin de reproduire fidèlement la structure actuelle du Datamart du SMC par répertoire à la racine. Toutefois, pour les usagers du service AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_fr/>, recommandé fortement pour accéder aux données du Datamart du SMC, un ajustement au fichier de configuration sera nécessaire. En raison de la modification de la structure des répertoires, le sujet/sous-sujet (topic/subtopic) des messages AMQP publiés sur dd.meteo.gc.ca changera également. Les utilisateurs de Sarracenia devront ajouter le préfixe *.WXO-DD. à leurs sous-sujets (subtopic). Par exemple, le sous-sujet (subtopic) : « bulletins.alphanumeric.# » devra être modifié en sous-sujet (subtopic) : « *.WXO-DD.bulletins.alphanumeric.#. » Nous recommandons aux usagers d'ajouter la ou les nouvelles lignes de sous-sujets (subtopic) à leurs fichiers de configuration, en plus des sous-sujets (subtopic) existants, et de redémarrer leurs processus. De la sorte, il n'y aura pas d'interruption lorsque la structure du répertoire sera modifiée. Les anciens sous-sujets (subtopic) sans « *.WXO-DD. » pourront être supprimés après le 27 novembre. Voir un exemple ICI<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/usage/amqp_rdps-grib_new.conf>. Pour vous donner une meilleure idée de ce que cela va représenter, soit une structure par date et par répertoire, le serveur HPFX Collab<https://eccc-msc.github.io/open-data/msc-datamart/readme_fr/#acces> a été mis à jour avec de tels liens dynamiques, voici donc à quoi va ressembler le Datamart du SMC, une fois cette migration complétée : http://hpfx.collab.science.gc.ca/ Dans un contexte d'expansion de notre offre de données ouvertes, cette structure améliorera grandement la maintenance de nos serveurs puisqu'aucun algorithme de nettoyage ne sera désormais nécessaire. En outre, cela permettra d'offrir une archive de quelques semaines de nos données, ce qui pourrait faciliter vos opérations en cas de pertes de données ou d'enjeux avec vos serveurs. Je vous invite fortement à tester dès maintenant l'accès à nos données via le serveur miroir HPFX Collab. Merci de me contacter si vous isolez des enjeux ou pour toute question reliée à cette migration. Finalement, notez que le serveur DD-Alpha<http://dd.alpha.meteo.gc.ca/>, le site Web d'essai de données du Datamart du SMC, n'est pas impacté par ce changement, ni le serveur HPFX Collab, évidemment. Merci de votre collaboration et de votre intérêt dans nos services de données. Au plaisir, Sandrine ===================== Dear MSC Datamart users, I would like to inform you of an important change in the directory structure of the MSC Datamart<https://dd.weather.gc.ca/>, effective Wednesday November 27 (date to be confirmed). From the end of November, we will be replacing our static directory structure with a dynamic date-based structure at the root, where directories are automatically created as soon as the data is operationally generated and available for hosting on the HTTPS server. In this way, all datasets will have the same retention period of several weeks (about 30 days) and the management of our infrastructure and data services will be improved. To make this migration as transparent as possible for our users, dynamic links will be installed to faithfully reproduce the current structure of the MSC Datamart by root directory. However, for users of the AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_en/> service , strongly recommended to access our MSC Datamart data, an adjustment to the configuration file will be necessary. Because of the folder structure change, the topic/subtopic of the AMQP messages published to dd.weather.gc.ca will also change. Users who use Sarracenia will need to add the *.WXO-DD. prefix to their subtopics. For example, subtopic « bulletins.alphanumeric.# » would need to be changed to subtopic « *.WXO-DD.bulletins.alphanumeric.#. » We recommend that users add the new subtopic line(s) to their configuration files in addition to the existing subtopic(s) and restart their processes. This will ensure that there is no interruption when the directory structure is changed. The old subtopics without *.WXO-DD. can be removed after November 27th. See an example HERE<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/usage/amqp_rdps-grib_new.conf>. To give you a better idea of what this will represent, i.e. a structure by date and by directory, the HPFX Collab<https://eccc-msc.github.io/open-data/msc-datamart/readme_en/#access> server has been updated with such dynamic links, so here's what the MSC Datamart will look like once this migration is complete: http://hpfx.collab.science.gc.ca/ As our open data offering expands, this structure will greatly improve the maintenance of our servers, since no cleaning algorithm will now be required. What's more, it will enable us to offer a few weeks' archive of our data, which could facilitate your operations in the event of data loss or issues with your servers. I strongly invite you to test access to our data via the HPFX Collab mirror server right now. Please contact me if you have any issues or questions related to this migration. Finally, please note that DD-Alpha<http://dd.alpha.weather.gc.ca/>, the MSC testing data repository, is not affected by this change, nor, of course, is the HPFX Collab server. Thank you for your cooperation and your interest in our data services. All the best. Sandrine -------- Sandrine Edouard Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC Direction des Opérations du Centre canadien de prévision météorologique et environnementale Environnement et Changement climatique Canada, Gouvernement du Canada ec.dps-client.ec@canada.ca<mailto:ec.dps-client.ec@canada.ca> / Tél (M365) : 1-438-801 0700 Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Votre avis nous intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027aeea35&lang=FR> Unit Manager, Data Stewardship and MSC Open Data Access Canadian Centre for Meteorological and Environmental Prediction Operations Environment and Climate Change Canada, Government of Canada ec.dps-client.ec@canada.ca<mailto:ec.dps-client.ec@canada.ca> / Phone (M365): 1-438-801 0700 dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Your opinion matters to us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027aeea35&lang=EN&r=c4aea3c3-3fb4-4afa-bb3e-97f5774991ee> [cid:image001.png@01DB2A1F.45F3F410]