3:06 p.m.
(English follows)
Chers usagers du Datamart du SMC,
J'aimerais vous rappeler le changement important dans la structure de répertoires du
Datamart du SMC<https://dd.meteo.gc.ca/> à compter du mercredi 4 décembre, entre
14:30 UTC et 17:00 UTC.
A partir de cette date, nous allons remplacer notre structure de répertoires statiques par
une structure dynamique par date à la racine, où les répertoires sont automatiquement
créés dès que les données sont générées opérationnellement et disponibles pour être
hébergées sur le serveur HTTPS. De la sorte, tous les jeux de données auront la même
période de rétention de plusieurs semaines (environ 30 jours), et la gestion de nos
infrastructures et de nos services de données s'en trouvera améliorée.
Afin que cette migration soit la plus transparente possible pour nos usagers, des liens
dynamiques seront installés afin de reproduire fidèlement la structure actuelle du
Datamart du SMC par répertoire à la racine.
Toutefois, pour les usagers du service
AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_fr/>, recommandé
fortement pour accéder aux données du Datamart du SMC, un ajustement au fichier de
configuration sera nécessaire. En raison de la modification de la structure des
répertoires, le sujet/sous-sujet (topic/subtopic) des messages AMQP publiés sur
dd.meteo.gc.ca changera également. Les utilisateurs de Sarracenia devront ajouter le
préfixe *.WXO-DD. à leurs sous-sujets (subtopic).
Par exemple, le sous-sujet (subtopic) : « bulletins.alphanumeric.# » devra être modifié
en sous-sujet (subtopic) : « *.WXO-DD.bulletins.alphanumeric.#. »
Nous recommandons aux usagers d'ajouter la ou les nouvelles lignes de sous-sujets
(subtopic) à leurs fichiers de configuration, en plus des sous-sujets (subtopic)
existants, et de redémarrer leurs processus. De la sorte, il n'y aura pas
d'interruption lorsque la structure du répertoire sera modifiée. Les anciens
sous-sujets (subtopic) sans « *.WXO-DD. » pourront être supprimés après le 27 novembre.
Voir un exemple
ICI<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/usage/amqp_rdps-grib_new.conf>.
Veuillez noter que ces liens seront retirés en juin 2025 (date exacte à confirmer), ce qui
laisse 6 mois à nos usagers pour migrer vers cette nouvelle structure dynamique.
Pour vous donner une meilleure idée de ce que cela va représenter, soit une structure par
date et par répertoire, le serveur HPFX
Collab<https://eccc-msc.github.io/open-data/msc-datamart/readme_fr/#acces> a été mis
à jour avec de tels liens dynamiques, voici donc à quoi va ressembler le Datamart du SMC,
une fois cette migration complétée :
http://hpfx.collab.science.gc.ca/
Dans un contexte d'expansion de notre offre de données ouvertes, cette structure
améliorera grandement la maintenance de nos serveurs puisqu'aucun algorithme de
nettoyage ne sera désormais nécessaire. En outre, cela permettra d'offrir une archive
de quelques semaines de nos données, ce qui pourrait faciliter vos opérations en cas de
pertes de données ou d'enjeux avec vos serveurs.
Je vous invite fortement à tester dès maintenant l'accès à nos données via le serveur
miroir HPFX Collab. Merci de me contacter si vous isolez des enjeux ou pour toute question
reliée à cette migration.
Finalement, notez que le serveur DD-Alpha<http://dd.alpha.meteo.gc.ca/>, le site Web
d'essai de données du Datamart du SMC, n'est pas impacté par ce changement, ni le
serveur HPFX Collab, évidemment.
N'hésitez pas à me contacter pour tout enjeu suite à cette migration.
Cordialement,
Sandrine
=====================
Dear MSC Datamart users,
I would like to remind you the important change in the directory structure of the MSC
Datamart<https://dd.weather.gc.ca/>, effective Wednesday December 4th , between
14:30 UTC and 17:00 UTC.
From this date onwards, we will be replacing our static directory structure with a dynamic
date-based structure at the root, where directories are automatically created as soon as
the data is operationally generated and available for hosting on the HTTPS server. In this
way, all datasets will have the same retention period of several weeks (about 30 days) and
the management of our infrastructure and data services will be improved.
To make this migration as transparent as possible for our users, dynamic links will be
installed to faithfully reproduce the current structure of the MSC Datamart by root
directory.
However, for users of the
AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_en/> service , strongly
recommended to access our MSC Datamart data, an adjustment to the configuration file will
be necessary. Because of the folder structure change, the topic/subtopic of the AMQP
messages published to dd.weather.gc.ca will also change. Users who use Sarracenia will
need to add the *.WXO-DD. prefix to their subtopics.
For example, subtopic « bulletins.alphanumeric.# » would need to be changed to subtopic
« *.WXO-DD.bulletins.alphanumeric.#. »
We recommend that users add the new subtopic line(s) to their configuration files in
addition to the existing subtopic(s) and restart their processes. This will ensure that
there is no interruption when the directory structure is changed. The old subtopics
without *.WXO-DD. can be removed after November 27th. See an example
HERE<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/usage/amqp_rdps-grib_new.conf>.
Please note that these links will be removed in June 2025 (exact date to be confirmed),
giving our users 6 months to migrate to this new dynamic structure.
To give you a better idea of what this will represent, i.e. a structure by date and by
directory, the HPFX
Collab<https://eccc-msc.github.io/open-data/msc-datamart/readme_en/#access> server
has been updated with such dynamic links, so here's what the MSC Datamart will look
like once this migration is complete:
http://hpfx.collab.science.gc.ca/
As our open data offering expands, this structure will greatly improve the maintenance of
our servers, since no cleaning algorithm will now be required. What's more, it will
enable us to offer a few weeks' archive of our data, which could facilitate your
operations in the event of data loss or issues with your servers.
I strongly invite you to test access to our data via the HPFX Collab mirror server right
now. Please contact me if you have any issues or questions related to this migration.
Finally, please note that DD-Alpha<http://dd.alpha.weather.gc.ca/>, the MSC testing
data repository, is not affected by this change, nor, of course, is the HPFX Collab
server.
Do not hesitate to contact me if you experience any issues following this migration.
Kind regards.
Sandrine
--------
Sandrine Edouard
Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC
Direction des Opérations du Centre canadien de prévision météorologique et
environnementale
Environnement et Changement climatique Canada, Gouvernement du Canada
ec.dps-client.ec@canada.ca<mailto:ec.dps-client.ec@canada.ca> / Tél (M365) :
1-438-801 0700
Liste de diffusion dd_info :
https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Votre avis nous
intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027aeea35&lang=FR>
Unit Manager, Data Stewardship and MSC Open Data Access
Canadian Centre for Meteorological and Environmental Prediction Operations
Environment and Climate Change Canada, Government of Canada
ec.dps-client.ec@canada.ca<mailto:ec.dps-client.ec@canada.ca> / Phone (M365):
1-438-801 0700
dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Your opinion matters to
us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027aeea35&lang=EN&r=c4aea3c3-3fb4-4afa-bb3e-97f5774991ee>
[cid:image001.png@01DB2A1F.45F3F410]
