Changement de nomenclature données marine_weather // [REMINDER] Marine_weather data nomenclature update
by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC
(English follows)
Chers usagers du Datamart du SMC,
Dans la lignée des changements apportés en décembre<https://comm.collab.science.gc.ca/mailman3/hyperkitty/list/dd_info@comm.c...> dernier aux fichiers des données « citypage_weather », de prévision météorologique par ville, les fichiers de prévisions météorologiques maritimes ont été mis à jour pour introduire une dimension temporelle afin de rendre ces fichiers uniques. Cette approche permet d'éviter d'éventuelles corruptions qui peuvent survenir lors de l'accès automatique (ex : AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_fr/>), aux fichiers non datés, écrasés lorsque les données sont plusieurs fois rafraichies dans l'heure.
Compte tenu de l'augmentation du nombre de fichiers par domaine maritime, une nouvelle hiérarchie de répertoires par heure UTC, respectant nos standards, a été mise en place afin de limiter le nombre de fichiers dans un seul répertoire.
Par exemple, plutôt que le fichier «m0000011_f.xml» soit écrasé plusieurs fois dans l'heure dans ce répertoire :
https://dd.meteo.gc.ca/marine_weather/xml/atlantic/m0000011_f.xml
De nouveaux fichiers uniques sont générés :
1. {YYYYMMDD}T{HHmmss.sss}Z_MSC_MarineWeather_m0000011_fr.xml
2. {YYYYMMDD}T{HHmmss.sss}Z _MSC_MarineWeather_m0000011_en.xml
Avec :
1. YYYYMMDD : Année, mois et jour de l'émission des données
2. T : Délimiteur temporel selon les normes ISO8601
3. HHmmss.sss : Heure, minute, seconde et milliseconde à laquelle les données sont émises
4. Z : Fuseau horaire (heure UTC)
Ces fichiers sont hébergés dans le répertoire correspondant à l'heure HH (UTC) :
https://dd.meteo.gc.ca/marine_weather/atlantic/{HH}<https://dd.meteo.gc.ca/marine_weather/atlantic/>
Afin d'aider nos usagers dans cette autre migration d'envergure, ces nouveaux fichiers resteront disponibles en parallèle aux fichiers non datés pendant les 4 prochains mois. Ensuite, seuls ces nouveaux fichiers par date seront disponibles.
Veuillez noter que le contenu des fichiers n'est pas modifié, seuls les noms de fichiers est ainsi mis à jour.
La documentation<https://eccc-msc.github.io/open-data/msc-data/marine-weather/readme_marin...> a été ajustée en conséquence.
N'hésitez pas à me contacter pour toute question ou supplément d'information.
Je vous souhaite un excellent week-end.
Cordialement,
Sandrine
============================
Dear MSC Datamart users,
Following on from the changes made last December<https://comm.collab.science.gc.ca/mailman3/hyperkitty/list/dd_info@comm.c...> to the "citypage_weather" data files for weather forecasts by city, marine_weather files have been updated to introduce a time dimension to make these files unique. This approach avoids any possible corruptions that may occur during automatic data access (e.g. AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_fr/>) to non-dated files, which are overwritten when the data is refreshed several times within the hour.
Given the increase in the number of files per marine domain, a new hierarchy of directories per UTC time has been implemented to limit the number of files in a single directory.
For example, rather than the file "m0000011_e.xml" for the marine forecast being overwritten several times during the hour in this directory :
https://dd.weather.gc.ca/marine_weather/xml/atlantic/m0000011_f.xml
New, unique files are issued:
1. {YYYYMMDD}T{HHmmss.sss}Z_MSC_MarineWeather_m0000011_en.xml
2. {YYYYMMDD}T{HHmmss.sss}Z _MSC_MarineWeather_m0000011_fr.xml
With :
1. YYYYMMDD: Year, month and day of data transmission
2. T: Time delimiter according to ISO8601 standards
3. HHmmss.sss: Hour, minute, second and millisecond at which data is transmitted
4. Z: Time zone (UTC time)
These files are hosted in the corresponding directory for HH (UTC) time:
https://dd.weather.gc.ca/marine_weather/atlantic/{HH}<https://dd.weather.gc.ca/marine_weather/atlantic>
To support our users in this further major migration, these new files will remain available alongside the non-dated files for the next 4 months. Afterwards, only these new files by date will be available.
Please note that the content of the files is not modified, only the file names.
Documentation<https://eccc-msc.github.io/open-data/msc-data/marine-weather/readme_marin...> has been adjusted accordingly.
Please do not hesitate to contact me should you have any questions or require further information.
I wish you a wonderful weekend.
All the best,
Sandrine
---------
Sandrine Edouard
Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC
Direction des Opérations du Centre canadien de prévision météorologique et environnementale
Environnement et Changement climatique Canada, Gouvernement du Canada
dps-client(a)ec.gc.ca<mailto:dps-client@ec.gc.ca> / Tél (M365) : 1-438-801 0700
Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Votre avis nous intéresse<https://forms.office.com/Pages/ResponsePage.aspx?id=018MdItudkGcyUVNvk5ix...>
Unit Manager, Data Stewardship and MSC Open Data Access
Canadian Centre for Meteorological and Environmental Prediction Operations
Environment and Climate Change Canada, Government of Canada
dps-client(a)ec.gc.ca<mailto:dps-client@ec.gc.ca> / Phone (M365): 1-438-801 0700
dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Your opinion matters to us<https://forms.office.com/Pages/ResponsePage.aspx?id=018MdItudkGcyUVNvk5ix...>
[cid:image001.png@01DB36AD.A8F481C0]