Meilleurs vœux du Service météorologique du Canada - Bilan 2024 services de données ouvertes / Best wishes from the Meteorological Service of Canada - 2024 Open data services review
by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC
[cid:image001.png@01DB50D4.37753A80]
(English follows)
Chers usagers des données ouvertes du SMC,
La saison des fêtes approche à grands pas, au nom d’Environnement et changement climatique Canada, j’aimerais vous transmettre mes meilleurs vœux pour un temps des fêtes reposant, chaleureux et en santé auprès de vos proches.
L’année 2024 fut encore une fois bien remplie dans nos services<https://eccc-msc.github.io/open-data/readme_fr/> qui ont été rythmés, entre autres, par une mise à jour d’envergure de nos systèmes de prévision météorologique et environnementale<https://dd.meteo.gc.ca/doc/genots/2024/06/10/NOCN03_CWAO_101857___46443>, déployée le 11 juin 2024 et comportant environ 120 innovations dans 35 systèmes atmosphérique, océanique, hydrologique et terrestre. Voici un survol de la mise à jour de nos services de données :
* Ajout de plusieurs nouveaux jeux de données sur le Datamart du SMC<https://eccc-msc.github.io/open-data/msc-datamart/readme_fr/>:
* Images radar de contingence basées sur le produit d’estimation quantitative des précipitations à double polarisation (EQPDP)
* Données climatiques CanDCS-U6
* Données climatiques CMIP6
* Données d'extrêmes climatiques à long terme
* Indice de risque de submersion côtière
* Potentiel orageux
* Nouvelle gamme de produits satellitaires GOES
* Ajout de produits d'ensemble dans le Système global de prévision d’ensemble (SGPE)
* Ajout de la semaine 5 dans les prévisions mensuelles du Système global de prévision d'ensemble (SGPE)
* Ajout de paramètres de précipitation dans le Système de prévision du cycle de l'eau (SPCE)
* Ajout de l’indice UV et de l’indice UV par temps clair dans le Système régional de prévision déterministe (SRPD), le Système global de prévision déterministe (SGPD) et le Système à haute résolution de prévision déterministe (SHRPD)
* Ajout de l’ozone dans le SGPD
* Ajout d’observations SWOB de plusieurs réseaux de partenaires
* Ajout de fichiers datés uniques contenant les données de prévision météorologique par ville
* Amélioration de la composite radar 1km (ajout des données radar américaines nettoyées et temps de disponibilité amélioré)
* Nouveau Système régional de prévision déterministe de la qualité de l’air (SRPDQA) contenant les concentrations totales associées aux panaches de feux de forêt et de végétation. Les PM2.5 et les PM10 incluent désormais la contribution des feux de forêts et de végétation ainsi que la contribution anthropique et biogène
* La Cote air-santé (CAS) calculée avec les observations, maintenant disponible plus tôt
* Données du Système global de prévision déterministe de vague (SGPDV) maintenant disponibles jusqu'à 240h
* Données du Système régional de prévision d'ensemble de vague (SRPEV) maintenant disponibles 4 fois par jour à 00Z, 06Z, 12Z et 18Z
* Les éléments du temps sur grille basés sur le SRPD sont maintenant disponibles jusqu’à 84h et ceux basés sur le SGPD sont maintenant disponibles jusqu’à 144h
* Changement de grille de l’Analyse régionale déterministe de précipitation (ARDP) vers un domaine couvrant les Caraïbes, le Mexique au complet ainsi qu'une partie de l'Europe du Nord
* Nouveaux polygones de régions de prévision
* Mise à jour des fichiers XML de prévision météorologique par ville
* Mise à jour des produits CAP-XML
* Mise à jour des données SWOB avec l’ajout de stations exploitées et gérées par le ministère de l’Agriculture et de l'Irrigation du Gouvernement de l'Alberta (AB-MAI)
Tous les détails de ces changements se retrouvent dans les annonces de notre liste de diffusion dd_info<https://comm.collab.science.gc.ca/mailman3/hyperkitty/list/dd_info@comm.c...>.
Plusieurs livraisons majeures de nos services web géospatiaux<https://eccc-msc.github.io/open-data/msc-geomet/readme_fr/> ont bonifié l’accès aux données du SMC via nos API :
* Ajouts de nombreuses couches suite aux mises à jour détaillées ci-dessus. Voir toutes les informations dans l’archive de liste de diffusion GeoMet-Info<https://comm.collab.science.gc.ca/mailman3/hyperkitty/list/geomet-info@co...>
* Nouvelle fonctionnalité expérimentale de GeoMet-Météo permettant de générer des fichiers GRIB2 à la demande via le standard WCS
* De nombreux nouveaux styles WMS et mises à jour déployés
* Amélioration de la performance des services
Plusieurs mises à jour importantes de l’outil AniMet du SMC<https://eccc-msc.github.io/open-data/msc-animet/readme_fr/#animet-du-smc>, un outil simple permettant aux utilisateurs d'interagir avec les données météorologiques ouvertes du SMC et de créer des animations météorologiques personnalisées pour n'importe quelle région du monde. Tous les détails se retrouvent dans les annonces de la liste GeoMet-Info, parmi ceux-ci :
* Ajout de nouvelles projections cartographiques
* Mise en boucle possible des animations via le menu de lecture de l'animation (icône d'engrenage) dans le contrôleur de lecture. Étendue temporelle automatiquement
* Possibilité de jouer et créer des animations en sens inverse
* Fuseaux horaires configurables par l'utilisateur
* Mode expérimental à 4 affichages pour les grands écrans
* De nombreuses améliorations et ajout de fonctionnalités
Plusieurs mises à jour de notre documentation publique<https://eccc-msc.github.io/open-data/readme_fr/> ont été livrées dans le souci constant d’améliorer nos services (contenu, aspect et convivialité. Une page de documentation par thème<https://eccc-msc.github.io/open-data/msc-data-themes/readme_fr/> a été ajoutée pour guider nos usagers à travers nos données disponibles en fonction de leurs domaines d’application. Un sondage en ligne de satisfaction sur la documentation<https://eccc-msc.github.io/open-data/readme_fr/#votre-avis-nous-interesse> des données ouvertes du SMC a été déployé.
Par ailleurs, le projet pilote de dissémination des données radar, lancé en 2022 dans le cadre de notre volonté d’ajouter les données radar brutes parmi l’offre de données ouvertes, a été prolongé tout au long de cette année et sera encore en cours pour les prochains mois.
Finalement, une 5ème série de webinaires « Usagers des données ouvertes du SMC, parlez-nous de vous »<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/events/StayConnect...> a été organisée cet automne afin de mieux connaitre nos usagers et leurs besoins. Une autre série est au programme pour janvier et février 2025.
Dans un souci constant d’améliorer notre offre de données, nous aimerions recevoir vos commentaires sur nos services. Merci de prendre quelques minutes pour répondre à ce court sondage<https://forms.office.com/Pages/ResponsePage.aspx?id=018MdItudkGcyUVNvk5ix...>, votre collaboration est bien appréciée.
L’année 2025 sera elle aussi riche en innovations et améliorations importantes de nos services de données. Restez à l’affut !
Nous vous remercions de la confiance que vous nous accordez et de votre intérêt dans les données du Service météorologique du Canada.
J'ai hâte de communiquer de nouveau avec vous en 2025. ☺
Prenez bien soin de vous et de vos proches en ce temps des fêtes.
Au plaisir.
Sandrine
=================================
Dear MSC open data users,
The holiday season is fast approaching, and on behalf of Environment and Climate Change Canada, I would like to extend my best wishes for a restful, warm and healthy holiday season with your loved ones.
The year 2024 was another busy one for our services<https://eccc-msc.github.io/open-data/readme_fr/>, which were punctuated, among other things, by a major update of our weather and environmental forecasting systems<https://dd.meteo.gc.ca/doc/genots/2024/06/10/NOCN03_CWAO_101857___46443>, deployed on June 11, 2024 and involving some 120 innovations in 35 atmospheric, oceanic, hydrologic and terrestrial systems. Here's an overview of the update to our data services:
* Addition of several new datasets to the MSC Datamart<https://eccc-msc.github.io/open-data/msc-datamart/readme_en/>:
* Contingency radar imagery based on the Dual Polarization Quantitative Precipitation Estimation product (DPQPE)
* CanDCS-U6 climate data
* CMIP6 climate data
* Long-term climate extremes data
* Coastal flooding risk index
* Thunderstorm outlooks
* New range of GOES satellite products
* Addition of ensemble products to the Global Ensemble Prediction System (GEPS)
* Addition of week 5 to the Global Ensemble Prediction System (GEPS) monthly forecasts
* Precipitation parameters added to the Water Cycle Prediction System (WCPS)
* UV Index and Clear Weather UV Index added to Regional Deterministic Prediction System (RDPS), Global Deterministic Prediction System (GDPS) and High Resolution Deterministic Prediction System (HRDPS)
* Ozone added to the GDPS
* Addition of SWOB observations from several partner networks
* Addition of unique dated files containing weather forecast data by city
* Enhanced 1km radar composite (addition of cleaned US radar data and improved uptime)
* New Regional Air Quality Deterministic Prediction System (RAQDPS) containing total concentrations associated with forest and vegetation fire plumes. PM2.5 and PM10 now include the contribution of forest and vegetation fires, as well as anthropogenic and biogenic contributions
* Air Quality Health Index (AQHI) calculated with observations, now available earlier
* Global Deterministic Wave Prediction System (GDWPS) data now available up to 240h
* Regional Ensemble Wave Prediction System (REWPS) data now available 4 times daily at 00Z, 06Z, 12Z and 18Z
* RDPS weather elements on the grid now available up to 84h and GDPS weather elements on the grid now available up to 144h
* Change of Regional Deterministic Precipitation Analysis (RDPA) grid to a domain covering the Caribbean, the whole of Mexico and part of Northern Europe
* New forecast region polygons
* Updated weather forecast XML files by city
* Update of CAP-XML products
* Update of SWOB data with the addition of stations operated and managed by Alberta Agriculture and Irrigation (AB-MAI)
Full details of these changes can be found in our dd_info mailing list<https://comm.collab.science.gc.ca/mailman3/hyperkitty/list/dd_info@comm.c...> announcements.
Several major releases of our geospatial web services<https://eccc-msc.github.io/open-data/msc-geomet/readme_en/> have enhanced access to MSC data via our APIs:
* Numerous layer additions following the updates detailed above. See all information in the GeoMet-Info mailing list<https://comm.collab.science.gc.ca/mailman3/hyperkitty/list/geomet-info@co...> archive
* New experimental GeoMet-Weather functionality to generate GRIB2 files on demand via the WCS standard
* Many new WMS styles and updates deployed
* Improved service performance
Several important updates to MSC's AniMet<https://eccc-msc.github.io/open-data/msc-animet/readme_en/> tool, a simple tool enabling users to interact with MSC's open weather data and create customized weather animations for any region of the world. Full details can be found in the announcements on the GeoMet-Info list, including :
* Addition of new map projections
* Looping of animations via the animation playback menu (gear icon) in the playback controller. Temporal extent automatically refreshed
* Possibility of playing and creating animations in reverse direction
* User-configurable time zones
* Experimental 4-display mode for large screens
* Numerous enhancements and new features
Several updates to our public documentation<https://eccc-msc.github.io/open-data/readme_en/> have been delivered, with the constant aim of improving our services in terms of content, appearance and user-friendliness. A documentation page by theme<https://eccc-msc.github.io/open-data/msc-data-themes/readme_en/> has been added to guide our users through our available data according to their fields of application. An online satisfaction survey on<https://eccc-msc.github.io/open-data/readme_en/#your-opinion-matters-to-us> MSC's open data documentation was deployed.
In addition, the radar data dissemination pilot project, launched in 2022 as part of our drive to add raw radar data to our open data offering, has been extended throughout this year and will be ongoing for the next few months.
Finally, a 5th series of webinars “MSC open data users, tell us about yourselves”<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/events/StayConnect...> was organized this autumn to get to know our users and their needs better. Another series is scheduled for January and February 2025.
As part of our ongoing efforts to improve our data offering, we would like to receive your feedback on our services. Please take a few minutes to complete this short survey<https://forms.office.com/Pages/ResponsePage.aspx?id=018MdItudkGcyUVNvk5ix...>, your collaboration is greatly appreciated.
The year 2025 will also be full of important innovations and improvements to our data services. Stay tuned!
Thank you for your trust and interest in MSC data.
I look forward to communicating with you again in 2025. 😊
Take good care of yourself and your loved ones this holiday season.
All the best.
Sandrine
--------
Veuillez noter que je serai absente du 20 décembre au 07 janvier, seuls les courriels urgents seront traités pendant cette période. Merci de votre compréhension et bon temps des fêtes! / Please note that I'll be away from December 20 to January 07, so only urgent e-mails will be answered during this period. Thank you for your understanding and happy holidays!
Sandrine Edouard [cid:image002.png@01DB5143.9E890480]
Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC
Direction des Opérations du Centre canadien de prévision météorologique et environnementale
Environnement et Changement climatique Canada, Gouvernement du Canada
dps-client(a)ec.gc.ca<mailto:dps-client@ec.gc.ca> / Tél (M365) : 1-438-801 0700
Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Votre avis nous intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...>
Unit Manager, Data Stewardship and MSC Open Data Access
Canadian Centre for Meteorological and Environmental Prediction Operations
Environment and Climate Change Canada, Government of Canada
dps-client(a)ec.gc.ca<mailto:dps-client@ec.gc.ca> / Phone (M365): 1-438-801 0700
dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Your opinion matters to us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...>
[cid:image005.png@01DA2F36.0C5EF4A0]
1 month, 1 week
- 1
- 0
[DERNIER RAPPEL] Changements à venir dans les données SWOB: GovAB // [LAST REMINDER] Changes to come in the SWOB GovAB data
by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC
(English follows)
Chers usagers des données ouvertes du SMC,
A partir du mercredi 11 décembre 2024, un changement important sera mis en œuvre concernant les données d’observation du Gouvernement de l’Alberta qui sont actuellement disponibles parmi les données SWOB, à cette adresse sur le Datamart du SMC :
https://dd.meteo.gc.ca/observations/swob-ml/YYYYMMDD<https://dd.meteo.gc.ca/observations/swob-ml>
Les stations exploitées et gérées par le ministère de l’Agriculture et de l'Irrigation du Gouvernement de l'Alberta (AB-MAI) seront déplacées vers un nouveau répertoire des partenaires sur le Datamart du SMC, à l'adresse suivante :
https://dd.meteo.gc.ca/observations/swob-ml/partners/ab_agriculture
En plus d’être déplacées de répertoire, il est important de considérer les changements suivants :
* Des noms d’éléments seront modifiés
* De nouveaux éléments seront disponibles alors que d’autres seront retirés
* L’impact qui pourrait être le plus important pour vos applications : la quantité de précipitation au cours de la dernière heure (élément « pcpn_amt_pst1h ») ne sera plus disponible suite à un changement de politique de la province relié au contrôle de qualité, ce qui aura également un impact sur les quantités sur 3, 6, 12 et 24 heures dérivées jusqu’ici.. Par contre, la jauge de précipitation cumulée (élément « cum_pcpn_gag_wt ») demeurera disponible.
* La bonne nouvelle : 80 stations qui étaient absentes ces derniers mois seront de nouveau disponibles dans ce nouveau répertoire de partenaires
Afin d’aider nos usagers dans cette migration, veuillez trouver en attaché un fichier détaillant l’ensemble ces changements pour les éléments, ainsi que la nouvelle liste de stations de partenaires ainsi mise à jour avec ce réseau ajouté.
Plusieurs échantillons sont également joints à ce rappel.
Finalement, le guide des produits<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/msc-data/obs_stati...> a été mis à jour pour refléter ce changement.
Nous sommes désolés des impacts que ce changement, hors de notre contrôle, pourrait avoir sur vos applications.
N’hésitez pas à me contacter pour toute question ou supplément d’information.
Cordialement,
Sandrine
=============================
Dear MSC open data users,
As of Wednesday, December 11, 2024, an important change will be implemented regarding the Government of Alberta observational data currently available among SWOB data, at this address on the MSC Datamart:
https://dd.weather.gc.ca/observations/swob-ml/YYYYMMDD<https://dd.weather.gc.ca/observations/swob-ml>
Stations owned and operated by the Alberta Government’s Ministry of Agriculture and Irrigation (AB-MAI) will be moved to a new location on the MSC Datamart, at the following partner address:
https://dd.weather.gc.ca/observations/swob-ml/partners/ab_agriculture
In addition to directory moving, please note the following changes:
* Elements names will be modified
* New elements will be available while others will be removed
* The impact that could be most significant for your applications: Precipitation amount past 1 hour (pcpn_amt_pst1h) will no longer be available due to a change in the province's quality control policy, which also impacts the derivations of 3, 6, 12 and 24h amounts that we previously derived. However, the cumulative precipitation gauge weight (cum_pcpn_gag_wt) will remain available.
* The good news: 80 stations that were absent in recent months will be available in this new partner directory
To help our users with this migration, please find attached a file detailing all these changes for the elements as well as the new list of partner stations thus updated with this added network.
Several samples are also enclosed with this reminder.
Finally, the product guide<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/msc-data/obs_stati...> has been already updated to reflect this change.
We apologize for any impact this change, which is beyond our control, may have on your applications.
Please do not hesitate to contact me should you have any questions or require further information.
Al the best,
Sandrine
--------
Veuillez noter que je serai absente du 20 décembre au 07 janvier, seuls les courriels urgents seront traités pendant cette période. Merci de votre compréhension et bon temps des fêtes! / Please note that I'll be away from December 20 to January 07, so only urgent e-mails will be answered during this period. Thank you for your understanding and happy holidays!
Sandrine Edouard [cid:image001.png@01DB4A53.A11BB450]
Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC
Direction des Opérations du Centre canadien de prévision météorologique et environnementale
Environnement et Changement climatique Canada, Gouvernement du Canada
dps-client(a)ec.gc.ca<mailto:dps-client@ec.gc.ca> / Tél (M365) : 1-438-801 0700
Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Votre avis nous intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...>
Unit Manager, Data Stewardship and MSC Open Data Access
Canadian Centre for Meteorological and Environmental Prediction Operations
Environment and Climate Change Canada, Government of Canada
dps-client(a)ec.gc.ca<mailto:dps-client@ec.gc.ca> / Phone (M365): 1-438-801 0700
dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Your opinion matters to us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...>
[cid:image002.png@01DB4A53.A11BB450]
1 month, 3 weeks
- 1
- 0
[AJUSTEMENTS] Mise à jour de l'arborescence du Datamart du SMC // [ADJUSTMENTS] MSC Datamart tree structure update
by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC
(English follows)
Chers usagers du Datamart du SMC,
Suite à la mise à jour de la structure de répertoires du Datamart du SMC le mercredi 4 décembre<https://comm.collab.science.gc.ca/mailman3/hyperkitty/list/dd_info@comm.c...>, plusieurs usagers nous ont rapporté des enjeux reliés à l’arborescence par date, par exemple:
* Disparition de l’archive de 30 jours des bulletins alphanumériques dans le répertoire du jour (mais toujours disponible à la racine du serveur HTTPS)
* Données d’observations et de modèles numériques (ex : AHRDP, CPCOG) se retrouvant dans des répertoires de la veille ou du jour suivant selon l’heure à laquelle les données sont générées (et non envoyées sur le serveur) autour de 00:00UTC.
Ceci ne constitue pas un bogue du processus de dissémination dynamique, c’est un comportement attendu mais nous avons conscience que cela peut provoquer des bris dans les applications des usagers.
Ainsi, et pour limiter au maximum les impacts chez nos usagers, pendant cette période de migration de 6 mois, nos analystes vont adapter les processus de dissémination dans les prochains jours, afin de régler ces enjeux.
Une nouvelle annonce sera envoyée lorsque ces ajustements sont effectifs.
Nous sommes désolés des impacts que cette migration importante a entrainé chez certains de nos usagers et nous mettons tout en œuvre pour y remédier aussitôt que possible.
Cordialement,
Sandrine
=======================
Dear MSC Datamart users,
Following the update of the MSC Datamart directory structure on Wednesday December 4<https://comm.collab.science.gc.ca/mailman3/hyperkitty/list/dd_info@comm.c...>, several users have reported issues related to the tree structure by date, for example:
* Disappearance of the 30-day archive of alphanumeric bulletins in the directory of the day (but still available at the root of the HTTPS server)
* Observations and numerical model data (e.g. HRDPA, CIOPS) found in directories for the previous or next day, depending on the time at which the data is generated around 00:00UTC (and not sent to the server).
This is not a bug in the dynamic dissemination process - it's expected behavior - but we are aware that it can cause breakdowns in user applications.
So, to minimize the impact on our users during this 6-month migration period, our analysts will be adapting the dissemination processes over the next days to address these issues.
A further announcement will be sent when these adjustments are effective.
We're sorry for the impact this major migration has had on some of our users, and we're doing our best to remedy the situation as soon as possible.
Kind regards.
Sandrine
--------
Veuillez noter que je serai absente du 20 décembre au 07 janvier, seuls les courriels urgents seront traités pendant cette période. Merci de votre compréhension et bons temps des fêtes! / Please note that I'll be away from December 20 to January 07, so only urgent e-mails will be answered during this period. Thank you for your understanding and happy holidays!
Sandrine Edouard [cid:image001.png@01DB4701.1B5CD650]
Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC
Direction des Opérations du Centre canadien de prévision météorologique et environnementale
Environnement et Changement climatique Canada, Gouvernement du Canada
dps-client(a)ec.gc.ca<mailto:dps-client@ec.gc.ca> / Tél (M365) : 1-438-801 0700
Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Votre avis nous intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...>
Unit Manager, Data Stewardship and MSC Open Data Access
Canadian Centre for Meteorological and Environmental Prediction Operations
Environment and Climate Change Canada, Government of Canada
dps-client(a)ec.gc.ca<mailto:dps-client@ec.gc.ca> / Phone (M365): 1-438-801 0700
dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Your opinion matters to us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...>
[cid:image002.png@01DB4701.1B5CD650]
1 month, 3 weeks
- 1
- 0
[RAPPEL] Changement de nomenclature données citypage_weather // [REMINDER] Citypage_weather data nomenclature update
by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC
(English follows)
Chers usagers du Datamart du SMC,
A compter de juin 2025 (date exacte à confirmer), les fichiers des données citypage_weather<https://dd.meteo.gc.ca/citypage_weather/xml/>, de prévision météorologique par ville, seront mis à jour pour introduire une dimension temporelle afin de rendre ces fichiers uniques. Cette approche permettra d'éviter d'éventuelles corruptions qui peuvent survenir lors de l'accès automatique (ex : AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_fr/>), à ces fichiers actuellement écrasés lorsque les données sont plusieurs fois rafraichies dans l'heure.
Compte tenu de l'augmentation du nombre de fichiers par province et territoire, une nouvelle hiérarchie de répertoires par heure UTC, respectant nos standards, sera mise en place afin de limiter le nombre de fichiers dans un seul répertoire.
Par exemple, plutôt que le fichier « s0000635_f.xml » pour la prévision officielle à Montréal soit écrasé plusieurs fois dans l'heure dans ce répertoire :
https://dd.meteo.gc.ca/citypage_weather/xml/QC/s0000635_f.xml
De nouveaux fichiers uniques seront générés :
1. {YYYYMMDD}T{HHmmss.sss}Z_MSC_CitypageWeather_s0000635_fr.xml
2. {YYYYMMDD}T{HHmmss.sss}Z _MSC_CitypageWeather_s0000635_en.xml
Avec :
1. YYYYMMDD : Année, mois et jour de l'émission des données
2. T : Délimiteur temporel selon les normes ISO8601
3. HHmmss.sss : Heure, minute, seconde et milliseconde à laquelle les données sont émises
4. Z : Fuseau horaire (heure UTC)
Ces fichiers seront alors hébergés dans le répertoire correspondant à l'heure HH (UTC) :
https://dd.meteo.gc.ca/citypage_weather/QC/{HH}
Afin d'aider nos usagers dans cette autre migration d'envergure, ces nouveaux fichiers seront disponibles dans cette nouvelle hiérarchie de répertoires dès le 10 décembre 2024 et resteront disponibles en parallèle aux fichiers actuels pendant les 6 prochains mois. Ensuite, seuls ces nouveaux fichiers par date seront disponibles.
Veuillez noter que le contenu des fichiers ne sera pas modifié, seuls les noms de fichiers seront ainsi mis à jour.
La documentation<https://eccc-msc.github.io/open-data/msc-data/metnotes/readme_metnotes-da...> sera bien entendu ajustée en conséquence.
N'hésitez pas à me contacter pour toute question ou supplément d'information.
Je vous souhaite une très belle semaine.
Cordialement,
Sandrine
============================
Dear MSC Datamart users,
As of June 2025 (exact date to be confirmed), citypage_weather<https://dd.weather.gc.ca/citypage_weather/xml/> data files will be updated to introduce a time dimension to make these files unique. This approach will avoid any possible corruptions that may occur during automatic data access (e.g. AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_fr/>) to these files, which are currently overwritten when the data is refreshed several times within the hour.
Given the increase in the number of files per province and territory, a new hierarchy of directories per UTC time will be implemented to limit the number of files in a single directory.
For example, rather than the file "s0000635_e.xml" for the official forecast in Montreal being overwritten several times during the hour in this directory :
https://dd.meteo.gc.ca/citypage_weather/xml/QC/s0000635_f.xml
New, unique files will be issued:
1. {YYYYMMDD}T{HHmmss.sss}Z_MSC_CitypageWeather_s0000635_en.xml
2. {YYYYMMDD}T{HHmmss.sss}Z _MSC_CitypageWeather_s0000635_fr.xml
With :
1. YYYYMMDD: Year, month and day of data transmission
2. T: Time delimiter according to ISO8601 standards
3. HHmmss.sss: Hour, minute, second and millisecond at which data is transmitted
4. Z: Time zone (UTC time)
These files will then be hosted in the corresponding directory for HH (UTC) time:
https://dd.weather.gc.ca/citypage_weather/QC/{HH}
To support our users in this further major migration, these new files will be available in this new directory hierarchy from December 10, 2024, and will remain available alongside the current files for the next 6 months. Afterwards, only these new files by date will be available.
Please note that the content of the files will not be modified, only the file names.
Documentation<https://eccc-msc.github.io/open-data/msc-data/metnotes/readme_metnotes-da...> will of course be adjusted accordingly.
Please do not hesitate to contact me should you have any questions or require further information.
I wish you a wonderful week.
All the best,
Sandrine
--------
Veuillez noter que je serai absente du 20 décembre au 07 janvier, seuls les courriels urgents seront traités pendant cette période. Merci de votre compréhension et bons temps des fêtes! / Please note that I'll be away from December 20 to January 07, so only urgent e-mails will be answered during this period. Thank you for your understanding and happy holidays!
Sandrine Edouard [cid:image002.png@01DB4A10.0D6A8B20]
Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC
Direction des Opérations du Centre canadien de prévision météorologique et environnementale
Environnement et Changement climatique Canada, Gouvernement du Canada
dps-client(a)ec.gc.ca<mailto:dps-client@ec.gc.ca> / Tél (M365) : 1-438-801 0700
Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Votre avis nous intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...>
Unit Manager, Data Stewardship and MSC Open Data Access
Canadian Centre for Meteorological and Environmental Prediction Operations
Environment and Climate Change Canada, Government of Canada
dps-client(a)ec.gc.ca<mailto:dps-client@ec.gc.ca> / Phone (M365): 1-438-801 0700
dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Your opinion matters to us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...>
[cid:image001.png@01DB36AD.A8F481C0]
1 month, 3 weeks
- 1
- 0
[RAPPEL] Changements à venir dans les données SWOB: GovAB // [REMINDER] Changes to come in the SWOB GovAB data
by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC
(English follows)
Chers usagers des données ouvertes du SMC,
A partir du mercredi 11 décembre 2024, un changement important sera mis en œuvre concernant les données d’observation du Gouvernement de l’Alberta qui sont actuellement disponibles parmi les données SWOB, à cette adresse sur le Datamart du SMC :
https://dd.meteo.gc.ca/observations/swob-ml/YYYYMMDD<https://dd.meteo.gc.ca/observations/swob-ml>
Les stations exploitées et gérées par le ministère de l’Agriculture et de l'Irrigation du Gouvernement de l'Alberta (AB-MAI) seront déplacées vers un nouveau répertoire des partenaires sur le Datamart du SMC, à l'adresse suivante :
https://dd.meteo.gc.ca/observations/swob-ml/partners/ab_agriculture<https://dd.meteo.gc.ca/observations/swob-ml/partners/ab_agriculture/>
En plus d’être déplacées de répertoire, il est important de considérer les changements suivants :
* Des noms d’éléments seront modifiés
* De nouveaux éléments seront disponibles alors que d’autres seront retirés
* L’impact qui pourrait être le plus important pour vos applications : la quantité de précipitation au cours de la dernière heure (élément « pcpn_amt_pst1h ») ne sera plus disponible suite à un changement de politique de la province relié au contrôle de qualité, ce qui aura également un impact sur les quantités sur 3, 6, 12 et 24 heures dérivées jusqu’ici.. Par contre, la jauge de précipitation cumulée (élément « cum_pcpn_gag_wt ») demeurera disponible.
* La bonne nouvelle : 80 stations qui étaient absentes ces derniers mois seront de nouveau disponibles dans ce nouveau répertoire de partenaires
Afin d’aider nos usagers dans cette migration, veuillez trouver en attaché un fichier détaillant l’ensemble ces changements pour les éléments, ainsi que la nouvelle liste de stations de partenaires ainsi mise à jour avec ce réseau ajouté.
Plusieurs échantillons sont également joints à ce rappel.
Finalement, le guide des produits<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/msc-data/obs_stati...> a été mis à jour pour refléter ce changement.
Nous sommes désolés des impacts que ce changement, hors de notre contrôle, pourrait avoir sur vos applications.
N’hésitez pas à me contacter pour toute question ou supplément d’information.
Je vous souhaite un très bon week-end!
Sandrine
=============================
Dear MSC open data users,
As of Wednesday, December 11, 2024, an important change will be implemented regarding the Government of Alberta observational data currently available among SWOB data, at this address on the MSC Datamart:
https://dd.weather.gc.ca/observations/swob-ml/YYYYMMDD<https://dd.weather.gc.ca/observations/swob-ml>
Stations owned and operated by the Alberta Government’s Ministry of Agriculture and Irrigation (AB-MAI) will be moved to a new location on the MSC Datamart, at the following partner address:
https://dd.weather.gc.ca/observations/swob-ml/partners/ab_agriculture<https://dd.weather.gc.ca/observations/swob-ml/partners/ab_agriculture/>
In addition to directory moving, please note the following changes:
* Elements names will be modified
* New elements will be available while others will be removed
* The impact that could be most significant for your applications: Precipitation amount past 1 hour (pcpn_amt_pst1h) will no longer be available due to a change in the province's quality control policy, which also impacts the derivations of 3, 6, 12 and 24h amounts that we previously derived. However, the cumulative precipitation gauge weight (cum_pcpn_gag_wt) will remain available.
* The good news: 80 stations that were absent in recent months will be available in this new partner directory
To help our users with this migration, please find attached a file detailing all these changes for the elements as well as the new list of partner stations thus updated with this added network.
Several samples are also enclosed with this reminder.
Finally, the product guide<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/msc-data/obs_stati...> has been already updated to reflect this change.
We apologize for any impact this change, which is beyond our control, may have on your applications.
Please do not hesitate to contact me should you have any questions or require further information.
I wish you a great week-end! 😊
Sandrine
--------
Sandrine Edouard [cid:image002.png@01DB47B3.00EE58E0]
Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC
Direction des Opérations du Centre canadien de prévision météorologique et environnementale
Environnement et Changement climatique Canada, Gouvernement du Canada
dps-client(a)ec.gc.ca<mailto:dps-client@ec.gc.ca> / Tél (M365) : 1-438-801 0700
Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Votre avis nous intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...>
Unit Manager, Data Stewardship and MSC Open Data Access
Canadian Centre for Meteorological and Environmental Prediction Operations
Environment and Climate Change Canada, Government of Canada
dps-client(a)ec.gc.ca<mailto:dps-client@ec.gc.ca> / Phone (M365): 1-438-801 0700
dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Your opinion matters to us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...>
[cid:image001.png@01DB39C8.99707C90]
1 month, 3 weeks
- 1
- 0
[DERNIER RAPPEL] Mise à jour de l'arborescence du Datamart du SMC // [LAST REMINDER] MSC Datamart tree structure update
by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC
(English follows)
Chers usagers du Datamart du SMC,
J'aimerais vous rappeler le changement important dans la structure de répertoires du Datamart du SMC<https://dd.meteo.gc.ca/> à compter du mercredi 4 décembre, entre 14:30 UTC et 17:00 UTC.
A partir de cette date, nous allons remplacer notre structure de répertoires statiques par une structure dynamique par date à la racine, où les répertoires sont automatiquement créés dès que les données sont générées opérationnellement et disponibles pour être hébergées sur le serveur HTTPS. De la sorte, tous les jeux de données auront la même période de rétention de plusieurs semaines (environ 30 jours), et la gestion de nos infrastructures et de nos services de données s'en trouvera améliorée.
Afin que cette migration soit la plus transparente possible pour nos usagers, des liens dynamiques seront installés afin de reproduire fidèlement la structure actuelle du Datamart du SMC par répertoire à la racine.
Toutefois, pour les usagers du service AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_fr/>, recommandé fortement pour accéder aux données du Datamart du SMC, un ajustement au fichier de configuration sera nécessaire. En raison de la modification de la structure des répertoires, le sujet/sous-sujet (topic/subtopic) des messages AMQP publiés sur dd.meteo.gc.ca changera également. Les utilisateurs de Sarracenia devront ajouter le préfixe *.WXO-DD. à leurs sous-sujets (subtopic).
Par exemple, le sous-sujet (subtopic) : « bulletins.alphanumeric.# » devra être modifié en sous-sujet (subtopic) : « *.WXO-DD.bulletins.alphanumeric.#. »
Nous recommandons aux usagers d'ajouter la ou les nouvelles lignes de sous-sujets (subtopic) à leurs fichiers de configuration, en plus des sous-sujets (subtopic) existants, et de redémarrer leurs processus. De la sorte, il n'y aura pas d'interruption lorsque la structure du répertoire sera modifiée. Les anciens sous-sujets (subtopic) sans « *.WXO-DD. » pourront être supprimés après le 27 novembre. Voir un exemple ICI<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/usage/amqp_rdps-gr...>.
Veuillez noter que ces liens seront retirés en juin 2025 (date exacte à confirmer), ce qui laisse 6 mois à nos usagers pour migrer vers cette nouvelle structure dynamique.
Pour vous donner une meilleure idée de ce que cela va représenter, soit une structure par date et par répertoire, le serveur HPFX Collab<https://eccc-msc.github.io/open-data/msc-datamart/readme_fr/#acces> a été mis à jour avec de tels liens dynamiques, voici donc à quoi va ressembler le Datamart du SMC, une fois cette migration complétée :
http://hpfx.collab.science.gc.ca/
Dans un contexte d'expansion de notre offre de données ouvertes, cette structure améliorera grandement la maintenance de nos serveurs puisqu'aucun algorithme de nettoyage ne sera désormais nécessaire. En outre, cela permettra d'offrir une archive de quelques semaines de nos données, ce qui pourrait faciliter vos opérations en cas de pertes de données ou d'enjeux avec vos serveurs.
Je vous invite fortement à tester dès maintenant l'accès à nos données via le serveur miroir HPFX Collab. Merci de me contacter si vous isolez des enjeux ou pour toute question reliée à cette migration.
Finalement, notez que le serveur DD-Alpha<http://dd.alpha.meteo.gc.ca/>, le site Web d'essai de données du Datamart du SMC, n'est pas impacté par ce changement, ni le serveur HPFX Collab, évidemment.
N'hésitez pas à me contacter pour tout enjeu suite à cette migration.
Cordialement,
Sandrine
=====================
Dear MSC Datamart users,
I would like to remind you the important change in the directory structure of the MSC Datamart<https://dd.weather.gc.ca/>, effective Wednesday December 4th , between 14:30 UTC and 17:00 UTC.
From this date onwards, we will be replacing our static directory structure with a dynamic date-based structure at the root, where directories are automatically created as soon as the data is operationally generated and available for hosting on the HTTPS server. In this way, all datasets will have the same retention period of several weeks (about 30 days) and the management of our infrastructure and data services will be improved.
To make this migration as transparent as possible for our users, dynamic links will be installed to faithfully reproduce the current structure of the MSC Datamart by root directory.
However, for users of the AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_en/> service , strongly recommended to access our MSC Datamart data, an adjustment to the configuration file will be necessary. Because of the folder structure change, the topic/subtopic of the AMQP messages published to dd.weather.gc.ca will also change. Users who use Sarracenia will need to add the *.WXO-DD. prefix to their subtopics.
For example, subtopic « bulletins.alphanumeric.# » would need to be changed to subtopic « *.WXO-DD.bulletins.alphanumeric.#. »
We recommend that users add the new subtopic line(s) to their configuration files in addition to the existing subtopic(s) and restart their processes. This will ensure that there is no interruption when the directory structure is changed. The old subtopics without *.WXO-DD. can be removed after November 27th. See an example HERE<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/usage/amqp_rdps-gr...>.
Please note that these links will be removed in June 2025 (exact date to be confirmed), giving our users 6 months to migrate to this new dynamic structure.
To give you a better idea of what this will represent, i.e. a structure by date and by directory, the HPFX Collab<https://eccc-msc.github.io/open-data/msc-datamart/readme_en/#access> server has been updated with such dynamic links, so here's what the MSC Datamart will look like once this migration is complete:
http://hpfx.collab.science.gc.ca/
As our open data offering expands, this structure will greatly improve the maintenance of our servers, since no cleaning algorithm will now be required. What's more, it will enable us to offer a few weeks' archive of our data, which could facilitate your operations in the event of data loss or issues with your servers.
I strongly invite you to test access to our data via the HPFX Collab mirror server right now. Please contact me if you have any issues or questions related to this migration.
Finally, please note that DD-Alpha<http://dd.alpha.weather.gc.ca/>, the MSC testing data repository, is not affected by this change, nor, of course, is the HPFX Collab server.
Do not hesitate to contact me if you experience any issues following this migration.
Kind regards.
Sandrine
--------
Sandrine Edouard
Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC
Direction des Opérations du Centre canadien de prévision météorologique et environnementale
Environnement et Changement climatique Canada, Gouvernement du Canada
ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Tél (M365) : 1-438-801 0700
Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Votre avis nous intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...>
Unit Manager, Data Stewardship and MSC Open Data Access
Canadian Centre for Meteorological and Environmental Prediction Operations
Environment and Climate Change Canada, Government of Canada
ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Phone (M365): 1-438-801 0700
dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info
Your opinion matters to us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...>
[cid:image001.png@01DB2A1F.45F3F410]
1 month, 4 weeks
- 1
- 0
- ← Newer
- 1
- Older →