November 2024 - dd_info - Comm.Collab.Science.Gc.Ca

[MISE À JOUR] Mise à jour de l'arborescence du Datamart du SMC repoussée // [UPDATE] MSC Datamart tree structure update postponed

by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC

(English follows) Chers usagers du Datamart du SMC, J'aimerais vous informer d'un changement important dans la structure de répertoires du Datamart du SMC<https://dd.meteo.gc.ca/> à compter du mercredi 4 décembre (heure exacte à venir). A partir de fin novembre, nous allons remplacer notre structure de répertoires statiques par une structure dynamique par date à la racine, où les répertoires sont automatiquement créés dès que les données sont générées opérationnellement et disponibles pour être hébergées sur le serveur HTTPS. De la sorte, tous les jeux de données auront la même période de rétention de plusieurs semaines (environ 30 jours), et la gestion de nos infrastructures et de nos services de données s'en trouvera améliorée. Afin que cette migration soit la plus transparente possible pour nos usagers, des liens dynamiques seront installés afin de reproduire fidèlement la structure actuelle du Datamart du SMC par répertoire à la racine. Toutefois, pour les usagers du service AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_fr/>, recommandé fortement pour accéder aux données du Datamart du SMC, un ajustement au fichier de configuration sera nécessaire. En raison de la modification de la structure des répertoires, le sujet/sous-sujet (topic/subtopic) des messages AMQP publiés sur dd.meteo.gc.ca changera également. Les utilisateurs de Sarracenia devront ajouter le préfixe *.WXO-DD. à leurs sous-sujets (subtopic). Par exemple, le sous-sujet (subtopic) : « bulletins.alphanumeric.# » devra être modifié en sous-sujet (subtopic) : « *.WXO-DD.bulletins.alphanumeric.#. » Nous recommandons aux usagers d'ajouter la ou les nouvelles lignes de sous-sujets (subtopic) à leurs fichiers de configuration, en plus des sous-sujets (subtopic) existants, et de redémarrer leurs processus. De la sorte, il n'y aura pas d'interruption lorsque la structure du répertoire sera modifiée. Les anciens sous-sujets (subtopic) sans « *.WXO-DD. » pourront être supprimés après le 27 novembre. Voir un exemple ICI<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/usage/amqp_rdps-gr...>. Veuillez noter que ces liens seront retirés en juin 2025 (date exacte à confirmer), ce qui laisse 6 mois à nos usagers pour migrer vers cette nouvelle structure dynamique. Pour vous donner une meilleure idée de ce que cela va représenter, soit une structure par date et par répertoire, le serveur HPFX Collab<https://eccc-msc.github.io/open-data/msc-datamart/readme_fr/#acces> a été mis à jour avec de tels liens dynamiques, voici donc à quoi va ressembler le Datamart du SMC, une fois cette migration complétée : http://hpfx.collab.science.gc.ca/ Dans un contexte d'expansion de notre offre de données ouvertes, cette structure améliorera grandement la maintenance de nos serveurs puisqu'aucun algorithme de nettoyage ne sera désormais nécessaire. En outre, cela permettra d'offrir une archive de quelques semaines de nos données, ce qui pourrait faciliter vos opérations en cas de pertes de données ou d'enjeux avec vos serveurs. Je vous invite fortement à tester dès maintenant l'accès à nos données via le serveur miroir HPFX Collab. Merci de me contacter si vous isolez des enjeux ou pour toute question reliée à cette migration. Finalement, notez que le serveur DD-Alpha<http://dd.alpha.meteo.gc.ca/>, le site Web d'essai de données du Datamart du SMC, n'est pas impacté par ce changement, ni le serveur HPFX Collab, évidemment. Merci de votre collaboration et de votre intérêt dans nos services de données. Je vous souhaite une très belle semaine. Sandrine ===================== Dear MSC Datamart users, I would like to inform you of an important change in the directory structure of the MSC Datamart<https://dd.weather.gc.ca/>, effective Wednesday December 4th (exact time to come). From the end of November, we will be replacing our static directory structure with a dynamic date-based structure at the root, where directories are automatically created as soon as the data is operationally generated and available for hosting on the HTTPS server. In this way, all datasets will have the same retention period of several weeks (about 30 days) and the management of our infrastructure and data services will be improved. To make this migration as transparent as possible for our users, dynamic links will be installed to faithfully reproduce the current structure of the MSC Datamart by root directory. However, for users of the AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_en/> service , strongly recommended to access our MSC Datamart data, an adjustment to the configuration file will be necessary. Because of the folder structure change, the topic/subtopic of the AMQP messages published to dd.weather.gc.ca will also change. Users who use Sarracenia will need to add the *.WXO-DD. prefix to their subtopics. For example, subtopic « bulletins.alphanumeric.# » would need to be changed to subtopic « *.WXO-DD.bulletins.alphanumeric.#. » We recommend that users add the new subtopic line(s) to their configuration files in addition to the existing subtopic(s) and restart their processes. This will ensure that there is no interruption when the directory structure is changed. The old subtopics without *.WXO-DD. can be removed after November 27th. See an example HERE<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/usage/amqp_rdps-gr...>. Please note that these links will be removed in June 2025 (exact date to be confirmed), giving our users 6 months to migrate to this new dynamic structure. To give you a better idea of what this will represent, i.e. a structure by date and by directory, the HPFX Collab<https://eccc-msc.github.io/open-data/msc-datamart/readme_en/#access> server has been updated with such dynamic links, so here's what the MSC Datamart will look like once this migration is complete: http://hpfx.collab.science.gc.ca/ As our open data offering expands, this structure will greatly improve the maintenance of our servers, since no cleaning algorithm will now be required. What's more, it will enable us to offer a few weeks' archive of our data, which could facilitate your operations in the event of data loss or issues with your servers. I strongly invite you to test access to our data via the HPFX Collab mirror server right now. Please contact me if you have any issues or questions related to this migration. Finally, please note that DD-Alpha<http://dd.alpha.weather.gc.ca/>, the MSC testing data repository, is not affected by this change, nor, of course, is the HPFX Collab server. Thank you for your cooperation and your interest in our data services. I wish you a great week. Sandrine -------- Sandrine Edouard Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC Direction des Opérations du Centre canadien de prévision météorologique et environnementale Environnement et Changement climatique Canada, Gouvernement du Canada ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Tél (M365) : 1-438-801 0700 Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Votre avis nous intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...> Unit Manager, Data Stewardship and MSC Open Data Access Canadian Centre for Meteorological and Environmental Prediction Operations Environment and Climate Change Canada, Government of Canada ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Phone (M365): 1-438-801 0700 dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Your opinion matters to us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...> [cid:image001.png@01DB2A1F.45F3F410]

2 days, 22 hours

1
0
0 / 0

[RAPPEL] Changements à venir dans les données SWOB: GovAB // [REMINDER] Changes to come in the SWOB GovAB data

by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC

(English follows) Chers usagers des données ouvertes du SMC, A partir du mercredi 11 décembre 2024 (à confirmer), un changement important sera mis en œuvre concernant les données d’observation du Gouvernement de l’Alberta qui sont actuellement disponibles parmi les données SWOB, à cette adresse sur le Datamart du SMC : https://dd.meteo.gc.ca/observations/swob-ml/YYYYMMDD<https://dd.meteo.gc.ca/observations/swob-ml> Les stations exploitées et gérées par le ministère de l’Agriculture et de l'Irrigation du Gouvernement de l'Alberta (AB-MAI) seront déplacées vers un nouveau répertoire des partenaires sur le Datamart du SMC, à l'adresse suivante : https://dd.meteo.gc.ca/observations/swob-ml/partners/ab_agriculture<https://dd.meteo.gc.ca/observations/swob-ml/partners/ab_agriculture/> En plus d’être déplacées de répertoire, il est important de considérer les changements suivants : * Des noms d’éléments seront modifiés * De nouveaux éléments seront disponibles alors que d’autres seront retirés * L’impact qui pourrait être le plus important pour vos applications : la quantité de précipitation au cours de la dernière heure (élément « pcpn_amt_pst1h ») ne sera plus disponible suite à un changement de politique de la province relié au contrôle de qualité, ce qui aura également un impact sur les quantités sur 3, 6, 12 et 24 heures dérivées jusqu’ici.. Par contre, la jauge de précipitation cumulée (élément « cum_pcpn_gag_wt ») demeurera disponible. * La bonne nouvelle : 80 stations qui étaient absentes ces derniers mois seront de nouveau disponibles dans ce nouveau répertoire de partenaires Afin d’aider nos usagers dans cette migration, veuillez trouver en attaché un fichier détaillant l’ensemble ces changements pour les éléments, ainsi que la nouvelle liste de stations de partenaires ainsi mise à jour avec ce réseau ajouté. Plusieurs échantillons sont également joints à ce rappel. Finalement, le guide des produits sera mis à jour prochainement pour refléter ce changement. Nous sommes désolés des impacts que ce changement, hors de notre contrôle, pourrait avoir sur vos applications. N’hésitez pas à me contacter pour toute question ou supplément d’information. Je vous souhaite un très bon week-end! 😊 Sandrine ============================= Dear MSC open data users, As of Wednesday, December 11, 2024 ( to be confirmed), an important change will be implemented regarding the Government of Alberta observational data currently available among SWOB data, at this address on the MSC Datamart: https://dd.weather.gc.ca/observations/swob-ml/YYYYMMDD<https://dd.weather.gc.ca/observations/swob-ml> Stations owned and operated by the Alberta Government’s Ministry of Agriculture and Irrigation (AB-MAI) will be moved to a new location on the MSC Datamart, at the following partner address: https://dd.weather.gc.ca/observations/swob-ml/partners/ab_agriculture<https://dd.weather.gc.ca/observations/swob-ml/partners/ab_agriculture/> In addition to directory moving, please note the following changes: * Elements names will be modified * New elements will be available while others will be removed * The impact that could be most significant for your applications: Precipitation amount past 1 hour (pcpn_amt_pst1h) will no longer be available due to a change in the province's quality control policy, which also impacts the derivations of 3, 6, 12 and 24h amounts that we previously derived. However, the cumulative precipitation gauge weight (cum_pcpn_gag_wt) will remain available. * The good news: 80 stations that were absent in recent months will be available in this new partner directory To help our users with this migration, please find attached a file detailing all these changes for the elements as well as the new list of partner stations thus updated with this added network. Several samples are also enclosed with this reminder. Finally, the product guide will be updated shortly to reflect this change. We apologize for any impact this change, which is beyond our control, may have on your applications. Please do not hesitate to contact me should you have any questions or require further information. I wish you a great week-end! 😊 Sandrine -------- Sandrine Edouard Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC Direction des Opérations du Centre canadien de prévision météorologique et environnementale Environnement et Changement climatique Canada, Gouvernement du Canada ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Tél (M365) : 1-438-801 0700 Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Votre avis nous intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...> Unit Manager, Data Stewardship and MSC Open Data Access Canadian Centre for Meteorological and Environmental Prediction Operations Environment and Climate Change Canada, Government of Canada ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Phone (M365): 1-438-801 0700 dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Your opinion matters to us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...> [cid:image001.png@01DB39C8.99707C90]

6 days, 20 hours

1
0
0 / 0

[ATTENTION] Changements à venir dans les données SWOB: GovAB // [ATTENTION] Changes to come in the SWOB GovAB data

by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC

(English follows) Chers usagers des données ouvertes du SMC, A partir du mercredi 11 décembre 2024 (à confirmer), un changement important sera mis en œuvre concernant les données d’observation du Gouvernement de l’Alberta qui sont actuellement disponibles parmi les données SWOB, à cette adresse sur le Datamart du SMC : https://dd.meteo.gc.ca/observations/swob-ml/YYYYMMDD<https://dd.meteo.gc.ca/observations/swob-ml> Les stations exploitées et gérées par le ministère de l’Agriculture et de l'Irrigation du Gouvernement de l'Alberta (AB-MAI) seront déplacées vers un nouveau répertoire des partenaires sur le Datamart du SMC, à l'adresse suivante : https://dd.meteo.gc.ca/observations/swob-ml/partners/ab_agriculture<https://dd.meteo.gc.ca/observations/swob-ml/partners/ab_agriculture/> En plus d’être déplacées de répertoire, il est important de considérer les changements suivants : * Des noms d’éléments seront modifiés * De nouveaux éléments seront disponibles alors que d’autres seront retirés * L’impact qui pourrait être le plus important pour vos applications : la quantité de précipitation au cours de la dernière heure (élément « pcpn_amt_pst1h ») ne sera plus disponible suite à un changement de politique de la province relié au contrôle de qualité, ce qui aura également un impact sur les quantités sur 3, 6, 12 et 24 heures dérivées jusqu’ici.. Par contre, la jauge de précipitation cumulée (élément « cum_pcpn_gag_wt ») demeurera disponible. * La bonne nouvelle : 80 stations qui étaient absentes ces derniers mois seront de nouveau disponibles dans ce nouveau répertoire de partenaires Afin d’aider nos usagers dans cette migration, veuillez trouver en attaché un fichier détaillant l’ensemble ces changements pour les éléments, ainsi que la nouvelle liste de stations de partenaires ainsi mise à jour avec ce réseau ajouté. Un échantillon sera également bientôt disponible. Finalement, le guide des produits sera mis à jour prochainement pour refléter ce changement. Nous sommes désolés des impacts que ce changement, hors de notre contrôle, pourrait avoir sur vos applications. N’hésitez pas à me contacter pour toute question ou supplément d’information. Cordialement, Sandrine ============================= Dear MSC open data users, As of Wednesday, December 11, 2024 ( to be confirmed), an important change will be implemented regarding the Government of Alberta observational data currently available among SWOB data, at this address on the MSC Datamart: https://dd.weather.gc.ca/observations/swob-ml/YYYYMMDD<https://dd.weather.gc.ca/observations/swob-ml> Stations owned and operated by the Alberta Government’s Ministry of Agriculture and Irrigation (AB-MAI) will be moved to a new location on the MSC Datamart, at the following partner address: https://dd.weather.gc.ca/observations/swob-ml/partners/ab_agriculture<https://dd.weather.gc.ca/observations/swob-ml/partners/ab_agriculture/> In addition to directory moving, please note the following changes: * Elements names will be modified * New elements will be available while others will be removed * The impact that could be most significant for your applications: Precipitation amount past 1 hour (pcpn_amt_pst1h) will no longer be available due to a change in the province's quality control policy, which also impacts the derivations of 3, 6, 12 and 24h amounts that we previously derived. However, the cumulative precipitation gauge weight (cum_pcpn_gag_wt) will remain available. * The good news: 80 stations that were absent in recent months will be available in this new partner directory To help our users with this migration, please find attached a file detailing all these changes for the elements as well as the new list of partner stations thus updated with this added network. A sample will also be available soon. Finally, the product guide will be updated shortly to reflect this change. We apologize for any impact this change, which is beyond our control, may have on your applications. Please do not hesitate to contact me should you have any questions or require further information. Best regards, Sandrine -------- Sandrine Edouard Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC Direction des Opérations du Centre canadien de prévision météorologique et environnementale Environnement et Changement climatique Canada, Gouvernement du Canada ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Tél (M365) : 1-438-801 0700 Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Votre avis nous intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...> Unit Manager, Data Stewardship and MSC Open Data Access Canadian Centre for Meteorological and Environmental Prediction Operations Environment and Climate Change Canada, Government of Canada ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Phone (M365): 1-438-801 0700 dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Your opinion matters to us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...> [cid:image001.png@01DB39C8.99707C90]

1 week, 3 days

1
0
0 / 0

[RAPPEL] Mise à jour de l'arborescence du Datamart du SMC // [REMINDER] MSC Datamart tree structure update

by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC

(English follows) Chers usagers du Datamart du SMC, J'aimerais vous informer d'un changement important dans la structure de répertoires du Datamart du SMC<https://dd.meteo.gc.ca/> à compter du mercredi 27 novembre. A partir de fin novembre, nous allons remplacer notre structure de répertoires statiques par une structure dynamique par date à la racine, où les répertoires sont automatiquement créés dès que les données sont générées opérationnellement et disponibles pour être hébergées sur le serveur HTTPS. De la sorte, tous les jeux de données auront la même période de rétention de plusieurs semaines (environ 30 jours), et la gestion de nos infrastructures et de nos services de données s'en trouvera améliorée. Afin que cette migration soit la plus transparente possible pour nos usagers, des liens dynamiques seront installés afin de reproduire fidèlement la structure actuelle du Datamart du SMC par répertoire à la racine. Toutefois, pour les usagers du service AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_fr/>, recommandé fortement pour accéder aux données du Datamart du SMC, un ajustement au fichier de configuration sera nécessaire. En raison de la modification de la structure des répertoires, le sujet/sous-sujet (topic/subtopic) des messages AMQP publiés sur dd.meteo.gc.ca changera également. Les utilisateurs de Sarracenia devront ajouter le préfixe *.WXO-DD. à leurs sous-sujets (subtopic). Par exemple, le sous-sujet (subtopic) : « bulletins.alphanumeric.# » devra être modifié en sous-sujet (subtopic) : « *.WXO-DD.bulletins.alphanumeric.#. » Nous recommandons aux usagers d'ajouter la ou les nouvelles lignes de sous-sujets (subtopic) à leurs fichiers de configuration, en plus des sous-sujets (subtopic) existants, et de redémarrer leurs processus. De la sorte, il n'y aura pas d'interruption lorsque la structure du répertoire sera modifiée. Les anciens sous-sujets (subtopic) sans « *.WXO-DD. » pourront être supprimés après le 27 novembre. Voir un exemple ICI<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/usage/amqp_rdps-gr...>. Veuillez noter que ces liens seront retirés en juin 2025 (date exacte à confirmer), ce qui laisse 6 mois à nos usagers pour migrer vers cette nouvelle structure dynamique. Pour vous donner une meilleure idée de ce que cela va représenter, soit une structure par date et par répertoire, le serveur HPFX Collab<https://eccc-msc.github.io/open-data/msc-datamart/readme_fr/#acces> a été mis à jour avec de tels liens dynamiques, voici donc à quoi va ressembler le Datamart du SMC, une fois cette migration complétée : http://hpfx.collab.science.gc.ca/ Dans un contexte d'expansion de notre offre de données ouvertes, cette structure améliorera grandement la maintenance de nos serveurs puisqu'aucun algorithme de nettoyage ne sera désormais nécessaire. En outre, cela permettra d'offrir une archive de quelques semaines de nos données, ce qui pourrait faciliter vos opérations en cas de pertes de données ou d'enjeux avec vos serveurs. Je vous invite fortement à tester dès maintenant l'accès à nos données via le serveur miroir HPFX Collab. Merci de me contacter si vous isolez des enjeux ou pour toute question reliée à cette migration. Finalement, notez que le serveur DD-Alpha<http://dd.alpha.meteo.gc.ca/>, le site Web d'essai de données du Datamart du SMC, n'est pas impacté par ce changement, ni le serveur HPFX Collab, évidemment. Merci de votre collaboration et de votre intérêt dans nos services de données. Je vous souhaite une très belle semaine. Sandrine ===================== Dear MSC Datamart users, I would like to inform you of an important change in the directory structure of the MSC Datamart<https://dd.weather.gc.ca/>, effective Wednesday November 27. From the end of November, we will be replacing our static directory structure with a dynamic date-based structure at the root, where directories are automatically created as soon as the data is operationally generated and available for hosting on the HTTPS server. In this way, all datasets will have the same retention period of several weeks (about 30 days) and the management of our infrastructure and data services will be improved. To make this migration as transparent as possible for our users, dynamic links will be installed to faithfully reproduce the current structure of the MSC Datamart by root directory. However, for users of the AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_en/> service , strongly recommended to access our MSC Datamart data, an adjustment to the configuration file will be necessary. Because of the folder structure change, the topic/subtopic of the AMQP messages published to dd.weather.gc.ca will also change. Users who use Sarracenia will need to add the *.WXO-DD. prefix to their subtopics. For example, subtopic « bulletins.alphanumeric.# » would need to be changed to subtopic « *.WXO-DD.bulletins.alphanumeric.#. » We recommend that users add the new subtopic line(s) to their configuration files in addition to the existing subtopic(s) and restart their processes. This will ensure that there is no interruption when the directory structure is changed. The old subtopics without *.WXO-DD. can be removed after November 27th. See an example HERE<https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/usage/amqp_rdps-gr...>. Please note that these links will be removed in June 2025 (exact date to be confirmed), giving our users 6 months to migrate to this new dynamic structure. To give you a better idea of what this will represent, i.e. a structure by date and by directory, the HPFX Collab<https://eccc-msc.github.io/open-data/msc-datamart/readme_en/#access> server has been updated with such dynamic links, so here's what the MSC Datamart will look like once this migration is complete: http://hpfx.collab.science.gc.ca/ As our open data offering expands, this structure will greatly improve the maintenance of our servers, since no cleaning algorithm will now be required. What's more, it will enable us to offer a few weeks' archive of our data, which could facilitate your operations in the event of data loss or issues with your servers. I strongly invite you to test access to our data via the HPFX Collab mirror server right now. Please contact me if you have any issues or questions related to this migration. Finally, please note that DD-Alpha<http://dd.alpha.weather.gc.ca/>, the MSC testing data repository, is not affected by this change, nor, of course, is the HPFX Collab server. Thank you for your cooperation and your interest in our data services. I wish you a great week. Sandrine -------- Sandrine Edouard Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC Direction des Opérations du Centre canadien de prévision météorologique et environnementale Environnement et Changement climatique Canada, Gouvernement du Canada ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Tél (M365) : 1-438-801 0700 Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Votre avis nous intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...> Unit Manager, Data Stewardship and MSC Open Data Access Canadian Centre for Meteorological and Environmental Prediction Operations Environment and Climate Change Canada, Government of Canada ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Phone (M365): 1-438-801 0700 dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Your opinion matters to us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...> [cid:image001.png@01DB2A1F.45F3F410]

1 week, 4 days

1
0
0 / 0

[ATTENTION ] Changement de nomenclature données citypage_weather // [ATTENTION] Citypage_weather data nomenclature update

by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC

(English follows) Chers usagers du Datamart du SMC, A compter de juin 2025 (date exacte à confirmer), les fichiers des données citypage_weather<https://dd.meteo.gc.ca/citypage_weather/xml/>, de prévision météorologique par ville, seront mis à jour pour introduire une dimension temporelle afin de rendre ces fichiers uniques. Cette approche permettra d'éviter d'éventuelles corruptions qui peuvent survenir lors de l'accès automatique (ex : AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_fr/>), à ces fichiers actuellement écrasés lorsque les données sont plusieurs fois rafraichies dans l'heure. Compte tenu de l'augmentation du nombre de fichiers par province et territoire, une nouvelle hiérarchie de répertoires par heure UTC sera mise en place afin de limiter le nombre de fichiers dans un seul répertoire. Par exemple, plutôt que le fichier « s0000635_f.xml » pour la prévision officielle à Montréal soit écrasé plusieurs fois dans l'heure dans ce répertoire : https://dd.meteo.gc.ca/citypage_weather/xml/QC/s0000635_f.xml De nouveaux fichiers uniques seront générés : 1. {YYYYMMDD}T{HHmmss.sss}Z_MSC_CitypageWeather_s0000635_fr.xml 2. {YYYYMMDD}T{HHmmss.sss}Z _MSC_CitypageWeather_s0000635_en.xml Avec : 1. YYYYMMDD : Année, mois et jour de l'émission des données 2. T : Délimiteur temporel selon les normes ISO8601 3. hhmmss.sss : Heure, minute, seconde et milliseconde à laquelle les données sont émises 4. Z : Fuseau horaire (heure UTC) Ces fichiers seront alors hébergés dans le répertoire correspondant à l'heure HH (UTC) : https://dd.meteo.gc.ca/citypage_weather/xml/QC/{HH} Afin d'aider nos usagers dans cette autre migration d'envergure, ces nouveaux fichiers seront disponibles dans cette nouvelle hiérarchie de répertoires dès le 10 décembre 2024 et resteront disponibles en parallèle aux fichiers actuels pendant les 6 prochains mois. Ensuite, seuls ces nouveaux fichiers par date seront disponibles. Veuillez noter que le contenu des fichiers ne sera pas modifié, seuls les noms de fichiers seront ainsi mis à jour. La documentation<https://eccc-msc.github.io/open-data/msc-data/metnotes/readme_metnotes-da...> sera bien entendu ajustée en conséquence. N'hésitez pas à me contacter pour toute question ou supplément d'information. Cordialement, Sandrine ============================ Dear MSC Datamart users, As of June 2025 (exact date to be confirmed), citypage_weather<https://dd.weather.gc.ca/citypage_weather/xml/> data files will be updated to introduce a time dimension to make these files unique. This approach will avoid any possible corruptions that may occur during automatic data access (e.g. AMQP<https://eccc-msc.github.io/open-data/msc-datamart/amqp_fr/>) to these files, which are currently overwritten when the data is refreshed several times within the hour. Given the increase in the number of files per province and territory, a new hierarchy of directories per UTC time will be implemented to limit the number of files in a single directory. For example, rather than the file "s0000635_e.xml" for the official forecast in Montreal being overwritten several times during the hour in this directory : https://dd.meteo.gc.ca/citypage_weather/xml/QC/s0000635_f.xml New, unique files will be issued: 1. {YYYYMMDD}T{HHmmss.sss}Z_MSC_CitypageWeather_s0000635_en.xml 2. {YYYYMMDD}T{HHmmss.sss}Z _MSC_CitypageWeather_s0000635_en.xml 3. With : 1. YYYYMMDD: Year, month and day of data transmission 2. T: Time delimiter according to ISO8601 standards 3. hhmmss.sss: Hour, minute, second and millisecond at which data is transmitted 4. Z: Time zone (UTC time) These files will then be hosted in the corresponding directory for HH (UTC) time: https://dd.weather.gc.ca/citypage_weather/xml/QC/{HH} To support our users in this further major migration, these new files will be available in this new directory hierarchy from December 10, 2024, and will remain available alongside the current files for the next 6 months. Afterwards, only these new files by date will be available. Please note that the content of the files will not be modified, only the file names. Documentation<https://eccc-msc.github.io/open-data/msc-data/metnotes/readme_metnotes-da...> will of course be adjusted accordingly. Please do not hesitate to contact me should you have any questions or require further information. Best regards, Sandrine -------- Sandrine Edouard Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC Direction des Opérations du Centre canadien de prévision météorologique et environnementale Environnement et Changement climatique Canada, Gouvernement du Canada ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Tél (M365) : 1-438-801 0700 Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Votre avis nous intéresse<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...> Unit Manager, Data Stewardship and MSC Open Data Access Canadian Centre for Meteorological and Environmental Prediction Operations Environment and Climate Change Canada, Government of Canada ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Phone (M365): 1-438-801 0700 dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Your opinion matters to us<https://eccc.sondage-survey.ca/f/s.aspx?s=42af4a30-525a-4514-8905-21c027a...> [cid:image001.png@01DB3680.FFB57F00]

2 weeks, 1 day

1
0
0 / 0

[NOUVEAU] : Ajout de données d'observation de partenaire, en format SWOB // [NEW] : Addition of observation data from partner, in SWOB format

by Announcement list for the MSC-Datamart. Liste d'information pour le Datamart du SMC

(English follows) Chers usagers des données ouvertes du SMC, Dans le cadre d'une approche de surveillance fondée sur des principes axés sur la collaboration, l'initiative pour une surveillance collaborative du SMC est heureuse d'annoncer la signature d'un protocole d'entente sur l'échange de données avec le District régional du Grand Vancouver (BC MVRD) qui exploite et entretient un réseau de 28 stations météorologiques automatiques dans la zone du District régional du Grand Vancouver. Ces nouvelles données d'observation en format XML<https://eccc-msc.github.io/open-data/msc-data/obs_station/readme_obs_insi...> sont disponibles à l'adresse: https://dd.meteo.gc.ca/observations/swob-ml/partners/bc-mvrd/ La liste des stations de ces partenaires est disponible ici: https://dd.meteo.gc.ca/observations/doc/swob-xml_partner_station_list.csv Le guide des produits a également été mis à jour pour refléter ces changements: https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/msc-data/obs_stati... Ces données sont également disponibles sur les services web GeoMet du SMC<https://api.weather.gc.ca/collections/swob-realtime> via le standard OGC API. Comme d'habitude, je demeure disponible pour toute question ou demande d'information supplémentaire. Cordialement, Sandrine ================================ Dear MSC open data users, As part of a principles-based, multi-participant, collaborative approach to monitoring, the MSC's Collaborative Monitoring initiative is pleased to announce new data available as a result of data exchange arrangements with the Metro Vancouver Regional District (BC MVRD) that operates and maintains a network of 28 automatic weather stations in Metro Vancouver Regional District area. These new SWOB observation data<https://eccc-msc.github.io/open-data/msc-data/obs_station/readme_obs_insi...> in XML format are available at the address: https://dd.weather.gc.ca/observations/swob-ml/partners/bc-mvrd/ The list of these partners stations can be found here: https://dd.weather.gc.ca/observations/doc/swob-xml_partner_station_list.csv The Product Guide reflects these changes: https://collaboration.cmc.ec.gc.ca/cmc/cmos/public_doc/msc-data/obs_stati... This data is also available on GeoMet-OGC-API<https://api.weather.gc.ca/collections/swob-realtime> in the OGC API features standard. As always, I remain available for any questions or requests for additional information. All the best, Sandrine -------- Sandrine Edouard Responsable d'unité, Intendance des données et accès aux données ouvertes du SMC Direction des Opérations du Centre canadien de prévision météorologique et environnementale Environnement et Changement climatique Canada, Gouvernement du Canada ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Tél (M365) : 1-438-801 0700 Liste de diffusion dd_info : https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Votre avis nous intéresse<https://forms.office.com/Pages/ResponsePage.aspx?id=018MdItudkGcyUVNvk5ix...> Unit Manager, Data Stewardship and MSC Open Data Access Canadian Centre for Meteorological and Environmental Prediction Operations Environment and Climate Change Canada, Government of Canada ec.dps-client.ec(a)canada.ca<mailto:ec.dps-client.ec@canada.ca> / Phone (M365): 1-438-801 0700 dd_info mailing list: https://comm.collab.science.gc.ca/mailman3/postorius/lists/dd_info Your opinion matters to us<https://forms.office.com/Pages/ResponsePage.aspx?id=018MdItudkGcyUVNvk5ix...> [cid:image001.png@01DB3515.CEB70D90]

2 weeks, 2 days

1
0
0 / 0

2024

2023

2022

2021

2020

2019

2018

2017

2016

2015

2014

2013

2012

2011

2010

2009

dd_info November 2024