[IMPORTANT] : Problèmes d'accès aux données du Datamart du SMC / [IMPORTANT] : Issues with access to the MSC Datamart data
by Sandrine Edouard
////
/(English follows) /
Chers usagers du Datamart du SMC,
Suite à la mise à jour(*) envoyée le 27 mars dernier concernant les
*problèmes de performance d'accès aux données du Datamart du SMC*
(lenteur inhabituelle, timeout), j'ai le plaisir de vous informer qu'un
*serveur alternatif est à présent disponible*, garantissant un *accès
aux données beaucoup plus performant* (bande passante multipliée par 10)
pendant les périodes de la journée très en demande (autour de 12Z).
L'adresse de ce serveur HTTP est la suivante :
http://hpfx.collab.science.gc.ca/ <http://hpfx.collab.science.gc.ca/>
Alimenté des divers sources de données via Sarracenia, vous noterez que
*l'arborescence des répertoires est modifiée* par rapport à celle
disponible sur le Datamart du SMC, avec présence de la date ce qui rend
ces répertoires dynamiques et non plus statiques.
_Exemple_ :
*
Datamart courant :
*https://dd.meteo.gc.ca*/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2
<https://dd.meteo.gc.ca/model_hrdps/continental/grib2/00/003/CMC_hrdps_con...>
*
Serveur alternatif HPFX:
*http://hpfx.collab.science.gc.ca/20190403/WXO-DD*/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2
<http://hpfx.collab.science.gc.ca/20190403/WXO-DD/model_hrdps/continental/...>
Une conséquence directe de cette hiérarchie par date, concerne la
*période de rétention des données *qui devient identique pour tous les
jeux de données et fonction de l'espace disque disponible. Actuellement,
on estime cette période de rétention à environ 3 mois.
*L'accès aux données via le protocole AMQP *(**) est évidemment
fortement conseillé. Pour les usagers déjà familiers avec ce service,
voici les modifications à apporter aux fichiers de configuration, par
exemple pour recevoir les bulletins :
---------
broker amqps://anonymous:anonymous@hpfx.collab.science.gc.ca
<mailto:amqps://anonymous:anonymous@hpfx.collab.science.gc.ca> / (avec
le Datamart courant: broker amqps://anonymous:anonymous@dd.weather.gc.ca
<mailto:amqps://anonymous:anonymous@dd.weather.gc.ca> )
/
subtopic *.wxo-dd.bulletins.# ///(avec le Datamart courant: subtopic
bulletins.#) /
---------
Veuillez noter que les données statiques (essentiellement les README et
listes de stations), ne sont pas disponibles sur ce serveur pour le
moment, les usagers sont donc conviés à consulter ces fichiers sur le
Datamart.
Finalement, il est important de noter que contrairement au Datamart
courant, il n'y a *pas de redondance 24/7 du lien internet* (support
"/best effort/"). _Dans le cas peu probable_ où le lien venait à briser,
les usagers devraient revenir sur le Datamart pour récupérer leurs
données. Ainsi, il est conseillé aux usagers désirant tester ce serveur
alternatif de développer la capacité de retourner rapidement sur le
serveur https: //dd.meteo.gc.ca , en cas de problèmes.
Nous invitons dès à présent les usagers incommodés par les problèmes de
performance actuels d'accès aux données (lenteurs, timeout) à tester ce
serveur alternatif qui garantie une amélioration immédiate dans l'accès
aux données.
Nous sommes conscients des enjeux que cette changements entrainent dans
vos applications et nous nous tenons disponibles pour vous accompagner
dans cette migration.
N'hésitez pas à me contacter pour toute question ou demande
d'information supplémentaire.
Cordialement,
Sandrine
(*) https://lists.ec.gc.ca/pipermail/dd_info/2019-March/000327.html
(**)https://dd.meteo.gc.ca/doc/README_AMQP.txt
<https://dd.meteo.gc.ca/doc/README_AMQP.txt>
<https://dd.meteo.gc.ca/doc/README_AMQP.txt>
--
Sandrine Edouard
Coordonnatrice nationale, Accès aux données ouvertes
National coordinator, Open Data Access
Applications en traitement de données environnementales -
Environmental Data Processing Applications
Centre météorologique canadien - Canadian meteorological centre (CMC)
Environnement et changement Climatique Canada - Environment and Climate Change Canada
http://www.ec.gc.ca/
Courriel/email: ec.dps-client.ec(a)canada.ca
Téléphone/Phone: 514-421-4729
2121 Trans-Canada N. Suite 230
Dorval, Québec
CANADA H9P 1J3
===================================
Dear SMC Datamart users,
Following the update (*) sent on March 27th regarding the *performance
issues with access to MSC Datamart data* (unusual slowness, timeout), I
am pleased to inform you that an *alternative server* is now available,
guaranteeing a much more efficient access to the data (bandwidth
multiplied by 10) during high demand periods of the day (around 12Z).
The address of this HTTP server is as follows:
http://hpfx.collab.science.gc.ca/
The various data sources are supplied via Sarracenia and you will notice
that the *directory tree structure is modified* from that available on
the MSC Datamart. Access to data by date rather than by product suite
makes the directory structure dynamic rather than static.
_Example_ :
* Current Datamart:
*https://dd.meteo.gc.ca*/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2
<https://dd.meteo.gc.ca/model_hrdps/continental/grib2/00/003/CMC_hrdps_con...>
* HPFX Alternative Server:
*http://hpfx.collab.science.gc.ca/20190403/WXO-DD*/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2
<http://hpfx.collab.science.gc.ca/20190403/WXO-DD/model_hrdps/continental/...>
A direct consequence of this date hierarchy is that the *data retention
period* becomes identical for all data sets and is dependent on the
available disk space. Currently, this retention period is about 3 months.
*Access to data via the AMQP protocol* (**) is of course strongly
recommended. For users already familiar with this service, here are the
changes to be made to the configuration files, for example to receive
bulletins:
---------
broker amqps://anonymous:anonymous@hpfx.collab.science.gc.ca
<mailto:amqps://anonymous:anonymous@hpfx.collab.science.gc.ca> /(using
current Datamart: broker amqps://anonymous:anonymous@dd.weather.gc.ca
<mailto:amqps://anonymous:anonymous@dd.weather.gc.ca>)/
subtopic *.wxo-dd.bulletins.# /(using current Datamart : subtopic
bulletins.#) /
---------
Please note that static data (mainly READMEs and station lists) are not
available on this server at the moment, so users are invited to consult
these files on the Datamart.
Finally, it is important to note that unlike the current Datamart, there
is *no 24/7 redundancy of the Internet link *( "best effort" support).
_In the unlikely event_ that the link breaks, users should return to the
Datamart to retrieve their data. Thus, users wishing to test this
alternative server are advised to develop the ability to quickly return
to the https server: //dd.meteo.gc.ca, in case of problems.
We invite users who are inconvenienced by the current performance
problems of data access (slowness, timeout) to come and test this
alternative server, which guarantees an immediate improvement in data
access.
We are aware of the challenges that this change brings to your
applications and we are available to assist you in this migration.
Feel free to contact me for any questions or requests for additional
information.
Sincerely,
Sandrine
(*) https://lists.ec.gc.ca/pipermail/dd_info/2019-March/000327.html
(**)https://dd.meteo.gc.ca/doc/README_AMQP.txt
<https://dd.meteo.gc.ca/doc/README_AMQP.txt>
--
Sandrine Edouard
Coordonnatrice nationale, Accès aux données ouvertes
National coordinator, Open Data Access
Applications en traitement de données environnementales -
Environmental Data Processing Applications
Centre météorologique canadien - Canadian meteorological centre (CMC)
Environnement et changement Climatique Canada - Environment and Climate Change Canada
http://www.ec.gc.ca/
Courriel/email: ec.dps-client.ec(a)canada.ca
Téléphone/Phone: 514-421-4729
2121 Trans-Canada N. Suite 230
Dorval, Québec
CANADA H9P 1J3
5 years, 10 months
- 1
- 0