(English
follows)
Chers usagers du Datamart du SMC,
Suite à la mise à jour(*) envoyée le 27 mars dernier
concernant les problèmes
de performance d'accès aux données du Datamart du SMC
(lenteur inhabituelle, timeout), j'ai le plaisir de vous
informer qu'un
serveur alternatif est à
présent disponible, garantissant un
accès aux données beaucoup
plus performant (bande passante multipliée
par 10) pendant les périodes de la journée très en demande
(autour de 12Z).
L'adresse de ce serveur HTTP est la suivante :
http://hpfx.collab.science.gc.ca/
Alimenté des divers sources de données via Sarracenia, vous
noterez que l'arborescence
des répertoires est modifiée par rapport à
celle disponible sur le Datamart du SMC, avec présence de la
date ce qui rend ces répertoires dynamiques et non plus
statiques.
Exemple :
Datamart
courant : https://dd.meteo.gc.ca/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2
Serveur
alternatif HPFX: http://hpfx.collab.science.gc.ca/20190403/WXO-DD/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2
Une conséquence directe de cette hiérarchie par date, concerne la période de rétention des données qui devient identique pour tous les jeux de données et fonction de l'espace disque disponible. Actuellement, on estime cette période de rétention à environ 3 mois.
L'accès aux données via le protocole AMQP (**) est évidemment fortement conseillé. Pour les usagers déjà familiers avec ce service, voici les modifications à apporter aux fichiers de configuration, par exemple pour recevoir les bulletins :
---------
broker
amqps://anonymous:anonymous@hpfx.collab.science.gc.ca (avec le Datamart courant:
broker
amqps://anonymous:anonymous@dd.weather.gc.ca
)
subtopic
*.wxo-dd.bulletins.# (avec le Datamart courant:
subtopic bulletins.#)
---------
Veuillez noter que les données statiques (essentiellement les
README et listes de stations), ne sont pas disponibles sur ce
serveur pour le moment, les usagers sont donc conviés à
consulter ces fichiers sur le Datamart.
Finalement, il est important de noter que contrairement au
Datamart courant, il n'y a
pas de redondance 24/7 du lien
internet (support "best effort"). Dans
le cas peu probable où le lien venait à briser, les
usagers devraient revenir sur le Datamart pour récupérer leurs
données. Ainsi, il est conseillé aux usagers désirant tester ce
serveur alternatif de développer la capacité de retourner
rapidement sur le serveur https: //dd.meteo.gc.ca , en cas de
problèmes.
Nous invitons dès à présent les usagers incommodés par les
problèmes de performance actuels d'accès aux données (lenteurs,
timeout) à tester ce serveur alternatif qui garantie une
amélioration immédiate dans l'accès aux données.
Nous sommes conscients des enjeux que cette changements
entrainent dans vos applications et nous nous tenons disponibles
pour vous accompagner dans cette migration.
N'hésitez pas à me contacter pour toute question ou demande
d'information supplémentaire.
Cordialement,
Sandrine
(*) https://lists.ec.gc.ca/pipermail/dd_info/2019-March/000327.html
(**)
https://dd.meteo.gc.ca/doc/README_AMQP.txt
-- Sandrine Edouard Coordonnatrice nationale, Accès aux données ouvertes National coordinator, Open Data Access Applications en traitement de données environnementales - Environmental Data Processing Applications Centre météorologique canadien - Canadian meteorological centre (CMC) Environnement et changement Climatique Canada - Environment and Climate Change Canada http://www.ec.gc.ca/ Courriel/email: ec.dps-client.ec@canada.ca Téléphone/Phone: 514-421-4729 2121 Trans-Canada N. Suite 230 Dorval, Québec CANADA H9P 1J3
===================================
Dear SMC Datamart users,
Following the update (*) sent on March 27th regarding the performance issues with access to
MSC Datamart data (unusual slowness, timeout), I
am pleased to inform you that an
alternative server
is now available, guaranteeing a much more efficient access to
the data (bandwidth multiplied by 10) during
high demand
periods of the day (around 12Z).
The address of this HTTP server is as follows:
http://hpfx.collab.science.gc.ca/
The various
data sources are supplied via Sarracenia and you will notice
that the
directory tree structure
is modified from that available on the MSC
Datamart. Access to data by date rather than by product
suite makes the directory structure dynamic rather than
static.
Example :
A direct
consequence of this date hierarchy is
that the data retention period
becomes identical for all data sets and is dependent on the
available disk space. Currently, this retention period is
about 3 months.
-- Sandrine Edouard Coordonnatrice nationale, Accès aux données ouvertes National coordinator, Open Data Access Applications en traitement de données environnementales - Environmental Data Processing Applications Centre météorologique canadien - Canadian meteorological centre (CMC) Environnement et changement Climatique Canada - Environment and Climate Change Canada http://www.ec.gc.ca/ Courriel/email: ec.dps-client.ec@canada.ca Téléphone/Phone: 514-421-4729 2121 Trans-Canada N. Suite 230 Dorval, Québec CANADA H9P 1J3