//// /(English follows) / Chers usagers du Datamart du SMC, Suite à la mise à jour(*) envoyée le 27 mars dernier concernant les *problèmes de performance d'accès aux données du Datamart du SMC* (lenteur inhabituelle, timeout), j'ai le plaisir de vous informer qu'un *serveur alternatif est à présent disponible*, garantissant un *accès aux données beaucoup plus performant* (bande passante multipliée par 10) pendant les périodes de la journée très en demande (autour de 12Z). L'adresse de ce serveur HTTP est la suivante : http://hpfx.collab.science.gc.ca/ <http://hpfx.collab.science.gc.ca/> Alimenté des divers sources de données via Sarracenia, vous noterez que *l'arborescence des répertoires est modifiée* par rapport à celle disponible sur le Datamart du SMC, avec présence de la date ce qui rend ces répertoires dynamiques et non plus statiques. _Exemple_ : * Datamart courant : *https://dd.meteo.gc.ca*/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2 <https://dd.meteo.gc.ca/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2> * Serveur alternatif HPFX: *http://hpfx.collab.science.gc.ca/20190403/WXO-DD*/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2 <http://hpfx.collab.science.gc.ca/20190403/WXO-DD/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2> Une conséquence directe de cette hiérarchie par date, concerne la *période de rétention des données *qui devient identique pour tous les jeux de données et fonction de l'espace disque disponible. Actuellement, on estime cette période de rétention à environ 3 mois. *L'accès aux données via le protocole AMQP *(**) est évidemment fortement conseillé. Pour les usagers déjà familiers avec ce service, voici les modifications à apporter aux fichiers de configuration, par exemple pour recevoir les bulletins : --------- broker amqps://anonymous:anonymous@hpfx.collab.science.gc.ca <mailto:amqps://anonymous:anonymous@hpfx.collab.science.gc.ca> / (avec le Datamart courant: broker amqps://anonymous:anonymous@dd.weather.gc.ca <mailto:amqps://anonymous:anonymous@dd.weather.gc.ca> ) / subtopic *.wxo-dd.bulletins.# ///(avec le Datamart courant: subtopic bulletins.#) / --------- Veuillez noter que les données statiques (essentiellement les README et listes de stations), ne sont pas disponibles sur ce serveur pour le moment, les usagers sont donc conviés à consulter ces fichiers sur le Datamart. Finalement, il est important de noter que contrairement au Datamart courant, il n'y a *pas de redondance 24/7 du lien internet* (support "/best effort/"). _Dans le cas peu probable_ où le lien venait à briser, les usagers devraient revenir sur le Datamart pour récupérer leurs données. Ainsi, il est conseillé aux usagers désirant tester ce serveur alternatif de développer la capacité de retourner rapidement sur le serveur https: //dd.meteo.gc.ca , en cas de problèmes. Nous invitons dès à présent les usagers incommodés par les problèmes de performance actuels d'accès aux données (lenteurs, timeout) à tester ce serveur alternatif qui garantie une amélioration immédiate dans l'accès aux données. Nous sommes conscients des enjeux que cette changements entrainent dans vos applications et nous nous tenons disponibles pour vous accompagner dans cette migration. N'hésitez pas à me contacter pour toute question ou demande d'information supplémentaire. Cordialement, Sandrine (*) https://lists.ec.gc.ca/pipermail/dd_info/2019-March/000327.html (**)https://dd.meteo.gc.ca/doc/README_AMQP.txt <https://dd.meteo.gc.ca/doc/README_AMQP.txt> <https://dd.meteo.gc.ca/doc/README_AMQP.txt> -- Sandrine Edouard Coordonnatrice nationale, Accès aux données ouvertes National coordinator, Open Data Access Applications en traitement de données environnementales - Environmental Data Processing Applications Centre météorologique canadien - Canadian meteorological centre (CMC) Environnement et changement Climatique Canada - Environment and Climate Change Canada http://www.ec.gc.ca/ Courriel/email: ec.dps-client.ec(a)canada.ca Téléphone/Phone: 514-421-4729 2121 Trans-Canada N. Suite 230 Dorval, Québec CANADA H9P 1J3 =================================== Dear SMC Datamart users, Following the update (*) sent on March 27th regarding the *performance issues with access to MSC Datamart data* (unusual slowness, timeout), I am pleased to inform you that an *alternative server* is now available, guaranteeing a much more efficient access to the data (bandwidth multiplied by 10) during high demand periods of the day (around 12Z). The address of this HTTP server is as follows: http://hpfx.collab.science.gc.ca/ The various data sources are supplied via Sarracenia and you will notice that the *directory tree structure is modified* from that available on the MSC Datamart. Access to data by date rather than by product suite makes the directory structure dynamic rather than static. _Example_ : * Current Datamart: *https://dd.meteo.gc.ca*/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2 <https://dd.meteo.gc.ca/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2> * HPFX Alternative Server: *http://hpfx.collab.science.gc.ca/20190403/WXO-DD*/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2 <http://hpfx.collab.science.gc.ca/20190403/WXO-DD/model_hrdps/continental/grib2/00/003/CMC_hrdps_continental_4LFTX_SFC_0_ps2.5km_2019040300_P003-00.grib2> A direct consequence of this date hierarchy is that the *data retention period* becomes identical for all data sets and is dependent on the available disk space. Currently, this retention period is about 3 months. *Access to data via the AMQP protocol* (**) is of course strongly recommended. For users already familiar with this service, here are the changes to be made to the configuration files, for example to receive bulletins: --------- broker amqps://anonymous:anonymous@hpfx.collab.science.gc.ca <mailto:amqps://anonymous:anonymous@hpfx.collab.science.gc.ca> /(using current Datamart: broker amqps://anonymous:anonymous@dd.weather.gc.ca <mailto:amqps://anonymous:anonymous@dd.weather.gc.ca>)/ subtopic *.wxo-dd.bulletins.# /(using current Datamart : subtopic bulletins.#) / --------- Please note that static data (mainly READMEs and station lists) are not available on this server at the moment, so users are invited to consult these files on the Datamart. Finally, it is important to note that unlike the current Datamart, there is *no 24/7 redundancy of the Internet link *( "best effort" support). _In the unlikely event_ that the link breaks, users should return to the Datamart to retrieve their data. Thus, users wishing to test this alternative server are advised to develop the ability to quickly return to the https server: //dd.meteo.gc.ca, in case of problems. We invite users who are inconvenienced by the current performance problems of data access (slowness, timeout) to come and test this alternative server, which guarantees an immediate improvement in data access. We are aware of the challenges that this change brings to your applications and we are available to assist you in this migration. Feel free to contact me for any questions or requests for additional information. Sincerely, Sandrine (*) https://lists.ec.gc.ca/pipermail/dd_info/2019-March/000327.html (**)https://dd.meteo.gc.ca/doc/README_AMQP.txt <https://dd.meteo.gc.ca/doc/README_AMQP.txt> -- Sandrine Edouard Coordonnatrice nationale, Accès aux données ouvertes National coordinator, Open Data Access Applications en traitement de données environnementales - Environmental Data Processing Applications Centre météorologique canadien - Canadian meteorological centre (CMC) Environnement et changement Climatique Canada - Environment and Climate Change Canada http://www.ec.gc.ca/ Courriel/email: ec.dps-client.ec(a)canada.ca Téléphone/Phone: 514-421-4729 2121 Trans-Canada N. Suite 230 Dorval, Québec CANADA H9P 1J3