Tarball of data files
by Flegel, Ryan
Has any consideration been given to using tarballs or ZIP files to distribute the data? It seems to me this would be much faster than downloading many individual XML files and would involve a LOT less server load.
Here are some stats from downloading files from citypage_weather:
The xml/ directory is about 29 MB according to "du -s" on my local copy
Running "wget --no-parent --mirror http://dd.weatheroffice.ec.gc.ca/citypage_weather/xml/" takes about 20 minutes for me to download 23 MB of updates to this folder.
My average download speed was 112 kB/s, meaning it took about 3.5 minutes to actually download all the XML files. The other 16.5 minutes was spent sending HTTP requests and waiting for responses.
Tar/gzipping the xml/ directory takes less than a second and the resulting tarball was 1.7 MB in size. Downloading this file would take 1 request (instead of 1781 as reported by wget) and take 15-20 seconds to download at 112 kB/s.
I think it would make a lot of sense to at least distribute all the XML data this way, since there's very little extra space needed to store a duplicate compressed copy. It would reduce the server load by a lot reduce bandwidth usage a bit.
--
Thanks for your time,
Ryan Flegel, B.Sc.
Developer / Développeur
Farm Credit Canada / Financement agricole Canada
1800 Hamilton Street, P.O. Box 4320
1800, rue Hamilton, C.P. 4320
Regina SK S4P 4L3
Tel/Tél. : 306-780-7874 Fax/Télec. : 306-780-5655
E-mail/Courriel : ryan.flegel(a)fcc-fac.ca <mailto:ryan.flegel@fcc-fac.ca>
Advancing the business of agriculture. Pour l'avenir de l'agroindustrie.
Please consider the environment before printing this e-mail. Pensons à l'environnement avant d'imprimer ce courriel.
14 years, 9 months
DD performance & CMC 24/7 supported FTP feeds/Performance de DD ,et fils de données supportés 24/7
by Miguel Tremblay
(Le français suit)
Dear users,
We would like to remind you that for users who really need an
operational data feed, the Canadian Meteorological Centre (CMC) does
offer a 24/7 supported push FTP feed for any data available on the
datamart, or even over smaller domains (GRIB) or higher time resolution.
This is a cost-recovered service and the costs vary depending of the
volume of data, and your specific requirements. If you are interested to
know more about this service, please contact me.
That being said, rest assured that the datamart servers' performance are
important to us. Last week, we have removed all the username/password
restrictions to access the data on the datamart (process which was
transparent to the users). This is another measure to improve the
performance of our servers. After inspection of our logs, it showed a
positive impact. Note that you can now browse all the datamart content
without any usernames and passwords.
Best regards,
--
Miguel Tremblay
National coordinator, commercial data services
Canadian meteorological centre (CMC)
Environment Canada
http://www.ec.gc.ca/
2121 Trans-Canada N. Suite 201 Phone: 514-421-4729
Dorval, Québec Fax: 514-421-4679
CANADA H9P 1J3 email: miguel.tremblay at ec.gc.ca
==================================================
Chers usagers,
Nous tenons à rappeler aux usagers ayant des besoins opérationnels pour
leurs fils de données que le Centre météorologique canadien (CMC) offre
un service supporté 24/7 pour des données livrées par protocole FTP.
Toutes les données disponibles sur le datamart sont ainsi disponibles,
de même que pour des domaines plus petits ou pour une résolution
temporelle plus grande pour les fichiers en format GRIB.
Ce service est offert sur une base de recouvrement de coûts et le prix
varie en fonction du volume de données et selon les exigences requises.
Si vous êtes intéressé à en connaître plus à propos de ce service,
veuillez me contacter.
Ceci étant dit, soyez assurés que les performances des serveurs du
datamart nous sont de la plus haute importance. La semaine dernière,
nous avons retiré toutes les restrictions basées sur les noms d'usager
et les mots de passe pour accéder aux données du datamart (ceci a été
transparent pour les usagers). Cette mesure a été prise afin d'améliorer
la performance de nos serveurs. Après inspection de notre journal, nous
pouvons confirmer que ceci a eu un impact positif. Notez que vous pouvez
maintenant accéder à toutes les données du datamart sans nom d'usager ou
mot de passe.
Bien à vous,
--
Miguel Tremblay
Coordonnateur national des services commerciaux de données
Centre météorologique canadien (CMC)
Environnement Canada
http://www.ec.gc.ca/
2121 Trans-Canada N. Suite 201 Téléphone: 514-421-4729
Dorval, Québec Fax: 514-421-4679
CANADA H9P 1J3 courriel: miguel.tremblay at ec.gc.ca
14 years, 9 months
Limit number of requests per second per user/Limite du nombre de requêtes par seconde par usager
by Miguel Tremblay
(Le français suit)
Dear users,
As we have been experiencing delays on our HTTP data server (datamart)
lately, we plan to deploy a series of measures to rectify the situation
and improve the performance and quality of our service.
As a first measure the number of allowed requests per user (IP address)
has been reduced to 4 requests/second. Any additional simultaneous
requests will be put on hold. This measure became effective as of Monday
December 7th at 4PM EST.
This will allow a better sharing of bandwidth resources among all users.
According to our analysis, only a handful of users will be impacted by
this, while the gain should benefit everyone.
We hope that such pro-active actions will improve the performance of our
servers and lead to a better service to our clients.
Other measures will follow soon and will be announced on this mailing list.
If you still notice slowness on our server, please contact me.
Best regards,
--
Miguel Tremblay
National coordinator, commercial data services
Canadian meteorological centre (CMC)
Environment Canada
http://www.ec.gc.ca/
2121 Trans-Canada N. Suite 201 Phone: 514-421-4729
Dorval, Québec Fax: 514-421-4679
CANADA H9P 1J3 email: miguel.tremblay(a)ec.gc.ca
====================================
Chers usagers,
Suite à des problèmes de rapidité sur les serveurs HTTP de données du
SMC (datamart), nous avons déployé des mesures afin d'améliorer la
qualité de notre service.
Dans un premier temps, le nombre de requêtes par usager (adresse IP) à
été réduit à 4 requêtes/seconde. Dans la mesure où un usager fera plus
de 4 requêtes/seconde, les requêtes suivantes seraient mises en attente.
Cette mesure est entrée en vigueur le 7 décembre 16 HNE.
Nous avons dû procéder ainsi afin de répartir les ressources
informatiques entre tous les usagers. Selon notre analyse, seuls
quelques usagers seront touchés par cette mesure, alors que le bénéfice
devrait se faire ressentir par tous.
Nous espérons ainsi améliorer les performances de nos serveurs et
pouvoir assurer à tous nos clients un meilleur service.
D'autres mesures suivront et vous seront annoncées.
Si vous constatez toujours des problèmes de lenteur, veuillez me contacter.
Bien à vous,
--
Miguel Tremblay
Coordonnateur national des services commerciaux de données
Centre météorologique canadien (CMC)
Environnement Canada
http://www.ec.gc.ca/
2121 Trans-Canada N. Suite 201 Téléphone: 514-421-4729
Dorval, Québec Fax: 514-421-4679
CANADA H9P 1J3 courriel: miguel.tremblay(a)ec.gc.ca
14 years, 9 months
Satellite images for British-Columbia South West/ Images satellites du sud-ouest de la Colombie-Britannique
by Miguel Tremblay
(Le français suit)
Hi,
Satellite images are now available on the datamart. It covers the South
West of British-Columbia. These images will be available until the end
of the Vancouver Paralympic Games 2010, i.e. up to March 21 2010.
For more information, please consult the README file:
http://dd.weatheroffice.ec.gc.ca/british_columbia_southwest/doc/README_so...
Best regards,
--
Miguel Tremblay
National coordinator, commercial data services
Canadian meteorological centre (CMC)
Environment Canada
http://www.ec.gc.ca/
2121 Trans-Canada N. Suite 201 Phone: 514-421-4729
Dorval, Québec Fax: 514-421-4679
CANADA H9P 1J3 email: miguel.tremblay(a)ec.gc.ca
====================================
Bonjour,
Des images satellites sont maintenant disponibles sur le datamart. Elles
couvrent le domaine du sud ouest de la Colombie-Britannique. Ces images
seront disponibles jusqu'à la fin de jeux Paralympiques de 2010,
c'est-à-dire jusqu'au 21 mars 2010.
Pour plus d'information, veuillez consulter le fichier README:
http://dd.weatheroffice.ec.gc.ca/british_columbia_southwest/doc/README_so...
--
Miguel Tremblay
Coordonnateur national des services commerciaux de données
Centre météorologique canadien (CMC)
Environnement Canada
http://www.ec.gc.ca/
2121 Trans-Canada N. Suite 201 Téléphone: 514-421-4729 Dorval, Québec
Fax: 514-421-4679 CANADA H9P 1J3 courriel: miguel.tremblay(a)ec.gc.ca
14 years, 9 months
New wave model output for Pacific Ocean and Great Lakes / Nouvelles sorties du modèle de vagues pour l'océan Pacifique est les Grands Lacs
by Miguel Tremblay
(Le français suit)
Hi,
The output of the wave model is now available for 5 new domains: over
part of the Pacific Ocean and over 4 Great Lakes (Erie, Huron, Ontario,
Superior). This is added to the north-east Atlantic domain that was
already available on the datamart.
All the information is available here:
http://dd.weatheroffice.ec.gc.ca/model_wave/doc/README_model_wave.txt
Best regards,
--
Miguel Tremblay
National coordinator, commercial data services
Canadian meteorological centre (CMC)
Environment Canada
http://www.ec.gc.ca/
2121 Trans-Canada N. Suite 201 Phone: 514-421-4729
Dorval, Québec Fax: 514-421-4679
CANADA H9P 1J3 email: miguel.tremblay(a)ec.gc.ca
====================================
Bonjour,
Les sorties du modèle de vagues sont maintenant disponibles pour 5
nouveaux domaines: l'océan Pacifique ainsi que 4 des Grands Lacs (Érié,
Huron, Ontario, Supérieur). Cette offre s'ajoute au domaine du
nord-ouest de l'Atlantique qui était déjà disponible sur le datamart.
Vous trouverez toutes les informations ici:
http://dd.weatheroffice.ec.gc.ca/model_wave/doc/README_model_wave.txt
Bien à vous,
--
Miguel Tremblay
Coordonnateur national des services commerciaux de données
Centre météorologique canadien (CMC)
Environnement Canada
http://www.ec.gc.ca/
2121 Trans-Canada N. Suite 201 Téléphone: 514-421-4729
Dorval, Québec Fax: 514-421-4679
CANADA H9P 1J3 courriel: miguel.tremblay(a)ec.gc.ca
14 years, 9 months