Vous avez
une question ?
Un projet ?

Contactez nous !
 

Contactez-nous

Vous avez une question ? un projet ? 
Vous souhaitez plus d'informations sur un produit ? sur notre offre ? 
Contactez-nous, on vous répond sous 4H.

Chronopost choisit Cassandra pour ses Big Data

Chronopost avec son service de livraison fait face à la gestion de grandes quantités de données avec un besoin de disponibilité en temps réel pour le client. Le groupe de 3500 employés assurant la livraison dans 230 pays de près de 115 millions de colis par an s’est tourné vers une solution open source NoSQL : Apache Cassandra.

Lors d’une récente présentation au salon Big Data Paris, l’ingénieur logiciel Alexander Dejanovski a exposé les contraintes liées à la gestion des données chez Chronopost. Non seulement la quantité de données est particulièrement importante, mais le temps de traitement doit être inférieur à la seconde.

Le choix de l’open source

« Nous étions à la recherche de moyens pour améliorer notre résilience, un point critique lorsqu’on utilise des bases de données monolithiques, s’appuyant sur des systèmes  de réplications externes et des switches personnalisés », expliquait logiciel Alexander Dejanovski, « A cela s’ajoutait une volonté forte d’abaisser nos coûts de licences, ce qui nous a conduit vers des solutions NoSQL Open Source. ».

Devant la centaine de bases de données disponibles sur le marché, le choix est des plus cornélien : « Notre base de données devait constituer un espace sécurisé pour stocker des données qui jusqu’alors n’étaient pas présentes dans notre système. Elle devait être rapide et douée de capacité de dimensionnement, proposer un niveau élevé de résilience avec des capacités de réplication native, et enfin être simple à utiliser et à opérer ».

L’étude préliminaire a permis de réduire le nombre de prétendants à une courte liste comprenant : HBase, Cassandra et MongoDB. C’est la base de données Apache Cassandra qui est sortie vainqueur de ce match.

Des solutions en constantes évolutions

Alexander Dejanovski concède que ce choix aurait été différent il y a quelques mois. En effet, dans le monde du NoSQL les évolutions sont très rapides et les versions précédentes de Cassandra n’auraient certainement pas répondu aux besoins de Chronopost. Cassandra permet maintenant de gérer les données dans un contexte de mise à l’échelle plus aisé ou des millions d’utilisateurs créent des données depuis divers appareils.

« Cassandra correspondait parfaitement à nos besoins : une architecture pair-à-pair, une intégration simple à Hadoop / Spark, facile à opérer (un processus unique sur chaque machine). De plus, la base embarque Cassandra Query Language (CQL), qui facilite la transition depuis un SGBDR, car il s’agit en fait d’un sous-ensemble de SQL ».

Un gain de rapidité impressionnant

Dès la mise en place de la preuve de concept, les ingénieurs de chronopost ont été surpris des performances du système : . « Nous avons été surpris par la rapidité de Cassandra. À la fin du PoC, notre application était 4 à 5 plus rapides qu’avec notre SGBDR. La latence est tombée de 100-120 millisecondes à 10-30 millisecondes par message, avec des écritures rapides qui nous ont permis d’absorber des charges plus facilement qu’avant. Et tout cela s’exécute sur du hardware peu couteux, de commodité ». Cette nouvelle capacité a permis d’ailleurs à la société de mettre en place de nouveaux services, inenvisageable avec un système de gestion de base de données relationnelle traditionnel.

Ainsi la société développe aujourd’hui un cluster dédié à la recherche et l’analyse des données, utilisant la technologie Spark par-dessus la base NoSQL Cassandra.

Des projets pour l’avenir

Forte de cette première expérience, la société ambitionne déjà d’optimiser les capacités de robustesse de Cassandra et se concentre sur l’automatisation des services, comme la sauvegarde distribuée. Enfin, l’analyse des données représente un nouveau chantier de développement. L’approche Big Data demande aux équipes de repenser les développements autrefois convenus pour le décisionnel traditionnel et reprendre de nouveaux scripts Scala pour Spark.

 

Source : www.computerweekly.com

La présentation Alexander Dejanovski : www.bigdataparis.com

Experts de  Smile
Auteur de l’article

Experts de Smile

Avis des internautes

comments powered by Disqus