Accueil / Systèmes d'information / Hadoop User Group de Février [Compte-Rendu] | Les experts d’Infotel

Hadoop User Group de Février [Compte-Rendu] | Les experts d’Infotel

C’est une équipe du département R&D de l’opérateur national qui présente ses travaux. Oui, c’est le département Recherche et développement, mais les travaux engagés depuis 3 ans sur hadoop et son écosystème ont donné des garanties suffisantes pour en faire une des approches technologiques de choix pour une grande diversité de sujets présents et à venir:

Modélisation, Analyse et Prévision des consommations électriques en captant les informations de compteurs intelligents,

o L’approche astucieuse de transformation de séries temporelles (très complexes à traiter en l’état) en chaines de caractères permet de bénéficier de tous les mécanismes d’analyse de modèles (corrélation, identification d’anomalies, prédictions…)

o EDF a créé une librairie spécifique pouvant être exploité dans Hive, l’idée étant comme souvent de donner un niveau fonctionnel aux manipulations de données qui les rendent facilement utilisable pour des équipes ‘métier’ ou ‘statistique’.

o Les débuts de l’architecture Hadoop ont été modestes, comme souvent, mais même à partir d’un cluster de petite taille on arrive à valider un modèle qui montera facilement en capacité. A ceci s’ajoute que le premier défi était de trouver une solution qui offrirait une capacité de stockage en ligne avec les futures avalanches de données ; désormais c’est la polyvalence de la solution et le coût bien moindre que des solutions d’éditeurs qui sont les atouts mis en avant par l’équipe R&D.

Analyse de l’e-réputation de EDF par acquisition de données textuelles qui cheminent dans un processus : Analyse sémantique, regroupement par thèmes (clusterisation) avec du Machine Learning (Mahout), puis visualisation (http://sigmajs.org/).

Prise en main de Storm et application à la prévision de consommation en mixant des sources de données diverses (Consommation électrique, profil client issu du CRM, données météorologiques, réseaux sociaux) : le cas d’application est parlant, avec un ROI potentiel très palpable… la mise en œuvre n’est pas si simple.

viaHadoop User Group de Février [Compte-Rendu] | Les experts d’Infotel.

Laisser une réponse

Votre adresse email ne sera pas publiéeLes champs requis sont surlignés *

*