Comment connecter MyReport à Hadoop et/ou Elastic Search ?

Ou comment brancher un outil de tableaux de bord générant du code SQL avec une vision "tables de faits" sur un Datalake NoSQL et, ce, sans automatiser des déchargements et sans alimenter un datamart PostgreSQL ou MySQL.

En exclusivité mondiale et accompagné par notre partenaire Saagie, Next Decision a l'honneur de vous annoncer qu'il est possible (et ce de manière très simple), de connecter votre MyReport à un sytème de stockage BigData de type Hadoop et/ou ElasticSearch ! La requêtes ad-hoc sur des sources de données Big Data, c'est possible, The Future is Next!

Pour cela, rien de plus simple : nous avons simplement profité de la haute qualité du framework BigData proposé par Saagie, au sein duquel nous avons tout d'abord chargé plusieurs dizaines de milliards de lignes contenant les Logs d'une application cliente sur une journée.

Nous avons ensuite travaillé et nettoyé quelque peu les données pour les rendre plus simple à lire. Nous nous sommes amusés à indexer toutes les données dans Elastic Search et avons conçu un tableau de bord sympa dans Kibana (le tout en moins d'une journée bien sûr!). Le système de Log sous Elastic Search couplé à un découpage des données effectué via JAVA, nous permet de décomposer les logs et ainsi fournir des indicateurs analytiques.

Nous étions presque arrivés à la fin de notre préparation de démo quand nous nous sommes rappelés que notre client possédait MyReport. Nous nous sommes alors demandés dans quelle mesure il aurait été possible de connecter cet outil de reporting avec les données mises dans le cloud Saagie.

Qu'à cela ne tienne : en nous entendant en parler, nos amis de chez Saagie nous disent :

Saagie : On pourrait mettre en place Hive pour directement se connecter à Elastic Search ? Ou bien pourquoi pas un Impala ?
Next Decision : Oui, pourquoi pas mais ce n'est pas anodin en terme d'architecture.
Le client : Et puis il faut installer et configurer des couches supplémentaires d'accès, non ?
Saagie / Next Decision : Installer et configurer ? Rien de plus agile, on pourrait simplement profiter des produits déjà disponibles dans SAAGIE ?
Le client : Oui mais ça prendrait combien de temps ?
Saagie / Next Decision : Le temps que de cliquer sur le bouton Hive, disponible sous SAAGIE...

Dès lors, Nous sommes partis à la recherche d'un connecteur ODBC pour attaquer Hive (ça tombe bien, ça existe et c'est gratuit!). Au bout de 5 minutes, la connexion était réalisée. Il ne nous restait plus qu'à lancer le MyReport Data pour créer la connexion et le modèle (en environ 30 secondes). Puis c'est au tour du Builder embarqué dans Excel de travailler quelques minutes de plus pour voir les données d'Elasticsearch se déverser dans notre feuille.

Tout ça pour vous dire que quand vous êtes bien équipés et accompagnés, tout devient possible ! MyReport comme outil de reporting du Big Data, MyReport sur des logs stockées ElasticSearch, MyReport sur Hadoop ! Une architecture Big Data de type Database haute disponibilité, et Myreport Builder et Page comme outils de reporting. Automatisation de bout en bout avec des charges de travail très faible du consultant BI.

Vous recherchez peut-être une formation sur Hadoop ou Elasticsearch ? Pour consulter notre catalogue de formations, c'est par ici

Vous cherchez des consultants pour vous accompagner dans la mise en place d'une connexion MyReport à Hadoop, et/ou Elastic Search, un tutoriel ? Contactez-nous !