Outil ETL ou Script ?

Au sein de l'entreprise, les données sont si nombreuses que l'on parle parfois d' « infobésité ». Elles sont partout, mais pas toujours à la bonne place, dans différents formats et souvent sans valeur uniforme. Leur traitement représente un enjeu majeur.

Le traitement, oui, mais avec quel outil ? Opter pour un outil ETL ou développer son propre ETL via une approche scriptée ?

Petit point sur la question.

Les outils ETL

Définition

Un ETL (Extract Transform Load) est un middleware permettant d’effectuer des synchronisations de données entre différents systèmes. Il extrait les données, les manipule (conversion, suppression des doublons, etc.) et les intègre dans un référentiel commun : l'entrepôt de données (datawarehouse).

La technologie ETL repose sur :

  • des connecteurs permettant de récupérer et transférer des données,
  • des transformateurs permettant d’effectuer des manipulations complexes sur ces données,
  • des mises en correspondance afin de faire correspondre le schéma des données au schéma du ou des systèmes cibles.

Les outils ETL sont des logiciels disposant d’un Environnement de Développement Intégré (IDE). Ils mettent à disposition tous les éléments nécessaires au développement et à la mise en production de flux de transformation et chargement de vos données.

De nombreuses solutions sont disponibles sur le marché :

Talend
Oracle
Informatica
IBM
Semarchy

Avantages d'un outil ETL

  • Il dispose de connecteurs bdd, webservices et fichiers plats prêts à l’emploi.
  • Il permet de structurer et rassembler l'ensemble des morceaux de code nécessaires aux transferts et aux transformations des données.
  • Il offre une représentation graphique des flux et opérations.
  • Il permet de traiter rapidement un grand nombre de données.
  • Il facilite la maintenance et l'évolution de l'ETL.
  • Il gère nativement l’encryption des données.
  • Il intègre la gestion des métadonnées, la gestion des erreurs, la gestion des processus et de leur hiérarchie, la gestion de la documentation.
  • Il permet un déploiement facile des flux sur un environnement de production.
  • Il est appréhendable par une une personne sans connaissances avancées en développement.
  • Il gère le load balancing entre serveurs.
  • Il est extensible à l’aide de script.

Inconvénients d'un outil ETL

  • Il nécessite un ou plusieurs développeurs avec des connaissances sur l’outil d’ETL utilisé ou nécessite un temps d’apprentissage.
  • Il est difficilement intégrable à un outil de gestion de versions.

L'approche Scriptée

Définition

L’approche scriptée, ou « hand made », consiste à développer le ou les outils nécessaires à la mise en place d’un traitement ETL, à l’aide d’un ou plusieurs langages de programmation.

Ces outils consistent généralement en une combinaison de procédures stockées au niveau des bases de données ainsi que de différents scripts nécessaires au transport des données et aux transformations complexes.

Avantages de l'approche scriptée

  • Elle permet une homogénéité technologique avec les solutions déjà en place au niveau du SI.
  • Elle permet d’utiliser les langages que les équipes maîtrisent déjà, sans apprentissage et médiation d'un outil tiers.
  • Elle peut, dans certains cas, simplifier le traitement des fichiers plats.
  • Elle permet une intégration poussée avec des outils de gestion de versions.

Inconvénients de l'approche scriptée

  • Elle nécessite de tout développer.
  • Elle impose de nombreuses modifications lors d’une modification au niveau de la source, du contenu ou de la destination.
  • Elle est facteur d’un grand nombre de bugs et de régressions à chaque modification.
  • Elle nécessite l’utilisation d’un planificateur de tâches externe.
  • Elle nécessite de tout documenter, au risque de se perdre dans le code produit.
  • Elle peut être éparpillée sur plusieurs serveurs.

Conclusion : outil ETL ou Script ?

L’utilisation d’une solution scriptée est envisageable pour des besoins simples. Dès lors que ces besoins évoluent et se complexifient, une réévaluation de la solution s'impose : ne serait-il pas plus opportun de passer à un outil ETL ?

Le coût initial de la mise en place d’un outil ETL et de la formation de ses utilisateurs est vite compensée par sa simplicité d’utilisation et les fonctionnalités prêtes à l’emploi.

Grâce au support fourni par les éditeurs de solution ETL, vous vous affranchissez des tâches inhérentes aux évolutions du cœur de la solution. Vous vous concentrez ainsi sur l'essentiel : solutionner rapidement et simplement votre besoin, à moindre frais.

S'il fut une époque au cours de laquelle les avantages d'un développement maison prenaient le pas sur ceux d'un outil ETL, ce n'est plus le cas aujourd'hui. Bien au contraire, opter pour un outil ETL, c’est s’assurer de la pérennité et de l’adaptabilité de son système de transport et de transformation de données.

Laissez-nous vos coordonnées et nous vous rappellerons sous 24 heures.

Les adresses
Next Decision

Next Decision Nantes

Tel : 02.34.09.31.70
31 Rue Fouré
44 000 NANTES
contact@nextdecision.fr

Next Decision Brest

Tel : 02.34.09.31.70
42 rue Glasgow
29 200 BREST
contact@nextdecision.fr

Next Decision Rennes

Tel : 02.34.09.31.70
2 Rue de la Mabilais
35000 RENNES
contact@nextdecision.fr

Next Decision Paris

Tel : 09.51.29.09.35
116 rue Lamarck
75 018 PARIS
contact@nextdecision.fr

Next Decision Bordeaux

Tel : 02.34.09.31.70
20 place Saint Martial
33 300 BORDEAUX
contact@nextdecision.fr

Next Decision Montpellier

Tel : 09.81.93.23.03
23 esplanade de l’Europe
34 000 MONTPELLIER
contact@nextdecision.fr

Next Decision Toulouse

Tel : 02.34.09.31.70
32 Rue Matabiau
31 000 TOULOUSE
contact@nextdecision.fr

Next Decision Lyon

Tel : 02.34.09.31.70
40b rue De La Villette
69 003 LYON
contact@nextdecision.fr

Next Decision Nice

Tel : 02.34.09.31.70
Les Aqueducs, 535 Route des Lucioles
06 560 Sophia Antipolis
contact@nextdecision.fr

Les actualités
Next Decision

25/04/2017 petit déjeuner à Lyon
Choisir vos outils décisionnels.

399e rang du palmarès Deloitte 2016
Next Decision continue d'attirer le regard des observateurs économiques.

13/10/2016 petit déjeuner à Nantes
Vous trouvez que votre exercice budgétaire est un calvaire ?