Talend Big Data Integration

Type de produit et caractéristiques de Talend Big Data Integration

Talend est une société spécialisée dans l’édition d’outils de gestion des données. L’outil le plus connu de cet éditeur est nommé Talend Big Data Integration. Cet outil répond à la mise en place de flux de données classiques (en volumétrie et en temps de chargement).

Talend Big Data Integration est un outil dédié aux projets comportant des problématiques liées au Big Data :

• Volumes de données conséquents
• Flux de données en temps réel
• Connexion à des systèmes Big Data (Hadoop...)

Présentation et concept de Talend Big Data Integration

L'outil Talend Big Data se présente sous la forme de deux modules :

• Le Studio, utilisé pour la construction des flux de données
• La plateforme, centralisant les projets, les autorisations et la supervision des exécutions

En version gratuite, seul le studio est disponible. La version payante de l'outil vous offre les éléments suivants :

• Travail collaboratif
• Gestion de version des ressources
• Déploiement, planification et supervision des flux des données industralisée
• Connecteurs complémentaires dans le studio (Spark, Machine Learning notemment)

La mise en place de flux Big Data est réalisée par l'utilisation de composants paramétrables connectés entre eux.

Chaque composant portera la responsabilité d'une partie du flux : connexion à un serveur, extraction, transformation et écriture des données.

Fonctionnalités principales de Talend Big Data

L'outil studio est une application lourde permettant la définition des flux de données. Cet outil est découpé en zones de travail ayant un rôle précis.

Gestion centralisée des environnements Big Data dans Talend

L'outil Studio permet le partage des informations de connexion.

Un cluster (type Hadoop) regroupe plusieurs outils de stockage et de gestion des données, cette gestion centralisée nous permet de ne pas avoir à redéfinir le mode de connexion à chaque usage du cluster.

Création visuelle des flux de données dans Talend Big Data Integration

Dans Talend, les flux de données sont présentées par un enchaînement de composants. pour l'outil Talend Big Data, le principe reste identique à l'outil d'intégration des données. L'environnement de travail est le même, ce qui permet de réutiliser un maximum les connaissances que l'on a de l'outil Talend Big Data Integration.

Intégration de la puissance des systèmes Big Data dans Talend

Nativement, Talend a la possibilité de charger des données sans son système. Cependant, dans le cas de projets Big Data, il n'est pas toujours judicieux de procéder ainsi.

Talend répond aux problématiques Big Data par un système qui peut se rapprocher de l'ELT. (Extract Load Transform)

On profite des capacités de calcul et de stockage des systèmes que l'on utilise.

Un projet Talend Big Data peut être constitué des étapes suivantes :

1. Import des données en masse dans HDFS
2. Traitement des données par un script Pig lancé dans Talend
3. Export des données traitées dans une zone de mise à disposition

Avantages de Talend Big Data Integration

• Solution d'intégration de données combinant à la fois les solutions Hadoop et les technologies classiques
• Interface commune avec l'outil Talend Data Integration
• Définition graphique des flux de données
• Communauté active
• Talend est compatible avec les systèmes d'exploitation Windows, Linux et MacOS

Dans quels cas utiliser Talend Big Data ?

• Pour une société utilisant l'outil Talend Data Integration pour ses flux de données classiques
• Pour une société souhaitant intégrer des données dans un système Big Data
• pour un séquencement d'opération des traitements des données volumineuses

Retour aux éditeurs du Big Data

Vous souhaitez bénéficier d'experts, de développeurs ou d'une formation sur Talend Big Data Integration ? Rendez vous sur la page Contact