A l’occasion de la sortie de Talend v8.0, nous vous proposons de récapituler les nouvelles fonctionnalités ainsi que les éléments dépréciés ou supprimés.
Nouveautés Talend Data Integration
- Allègement du Studio : Vous devez désormais activer les fonctionnalités qui vous intéressent à l’aide d’un assistant intégré. (Data Quality, Data Mapper…). Il s’agit du Gestionnaire de Fonctionnalités - Feature Manager. Nous vous invitons à bien observer les options disponibles.
- Depuis Talend Studio 8, vous pouvez procéder aux mises à jour logicielles directement depuis le studio, ce qui vous permet d'être au courant des dernières mises à jour et vous évite les multiples demandes au support.
- Arrivée de l’upsert dans les composants tPostgresqlOutput utilisant la méthode INSERT-ON CONFLICT de PostgreSQL. Avec le mode batch activé, des performances sont 10 à 100 fois meilleures.
- Il est désormais possible d’interrompre les traitements dont les requêtes sont trop longues grâce à la définition d’un timeout sur les composants AS400, JDBC, MSSQL, Sybase.
- Mise en place d’une connexion chaîne de caractères dans les composants MongoDB permettant l’utilisation des URIs MongoDB Atlas. Certains paramètres de connexion non disponibles auparavant peuvent désormais être ajoutés dans l’URL.
- Arrivée de l’authentification X509
- Possibilité de désactiver la bibliothèque log4j dans les composants suite à la faille de sécurité.
- Ajout du « Project Analysis Tool » : génération d’un fichier CSV permettant de contrôler qu’une migration s’est correctement déroulée.
- Retrouvez plus facilement l’historique de vos modifications projet grâce à la recherche des commits Git. Le Studio propose désormais la recherche des commits Git dans la vue Git History (Historique Git) et dans l'onglet Git History (Historique Git) de la vue Job.
- Nouveaux composants disponibles :
- tCosmosDBSQLAPIInput et tCosmosDBSQLAPIOutput : Lectire et écriture en base de données à l'aide d'une API
- tCyberarkInput : récupère le mot de passe d'une application à partir d'une chambre forte (vault) CyberArk lors de l'exécution
- tFileInputParquet et tFileOutputParquet : fournit l'accès aux fichiers au format Parquet
- tNeo4jV4xxxxx : Composants pour l’accès à la base de données Neo4j
- tNetSuiteV2019xxxxx : Composants pour l'accès au serveur SOAP NetSuite utilisant les fonctionnalités NetSuite v2019
- tRabbitMQxxxxx : Composants pour l'accès aux files d'attente de messages
- tSingleStore : Composants pour l'accès aux tables de bases de données pertinentes
- tZendeskInput et le tZendeskOutput, qui fournissent l'accès au serveur Zendesk
- Le composant tFileOutputExcel permet l'option Streaming append qui vous permet d'écrire des données dans un fichier existant en mode flux, ce qui entraîne un gain de performance lors de la génération d’un grand nombre de lignes couplé à un recrutement moindre de la mémoire.
- Les compostants tAzureAdlsGen2Input et tAzureAdlsGen2Output supportent l'authentification Azure Active Directory.
- Il est désormais possible de s'authentifier à vos projets BiQuery à l'aide d'un jeton d'accès Oauth. L'option est disponible dans les composants BulkExec, Intput, Output et SQLRow.
- Amélioration des composants Google Drive : Les options Include shared folders/files (Inclure les dossiers/fichiers partagés) et Include shared drives (Inclure les disques partagés) ont été ajoutées à la vue Paramètres avancés (Advanced settings) et vous permettent d'accéder aux fichiers, dossiers et disques partagés.
- De nouvelles méthodes d'authentification sont fournies pour la connexion à Amazon S3 :
- Via le jeton d'identité Web pour l'authentification de connexion
- Identifiants du profil ou hériter du rôle AWS
- Les performances d'extraction de données SAP ont été améliorées. Le mode stream a été ajouté pour les extractions de données, améliorant les performances de l'extraction. (Multithread supporté)
- Les composants Snowflake supportent OAuth externe.
Talend Data Integration : Les suppressions
- Fin du Business model
- Une trentaine de composants sont supprimés (Liste disponible sur le portail Talend)
Nouveautés Talend ESB
Talend ESB devient Talend Application Integration
- Mise à jour des composants Apache Camel (3.11.1 (LTS)), Karaf (4.2.11), Apache CFX (3.4.4) et ActiveMQ (5.16.3)
- Ajout de points d’arrêts en Debug Mode dans les routes
Nouveautés Talend Big Data
- Vous pouvez à présent exécuter vos Jobs Spark à l'aide de Spark Universal avec Spark 2.4.x ou Spark 3.0.x, soit en mode Local, soit en mode Yarn cluster, et en version 3.1.x avec Kubernetes.
- Vous pouvez à présent utiliser les schémas dynamiques dans vos Jobs Spark avec les composants suivants : tDeltaLakeInput, tDeltaLakeOutput, tFileInputParquet, tFileOutputParquet, tJDBCInput, tJDBCOutput, tLogRow, tSqlRow
- Vous pouvez désormais utiliser Hive Warehouse Connector pour obtenir des données et écrire des données dans des tables transactionnelles gérées par Hive dans des Jobs Spark Batch.
Talend Big Data : Les suppressions
- Supression du framework MapReduce et de ses composants à partir de la version 8.0 de Talend
- Idem pour le framework Oozie et ses composants
- Même chose pour le framework Storm et ses composants
Talend Data Mapper
Deux nouvelles fonctions arrivent pour la génération, le stockage et la réutilisation de variables définies dans votre traitement : PutValueToExternalMap et GetValueFromExternalMap.
Talend Master Data Management, au revoir, la suite !
Le 16 juillet 2021, Talend annonçait la fin de Talend MDM pour le 31 décembre 2024. Talend précise aujourd'hui que cela vaut pour toutes les licences, même souscrites récemment. Son support restera bien entendu à votre disposition jusqu'à la date butoir.
Les nouveautés Talend Master Data Management
- Consolidation des API REST : Nouvelle API pour supprimer un Data Model par son nom
- Possibilité de lancer les process Studio avec les droits d'administrateur
- Possibilité de désactiver le chargement des schémas Spring pour accélérer le lancement de MDM Server
Talend Master Data Management : Les suppressions
Talend MDM Bonita BPM integration est supprimé de Talend 8, mais la grande majorité des composants et API restent disponibles.
Nouveautés Talend Data Preparation
- Nouvelles fonctionnalités de filtre lorsque pour travailler sur une préparation : À l’aide de l’option Add Filter vous pouvez sélectionner une colonne, un opérateur ou des mots clés à filtrer. L’utilisation n'en est que plus intuitive !
- La gestion des acronymes est désormais possible dans les transformations de sous-chaînes de caractères avec la fonction Magic Fill. Ainsi vous transformerez simplement certains éléments en leur forme abrégée comme les noms, les expressions ou les unités. Vous pouvez égalementà présent séparer les caractères comme vous le souhaitez, et décider de la casse à utiliser dans la colonne de sortie.
- Vous pouvez accéder à la documentation de l'API Swagger en utilisant le format suivant : https://<host>:<port>/swagger-ui/, où host et port correspondent à l'URL de votre instance deTalend Data Preparation.
Talend Data Preparation : Les suppressions
Il n'est désormais plus possible de créer et d'utiliser des jeux de données en temps réel pour accéder à des données extraites de Talend Administration Center.
Suppression des exports basés sur le Runtime Big Data. Sont concernés les jeux de données JDBC, HDFS et Amazon S3 à destination de HDFS ou Amazon S3.
Nouveautés Talend Data Quality
- Les composants Data Quality supportent à présent Databricks 7.3 LTS sur AWS et Azure.
- Les composants Data Quality supportent Apache Spark 3.0.1 en mode local.
Talend Data Quality : Les suppressions
Talend Data Quality Portal a été supprimé. Il est désormais possible de directement lier le datamart DQ à votre outil de reporting
Les composants DQ ne supportent plus Apache Spark dans les versions inférieures à 2.4 en mode local.
Nouveautés Talend Data Stewardship
- Il est désormais possible de cliquer sur la barre rouge à côté d'une donnée invalide pour détécter l'origine du problème.
- La fonction de suppression d'une tâche est à présent disponible pour les gestionnaires de campagnes. Il est leur alors possible, ainsi qu'aux data stewards de le faire depuis n'importe quelle campagne.
- La fonction de copie de tâche : Un gestionnaire de campagne ou un data steward peut désormais copier les tâches sélectionnées et les ajouter dans une campagne Merging ou Résolution.
- La fonction de création de tâche : Idem
Nouveautés Talend Administration Center
- Talend Administration Center supporte à présent l'import de comptes utilisateurs depuis des groupes LDAP.
- Il est désormais possible de connaître la version du dernier patch installé sur votre machine.
Talend Administration Center : Les suppressions
- Reetrait du support des serveurs de systèmes de gestion de versions Apache Subversion à partir de la version 8.0 de Talend. Si vous utilisez des projets SVN, nous vous invitons à les migrer vers Git.
- L'application Web Talend Activity Monitoring Console dans Talend Administration Center est supprimée.
- Talend Repository Manager est supprimé.
- L'option de création de tâches d'exécution à partir de Jobs basés sur des référentiels SVN/Git dans le Job Conductor est supprimée.
- La fonctionnalité d'Audit de projets est supprimée de Talend Administration Center.
- Dépréciation de option SCM Policy - TAC à partir de la version 8.0 de Talend. Les identifiants Git se gèreront dans le Studio Talend.
- Nexus est supprimé du package de Talend Administration Center.
- Talend DQ Portal est supprimé.
Support Talend
Attention, fin du support contractuel Talend pour les versions 7.2 à partir de Juin 2022 !
Vous êtes concerné par une montée de version et vous souhaitez une assistance ? Contactez-nous !
N'hésitez pas à faire appel à nos consultants experts certifiés Talend, ils sont là pour vous accompagner, Contactez-nous !