C’est officiel, Qlik vient d’annoncer la fin de Talend Open Studio. À partir du 31/01/2024, TOS ne sera plus téléchargeable.

En tant que partenaire Platinum, nous sommes en capacité de vous accompagner de bout en bout pour la migration vers Talend Cloud. Rencontrez nos experts qui sauront vous guider, expliquer les changements et l’impact sur vos projets.

Voici ensuite un tour d'horizon des nouveautés Talend de novembre 2023.

Step : Patch 2023-10 terminé

Prérequis logiciels

  • Ajout du support de Nexus 3.53
  • À partir de la version R2023-10 :
    • Java 17
    • Ubuntu 22.04
    • Nexus 3.60

Talend Cloud

Nouveautés Talend Cloud

  • Vous pouvez maintenant lister les éléments spécifiques dans un tableau, dans un payload JSON et dans des pages d’une taille spécifique en utilisant le connecteur HTTP client. Le connecteur REST étant déprécié à partir de la version R2023-06, il est possible d’utiliser le connecteur HTTP client à la place. Le composant HTTP client peut également charger et télécharger des pièces jointes.
  • Les fonctionnalités bêta peuvent être activées via le panneau Labs situé dans le menu utilisateur au niveau de l’en-tête utilisateur.

Talend Cloud API Designer

Nouveautés Talend Cloud API Designer 

  • Une nouvelle version d’API Portal Starter Kit est disponible. Pour pouvoir déployer votre portail via GitHub Pages, il est nécessaire de mettre à jour le fichier .github/workflows/github-pages.yaml.

Suppression

  • Le support de l'import/export des définitions d'API au format RAML 0.8 a été supprimé.

Talend Cloud Data Catalog et Talend Data Catalog

Nouveautés

  • La mise à jour des schémas relatifs au lignage permet d’améliorer l’interprétation de l’arbre de lignage : LineageLink, LineageNode, LineageTree.
  • La nouvelle option de configuration du serveur SAML permet de spécifier si la requête d'authentification SAML est signée numériquement par le fournisseur d'identité du serveur de l'application.
  • Les données d’attributs personnalisés de type DATE et DateTime ont un nouveau support EXISTS/NOT EXISTS.
  • L’ajout de nouveaux filtres dans le profil métier permet de les rendre disponibles dans l’application Talend Data Catalog.
  • Le certificat SSL est maintenant supporté par la base de données Oracle via JDBC suite à la mise à jour des options d’environnement JAVA.
  • Le Databricks Unity Catalog contient un nouveau pont bêta.
  • La nouvelle option Miscellaneous (Divers) -jdbc_string.hide vous permet d’ignorer l’étape d’enregistrement dans la log d’une chaîne de caractères contenant des informations confidentielles.
  • Vous pouvez spécifier des dossiers de logs supplémentaires en utilisant une nouvelle option Miscellaneous (Divers) -cluster.log.folder.
  • Il est possible d’augmenter le délai avant expiration du WebSocket avec l’option Miscellaneous (Divers) -websocket.timeout.
  • La propriété M_SCRIPT_PATH de l’option Miscellaneous (Divers) -postscript permet de personnaliser l’emplacement des scripts.
  • La base de données Snowflake contient de nouvelles fonctionnalités : un nouveau support resultset concernant la procédure stockée, basé sur le script Snowflake, ainsi qu'un nouveau support EXECUTE IMMEDIATE et deux nouveaux ponts dbt Core et dbt Cloud.
  • Vous pouvez réduire l’espace utilisé grâce au nettoyage du répertoire <TDC_HOME>/data/temp à chaque redémarrage du serveur.
  • La fonction support PowerQuery Databricks.Catalogs() est disponible.
  • Vous pouvez maintenant utiliser le support des paramètres réutilisables pour API.
  • Il existe un nouveau support FIELDNM pour InfoObjects comme UDP.
  • Le support du champ de clé primaire ADSO est disponible, il nécessite une mise à jour du script ABAP pour fonctionner correctement.
  • La fonction getRelatedReports permet de gérer les rapports PowerBI vides.
  • Vous pouvez maintenant détecter si une colonne de l’opération de relation est manquante grâce à l’erreur de type NullPointerException.
  • Vous pouvez utiliser un lignage limité pour les rapports PowerBI grâce à des classifieurs.
  • Vous pouvez maintenant utiliser la clause RENAME dans les instructions SELECT des bases de données Snowflake.
  • La valeur de l’échelle par défaut est passée de 1 à 0 pour tous les types de base de données.
  • Vous pouvez utiliser les attributs de longueur OUTPUTLEN et INTLEN (comme UDP) pour SAP Business Warehouse 4 HANA.
  • Vous pouvez utiliser l’option REFRESH MODE pour actualiser la feuille de travail qui ne s'actualise plus automatiquement.
  • Suite à une vulnérabilité de sécurité une mise à jour d’Apache Tomcat en 9.0.81 a été réalisée.
  • Vous pouvez maintenant utiliser deux fonctions d’API REST : POST /dataMapping/exportScript et POST /dataMapping/importScript.
  • SAP BusinessObjects supporte une nouvelle option -cache.clear.
  • La mise à jour de jackson-databind en version 2.13.4.2 en raison de vulnérabilités de sécurité se trouve dans <TDC_HOME>/Documentation/License/MIMM-ThirdParty-LICENSES.html.
  • Mise à jour d’Apache Tomcat version 9.0.73 et commons-fileupload 1.5.

Suppressions

  • La dépendance Log4j depuis Maven non sécurisée a été supprimée après la mise à jour MIMBRN-2954.
  • La fonctionnalité API/UploadAttachments ne permet plus d’avoir plusieurs pièces jointes du même nom.

Talend Cloud Data Preparation

Nouveautés

  • Vous pouvez maintenant visualiser l’effet d’une fonction sur votre préparation en utilisant le bouton Preview situé dans le panneau des fonctions.
  • Vous pouvez ajouter une colonne Tags dans la page Opérations afin d'afficher les mots clés attribués aux taches.
  • Vous pouvez visualiser et modifier les valeurs des variables au moment de l’exécution des pipelines.
  • Une option Divers -qvd.as.file a été ajouté.
  • Une option iam.instance.access pour supporter le mode d’accès à l’instance IAM EC2 est maintenant disponible.
  • Vous pouvez utiliser de nouvelles fonctionnalités concernant la Data Préparation en libre-service :
    • Il est possible de préparer un nouveau jeu de données, mettre à jour le jeu de données courant ou existant afin d’améliorer sa qualité.
    • Il est possible de mapper les colonnes avant d’écrire dans la destination.
    • Il est possible d’exporter le jeu de données en tant que fichier local.

Talend Cloud Management Console

Nouveautés

  • Vous pouvez gérer les autorisations des espaces de travail et des utilisateurs dans une vue unique au niveau de l’onglet environnement situé dans Management Console.
  • Vous pouvez maintenant exporter des fichiers CSV contenant la liste des projets ou des utilisateurs ou la liste des exécutions.
  • La page Processing remplace la page Engine.
  • Un nouveau champ Step name a été ajouté, ce qui permet de saisir un nom d’étape au moment de la création du plan.
  • La page Opérations possède de nouvelles fonctionnalités : recherche rapide sur une tâche d'un plan, filtre sur la liste des exécutions et option de regroupement des tâches d’un plan.
  • Il est maintenant possible de recevoir des notifications par e-mail quand on possède le rôle Operator avec au moins l’autorisation Operations - Manage (Opérations - Gestion).
  • La recherche des ID a été facilitée :
    • L’ID du projet se trouve dans l’onglet INFO.
    • L’ID de l’espace de travail se trouve dans l’onglet Overview.
    • L’ID utilisateur se trouve dans le panneau de détail de l’utilisatrice.
  • Depuis la R2023-10, vous pouvez délier un Talend Remote Engine sans interrompre les exécutions en cours.
  • Il est possible de passer de Talend Cloud aux applications Qlik Cloud depuis le menu de navigation dans la barre en haut de l’écran.
  • Il est nécessaire d’avoir les autorisations TDS_HYBRID_MANAGEMENT pour avoir accès aux onglets Data Preparation et Data Stewardship. 

 Suppression

  • Il n’est plus possible d’accéder au mode brouillon.  

API

Nouveautés

  • La suppression des profils d’exécution se fait via la requête newRunProfileId.
  • Les filtres de métriques d’observabilité suivants ont été mis à jour : startTime, endTime et component_start_time_seconds. 

Talend Cloud Migration Platform

Nouveautés

  • Une nouvelle option CVE report a été ajoutée pour l’intégration et le déploiement continu.
  • Il est maintenant possible de maintenir les tâches et les routes en cours pendant le désapparièrent d’un Remote Engine via deux nouvelles fonctionnalités : keepOsgiDeployments et keepMicroserviceDeployments.
  • Vous pouvez maintenant grâce à une nouvelle option d’API REST migrer ou créer tous les utilisateurs autorisés sur le projet et modifier le mapping par défaut entre l’identifiant de connexion Talend Administration Center/Talend Cloud Management Console.
  • Vous pouvez consulter les dates des enregistrements et de mise à jour dans le Talend Administration Center.
  • Vous trouverez le support des paramètres JVM pour les tâches dans Talend Cloud Management Console.
  • À partir de la version R2023-09, deux endpoints ont été ajoutés pour retourner le nombre total de tâches d'un environnement Talend Administration Center et pour retourner les détails des tâches.
  • Dans le but d’améliorer l’interface de la page TAC servers list, la colonne TAC ID a été ajouté. De même les colonnes TAC ID et Task ID ont été ajoutées à la page Tasks list.
  • Attention ! Pour pouvoir réaliser la migration du Talend Administration Center R2023-10, il faudra écraser l’étape After On_OK. 

Talend Cloud Pipeline Designer

Nouveauté

  • Il est possible de supprimer les doublons via l’option Distinct dans le processor Field selector.

Supression

  • Le processeur Python 2 n’est plus supporté.

Talend Remote Engine

Nouveautés

  • Vous pouvez activer la gestion du cycle de vie propre du moteur distant grâce à l’utilisation de deux nouvelles commandes :
    • Arrêt propre :
      tre:graceful-shutdown <shutdown_grace_period_in_minutes>.
    • Redémarrage propre :
      Dans le fichier de configuration <RE_installation>/etc/system.properties, modifier la valeur du paramètre handle.engine.restart de false à true.
  • Le support RHEL a été mis à jour pour la version Talend Remote Engine v2.12.14.
  • La version Talend Remote Engine v2.13 est disponible à partir de la version R2023-10. Elle nécessite JAVA17. Concernant la version Talend Remote Engine v2.12.14, elle sera supportée jusqu’à la version R2024-10. La fin de vie est prévue pour la version R2025-04.

Supression

  • Les versions Talend Remote Engine v2.11.x ne sont plus supportées depuis la version R2023-05. Seuls les logs locaux restent disponibles.

Talend Cloud Data Inventory

Nouveautés

  • L’ajout d’un nouveau mot clé PII (Personally Identifiable Information) permet de protéger les données en identifiant des informations sensibles.
  • Vous pouvez utiliser le mode de sélection dynamique et le mode de sélection manuelle au moment de la création d’un crawler.
  • Vous pouvez actualiser plusieurs échantillons de jeux de données via l’onglet Datasets.
  • Vous pouvez utiliser l’onglet Data quality rules pour contrôler la qualité des données.
  • Vous pouvez visualiser vos données via l’onglet Data console.

Talend Cloud Data Stewardship

Nouveautés

  • Vous pouvez identifier d’éventuels problèmes de performances grâce à l’ajout, dans l’onglet Compaings et Tasks, de messages d’avertissements lorsqu’une compagne contient plus de 100 000 tâches.
  • Vous n’avez plus besoin d’associer les variables de règles et des attributs du modèle de données, l'outil le fait automatiquement.

Studio Talend 8.0

Nouveautés

  • Vous pouvez maintenant être alerté des mises à jour via une notification dans le coin inférieur droit. Il est également possible d’utiliser les paramètres de mise à jour locaux lorsque vous activez l'option Use local update settings, de préférence uniquement à des fins de tests.
  • Vous pouvez lors de la publication dans Talend Cloud sélectionner un environnement et un espace de travail séparément.
  • Il existe un nettoyeur automatique du dossier <studio-workspace>\.repositories\<repo-hashcode> s’il n’a pas été utilisé depuis 15 jours.
  • Vous pouvez personnaliser la vue CDS en récupérant et transformant les données via les composants tSAPTableInput et tELTSAPMap.
  • Vous pouvez conserver les espaces pour les données STRING et RAW dans les composants tELTSAPMap et tSAPTableInput.
  • Vous pouvez obtenir des identifiants dans les composants SQS via la liste déroulante Credential Provider.
  • Vous pouvez utiliser deux nouveaux algorithmes de clé publique RSA et ECDSA dans le composant tSSH.
  • Il est possible de récupérer les tables étrangères de PostgreSQL et Amazon Redshift.
  • Il possible d’utiliser une méthode PATCH pour les composants cHTTP et cREST.
  • À partir de la version R-202308, les identifiants pour les bibliothèques et les référentiels de proxys de distributions sont stockés sur Eclipse.
  • Les bibliothèques suivantes ont été mise à jour : Apache Camel 3.11.1 à 3.20.6, Apache CXF 3.4.10 à 3.5.5, Spring Boot 2.6.8 à 2.7.12.
  • Il est possible de configurer les connexions à Google BigQuery dans l’assistant de configuration.
  • Vous pouvez utiliser la fonctionnalité tSetDynamicSchema présente dans le tFileInputDelimited.
  • La vue et de l’assistant pour les contextes a été améliorée.
  • Vous pouvez maintenant utiliser la nouvelle fonctionnalité Use an existing connection du composant tPostgresqlOutputBulkExec.
  • Vous pouvez maintenant utiliser le support PostgreSQL et PostgreSQL Data pour l’authentification vers les fournisseurs Cloud (Google Cloud Platform (GCP), Amazon AWS et Microsoft Azure).
  • Le composant tDBConnection peut être utilisé le SSL avec ORACLE 18 et plus.
  • Vous pouvez maintenant filtrer des critères pour les données de récupération avec le composant tWorkdayInput.
  • À partir de la R2023-10, le studio Talend et l’exécution des jobs, des routes, des services de données et d’intégration de données peuvent se faire avec JAVA 17. Attention les composants tLoqateAddressRow et le tQASBatchAddressRow ne sont pas compatibles avec Java 17.
  • L’intégration des données peut être gérer avec les composants suivants : tBoxv2Close, tBoxv2Connection, tBoxv2Copy, tBoxv2Delete, tBoxv2Get, tBoxv2Input, tBoxv2Output, tBoxv2Put.
  • Vous pouvez chiffrer et déchiffrer des fichiers à l’aide des composants tPGPEncrypt et tPGPDecrypt.
  • Vous pouvez utiliser la dernière version Git 2x supportée par le Studio Talend.
  • La version 12 de Vertica est maintenant supportée par Studio Talend, les autres versions 9.0x de Vertica sont dépréciées.
  • Le pilote MariaDB a été mis à jour en version 3.1.4.
  • Le pilote Oracle a été mis à jour en version 19.19.0.0.
  • La version Kafka 3.5.1 est supportée par le Studio Talend.
  • Le pilote JDBC a été mis à jour en version postgresql-42.6.0.jar.
  • Pour que le studio Talend puisse supporter la version 7.0 de MongoDB, les pilotes Java sont mis à jour en version 4.2.3 et 4.10.2.
  • La nouvelle version Talend Metadata Bridge est la 1100-20230911-1632.
  • Le Studio Talend supporte maintenant les supports AWS Aurora 3.X avec MySQL et l'endpoint Salesforce version 57.0.

Suppressions

  • Les fonctionnalités Talend Exchange ne sont plus supportées depuis la fin du mois de juin 2023. Elles ont été déplacées vers GitHub.
  • Le composant tAS400CDC ainsi que le profiling de données avec Vertica 9.x sont dépréciés à partir de la R2023-07.
  • La fonctionnalité Change Data Capture et les composants CDS sont dépréciés à partir de la version R2023-08.
  • Les versions 9.0.x à 9.3.1 de Vertica sont dépréciées à partir de la version R2023-08.
  • Les versions antérieures à la version 9 de PostgreSQL et PostgresPlus sont maintenant dépréciées.

Talend Big Data

Nouveautés

  • Vous pouvez utiliser les composants Iceberg dans le Studio Talend : tIcebergConnection, tIcebergInput, tIcebergOutput, tIcebergClose.
  • Il est possible de travailler avec différents supports (Parquet, ORC et Avro, etc…) en utilisant des tables Iceberg avec le compostant tHiveCreateTable.
  • Vous pouvez créer ou supprimer des tables HBase en utilisant le nouveau composant tHBaseTable. Il est également possible de spécifier un espace de noms pour les tables HBase dans les composants tHBaseDeleteRow, tHBaseInput et tHBaseOutput, tHBaseNamespace.
  • Vous pouvez créer des maps DSQL grâce au Data Mapper. De plus, la nouvelle fonction du Data Mapper GetContextVariable permet de référencer une variable de contexte dans une map standard.
  • Vous pouvez produire une collection d’objets GenericRecord Avro à partir du composant cMAP.
  • Vous pouvez utiliser de nouveaux supports avec Spark Universal :
    • HDInsight 5.0 avec Spark Universal 3.1.x
    • AWS EMR Serverless 6.6.0 avec Spark Universal 3.2.x et 3.3.x
  • Le support de Dataproc 2.1 permet l’exécution des jobs Spark Batch avec Spark Universal 3.3.x.
  • Vous pouvez contrôler tous les paramètres au niveau de la vue Spark Configuration en cochant la case Custom settings.
  • Vous pouvez maintenant utiliser le support Spark Universal 3.4x en mode local.
  • Vous pouvez contrôler les paramètres (capacité préanalyse, connexion au réseau...) grâce au support de paramètres AWS EMR Serverless avec Spark Universal 3.2.x et 3.3.x dans des Jobs Spark Batch.
  • Vous pouvez utiliser le mode Spark-submit pour exécuter les jobs Spark Batch.
  • Vous pouvez utiliser la version 12.x de Databricks, les versions 6.8.0, 6.9.0 et 6.10.0 d'Amazon EMR et Spark Universal 3.2.x et 3.3.x en configurant la vue Spark Configuration.

Suppressions

  • Vous ne pouvez plus utiliser les composants tElasticSearchConfiguration, tElasticSearchInput, tElasticSearchOutput avec le support des versions 5.6.x et 6.4.x d’Elasticsearch.
  • Vous ne pouvez plus utiliser le support d’Elasticsearch 2.3x.

Talend Runtime 8.0

Nouveauté

  • Les bibliothèques Apache Camel 3.11.1 à 3.20.6, Apache CXF 3.4.10 à 3.5.6 et Apache Karaf 4.2.11 à 4.4.3 ont été mises à jour pour la version R2023-08.

Suppressions

  • La journalisation d’événements Event Logging à partir de la version 8.0 R2023-07 n’est plus disponible.
  • Les supports de distributions suivants sont dépréciés : Databricks 5.5 LTS, 6.4 et 7.3 LTS, Cloudera CDH 6.1, Hortonworks HDP 3.1.

Points d'attention

  • L’installation du Patch R2023-08 du Studio Talend met à niveau les bibliothèques suivantes : Apache Camel 3.11.1 à 3.20.6, Apache CXF 3.4.10 à 3.5.5, Apache Karaf 4.2.11 à 4.4.3 et Spring Boot 2.6.8 à 2.7.12. Dans le cas où vous utilisez Talend Runtime pour le déploiement, vous devez utiliser exclusivement le build R2023-08 de Talend Runtime. Pour cela il faut reconstruire, publier et redéployer tous les services de données et toutes les routes.
  • Àpartir des installeurs avec horodatage est 20231027_1100 ou ultérieur les fonctionnalités suivantes sont disponibles :
    • Talend Administration Center R2023-09
    • Talend Data Preparation R2023-09
    • Talend Data Stewardship R2023-10
    • Talend Dictionary Service R2023-10
    • Talend ESB et Talend Runtime 8.0.1-R2023-10-RT
    • Talend Identity et Access Management 8.0.1.4
    • Talend JobServer 8.0.1-20230929_1021_patch
    • Talend MDM R2022-11
    • Talend SAP RFC Server R2023-09
    • Studio Talend R2023-10
    • Apache Tomcat version 9.0.82
    • MinIO RELEASE.2023-07-11T21-29-34Z
  • Pour obtenir les dernières mises à jour des patchs mensuels, il est nécessaire d’avoir une version du Talend Runtime R2023-08-RT.

N'hésitez pas à faire appel à nos consultants experts certifiés Talend, ils sont là pour vous accompagner, Contactez-nous !