Supprimer les doublons avec Talend

Dans le cadre d’un projet, Next Decision a aidé un client à supprimer les doublons de trois systèmes d’information différents, retour sur la méthode.

Principe de la suppression des doublons via Talend

Le principe de notre réponse est de créer un programme : « la lessiveuse », qui va intégrer les 3 fichiers en parallèle et proposer des sorties.

La technologie retenue pour la lessiveuse est Talend.
La lessiveuse est un programme Talend, paramétrable et évolutif.
Son enjeu est de prendre les trois fichiers de les traiter et d’en ressortir un fichier prêt à l’import dans Salesforce et un listing des données à requalifier manuellement.

Lessiveuse Talend

Schéma de suppression des doublons via Talend

Schéma de suppression des doublons via Talend

L’ensemble des flux bleus sont effectués via Talend.

Modalités de suppression des doublons via Talend

Aucune clef n’étant décrite dans les fichiers en entrées (cf document XXXX.docx), nous ne pouvons mettre en place une table de transcodification du type (Clef MDM, Clef SI1, Clef S2, Clef S3).

Aussi, l’ensemble des fichiers sont intégrés par Talend à chaque lessivage.

Fichiers

Les fichiers sont déposés par les applications sources dans un dossier windows ou FTP.

Une fois les trois fichiers présents, le flux Talend est exécuté. Ce dernier prend les fichiers et les met dans un dossier d’archive ensuite le lessivage commence.

La lessiveuse talend

La lessiveuse Talend part du principe que chaque fichier ne doit pas être dédoublonné sur lui-même. Si cette option est nécessaire, la lessiveuse pourra simplement passer un fichier sur lui-même.

Les clefs de réconciliation potentielles entre les trois systèmes semblent être :

  • Le nom.
  • L’adresse.
  • Le code postal.
  • La ville.

Il existe des clefs communes par paire de systèmes, à voir si elles pourraient être utiles.

Par expérience, nous savons que la réconciliation par nom est rarement performante. Les ratios traditionnels sont de 15 à 20% de réconciliation.

Comment réconcilier par nom via Talend ?

TFuzzyMatch Talend

Le TFuzzyMatch est un composant Talend qui permet de réconcilier des chaines de caractères sur elles-mêmes via deux méthodes :

  • La classification dites LEVENSHTEIN : mesure le nombre de lettres d’écarts entre deux mots (ex : TOTO vs TATA donne 2, TOTO vs TOTI donne 1).
  • Le phonique ou métaphonique (par expérience, nous ne retenons pas cette méthode qui ne fonctionne peu pour des noms francophones).

Format ISO Lessiveuse

Pour mesurer le nombre de lettres d’écarts entre deux mots, il convient de se positionner sur un format de texte identique entre les différentes chaînes que nous souhaitons réconcilier. Nous nommerons ce format l’ISO-Lessiveuse.

Pour obtenir l’ISO lessiveuse nous vous préconisons de développer un unique job Talend qui :

  • Supprime les caractères spéciaux suivants : {([-\_@)]}&.
  • Elimine les blancs.
  • Elimine les accents et ç.
  • Met la chaîne de caractères en majuscule.

Ce job Talend est effectué de manière unique et appelé pour tous les entrants. Ainsi une modification est effectuée une unique fois pour être appliquée sur l’ensemble des entrants.

La lessiveuse

La lessiveuse est un job Talend qui effectue des réconciliations entre les noms et d’autres critères.

La réconciliation ne s’effectue pas uniquement sur l’idendicité exhaustive des noms mais sur deux règles paramétrables de l’extérieur du job Talend.

La première règle correspond à des seuils de ratio de lessivage (RL).

Le ratio de lessivage suit la formule mathématique suivante :

RL : nombre de lettre d’écarts / nombre de lettre de la plus petite chaîne.

Deux leviers de réconciliations sont paramétrables :

  • Les seuils
    • Seuil 1 : 5%
    • Seuils 2 : 25%

La seconde règle correspond au nombre de lettres de la plus petite chaîne (par défaut 10)

Matrice de résultats :

Matrice Talend

Cette matrice permettra d’avoir des leviers de réconciliation externe à l’application ne nécessitant pas de modification Talend pour faire des optimisations.

Par la suite les réconciliations rejetées seront vérifiées manuellement et une correction pourra être apportée dans le système d’information source.

Golden Record

A l’issue de la réconciliation/dédoublonnage, un Golden Record pourra être créé en prenant le plus grand nombre d’informations disponibles.

Des règles précisant quel système d’information source est prioritaire, au cas où les informations sont identiques dans deux fichiers, sont définies par le client.

Alertes

Cette méthode ne corrige pas la qualité de l’information dans les systèmes sources. Si une réconciliation ne s’opère pas en fonction des critères ci-dessus, il conviendra soit de modifier les règles Talend, soit de modifier les enregistrements dans les systèmes d’information sources.

Retour aux projets décisionnels

Vous souhaitez bénéficier d'experts, de développeurs, ou d'une formation sur Talend ? Rendez vous sur la page Contact

Besoin d'aide pour la suppression des doublons avec Talend à Nantes, Brest, Niort, Le Mans, La Roche Sur Yon, Angers, Paris, Laval, Rennes, Lyon, Grenoble, Saint-Etienne, Bordeaux, Toulouse, La Rochelle, Agen, Bayonne, Montpellier, Nice, Sophia Antipolis, Béziers...

Next Decision, votre expert Talend en Bretagne, Poitou-Charentes, Pays de Loire, Région Parisienne, Ile de France, Aquitaine, Midi-Pyrénées, Rhône, Ain, Isère, Loire, Languedoc-Roussillon et Provence-Alpes-Côte d'Azur.

Laissez-nous vos coordonnées et nous vous rappellerons sous 24 heures.

Les adresses
Next Decision

Next Decision Nantes

Tel : 02.34.09.31.70
31 Rue Fouré
44 000 NANTES
contact@nextdecision.fr

Next Decision Brest

Tel : 02.34.09.31.70
42 rue Glasgow
29 200 BREST
contact@nextdecision.fr

Next Decision Rennes

Tel : 02.34.09.31.70
2 Rue de la Mabilais
35000 RENNES
contact@nextdecision.fr

Next Decision Paris

Tel : 09.51.29.09.35
116 rue Lamarck
75 018 PARIS
contact@nextdecision.fr

Next Decision Bordeaux

Tel : 02.34.09.31.70
20 place Saint Martial
33 300 BORDEAUX
contact@nextdecision.fr

Next Decision Montpellier

Tel : 09.81.93.23.03
23 esplanade de l’Europe
34 000 MONTPELLIER
contact@nextdecision.fr

Next Decision Toulouse

Tel : 02.34.09.31.70
32 Rue Matabiau
31 000 TOULOUSE
contact@nextdecision.fr

Next Decision Lyon

Tel : 02.34.09.31.70
40b rue De La Villette
69 003 LYON
contact@nextdecision.fr

Next Decision Nice

Tel : 02.34.09.31.70
Les Aqueducs, 535 Route des Lucioles
06 560 Sophia Antipolis
contact@nextdecision.fr

Les actualités
Next Decision

13/10/2016 petit déjeuner à Nantes
Vous trouvez que votre exercice budgétaire est un calvaire ?

11/10/2016 petit déjeuner à Lyon
Choisir vos outils décisionnels.

15/03/2016 petit déjeuner à Nantes
Découvrez les Applications Google Apps.

26/01/2016 petit déjeuner à Bordeaux
Intégration , Administration simplifiée et Cartographie sous BO.