Semarchy xDI

Solution ELT d'intégration de données

Type de produit et caractéristiques de Semarchy xDI

Semarchy xDI, anciennement Stambia, est la nouvelle solution d’intégration de données de Semarchy, qui vient compléter l’offre MDM (Master Data Management) de l’éditeur, Semarchy xDM.

Légère, robuste et dite « unifiée », Semarchy xDI se distingue par la simplicité de sa mise en place au niveau de l’architecture, sa prise en main rapide, ainsi que par sa polyvalence. En effet, la solution peut répondre à tout type de besoin d’intégration de données : batch ETL/ELT (Extract Transform Load/Extract Load Transform), API / Web services, Big Data, Data Lake, Real-time / Streaming, Data hub, scripts Python ou Javascript… avec une interface de développement unique et « universelle » facilitant l’apprentissage des développeurs et leur permettant d’être rapidement opérationnels.

Semarchy xDI répond également aux problématiques de scalabilité grâce à son architecture souple et légère et à sa nature d’ELT, c’est-à-dire en exploitant la puissance de calcul des bases de données utilisées au sein des traitements.
La solution permet donc de maîtriser les coûts liés à l'intégration de données : logiciel, matériel, développement, maintenance et courbe d'apprentissage.

Présentation et concept de Semarchy xDI

Grâce à sa capacité ELT, Semarchy xDI peut s’adapter à tout type de projet d’intégration de données. En effet, un grand avantage de ce fonctionnement est que de grands volumes de données vont pouvoir être gérés sans avoir à les monter en mémoire, en passant uniquement par des transactions SQL générées par l’outil sur les bases de données.

Mais Semarchy xDI n’est pas pour autant une « boîte noire » : il est non seulement possible de consulter chaque étape et chaque requête SQL générée, mais l’outil offre aussi la possibilité de créer ses propres modèles (« templates ») de génération SQL, pour obtenir exactement le comportement voulu dans les traitements d’intégration de données.

La plateforme Semarchy xDI répond également aux problématiques de temps-réel grâce à ses composants WebServices.

Semarchy xDI est une solution qui s'appuie sur plusieurs principes clés :

Le « mapping universel » de Semarchy xDI

Contrairement aux approches habituelles, orientées process techniques, Semarchy xDI offre une vision dite "universelle" du mapping : toutes les métadonnées, c’est-à-dire toute technologie de nos sources de données (Base de données, Fichiers JSON, CSV, XML, Web Services...) et tout élément de stockage de cette technologie (Table, XML...) sont alimentées, affichées, lues et traitées de manière unique et unifiée, quelle que soit leur structure et leur complexité. C'est une vision Data, orientée métier.

Semarchy xDI

L’approche par les modèles de Semarchy xDI

L'approche Semarchy xDI est dite basée sur les modèles. Les notions de templates ou de technologies adaptatives, qui correspondent au modèle de génération des instructions SQL générées, offrent une capacité d'abstraction et d'industrialisation des flux. Cette démarche permet de gagner en productivité, en agilité et en qualité sur tous les projets réalisés.

Le mode ELT de Semarchy xDI

Comme expliqué précédemment, Semarchy xDI est un outil de type ELT qui va générer des instructions SQL selon les flux créés. Cela va permettre de maximiser les performances lors d'échanges inter ou intra bases de données, d’être scalable et de diminuer les coûts liés à l’infrastructure, car l’outil va simplement bénéficier de la puissance des serveurs de bases de données déjà installés.

Semarchy xDI

Une maîtrise des coûts et de la trajectoire vue par Semarchy

Semarchy xDI est une solution qui permet de maîtriser ses coûts, grâce à son modèle tarifaire et au fait que l’outil utilise la puissance des serveurs de base de données installés. Semarchy xDI est également parfaitement scalable et n'exige pas plus que l'accroissement naturel des ressources qui est exercé naturellement sur les serveurs de base de données au fur et à mesure de l'accroissement des volumes de données.

Fonctionnalités principales de Semarchy xDI

L’architecture logicielle de Semarchy xDI comprend trois composants principaux :

Le Designer Semarchy xDI

Le Designer Semarchy xDI est livré sous la forme d’un client lourd (logiciel à installer sur un poste), se basant sur un environnement de développement robuste et familier des développeurs, la plateforme Eclipse. C’est dans ce dernier que tous les développements et tests d’intégration de données vont être réalisés.

L’un des plus gros points forts du Designer Semarchy xDI réside dans le fait qu’il intègre nativement une documentation, des outils d’initiation et des composants de développement local : Runtime local pour exécuter ses flux, bases de données de test locales, fichiers d’exemple, tutoriel et documentation… Cela va donc nous permettre de développer et de se former sur l’outil immédiatement après son installation, sans même avoir besoin d’attendre la mise en place du reste de l’architecture.

Le Designer Semarchy xDI inclut également tout un panel de fonctionnalités pour pouvoir développer aisément des flux de Data Integration, telles que le mode débug, la prise en charge des outils de Versioning (Git, CVS, SVN, etc.), une interface utilisateur simplifiée et unifiée, etc.

Les Runtimes

Les Runtimes Semarchy xDI sont des processus JAVA qui servent à exécuter nos flux d’intégration sur nos différents environnements d’exécution (dev, recette, prod…). Ils sont déployables sur tout type d’OS (Operating System), en interne comme dans le Cloud, et sont aussi nativement compatibles Docker et Kubernetes.


L’architecture des Runtimes est très souple : il sera possible par exemple d’installer sur la même machine uniquement 2 Runtimes (dev + prod) qui tourneront parfaitement bien dans un contexte où la charge d’exécution est faible, et cela sans rentrer dans le détail des configurations.

A contrario, il sera aussi possible de mettre en place une architecture de Runtimes complexe : sur plusieurs machines différentes, comportant chacune plusieurs Runtimes, et en y intégrant un système de load-balancing / fail-over (gestion de la charge d’exécution).

La plateforme web Production Analytics

Après avoir développé, testé et généré nos flux sur le Designer, la mise en production et l'exploitation (donc les actions de déploiement, paramétrage, planification, automatisation, contrôle des exécutions, monitoring…) s’effectuent sur la plateforme Semarchy xDI Production Analytics.

Cette interface web, qui est en fait une application Java EE, est facilement déployable sur un serveur d’application web tel que Apache Tomcat.
Connectée à une base de données, l’application Production Analytics génèrera les logs de nos exécutions, qu’il sera ensuite facile d’exploiter dans des rapports pour contrôler tous les flux d’intégration.

Semarchy xDI

Avantages de Semarchy xDI

  • L’installation et la mise en place des composants Semarchy xDI est simple et rapide
  • Prise en main et apprentissage très rapides, avec des outils de démo/tutoriel intégrés
  • Semarchy xDI s’intègre parfaitement dans l'écosystème de l'entreprise déjà existant
  • Met à disposition une interface simplifiée et un principe de mapping universel qui facilite la compréhension des flux et qui accélère le processus de développement
  • Semarchy xDI simplifie l’évolution et permet de réduire significativement le temps de maintenance de vos flux de Data Integration
  • Grâce à une architecture légère et à un modèle de tarification basé sur l’effort de développement (nombre de développeurs connectés simultanément au Designer), Semarchy xDI permet de diminuer le coût de possession et d’augmenter le ROI des projets
  • Semarchy xDI utilise les ressources déjà disponibles dans l'entreprise, donc pas besoin d’avoir un serveur ultra-puissant dédié
  • Grâce à sa polyvalence, Semarchy xDI est une solution unique pour tous vos projets d'intégration de données, que ce soit dans un contexte ETL/ELT ou encore d’appel et de publication de Webservices
  • La solution inclut des outils de migration complets et automatiques de certains ETL/ELT vers Semarchy xDI (N'hésitez pas à prendre Contact avec Next Decision)

Dans quels cas utiliser Semarchy xDI

Voici une liste non exhaustive de projets réalisables :

  • Semarchy xDI convient parfaitement pour des projets d'alimentation de SGBD (Système de Gestion de Base de Données) et de bases de données décisionnelles/Business Intelligence
  • Semarchy xDI est une plateforme très efficiente dans le cas de problématiques Big Data (Hadoop, Spark et No SQL)
  • Semarchy xDI permet la production de projets de type ESB (Bus applicatif) et EAI (Echanges inter-applicatifs) grâce à ses capacités d'appel et d'exposition de WebServices (API)
  • Semarchy xDI peut également se connecter avec toutes les technologies de stockage Cloud (Google Cloud Plateform, Amazon AWS, Microsoft Azure ou encore Snowflake)
  • Via son module Privacy Protect, Semarchy xDI permet la mise en conformité RGPD (anonymisation des données et protection de la vie privée)

Retour aux éditeurs ETL

Vous souhaitez bénéficier d'experts, de développeurs ou d'une formation sur Semarchy for Data Integration ? Rendez-vous sur la page Contact

Semarchy xDI à Angers, Nantes, La Roche Sur Yon, Brest, Rennes, Paris, Le Mans, Niort, Laval, Lyon, Grenoble, Saint-Etienne, Bordeaux, Toulouse, La Rochelle, Agen, Bayonne, Montpellier, Perpignan, Toulon, Avignon, Ales...

Next Decision, votre référence Semarchy xDI en Région Parisienne, Ile de France, Pays de la Loire, Bretagne, Nouvelle-Aquitaine, Occitanie, Rhône, et Provence-Alpes-Côte d'Azur.