Matillion Data Productivity Cloud

Type de produit et caractéristiques de Matillion

Matillion Data Productivity Cloud est une plateforme cloud native (de type PaaS) d’intégration de données fondée en 2015.
La Data Integration en mode ELT (Extract Load and Transform) représente l'une des fonctionnalités centrales de Matillion et vous offre la possibilité d'exploiter pleinement la puissance des plateformes de données cloud telles que Snowflake ou Databricks, reconnues pour leurs capacités de traitement distribué. Ainsi, Matillion vous permet de déléguer efficacement vos traitements de données à ces plateformes hautement performantes tout en bénéficiant d’un environnement graphique simple et convivial pour la conception et l'administration de vos traitements.

L’outil concilie une approche no/low-code au travers d’une interface web moderne avec une approche high-code compatible SQL, Python et dbt.

Il s’inscrit pleinement dans une démarche de déploiement de Modern Data Platform en suivant les axes indispensables aux architectures en médaillon (zones bronze, silver et gold).

Présentation et concept de Matillion

Matillion Data Productivity Cloud est une plateforme SaaS hybride conçue pour optimiser la gestion de vos données. Elle permet à vos utilisateurs de créer des pipelines de données pour faciliter le déplacement, la transformation des données. Il est essentiel de préciser que Matillion ne propose pas de service de stockage des données ; celles-ci ne sont pas hébergées dans Matillion Data Productivity Cloud. Au contraire, la plateforme se focalise sur l'orchestration et la gestion sécurisée des processus de données. Toutes les configurations, informations utilisateur et métadonnées stockées dans Matillion Data Productivity Cloud sont chiffrées, garantissant ainsi la sécurité optimale de vos données, que ce soit au repos ou en transit.

Déplacer les données

La première étape pour libérer la puissance de vos données est d'alimenter la zone bronze depuis vos sources de données. Avec Matillion Data Productivity Cloud, cette étape est simplifiée et accélérée grâce à plus de 150 connecteurs no code (Oracle, Mysql, Sql-server, Crm, Erp, Sap hana, Nosql, …). Ces connecteurs prennent en charge le chargement batch automatisé ou le Change Data Capture (CDC) basé sur des logs, ce qui permet de préserver la vélocité des systèmes opérationnels.

En cas d'absence d'un connecteur spécifique, il est possible avec Matillion de créer facilement ses propres connecteurs si nécessaire grâce à un wizard intuitif.

Transformer les données

Pour construire et hydrater la zone silver et gold, Matillion propose une collection de briques masquant la complexité des transformations, des modèles, des API, de l’orchestration et de la data gouvernance.

Créer un data pipeline revient alors à glisser-déposer puis connecter ensemble des différents composants dans une interface à l’UX et l’UI soignées.

Et si cela ne suffit pas, Matillion permet également de développer en SQL et en Python, ou bien d’utiliser des modèles dtb.

Pourquoi réinventer la roue ? La communauté Matillion partage régulièrement des data pipeline réutilisables.

Pour renforcer la collaboration, la plateforme est compatible avec GitHub pour gérer les différentes versions d’un flux, et alimente automatiquement la documentation technique.

La qualité des données étant au cœur de la Modern Data Platform et des approches Data Centric ou Data Driven, l’interface offre la possibilité de prévisualiser un sous-ensemble de données et de lancer des tests unitaires en quelques clics, et en temps réel.

Orchestrer les traitements de données

Une donnée de qualité n’a de la valeur que lorsqu’elle est délivrée au bon moment et aux bonnes personnes. Matillion offre un espace user-friendly de pilotages de l’ensemble des jobs, Matillion ou non.

Le suivi des data pipelines se fait en temps réel et les logs sont accessibles en un clic pour corriger rapidement une anomalie et partager l’information au plus grand nombre.

La plateforme propose le déclenchement des jobs de manière programmée, par événements, API ou lorsque de la donnée fraîche est disponible.

Elle s'intègre également parfaitement aux outils d’orchestrations, monitoring et gouvernance grâce à ses API.

Mettre en oeuvre vos pipelines de données

Une fois que le développement est terminé, vient l'étape du déploiement qui permet de mettre en œuvre vos pipelines de données. Matillion utilise des Runtimes, également connus sous le nom d'Agents, qui agissent comme des moteurs d’exécution de vos pipelines de données. Afin de répondre à vos exigences d’architecture, Matillion peut utiliser deux types d’Agents :

• Les agents Full SaaS : A la création de votre hub Matillion vous disposez systématiquement d’un Agent sur le cloud Matillion (géré par Matillion).
• Les agents Hybrid SaaS : Dans le cadre d’une architecture hybride, vous avez la possibilité de gérer vous-même l’Agent Matillion dans votre propre réseau sur votre infrastructure on-prem ou cloud privé ou cloud public, comme Amazon web services, Microsoft Azure (prévu en 2024), Google cloud (prévu dans la roadmap), …
  • Si vous souhaitez obtenir des temps de traitement plus réduits en positionnant l'agent à proximité de vos applications sources
  • Si vous avez besoin d'accéder à des systèmes sources qui n'ont d'accès réseau que depuis votre VPC/VNet
  • Si vous avez des exigences spécifiques de dimensionnement de l'Agent qui ne sont pas prises en charge par un Agent Matillion Full SaaS

Fonctionnalités principales de Matillion

Matillion Data Productivity Cloud propose une interface web unique pour effectuer toute les tâches nécessaires autour de votre Hub Matillion :

• Conception de vos pipelines de données (Le Designer) : Designer est un outil graphique de conception de pipelines d’intégration de données en mode low code. Designer permet à vos utilisateurs de travailler simultanément en équipe, en tirant parti de la puissance de l’intégration de données collaborative. Avec son interface intuitive, vos utilisateurs peuvent concevoir et configurer visuellement des pipelines de données, incluant des processus d’extraction, de transformation et de mapping de données. L’application Designer simplifie les tâches d’intégration de données complexes, permettant à vos utilisateurs de gérer efficacement des sources et des formats de données divers.
  • Les pipelines de données
    
  • Les pipelines d'orchestration
    
• Capture et ingestion de données (Le Data Loader) : Data Loader est un module permettant de créer simplement et graphiquement des tâches d’ingestion de données. Deux possibilités sont offertes par ce module :
  • Le chargement en mode Batch quand le temps réel n’est pas requis. Avec cette option vous pouvez extraire vos données en mode incrémental à des intervalles de temps réguliers.
    
  • Le Change Data Capture (CDC) offre la possibilité de se baser sur les journaux de transactions de vos bases de données sources pour extraire les données opérationnelles en temps réel. Cela fonctionne comme une réplication de données
    
• Suivi et supervision de l'activité des pipelines de données
  
• Gestion et configuration des agents
• Gestion des connecteurs personnalisés
• Suivi des coûts et de la consommation de vos crédits Matillion

Les avantages de Matillion

C’est une plateforme all-in-one qui permet un point d’entrée unique pour la gestion des data pipelines

• Son principe ELT permettant de déléguer vos traitements complexes de données à des plateformes de données spécialisées comme Snowflake, Databricks, …
• Son approche no/low code et high code offre une flexibilité inégalée
• Sa compatibilité avec de nombreuses sources de données, mais également la possibilité créer sur-mesure ses propres connecteurs
• Son intégration à un SI existant grâce à ses API
• Son interface accessible à tous
• Ses nombreux composants drag and drop
• Son pricing “pay what you need” simple et flexible
• Son aspect collaboratif
• Son interface soignée user-friendly
• Sa communauté et ses worflows prêts à l'emploi et réutilisables

Dans quels cas utiliser Matillion ?

• Moderniser son architecture décisionnelle efficacement en ciblant une architecture de données en médaillon avec un découpage en zone bronze, silver et gold
• Migrer votre architecture legacy de Business intelligence (Ssis, Talend open studio, SAP Data services, …) vers des services cloud de gestion de données
• Mettre en place un environnement cloud pour la réponse à de multiples cas d’usage data comme l’entreposage de données, Analytiques, Big Data, Data Science, …
• Permettre à vos développeurs de gagner en agilité grâce à des environnements cloud hybride d’intégration des données
• Vous avez l'intention d'adopter (ou si vous utilisez déjà) des plateformes de données comme Snowflake, Databricks, etc., et vous recherchez un outil de traitement de données en mode low-code, capable de s'intégrer à ces plateformes en déléguant les traitements.
• Vous souhaitez devenir Data Driven ou Data Centric rapidement.

Retour aux éditeurs ETL

Vous souhaitez bénéficier d'expertise, de développement ou de formations sur Matillion ? Rendez vous sur la page Contact