Le mois de septembre a été un mois particulièrement riche en annonces autour de Power BI et Microsoft Fabric lors de la première conférence #FabCon à Stockholm.
Voici un focus sur les nouveautés concernant Microsoft Fabric.
Commençons d’abord par un listing de l’ensemble des nouvelles fonctionnalités :
- Général
- MTO ou Organisation Multi-tenant
- Nouveau design pour les pipelines de déploiement
- OneLake
- Accéder aux tables du catalogue Databricks depuis Fabric
- Data warehouse
- La navigation multi-tâches
- Notebook T-SQL
- Copilot pour les Data Warehouse
- Data enginerring
- High concurrency for notebook
- Paramètres de l'environnement Spark Job
- Lancer Data Wrangler directement depuis une cellule
- Real-Time
- Création d'un tableau de bord en temps réel par Copilot
Passons maintenant au cœur de l’article, les fonctionnalités coup de cœur de Next Decision concernant les nouveautés Microsoft Fabric !
Nouveautés générales Microsoft Fabric
MTO (Multi-Tenant Organization)
Avec le MTO (Multi-Tenant Organization) ou Organisation Multi-Tenant, Microsoft Fabric prend désormais en charge les organisations multi-tenant Entra ID.
Exemple :
Imaginons une entreprise A avec son propre Tenant Fabric. Imaginons également l’entreprise B avec son propre tenant Fabric. L’entreprise A rachète l’entreprise B.
Au lieu de créer un nouveau tenant afin d’unifier les deux précédents, le MTO vous permet de donner aux utilisateurs de l’entreprise B, accès aux applications, données et objets contenus sur le tenant de l’entreprise A et vice versa. Dans les faits, les utilisateurs de l’entreprise B seront ajoutés en tant que membres externes au tenant de l’entreprise A.
(Source Microsoft Community Hub)
Précisons que le MTO permet d’unifier les deux tenants, ce qui implique que les utilisateurs ne verront pas la différence de tenant en fonction des expériences, objets ou applications qu’ils utiliseront.
Par conséquent, le MTO garantira une expérience fluide pour tous les utilisateurs de l’entreprise A et de l’entreprise B.
Accéder aux tables du catalogue Databricks Unity depuis Fabric
Lorsque vous travailliez avec un catalogue de données Databricks Unity dans Microsoft Fabric, il était nécessaire de créer des raccourcis (shortcut) pour chacune des tables. Il est désormais possible de créer un élément « Catalogue Azure Databricks en miroir ».
Cet élément va vous permettre de vous connecter à votre catalogue de données Databricks directement depuis Fabric. Il vous suffira de renseigner l’url de connexion de votre espace de travail Azure Databricks et de sélectionner le catalogue Databricks que vous souhaitez intégrer à Fabric.
Une fois votre élément de catalogue Azure Databricks créé, il se comporte de la même manière que tout autre élément dans Fabric.
Accédez en toute transparence aux tables via le point de terminaison SQL, utilisez Spark avec les notebooks Fabric et profitez pleinement du mode Direct Lake avec les rapports Power BI.
Nouveau design pour les pipelines de déploiement (préversion)
Le nouveau design pour les pipelines de déploiement s’intègre dans une harmonisation globale de la plateforme. Si vous regardez le design des flux de tâches de vos espaces de travail, vous remarquerez que la ressemblance est frappante.
Ce nouveau design est très visuel, la grande différence avec l’ancien visuel est le fait de voir ses objets Fabric en mode « espace de travail » et non en liste.
Sur le plan fonctionnel, plusieurs points changent :
- La comparaison des changements entre deux espaces de travail est toujours présente, mais elle est représentée par la barre de couleur à gauche de chaque bloc, nommée sur l’illustration, « Development », « Test » et « Pre-Prod »
- Pour savoir si un objet est identique ou non entre deux espaces de travail, vous devez vous référencer à la colonne « Compared to source ».
Deux points majeurs restent inchangés :
- L’historique des exécutions est toujours présent et est représenté par la flèche tournante dans chaque bloc de déploiement.
- Les règles de déploiement sont aussi présentes sous la forme d’un éclair.
Pour ceux préférant l’ancienne version plus "classique", elle reste opérationnelle.
Data wharehouse
La navigation multi-tâche
Une nouveauté importante fait son apparition : la navigation multitâche. Jusqu’à présent, il n’était pas possible de visualiser une table de votre datawarehouse et un appel SQL en même temps.
Vous avez désormais la possibilité de travailler sur plusieurs expériences simultanément. A titre d’exemple, vous pourrez visualiser les données d’une table de votre datawarehouse, appeler une requête SQL ou encore vérifier les relations d’un modèle de données. Cette navigation multitâche se veut donc dynamique.
Plus concrètement, sur l’illustration suivante, vous remarquerez les trois onglets qui représentent chacun une expérience différente :
- Le premier onglet représente les données de la table « Geography »
- Le second onglet nous permet de visualiser les résultats d’une requête SQL
- Le troisième onglet montre une représentation des tables du modèle de données.
Bloc-notes T-SQL
Grande nouvelle pour tous les utilisateurs des notebooks, vous pouvez désormais utiliser les notebooks Spark afin de créer et gérer un entrepôt de données. Grâce à cette fonctionnalité, vous allez pouvoir, comme dans un notebook, utiliser des cellules de code et des cellules « markdown » afin de créer votre code en T-SQL et le documenter.
Vous allez pouvoir utiliser le T-SQL au sein d’un notebook afin de créer des requêtes T-SQL complexes et les visualiser directement dans votre notebook. Afin de gérer votre entrepôt de données, vous aurez accès aux commandes « save as table », « save as view » et « Run selected code ».
Copilot pour les data warehouses
Copilot est un assistant IA qui vous aide à générer des informations grâce au T-SQL. Cette assistant pourra vous aider dans la rédaction de vos requêtes SQL et vous apportera des informations concernant vos erreurs. Les actions de cet assistant seront les suivantes :
- Générez des requêtes T-SQL pour l'analyse des données.
- Expliquez et ajoutez des commentaires de code en ligne pour les requêtes T-SQL existantes.
- Corrigez le code T-SQL cassé.
- Recevez des réponses concernant les tâches et opérations générales d’entreposage de données
Data Engineering
High concurrency for notebook
Autre grande nouvelle pour les amateurs de l’utilisation des notebooks Spark, vous avez maintenant la possibilité de partager une session Spark afin de lancer plusieurs notebooks au sein d’un même pipeline mais surtout réduire le temps de lancement.
Après le lancement des tâches de pipeline, elles sont regroupées afin de bénéficier d’un démarrage de session de 5 secondes, ce qui est très intéressant puisque cette fonctionnalité permet des performances trente fois supérieures.
Paramètres de l'environnement Spark Job
En complément du « High concurrency for notebook », une autre fonctionnalité très importante ce mois-ci est la possibilité d’utiliser la même session Spark pour lancer plusieurs notebooks distincts au sein d’un même pipeline.
Il est désormais possible de réutiliser la session Spark précédente. Dans les paramètres avancés d’une activité « notebook » d’un pipeline de données, il est possible de baliser votre session Spark afin de la réutiliser. Cette fonctionnalité a pour effet de réduire considérablement le temps de traitement de vos pipelines de données.
Lancer Data Wrangler directement depuis une cellule
Data Wrangler est directement accessible avec la commande display() dans un notebook Spark.
Cette interface est très pratique afin d’avoir un bon aperçu de vos dataframes.
On y retrouve un univers se rapprochant de Power Query.
Vous retrouverez notamment les éléments suivants :
- Le type de données
- Le nombre de lignes
- Les valeurs distinctes
- Les valeurs manquantes
- La valeur la plus fréquente
Il est aussi important de signaler que vous pourrez faire des modifications directement sur vos dataframes à partir de Data Wrangler. Par exemple, vous pourrez remplacer des valeurs d’une colonne ou faire des arrondis directement depuis Data Wrangler, qui vous apportera une expérience « Low-code ».
Création d'un tableau de bord en temps réel par Copilot
Si vous n’avez pas eu de projet en temps réel dernièrement, sachez que Copilot peut créer des tableaux de bords complets sur vos données en temps réel. Cette fonctionnalité vient s’ajouter aux autres fonctionnalités de Copilot.
Afin de lancer la création d’un tableau de bord, il vous suffit de faire un clic droit sur les trois petits points à côté de la table de votre choix et de sélectionner « Create real-time dashboard ».
Copilot créera un tableau de bord avec deux pages, la première rassemblant les informations sur vos données et la seconde les informations sur le profil de vos données (schéma, informations sur les colonnes etc …)
Page avec les informations sur les données de la table :
Page avec les informations du profil des données :
Et voilà, vous savez tout sur les nouveautés Microsoft Fabric made in Next Decision ! On vous donne RDV le mois prochain !
Nos consultants Next Decision sont experts certifiés Microsoft Fabric et vous accompagnent dans votre projet Microsoft Fabric. Nous pouvons également vous former, Contactez-nous !