Gérer les ressources Looker (Google Cloud Core) avec Knowledge Catalog

Knowledge Catalog vous permet d'indexer, de stocker et de gérer les métadonnées de production LookML, de projet LookML et de tableau de bord de vos instances Looker (Google Cloud Core). Cette intégration offre une vue unique de vos composants de données et de leurs relations, y compris la traçabilité des données. Vous pouvez ainsi effectuer la découverte des données, l'analyse d'impact et la gestion des modifications.

Fonctionnement de l'intégration

L'intégration de Looker et Knowledge Catalog utilise un connecteur propriétaire pour l'ingestion de métadonnées. Looker (Google Cloud core) publie les métadonnées LookML dans des dépôts Cloud Storage régionaux pour que Knowledge Catalog puisse les utiliser via un processus de synchronisation par lot.

La transmission des données de Looker (Google Cloud core) à Knowledge Catalog est automatique par défaut et ne nécessite aucune modification de configuration. Looker (Google Cloud core) utilise des services internes pour effectuer la synchronisation. Le processus de synchronisation par lot interne s'exécute environ toutes les quatre heures, et les données de Looker sont actualisées dans Knowledge Catalog environ toutes les heures.

Lorsque vous mettez à jour vos modèles LookML et que vous les transférez en production, le système synchronise automatiquement les métadonnées clés avec Knowledge Catalog. Ces métadonnées incluent des informations sur les vues et les explorations, des définitions de champs et des informations sur les modèles. De même, les métadonnées des tableaux de bord, y compris les titres, les propriétaires et les statistiques d'utilisation, s'affichent dans le catalogue.

Knowledge Catalog capture les niveaux d'entité suivants à partir de Looker :

• Instance Looker
• Tableau de bord
• Élément du tableau de bord
• Look
• projet LookML
• Modèle
• Explorer
• Vue (contient des dimensions et des mesures)

Quand utiliser Knowledge Catalog avec Looker

Utilisez Knowledge Catalog pour découvrir, comprendre et gérer vos métadonnées Looker. Vous pourrez ainsi prendre des décisions éclairées, intégrer des données dans des workflows opérationnels et trouver de nouvelles utilisations pour vos données. Le catalogue facilite les activités suivantes :

• Analyse de l'impact : utilisez la généalogie des données pour visualiser le flux de données de BigQuery vers les tableaux de bord Looker.
• Découverte : recherchez des tableaux de bord, des explorations et des vues dans votre organisation.
• Gestion des modifications : comprenez les dépendances avant d'apporter des modifications.
• Pipelines de transfert de données : ils permettent de suivre la provenance des données.

Avec Knowledge Catalog, vous pouvez également organiser les métadonnées en associant des aspects aux entrées de métadonnées Looker. Associer des aspects à des composants Looker vous permet d'ajouter des métadonnées métier aux composants et de les rechercher à l'aide de ces métadonnées.

Autorisations requises

Pour obtenir les autorisations nécessaires pour utiliser l'intégration Knowledge Catalog et Looker (Google Cloud Core), demandez à votre administrateur de vous accorder les rôles IAM suivants sur le projet dans lequel réside votre instance Looker (Google Cloud Core) :

• Pour afficher les ressources Knowledge Catalog : Lecteur Dataplex (roles/dataplex.viewer)

• Pour accéder aux métadonnées Looker (Google Cloud Core) dans Knowledge Catalog : Lecteur de schéma Looker (roles/looker.schemaViewer)

  • Le rôle prédéfini "Lecteur de schéma Looker" contient l'autorisation looker.schemas.view, qui est requise pour accéder aux métadonnées Looker (Google Cloud Core) dans Knowledge Catalog.

• Pour désactiver ou activer l'intégration entre Knowledge Catalog et Looker (Google Cloud Core) : Administrateur Looker (roles/looker.admin)

• Pour afficher les graphiques de traçabilité des données : Lecteur de la traçabilité des données (roles/datalineage.viewer)

Pour en savoir plus sur l'attribution de rôles, consultez Gérer l'accès aux projets, aux dossiers et aux organisations.

Vous pouvez également obtenir les autorisations requises grâce aux rôles personnalisés ou à d'autres rôles prédéfinis.

Activer l'intégration de Knowledge Catalog et de votre instance Looker (Google Cloud Core)

Knowledge Catalog est activé par défaut sur les instances Looker (Google Cloud Core). Pour désactiver l'intégration, consultez la section Désactiver l'intégration de Knowledge Catalog et de votre instance Looker (Google Cloud Core) sur cette page de documentation.

Si l'intégration est désactivée sur votre instance et que vous souhaitez l'activer, procédez comme suit :

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

Une fois l'intégration activée, les données Looker seront disponibles dans Knowledge Catalog sous un jour maximum.

Rechercher des composants Looker

Pour afficher les données Looker (Google Cloud  Core) dans Knowledge Catalog, vous devez d'abord activer l'API Dataplex. Pour obtenir l'autorisation nécessaire pour activer les API, vous devez disposer du rôle IAM Administrateur Service Usage (roles/serviceusage.serviceUsageAdmin).

Activer l'API Dataplex

Utilisez la page Rechercher de Knowledge Catalog dans la console Google Cloud pour rechercher des composants Looker (Google Cloud  Core).

Accéder à la recherche

Dans le panneau Filtres, vous pouvez filtrer les composants Looker (Google Cloud  Core) à l'aide des sections Projet, Système et Alias de type. Dans la section Système, vous pouvez filtrer sur Looker. Dans Alias de type, vous pouvez filtrer les résultats de recherche pour n'afficher qu'un type spécifique de composant Looker en sélectionnant un ou plusieurs des éléments suivants :

• Tableau de bord
• Élément du tableau de bord
• Explorer
• projet LookML
• Modèle
• Instance
• Afficher
• Autre

Vous pouvez également utiliser le champ de recherche pour effectuer des requêtes de recherche. Vous pouvez effectuer une recherche par mot clé ou en langage naturel. Par exemple, pour afficher tous les composants Looker à l'aide d'une recherche par mot clé, saisissez system=Looker. Pour afficher tous les tableaux de bord Looker, saisissez la requête system=Looker AND type=DASHBOARD. Les composants suivants sont disponibles pour la recherche avec le mot clé type :

• tableau de bord
• dashboard_element
• exploration
• instance
• look
• lookml_project
• modèle
• afficher

Pour en savoir plus sur la recherche de ressources, consultez la page de documentation Rechercher des ressources dans Knowledge Catalog. Pour en savoir plus sur les expressions que vous pouvez utiliser dans le champ de recherche, consultez la page de documentation Syntaxe de recherche pour Knowledge Catalog.

Désactiver l'intégration de Knowledge Catalog et de votre instance Looker (Google Cloud Core)

Pour désactiver l'intégration de Knowledge Catalog et de votre instance Looker (Google Cloud Core), procédez comme suit.

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

Lorsque l'intégration est désactivée après avoir été activée, les métadonnées Looker déjà présentes dans Knowledge Catalog y restent, mais ne sont pas mises à jour avec de nouvelles métadonnées.

VPC Service Controls

L'intégration entre Looker (Google Cloud Core) et Knowledge Catalog est compatible avec VPC Service Controls.

Si votre instance Looker (Google Cloud Core) ou vos ressources Knowledge Catalog se trouvent dans un périmètre de service VPC Service Controls, vous devez vous assurer que les services requis pour l'exportation des métadonnées sont accessibles.

• Assurez-vous que l'API Dataplex (dataplex.googleapis.com) est configurée en tant que service restreint dans votre périmètre.
• L'intégration utilise des buckets Cloud Storage internes pour transférer les métadonnées. Assurez-vous que votre périmètre de service autorise l'accès aux ressources Cloud Storage nécessaires. Si vous rencontrez des erreurs PERMISSION_DENIED liées à l'exportation de métadonnées, contactez l'équipe chargée de votre compte Google Cloud ou l'assistance.

Tarifs

Le stockage des métadonnées techniques Looker (Google Cloud core) dans Knowledge Catalog n'entraîne aucuns frais. La tarification standard de Knowledge Catalog s'applique aux appels d'API et à l'enrichissement supplémentaire des métadonnées métier. Pour en savoir plus, consultez la page des tarifs de Knowledge Catalog.

Limites

Cette section répertorie les limites d'utilisation de Looker (Google Cloud core) et de Knowledge Catalog :

• Les métadonnées de Looker ne sont pas disponibles instantanément dans le catalogue. Le processus de synchronisation par lot s'exécute à un intervalle défini, et l'actualisation des données a lieu environ toutes les heures.
• Aucune API publique n'est exposée pour cette intégration.
• Pour connaître les limites de la traçabilité des données, consultez la page Suivre la traçabilité des données avec Knowledge Catalog.

Étapes suivantes

• Suivez la traçabilité des données avec Knowledge Catalog.
• Découvrez la gestion des métadonnées dans Knowledge Catalog.
• Découvrez comment rechercher des ressources dans Knowledge Catalog.
• Découvrez comment gérer les aspects et enrichir les métadonnées.