Présentation des charges de travail d'IA/de ML sur GKE

Cette page présente les concepts de Google Kubernetes Engine (GKE) pour les charges de travail d'IA/ML. GKE est une implémentation gérée par Google de la plate-forme d'orchestration de conteneurs Open Source Kubernetes.

Google Kubernetes Engine fournit une plate-forme évolutive, flexible et économique pour exécuter toutes vos charges de travail conteneurisées, y compris les applications d'intelligence artificielle et de machine learning (IA/ML). Que vous entraîniez de grands modèles de fondation, que vous traitiez des requêtes d'inférence à grande échelle ou que vous créiez une plate-forme d'IA complète, GKE vous offre le contrôle et les performances dont vous avez besoin.

Cette page s'adresse aux spécialistes des données et de l'IA, aux architectes cloud, aux opérateurs et aux développeurs qui recherchent une solution Kubernetes gérée, évolutive et automatisée pour exécuter des charges de travail d'IA/ML. Pour en savoir plus sur les rôles courants, consultez Rôles utilisateur et tâches courantes de GKE.

Premiers pas avec les charges de travail d'IA/de ML sur GKE

Vous pouvez commencer à explorer GKE en quelques minutes en utilisant le niveau sans frais de GKE, qui vous permet de vous lancer avec Kubernetes sans encourir de frais de gestion de cluster.

  1. Premiers pas dans la console Google Cloud

  2. Essayez ces guides de démarrage rapide :
    • Inférence sur GKE : déployez un grand modèle de langage (LLM) d'IA sur GKE pour l'inférence à l'aide d'une architecture prédéfinie.
    • Entraînement sur GKE : déployez un modèle d'entraînement d'IA sur GKE et stockez les prédictions dans Cloud Storage.
  3. Consultez À propos des options de consommation d'accélérateurs pour les charges de travail d'IA/de ML, qui fournit des instructions et des ressources pour planifier et obtenir des accélérateurs (GPU et TPU) pour votre plate-forme.
  4. Obtenez de l'aide optimisée par l'IA pour planifier et concevoir l'infrastructure de vos clusters GKE en interrogeant Gemini dans la console Google Cloud . Pour en savoir plus, consultez Concevoir et optimiser des clusters GKE avec Compute Advisor.

Cas d'utilisation courants

GKE fournit une plate-forme unifiée qui peut prendre en charge toutes vos charges de travail d'IA.

  • Créer une plate-forme d'IA : pour les équipes de plates-formes d'entreprise, GKE offre la flexibilité nécessaire pour créer une plate-forme standardisée et multilocataire qui répond à divers besoins.
  • Livraison en ligne à faible latence : pour les développeurs qui créent des applications d'IA générative, GKE avec Inference Gateway fournit le routage et l'autoscaling optimisés nécessaires pour offrir une expérience utilisateur réactive tout en contrôlant les coûts.

Choisir la plate-forme adaptée à votre charge de travail d'IA/ML

Google Cloud  propose une gamme de produits d'infrastructure d'IA pour vous accompagner dans votre parcours de ML, du entièrement géré au entièrement configurable. Le choix de la plate-forme appropriée dépend de vos besoins spécifiques en termes de contrôle, de flexibilité et de niveau de gestion.

Bonne pratique:

Choisissez GKE lorsque vous avez besoin d'un contrôle approfondi, de portabilité et de la possibilité de créer une plate-forme d'IA personnalisée et hautes performances.

  • Contrôle et flexibilité de l'infrastructure : vous avez besoin d'un haut niveau de contrôle sur votre infrastructure, vous devez utiliser des pipelines personnalisés ou vous avez besoin de personnalisations au niveau du noyau.
  • Entraînement et inférence à grande échelle : vous souhaitez entraîner de très grands modèles ou diffuser des modèles avec une latence minimale, en utilisant la mise à l'échelle et les hautes performances de GKE.
  • Rentabilité à grande échelle : vous souhaitez donner la priorité à l'optimisation des coûts en utilisant l'intégration de GKE aux VM Spot et aux VM à démarrage flexible pour gérer efficacement les coûts.
  • Portabilité et normes ouvertes : vous souhaitez éviter le verrouillage fournisseur et exécuter vos charges de travail n'importe où avec Kubernetes. Vous disposez déjà d'une expertise Kubernetes ou d'une stratégie multicloud.

Vous pouvez également envisager les alternatives suivantes :

ServiceGoogle Cloud Application idéale
Vertex AI Une plate-forme de bout en bout entièrement gérée pour accélérer le développement et décharger la gestion de l'infrastructure. Convient aux équipes axées sur le MLOps et le délai de rentabilité rapide. Pour en savoir plus, regardez Choisir entre GKE auto-hébergé et Vertex AI géré pour héberger des modèles d'IA.
Cloud Run Plate-forme sans serveur pour les charges de travail d'inférence conteneurisées, qui peut effectuer un scaling à zéro instance. Fonctionne bien pour les applications basées sur des événements et pour la diffusion économique de modèles plus petits. Pour une comparaison approfondie, consultez GKE et Cloud Run.

Comment GKE alimente les charges de travail d'IA/de ML

GKE propose une suite de composants spécialisés qui simplifient et accélèrent chaque étape du cycle de vie de l'IA/du ML, de l'entraînement à grande échelle à l'inférence à faible latence.

Dans le diagramme suivant, GKE se trouve dans Google Cloudet peut utiliser différentes options de stockage cloud (telles que Cloud Storage FUSE et Managed Lustre) et différentes options d'infrastructure cloud (telles que Cloud TPU et Cloud GPU). GKE fonctionne également avec des logiciels et frameworks Open Source pour le deep learning (comme JAX ou TensorFlow), l'orchestration du ML (comme Jupyter ou Ray) et l'inférence LLM (comme vLLM ou NVIDIA Dynamo).
Figure 1 : GKE en tant que plate-forme gérée et évolutive pour les charges de travail d'IA/ML.

Le tableau suivant récapitule les fonctionnalités GKE qui prennent en charge vos charges de travail d'IA/ML ou vos objectifs opérationnels.

Charge de travail ou opération d'IA/de ML Comment GKE vous aide Principales fonctionnalités
Inférence et mise en service Optimisé pour diffuser des modèles d'IA de manière élastique, avec une faible latence, un haut débit et une rentabilité optimale.
  • Flexibilité des accélérateurs : GKE est compatible avec les GPU et les TPU pour l'inférence.
  • GKE Inference Gateway : une passerelle qui tient compte des modèles et qui fournit un routage et un équilibrage de charge intelligents, spécifiquement pour les charges de travail d'inférence d'IA.
  • GKE Inference Quickstart : outil permettant de simplifier l'analyse des performances et le déploiement en fournissant un ensemble de profils de référence pour les modèles d'IA populaires.
  • GKE Autopilot : mode opérationnel de GKE qui automatise les opérations de cluster et le dimensionnement de la capacité, ce qui réduit les frais généraux.
Entraînement et affinage Fournit les capacités de mise à l'échelle et d'orchestration nécessaires pour entraîner efficacement de très grands modèles tout en minimisant les coûts.
  • Nœuds de démarrage plus rapides : une optimisation conçue spécifiquement pour les charges de travail GPU qui réduit les temps de démarrage des nœuds jusqu'à 80%.
  • Le mode de provisionnement à démarrage flexible optimisé par le programmeur de charge de travail dynamique vous permet de mieux sécuriser les accélérateurs GPU et TPU rares pour les charges de travail d'entraînement de courte durée.
  • Kueue : un système de mise en file d'attente de jobs Kubernetes natif qui gère l'allocation des ressources, la planification, la gestion des quotas et la priorisation pour les charges de travail par lot.
  • TPU Multislice : architecture matérielle et réseau qui permet à plusieurs tranches de TPU de communiquer entre elles sur le réseau du centre de données (DCN) pour effectuer un entraînement à grande échelle.
Développement unifié de l'IA/du ML Assistance gérée pour Ray, un framework Open Source permettant de faire évoluer des applications Python distribuées.
  • Module complémentaire Ray sur GKE : élimine la complexité de l'infrastructure Kubernetes, ce qui vous permet de faire évoluer des charges de travail telles que le prétraitement de données à grande échelle, l'entraînement distribué et la diffusion en ligne avec un minimum de modifications de code.

Étapes suivantes