Modèles Llama entièrement gérés


Les modèles Llama sont disponibles en tant qu'API gérées et modèles auto-déployés sur Gemini Enterprise Agent Platform. Vous pouvez diffuser vos réponses en flux continu pour réduire la perception de la latence côté utilisateur. Une réponse en flux continu utilise des événements envoyés par le serveur (SSE) pour diffuser la réponse de manière incrémentielle.

Modèles Llama gérés

Les modèles Llama offrent des modèles entièrement gérés et sans serveur en tant qu'API. Pour utiliser un modèle Llama sur Agent Platform, envoyez une requête directement au point de terminaison de l'API Agent Platform. Lorsque vous utilisez des modèles Llama en tant qu'API gérée, il n'est pas nécessaire de provisionner ni de gérer l'infrastructure.

Les modèles Llama suivants sont disponibles pour une utilisation dans Gemini Enterprise Agent Platform. Pour accéder à un modèle Llama, accédez à la fiche de modèle Model Garden.

Llama 4 Maverick 17B-128E Le modèle Llama 4 multimodal le plus grand et le plus performant (MoE 17B actif / 400B total), optimisé pour le codage, le raisonnement approfondi, le chat sophistiqué et la compréhension d'images de haute précision.
Llama 4 Scout 17B-16E Modèle MoE à haute efficacité (17 milliards d'actifs / 109 milliards au total) offrant des résultats de pointe pour la récupération de contexte long, la synthèse de documents et le raisonnement dans de grandes bases de code.
Llama 3.3 70B Modèle textuel de 70 milliards de paramètres adapté aux instructions, qui offre des performances améliorées par rapport à Llama 3.1 70B et Llama 3.2 90B pour les applications textuelles.

Utiliser des modèles Llama

Pour les modèles gérés, vous pouvez utiliser des commandes curl pour envoyer des requêtes au point de terminaison Gemini Enterprise Agent Platform à l'aide des noms de modèles suivants. Pour savoir comment effectuer des appels en flux continu et non en flux continu aux modèles Llama, consultez Appeler des API de modèles ouverts.

Pour utiliser un modèle Gemini Enterprise Agent Platform auto-déployé :

  1. Accédez à la console Model Garden.
  2. Recherchez le modèle Gemini Enterprise Agent Platform approprié.
  3. Cliquez sur Activer et remplissez le formulaire fourni pour obtenir les licences d'utilisation commerciale nécessaires.

Pour en savoir plus sur le déploiement et l'utilisation de modèles partenaires, consultez Déployer un modèle partenaire et envoyer des requêtes de prédiction.

Étapes suivantes

Découvrez comment utiliser les modèles Llama.