In diesem Dokument finden Sie eine Übersicht und einen Vergleich von Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien. Mit beiden Richtlinien können Sie die Platzierung von Compute Engine-Instanzen so konfigurieren, dass die Netzwerklatenz minimiert wird.
Standardmäßig verwalten Sie den Speicherort Ihrer Compute-Instanzen nur durch Angabe der Zonen. Sie haben die folgenden Möglichkeiten, um Compute-Instanzen zu erstellen, die sich näher beieinander befinden. Weitere Informationen finden Sie auch unter Colocation von KI-Infrastrukturressourcen.
Die folgenden Ressourcen sind bereits dicht nebeneinander platziert:
- Ressourcen, die dieselbe vorausschauende Reservierung für Kapazitätsblöcke nutzen.
- Ressourcen, die dieselbe vorausschauende Reservierung im Kalendermodus nutzen.
- Ressourcen, die Sie gemeinsam über eine Anfrage zur Größenänderung einer verwalteten Instanzgruppe (MIG) erstellen.
Ressourcen, die Sie gemeinsam erstellen, wenn Sie die Option „Flex-Start-Nutzung“ angeben, werden möglicherweise dicht nebeneinander platziert, je nach Verfügbarkeit. Wenn Sie stattdessen dicht nebeneinander platzierte Ressourcen benötigen, wenden Sie entweder eine Richtlinie für kompakte Platzierung mit einer maximalen Entfernung oder eine Arbeitslastrichtlinie mit einer maximalen Entfernung an.
Andernfalls können Sie eine Richtlinie für kompakte Platzierung oder eine Arbeitslastrichtlinie anwenden, um Ressourcen nah beieinander zu platzieren.
- Wenn Sie Ressourcen mit hoher Dichte benötigen, geben Sie in der Richtlinie einen maximalen Abstand an.
- Wenn Sie Ressourcen mit hoher Dichte auf Best-Effort-Basis platzieren möchten, geben Sie in der Richtlinie keine maximale Entfernung an.
Weitere Informationen dazu, wann Sie eine Richtlinie für kompakte Platzierung im Vergleich zu einer Arbeitslastrichtlinie verwenden sollten, finden Sie in diesem Dokument unter Vergleich von Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien.
Vergleich von Richtlinien für kompakte Platzierung und Arbeitslastrichtlinien
In der folgenden Tabelle sind die Unterschiede zwischen kompakten Platzierungsrichtlinien und Arbeitslastrichtlinien zusammengefasst:
| Richtlinie für kompakte Platzierungen | Arbeitslastrichtlinie | |
|---|---|---|
| Verwendung von Richtlinien |
|
MIGs mit gruppierten GPUs |
| Unterstützte Maschinentypen | A4X Max, A4X, A4, A3 Ultra, A3 Mega, A3 High, A3 Edge, A2, G4 und G2 |
|
| Semantik der Gruppierung | Compute Engine platziert die Instanzen, die dieselbe Richtlinie für kompakte Platzierung verwenden, näher beieinander. Wir empfehlen, für jede Arbeitslast eine andere Platzierungsrichtlinie zu verwenden. Wenn Sie eine Platzierungsrichtlinie für Instanzen wiederverwenden, auf denen verschiedene Arbeitslasten ausgeführt werden, werden alle diese Instanzen zusammen platziert. Diese Colocation kann es erschweren, Instanzen zu erstellen, die nah beieinander liegen, wenn Sie eine bestimmte Arbeitslast horizontal skalieren. |
Compute Engine platziert die Instanzen in einer MIG, die eine Arbeitslastrichtlinie verwendet, näher beieinander. Wenn Sie eine Arbeitslastrichtlinie für mehrere MIGs wiederverwenden, in denen unterschiedliche Arbeitslasten ausgeführt werden, werden die Instanzen in den einzelnen MIGs zusammen platziert. Die Wiederverwendung ist ideal für große Trainingsmodelle, in denen jede Gruppe von Instanzen voneinander isoliert werden muss. |
| Konfiguration der Colocation von Compute-Instanzen | Wenn Sie die bestmögliche Colocation von Compute-Instanzen nutzen möchten, legen Sie das Feld |
Wenn Sie die bestmögliche Colocation von Compute-Instanzen nutzen möchten, legen Sie das Feld |
| Zusätzliche Konfigurationen |
|
|
Weitere Informationen finden Sie in den folgenden Abschnitten:
Richtlinien für kompakte Platzierung
Wenn Sie Richtlinien für kompakte Platzierung auf eigenständige Compute-Instanzen oder auf Compute-Instanzen anwenden, die im Bulk erstellt wurden, versucht die Compute Engine nach besten Kräften, Compute-Instanzen so nah wie möglich beieinander zu erstellen. Wenn für Ihre Anwendung eine minimale Netzwerklatenz erforderlich ist, geben Sie beim Erstellen einer Richtlinie für kompakte Platzierung das Feld maxDistance an (Vorabversion).
Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter Richtlinien für kompakte Platzierung.
Vergleich von Werten für die maximale Entfernung für Richtlinien für kompakte Platzierung
Ein niedrigerer Wert für den maximalen Abstand sorgt für eine engere Platzierung von Compute-Instanzen, erhöht aber auch die Wahrscheinlichkeit, dass einige Compute-Instanzen nicht erstellt werden.
In der folgenden Tabelle sind die Maschinenserien und die Anzahl der Compute-Instanzen aufgeführt, die von jedem maximalen Abstandswert unterstützt werden:
maxDistance in einer Richtlinie für kompakte Platzierung |
maxTopologyDistance in einer Arbeitslastrichtlinie |
Beschreibung | Unterstützte Maschinenserien | Maximale Anzahl von Compute-Instanzen |
|---|---|---|---|---|
| Nicht angegeben (nicht empfohlen) | Nicht angegeben (nicht empfohlen) | Compute Engine versucht, die Compute-Instanzen so nah wie möglich beieinander zu platzieren, ohne dass es eine maximale Entfernung zwischen den Compute-Instanzen gibt. | A4X Max, A4X, A4, A3 Ultra, A3 Mega1, A3 High1, A3 Edge1, A2, G4 und G2 | 1500 |
3 |
CLUSTER |
Compute Engine erstellt Compute-Instanzen in benachbarten Blöcken. | A4, A3 Mega1, A3 High1, A3 Edge1, A2, G4 und G2 | 1.500 |
2 |
BLOCK |
Compute Engine erstellt Compute-Instanzen im selben Block. | A4, A3 Ultra, A3 Mega1, A3 High1, A3 Edge1, A2, G4 und G2 |
|
1 |
SUBBLOCK |
Compute Engine erstellt Compute-Instanzen im selben Unterblock. | A3 Edge1, A2, G4 und G2 | 22 |
1 Wenn Sie eine Richtlinie für kompakte Platzierung auf eine A3 Mega-, A3 High- oder A3 Edge-Instanz anwenden möchten, die vor dem 1. Oktober 2025 erstellt wurde, wenden Sie sich an Ihr Account-Management-Team oder das Vertriebsteam.
Arbeitslastrichtlinien
Mit Arbeitslastrichtlinien können Sie die Platzierung und die zugrunde liegende Infrastruktur für die Compute-Instanzen in einer MIG angeben. Wenn Sie Arbeitslastrichtlinien mit A4X Max, A4X, A4, A3 Ultra, A3 Mega und A3 High (8 GPUs) verwenden, können Sie die Netzwerklatenz zwischen Compute-Instanzen minimieren und die Leistung optimieren.
Je nach den Maschinentypen, die von den Compute-Instanzen in Ihrer MIG verwendet werden, sind Arbeitslastrichtlinien in den folgenden Situationen erforderlich oder optional:
Zum Bereitstellen von Unterblöcken von A4X Max- oder A4X-Instanzen sind Arbeitslastrichtlinien erforderlich.
Für die Verwendung von A4-, A3 Ultra-, A3 Mega- oder A3 High-Instanzen (8 GPUs) sind Arbeitslastrichtlinien optional.
Die Arbeitslastrichtlinie wird für die Maschinenserien A3 Edge, A2, G4, G2 und N1 nicht unterstützt. Für MIGs, die diese Maschinenserien verwenden, können Sie eine Richtlinie für kompakte Platzierung für die gemeinsame Platzierung von VMs verwenden.
Weitere Informationen finden Sie in der Compute Engine-Dokumentation unter Arbeitslastrichtlinien in MIGs.