יצירת אשכול GKE שעבר אופטימיזציה ל-AI באמצעות Cluster Toolkit

נדרשת הזמנה

ב-examples/gke-a4/gke-a4-deployment.yaml blueprint מתוך מאגר GitHub, ממלאים את ההגדרות הבאות בקטעים terraform_backend_defaults ו-vars בהתאם לערכים הספציפיים של הפריסה:

• ‫BUCKET: השם של קטגוריית Cloud Storage שיצרתם בשלב הקודם.
• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫DEPLOYMENT_NAME: שם ייחודי לפריסה, באורך של 6 עד 30 תווים. אם שם הפריסה לא ייחודי בפרויקט, יצירת האשכול נכשלת. ערך ברירת המחדל הוא gke-a4.
• ‫REGION: אזור המחשוב של האשכול.
• ‫ZONE: אזור המחשוב של מאגר הצמתים של מכונות A4. חשוב לשים לב שאזור הזמינות הזה צריך להיות זהה לאזור הזמינות שבו המכונות זמינות בהזמנה שלכם.
• ‫STATIC_NODE_COUNT: מספר הצמתים מסוג A4 באשכול.
• ‫AUTHORIZED_CIDR: טווח כתובות ה-IP שרוצים לאפשר להתחבר לאשכול. בלוק ה-CIDR הזה צריך לכלול את כתובת ה-IP של המכונה שבה רוצים להשתמש כדי להפעיל את Terraform. מידע נוסף זמין במאמר בנושא איך רשתות מורשות פועלות.

• בשדה reservation, משתמשים באחת מהאפשרויות הבאות, בהתאם לשאלה אם רוצים לטרגט בלוקים ספציפיים בהזמנה כשמבצעים הקצאה של מאגר הצמתים:

  • כדי למקם את מאגר הצמתים בכל מקום בהזמנה, צריך לציין את שם ההזמנה (RESERVATION_NAME).

  • כדי לטרגט בלוק ספציפי בהזמנה, משתמשים בשמות ההזמנה והבלוק בפורמט הבא:

    RESERVATION_NAME/reservationBlocks/BLOCK_NAME
    

  אם אתם לא יודעים אילו בלוקים זמינים בהזמנה שלכם, תוכלו לעיין במאמר בנושא הצגת טופולוגיה של הזמנה.

כדי לשנות הגדרות מתקדמות, עורכים את examples/gke-a4/gke-a4.yaml.

Flex-start

1. ב-examples/gke-a4/gke-a4-deployment.yaml blueprint מתוך מאגר GitHub, ממלאים את ההגדרות הבאות בקטעים terraform_backend_defaults ו-vars בהתאם לערכים הספציפיים של הפריסה:

   • ‫BUCKET: השם של קטגוריית Cloud Storage שיצרתם בשלב הקודם.
   • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫DEPLOYMENT_NAME: שם ייחודי לפריסה, באורך של 6 עד 30 תווים. אם שם הפריסה לא ייחודי בפרויקט, יצירת האשכול נכשלת. ערך ברירת המחדל הוא gke-a4.
   • ‫REGION: אזור המחשוב של האשכול.
   • ‫ZONE: אזור המחשוב של מאגר הצמתים של מכונות A4.
   • ‫AUTHORIZED_CIDR: טווח כתובות ה-IP שרוצים לאפשר להתחבר לאשכול. בלוק ה-CIDR הזה חייב לכלול את כתובת ה-IP של המכונה שבה רוצים להשתמש כדי להפעיל את Terraform. מידע נוסף זמין במאמר בנושא איך פועלות רשתות מורשות.
   • מסירים את השדה reservation ומחליפים אותו בשדה enable_flex_start: true. מוסיפים בשורה הבאה enable_queued_provisioning: true אם רוצים להשתמש גם בהקצאת הרשאות בתור. מידע נוסף זמין במאמר בנושא שימוש במאגרי צמתים עם flex-start עם הקצאת משאבים בתור.
   • הסרה של static_node_count.

2. בתוכנית examples/gke-a4/gke-a4.yaml ממאגר GitHub, מבצעים את השינויים הבאים:

   • בבלוק vars, מסירים את static_node_count.
   • בבלוק vars, מוודאים שהמספר version_prefix הוא "1.32." ומעלה. כדי להשתמש בהתחלה גמישה ב-GKE, האשכול צריך להיות בגרסה 1.32.2-gke.1652000 ואילך.
   • בבלוק vars, מחליפים את כל הבלוק reservation (כולל השורה reservation עצמה) ב-enable_flex_start: true, ואפשר גם ב-enable_queued_provisioning: true.
   • בבלוק vars, אם לא נדרשת הקצאת משאבים בהמתנה, מסירים את השורה הבאה: kueue_configuration_path: $(ghpc_stage("./kueue-configuration.yaml.tftpl")).
   • בקטע id: a4-pool, מסירים את השורה הבאה: static_node_count: $(vars.static_node_count).

   • בקטע id: a4-pool, מסירים את הבלוק reservation_affinity. מחליפים את הבלוק הזה בשורות הבאות:

     • enable_flex_start: $(vars.enable_flex_start)
     • auto_repair: false
     • להקצאת משאבים בהמתנה, אם רוצים להפעיל אותה, מוסיפים את השורות הבאות:
       • enable_queued_provisioning: $(vars.enable_queued_provisioning)
       • autoscaling_total_min_nodes: 0

   • בקטע id: workload-manager-install, מסירים את הבלוק הבא:

      kueue:
         install: true
         config_path: $(vars.kueue_configuration_path)
         config_template_vars:
            num_gpus: $(a3-ultragpu-pool.static_gpu_count)
            accelerator_type: $(vars.accelerator_type)
     

     • כדי להגדיר הקצאת משאבים בהמתנה עם התחלה גמישה:

       1. מוסיפים את gpu_nominal_quota: NOMINAL_QUOTA לבלוק vars. הערך gpu_nominal_quota משמש להגדרת nominalQuota של יחידות ה-GPU במפרט ClusterQueue (בשלב הבא מוסבר על הגדרת ClusterQueue). בדוגמה הזו, ClusterQueue מאפשר עומסי עבודה רק אם סכום בקשות ה-GPU קטן או שווה לערך NOMINAL_QUOTA. מידע נוסף על ClusterQueue זמין במסמך Kueue בנושא תור אשכול.

       2. מעדכנים את הבלוק kueue כך:

          kueue:
             install: true
             config_path: $(vars.kueue_configuration_path)
             config_template_vars:
                num_gpus: $(vars.gpu_nominal_quota)
          

       3. מחליפים את התוכן של הקובץ kueue-configuration.yaml.tftpl בתוכן הבא:

          apiVersion: kueue.x-k8s.io/v1beta1
          kind: ResourceFlavor
          metadata:
             name: "default-flavor"
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: AdmissionCheck
          metadata:
             name: dws-prov
          spec:
             controllerName: kueue.x-k8s.io/provisioning-request
             parameters:
                apiGroup: kueue.x-k8s.io
                kind: ProvisioningRequestConfig
                name: dws-config
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: ProvisioningRequestConfig
          metadata:
             name: dws-config
          spec:
             provisioningClassName: queued-provisioning.gke.io
             managedResources:
             - nvidia.com/gpu
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: ClusterQueue
          metadata:
             name: "dws-cluster-queue"
          spec:
             namespaceSelector: {}
             resourceGroups:
             - coveredResources: ["nvidia.com/gpu"]
                flavors:
                - name: "default-flavor"
                resources:
                - name: "nvidia.com/gpu"
                   nominalQuota: ${num_gpus}
             admissionChecks:
             - dws-prov
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: LocalQueue
          metadata:
             namespace: "default"
             name: "dws-local-queue"
          spec:
             clusterQueue: "dws-cluster-queue"
          ---
          

   • בקטע id: job-template, מחליפים את המשתנה node_count ב-2.

Spot

1. ב-examples/gke-a4/gke-a4-deployment.yaml blueprint מתוך מאגר GitHub, ממלאים את ההגדרות הבאות בקטעים terraform_backend_defaults ו-vars בהתאם לערכים הספציפיים של הפריסה:

   • ‫BUCKET: השם של קטגוריית Cloud Storage שיצרתם בשלב הקודם.
   • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫DEPLOYMENT_NAME: שם ייחודי לפריסה, באורך של 6 עד 30 תווים. אם שם הפריסה לא ייחודי בפרויקט, יצירת האשכול נכשלת. ערך ברירת המחדל הוא gke-a4.
   • ‫REGION: אזור המחשוב של האשכול.
   • ‫ZONE: אזור המחשוב של מאגר הצמתים של מכונות A4.
   • ‫STATIC_NODE_COUNT: מספר צמתי A4 באשכול.
   • ‫AUTHORIZED_CIDR: טווח כתובות ה-IP שרוצים לאפשר להתחבר לאשכול. בלוק ה-CIDR הזה חייב לכלול את כתובת ה-IP של המכונה שבה רוצים להשתמש כדי להפעיל את Terraform. מידע נוסף זמין במאמר בנושא איך פועלות רשתות מורשות.
   • מחליפים את כל בלוק reservation (כולל השורה reservation עצמה) ב-spot: true.

2. בתוכנית examples/gke-a4/gke-a4.yaml ממאגר GitHub, מבצעים את השינויים הבאים:

   • בבלוק vars, מחליפים את כל הבלוק reservation (כולל השורה reservation עצמה) ב-spot: true.

   • בקטע id: a4-pool, מסירים את הבלוק reservation_affinity. מחליפים את הבלוק הזה בשורה הבאה:

     • spot: $(vars.spot)

נדרשת הזמנה

ב-examples/gke-a3-ultragpu/gke-a3-ultragpu-deployment.yaml blueprint ממאגר GitHub, מחליפים את המשתנים הבאים בקטעים terraform_backend_defaults ו-vars כך שיתאימו לערכים הספציפיים של הפריסה:

• ‫BUCKET_NAME: השם של קטגוריית Cloud Storage שיצרתם בשלב הקודם.
• ‫DEPLOYMENT_NAME: שם ייחודי לפריסה, באורך של 6 עד 30 תווים. אם שם הפריסה לא ייחודי בפרויקט, יצירת האשכול נכשלת.
• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫COMPUTE_REGION: אזור המחשוב של האשכול.

• ‫COMPUTE_ZONE: אזור החישוב של מאגר הצמתים של מכונות A3 Ultra. חשוב לשים לב שאזור הזמינות הזה צריך להיות זהה לאזור הזמינות שבו המכונות זמינות בהזמנה שלכם.

• ‫IP_ADDRESS/SUFFIX: טווח כתובות ה-IP שרוצים לאפשר להתחבר לאשכול. בלוק ה-CIDR הזה צריך לכלול את כתובת ה-IP של המכונה שבה רוצים להשתמש כדי להפעיל את Terraform. מידע נוסף זמין במאמר בנושא איך רשתות מורשות פועלות.

• בשדה reservation, משתמשים באחת מהאפשרויות הבאות, בהתאם לשאלה אם רוצים לטרגט בלוקים ספציפיים בהזמנה כשמבצעים הקצאה של מאגר הצמתים:

  • כדי למקם את מאגר הצמתים בכל מקום בהזמנה, צריך לציין את שם ההזמנה (RESERVATION_NAME).

  • כדי לטרגט בלוק ספציפי בהזמנה, משתמשים בשמות ההזמנה והבלוק בפורמט הבא:

    RESERVATION_NAME/reservationBlocks/BLOCK_NAME
    

  אם אתם לא יודעים אילו בלוקים זמינים בהזמנה שלכם, תוכלו לעיין במאמר בנושא הצגת טופולוגיה של הזמנה.

• ‫NODE_COUNT: מספר הצמתים של A3 Ultra באשכול.

כדי לשנות הגדרות מתקדמות, עורכים את examples/gke-a3-ultragpu/gke-a3-ultragpu.yaml.

Flex-start

1. ב-examples/gke-a3-ultragpu/gke-a3-ultragpu-deployment.yaml blueprint ממאגר GitHub, מחליפים את המשתנים הבאים בקטעים terraform_backend_defaults ו-vars כך שיתאימו לערכים הספציפיים של הפריסה:

   • ‫BUCKET_NAME: השם של קטגוריית Cloud Storage שיצרתם בשלב הקודם.
   • ‫DEPLOYMENT_NAME: שם ייחודי לפריסה, באורך של 6 עד 30 תווים. אם שם הפריסה לא ייחודי בפרויקט, יצירת האשכול נכשלת.
   • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫COMPUTE_REGION: אזור המחשוב של האשכול.
   • ‫COMPUTE_ZONE: אזור החישוב של מאגר הצמתים של מכונות A3 Ultra.
   • ‫IP_ADDRESS/SUFFIX: טווח כתובות ה-IP שרוצים לאפשר להתחבר לאשכול. בלוק ה-CIDR הזה חייב לכלול את כתובת ה-IP של המכונה שבה רוצים להשתמש כדי להפעיל את Terraform. מידע נוסף זמין במאמר בנושא איך רשתות מורשות פועלות.
   • מסירים את השדה reservation ומחליפים אותו בשדה enable_flex_start: true. מוסיפים בשורה הבאה enable_queued_provisioning: true אם רוצים להשתמש גם בהקצאת הרשאות בתור. מידע נוסף זמין במאמר בנושא שימוש במאגרי צמתים עם flex-start עם הקצאת משאבים בתור.
   • הסרה של static_node_count.

2. ב-examples/gke-a3-ultragpu/gke-a3-ultragpu.yaml תוכנית האב ממאגר GitHub, מבצעים את השינויים הבאים:

   • בבלוק vars, מסירים את static_node_count.
   • בבלוק vars, מעדכנים את המספר version_prefix ל-"1.32." ומעלה. כדי להשתמש בהתחלה גמישה ב-GKE, האשכול צריך להיות בגרסה 1.32.2-gke.1652000 ואילך.
   • בבלוק vars, מחליפים את כל הבלוק reservation (כולל השורה reservation עצמה) ב-enable_flex_start: true, ואפשר גם ב-enable_queued_provisioning: true.
   • בבלוק vars, מסירים את השורה הבאה: kueue_configuration_path: $(ghpc_stage("./kueue-configuration.yaml.tftpl")).
   • בקטע id: a3-ultragpu-pool, מסירים את השורה הבאה: static_node_count: $(vars.static_node_count).

   • בקטע id: a3-ultragpu-pool, מסירים את הבלוק reservation_affinity. מחליפים את הבלוק הזה בשורות הבאות:

     • enable_flex_start: $(vars.enable_flex_start)
     • auto_repair: false
     • להקצאת משאבים בהמתנה, אם רוצים להפעיל אותה, מוסיפים את השורות הבאות:
       • enable_queued_provisioning: $(vars.enable_queued_provisioning)
       • autoscaling_total_min_nodes: 0

   • בקטע id: workload-manager-install, מסירים את הבלוק הבא:

     config_path: $(vars.kueue_configuration_path)
     config_template_vars:
       num_gpus: $(a4-pool.static_gpu_count)
       accelerator_type: $(vars.accelerator_type)
     

     • כדי להגדיר התחלה גמישה עם הקצאת משאבים בהמתנה, פועלים לפי שלושת השלבים הבאים:

       1. מוסיפים את gpu_nominal_quota: NOMINAL_QUOTA לבלוק vars. הערך gpu_nominal_quota משמש להגדרת nominalQuota של מעבדים גרפיים במפרט ClusterQueue. בדוגמה הזו, ClusterQueue מאפשר רק עומסי עבודה אם סכום הבקשות ל-GPU קטן מהערך NOMINAL_QUOTA או שווה לו. מידע נוסף על ClusterQueue זמין במסמך Kueue בנושא תור אשכול.

       2. מעדכנים את הבלוק kueue כך:

          kueue:
             install: true
             config_path: $(vars.kueue_configuration_path)
             config_template_vars:
                num_gpus: $(vars.gpu_nominal_quota)
          

       3. מחליפים את התוכן של הקובץ kueue-configuration.yaml.tftpl בתוכן הבא:

          apiVersion: kueue.x-k8s.io/v1beta1
          kind: ResourceFlavor
          metadata:
             name: "default-flavor"
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: AdmissionCheck
          metadata:
             name: dws-prov
          spec:
             controllerName: kueue.x-k8s.io/provisioning-request
             parameters:
                apiGroup: kueue.x-k8s.io
                kind: ProvisioningRequestConfig
                name: dws-config
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: ProvisioningRequestConfig
          metadata:
             name: dws-config
          spec:
             provisioningClassName: queued-provisioning.gke.io
             managedResources:
             - nvidia.com/gpu
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: ClusterQueue
          metadata:
             name: "dws-cluster-queue"
          spec:
             namespaceSelector: {}
             resourceGroups:
             - coveredResources: ["nvidia.com/gpu"]
                flavors:
                - name: "default-flavor"
                resources:
                - name: "nvidia.com/gpu"
                   nominalQuota: ${num_gpus}
             admissionChecks:
             - dws-prov
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: LocalQueue
          metadata:
             namespace: "default"
             name: "dws-local-queue"
          spec:
             clusterQueue: "dws-cluster-queue"
          ---
          

     • בשדה id: job-template, מחליפים את המשתנה node_count ב-2.

Spot

1. בקטע examples/gke-a3-ultragpu/gke-a3-ultragpu-deployment.yaml blueprint from the GitHub repo (תוכנית בסיסית ממאגר GitHub), ממלאים את ההגדרות הבאות בקטעים terraform_backend_defaults ו-vars בהתאם לערכים הספציפיים של הפריסה:

   • ‫BUCKET_NAME: השם של קטגוריית Cloud Storage שיצרתם בשלב הקודם.
   • ‫DEPLOYMENT_NAME: שם ייחודי לפריסה, באורך של 6 עד 30 תווים. אם שם הפריסה לא ייחודי בפרויקט, יצירת האשכול נכשלת.
   • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫COMPUTE_REGION: אזור המחשוב של האשכול.
   • ‫COMPUTE_ZONE: אזור החישוב של מאגר הצמתים של מכונות A3 Ultra.
   • ‫IP_ADDRESS/SUFFIX: טווח כתובות ה-IP שרוצים לאפשר להתחבר לאשכול. בלוק ה-CIDR הזה חייב לכלול את כתובת ה-IP של המכונה שבה רוצים להשתמש כדי להפעיל את Terraform. מידע נוסף זמין במאמר בנושא איך פועלות רשתות מורשות.
   • מחליפים את כל בלוק reservation (כולל השורה reservation עצמה) ב-spot: true.
   • ‫NODE_COUNT: מספר הצמתים של A3 Ultra באשכול.

2. בתוכנית examples/gke-a3-ultragpu/gke-a3-ultragpu.yaml ממאגר GitHub, מבצעים את השינויים הבאים:

   • בבלוק vars, מחליפים את כל המשתנה reservation ב-spot: true.

   • בקטע id: a3-ultragpu-pool, מסירים את הבלוק reservation_affinity. מחליפים את הבלוק הזה בשורה הבאה:

     • spot: $(vars.spot)

נדרשת הזמנה

ב-examples/gke-a3-megagpu/gke-a3-megagpu-deployment.yaml blueprint ממאגר GitHub, מחליפים את המשתנים הבאים בקטעים terraform_backend_defaults ו-vars כך שיתאימו לערכים הספציפיים של הפריסה:

• ‫BUCKET: השם של קטגוריית Cloud Storage שיצרתם בשלב הקודם.
• ‫DEPLOYMENT_NAME: שם ייחודי לפריסה, באורך של 6 עד 30 תווים. אם שם הפריסה לא ייחודי בפרויקט, יצירת האשכול נכשלת.
• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫REGION: אזור המחשוב של האשכול.
• ‫ZONE: אזור המחשוב של מאגר הצמתים של מכונות A3 Mega. שימו לב שאזור הזמינות הזה צריך להיות זהה לאזור הזמינות שבו המכונות זמינות בהזמנה שלכם.
• ‫AUTHORIZED_CIDR: טווח כתובות ה-IP שרוצים לאפשר להתחבר לאשכול. בלוק ה-CIDR הזה צריך לכלול את כתובת ה-IP של המכונה שבה רוצים להשתמש כדי להפעיל את Terraform. מידע נוסף זמין במאמר בנושא איך רשתות מורשות פועלות.

• בשדה reservation, משתמשים באחת מהאפשרויות הבאות, בהתאם לשאלה אם רוצים לטרגט בלוקים ספציפיים בהזמנה כשמבצעים הקצאה של מאגר הצמתים:

  • כדי למקם את מאגר הצמתים בכל מקום בהזמנה, צריך לציין את שם ההזמנה (RESERVATION_NAME).

  • כדי לטרגט בלוק ספציפי בהזמנה, משתמשים בשמות ההזמנה והבלוק בפורמט הבא:

    RESERVATION_NAME/reservationBlocks/BLOCK_NAME
    

  אם אתם לא יודעים אילו בלוקים זמינים בהזמנה שלכם, תוכלו לעיין במאמר בנושא הצגת הטופולוגיה של הזמנה.

• ‫STATIC_NODE_COUNT: מספר הצמתים מסוג A3 Mega באשכול.

כדי לשנות הגדרות מתקדמות, עורכים את examples/gke-a3-megagpu/gke-a3-megagpu.yaml.

Flex-start

1. ב-examples/gke-a3-megagpu/gke-a3-megagpu-deployment.yaml blueprint ממאגר GitHub, מחליפים את המשתנים הבאים בקטעים vars כך שיתאימו לערכים הספציפיים של הפריסה:

   • ‫BUCKET: השם של קטגוריית Cloud Storage שיצרתם בשלב הקודם.
   • ‫DEPLOYMENT_NAME: שם ייחודי לפריסה, באורך של 6 עד 30 תווים. אם שם הפריסה לא ייחודי בפרויקט, יצירת האשכול נכשלת.
   • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫REGION: אזור המחשוב של האשכול.
   • ‫ZONE: אזור המחשוב של מאגר הצמתים של מכונות A3 Mega.
   • ‫AUTHORIZED_CIDR: טווח כתובות ה-IP שרוצים לאפשר להתחבר לאשכול. בלוק ה-CIDR הזה חייב לכלול את כתובת ה-IP של המכונה שבה רוצים להשתמש כדי להפעיל את Terraform. מידע נוסף זמין במאמר בנושא איך רשתות מורשות פועלות.
   • מסירים את השדה reservation ומחליפים אותו בשדה enable_flex_start: true. אם רוצים להשתמש גם בהקצאת הרשאות בתור, מוסיפים את enable_queued_provisioning: true לשורה הבאה. מידע נוסף זמין במאמר בנושא שימוש במאגרי צמתים עם flex-start עם הקצאת משאבים בתור.
   • הסרה של static_node_count.

2. בתוכנית הבסיסית examples/gke-a3-megagpu/gke-a3-megagpu.yaml ממאגר GitHub, מבצעים את השינויים הבאים:

   • בבלוק vars, מסירים את static_node_count.
   • בבלוק vars, מעדכנים את המספר version_prefix ל-"1.32." ומעלה. כדי להשתמש בהתחלה גמישה ב-GKE, האשכול צריך להיות בגרסה 1.32.2-gke.1652000 ואילך.
   • בבלוק vars, מחליפים את כל הבלוק reservation (כולל השורה reservation עצמה) ב-enable_flex_start: true, ואפשר גם ב-enable_queued_provisioning: true.
   • בבלוק vars, מסירים את השורה הבאה: kueue_configuration_path: $(ghpc_stage("./kueue-configuration.yaml.tftpl")).
   • בקטע id: a3_megagpu_pool, מסירים את השורה הבאה: static_node_count: $(vars.static_node_count).

   • בקטע id: a3_megagpu_pool, מסירים את הבלוק reservation_affinity. מחליפים את הבלוק הזה בשורות הבאות:

     • enable_flex_start: $(vars.enable_flex_start)
     • auto_repair: false
     • להקצאת משאבים בהמתנה, אם רוצים להפעיל אותה, מוסיפים את השורות הבאות:
       • enable_queued_provisioning: $(vars.enable_queued_provisioning)
       • autoscaling_total_min_nodes: 0

   • בקטע id: workload_manager_install, מסירים את הבלוק הבא:

     config_path: $(vars.kueue_configuration_path)
     config_template_vars:
       num_gpus: $(a3_megagpu_pool.static_gpu_count)
       accelerator_type: $(vars.accelerator_type)
     

     • כדי להגדיר התחלה גמישה עם הקצאת משאבים בהמתנה, פועלים לפי שלושת השלבים הבאים:

       1. מוסיפים את gpu_nominal_quota: NOMINAL_QUOTA לבלוק vars. הערך gpu_nominal_quota משמש להגדרת nominalQuota של מעבדים גרפיים במפרט ClusterQueue. בדוגמה הזו, ClusterQueue מאפשר רק עומסי עבודה אם סכום הבקשות ל-GPU קטן מהערך NOMINAL_QUOTA או שווה לו. מידע נוסף על ClusterQueue זמין במסמך Kueue בנושא תור אשכול.

       2. מעדכנים את הבלוק kueue כך:

          kueue:
             install: true
             config_path: $(vars.kueue_configuration_path)
             config_template_vars:
                num_gpus: $(vars.gpu_nominal_quota)
          

       3. מחליפים את התוכן של הקובץ kueue-configuration.yaml.tftpl בתוכן הבא:

          apiVersion: kueue.x-k8s.io/v1beta1
          kind: ResourceFlavor
          metadata:
             name: "default-flavor"
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: AdmissionCheck
          metadata:
             name: dws-prov
          spec:
             controllerName: kueue.x-k8s.io/provisioning-request
             parameters:
                apiGroup: kueue.x-k8s.io
                kind: ProvisioningRequestConfig
                name: dws-config
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: ProvisioningRequestConfig
          metadata:
             name: dws-config
          spec:
             provisioningClassName: queued-provisioning.gke.io
             managedResources:
             - nvidia.com/gpu
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: ClusterQueue
          metadata:
             name: "dws-cluster-queue"
          spec:
             namespaceSelector: {}
             resourceGroups:
             - coveredResources: ["nvidia.com/gpu"]
                flavors:
                - name: "default-flavor"
                resources:
                - name: "nvidia.com/gpu"
                   nominalQuota: ${num_gpus}
             admissionChecks:
             - dws-prov
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: LocalQueue
          metadata:
             namespace: "default"
             name: "dws-local-queue"
          spec:
             clusterQueue: "dws-cluster-queue"
          ---
          

     • בשדה id: job-template, מחליפים את הערך של המשתנה node_count ב-2.

Spot

1. ב-examples/gke-a3-megagpu/gke-a3-megagpu-deployment.yamlblueprint ממאגר GitHub, מעדכנים את המשתנים הבאים כך שיתאימו לערכים הספציפיים של הפריסה:

   • ‫BUCKET: השם של קטגוריית Cloud Storage שיצרתם בשלב הקודם.
   • ‫DEPLOYMENT_NAME: שם ייחודי לפריסה, באורך של 6 עד 30 תווים. אם שם הפריסה לא ייחודי בפרויקט, יצירת האשכול נכשלת.
   • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫REGION: אזור המחשוב של האשכול.
   • ‫ZONE: אזור המחשוב של מאגר הצמתים של מכונות A3 Mega.
   • ‫AUTHORIZED_CIDR: טווח כתובות ה-IP שרוצים לאפשר להתחבר לאשכול. בלוק ה-CIDR הזה חייב לכלול את כתובת ה-IP של המכונה שבה רוצים להשתמש כדי להפעיל את Terraform. מידע נוסף זמין במאמר בנושא איך פועלות רשתות מורשות.
   • מחליפים את כל בלוק reservation (כולל השורה reservation עצמה) ב-provisioning_model: SPOT.
   • ‫STATIC_NODE_COUNT: מספר הצמתים מסוג A3 Mega באשכול.

2. בתוכנית examples/gke-a3-megagpu/gke-a3-megagpu.yaml ממאגר GitHub, מבצעים את השינויים הבאים:

   • בבלוק vars, מחליפים את כל הבלוק reservation (כולל השורה reservation עצמה) ב-spot: true.

   • בקטע id: a3_megagpu_pool, מסירים את הבלוק reservation_affinity. מחליפים את הבלוק הזה בשורה הבאה:

     • spot: $(vars.spot)

נדרשת הזמנה

ב-examples/gke-a3-highgpu/gke-a3-highgpu-deployment.yaml blueprint ממאגר GitHub, מחליפים את המשתנים הבאים בקטעים terraform_backend_defaults ו-vars כך שיתאימו לערכים הספציפיים של הפריסה:

• ‫BUCKET: השם של קטגוריית Cloud Storage שיצרתם בשלב הקודם.
• ‫DEPLOYMENT_NAME: שם ייחודי לפריסה, באורך של 6 עד 30 תווים. אם שם הפריסה לא ייחודי בפרויקט, יצירת האשכול נכשלת.
• ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
• ‫REGION: אזור המחשוב של האשכול.
• ‫ZONE: אזור המחשוב של מאגר הצמתים של מכונות A3 High. שימו לב שאזור הזמינות הזה צריך להיות זהה לאזור הזמינות שבו המכונות זמינות בהזמנה שלכם.
• ‫AUTHORIZED_CIDR: טווח כתובות ה-IP שרוצים לאפשר להתחבר לאשכול. בלוק ה-CIDR הזה צריך לכלול את כתובת ה-IP של המכונה שבה רוצים להשתמש כדי להפעיל את Terraform. מידע נוסף זמין במאמר בנושא איך רשתות מורשות פועלות.
• ‫STATIC_NODE_COUNT: מספר הצמתים מסוג A3 High באשכול.

• בשדה reservation, משתמשים באחת מהאפשרויות הבאות, בהתאם לשאלה אם רוצים לטרגט בלוקים ספציפיים בהזמנה כשמבצעים הקצאה של מאגר הצמתים:

  • כדי למקם את מאגר הצמתים בכל מקום בהזמנה, צריך לציין את שם ההזמנה (RESERVATION_NAME).

  • כדי לטרגט בלוק ספציפי בהזמנה, משתמשים בשמות ההזמנה והבלוק בפורמט הבא:

    RESERVATION_NAME/reservationBlocks/BLOCK_NAME
    

  אם אתם לא יודעים אילו בלוקים זמינים בהזמנה שלכם, תוכלו לעיין במאמר בנושא הצגת הטופולוגיה של הזמנה.

כדי לשנות הגדרות מתקדמות, עורכים את examples/gke-a3-highgpu/gke-a3-highgpu.yaml.

Flex-start

1. בקובץ examples/gke-a3-highgpu/gke-a3-highgpu-deployment.yaml ממאגר GitHub, מחליפים את המשתנים הבאים בקטעים vars כך שיתאימו לערכים הספציפיים של הפריסה:

   • ‫BUCKET: השם של קטגוריית Cloud Storage שיצרתם בשלב הקודם.
   • ‫DEPLOYMENT_NAME: שם ייחודי לפריסה, באורך של 6 עד 30 תווים. אם שם הפריסה לא ייחודי בפרויקט, יצירת האשכול נכשלת.
   • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫REGION: אזור המחשוב של האשכול.
   • ‫ZONE: אזור המחשוב של מאגר הצמתים של מכונות A3 High.
   • ‫AUTHORIZED_CIDR: טווח כתובות ה-IP שרוצים לאפשר להתחבר לאשכול. בלוק ה-CIDR הזה חייב לכלול את כתובת ה-IP של המכונה שבה רוצים להשתמש כדי להפעיל את Terraform. מידע נוסף זמין במאמר בנושא איך רשתות מורשות פועלות.
   • מסירים את השדה reservation ומחליפים אותו בשדה enable_flex_start: true. אם רוצים להשתמש גם בהקצאת הרשאות בתור, מוסיפים את enable_queued_provisioning: true לשורה הבאה. מידע נוסף זמין במאמר בנושא שימוש במאגרי צמתים עם flex-start עם הקצאת משאבים בתור.
   • הסרה של static_node_count.

2. בתוכנית הבסיסית examples/gke-a3-highgpu/gke-a3-highgpu.yaml ממאגר GitHub, מבצעים את השינויים הבאים:

   • בבלוק vars, מסירים את static_node_count.
   • בבלוק vars, מעדכנים את המספר version_prefix ל-"1.32." ומעלה. כדי להשתמש בהתחלה גמישה ב-GKE, האשכול צריך להיות בגרסה 1.32.2-gke.1652000 ואילך.
   • בבלוק vars, מחליפים את כל הבלוק reservation (כולל השורה reservation עצמה) ב-enable_flex_start: true, ואפשר גם ב-enable_queued_provisioning: true.
   • בבלוק vars, מסירים את השורה הבאה: kueue_configuration_path: $(ghpc_stage("./kueue-configuration.yaml.tftpl")).
   • בקטע id: a3_highgpu_pool, מסירים את השורה הבאה: static_node_count: $(vars.static_node_count).

   • בקטע id: a3_highgpu_pool, מסירים את הבלוק reservation_affinity. מחליפים את הבלוק הזה בשורות הבאות:

     • enable_flex_start: $(vars.enable_flex_start)
     • auto_repair: false
     • להקצאת משאבים בהמתנה, אם רוצים להפעיל אותה, מוסיפים את השורות הנוספות הבאות:
       • enable_queued_provisioning: $(vars.enable_queued_provisioning)
       • autoscaling_total_min_nodes: 0

   • בקטע id: workload_component_install, מסירים את הבלוק הבא:

     config_path: $(vars.kueue_configuration_path)
     config_template_vars:
       num_gpus: $(a3_highgpu_pool.static_gpu_count)
       accelerator_type: $(vars.accelerator_type)
     

     • כדי להגדיר התחלה גמישה עם הקצאת משאבים בהמתנה, פועלים לפי שלושת השלבים הבאים:

       1. מוסיפים את gpu_nominal_quota: NOMINAL_QUOTA לבלוק vars. הערך gpu_nominal_quota משמש להגדרת nominalQuota של מעבדים גרפיים במפרט ClusterQueue. בדוגמה הזו, ClusterQueue מאפשר רק עומסי עבודה אם סכום הבקשות ל-GPU קטן מהערך NOMINAL_QUOTA או שווה לו. מידע נוסף על ClusterQueue זמין במסמך Kueue בנושא תור אשכול.

       2. מעדכנים את הבלוק kueue כך:

          kueue:
             install: true
             config_path: $(vars.kueue_configuration_path)
             config_template_vars:
                num_gpus: $(vars.gpu_nominal_quota)
          

       3. מחליפים את התוכן של הקובץ kueue-configuration.yaml.tftpl בתוכן הבא:

          apiVersion: kueue.x-k8s.io/v1beta1
          kind: ResourceFlavor
          metadata:
             name: "default-flavor"
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: AdmissionCheck
          metadata:
             name: dws-prov
          spec:
             controllerName: kueue.x-k8s.io/provisioning-request
             parameters:
                apiGroup: kueue.x-k8s.io
                kind: ProvisioningRequestConfig
                name: dws-config
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: ProvisioningRequestConfig
          metadata:
             name: dws-config
          spec:
             provisioningClassName: queued-provisioning.gke.io
             managedResources:
             - nvidia.com/gpu
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: ClusterQueue
          metadata:
             name: "dws-cluster-queue"
          spec:
             namespaceSelector: {}
             resourceGroups:
             - coveredResources: ["nvidia.com/gpu"]
                flavors:
                - name: "default-flavor"
                resources:
                - name: "nvidia.com/gpu"
                   nominalQuota: ${num_gpus}
             admissionChecks:
             - dws-prov
          ---
          apiVersion: kueue.x-k8s.io/v1beta1
          kind: LocalQueue
          metadata:
             namespace: "default"
             name: "dws-local-queue"
          spec:
             clusterQueue: "dws-cluster-queue"
          ---
          

     • בשדה id: job-template, מחליפים את הערך של המשתנה node_count ב-2.

Spot

1. ב-examples/gke-a3-highgpu/gke-a3-highgpu-deployment.yaml blueprint ממאגר GitHub, מעדכנים את המשתנים הבאים כך שיתאימו לערכים הספציפיים של הפריסה:

   • ‫BUCKET: השם של קטגוריית Cloud Storage שיצרתם בשלב הקודם.
   • ‫DEPLOYMENT_NAME: שם ייחודי לפריסה, באורך של 6 עד 30 תווים. אם שם הפריסה לא ייחודי בפרויקט, יצירת האשכול נכשלת.
   • ‫PROJECT_ID: מזהה הפרויקט ב- Google Cloud .
   • ‫REGION: אזור המחשוב של האשכול.
   • ‫ZONE: אזור המחשוב של מאגר הצמתים של מכונות A3 High.
   • ‫AUTHORIZED_CIDR: טווח כתובות ה-IP שרוצים לאפשר להתחבר לאשכול. בלוק ה-CIDR הזה חייב לכלול את כתובת ה-IP של המכונה שבה רוצים להשתמש כדי להפעיל את Terraform. מידע נוסף זמין במאמר בנושא איך פועלות רשתות מורשות.
   • מחליפים את השורה reservation: בשורה provisioning_model: SPOT.
   • ‫STATIC_NODE_COUNT: מספר הצמתים מסוג A3 High באשכול.

2. בתוכנית examples/gke-a3-highgpu/gke-a3-highgpu.yaml ממאגר GitHub, מבצעים את השינויים הבאים:

   • בבלוק vars, מחליפים את כל הבלוק reservation (כולל השורה reservation עצמה) ב-spot: true.

   • בקטע id: a3_highgpu_pool, מסירים את הבלוק reservation_affinity. מחליפים את הבלוק הזה בשורה הבאה:

     • spot: $(vars.spot)