ניהול משאבי TPU
בדף הזה מוסבר איך להציג רשימה של מכונות וירטואליות של TPU, לעצור, להפעיל ולמחוק אותן, ואיך להתחבר אליהן.
דרישות מוקדמות
לפני שתפעיל הליכים אלה, בצע את השלבים הבאים:
צור Google Cloud פרויקט עבור יחידות ה-TPU שלך כמתואר בהגדר Google Cloud פרויקט עבור TPUs.
קובעים את הדרישות שלכם ל-TPU כמו שמתואר במאמר תכנון משאבי Cloud TPU.
יוצרים TPU VM כמו שמתואר במאמר יצירת TPU VM.
אם אתם משתמשים באחת מספריות הלקוח של הענן, אתם צריכים לפעול לפי הוראות ההגדרה של השפה שבה אתם משתמשים:
הגדר משתני סביבה.
export TPU_NAME=your-tpu-name export ZONE=your-zone
התחברות ל-Cloud TPU
אפשר להתחבר ל-Cloud TPU באמצעות SSH.
אם אינך מצליח להתחבר ל-TPU VM באמצעות SSH, ייתכן של-TPU VM אין כתובת IP חיצונית. כדי לגשת ל-TPU VM ללא כתובת IP חיצונית, יש לפעול לפי ההוראות בסעיף התחברות ל-TPU VM ללא כתובת IP ציבורית.
gcloud
התחבר ל-Cloud TPU שלך באמצעות SSH:
$ gcloud compute tpus tpu-vm ssh $TPU_NAME --zone=$ZONE
כאשר אתה מבקש פרוסה גדולה יותר ממארח בודד, Cloud TPU יוצר TPU VM עבור כל מארח. מספר שבבי ה-TPU לכל מארח תלוי בגרסת ה-TPU.
כדי להתקין קבצים בינאריים או להריץ קוד, יש להתחבר לכל TPU VM באמצעות הפקודה tpu-vm ssh .
$ gcloud compute tpus tpu-vm ssh $TPU_NAME --zone=$ZONE
כדי להתחבר למכונה וירטואלית של TPU ספציפית באמצעות SSH, השתמש בדגל --worker עם אינדקס מבוסס 0:
$ gcloud compute tpus tpu-vm ssh $TPU_NAME --zone=$ZONE --worker=1
כדי להפעיל פקודה על כל מכונות ה-TPU הווירטואליות, השתמשו בדגלים --worker=all ו---command:
$ gcloud compute tpus tpu-vm ssh $TPU_NAME \ --zone=$ZONE \ --worker=all \ --command='pip install "jax[tpu]==0.4.20" -f https://storage.googleapis.com/jax-releases/libtpu_releases.html'
ב-Multislice, אפשר להריץ פקודה במכונה וירטואלית אחת באמצעות השם הממוספר של ה-TPU, עם קידומת של כל slice והמספר שנוסף אליו. כדי להפעיל פקודה על כל מכונות ה-TPU הווירטואליות בכל הפרוסות, השתמש ב---node=all, --worker=all , ו--command דגלים, עם אפשרות--batch-size דֶגֶל.
$ gcloud compute tpus queued-resources ssh your-queued-resource-id \ --zone=$ZONE \ --node=all \ --worker=all \ --command='pip install jax[tpu] -f https://storage.googleapis.com/jax-releases/libtpu_releases.html' \ --batch-size=4
כשמתחברים למכונות וירטואליות באמצעות ממשק שורת הפקודה של גוגל קלאוד, Compute Engine יוצר מפתח SSH קבוע.
המסוף
כדי להתחבר ל-TPU במסוף Google Cloud , משתמשים ב-SSH בדפדפן:
נכנסים לדף TPUs במסוף Google Cloud .
ברשימת מכונות ה-TPU הווירטואליות, לחצו על SSH בשורה של מכונות ה-TPU הווירטואליות שאליה ברצונכם להתחבר.
כאשר אתה מתחבר למכונות וירטואליות של TPU באמצעות Google Cloud קונסולה, Compute Engine יוצר מפתח SSH זמני.
רשימת משאבי Cloud TPU
אתם יכולים להציג רשימה של כל משאבי Cloud TPU באזור מסוים.
gcloud
$ gcloud compute tpus tpu-vm list --zone=$ZONE
המסוף
נכנסים לדף TPUs במסוף Google Cloud .
Java
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Node.js
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Python
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
אחזור מידע על Cloud TPU
ניתן לאחזר מידע אודות Cloud TPU ספציפי.
gcloud
$ gcloud compute tpus tpu-vm describe $TPU_NAME \ --zone=$ZONE
המסוף
נכנסים לדף TPUs במסוף Google Cloud .
לוחצים על השם של Cloud TPU. הקונסולה מציגה את דף הפרטים של Cloud TPU.
Java
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Node.js
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Python
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
עצירת משאבי Cloud TPU
ניתן לעצור Cloud TPU יחיד כדי להימנע מחיובים מבלי לאבד את תצורת ה-VM והתוכנה שלו.
ממשק ה-API של משאבים בתור אינו תומך בעצירת פרוסות TPU או TPUs. כדי להפסיק את החיובים עבור TPUs שהוקצו דרך API המשאבים בתור, מחק את ה-TPU.
gcloud
$ gcloud compute tpus tpu-vm stop $TPU_NAME \ --zone=$ZONE
המסוף
נכנסים לדף TPUs במסוף Google Cloud .
סמן את תיבת הסימון שליד ה-Cloud TPU שלך.
לחץ על עצור.
Java
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Node.js
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Python
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
הפעלת משאבי Cloud TPU
ניתן להפעיל Cloud TPU שהופסק.
ממשק ה-API של משאבים בתור אינו תומך בהפעלת TPU Pods או TPUs.
gcloud
$ gcloud compute tpus tpu-vm start $TPU_NAME \ --zone=$ZONE
המסוף
נכנסים לדף TPUs במסוף Google Cloud .
סמן את תיבת הסימון שליד ה-Cloud TPU שלך.
לוחצים על התחלה.
Java
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Node.js
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Python
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
מחיקת Cloud TPU
מוחקים את חלקי ה-TPU VM אחרי הסשן.
gcloud
$ gcloud compute tpus tpu-vm delete $TPU_NAME \ --zone=$ZONE \ --quiet
תיאורים של תכונות ניסיוניות בשורת הפקודה
zone: האזור שבו אתה מתכנן למחוק את ה-Cloud TPU שלך.quiet: משבית את כל ההנחיות האינטראקטיביות בעת הפעלת פקודות ה-CLI של gcloud.
המסוף
נכנסים לדף TPUs במסוף Google Cloud .
מסמנים את תיבת הסימון לצד Cloud TPU.
לוחצים על מחיקה.
Java
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Node.js
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
Python
כדי לבצע אימות ב-Cloud TPU, צריך להגדיר את Application Default Credentials. מידע נוסף זמין במאמר הגדרת אימות לסביבת פיתוח מקומית.
המאמרים הבאים
- למד כיצד להגדיר את הרשת והגישה ל-Cloud TPU שלך
- מידע נוסף על משאבים בתור
- מידע על TPU ב-GKE
- איך מריצים קוד JAX ב-TPU VM
- למד כיצד להריץ קוד PyTorch על מכונת TPU וירטואלית.
- למד כיצד להפעיל עומס עבודה של למידה מרחוק (ML) על יחידות TPU: הגשת Qwen2-72B-Instruct עם vLLM על יחידות TPU.