שילובים עם Bigtable

חיבור Bigtable לשירותים אחרים Google Cloud ולכלים בקוד פתוח מאפשר לכם לעבד, לנתח ולסנכרן נתונים באפליקציות שלכם. השילובים האלה עוזרים לכם ליצור צינורות עיבוד נתונים שניתנים להרחבה, להפעיל ניתוחים ולנהל את התשתית של מסד הנתונים.

שירותיGoogle Cloud

בקטע הזה מתוארים Google Cloud השירותים ש-Bigtable משתלב איתם.

BigQuery

‫BigQuery הוא מחסן נתונים לצורכי ניתוח מנוהל במלואו של Google, בקנה מידה של פטה-בייט ובעלות נמוכה. אפשר להשתמש ב-BigQuery עם Bigtable למטרות הבאות:

  • אתם יכולים ליצור טבלה חיצונית ב-BigQuery ואז להשתמש בה כדי להריץ שאילתה על טבלת Bigtable ולצרף את הנתונים לטבלאות אחרות ב-BigQuery. מידע נוסף מופיע במאמר בנושא שאילתות על נתונים ב-Bigtable.

  • אתם יכולים לייצא את הנתונים שלכם ב-BigQuery לטבלה ב-Bigtable באמצעות ETL הפוך (RETL) מ-BigQuery ל-Bigtable. מידע נוסף זמין במאמר בנושא ייצוא נתונים ל-Bigtable.

מאגר משאבי ענן

מאגר משאבי הענן (CAI), שמספק שירותי מלאי שמבוססים על מסד נתונים של סדרות זמן, תומך בסוגי משאבים של Bigtable ומחזיר אותם. רשימה מלאה זמינה במאמר סוגי משאבים נתמכים.

Knowledge Catalog

‫Knowledge Catalog ו-Data Catalog (יצא משימוש) מתייגים אוטומטית מטא-נתונים על משאבי Bigtable. מידע מקוטלג על הנתונים שלכם יכול לעזור לכם בניתוח, בשימוש חוזר בנתונים, בפיתוח אפליקציות ובניהול נתונים. מידע נוסף זמין במאמר ניהול נכסי נתונים באמצעות Data Catalog.

Dataflow

‫Dataflow הוא שירות ענן ומודל תכנות לעיבוד נתונים גדולים. ‫Dataflow תומך בעיבוד באצווה ובסטרימינג. אתם יכולים להשתמש ב-Dataflow כדי לעבד נתונים שמאוחסנים ב-Bigtable או כדי לאחסן את הפלט של צינור עיבוד הנתונים של Dataflow. אפשר גם להשתמש בתבניות של Dataflow כדי לייצא ולייבא את הנתונים בפורמט Avro,‏ Parquet או SequenceFiles.

כדי להתחיל, אפשר לעיין במאמר Bigtable Beam connector.

אפשר גם להשתמש ב-Bigtable כחיפוש של מפתח-ערך כדי להעשיר את הנתונים בצינור. סקירה כללית מופיעה במאמר העשרת נתונים בסטרימינג. למדריך בנושא, ראו שימוש ב-Apache Beam וב-Bigtable כדי להעשיר נתונים.

Managed Service for Apache Spark

‫Managed Service for Apache Spark מספק את Apache Hadoop ומוצרים קשורים כשירות מנוהל בענן. בעזרת Managed Service for Apache Spark, אפשר להריץ משימות Hadoop שקוראות מ-Bigtable וכותבות ל-Bigtable.

דוגמה למשימת Hadoop MapReduce שמשתמשת ב-Bigtable מופיעה בספרייה /java/dataproc-wordcount במאגר GitHub‏ GoogleCloudPlatform/cloud-bigtable-examples.

Pub/Sub

‫Bigtable תומך בהטמעה ממינויים ל-Pub/Sub. אפשר להגדיר מינוי ל-Pub/Sub כדי לשלוח הודעות לטבלת Bigtable. מערכת Pub/Sub כותבת את ההודעות האלה ל-Bigtable כשורות חדשות. מידע נוסף זמין במאמר בנושא מינויים ל-Bigtable.

‫Gemini Enterprise Agent Platform חיפוש וקטורי היא טכנולוגיה שיכולה לחפש בין מיליארדי פריטים שדומים או קשורים מבחינה סמנטית. הוא שימושי להטמעה של מנועי המלצות, צ'אטבוטים וסיווג טקסט.

אתם יכולים להשתמש ב-Bigtable כדי לאחסן הטבעות וקטוריות, לייצא אותן לאינדקס של חיפוש וקטורי, ואז להריץ שאילתה על האינדקס כדי למצוא פריטים דומים. לדוגמה של תהליך עבודה, אפשר לעיין במדריך לייצוא מ-Bigtable ל-חיפוש וקטורי במאגר workflows-demos GitHub.

אפשר גם לשלוח עדכונים בזמן אמת כדי לשמור על סנכרון בין אינדקס החיפוש הווקטורי לבין Bigtable. מידע נוסף זמין בתבנית סנכרון שינויים בזרמי נתונים של Bigtable לחיפוש וקטורי.

Big Data

בקטע הזה מתוארים מוצרי Big Data ש-Bigtable משתלב איתם.

Apache Beam

‫Apache Beam הוא מודל מאוחד להגדרת צינורות לעיבוד נתונים באצווה ובסטרימינג, שניתנים לעיבוד מקביל. מחבר Bigtable Beam‏ (BigtableIO) עוזר לכם לבצע פעולות באצווה ובסטרימינג על נתוני Bigtable בפייפליין.

במדריך עיבוד של שינוי בנתונים ב-Bigtable מוסבר איך להשתמש במחבר Bigtable Beam כדי לפרוס צינור נתונים ב-Dataflow.

Apache Hadoop

‫Apache Hadoop הוא מסגרת שמאפשרת עיבוד מבוזר של מערכי נתונים גדולים באשכולות של מחשבים. אתם יכולים להשתמש ב-Managed Service for Apache Spark כדי ליצור אשכול Hadoop, ואז להריץ משימות MapReduce שקוראות מ-Bigtable וכותבות ל-Bigtable.

דוגמה למשימת Hadoop MapReduce שמשתמשת ב-Bigtable מופיעה בספרייה /java/dataproc-wordcount במאגר GitHub‏ GoogleCloudPlatform/cloud-bigtable-examples.

StreamSets Data Collector

‫StreamSets Data Collector היא אפליקציה לסטרימינג של נתונים שאפשר להגדיר אותה כך שתכתוב נתונים ל-Bigtable. חברת StreamSets מספקת ספריית Bigtable במאגר שלה ב-GitHub בכתובת streamsets/datacollector.

מסדי נתונים של גרפים

בקטע הזה מתוארים מסדי נתונים של גרפים ש-Bigtable משולב איתם.

HGraphDB

‫HGraphDB היא שכבת לקוח לשימוש ב-Apache HBase או ב-Bigtable כמסד נתונים של גרפים. הוא מטמיע את הממשקים של Apache TinkerPop 3.

מידע נוסף על הפעלת HGraphDB עם תמיכה ב-Bigtable זמין במאמרי העזרה בנושא HGraphDB.

JanusGraph

‫JanusGraph הוא מסד נתונים של גרפים שניתן להרחבה. הוא מותאם לאחסון ולשאילתות של גרפים שמכילים מאות מיליארדי קודקודים וקשתות.

מידע נוסף על הפעלת JanusGraph עם תמיכה ב-Bigtable זמין במאמר הפעלת JanusGraph עם Bigtable או במסמכי JanusGraph.

ניהול התשתיות

בקטע הזה מתוארים כלים לניהול תשתית ש-Bigtable משתלב איתם.

Pivotal Cloud Foundry

‫Pivotal Cloud Foundry היא פלטפורמה לפיתוח ולפריסה של אפליקציות, שמאפשרת לקשר אפליקציה ל-Bigtable.

Terraform

‫Terraform הוא כלי בקוד פתוח שמקודד ממשקי API לקובצי תצורה מוצהרים. אפשר לשתף את הקבצים האלה בין חברי הצוות, להתייחס אליהם כאל קוד, לערוך אותם, לבדוק אותם ולשמור גרסאות שלהם.

מידע נוסף על שימוש ב-Bigtable עם Terraform זמין במאמרים Bigtable Instance ו-Bigtable Table במסמכי התיעוד של Terraform.

מסדי נתונים של פעולות על ציר הזמן ומעקב

בקטע הזה מוסבר על מסדי נתונים של סדרות זמן ועל כלי מעקב שמשולבים ב-Bigtable.

OpenTSDB

‫OpenTSDB הוא מסד נתונים של סדרות זמן שיכול להשתמש ב-Bigtable לאחסון. בתיעוד של OpenTSDB יש מידע שיעזור לכם להתחיל.