הסרת פרטים מזהים מנתונים ב-BigQuery בזמן השאילתה

הכנת הסביבה

1. ב-Cloud Shell, משכפלים את מאגר המקור:

   git clone https://github.com/GoogleCloudPlatform/bigquery-dlp-remote-function.git
   

2. עוברים לספרייה של המדריך הזה:

   cd bigquery-dlp-remote-function/
   

פריסת המשאבים באמצעות סקריפט

כדי להשתמש בסקריפט הפריסה בלי לבצע התאמות אישיות, פועלים לפי השלבים הבאים. אם רוצים להתאים אישית את הפריסה, מדלגים על הקטע הזה ועוברים אל פריסת פתרון מותאם אישית באופן ידני.

1. מגדירים את הערכים בשדות PROJECT_ID ו-REGION:

   # Project ID of the Google Cloud project
   PROJECT_ID="PROJECT_ID"
   
   # Google Cloud region to use for deployment of resources
   # Refer to https://cloud.google.com/about/locations
   REGION="REGION"
   

   מחליפים את מה שכתוב בשדות הבאים:

   • ‫PROJECT_ID: מזהה הפרויקט שלכם במדריך הזה.
   • ‫REGION: האזור שבו רוצים לאחסן ולעבד את הנתונים, לדוגמה us-west1. מציינים אזור, לא אזור זמן.

2. אופציונלי: אם יש לכם תבנית בדיקה שבה אתם רוצים להשתמש, מגדירים את השדה DLP_INSPECT_TEMPLATE לשם המשאב המלא של תבנית הבדיקה הזו. תבנית הבדיקה צריכה להיות באותו אזור שהגדרתם בשדה REGION.

   מוודאים שתבנית הבדיקה כוללת את כל סוגי המידע שמשמשים בתבנית לביטול הזיהוי.

   אם מדלגים על השלב הזה, Sensitive Data Protection בודק את הנתונים באמצעות קבוצת ברירת מחדל של המערכת של גלאי infoType.

   DLP_INSPECT_TEMPLATE="DLP_INSPECT_TEMPLATE"
   

   מחליפים את DLP_INSPECT_TEMPLATE בשם המשאב המלא של תבנית הבדיקה, לדוגמה: projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID.

3. אימות באמצעות Application Default Credentials:

   gcloud auth application-default login && \
   gcloud auth application-default set-quota-project "${PROJECT_ID}"
   

4. מפעילים את סקריפט Terraform כדי ליצור את כל המשאבים:

   terraform init && \
   terraform apply \
   -var "project_id=${PROJECT_ID}" \
   -var "region=${REGION}" \
   -var "dlp_inspect_template_full_path=${DLP_INSPECT_TEMPLATE}"
   

   המערכת מציגה את כל הפעולות ש-Terraform תבצע. בודקים את הפעולות. כדי להמשיך, מזינים yes.

5. מוודאים שאפשר להצפין ולפענח את הנתונים.

פריסת פתרון בהתאמה אישית באופן ידני

כדי להתאים אישית את הפריסה, פועלים לפי השלבים הבאים. אם רוצים להשתמש בסקריפט הפריסה שסופק בלי לבצע התאמות אישיות או שלבים ידניים, אפשר לעיין במאמר פריסת המשאבים באמצעות סקריפט.

הגדרת משתני הסביבה

ב-Cloud Shell, מגדירים את משתני הסביבה הבאים:

PROJECT_ID="PROJECT_ID"
REGION="REGION"
CLOUD_RUN_SERVICE_NAME="CLOUD-RUN-SERVICE-NAME"
ARTIFACT_REGISTRY_NAME="ARTIFACT-DOCKER-REGISTRY-NAME"

מחליפים את מה שכתוב בשדות הבאים:

• ‫PROJECT_ID: מזהה הפרויקט שלכם במדריך הזה.
• ‫REGION: האזור שבו רוצים לאחסן ולעבד את הנתונים, לדוגמה us-west1. מציינים אזור, לא אזור זמן.
• ‫CLOUD_RUN_SERVICE_NAME: שם לשירות החדש ב-Cloud Run. אפשר להזין עד 15 תווים.
• ‫ARTIFACT_REGISTRY_NAME: שם למאגר החדש של Artifact Registry לאחסון קובצי אימג' של קונטיינרים.

יצירת חשבון שירות בשביל שירות Cloud Run

1. יוצרים חשבון שירות:

   RUNNER_SA_NAME="${CLOUD_RUN_SERVICE_NAME}-runner"
   RUNNER_SA_EMAIL="${RUNNER_SA_NAME}@${PROJECT_ID}.iam.gserviceaccount.com"
   gcloud iam service-accounts create "${RUNNER_SA_NAME}" \
       --project="${PROJECT_ID}" \
       --description "Runner for BigQuery remote function execution" \
       --display-name "${RUNNER_SA_NAME}"
   

2. מקצים את התפקידים הנדרשים ל-Sensitive Data Protection.

   מקצים את התפקיד DLP Reader:

   gcloud projects add-iam-policy-binding "${PROJECT_ID}" \
       --member="serviceAccount:${RUNNER_SA_EMAIL}" \
       --role='roles/dlp.reader'
   

   נותנים את התפקיד DLP User:

   gcloud projects add-iam-policy-binding "${PROJECT_ID}" \
       --member="serviceAccount:${RUNNER_SA_EMAIL}" \
       --role='roles/dlp.user'
   

פריסת שירות Cloud Run

כדי לפרוס את האפליקציה:

1. אופציונלי: אפשר לשנות את ערכי ברירת המחדל על ידי שינוי משתני הסביבה או עדכון הקובץ src/main/resources/aes.properties.

2. יוצרים מאגר ב-Artifact Registry לאחסון קובץ האימג' של הקונטיינר של הפונקציה:

   gcloud artifacts repositories create "${ARTIFACT_REGISTRY_NAME}" \
   --repository-format=docker \
   --location="${REGION}" \
   --description="Container images repository for BigQuery Functions" \
   --project="${PROJECT_ID}"
   

3. קומפילציה של האפליקציה ופריסה שלה ב-Cloud Run באמצעות Cloud Build:

   gcloud builds submit \
   --project ${PROJECT_ID} \
   --substitutions=_CONTAINER_IMAGE_NAME="${REGION}-docker.pkg.dev/${PROJECT_ID}/${ARTIFACT_REGISTRY_NAME}/${CLOUD_RUN_SERVICE_NAME}:latest" \
   --machine-type=e2-highcpu-8 && \
   gcloud beta run deploy ${CLOUD_RUN_SERVICE_NAME} \
   --image="${REGION}-docker.pkg.dev/${PROJECT_ID}/${ARTIFACT_REGISTRY_NAME}/${CLOUD_RUN_SERVICE_NAME}:latest" \
   --execution-environment=gen2 \
   --platform=managed \
   --region="${REGION}" \
   --service-account="${RUNNER_SA_EMAIL}" \
   --cpu=4 \
   --memory=8Gi \
   --no-allow-unauthenticated \
   --project ${PROJECT_ID} \
   --update-env-vars=PROJECT_ID=${PROJECT_ID}
   

   הפלט אמור להיראות כך:

   ID: 403a276e-b0c6-41f3-aaed-f0ec9f9cedba
   CREATE_TIME: 2023-02-04T01:52:15+00:00
   DURATION: 1M59S
   SOURCE: gs://PROJECT_ID_cloudbuild/source/1675475534.124241-9c43787f64e04cfd9e4a1979d3324fe0.tgz
   IMAGES: gcr.io/PROJECT_ID/CLOUD_RUN_SERVICE_NAME (+1 more)
   STATUS: SUCCESS
   Deploying container to Cloud Run service [CLOUD_RUN_SERVICE_NAME] in project [PROJECT_ID] region [REGION]
   OK Deploying new service... Done.
    OK Creating Revision... Revision deployment finished. Checking container heal
    th.
    OK Routing traffic...
   Done.
   Service [CLOUD_RUN_SERVICE_NAME] revision [CLOUD_RUN_SERVICE_NAME-00001-tat] has been deployed and is serving 100 percent of traffic.
   Service URL: https://CLOUD_RUN_SERVICE_NAME-j2bpjx2xoq-uw.a.run.app
   

4. מאחזרים את כתובת ה-URL של Cloud Run ושומרים אותה במשתני הסביבה:

   RUN_URL="$(gcloud run services describe ${CLOUD_RUN_SERVICE_NAME} --region \
       ${REGION} --project ${PROJECT_ID} --format="get(status.address.url)")"
   

יצירת תבנית לביטול הזיהוי של Sensitive Data Protection

תבניות לביטול שיוך לזהות ב-Sensitive Data Protection עוזרות לשמור את הגדרות ביטול השיוך לזהות, כדי שאפשר יהיה להשתמש בהן שוב בכמה פעולות ובכמה מקורות נתונים.

בשלב הזה משתמשים בקובץ sample_dlp_deid_config.json, שמכיל תבנית לדוגמה להסרת פרטים מזהים.

ב-Cloud Shell, יוצרים את התבנית:

DEID_TEMPLATE=$(curl -X POST \
-H "Authorization: Bearer `gcloud auth print-access-token`" \
-H "Accept: application/json" \
-H "Content-Type: application/json" \
-H "X-Goog-User-Project: ${PROJECT_ID}" \
--data-binary "@sample_dlp_deid_config.json" \
"https://dlp.googleapis.com/v2/projects/${PROJECT_ID}/locations/${REGION}/deidentifyTemplates")

DEID_TEMPLATE_NAME="$(echo ${DEID_TEMPLATE} | jq -r '.name')"

‫Google ממליצה להשתמש במפתח עטוף כשמבצעים הצפנה של Sensitive Data Protection בעומסי עבודה רגישים בפועל. לצורך הדגמה, במדריך הזה נעשה שימוש במפתח לא מוצפן. למידע נוסף על יצירת מפתח מוצפן ושימוש בו בבקשות להסרת פרטים מזהים ולזיהוי מחדש, אפשר לעיין במאמר בנושא הסרת פרטים מזהים וזיהוי מחדש של נתונים רגישים.

יצירת החיבור ל-BigQuery ל-Cloud Run

1. ב-Cloud Shell, יוצרים חיבור ל-BigQuery כדי לגשת ל-Cloud Run:

   bq mk --connection \
   --display_name='External transform function connection' \
   --connection_type=CLOUD_RESOURCE \
   --project_id="${PROJECT_ID}" \
   --location="${REGION}" \
   ext-${CLOUD_RUN_SERVICE_NAME}
   

2. מאתרים ומגדירים את חשבון השירות של BigQuery שמשמש לחיבור:

   CONNECTION_SA="$(bq --project_id ${PROJECT_ID} --format json show \
       --connection ${PROJECT_ID}.${REGION}.ext-${CLOUD_RUN_SERVICE_NAME} \
       | jq -r '.cloudResource.serviceAccountId')"
   

3. מקצים לחשבון השירות את התפקיד Cloud Run Invoker:

   gcloud projects add-iam-policy-binding ${PROJECT_ID} \
       --member="serviceAccount:${CONNECTION_SA}" \
       --role='roles/run.invoker'
   

יצירת מערך נתונים ב-BigQuery לפונקציות מרוחקות

1. הגדרת מערך הנתונים ב-BigQuery לפונקציות המרוחקות:

   BQ_FUNCTION_DATASET="fns"
   

2. יוצרים את מערך הנתונים אם הוא עדיין לא קיים:

      bq mk --dataset \
          --project_id ${PROJECT_ID} \
          --location ${REGION} \
          ${BQ_FUNCTION_DATASET}
   

יצירת פונקציות מרוחקות של Sensitive Data Protection

1. אופציונלי: אם יש לכם תבנית בדיקה שבה אתם רוצים להשתמש, מגדירים את המשתנה DLP_INSPECT_TEMPLATE לשם המשאב המלא של תבנית הבדיקה הזו. תבנית הבדיקה צריכה להיות באותו אזור שהגדרתם במשתנה הסביבה REGION.

   מוודאים שתבנית הבדיקה כוללת את כל סוגי המידע שמשמשים בתבנית לביטול הזיהוי.

   אם מדלגים על השלב הזה, Sensitive Data Protection בודק את הנתונים באמצעות קבוצת ברירת מחדל של המערכת של גלאי infoType.

   DLP_INSPECT_TEMPLATE="DLP_INSPECT_TEMPLATE"
   

   מחליפים את DLP_INSPECT_TEMPLATE בשם המשאב המלא של תבנית הבדיקה, לדוגמה: projects/PROJECT_ID/locations/REGION/inspectTemplates/TEMPLATE_ID.

2. יוצרים את פונקציית הסרת פרטי הזיהוי של Sensitive Data Protection:

   bq query --project_id ${PROJECT_ID} \
   --use_legacy_sql=false \
   "CREATE OR REPLACE FUNCTION ${BQ_FUNCTION_DATASET}.dlp_freetext_encrypt(v STRING)
   RETURNS STRING
   REMOTE WITH CONNECTION \`${PROJECT_ID}.${REGION}.ext-${CLOUD_RUN_SERVICE_NAME}\`
   OPTIONS (endpoint = '${RUN_URL}', user_defined_context = [('mode', 'deidentify'),('algo','dlp'),('dlp-deid-template','${DEID_TEMPLATE_NAME}'),('dlp-inspect-template', '${DLP_INSPECT_TEMPLATE}')]);"
   

3. יוצרים את פונקציית הזיהוי מחדש של Sensitive Data Protection:

   bq query --project_id ${PROJECT_ID} \
   --use_legacy_sql=false \
   "CREATE OR REPLACE FUNCTION ${BQ_FUNCTION_DATASET}.dlp_freetext_decrypt(v STRING)
   RETURNS STRING
   REMOTE WITH CONNECTION \`${PROJECT_ID}.${REGION}.ext-${CLOUD_RUN_SERVICE_NAME}\`
   OPTIONS (endpoint = '${RUN_URL}', user_defined_context = [('mode', 'reidentify'),('algo','dlp'),('dlp-deid-template','${DEID_TEMPLATE_NAME}'),('dlp-inspect-template', '${DLP_INSPECT_TEMPLATE}')]);"
   

אימות של ביטול הזיהוי וזיהוי מחדש

כדי לוודא שהפתרון מבטל את הזיהוי של הנתונים ומזהה אותם מחדש, צריך לבצע את הפעולות הבאות:

הפלט אמור להיראות כך:

לתשומת ליבכם

כשמתאימים את המדריך הזה לצרכים שלכם, כדאי להתייחס לנקודות הבאות:

• הסרת הפרטים המזהים והוספתם מחדש מתבצעות באמצעות שירות Cloud Run. הקצאת מעבד (CPU) וזיכרון ב-Cloud Run בהתאם לדרישות המחשוב. לפרטים נוספים, ראו מגבלות על CPU ומגבלות על זיכרון ב-Cloud Run.
• כשמשתמשים ב-Sensitive Data Protection, כדאי לעיין במגבלות השימוש ובהמלצות לשליטה בעלויות.

• כדי לשלוט בעלויות ובניצול הכולל של מכסת Sensitive Data Protection, כדאי להגביל את הפריטים שמועברים דרך הפונקציה המרוחקת של Sensitive Data Protection ל-10,000 או פחות. הפתרון יכול לאגד את הבקשות באופן אוטומטי כדי לטפל בצורה חלקה במגבלות הבאות של בקשות Sensitive Data Protection:

  • מספר הערכים המקסימלי בטבלה: 50,000
  • מגבלת גודל הבקשה שמוגדרת כברירת מחדל: 0.5MB

  במקום המקור, צריך להעביר לפונקציה Sensitive Data Protection את התוצאות הסופיות והמסוננות של השאילתה.

  בפתרון הזה, כל ערך בעמודה pii_column הוא פריט – לדוגמה, My name is John Doe. My email is john.doe@example.com הוא פריט אחד.

• חשוב לוודא שמערך הנתונים ב-BigQuery, שירות Cloud Run והתבניות של Sensitive Data Protection נמצאים באותו אזור בענן.