Dasbor pemantauan project Dataflow

Antarmuka pemantauan berbasis web Dataflow mencakup dasbor yang memantau tugas Dataflow Anda di tingkat project. Diagram ini menampilkan data untuk semua tugas dalam satu project.

Buka dasbor

Dasbor ini dapat membantu Anda dalam tugas berikut:

  • Mendeteksi dan mengidentifikasi sumber error kuota.
  • Mendeteksi penskalaan otomatis horizontal yang anomali dalam tugas.
  • Mengidentifikasi tugas streaming yang lambat atau macet.

Dasbor ini menggunakan Cloud Monitoring untuk mengakses metrik tugas Dataflow. Untuk menyesuaikan informasi yang ditampilkan dalam diagram, gunakan Metrics Explorer.

Fitur

Dasbor ini mencakup fitur berikut:

  • Memilih tugas yang akan muncul di dasbor menggunakan ekspresi reguler.
  • Mengakses halaman detail tugas dari diagram individual.
  • Menyesuaikan widget dan diagram dasbor.

Peran yang diperlukan

Untuk mendapatkan izin yang diperlukan untuk melihat data diagram, minta administrator untuk memberi Anda peran IAM Monitoring Viewer (roles/monitoring.viewer). Untuk mengetahui informasi selengkapnya tentang cara memberikan peran, lihat Mengelola akses ke project, folder, dan organisasi.

Peran bawaan ini berisi izin monitoring.timeSeries.list , yang diperlukan untuk melihat data diagram.

Anda mungkin juga bisa mendapatkan izin ini dengan peran khusus atau peran bawaan lainnya.

Mengakses dasbor

Untuk mengakses dasbor, ikuti langkah-langkah berikut:

  1. Login ke Google Cloud konsol.
  2. Pilih project Google Cloud Anda.
  3. Buka menu navigasi.
  4. Di Analytics, klik Dataflow.

  5. Di menu navigasi Dataflow, klik Monitoring.

    Buka dasbor

Metrik dasbor

Secara default, diagram deret waktu berikut akan muncul di dasbor. Untuk mengetahui informasi selengkapnya tentang metrik yang ditampilkan, lihat Metrik tugas.

Diagram berikut berlaku untuk tugas batch dan streaming:

  • Tugas yang sedang berjalan. Menampilkan jumlah tugas aktif yang berjalan di project. Diagram ini menunjukkan aktivitas Dataflow secara keseluruhan dalam project dari waktu ke waktu.
  • Worker per tugas (25 teratas). Menampilkan jumlah worker saat ini untuk 25 tugas yang paling diparalelkan. Diagram ini berguna untuk memahami alokasi resource dan mengidentifikasi tugas dengan workload tinggi. Anda juga dapat melihat apakah tugas memiliki perilaku penskalaan yang tidak terduga.
  • Jumlah total vCPU. Menampilkan jumlah total CPU virtual (vCPU) yang digunakan di semua tugas dalam project. Jumlah total vCPU memengaruhi kuota Compute Engine.
  • vCPU per tugas (25 teratas). Menampilkan 25 tugas yang menggunakan resource vCPU terbanyak. Diagram ini menyoroti tugas yang berpotensi mahal.
  • Jumlah total vCPU. Menampilkan agregat vCPU yang digunakan di seluruh project. Diagram ini memberikan tampilan tingkat tinggi resource Compute Engine yang digunakan oleh tugas Anda.
  • Error kuota terlampaui. Melaporkan setiap instance saat kuota Dataflow atau kuota Compute Engine telah tercapai. Diagram ini dapat membantu Anda menemukan potensi kegagalan tugas atau perlambatan penskalaan.

Diagram berikut berlaku untuk tugas streaming:

  • Latensi sistem rata-rata. Menampilkan latensi sistem rata-rata , yang mencerminkan penundaan umum yang dialami data saat melewati tahap sumber. Diagram ini dapat menunjukkan potensi bottleneck input. Gunakan diagram ini untuk mengidentifikasi tugas streaming yang memiliki penundaan yang tidak biasa antara saat data muncul di sumber dan saat data ditulis ke semua sink.
  • Keterlambatan sistem (25 teratas). Menampilkan 25 pipeline streaming dengan keterlambatan sistem tertinggi, yaitu jumlah waktu terlama yang dihabiskan data untuk diproses atau menunggu pemrosesan. Diagram ini dapat menunjukkan potensi bottleneck pemrosesan real-time.
  • Keterlambatan watermark data per tahap (25 teratas). Menampilkan 25 tugas streaming dengan keterlambatan watermark terbesar. Keterlambatan watermark untuk suatu tahap adalah perbedaan antara waktu peristiwa terbaru yang diterima oleh tahap dan watermark. Diagram ini dapat menunjukkan potensi bottleneck pada granularitas per tahap. Gunakan diagram ini untuk menemukan tugas streaming yang mungkin lambat atau macet. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah tugas streaming yang lambat atau macet.
  • Penggunaan SECU (25 teratas). Menampilkan 25 tugas streaming yang menggunakan Unit Komputasi Streaming Engine terbanyak. Gunakan diagram ini untuk mengukur biaya dan intensitas tugas streaming Anda yang menggunakan penagihan berbasis resource.
  • Latensi pemrosesan pengguna (25 teratas). Menampilkan 25 tugas streaming yang kode yang ditentukan pengguna di tahap pemrosesan memerlukan waktu terlama. Gunakan diagram ini untuk menemukan potensi bottleneck performa dalam logika aplikasi Anda.
  • Byte backlog maksimum (25 teratas). Menampilkan 25 tugas streaming dengan volume data yang belum diproses terbesar yang menunggu di tahap mana pun. Diagram ini dapat menunjukkan potensi kelebihan beban input atau pemrosesan yang lambat.
  • Kunci yang di-backlog (25 teratas). Menampilkan tugas streaming yang di-backlog berdasarkan jumlah kunci yang di-backlog terbesar dalam tahap bottleneck. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah bottleneck.
  • Kemungkinan penyebab bottleneck (10 teratas). Menampilkan 10 kemungkinan penyebab utama tahap bottleneck dalam tugas yang di-backlog. Untuk mengetahui informasi selengkapnya, lihat Memecahkan masalah bottleneck.

Untuk mengetahui informasi selengkapnya tentang cara menggunakan diagram, lihat Menjelajahi data yang di-diagramkan.

Menyesuaikan dasbor

Anda dapat menyesuaikan konten dasbor dan informasi yang ditampilkan dalam diagram. Saat Anda mengedit dasbor, dasbor baru yang disesuaikan akan dibuat.

Dasbor ini menggunakan Cloud Monitoring untuk mengakses metrik tugas Dataflow. Gunakan alat Cloud Monitoring untuk menyesuaikan diagram.

  1. Buka dasbor, lalu klik Sesuaikan Dasbor.
  2. Ubah dasbor Anda.
  3. Klik Simpan, lalu klik Lihat dasbor yang disesuaikan.

Setelah membuat dasbor yang disesuaikan, untuk kembali ke dasbor default, di menu Dasbor, pilih Bawaan.

Untuk contoh cara menambahkan diagram metrik kustom ke dasbor, lihat Menyesuaikan dasbor pemantauan Dataflow.

Pemecahan masalah

Bagian ini memberikan petunjuk untuk memecahkan masalah umum

Data tidak tersedia

Saat Anda membuka dasbor, satu atau beberapa diagram akan menampilkan pesan berikut:

No data is available for the selected time frame.

Pesan ini muncul saat periode waktu yang tercakup dalam diagram tidak memiliki data. Untuk mengatasi masalah ini, ubah atau perluas rentang waktu.

Untuk mengubah rentang waktu yang ditampilkan, di diagram, klik Jelajahi data, lalu gunakan pemilih rentang waktu.

Tidak dapat memulihkan widget yang dihapus

Saat Anda menghapus widget dari dasbor, Anda akan membuat dasbor yang disesuaikan. Setelah membuat dasbor yang disesuaikan, untuk kembali ke dasbor default, di menu Dasbor, pilih Bawaan.

Tidak dapat melihat diagram

Untuk melihat data diagram, Anda memerlukan izin monitoring.timeSeries.list. Untuk mengetahui informasi selengkapnya, lihat Peran yang diperlukan.

Langkah berikutnya