Halaman ini menjelaskan repositori yang menyimpan kode Apache Airflow yang di-patch dan digunakan di Managed Airflow.
Tentang repositori
Repositori Composer-Airflow adalah repositori hanya baca yang berisi kode Apache Airflow yang telah ditambal dan berjalan di Managed Airflow.
Versi Apache Airflow tertentu yang ditemukan di Managed Airflow tidak selalu sama persis dengan versi yang sesuai di Airflow versi utama karena Managed Airflow menggunakan versi Airflow yang telah ditambal. Repositori ini menyimpan kode untuk setiap versi patch Airflow yang digunakan di Managed Airflow. Untuk mengetahui informasi tentang versi Airflow yang ditemukan di Managed Airflow, lihat Daftar versi Managed Airflow.
Berkontribusi
Kode ini bukan merupakan fork dari Apache Airflow. Kode yang ada di repositori ini berasal langsung dari repositori Apache Airflow, tetapi pada linimasa yang berbeda dari rilis Apache Airflow normal.
Jika Anda ingin berkontribusi pada basis kode ini, maka berkontribusilah langsung ke Airflow saja. Jangan lakukan itu di repositori ini karena Pull Request tidak diterima di sini.
Masalah dan dukungan
- Jika Anda memiliki masalah dengan kode yang terdapat di repositori ini, Anda dapat membuat masalah secara langsung di repositori Airflow.
- Jika Anda mengalami masalah terkait Managed Airflow, gunakan saluran dukungan Managed Airflow.
Menjelajahi repositori
Repositori ini memiliki satu cabang untuk setiap versi Airflow yang tersedia di Managed Service untuk Apache Airflow. Tidak semua versi Airflow didukung di Managed Airflow. Anda dapat melihat versi Airflow yang didukung oleh versi Managed Airflow tertentu di daftar versi Managed Airflow.
Contoh penggunaan
Bagian ini berisi contoh penggunaan repositori.
Apakah commit ini berasal dari repository Airflow di versi Managed Airflow saya?
SHA1 dari commit di repositori Composer-Airflow tidak sesuai dengan SHA1 commit di repositori upstream Airflow. Salah satu cara untuk menelusuri commit tertentu adalah dengan mencari pesan commit yang sesuai.
Tidak dimungkinkan untuk menggunakan UI GitHub untuk mencari pesan commit di branch selain branch default, namun, hal itu dapat dilakukan menggunakan CLI git. Untuk menelusuri commit tertentu di repositori ini, Anda harus
menginstal git.
Untuk menelusuri pesan commit menggunakan CLI git:
Kloning repositori dan masuk ke direktori repositori menggunakan perintah berikut:
git clone git@github.com:GoogleCloudPlatform/composer-airflow.git && \ cd composer-airflowCari pesan commit:
git log --source --grep="COMMIT_MESSAGE" --allDalam perintah ini:
--sourcemenunjukkan cabang tempat commit ditemukan--grepmenentukan pesan yang harus dicari di log--allpencarian di semua cabang
Cabang tersebut terletak di sebelah hash commit pada baris pertama setiap hasil. Jika perintah tersebut mengembalikan commit, ini berarti commit tersebut sudah ada di versi Managed Airflow Anda. Selain itu, jika versi Airflow di lingkungan Anda lebih baru daripada versi branch, maka commit tersebut akan digunakan pada versi Airflow di lingkungan Anda.
Misalnya, jika Anda ingin mencari pesan commit Force explicit choice on GPL dependency, maka perintah Anda adalah:
git log --source --grep="Force explicit choice on GPL dependency" --all
Jika terdapat commit yang cocok, maka hasilnya akan terlihat seperti contoh output berikut. Mungkin ada lebih dari satu hasil.
commit 64ff1089e30e80b08bf5155edd9e49f5293ebbe4 refs/heads/1.10.2
Author: example_airflow_committer
Date: Wed Aug 1 11:25:31 2018 +0200
[AIRFLOW-2817] Force explicit choice on GPL dependency (#3660)
By default one of Apache Airflow's dependencies pulls in a GPL
library. Airflow should not install (and upgrade) without an explicit choice.
This is part of the Apache requirements as we cannot depend on Category X
software.
(cherry picked from commit c37fc0b6ba19e3fe5656ae37cef9b59cef3c29e8)
Signed-off-by: Example Airflow Committer
(cherry picked from commit b39e4532d9d1086c60b31553d08972bcc68df641)
Signed-off-by: Example Airflow Committer
GitOrigin-RevId: cefcf4c61f64be3792cbfed509b82a9eb4cc47be
Seperti apa tampilan operator Airflow ini di Managed Airflow versi saya?
Operator Airflow dan kode pendukungnya dikemas dan dirilis secara terpisah dari Airflow inti dalam paket PyPI yang disebut paket penyedia.
Beberapa paket ini diinstal secara default di Managed Airflow. Untuk mengetahui versi mana yang terpasang di lingkungan Anda, periksa daftar paket untuk versi Managed Airflow di lingkungan Anda pada versions list.
Antarmuka pengguna GitHub
Untuk melihat kode operator dalam versi paket penyedia tertentu:
Buka repositori Airflow upstream.
Masukkan nama operator yang Anda cari di kotak penelusuran GitHub.
Jika lebih dari satu file dikembalikan, klik file kode dengan jalur yang diawali dengan
airflow/providers.Misalnya, jika Anda mencari
GoogleCloudStorageCreateBucketOperator, maka pilihairflow/providers/google/cloud/operators/gcs.py.Klik pemilih cabang, yang akan membuka menu drop-down Switch branches/tags.
Klik tab Tags.
Untuk paket
providers, cari nama penyedia dan versinya dengan mengetikproviders-PROVIDER_NAME/PROVIDER_VERSIONdi bilah pencarian daftar tarik-turun, di manaPROVIDER_NAMEadalah nama penyedia, danPROVIDER_VERSIONadalah nama versi yang Anda cari.Misalnya, jika Anda ingin melihat versi
10.0.0dari paketapache-airflow-providers-google, Anda akan mencariproviders-google/10.0.0.Untuk paket
backport-providers, yang digunakan di Airflow 1, telusuribackport-providers-PROVIDER_VERSIONdi kotak penelusuran daftar drop-down.Misalnya, jika Anda ingin melihat versi
2021.3.3dari paketapache-airflow-backport-providers-google, telusuribackport-providers-2021.3.3.Klik hasil yang sesuai dengan kueri Anda.
Kode yang ditampilkan di layar adalah kode yang berjalan di versi operator Anda. Anda juga dapat mengklik Histori untuk melihat histori commit hingga saat ini.
git CLI
Untuk melihat kode operator dalam versi paket penyedia tertentu:
Buat clone repositori Airflow upstream.
Untuk paket
providers, jalankangit checkout providers-PROVIDER_NAME/PROVIDER_VERSION, di manaPROVIDER_NAMEadalah nama penyedia, danPROVIDER_VERSIONadalah nama versi yang Anda cari.Misalnya, jika Anda ingin melihat versi
10.0.0paketapache-airflow-providers-google, jalankangit checkout providers-google/10.0.0.Untuk paket
backport-providers, yang digunakan di Airflow 1, jalankangit checkout backport-providers-PROVIDER_VERSION.Misalnya, jika Anda ingin melihat versi
2021.3.3dari paketapache-airflow-backport-providers-google,jalankangit checkout backport-providers-2021.3.3.Jika tidak mengetahui jalur file untuk operator, Anda dapat menelusurinya dengan perintah
git grep. Contoh berikut menunjukkan cara mencari GoogleCloudStorageCreateBucketOperator.git grep GoogleCloudStorageCreateBucketOperatorOutputnya adalah daftar file tempat string (dalam hal ini, nama operator) dapat ditemukan. Dari daftar tersebut, buka file dan periksa isinya lebih lanjut.
airflow/contrib/operators/gcs_operator.py:class GoogleCloudStorageCreateBucketOperator(BaseOperator): airflow/contrib/operators/gcs_operator.py: CreateBucket = GoogleCloudStorageCreateBucketOperator( airflow/contrib/operators/gcs_operator.py: super( GoogleCloudStorageCreateBucketOperator, self).__init__(*args, **kwargs) docs/code.rst:.. autoclass:: airflow.contrib.operators.gcs_operator.Google CloudStorageCreateBucketOperator docs/integration.rst:- :ref:`GoogleCloudStorageCreateBucketOperator` : Creates a new cloud storage bucket. docs/integration.rst:.. _GoogleCloudStorageCreateBucketOperator: docs/integration.rst:GoogleCloudStorageCreateBucketOperator docs/integration.rst:.. autoclass:: airflow.contrib.operators.gcs_operator .GoogleCloudStorageCreateBucketOperator tests/contrib/operators/test_gcs_operator.py:from airflow.contrib.operators.gcs_operator import GoogleCloudStorageCreateBucketOperator tests/contrib/operators/test_gcs_operator.py: operator = GoogleCloudStorageCreateBucketOperator(
Langkah berikutnya
- Jalankan lingkungan Airflow lokal dengan alat CLI Pengembangan Lokal Composer