安裝自訂外掛程式

Cloud Composer 3 | Cloud Composer 2 | Cloud Composer 1

本頁面說明如何在 Cloud Composer 環境中安裝自訂外掛程式。

Apache Airflow 的外掛程式管理工具可讓您編寫自訂內部 Apache Airflow 運算子、掛鉤、感應器或介面。詳情請參閱 Airflow 說明文件中的「自訂外掛程式」一節。

關於自訂外掛程式

當您建立環境時,Cloud Composer 會建立 Cloud Storage 值區,並將該值區與您的環境建立關聯。您必須在環境值區的 plugins 資料夾中安裝自訂外掛程式。

事前準備

安裝外掛程式

如要在 Cloud Composer 環境中安裝自訂外掛程式,請將外掛程式程式碼複製到環境值區的 plugins 資料夾中。

如要安裝外掛程式,請按照下列步驟操作:

主控台

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 找出環境,然後點按「DAG」連結。

  3. 前往上一層資料夾,然後前往 plugins/ 資料夾。

  4. 上傳外掛程式檔案。如要進一步瞭解如何上傳物件,請參閱「上傳物件」。

gcloud

使用下列 gcloud 指令:

gcloud composer environments storage plugins import \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    --source PATH_TO_LOCAL_FILE \
    --destination PATH_IN_SUBFOLDER

取代:

  • ENVIRONMENT_NAME 替換為環境的名稱。
  • LOCATION 改成環境所在的地區。
  • PATH_TO_LOCAL_FILE 與要上傳的檔案路徑。
  • (選用) PATH_IN_SUBFOLDER 與子資料夾路徑。使用 --destination 引數,將外掛程式上傳至 plugins 資料夾中的子資料夾。否則,請省略 --destination 引數。

查看外掛程式清單

主控台

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 找出環境,然後點按「DAG」連結。

  3. 前往上一層資料夾,然後前往 plugins/ 資料夾。

  4. 查看外掛程式檔案。

gcloud

使用下列 gcloud 指令:

gcloud composer environments storage plugins list \
    --environment ENVIRONMENT_NAME \
    --location LOCATION

取代:

  • ENVIRONMENT_NAME 替換為環境的名稱。
  • LOCATION 改成環境所在的地區。

刪除外掛程式

如要將外掛程式從 Cloud Composer 環境中刪除,請在環境值區的 plugins 資料夾中,刪除外掛程式程式碼。

如要刪除外掛程式,請按照下列步驟操作:

主控台

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 找出環境,然後點按「DAG」連結。

  3. 前往上一層資料夾,然後前往 plugins/ 資料夾。

  4. 刪除外掛程式檔案。如要進一步瞭解如何刪除物件,請參閱「刪除物件」。

gcloud

使用下列 gcloud 指令:

gcloud composer environments storage plugins delete \
    --environment ENVIRONMENT_NAME \
    --location LOCATION \
    PLUGIN_TO_DELETE

下載外掛程式

如要下載外掛程式,請選擇下列其中一個選項:

主控台

  1. 前往 Google Cloud 控制台的「Environments」頁面。

    前往「環境」

  2. 找出環境,然後點按「DAG」連結。

  3. 前往上一層資料夾,然後前往 plugins/ 資料夾。

  4. 下載外掛程式檔案。如要進一步瞭解如何刪除物件,請參閱「下載物件」一文。

gcloud

使用下列 gcloud 指令:

gcloud composer environments storage plugins export \
  --environment ENVIRONMENT_NAME \
  --location LOCATION \
  --destination PATH_TO_LOCAL_DESTINATION \
  --source PATH_IN_FOLDER

取代:

  • ENVIRONMENT_NAME 替換為環境的名稱。
  • LOCATION 改成環境所在的地區。
  • PATH_TO_LOCAL_DESTINATION 與下載檔案的目的地。
  • (選用) --source 可用來只下載單一外掛程式。PATH_IN_FOLDER 是資料夾路徑。

排解外掛程式問題

Airflow UI 中無法顯示新上傳的外掛程式

如果您使用 Airflow UI 存取控管,則新上傳的外掛程式可能不會顯示在 Airflow UI 中。如要解決這個問題,請要求 Airflow UI 管理員設定新上傳外掛程式的存取權,或是在 Airflow UI 中指派 Admin 角色給自己。

後續步驟