系統管理
在 Cloud Data Fusion Studio 中按一下「System admin」,系統會顯示下列分頁:
- 「Management」分頁:查看各種 Cloud Data Fusion 服務的健康狀態。您也可以查看各項服務的記錄。
「Configuration」分頁:建立、查看及編輯下列控制項:
- 命名空間。詳情請參閱「使用命名空間服務帳戶控管存取權」。
- 系統運算設定檔:運算資源設定檔會指出在建立管道執行叢集和套用相關設定時,應使用哪個佈建工具。
Provisioner 負責建立、初始化及銷毀管道執行的雲端環境。每個建構工具都會公開一組設定,用於控制要建立及刪除哪種叢集。不同的佈建工具會建立不同類型的叢集。
每個運算設定檔都有一個範圍:系統或使用者。您可以為其中的任何命名空間使用系統運算設定檔。使用者運算設定檔位於命名空間中,只有該命名空間中的管道可以使用使用者運算設定檔。
在系統管理員的「Configuration」分頁中,您可以建立系統運算設定檔,套用至所有命名空間。Cloud Data Fusion 會指派預設運算設定檔。
建立運算設定檔時,您會選取供應者,該設定檔會使用供應者來建立及設定雲端執行階段詳細資料。
系統偏好設定
偏好設定是預先定義的設定,可套用至 Cloud Data Fusion 中的各個層級,包括系統本身、命名空間、應用程式 (包含管道),以及管道中的個別程式。偏好設定可讓您為常用的設定設定預設值。這些預設值可由較低層級的管道和程式繼承,進而減少重複的設定工作。詳情請參閱「管理巨集、偏好設定和執行階段引數」。
HTTP 呼叫動作
您可以透過「系統管理員」頁面上的 HTTP 呼叫動作,直接從 Cloud Data Fusion Studio 介面與 Cloud Data Fusion 專屬 API 互動,或與其他 Google Cloud 服務 API 互動。不過,如果要使用外部資料來源建構資料處理管道,請改為在管道中使用 HTTP 外掛程式及其 HTTP 呼叫執行緒,以便取得更全面的解決方案。與 HTTP 呼叫動作略有不同,但基礎概念相同。
設定和用途
HTTP 呼叫動作主要用於 Cloud Data Fusion 中的管理工作或設定用途。您可以直接透過 Cloud Data Fusion Studio 與 Cloud Data Fusion API 或其他公開 HTTP API 的 Google Cloud 服務互動。
設定
您可以為 HTTP 呼叫定義下列詳細資料:
- 網址:您要呼叫的網路服務的目標端點。
- Method:要使用的 HTTP 方法,例如
GET
、POST
或PUT
。 - 選用:標頭:要求所需的任何自訂標頭。
- 選用:主體:在要求主體中傳送的資料,例如
POST
和PUT
呼叫。
接著,您可以執行定義的 HTTP 呼叫,並在 Cloud Data Fusion Studio 中查看網路服務的回應。
用途
- 測試 Cloud Data Fusion API 呼叫。您可以使用 HTTP 呼叫動作,直接透過網頁介面測試或探索 Cloud Data Fusion API 功能。這項動作可協助您瞭解 API 行為或排解潛在問題。
- 管理命名空間 (進階)。雖然有專屬的使用者介面可用於命名空間管理,但您也可以使用 HTTP 呼叫動作來執行進階工作,方法是直接呼叫 Cloud Data Fusion API,以便建立、刪除或設定命名空間。
- 與其他 Google Cloud 服務互動 (受限)。 如果您使用的其他 Google Cloud 服務有公開記錄的 HTTP API,您可以使用 HTTP 呼叫動作與這些服務互動,但這不是常見的用途。
重要事項
- 安全性:請謹慎使用 HTTP 呼叫動作,特別是涉及可能影響環境的敏感資料或 Cloud Data Fusion API 呼叫的情況。請務必先瞭解每個 API 呼叫的影響,再執行該呼叫。
- 限制:HTTP 呼叫動作主要用於管理工作和測試用途。這項工具並非用於建構複雜的資料處理管道,因為這類管道會涉及在 Cloud Data Fusion 中操控資料。
- 管道替代方案:如要將外部資料來源或服務整合至資料管道,請在管道定義中使用 HTTP 外掛程式及其相關聯的 HTTP 呼叫執行程式。這可在資料處理工作流程中,以更健全且可控的方式管理 HTTP 互動。
命名空間管理
只要在 Cloud Data Fusion Studio 中按一下「命名空間管理員」,即可管理特定命名空間的設定。您可以為每個命名空間定義下列各項:
- 運算設定檔:在命名空間管理員中設定的設定檔是使用者運算設定檔。只有該命名空間中的管道可以使用這些使用者運算設定檔。詳情請參閱「管理運算設定檔」。
- 偏好設定:在命名空間層級定義的偏好設定適用於命名空間、應用程式 (包含管道) 以及管道中的個別程式。詳情請參閱「管理巨集、偏好設定和執行階段引數」。
- 連線:Cloud Data Fusion 可讓您在資料管道中重複使用來源和接收端的連線。您可以在命名空間管理員頁面中新增連結。詳情請參閱「建立及管理連線」。
- 驅動程式:Cloud Data Fusion 中的部分外掛程式需要將 JDBC 驅動程式新增至命名空間。舉例來說,您必須先將支援的 MySQL 驅動程式新增至命名空間,才能執行含有 MySQL 批次來源外掛程式的管道。您可以透過「命名空間管理」頁面,或直接透過 Hub 將 JDBC 驅動程式上傳或移除至命名空間。詳情請參閱「外掛程式驅動程式」。
- 來源控制管理:為了有效管理已部署管道的開發程序,來源控制管理可讓您將命名空間連結至來源控制系統的存放區。詳情請參閱「使用 Source Control Management 管理管道」。
- 服務帳戶:為控管對 Google Cloud 資源的存取權,Cloud Data Fusion 中的命名空間預設會使用 Cloud Data Fusion API 服務代理人。
為達到更好的資料隔離,您可以將自訂的 Identity and Access Management (IAM) 服務帳戶 (稱為「每個命名空間的服務帳戶」) 與每個命名空間建立關聯。自訂的 IAM 服務帳戶可用於不同命名空間,可讓您控制在 Cloud Data Fusion 中,針對管道設計階段作業 (例如管道預覽、Wrangler 和管道驗證) 的命名空間之間的 Google Cloud 資源存取權。詳情請參閱「使用命名空間服務帳戶控管存取權」。
後續步驟
- 進一步瞭解運算設定檔。
- 進一步瞭解巨集、偏好設定和執行階段引數。