使用 Dataplex Universal Catalog 管理 Looker (Google Cloud Core) 資源

本文說明如何使用 Dataplex Universal Catalog 搜尋及管理 Looker (Google Cloud 核心) 中繼資料資源。

Dataplex Universal Catalog 平台可儲存、管理及提供中繼資料存取權。這項工具會編列 Looker (Google Cloud Core) 的正式版 LookML、LookML 專案和資訊主頁中繼資料索引，做為編目工具。這項整合功能可提供資料資產及其關係的統一全面檢視畫面，包括資料沿襲。

Dataplex Universal Catalog 會擷取 Looker 的多個實體層級，包括：

• Looker 執行個體
• 資訊主頁
• 資訊主頁元素
• Look 圖表
• LookML 專案
• 型號
• 探索
• 檢視畫面 (包含維度和指標)

整合功能的運作方式

Looker 和 Dataplex Universal Catalog 整合功能會使用第一方連接器擷取中繼資料。Looker (Google Cloud 核心) 會將 LookML 中繼資料發布至區域 Cloud Storage 存放區，供 Dataplex Universal Catalog 透過批次同步程序使用。

根據預設，系統會自動將資料從 Looker (Google Cloud 核心) 傳輸至 Dataplex Universal Catalog，不需要變更任何設定。Looker (Google Cloud 核心) 會使用內部服務執行同步作業。內部批次同步處理程序大約每四小時執行一次，而 Looker 的資料大約每小時會重新整理一次，並匯入 Dataplex Universal Catalog。

更新 LookML 模型並推送至正式環境時，系統會自動將重要中繼資料與 Dataplex Universal Catalog 同步處理。這類中繼資料包括檢視畫面和探索詳細資料、欄位定義，以及模型資訊。同樣地，目錄中也會顯示資訊主頁中繼資料，包括標題、擁有權和使用統計資料。

何時該搭配 Looker 使用 Dataplex Universal Catalog

使用 Dataplex Universal Catalog 探索及瞭解 Looker 中繼資料。 目錄可協助進行下列活動：

• 影響分析：使用資料沿襲，以視覺化方式呈現資料從 BigQuery 流向 Looker 資訊主頁的過程。
• 探索：搜尋貴機構的資訊主頁、探索和檢視畫面。
• 變更管理：先瞭解依附元件，再進行變更。
• 資料移動管道：追蹤資料來源。

您也可以使用 Dataplex Universal Catalog，將層面附加至 Looker 中繼資料項目，藉此管理中繼資料。將切面附加至 Looker 資產，即可在資產中新增業務中繼資料，並依據該中繼資料搜尋資產。

所需權限

如要取得使用 Dataplex Universal Catalog 和 Looker (Google Cloud Core) 整合功能所需的權限，請要求系統管理員在 Looker (Google Cloud Core) 執行個體所在的專案中，授予下列 IAM 角色：

• 如要查看 Dataplex Universal Catalog 資源，請使用 Dataplex 檢視者 (roles/dataplex.viewer) 角色。
• 如要在 Dataplex Universal Catalog 中存取 Looker (Google Cloud Core) 中繼資料，請使用 Looker 結構定義檢視器 (roles/looker.schemaViewer)
  • Looker 結構定義檢視者預先定義的角色包含 looker.schemas.view 權限，可存取 Dataplex Universal Catalog 的 Looker (Google Cloud Core) 中繼資料。
• 如要啟用或停用 Dataplex Universal Catalog 與 Looker (Google Cloud Core) 的整合功能，請Looker 管理員 (roles/looker.admin) 執行下列步驟：
• 如要查看資料歷程圖：資料歷程檢視者 (roles/datalineage.viewer)

如要進一步瞭解如何授予角色，請參閱「管理專案、資料夾和機構的存取權」。

您或許也能透過自訂角色或其他預先定義的角色，取得必要權限。

啟用 Dataplex Universal Catalog 與 Looker (Google Cloud Core) 執行個體的整合功能

Looker (Google Cloud Core) 執行個體預設會啟用 Dataplex Universal Catalog。如要停用整合功能，請參閱本說明文件頁面的「停用 Dataplex Universal Catalog 與 Looker (Google Cloud Core) 執行個體的整合功能」一節。

如果執行個體已停用整合功能，但您想啟用，請完成下列步驟：

gcloud looker instances update INSTANCE_NAME --catalog-integration-enabled

啟用整合功能後，最多需要一天，Looker 資料才會顯示在 Dataplex Universal Catalog 中。

搜尋 Looker 資產

如要在 Dataplex Universal Catalog 中查看 Looker (Google Cloud 核心) 資料，請先啟用 Dataplex API。如要取得啟用 API 的必要權限，您必須具備「服務使用情形管理員」(roles/serviceusage.serviceUsageAdmin) IAM 角色。

啟用 Dataplex API

在 Google Cloud 控制台使用 Dataplex Universal Catalog 的「Search」(搜尋) 頁面，搜尋 Looker (Google Cloud 核心) 資產。

前往「搜尋」

在「篩選器」面板中，您可以使用「專案」、「系統」和「型別別名」部分，篩選 Looker (Google Cloud 核心) 資產。在「系統」部分，您可以篩選「Looker」。在「型別別名」中，選取下列一或多個選項，即可將搜尋結果篩選為特定類型的 Looker 資產：

• 資訊主頁
• 資訊主頁元素
• 探索
• LookML 專案
• 型號
• 執行個體
• 查看
• 其他

您也可以使用搜尋欄位執行搜尋查詢。您可以執行關鍵字或自然語言搜尋。舉例來說，如要透過關鍵字搜尋查看所有 Looker 資產，請輸入 system=Looker。如要查看所有 Looker 資訊主頁，請輸入查詢 system=Looker AND type=DASHBOARD。使用 type 關鍵字搜尋時，可用的資產如下：

• 資訊主頁
• dashboard_element
• 探索
• 執行個體
• Look 圖表
• lookml_project
• 模型
• 查看

如要進一步瞭解如何搜尋資源，請參閱「在 Dataplex Universal Catalog 中搜尋資源」說明文件頁面。如要進一步瞭解搜尋欄中可使用的運算式，請參閱「Dataplex Universal Catalog 的搜尋語法」說明文件頁面。

停用 Dataplex Universal Catalog 與 Looker (Google Cloud Core) 執行個體的整合功能

如要停用 Dataplex Universal Catalog 與 Looker (Google Cloud Core) 執行個體的整合，請完成下列步驟。

gcloud looker instances update INSTANCE_NAME --no-catalog-integration-enabled

如果啟用整合功能後又停用，Dataplex Universal Catalog 中已有的 Looker 中繼資料仍會保留，但不會更新為新的中繼資料。

VPC Service Controls

Looker (Google Cloud Core) 與 Dataplex Universal Catalog 的整合支援 VPC Service Controls。

如果 Looker (Google Cloud Core) 執行個體或 Dataplex Universal Catalog 資源位於 VPC Service Controls 服務周圍區域內，請務必確保可存取中繼資料匯出作業所需的服務。

• 請確認 Dataplex API (dataplex.googleapis.com) 已在您的安全防護範圍內設定為受限服務。
• 這項整合功能會使用內部 Cloud Storage bucket 傳輸中繼資料。確認服務周邊允許存取必要的 Cloud Storage 資源。如果遇到與中繼資料匯出相關的 PERMISSION_DENIED 錯誤，請與 Google Cloud 帳戶團隊或支援團隊聯絡。

定價

在 Dataplex Universal Catalog 儲存 Looker (Google Cloud 核心) 技術中繼資料不需付費。API 呼叫和額外的商業中繼資料擴充功能適用標準 Dataplex Universal Catalog 定價。詳情請參閱 Dataplex Universal Catalog 定價頁面。

限制

本節列出使用 Looker (Google Cloud 核心) 和 Dataplex Universal Catalog 的限制：

• Looker 的中繼資料不會立即顯示在目錄中。批次同步處理程序會以固定間隔執行，資料大約每小時更新一次。
• 這個整合項目沒有公開的 API。
• 如要瞭解資料歷程的限制，請參閱「使用 Dataplex Universal Catalog 追蹤資料歷程」頁面。

後續步驟

• 使用 Dataplex Universal Catalog 追蹤資料歷程。
• 瞭解 Dataplex Universal Catalog 的中繼資料管理功能。
• 瞭解如何在 Dataplex Universal Catalog 中搜尋資源。
• 瞭解如何管理層面及豐富中繼資料。