Google Cloud 시스템에서 데이터 계보 사용

데이터 계보에는 프로젝트 리소스와 이를 만든 프로세스 간의 관계가 표시됩니다.

Google Cloud 콘솔에서 데이터 계보 세부정보를 보거나 Data Lineage API를 사용하여 검색할 수 있습니다.

처리되는 데이터 양에 따라 데이터 계보에 그래프가 표시되는 데 시간이 걸립니다. 대부분의 작업에서는 3시간이 걸리며 일부 작업에서는 최대 24시간이 걸릴 수 있습니다.

계보는 프로젝트 전반에서 캡처됩니다. 여러 프로젝트에서 생성된 계보를 보면 관련 프로젝트에서 합산된 계보 정보를 볼 수 있습니다.

역할 및 권한

데이터 계보를 보려면 특정 Identity and Access Management(IAM) 권한이 필요합니다. 계보 정보는 프로젝트 전반에서 캡처되므로 여러 프로젝트에 권한이 있어야 합니다.

Dataplex Universal Catalog, BigQuery 또는 Vertex AI에서 계보를 보는 경우: 계보를 보는 프로젝트에서 계보 정보를 볼 수 있는 권한이 필요합니다.
다른 프로젝트에 기록된 계보를 보는 경우: 계보가 기록된 프로젝트에서 계보 정보를 볼 수 있는 권한이 필요합니다.

데이터 계보를 보려면 다음 역할이나 권한이 필요합니다. 관련 리소스(예: 프로젝트 또는 BigQuery 테이블)의 주 구성원(예: 사용자 또는 서비스 계정)에 이러한 역할을 부여합니다.

데이터 계보 뷰어(roles/datalineage.viewer): Google Cloud 콘솔에서 계보를 보고 Data Lineage API를 사용할 수 있는 권한을 부여합니다. 계보가 기록되는 프로젝트와 계보가 표시되는 프로젝트에 이 역할을 적용해야 합니다. 자세한 내용은 프로젝트 유형을 참조하세요.
Dataplex Universal Catalog 뷰어(roles/dataplex.catalogViewer): Dataplex Universal Catalog에 카탈로그화된 애셋의 메타데이터를 볼 수 있는 권한을 부여합니다. 사용자가 계보 그래프에서 항목 세부정보를 볼 수 있도록 카탈로그 항목이 저장된 프로젝트에 이 역할을 부여합니다. 또는 소스 시스템에 대한 뷰어 역할을 부여할 수 있습니다. 자세한 내용은 Dataplex Universal Catalog에서 데이터 애셋 검색을 참조하세요.
기타 BigQuery 권한:
- 계보 그래프에서 테이블 정의 또는 뷰 쿼리와 같은 BigQuery 애셋 세부정보를 보려면 BigQuery 데이터 뷰어(roles/bigquery.dataViewer) 역할을 부여합니다.
- 계보를 생성한 BigQuery 작업의 SQL 쿼리를 보려면 bigquery.jobs.get 권한을 부여합니다. 이 권한은 BigQuery 관리자(roles/bigquery.admin) 역할 및 BigQuery 리소스 뷰어(roles/bigquery.resourceViewer) 역할과 같은 역할에 포함되어 있습니다.

Data Lineage API를 사용 설정하면 데이터 계보에서 계보 정보를 자동으로 추적합니다. 데이터 애셋 계보를 캡처하는 데 관리자 역할이나 편집자 역할이 필요하지 않습니다.

역할 부여에 대한 자세한 내용은 액세스 관리를 참조하세요. 상위 폴더 또는 조직 수준에서 역할을 할당할 수 있습니다. 자세한 내용은 단일 역할 부여 또는 취소를 참조하세요.

데이터 계보 뷰 유형

계보 정보를 그래프나 목록으로 볼 수 있습니다. 계보 그래프에는 기본적으로 테이블 수준 계보가 표시됩니다. BigQuery 작업의 경우 그래프 보기와 목록 보기 모두에서 열 수준 계보를 볼 수 있습니다.

사용 가능한 뷰 유형은 다음과 같습니다.

그래프 뷰: 계보를 대화형 그래프로 표시하여 노드를 확장해 데이터 애셋과 열 간의 관계를 탐색할 수 있습니다.
목록 보기: 계보를 표 형식으로 표시하여 테이블 수준 및 열 수준 계보를 간소화된 상세 표현으로 제공합니다. 이 뷰에서 열을 맞춤설정하고 계보 데이터를 내보낼 수 있습니다.

그래프의 주요 요소는 다음과 같습니다.

노드: 데이터 항목을 나타냅니다. 테이블 수준 뷰에서 노드는 테이블 이름과 열을 보여줍니다. 열 수준 뷰에서 각 노드는 계보가 있는 특정 테이블과 해당 열을 나타냅니다.
에지: 노드를 연결하고 노드 간에 발생하는 프로세스를 나타내는 선입니다. 변환에 대한 자세한 정보를 제공하기 위해 에지에 아이콘이나 라벨을 표시할 수 있습니다.
- 아이콘: 테이블 수준 뷰에서 아이콘은 변환 프로세스를 나타내기 위해 에지에 표시됩니다. 그래프를 수동으로 탐색할 때 에지의 아이콘은 프로세스의 소스 시스템(예: BigQuery 또는 Vertex AI)을 나타냅니다. 프로세스 여러 개가 포함된 경우 '여러 프로세스' 아이콘이 표시됩니다. 프로세스 소스 시스템을 모르면 기어 아이콘이 사용됩니다. 필터를 적용하면 모든 프로세스에 기어 아이콘이 사용됩니다.
- 라벨: 열 수준 뷰의 에지에 Exact copy 또는 Other와 같은 열 간 종속 항목 유형을 설명하는 라벨이 지정됩니다.

데이터 계보 사용 설정

데이터 계보를 사용 설정하여 지원되는 시스템의 계보 정보를 자동으로 추적합니다. 계보를 보는 프로젝트와 계보가 기록되는 프로젝트 모두에서 Data Lineage API를 사용 설정해야 합니다. 자세한 내용은 프로젝트 유형을 참조하세요.

계보 정보를 캡처하려면 다음 단계를 완료합니다.
1. Google Cloud 콘솔의 프로젝트 선택기 페이지에서 계보를 기록할 프로젝트를 선택합니다.
  
  프로젝트 선택기로 이동
2. Data Lineage API를 사용 설정합니다.
  
  Data Lineage API 사용 설정
3. 계보를 기록하려는 각 프로젝트에 대해 이전 단계를 반복합니다.
계보를 보는 프로젝트에서 Data Lineage API 및 Dataplex API를 사용 설정합니다.

API 사용 설정

Dataplex Universal Catalog에서 계보 보기

Dataplex Universal Catalog 웹 인터페이스에서 데이터 계보 정보를 볼 수 있습니다.

계보를 보려면 다음 안내를 따르세요.

Google Cloud 콘솔에서 Dataplex Universal Catalog 검색 페이지로 이동합니다.

검색 페이지로 이동
검색 모드로 Dataplex Universal Catalog를 선택합니다.
보려는 항목을 검색한 후 클릭합니다. 자세한 내용은 Dataplex Universal Catalog에서 리소스 검색을 참조하세요.
계보 탭을 클릭합니다.

기본 그래프 뷰가 열리고 시스템과 리전 전반의 테이블 수준 계보가 표시됩니다. 자세한 내용은 계보 그래프 뷰를 참조하세요.
계보 그래프를 수동으로 탐색하려면 노드 옆에 있는 펼치기를 클릭하여 한 번에 노드 5개를 더 로드합니다.

자세한 내용은 계보 그래프 수동 탐색을 참조하세요.
그래프 뷰에서 노드를 클릭합니다.

세부정보 패널이 열리고 정규화된 이름 및 유형과 같은 애셋에 대한 정보가 표시됩니다. 자세한 내용은 노드 세부정보를 참조하세요.
그래프 뷰에서 프로세스 아이콘이 있는 에지를 클릭합니다.

쿼리 패널이 열립니다. 자세한 내용은 변환 로직 검사 및 실행 감사 및 기록을 참조하세요.
- 변환 로직을 검사하려면 세부정보 탭을 클릭합니다.
- 실행 감사 및 기록을 보려면 실행 탭을 클릭합니다.
계보 탐색기 패널에서 필터 기준(예: 방향, 종속 항목 유형 또는 기간)을 선택한 후 적용을 클릭합니다.

그러면 특정 리전 내에 포커스가 지정된 보기가 열립니다(프리뷰). 이 뷰는 최대 3단계 노드까지 그래프를 자동으로 펼칩니다. 자세한 내용은 포커스가 지정된 계보 뷰를 위해 필터 적용을 참조하세요.
포커스가 지정된 그래프 보기에서 노드를 선택한 후 노드 세부정보 패널에서 경로 시각화를 클릭하여 선택한 노드에서 루트 항목까지의 계보 경로를 시각화합니다(프리뷰, 포커스가 지정된 뷰만 해당).

자세한 내용은 계보 경로 시각화를 참조하세요.
열 수준 계보(프리뷰, BigQuery 작업에만 해당)를 보려면 다음 중 하나를 수행합니다.
- 포커스가 지정된 그래프 뷰의 테이블에서 열 아이콘을 클릭합니다.
  
  열 아이콘
- 계보 탐색기 패널에서 열 이름별로 필터링하고 적용을 클릭합니다.
자세한 내용은 열 수준 계보를 참조하세요.
재설정을 클릭합니다.

이 작업은 적용된 필터를 모두 삭제하고 그래프 뷰의 시작 부분으로 이동합니다.
목록을 클릭하여 목록 보기로 전환합니다.

목록 보기는 테이블 수준 및 열 수준 계보(프리뷰)의 간소화된 상세 표 형식 표현을 제공하며 그래프 보기와 동기화됩니다. 기본적으로 간소화된 목록 보기가 표시되며 개별 소스-대상 관계를 분석하기 위해 상세 목록 보기로 전환할 수 있습니다. 표시되는 열을 구성하고 계보 데이터를 내보낼 수 있습니다. 자세한 내용은 계보 목록 보기를 참조하세요.

BigQuery에서 계보 보기

BigQuery 웹 인터페이스에서 데이터 계보 정보를 볼 수 있습니다.

계보를 보려면 다음 안내를 따르세요.

Google Cloud 콘솔에서 BigQuery 페이지로 이동합니다.
BigQuery 페이지 열기
데이터 계보를 보려는 테이블을 엽니다.
계보 탭을 클릭합니다.

기본 그래프 뷰가 열리고 시스템과 리전 전반의 테이블 수준 계보가 표시됩니다. 자세한 내용은 계보 그래프 뷰를 참조하세요.
계보 그래프를 수동으로 탐색하려면 노드 옆에 있는 펼치기를 클릭하여 한 번에 노드 5개를 더 로드합니다.

자세한 내용은 계보 그래프 수동 탐색을 참조하세요.
그래프 뷰에서 노드를 클릭합니다.

세부정보 패널이 열리고 정규화된 이름 및 유형과 같은 애셋에 대한 정보가 표시됩니다. 자세한 내용은 노드 세부정보를 참조하세요.
그래프 뷰에서 프로세스 아이콘이 있는 에지를 클릭합니다.

쿼리 패널이 열립니다. 자세한 내용은 변환 로직 검사 및 실행 감사 및 기록을 참조하세요.
- 변환 로직을 검사하려면 세부정보 탭을 클릭합니다.
- 실행 감사 및 기록을 보려면 실행 탭을 클릭합니다.
계보 탐색기 패널에서 필터 기준(예: 방향, 종속 항목 유형 또는 기간)을 선택한 후 적용을 클릭합니다.

그러면 특정 리전 내에 포커스가 지정된 보기가 열립니다(프리뷰). 이 뷰는 최대 3단계 노드까지 그래프를 자동으로 펼칩니다. 자세한 내용은 포커스가 지정된 계보 뷰를 위해 필터 적용을 참조하세요.
포커스가 지정된 그래프 보기에서 노드를 선택한 후 노드 세부정보 패널에서 경로 시각화를 클릭하여 선택한 노드에서 루트 항목까지의 계보 경로를 시각화합니다(프리뷰, 포커스가 지정된 뷰만 해당).

자세한 내용은 계보 경로 시각화를 참조하세요.
열 수준 계보(프리뷰, BigQuery 작업에만 해당)를 보려면 다음 중 하나를 수행합니다.
- 포커스가 지정된 그래프 뷰의 테이블에서 열 아이콘을 클릭합니다.
  
  열 아이콘
- 계보 탐색기 패널에서 열 이름별로 필터링하고 적용을 클릭합니다.
자세한 내용은 열 수준 계보를 참조하세요.
재설정을 클릭합니다.

이 작업은 적용된 필터를 모두 삭제하고 그래프 뷰의 시작 부분으로 이동합니다.
목록을 클릭하여 목록 보기로 전환합니다.

목록 보기는 테이블 수준 및 열 수준 계보(프리뷰)의 간소화된 상세 표 형식 표현을 제공하며 그래프 보기와 동기화됩니다. 기본적으로 간소화된 목록 보기가 표시되며 개별 소스-대상 관계를 분석하기 위해 상세 목록 보기로 전환할 수 있습니다. 표시되는 열을 구성하고 계보 데이터를 내보낼 수 있습니다. 자세한 내용은 계보 목록 보기를 참조하세요.

Vertex AI에서 계보 보기

Vertex AI Pipelines와 같은 시스템에서 Vertex AI 모델 및 데이터 세트의 계보 데이터를 생성합니다. Vertex AI 웹 인터페이스에서 데이터 계보 정보를 볼 수 있습니다.

Vertex AI에서 관리형 데이터 세트의 계보 보기

데이터 세트의 계보를 보려면 다음 안내를 따르세요.

Google Cloud 콘솔에서 데이터 세트 페이지로 이동합니다.
데이터 세트 페이지 열기
데이터 계보를 보려는 데이터 세트를 클릭합니다.
계보 탭을 클릭합니다.

기본 그래프 뷰가 열리고 시스템과 리전 전반의 테이블 수준 계보가 표시됩니다. 자세한 내용은 계보 그래프 뷰를 참조하세요.
계보 그래프를 수동으로 탐색하려면 노드 옆에 있는 펼치기를 클릭하여 한 번에 노드 5개를 더 로드합니다.

자세한 내용은 계보 그래프 수동 탐색을 참조하세요.
그래프 뷰에서 노드를 클릭합니다.

세부정보 패널이 열리고 정규화된 이름 및 유형과 같은 애셋에 대한 정보가 표시됩니다. 자세한 내용은 노드 세부정보를 참조하세요.
그래프 뷰에서 프로세스 아이콘이 있는 에지를 클릭합니다.

쿼리 패널이 열립니다. 자세한 내용은 변환 로직 검사 및 실행 감사 및 기록을 참조하세요.
- 변환 로직을 검사하려면 세부정보 탭을 클릭합니다.
- 실행 감사 및 기록을 보려면 실행 탭을 클릭합니다.
계보 탐색기 패널에서 필터 기준(예: 방향, 종속 항목 유형 또는 기간)을 선택한 후 적용을 클릭합니다.

그러면 특정 리전 내에 포커스가 지정된 보기가 열립니다(프리뷰). 이 뷰는 최대 3단계 노드까지 그래프를 자동으로 펼칩니다. 자세한 내용은 포커스가 지정된 계보 뷰를 위해 필터 적용을 참조하세요.
포커스가 지정된 그래프 보기에서 노드를 선택한 후 노드 세부정보 패널에서 경로 시각화를 클릭하여 선택한 노드에서 루트 항목까지의 계보 경로를 시각화합니다(프리뷰, 포커스가 지정된 뷰만 해당).

자세한 내용은 계보 경로 시각화를 참조하세요.
열 수준 계보(프리뷰, BigQuery 작업에만 해당)를 보려면 다음 중 하나를 수행합니다.
- 포커스가 지정된 그래프 뷰의 테이블에서 열 아이콘을 클릭합니다.
  
  열 아이콘
- 계보 탐색기 패널에서 열 이름별로 필터링하고 적용을 클릭합니다.
자세한 내용은 열 수준 계보를 참조하세요.
재설정을 클릭합니다.

이 작업은 적용된 필터를 모두 삭제하고 그래프 뷰의 시작 부분으로 이동합니다.
목록을 클릭하여 목록 보기로 전환합니다.

목록 보기는 테이블 수준 및 열 수준 계보(프리뷰)의 간소화된 상세 표 형식 표현을 제공하며 그래프 보기와 동기화됩니다. 기본적으로 간소화된 목록 보기가 표시되며 개별 소스-대상 관계를 분석하기 위해 상세 목록 보기로 전환할 수 있습니다. 표시되는 열을 구성하고 계보 데이터를 내보낼 수 있습니다. 자세한 내용은 계보 목록 보기를 참조하세요.

Vertex AI에서 모델의 계보 보기

모델의 계보를 보려면 다음 안내를 따르세요.

Google Cloud 콘솔에서 Model Registry 페이지로 이동합니다.
Model Registry 페이지 열기
데이터 계보를 보려는 모델을 클릭합니다.
계보 탭을 클릭합니다.

기본 그래프 뷰가 열리고 시스템과 리전 전반의 테이블 수준 계보가 표시됩니다. 자세한 내용은 계보 그래프 뷰를 참조하세요.
계보 그래프를 수동으로 탐색하려면 노드 옆에 있는 펼치기를 클릭하여 한 번에 노드 5개를 더 로드합니다.

자세한 내용은 계보 그래프 수동 탐색을 참조하세요.
그래프 뷰에서 노드를 클릭합니다.

세부정보 패널이 열리고 정규화된 이름 및 유형과 같은 애셋에 대한 정보가 표시됩니다. 자세한 내용은 노드 세부정보를 참조하세요.
그래프 뷰에서 프로세스 아이콘이 있는 에지를 클릭합니다.

쿼리 패널이 열립니다. 자세한 내용은 변환 로직 검사 및 실행 감사 및 기록을 참조하세요.
- 변환 로직을 검사하려면 세부정보 탭을 클릭합니다.
- 실행 감사 및 기록을 보려면 실행 탭을 클릭합니다.
계보 탐색기 패널에서 필터 기준(예: 방향, 종속 항목 유형 또는 기간)을 선택한 후 적용을 클릭합니다.

그러면 특정 리전 내에 포커스가 지정된 보기가 열립니다(프리뷰). 이 뷰는 최대 3단계 노드까지 그래프를 자동으로 펼칩니다. 자세한 내용은 포커스가 지정된 계보 뷰를 위해 필터 적용을 참조하세요.
포커스가 지정된 그래프 보기에서 노드를 선택한 후 노드 세부정보 패널에서 경로 시각화를 클릭하여 선택한 노드에서 루트 항목까지의 계보 경로를 시각화합니다(프리뷰, 포커스가 지정된 뷰만 해당).

자세한 내용은 계보 경로 시각화를 참조하세요.
열 수준 계보(프리뷰, BigQuery 작업에만 해당)를 보려면 다음 중 하나를 수행합니다.
- 포커스가 지정된 그래프 뷰의 테이블에서 열 아이콘을 클릭합니다.
  
  열 아이콘
- 계보 탐색기 패널에서 열 이름별로 필터링하고 적용을 클릭합니다.
자세한 내용은 열 수준 계보를 참조하세요.
재설정을 클릭합니다.

이 작업은 적용된 필터를 모두 삭제하고 그래프 뷰의 시작 부분으로 이동합니다.
목록을 클릭하여 목록 보기로 전환합니다.

목록 보기는 테이블 수준 및 열 수준 계보(프리뷰)의 간소화된 상세 표 형식 표현을 제공하며 그래프 보기와 동기화됩니다. 기본적으로 간소화된 목록 보기가 표시되며 개별 소스-대상 관계를 분석하기 위해 상세 목록 보기로 전환할 수 있습니다. 표시되는 열을 구성하고 계보 데이터를 내보낼 수 있습니다. 자세한 내용은 계보 목록 보기를 참조하세요.