Usa el linaje de datos con sistemas de Google Cloud

El linaje de datos muestra las relaciones entre los recursos de tu proyecto y los procesos que los crearon.

Puedes ver los detalles del linaje de datos en la consola de Google Cloud o recuperarlos con la API de Data Lineage.

Según el volumen de datos que se procesan, el linaje de datos tarda en mostrar un gráfico. La mayoría de los trabajos tardan tres horas, y algunos pueden tardar hasta 24 horas.

El linaje se captura en todos los proyectos. Cuando ves el linaje generado a partir de varios proyectos, puedes ver la información de linaje agregada en cualquiera de los proyectos pertinentes.

Funciones y permisos

Para ver el linaje de datos, necesitas permisos específicos de Identity and Access Management (IAM). La información del linaje se captura en todos los proyectos, por lo que necesitas permisos en varios proyectos.

• Cuando ves el linaje en Dataplex Universal Catalog, BigQuery o Vertex AI, necesitas permisos para ver la información del linaje en el proyecto en el que lo ves.

• Cuando ves el linaje que se registró en otros proyectos, necesitas permisos para ver la información del linaje en los proyectos en los que se registró.

Para ver el linaje de datos, necesitas los siguientes roles o permisos. Otorga estos roles a la principal (por ejemplo, el usuario o la cuenta de servicio) en los recursos pertinentes (por ejemplo, proyectos o tablas de BigQuery).

• Visualizador de linaje de datos (roles/datalineage.viewer): Otorga permiso para ver el linaje en la consola de Google Cloud y usar la API de Data Lineage. Debes aplicar este rol en los proyectos en los que se registra el linaje y en los proyectos en los que se visualiza el linaje. Para obtener más información, consulta Tipos de proyectos.

• Visualizador de Dataplex Universal Catalog (roles/dataplex.catalogViewer): Otorga permiso para ver los metadatos de los recursos catalogados en Dataplex Universal Catalog. Otorga este rol en los proyectos en los que se almacenan las entradas del catálogo para permitir que los usuarios vean los detalles de las entradas en el gráfico de linaje. Como alternativa, puedes otorgar un rol de visualizador en el sistema fuente. Para obtener más información, consulta Busca recursos de datos con Dataplex Universal Catalog.

• Otros permisos de BigQuery:

  • Para ver los detalles de los recursos de BigQuery en el gráfico de linaje, como las definiciones de tablas o las consultas de vistas, otorga el rol de visualizador de datos de BigQuery (roles/bigquery.dataViewer).
  • Para ver la consulta en SQL de un trabajo de BigQuery que produjo linaje, otorga el permiso bigquery.jobs.get. Este permiso se incluye en roles como el de administrador de BigQuery (roles/bigquery.admin) y el de visualizador de recursos de BigQuery (roles/bigquery.resourceViewer).

El linaje de datos hace un seguimiento de la información de linaje automáticamente cuando habilitas la API de Data Lineage. No necesitas ningún rol de administrador o editor para capturar el linaje de tus activos de datos.

Para obtener más información sobre cómo otorgar roles, consulta Administra el acceso. Puedes asignar un rol a un nivel superior de la carpeta o la organización. Para obtener más información, consulta Otorga o revoca un solo rol.

Tipos de vistas del linaje de datos

Puedes ver la información del linaje como un gráfico o una lista. De forma predeterminada, el gráfico de linaje muestra el linaje a nivel de la tabla. En el caso de los trabajos de BigQuery, puedes ver el linaje a nivel de columna en las vistas de gráfico y de lista.

Los siguientes tipos de vistas están disponibles:

• Vista de gráfico: Muestra el linaje como un gráfico interactivo, lo que te permite explorar las relaciones entre los recursos y las columnas de datos expandiendo los nodos.

• Vista de lista: Muestra el linaje en formato tabular, lo que proporciona representaciones simplificadas y detalladas del linaje a nivel de la tabla y la columna. Puedes personalizar las columnas y exportar los datos de linaje desde esta vista.

Los elementos clave del gráfico se describen a continuación:

• Nodos: Representan las entidades de datos. En la vista a nivel de la tabla, un nodo muestra el nombre de la tabla y sus columnas. En la vista a nivel de la columna, cada nodo representa una tabla específica y sus columnas que tienen linaje.

• Aristas: Son las líneas que conectan los nodos y representan los procesos que ocurren entre ellos. Los bordes pueden incluir íconos o etiquetas para proporcionar más información sobre la transformación:

  • Icons: En la vista a nivel de la tabla, los íconos aparecen en los bordes para representar el proceso de transformación. Cuando exploras el gráfico de forma manual, los íconos en los bordes representan el sistema fuente del proceso (por ejemplo, BigQuery o Vertex AI). Si hay varios procesos involucrados, se muestra un ícono de "varios procesos". Si se desconoce el sistema fuente del proceso, se usa un ícono de engranaje. Cuando aplicas filtros, se usa un ícono de ajustes para todos los procesos.
  • Etiquetas: En la vista a nivel de la columna, las aristas se etiquetan para describir el tipo de dependencia entre las columnas, como Exact copy o Other.

Habilita el linaje de datos

Habilita el linaje de datos para comenzar a hacer un seguimiento automático de la información de linaje de los sistemas compatibles. Debes habilitar la API de Data Lineage tanto en el proyecto en el que ves el linaje como en los proyectos en los que se registra el linaje. Para obtener más información, consulta Tipos de proyectos.

1. Para capturar información del linaje, completa los siguientes pasos:

   1. En la consola de Google Cloud , en la página del selector de proyectos, selecciona el proyecto en el que deseas registrar el linaje.

      Ir al Selector de proyectos

   2. Habilita la API de Data Lineage.

      Habilita la API de Data Lineage

   3. Repite los pasos anteriores para cada proyecto en el que quieras registrar el linaje.

2. En el proyecto en el que ves el linaje, habilita la API de Data Lineage y la API de Dataplex.

   Habilitar las API

Consulta el linaje en Dataplex Universal Catalog

Puedes ver la información del linaje de datos en la interfaz web de Dataplex Universal Catalog.

Para ver el linaje, sigue estas instrucciones:

1. En la consola de Google Cloud , ve a la página Búsqueda de Dataplex Universal Catalog.

   Ir a Búsqueda

2. Selecciona Dataplex Universal Catalog como el modo de búsqueda.

3. Busca la entrada que deseas ver y, luego, haz clic en ella. Para obtener más información, consulta Cómo buscar recursos en Dataplex Universal Catalog.

4. Haz clic en la pestaña Linaje.

   Se abrirá la vista predeterminada Gráfico, que muestra el linaje a nivel de la tabla en todos los sistemas y regiones. Para obtener más información, consulta Vista del gráfico de linaje.

5. Para explorar el gráfico de linaje de forma manual, haz clic en Expandir junto a un nodo para cargar cinco nodos más a la vez.

   Para obtener más información, consulta Cómo explorar manualmente el gráfico de linaje.

6. Haz clic en un nodo en la vista Gráfico.

   Se abrirá el panel Detalles con información sobre el activo, como el nombre y el tipo completamente calificados. Para obtener más información, consulta Detalles del nodo.

7. Haz clic en una arista con un ícono de proceso en la vista Gráfico.

   Se abrirá el panel Consulta. Para obtener más información, consulta Cómo inspeccionar la lógica de transformación y Auditoría y registro del historial de ejecuciones.

   • Para inspeccionar la lógica de transformación, haz clic en la pestaña Detalles.

   • Para ver el historial y la auditoría de las ejecuciones, haz clic en la pestaña Ejecuciones.

8. En el panel Explorador de linaje, selecciona los criterios de filtro (por ejemplo, Dirección, Tipo de dependencia o Intervalo de tiempo) y, luego, haz clic en Aplicar.

   Se abrirá una vista enfocada dentro de una región específica (vista previa). En esta vista, el gráfico se expande automáticamente hasta tres niveles de nodos. Para obtener más información, consulta Cómo aplicar filtros para obtener una vista enfocada del linaje.

9. En la vista enfocada Gráfico, selecciona un nodo y, luego, en el panel de detalles del nodo, haz clic en Visualizar ruta para visualizar la ruta de linaje desde el nodo seleccionado hasta la entrada raíz (vista previa, solo en la vista enfocada).

   Para obtener más información, consulta Visualización de la ruta de linaje.

10. Para ver el linaje a nivel de la columna (vista previa, solo para trabajos de BigQuery), haz una de las siguientes acciones:

    • En una vista de gráfico enfocada, haz clic en el ícono de columna de una tabla.

      

    • En el panel Lineage Explorer, filtra por nombre de columna y haz clic en Aplicar.

    Para obtener más información, consulta Linaje a nivel de la columna.

11. Haz clic en restart_alt Restablecer.

    Esta acción quita todos los filtros aplicados y te lleva al comienzo de la vista de gráfico.

12. Haz clic en Lista para cambiar a la vista de lista.

    La vista de lista ofrece representaciones tabulares simplificadas y detalladas del linaje tanto a nivel de la tabla como de la columna (versión preliminar), sincronizadas con la vista de gráfico. De forma predeterminada, se muestra la vista de lista simplificada, y puedes alternar a la vista de lista detallada para analizar las relaciones individuales entre la fuente y el destino. Puedes configurar las columnas que se muestran y exportar los datos de linaje. Para obtener más información, consulta Vista de lista de linaje.

Cómo ver el linaje en BigQuery

Puedes ver la información del linaje de datos en la interfaz web de BigQuery.

Para ver el linaje, sigue estas instrucciones:

1. En la consola de Google Cloud , ve a la página BigQuery.

   Abrir la página de BigQuery

2. Abre la tabla para la que deseas ver el linaje de datos.

3. Haz clic en la pestaña Linaje.

   Se abrirá la vista predeterminada Gráfico, que muestra el linaje a nivel de la tabla en todos los sistemas y regiones. Para obtener más información, consulta Vista del gráfico de linaje.

4. Para explorar el gráfico de linaje de forma manual, haz clic en Expandir junto a un nodo para cargar cinco nodos más a la vez.

   Para obtener más información, consulta Cómo explorar manualmente el gráfico de linaje.

5. Haz clic en un nodo en la vista Gráfico.

   Se abrirá el panel Detalles con información sobre el activo, como el nombre y el tipo completamente calificados. Para obtener más información, consulta Detalles del nodo.

6. Haz clic en una arista con un ícono de proceso en la vista Gráfico.

   Se abrirá el panel Consulta. Para obtener más información, consulta Cómo inspeccionar la lógica de transformación y Auditoría y registro del historial de ejecuciones.

   • Para inspeccionar la lógica de transformación, haz clic en la pestaña Detalles.

   • Para ver el historial y la auditoría de las ejecuciones, haz clic en la pestaña Ejecuciones.

7. En el panel Explorador de linaje, selecciona los criterios de filtro (por ejemplo, Dirección, Tipo de dependencia o Intervalo de tiempo) y, luego, haz clic en Aplicar.

   Se abrirá una vista enfocada dentro de una región específica (vista previa). En esta vista, el gráfico se expande automáticamente hasta tres niveles de nodos. Para obtener más información, consulta Cómo aplicar filtros para obtener una vista enfocada del linaje.

8. En la vista enfocada Gráfico, selecciona un nodo y, luego, en el panel de detalles del nodo, haz clic en Visualizar ruta para visualizar la ruta de linaje desde el nodo seleccionado hasta la entrada raíz (vista previa, solo en la vista enfocada).

   Para obtener más información, consulta Visualización de la ruta de linaje.

9. Para ver el linaje a nivel de la columna (vista previa, solo para trabajos de BigQuery), haz una de las siguientes acciones:

   • En una vista de gráfico enfocada, haz clic en el ícono de columna de una tabla.

     

   • En el panel Lineage Explorer, filtra por nombre de columna y haz clic en Aplicar.

   Para obtener más información, consulta Linaje a nivel de la columna.

10. Haz clic en restart_alt Restablecer.

    Esta acción quita todos los filtros aplicados y te lleva al comienzo de la vista de gráfico.

11. Haz clic en Lista para cambiar a la vista de lista.

    La vista de lista ofrece representaciones tabulares simplificadas y detalladas del linaje tanto a nivel de la tabla como de la columna (versión preliminar), sincronizadas con la vista de gráfico. De forma predeterminada, se muestra la vista de lista simplificada, y puedes alternar a la vista de lista detallada para analizar las relaciones individuales entre la fuente y el destino. Puedes configurar las columnas que se muestran y exportar los datos de linaje. Para obtener más información, consulta Vista de lista de linaje.

Cómo ver el linaje en Vertex AI

Los sistemas como Vertex AI Pipelines generan datos de linaje para los modelos y conjuntos de datos de Vertex AI. Puedes ver la información del linaje de datos en la interfaz web de Vertex AI.

Cómo ver el linaje de un conjunto de datos administrado en Vertex AI

Para ver el linaje de un conjunto de datos, sigue estas instrucciones:

1. En la consola de Google Cloud , ve a la página Conjuntos de datos.

   Abre la página Conjuntos de datos.

2. Haz clic en el conjunto de datos para el que deseas ver el linaje de datos.

3. Haz clic en la pestaña Linaje.

   Se abrirá la vista predeterminada Gráfico, que muestra el linaje a nivel de la tabla en todos los sistemas y regiones. Para obtener más información, consulta Vista del gráfico de linaje.

4. Para explorar el gráfico de linaje de forma manual, haz clic en Expandir junto a un nodo para cargar cinco nodos más a la vez.

   Para obtener más información, consulta Cómo explorar manualmente el gráfico de linaje.

5. Haz clic en un nodo en la vista Gráfico.

   Se abrirá el panel Detalles con información sobre el activo, como el nombre y el tipo completamente calificados. Para obtener más información, consulta Detalles del nodo.

6. Haz clic en una arista con un ícono de proceso en la vista Gráfico.

   Se abrirá el panel Consulta. Para obtener más información, consulta Cómo inspeccionar la lógica de transformación y Auditoría y registro del historial de ejecuciones.

   • Para inspeccionar la lógica de transformación, haz clic en la pestaña Detalles.

   • Para ver el historial y la auditoría de las ejecuciones, haz clic en la pestaña Ejecuciones.

7. En el panel Explorador de linaje, selecciona los criterios de filtro (por ejemplo, Dirección, Tipo de dependencia o Intervalo de tiempo) y, luego, haz clic en Aplicar.

   Se abrirá una vista enfocada dentro de una región específica (vista previa). En esta vista, el gráfico se expande automáticamente hasta tres niveles de nodos. Para obtener más información, consulta Cómo aplicar filtros para obtener una vista enfocada del linaje.

8. En la vista enfocada Gráfico, selecciona un nodo y, luego, en el panel de detalles del nodo, haz clic en Visualizar ruta para visualizar la ruta de linaje desde el nodo seleccionado hasta la entrada raíz (vista previa, solo en la vista enfocada).

   Para obtener más información, consulta Visualización de la ruta de linaje.

9. Para ver el linaje a nivel de la columna (vista previa, solo para trabajos de BigQuery), haz una de las siguientes acciones:

   • En una vista de gráfico enfocada, haz clic en el ícono de columna de una tabla.

     

   • En el panel Lineage Explorer, filtra por nombre de columna y haz clic en Aplicar.

   Para obtener más información, consulta Linaje a nivel de la columna.

10. Haz clic en restart_alt Restablecer.

    Esta acción quita todos los filtros aplicados y te lleva al comienzo de la vista de gráfico.

11. Haz clic en Lista para cambiar a la vista de lista.

    La vista de lista ofrece representaciones tabulares simplificadas y detalladas del linaje tanto a nivel de la tabla como de la columna (versión preliminar), sincronizadas con la vista de gráfico. De forma predeterminada, se muestra la vista de lista simplificada, y puedes alternar a la vista de lista detallada para analizar las relaciones individuales entre la fuente y el destino. Puedes configurar las columnas que se muestran y exportar los datos de linaje. Para obtener más información, consulta Vista de lista de linaje.

Consulta el linaje de un modelo en Vertex AI

Para ver el linaje de un modelo, sigue estas instrucciones:

1. En la consola de Google Cloud , ve a la página Model Registry.

   Abre la página Model Registry

2. Haz clic en el modelo para el que deseas ver el linaje de datos.

3. Haz clic en la pestaña Linaje.

   Se abrirá la vista predeterminada Gráfico, que muestra el linaje a nivel de la tabla en todos los sistemas y regiones. Para obtener más información, consulta Vista del gráfico de linaje.

4. Para explorar el gráfico de linaje de forma manual, haz clic en Expandir junto a un nodo para cargar cinco nodos más a la vez.

   Para obtener más información, consulta Cómo explorar manualmente el gráfico de linaje.

5. Haz clic en un nodo en la vista Gráfico.

   Se abrirá el panel Detalles con información sobre el activo, como el nombre y el tipo completamente calificados. Para obtener más información, consulta Detalles del nodo.

6. Haz clic en una arista con un ícono de proceso en la vista Gráfico.

   Se abrirá el panel Consulta. Para obtener más información, consulta Cómo inspeccionar la lógica de transformación y Auditoría y registro del historial de ejecuciones.

   • Para inspeccionar la lógica de transformación, haz clic en la pestaña Detalles.

   • Para ver el historial y la auditoría de las ejecuciones, haz clic en la pestaña Ejecuciones.

7. En el panel Explorador de linaje, selecciona los criterios de filtro (por ejemplo, Dirección, Tipo de dependencia o Intervalo de tiempo) y, luego, haz clic en Aplicar.

   Se abrirá una vista enfocada dentro de una región específica (vista previa). En esta vista, el gráfico se expande automáticamente hasta tres niveles de nodos. Para obtener más información, consulta Cómo aplicar filtros para obtener una vista enfocada del linaje.

8. En la vista enfocada Gráfico, selecciona un nodo y, luego, en el panel de detalles del nodo, haz clic en Visualizar ruta para visualizar la ruta de linaje desde el nodo seleccionado hasta la entrada raíz (vista previa, solo en la vista enfocada).

   Para obtener más información, consulta Visualización de la ruta de linaje.

9. Para ver el linaje a nivel de la columna (vista previa, solo para trabajos de BigQuery), haz una de las siguientes acciones:

   • En una vista de gráfico enfocada, haz clic en el ícono de columna de una tabla.

     

   • En el panel Lineage Explorer, filtra por nombre de columna y haz clic en Aplicar.

   Para obtener más información, consulta Linaje a nivel de la columna.

10. Haz clic en restart_alt Restablecer.

    Esta acción quita todos los filtros aplicados y te lleva al comienzo de la vista de gráfico.

11. Haz clic en Lista para cambiar a la vista de lista.

    La vista de lista ofrece representaciones tabulares simplificadas y detalladas del linaje tanto a nivel de la tabla como de la columna (versión preliminar), sincronizadas con la vista de gráfico. De forma predeterminada, se muestra la vista de lista simplificada, y puedes alternar a la vista de lista detallada para analizar las relaciones individuales entre la fuente y el destino. Puedes configurar las columnas que se muestran y exportar los datos de linaje. Para obtener más información, consulta Vista de lista de linaje.

¿Qué sigue?

• Realiza un seguimiento del linaje de datos de los trabajos de copia y consulta de una tabla de BigQuery.

• Obtén información sobre el modelo de información del linaje de datos.

• Obtén información sobre las consideraciones del linaje de datos.

• Obtén más información sobre el registro de auditoría del linaje de datos.

• Obtén más información para solucionar problemas relacionados con el linaje de datos.

• Obtén más información para integrar OpenLineage.