AWS Glue Reseñas y Detalles del Producto

AWS Glue es una herramienta sin servidor de ETL (Extracción, Transformación y Carga) utilizada para extraer datos de muchas fuentes, incluidas AWS S3 y bases de datos, que puede ejecutarse automáticamente en función de eventos o manualmente cuando sea necesario. Convertir archivos CSV en tablas automáticamente con Lambda como preprocesamiento es una gran ventaja. Reseña recopilada por y alojada en G2.com.

La interfaz de usuario parece un poco difícil al principio, no es tan amigable como la nueva interfaz de usuario para otros servicios. La documentación parece nueva y está siendo mejorada, pero para los principiantes es mucho entrenamiento y prueba. Reseña recopilada por y alojada en G2.com.

ahorra mucho dinero en necesidades de infraestructura, necesita algunos componentes/sistemas para ser instalados en las instalaciones y requiere un servidor en el lugar del cliente. lo bueno es que es una plataforma basada en la nube con mayor capacidad de almacenamiento. es fácil de usar. Reseña recopilada por y alojada en G2.com.

A veces se enfrentan a problemas con la integración con aplicaciones de terceros. La transformación es compleja. Reseña recopilada por y alojada en G2.com.

AWS Glue ofrece una interfaz fácil de usar y una gama de herramientas que facilitan relativamente la configuración y gestión de flujos de trabajo de integración de datos. La interfaz gráfica para crear trabajos ETL simplifica el proceso, permitiendo a los usuarios definir fuentes de datos, transformaciones y destinos con poco o ningún código. Reseña recopilada por y alojada en G2.com.

AWS Glue está estrechamente integrado con el ecosistema más amplio de AWS. Si bien esto proporciona una integración perfecta con otros servicios de AWS, también significa que las organizaciones que han invertido mucho en otros proveedores de nube o en infraestructura local pueden enfrentar desafíos al adoptar AWS Glue como una solución independiente. Reseña recopilada por y alojada en G2.com.

AWS Glue proporciona rastreadores de Glue que pueden rastrear/leer datos de un volcado (AWS S3) y pueden organizar esos datos en tablas de Glue que son fácilmente legibles. El rastreador de Glue agrega registros de manera incremental a la tabla de Glue cuando la fuente de datos (AWS S3) recibe datos incrementales. Esto es lo que más me gusta de AWS Glue. Reseña recopilada por y alojada en G2.com.

Un rastreador de Glue puede rastrear/leer desde una ubicación de origen. Por lo tanto, necesitas tener múltiples rastreadores si tienes datos que deben ser rastreados en diferentes ubicaciones. Esto puede ser rentable. Reseña recopilada por y alojada en G2.com.

Aquí hay algunas características que me gustan más de AWS Glue:

Catálogo de Datos: El Catálogo de Datos de AWS Glue es un repositorio centralizado de metadatos que proporciona una vista unificada de tus fuentes de datos. Ayuda con el descubrimiento de datos y la gestión de esquemas y simplifica la transformación y consulta de datos.

Escalabilidad: AWS Glue es un servicio completamente gestionado que se escala automáticamente según la carga de trabajo. Puede manejar grandes volúmenes de datos y ajustar los recursos en consecuencia, asegurando un procesamiento de datos eficiente y confiable.

Automatización de ETL: AWS Glue ofrece herramientas visuales y transformaciones ETL preconstruidas que automatizan el proceso de extracción, transformación y carga de datos. Esto ahorra tiempo y esfuerzo en escribir código ETL complejo desde cero.

Integración con Servicios de AWS: AWS Glue se integra perfectamente con otros servicios de AWS, como Amazon S3, Amazon Redshift y Amazon Athena. Esto te permite construir pipelines de datos integrales y aprovechar al máximo las capacidades del ecosistema de AWS.

Rentable: Con AWS Glue, solo pagas por los recursos que utilizas durante el procesamiento de datos. Proporciona características de optimización de costos como la compresión de datos y la partición, ayudando a reducir los costos de almacenamiento y procesamiento. Reseña recopilada por y alojada en G2.com.

Algunos desafíos que he enfrentado con AWS Glue:-

Curva de Aprendizaje: AWS Glue, al igual que cualquier otro servicio complejo, puede tener una curva de aprendizaje para los nuevos usuarios. Comprender sus características, opciones de configuración y mejores prácticas puede requerir un esfuerzo inicial.

Control Limitado sobre el Entorno de Ejecución: Dado que AWS Glue opera en un entorno sin servidor gestionado, tienes un control limitado sobre el entorno de ejecución. Esto a veces puede restringir las opciones de personalización o requerir soluciones alternativas para casos de uso específicos.

Depuración y Resolución de Problemas: Al encontrar problemas durante los procesos de transformación de datos o ETL, la depuración y resolución de problemas pueden ser desafiantes en AWS Glue. Un registro adecuado, manejo de errores y comprensión de las causas subyacentes de los fallos pueden requerir un esfuerzo adicional. Reseña recopilada por y alojada en G2.com.

Según mi experiencia, AWS es el mejor para trabajos de ETL para nuestros datos y también ofrece escalabilidad. Tiene una excelente capacidad para la automatización y proporciona beneficios si tenemos un conjunto de datos grande y si estamos trabajando y manejando grandes volúmenes de datos. Reseña recopilada por y alojada en G2.com.

La principal preocupación en AWS Glue es el alto costo de los trabajos de Glue y yo trabajé con un conjunto de datos de 5000, enfrenté algunos problemas de rendimiento en comparación con el costo, también necesitan trabajar en el rendimiento. Reseña recopilada por y alojada en G2.com.

El pegamento ayuda en más de mis trabajos de transformación ETL. El marco dinámico me ofrece trabajar con datos semiestructurados y estructurados y genera esquemas automáticamente. Integración rica con otros servicios de AWS, como Redshift, S3 y muchos más. Podemos acumular el shell de Spark para trabajos de Spark. Reseña recopilada por y alojada en G2.com.

el costo es más alto para el servicio de AWS Glue.

un poco de complejidad en la depuración y solución de problemas. Reseña recopilada por y alojada en G2.com.

La ventaja que veo al usar gule es que tiene una mejor integración con la nube de AWS. Es rentable ya que puede leer datos en AWS y no necesita proporcionar costos de red de salida de datos. También me gusta cómo es capaz de identificar el esquema de los datos en el bucket de S3 utilizando el catálogo de datos. También me gusta que sea una plataforma de bajo código donde solo necesito preocuparme por la lógica principal de ETL y no por los otros componentes del código que se utilizan para extraer, escribir datos y es sin servidor. Reseña recopilada por y alojada en G2.com.

Hay menos lógicas de transformación disponibles en Glue. Además, el tiempo y el conocimiento necesarios para configurar Glue por primera vez son bastante altos y no parece tan fluido en comparación con otros como Matillion. Hay muy pocos recursos de Glue disponibles para estudiar y comenzar a usar este producto. La comunidad también es muy pequeña, por lo que encontrar respuestas a las preguntas es bastante difícil. Reseña recopilada por y alojada en G2.com.

podemos resolver o podemos decir que la solución que Glue proporciona es que puede integrarse fácilmente con otros servicios de AWS como S3, RDS, Athena. 3) el modelo de precios también es muy similar al de pago por uso. 4) el principal problema de negocio que Glue resuelve es que podemos ingerir los datos, podemos realizar ETL sobre ellos y crear trabajos de Spark o shell de Python. Reseña recopilada por y alojada en G2.com.

El problema crucial con AWS Glue es que solo funciona con AWS. La característica de los registros de esquemas en flujo no se puede usar de manera más eficiente. Cuando quieres usarlo para transformar tus datos, Glue también proporciona su propia transformación, y en esa opción puedes hacer enmascaramiento de PII de los datos si no quieres usar un enfoque de código. El segundo escenario sería cuando quieras integrar Glue con otros servicios de AWS y también quieras ejecutar Spark en Glue para un procesamiento más rápido. Menos apropiado: si quieres integrar con otros servicios que están fuera de AWS. No soporta Java por ahora, así que si tienes recursos en Java, no puedes ejecutarlo. Reseña recopilada por y alojada en G2.com.

Es una herramienta completamente gestionada que no requiere servidor. Glue ofrece una interfaz visual y capacidades de generación de código para tareas de preparación de datos y ETL (Extracción, Transformación, Carga). Puedes diseñar visualmente flujos de trabajo de transformación de datos o escribir código personalizado en Python o Scala utilizando Apache Spark, simplificando el proceso de transformar y limpiar tus datos. Reseña recopilada por y alojada en G2.com.

Es un poco costoso. Se necesita algo de aprendizaje antes de comenzar a trabajar en AWS Glue. Puede ser necesario ajustar y optimizar tus trabajos ETL para un rendimiento óptimo. Las capacidades de depuración y los mensajes de error pueden no siempre proporcionar información detallada sobre la causa raíz de los fallos, lo que hace que la resolución de problemas sea un poco más compleja. Reseña recopilada por y alojada en G2.com.