Avis et détails du produit AWS Glue

AWS Glue est un outil ETL (Extract Transform and Load) sans serveur utilisé pour extraire des données de nombreuses sources, y compris AWS S3 et des bases de données, qui peut être exécuté automatiquement en fonction d'événements ou manuellement si nécessaire. La conversion automatique des fichiers CSV en tables avec lambda comme prétraitement est un grand avantage. Avis collecté par et hébergé sur G2.com.

L'interface utilisateur semble un peu difficile à démarrer, elle n'est pas aussi conviviale que la nouvelle interface utilisateur pour d'autres services. La documentation semble nouvelle et est en cours d'amélioration, mais pour les débutants, c'est beaucoup de formation et de tests. Avis collecté par et hébergé sur G2.com.

il économise beaucoup d'argent sur les besoins en infrastructure, nécessite quelques composants/systèmes à installer sur site et nécessite un serveur chez le client. la bonne chose est une plateforme basée sur le cloud avec une plus grande capacité de stockage. il est facile à utiliser. Avis collecté par et hébergé sur G2.com.

Parfois, rencontrer des problèmes avec l'intégration avec des applications tierces. La transformation est complexe. Avis collecté par et hébergé sur G2.com.

AWS Glue offre une interface conviviale et une gamme d'outils qui facilitent relativement la configuration et la gestion des flux de travail d'intégration de données. L'interface graphique pour créer des tâches ETL simplifie le processus, permettant aux utilisateurs de définir des sources de données, des transformations et des cibles avec peu ou pas de codage. Avis collecté par et hébergé sur G2.com.

AWS Glue est étroitement intégré à l'écosystème AWS plus large. Bien que cela offre une intégration transparente avec d'autres services AWS, cela signifie également que les organisations fortement investies dans d'autres fournisseurs de cloud ou dans une infrastructure sur site peuvent rencontrer des défis pour adopter AWS Glue comme solution autonome. Avis collecté par et hébergé sur G2.com.

AWS Glue fournit des crawlers Glue qui peuvent explorer/lire des données à partir d'un dump (AWS S3) et organiser ces données en tables Glue qui sont facilement lisibles. Le crawler Glue ajoute progressivement des enregistrements à la table Glue, lorsque la source de données (AWS S3) reçoit des données incrémentielles. C'est la meilleure chose que j'aime à propos d'AWS Glue. Avis collecté par et hébergé sur G2.com.

Un robot Glue peut explorer/lire à partir d'un emplacement source. Vous devez donc avoir plusieurs robots, si vous avez des données à explorer à différents emplacements. Cela peut être rentable. Avis collecté par et hébergé sur G2.com.

Voici quelques fonctionnalités que j'aime le plus à propos d'AWS Glue :-

Catalogue de données : Le catalogue de données d'AWS Glue est un référentiel de métadonnées centralisé qui offre une vue unifiée de vos sources de données. Il aide à la découverte des données et à la gestion des schémas et simplifie la transformation et l'interrogation des données.

Évolutivité : AWS Glue est un service entièrement géré qui s'adapte automatiquement en fonction de la charge de travail. Il peut gérer de grands volumes de données et ajuster les ressources en conséquence, garantissant un traitement des données efficace et fiable.

Automatisation ETL : AWS Glue propose des outils visuels et des transformations ETL préconstruites qui automatisent le processus d'extraction, de transformation et de chargement des données. Cela permet de gagner du temps et des efforts dans l'écriture de code ETL complexe à partir de zéro.

Intégration avec les services AWS : AWS Glue s'intègre parfaitement avec d'autres services AWS, tels qu'Amazon S3, Amazon Redshift et Amazon Athena. Cela vous permet de construire des pipelines de données complets et de tirer parti des capacités complètes de l'écosystème AWS.

Rentabilité : Avec AWS Glue, vous ne payez que pour les ressources que vous utilisez lors du traitement des données. Il offre des fonctionnalités d'optimisation des coûts comme la compression et le partitionnement des données, aidant à réduire les coûts de stockage et de traitement. Avis collecté par et hébergé sur G2.com.

Quelques défis auxquels j'ai été confronté avec AWS Glue :-

Courbe d'apprentissage : AWS Glue, comme tout autre service complexe, peut avoir une courbe d'apprentissage pour les nouveaux utilisateurs. Comprendre ses fonctionnalités, options de configuration et meilleures pratiques peut nécessiter un effort initial.

Contrôle limité sur l'environnement d'exécution : Étant donné qu'AWS Glue fonctionne dans un environnement sans serveur géré, vous avez un contrôle limité sur l'environnement d'exécution. Cela peut parfois restreindre les options de personnalisation ou nécessiter des solutions de contournement pour des cas d'utilisation spécifiques.

Débogage et dépannage : Lors de la rencontre de problèmes pendant les processus de transformation de données ou ETL, le débogage et le dépannage peuvent être difficiles dans AWS Glue. Une journalisation appropriée, la gestion des erreurs et la compréhension des causes sous-jacentes des échecs peuvent nécessiter un effort supplémentaire. Avis collecté par et hébergé sur G2.com.

D'après mon expérience, AWS est le meilleur pour les tâches ETL pour nos données et il offre également une évolutivité. Il a une excellente capacité d'automatisation et il est avantageux si nous avons de grands ensembles de données et si nous travaillons et gérons de grandes quantités de données. Avis collecté par et hébergé sur G2.com.

La principale préoccupation avec AWS Glue est le coût élevé des tâches Glue. J'ai travaillé avec un ensemble de données de 5000 éléments et j'ai rencontré des problèmes de performance par rapport au coût. Ils doivent également travailler sur la performance. Avis collecté par et hébergé sur G2.com.

Collez-le, cela m'aide sur plus de mes tâches de transformation ETL. Le cadre dynamique m'offre la possibilité de travailler avec des données semi-structurées et structurées, et génère automatiquement le schéma. Intégration riche avec d'autres services AWS, Redshift, S3 et bien d'autres. Nous pouvons accumuler le shell Spark pour les tâches Spark. Avis collecté par et hébergé sur G2.com.

le coût est plus élevé pour le service AWS Glue.

peu de complexité dans le débogage et le dépannage. Avis collecté par et hébergé sur G2.com.

L'avantage que je vois à utiliser gule est qu'il offre une meilleure intégration avec le cloud AWS. Il est rentable car il peut lire les données sur AWS, et il n'est pas nécessaire de fournir des coûts de réseau sortant pour les données. J'aime aussi la façon dont il est capable d'identifier le schéma des données dans le bucket S3 en utilisant le catalogue de données. J'apprécie également que ce soit une plateforme à faible code où je n'ai à me soucier que de la logique ETL principale et non des autres composants de code utilisés pour extraire, écrire des données et qu'il soit sans serveur. Avis collecté par et hébergé sur G2.com.

Il y a moins de logiques de transformation disponibles dans Glue. De plus, le temps et les connaissances nécessaires pour configurer Glue pour la première fois sont assez élevés et ne semblent pas aussi fluides que ceux de Matillion. Il y a très peu de ressources Glue disponibles pour étudier et commencer à utiliser ce produit. La communauté est également très petite, ce qui rend la recherche de réponses aux questions assez difficile. Avis collecté par et hébergé sur G2.com.

nous pouvons résoudre ou nous pouvons dire que la solution que Glue fournit, c'est-à-dire qu'elle peut facilement s'intégrer avec d'autres services AWS comme S3, RDS, Athena. 3) le modèle de tarification est également très comme le paiement à l'utilisation. 4) le principal problème commercial que Glue résout, nous pouvons ingérer les données, nous pouvons effectuer ETL dessus et créer des tâches spark ou python shell. Avis collecté par et hébergé sur G2.com.

Le problème crucial avec AWS Glue est qu'il ne fonctionne qu'avec AWS. La fonctionnalité des registres de schémas In-Stream ne peut pas être utilisée de manière plus efficace. Lorsque vous souhaitez l'utiliser pour transformer vos données, Glue propose également sa propre transformation, dans cette option, vous pouvez effectuer le masquage PII des données si vous ne souhaitez pas utiliser une approche par code. Le deuxième scénario serait lorsque vous souhaitez intégrer Glue avec d'autres services AWS et également exécuter Spark sur Glue pour un traitement plus rapide. Moins approprié : si vous souhaitez intégrer avec d'autres services qui sont en dehors d'AWS. Il ne prend pas en charge Java pour le moment, donc si vous avez des ressources Java, vous ne pouvez pas l'exécuter. Avis collecté par et hébergé sur G2.com.

C'est un outil entièrement géré qui est sans serveur.

Glue offre une interface visuelle et des capacités de génération de code pour les tâches de préparation de données et ETL (Extract, Transform, Load). Vous pouvez concevoir visuellement des flux de travail de transformation de données ou écrire du code personnalisé en Python ou Scala en utilisant Apache Spark, simplifiant ainsi le processus de transformation et de nettoyage de vos données. Avis collecté par et hébergé sur G2.com.

C'est un peu coûteux. Un apprentissage est nécessaire avant de commencer à travailler sur AWS Glue.

L'affinage et l'optimisation de vos tâches ETL peuvent être nécessaires pour des performances optimales.

Les capacités de débogage et les messages d'erreur peuvent ne pas toujours fournir des informations détaillées sur la cause profonde des échecs, rendant le dépannage un peu plus complexe. Avis collecté par et hébergé sur G2.com.