Avis et détails du produit Azure Data Factory

Ce que j'aime le plus dans Azure Data Factory (ADF), c'est qu'il trouve un juste milieu entre l'orchestration de niveau entreprise et la praticité au quotidien. Quelques points forts qui se démarquent vraiment :

Orchestration sans friction :

ADF est excellent pour coordonner de nombreux éléments mobiles : stockage Blob, ADLS Gen2, Azure SQL, Synapse, Databricks, Functions, APIs REST, sans vous obliger à tout assembler manuellement. Les pipelines, déclencheurs et dépendances semblent très naturels une fois que vous les avez utilisés un peu.

Séparation claire des préoccupations :

La façon dont ADF sépare le flux de contrôle (pipelines, activités, déclencheurs) du traitement des données (Spark, SQL, Functions) est un grand avantage. Il ne cherche pas à être le moteur de calcul ; il orchestre simplement les choses proprement et laisse le bon service faire le gros du travail.

Paramétrisation et réutilisabilité :

Les pipelines, ensembles de données et services liés sont hautement paramétrables. Cela facilite la construction de cadres d'ingestion basés sur la configuration (un seul pipeline, de nombreuses sources), ce qui évolue très bien dans des configurations d'entreprise réelles.

Intégration de premier ordre avec l'écosystème Azure :

L'intégration native avec Synapse, Key Vault, Event Grid, Functions et Managed Identity est un énorme avantage. Un accès sécurisé sans secrets qui circulent est quelque chose que vous appréciez vraiment en production.

Visibilité opérationnelle :

La surveillance, la logique de reprise, les chemins d'échec et les alertes sont intégrés. Quand quelque chose tombe en panne à 3 heures du matin, vous pouvez rapidement voir ce qui a échoué, pourquoi et avec quelle entrée, sans fouiller dans les journaux pendant des heures.

Faible barrière à l'entrée, plafond élevé :

Vous pouvez commencer avec des pipelines de copie simples très rapidement mais évoluer vers des modèles avancés : pipelines basés sur les métadonnées, branchement conditionnel, exécution dynamique et solutions hybrides avec Spark ou Functions. Avis collecté par et hébergé sur G2.com.

ADF est un excellent outil pour l'orchestration, mais il peut sembler maladroit pour le débogage, la logique complexe et le développement en grande équipe. Avis collecté par et hébergé sur G2.com.

Ce qui est formidable avec ADF, c'est la facilité avec laquelle il permet de connecter toutes mes différentes sources de données, qu'elles soient sur site ou dans le cloud, sans avoir à écrire beaucoup de code. Je peux visuellement glisser-déposer pour construire des pipelines de données complexes, automatiser les tâches de données répétitives, et déplacer et transformer de manière transparente de grands volumes de données à mesure que mes projets se développent. Je peux également tout surveiller et gérer depuis un seul endroit, ce qui réduit considérablement le stress lié à l'intégration des données et simplifie la vie de tous les intervenants. Avis collecté par et hébergé sur G2.com.

Les choses que je déteste le plus à propos d'ADF concernent généralement sa complexité et ses limitations. Déboguer les pipelines est souvent délicat et peut être frustrant, surtout lorsque quelque chose échoue, il n'y a pas beaucoup d'outils pour un dépannage pas à pas. Si mon flux de travail est complexe, gérer et comprendre tout cela peut devenir accablant avec tant de pièces mobiles et d'écrans à suivre. De plus, son intégration avec des services non-Azure est assez limitée, donc je peux rencontrer des obstacles si j'ai besoin de connecter d'autres plateformes ou de travailler dans un environnement cloud Azure. Et bien qu'il gère bien les tâches simples, personnaliser les choses au-delà des connecteurs ou flux de données standard signifie souvent écrire du code supplémentaire ou trouver des solutions de contournement difficiles. Avis collecté par et hébergé sur G2.com.

Une bonne chose à propos d'Azure Data Factory est sa facilité d'intégration avec une forte intégration avec une variété de sources de données. Construire des pipelines est le plus facile, même pour les flux de travail complexes, et surveiller le mouvement des données et les échecs est très pratique pour le travail quotidien. Avis collecté par et hébergé sur G2.com.

La seule chose qui semble difficile avec Azure Data Factory est que le débogage n'est parfois pas très convivial. Les erreurs/problèmes ne sont pas toujours clairs et les pipelines complexes deviennent trop difficiles à gérer. Le ratio de tarification dépend de l'optimisation du pipeline utilisé. Avis collecté par et hébergé sur G2.com.

Il permet une intégration de données évolutive entre les sources sur site et dans le cloud sans gestion intensive de l'infrastructure. Les flux de données de mappage rendent les transformations complexes efficaces et intuitives. J'apprécie également les fonctionnalités de surveillance et de contrôle, qui offrent une visibilité claire sur les exécutions de pipeline. Avis collecté par et hébergé sur G2.com.

Le débogage et les messages d'erreur ne sont pas toujours clairs, ce qui peut rendre le dépannage long. L'estimation des coûts peut également être difficile, car le modèle sans serveur repose sur l'exécution des activités et le déplacement des données. Avis collecté par et hébergé sur G2.com.

Azure Data Factory est très puissant en matière d'intégration de données à grande échelle à partir de sources de données telles que le stockage blob Azure et les bases de données SQL Azure. La capacité de créer et d'exécuter des pipelines à partir du SDK est également une fonctionnalité très utile à avoir pour l'implémentation. Avis collecté par et hébergé sur G2.com.

La configuration du réseau privé est un peu compliquée du point de vue de l'administration. Nous avons eu des problèmes au départ pour faire fonctionner Azure Data Factory de manière privée avec le reste de nos ressources natives Azure. Avis collecté par et hébergé sur G2.com.

Sa capacité à orchestrer et automatiser des flux de travail d'intégration de données complexes à grande échelle. Son interface visuelle à faible code facilite la création et la surveillance des pipelines, tandis que son intégration transparente avec une large gamme de sources de données—à la fois sur site et dans le cloud—permet un déplacement de données fiable de bout en bout. De plus, des fonctionnalités telles que la planification intégrée, la surveillance, la gestion des erreurs et l'intégration avec d'autres services Azure en font une solution robuste et évolutive pour les besoins d'ingénierie des données d'entreprise. Avis collecté par et hébergé sur G2.com.

Bien que Azure Data Factory soit un outil d'orchestration puissant, certaines limitations incluent des capacités de débogage limitées pour les pipelines complexes et le manque de fonctionnalités de transformation avancées par rapport aux moteurs de traitement de données dédiés comme Spark. Le contrôle de version et l'intégration CI/CD peuvent également sembler moins intuitifs, surtout pour les grandes équipes, et le dépannage des problèmes de performance ou d'exécution peut parfois nécessiter de passer entre plusieurs vues de surveillance. De plus, les coûts peuvent augmenter à mesure que les pipelines deviennent plus complexes et fréquents, nécessitant une optimisation et une gouvernance soigneuses. Avis collecté par et hébergé sur G2.com.

Les Azure Data Factories ont été largement mises en œuvre dans notre organisation et la plupart d'entre elles sont utilisées pour ETL/ELT, le traitement des données, etc. J'utilise les connecteurs pour le stockage, c'est-à-dire le connecteur Blob et ADLS pour l'ingestion de données et l'architecture de data lake. Avis collecté par et hébergé sur G2.com.

Les ADF ont une latence, donc le streaming en temps réel pose problème. Avis collecté par et hébergé sur G2.com.

Les horaires et les différents types d'horaires disponibles dans ADF. Avis collecté par et hébergé sur G2.com.

Nous ne pouvons pas voir toutes nos activités de pipeline sur une seule page lors de la surveillance. De plus, les données sont effacées après 50 jours. Avis collecté par et hébergé sur G2.com.

Ce que j'aime le plus à propos d'Azure Data Factory, c'est son interface à faible code et sa flexibilité d'intégration. Vous pouvez vous connecter à une large gamme de sources de données et créer des pipelines de données complexes visuellement sans écrire de code lourd. Avis collecté par et hébergé sur G2.com.

L'expérience de débogage sur le portail peut être lente, surtout pour les flux de données volumineux. De plus, l'interface utilisateur de cartographie des flux de données pourrait être plus réactive. Avis collecté par et hébergé sur G2.com.

Je trouve Azure Data Factory convivial - il est facile de naviguer et de trouver ce que je cherche. Avis collecté par et hébergé sur G2.com.

Rien que je n'aime particulièrement pas - je n'ai pas utilisé beaucoup d'outils similaires. Avis collecté par et hébergé sur G2.com.