Prefect Avaliações e Detalhes do Produto

É fácil configurar um fluxo, obter benefícios de UI para orquestração e testar e depurar quando os fluxos falham. Desenvolver fluxos no Prefect v2/v3 também é muito mais simples do que era no Prefect v1. Análise coletada por e hospedada no G2.com.

Quando se entra em execuções em larga escala, às vezes pode engasgar. Eu sinto que as soluções que a equipe deles nos dá são meio que remendos para coisas que a plataforma deles deveria lidar bem. Alguns desses elementos de orquestração, como a limpeza automática de trabalhos travados, é algo que eu acho que uma ferramenta de orquestração deveria fornecer de forma nativa. Análise coletada por e hospedada no G2.com.

Prefect é uma das ferramentas de orquestração de baixo custo e melhores do mercado. Podemos integrar muitas plataformas com o Prefect. Trabalhos do Databricks e Snowflake podem ser executados através do Prefect. Análise coletada por e hospedada no G2.com.

conhecimento de Python para trabalhar no Prefect e precisa ter alguns recursos adicionais onde o Airflow está à frente Análise coletada por e hospedada no G2.com.

Prefect é uma das melhores ferramentas de orquestração. Usando o repositório git de origem, podemos personalizar a integração à nossa maneira. Fácil de usar, mesmo para iniciantes usando configuração local. Conhecimento em Python é suficiente. Análise coletada por e hospedada no G2.com.

Outro grande concorrente do Prefect possui ganchos e conectores pré-construídos, enquanto o Prefect está atrás porque precisamos desenvolver os conectores. Análise coletada por e hospedada no G2.com.

A interface do usuário é a melhor parte. Todos os nossos processos de produção, perfeitos ou não, enviam mensagens de erro para o Slack. Os membros da nossa equipe se revezam no plantão, então, se uma mensagem de erro persistir no Slack, quem estiver de plantão tem que investigar. Com a maioria dos nossos processos, a pessoa de plantão tem que pegar o laptop, rastrear logs, etc. Se estiverem no meio de algo, como jantar, amigos, etc., eles têm que voltar ao laptop para resolver as coisas. Com o Prefect, eu consigo facilmente acessar meu telefone quando um erro do Prefect aparece, fazer login no Prefect e resolver tudo o que preciso ali mesmo. Um aplicativo iOS para o Prefect tornaria isso ainda melhor do que já é. Análise coletada por e hospedada no G2.com.

A documentação é terrível. Não há exemplos suficientes, especialmente com as coisas mais complicadas, como pools de trabalho e blocos. Quaisquer exemplos que existam são muito simples para realmente ajudá-lo a implementar algo real. O ótimo design da interface do usuário oferece melhores pistas sobre como as coisas funcionam do que a própria documentação. Análise coletada por e hospedada no G2.com.

Fácil de entender a estrutura e os conceitos para a nova posição de DataOps, comparando com o Airflow

Apoio e ajuda através do canal Slack, normalmente obtém resposta dentro de uma hora Análise coletada por e hospedada no G2.com.

Nada até agora, estamos felizes com as Versões Gratuitas do Prefect. Análise coletada por e hospedada no G2.com.

A coisa que nossa equipe mais gostou sobre o prefect é como é fácil converter qualquer código python em um pipeline funcional e automatizado através dos decoradores do prefect. Conseguimos migrar nossos fluxos de trabalho de funções em nuvem para o prefect em apenas alguns dias. O arquivo yaml de implantações declarativas também é fácil de entender e quando usado em nossos pipelines de CI/CD. Análise coletada por e hospedada no G2.com.

Eu gostaria que o Prefect tivesse mais integrações, mas entendo que está crescendo e a equipe está trabalhando arduamente para expandir essa área. Uma coisa que eu gostaria é que o Prefect Cloud tivesse uma integração nativa com o Kafka e integrações com o DataHub. Análise coletada por e hospedada no G2.com.

Prefect é sobre pegar a ideia de ter scripts Python agendados e adicionar facilmente e de forma especializada todas as coisas que facilitam a vida de um engenheiro: agendamento baseado em interface gráfica, parametrização, visualização de fluxos, registro detalhado de logs, tratamento de exceções, notificações, webhooks, conteinerização e implantações fáceis, concorrência. É como um sistema de valor agregado puro (e massivo) com quase nenhuma necessidade de fazer concessões em como você gosta de se conectar a dados, transformar dados ou entregar dados. Assim, acho que é especialmente poderoso quando você tem muitos pipelines ETL não padronizados indo em todas as direções (ou seja, uma montanha de dívida técnica) e você quer limpar as coisas sem ser forçado a decisões de design restritivas.

Prefect é realmente flexível, não apenas em termos de como você implanta os agentes de execução, mas também em termos de como você quer estruturar seu código e quais recursos do Prefect você quer usar intensamente ou levemente. Não há limitação em fontes de dados ou integrações: ele simplesmente se encaixa no que você já está fazendo com Python. Não força você a nenhum molde além de apenas usar Python, embora os conceitos de tarefas e a forma como o Prefect lida com a concorrência sejam super úteis se você quiser fazer uso dessas coisas. Facilita a conteinerização de scripts Python e torna cada aspecto de uma implantação de fluxo de dados modular e flexível. E uma vez que você tenha suas configurações do jeito que gosta, implantar mudanças ou novos fluxos é fácil.

Executamos cerca de 200 fluxos Prefect agendados por dia, enviando e recebendo dados entre mais de 50 sistemas diferentes em nossa universidade. Prefect tem sido um salva-vidas. A documentação, o suporte e o espaço do Prefect no Slack têm sido super úteis. Análise coletada por e hospedada no G2.com.

Eu mal posso reclamar do Prefect. Dito isso, sou um engenheiro experiente que gosta de ter muito controle. Se você já está escrevendo scripts Python agendados para mover dados, acho que o Prefect será uma ótima opção. Mas ele não foi projetado para resolver questões como como extrair dados do sistema X ou carregá-los no sistema Y ou como transformar dados. Trata-se de simplificar toda a estrutura em torno do núcleo do seu código Python para que você possa se concentrar em fazer o que precisa ser feito. Análise coletada por e hospedada no G2.com.

É pythonico e, portanto, fácil de implementar.

A versão 2.0 tem ótimos recursos, como deploy.

Isso nos permite desenvolver remotamente, colaborativamente, mas de maneira ordenada e simples.

Uma vez que você entende o essencial, ou seja, fluxos, tarefas, pool de trabalho, trabalhadores e implantação, tudo se torna muito simples.

Tem uma ótima comunidade, muito ativa. Em geral, os problemas que tive já têm vários comentários e soluções no Slack. Análise coletada por e hospedada no G2.com.

Tivemos que ler e testar por alguns dias para colocar o ambiente de desenvolvimento em funcionamento e conectar à nuvem.

Na documentação, faltam mais exemplos, como a conexão com o Gitlab (há apenas exemplos com o Github) e há algumas diferenças que resolvemos com a comunidade. Análise coletada por e hospedada no G2.com.

Acompanhei o Prefect desde a versão 1 e observei com satisfação que minhas sugestões no canal do Slack (muito responsivo) foram implementadas em produção. Muito pouco código inicial é necessário para registrar um fluxo, subfluxos e subtarefas, mas as opções são vastas. Eu faço trabalhos de ETL relativamente simples, mas me vejo eliminando muitas das verificações manuais, pois posso acionar fluxos com base em eventos em outros.

A API é bem documentada.

Repetições elegantes, nomeação de fluxos e opções para executores de tarefas.

Se você é como eu e achou o Airflow intimidador - esta é uma escolha realmente boa. Análise coletada por e hospedada no G2.com.

Está em rápido desenvolvimento, então preste atenção aos logs de lançamento. Como exemplo, eu costumava implantar usando objetos Python, mas agora a opção preferida é o arquivo prefect.yaml.

Parte do desenvolvimento nem sempre é refletida na documentação, mas eles estão se atualizando.

A visualização de Fluxo pode ser um pouco desordenada se você tiver alguns trabalhos que rodam por alguns minutos e outros por horas. Análise coletada por e hospedada no G2.com.

É bastante fácil anotar o código Python existente e convertê-lo em um fluxo Prefect sem mudar muito o código. A arquitetura híbrida que utiliza agentes ou trabalhadores permite ter muita flexibilidade sobre onde e como o código é executado. Isso também permite ter ambientes isolados para cada fluxo de uma maneira mais limpa do que algo como o Airflow. Análise coletada por e hospedada no G2.com.

Prefect 2 ainda é uma estrutura jovem e está em construção, então espere que tenha muitas atualizações constantes e possíveis mudanças que podem quebrar a compatibilidade. Sua comunidade não é tão grande quanto algo como "Airflow", então falta muitos conectores e alguns deles não são atualizados com frequência. Análise coletada por e hospedada no G2.com.