Avaliações e Detalhes do Produto IBM watsonx.governance

Gosto que o IBM watsonx.governance forneça fichas técnicas centralizadas para cada conjunto de IA, que incluem propriedade, propósito, risco, matrizes e aprovações, tudo documentado em um só lugar em vez de várias ferramentas. O controle embutido para monitorar o desempenho, o aumento de viés e a qualidade da IA gerada é excelente, pois vincula essas verificações a políticas e fluxos de trabalho claros, tornando a governança parte das operações diárias. É projetado com indústrias regulamentadas em mente, tendo um forte foco em auditores, documentação abrangente e aplicação de políticas, o que apoia diretamente o uso responsável e completo da IA. Análise coletada por e hospedada no G2.com.

Parece bastante pesado para equipes menores ou AIUs em estágio inicial. Os conceitos de configuração e os processos de trabalho são mais adequados para grandes empresas com programas de IA maduros, então a curva de aprendizado pode ser alta. A interface e a tecnologia são muito do tipo empresarial da IBM, o que pode ser opressor para partes interessadas não técnicas ou semi-técnicas que só querem visões e ações simples e claras. Como não faz parte de todo o ecossistema IBM, a integração e adoção podem ser mais lentas ou mais complexas, especialmente se já houver uma mistura de ferramentas não-IBM e processos de governança existentes. Análise coletada por e hospedada no G2.com.

Adoro como o IBM watsonx.governance automatiza o monitoramento e a conformidade dos nossos modelos de IA. Ele rastreia a deriva do modelo, a justiça e o viés, garantindo que estamos prontos para auditoria e em conformidade com os padrões internos. Aprecio que ele resolva o desafio da documentação manual e da preparação regulatória. O recurso de documentação automatizada é fantástico, economizando-nos enormes quantidades de tempo ao criar 'rótulos nutricionais' para nossos modelos e automatizando fichas técnicas e rastreamento de linhagem dos modelos. Também adoro que a documentação seja 'viva', sempre atualizada com qualquer re-treinamento ou atualização do modelo. A plataforma foi relativamente fácil de configurar, graças à versão SaaS, que nos permitiu começar a conectar nossos modelos em poucos dias. É absolutamente indispensável para qualquer empresa séria sobre conformidade de IA, lidando com regulamentação melhor do que qualquer outra coisa no mercado. Análise coletada por e hospedada no G2.com.

A plataforma é extremamente rica em recursos, o que pode fazer com que a interface do usuário pareça opressiva e difícil de navegar para novos usuários. Eles devem oferecer painéis simplificados e específicos para cada função. Por exemplo, um Oficial de Risco só precisa ver estatísticas de conformidade de alto nível, enquanto um Cientista de Dados precisa de métricas técnicas. Separar essas visualizações reduziria a desordem. Análise coletada por e hospedada no G2.com.

Eu gosto do IBM watsonx.governance porque ele transforma a governança de IA de um esforço manual e fragmentado em um processo estruturado e repetível. Tudo é capturado em um só lugar com propriedade e rastreabilidade claras, removendo muita fricção e incerteza à medida que os modelos de IA se expandem entre as equipes. Também aprecio o quão prático e pronto para empresas ele parece. Ele se integra bem aos fluxos de trabalho empresariais existentes e se encaixa naturalmente, em vez de forçar as equipes a mudarem da noite para o dia. Além disso, a governança se torna parte do fluxo normal de entrega de modelos, com aprovações e revisões acontecendo junto com o desenvolvimento e a implantação, reduzindo o vai-e-vem entre as equipes e evitando bloqueios de última hora. Análise coletada por e hospedada no G2.com.

A configuração inicial e a curva de aprendizado poderiam ser melhoradas. Há muitos conceitos que as equipes precisam entender desde o início, e a integração é pesada em termos de configuração. Configurar fluxos de trabalho, definir papéis e mapear as etapas requer algum esforço e pesquisa. Não é um sistema do tipo plug-and-play. Análise coletada por e hospedada no G2.com.

Gosto que o IBM watsonx.governance nos forneça um ambiente unificado e controlado por políticas para todo o nosso portfólio de IA de clientes, oferecendo uma visão clara para a gestão de riscos de modelos. Este recurso é essencial, pois nos ajuda a gerenciar todos os ativos de IA de forma consistente, seja o modelo um modelo de aprendizado de máquina ou um modelo de linguagem de grande porte de nova geração. Além disso, a melhor parte é poder integrar qualquer modelo de linguagem de grande porte, da Salesforce, AWS, etc. Ao aplicar padrões de clientes através de pacotes de políticas de IA, conseguimos manter tudo em conformidade e reduzir tremendamente o risco. Análise coletada por e hospedada no G2.com.

Eu não gosto da complexidade inicial de configuração e do atrito que às vezes causa ao integrar com ecossistemas não-IBM. Isso é melhor com Azure e AWS, onde a documentação adequada é encontrada e a configuração é bastante simples e direta. Além disso, acredito que eles poderiam aumentar a adoção pelos usuários simplificando os conectores prontos para uso e fornecendo modelos de baixo código para implantações multi-nuvem. Análise coletada por e hospedada no G2.com.

Aprecio como o IBM watsonx.governance serve como um "copiloto de IA" para conformidade. Ele simplifica a papelada muitas vezes tediosa, como fichas técnicas, e identifica ativamente possíveis vieses e riscos. Ao garantir que todos os modelos de IA aderem automaticamente às regulamentações globais, ele permite que as empresas escalem IA confiável de maneira segura e eficiente. Análise coletada por e hospedada no G2.com.

Eu não gosto que a plataforma tenha uma curva de aprendizado acentuada devido à sua complexidade e que seu alto custo possa ser uma barreira para empresas menores.\nOs usuários também relatam dificuldades ocasionais em integrá-la suavemente com ferramentas que não são da IBM e uma necessidade de melhor documentação e tutoriais. Análise coletada por e hospedada no G2.com.

Eu realmente gosto do recurso de Fichas de Fatos automatizadas da IBM watsonx.governance porque cria documentos claros e prontos para auditoria sem qualquer trabalho manual, tornando a conformidade muito mais fácil. O monitoramento em tempo real de viés e desvio de modelo também é um destaque para mim, pois ajuda a identificar problemas cedo, reduzindo riscos e garantindo que os modelos permaneçam confiáveis e estáveis em produção. Além disso, ele se integra bem com a plataforma de desenvolvimento de modelos, pipelines de dados e ferramentas de monitoramento que já usamos. No geral, esses recursos reduzem os esforços manuais contínuos e proporcionam uma experiência mais suave. Análise coletada por e hospedada no G2.com.

Acho que a configuração e a configuração inicial podem parecer um pouco complexas e demoradas, especialmente ao integrar com ferramentas e fluxos de trabalho existentes. Análise coletada por e hospedada no G2.com.

Eu realmente aprecio o IBM watsonx.governance por várias razões convincentes. Uma das características de destaque para mim são as capacidades de Governança e Confiança em IA, que aumentam a confiabilidade e o uso ético de modelos de IA, garantindo que possam ser usados com confiança em toda a minha organização. A flexibilidade do modelo de fundação é outro destaque, proporcionando-me a adaptabilidade necessária para adaptar aplicações de IA a diversos cenários e requisitos de forma eficaz. Também considero as capacidades de integração empresarial altamente benéficas, pois permitem uma conectividade perfeita com outras ferramentas e sistemas dentro da nossa infraestrutura existente, o que simplifica o fluxo de trabalho e aumenta a eficiência. Além disso, valorizo os modelos e templates pré-construídos que o IBM watsonx.governance oferece, pois eles agilizam significativamente o processo inicial de configuração. É também incrivelmente conveniente ter integração com o ecossistema mais amplo da IBM, como o IBM Cloud Pak for Data, o que melhora minhas capacidades operacionais gerais. Essas características, coletivamente, tornam o IBM watsonx.governance uma ferramenta inestimável na construção, treinamento e implantação de modelos de IA, especialmente ao gerenciar dados em grande escala. Análise coletada por e hospedada no G2.com.

Acho que o IBM watsonx.governance poderia se beneficiar de um ecossistema de modelos mais amplo. Expandir isso tornaria a plataforma mais versátil. Adicionar mais suporte para modelos de código aberto, impulsionados pela comunidade, e modelos específicos de domínio aumentaria muito sua flexibilidade e adaptabilidade. Análise coletada por e hospedada no G2.com.

A proposta da ferramenta é boa. A experiência do usuário também. O Conteúdo que ela se propõe a apresentar. Análise coletada por e hospedada no G2.com.

Difícil de utilizar.

Limitada nas conexões.

Limitada nas formas de implementações.

A SDK é complexa de ser utilizada e está com versão errada no respositorio do Pypi

Muita latência e quebra de conexão com o OpenScale durante o uso da ferramenta.

Pouco debugável, difícil descobrir o que está acontecendo de errado quando acontece algum erro. Análise coletada por e hospedada no G2.com.

Eu uso o IBM watsonx.governance para garantir que todos os meus modelos de IA estejam em conformidade com as regulamentações e sejam transparentes. Tem sido um divisor de águas na resolução de problemas relacionados à conformidade e risco de IA. Eu realmente gosto das Fichas de Fatos de IA automatizadas, que fornecem transcrições perfeitas e prontas para auditoria para cada modelo que eu implanto. A capacidade de monitorar automaticamente o viés e a deriva em tempo real é uma grande economia de tempo para minha equipe, eliminando a necessidade de inúmeras horas de auditorias manuais. Análise coletada por e hospedada no G2.com.

A complexidade inicial da configuração e a curva de aprendizado íngreme. Não foi fácil configurar nas etapas iniciais e foi uma espécie de projeto de implementação de várias semanas. Análise coletada por e hospedada no G2.com.

Gosto de como a governança do watsonx combina risco de modelo, IA generativa e governança. Por exemplo, a capacidade de criar um caso de uso, rastrear um modelo, associar com espaços de trabalho e avaliar prompts tudo em uma única área é excelente. Ainda melhor, a IBM lançou recentemente um novo recurso chamado Console de Governança, onde você pode rastrear múltiplos modelos, habilitar e criar controles, e avaliar riscos.

A governança tinha métricas de IA Gen como ROUGE e BLEU, assim como a capacidade para classificação como F1, Acurácia, precisão, recall, etc. Análise coletada por e hospedada no G2.com.

Não gosto de como uma avaliação no Watsonx Governance sobrescreve os resultados de avaliação anteriores se feita no mesmo dia. O OpenScale mantém o histórico, mas a governança no AI Factsheet não. O mesmo problema existe para os gráficos de tendência.

Por exemplo, os gráficos de tendência disponíveis no OpenScale têm uma configuração de tempo para horários, diários, semanais, etc. Mas digamos que eu faça 20 avaliações em um dia. Então, uma semana depois, quero mostrar como essas 20 avaliações se saíram e a tendência geral. Se eu mudar para horário, o gráfico fica muito esparso (já se passou uma semana), mas se eu mudar para diário, então é apenas um único ponto (todas as 20 avaliações foram no mesmo dia). Gostaria que o OpenScale e a Governança corrigissem isso.

Então, a capacidade de mostrar o texto_gerado em comparação com o texto de referência (verdadeiro). Sim, você pode baixar os resultados para um CSV, mas há duas grandes falhas (1) o CSV baixado está faltando o texto de referência, ele só tem o texto gerado. Então você tem que encontrar uma maneira de corresponder esse registro à sua fonte original se quiser comparar, e (2) você tem que fazer isso cada vez para cada subconjunto. Por que não ter apenas a capacidade de visualizar esse registro no software e evitar ter que baixar o CSV? o texto é truncado e não há como vê-lo. Análise coletada por e hospedada no G2.com.