Spuštění vyhodnocení z portálu Microsoft Foundry

Vyhodnoťte výkon a bezpečnost vašich generovaných modelů a agentů AI spuštěním testovací datové sady. Během vyhodnocení se model nebo agent testuje s datovou sadou a jeho výkon se měří pomocí předdefinovaných a vlastních vyhodnocovačů.

Pomocí portálu Foundry můžete spouštět vyhodnocení, zobrazovat výsledky a analyzovat metriky.

Předpoklady

• Testovací datová sada ve formátu CSV nebo JSON Lines (JSONL) nebo model nebo agent, který se má vyhodnotit.
• Připojení Azure OpenAI s nasazeným modelem GPT, který podporuje dokončování chatu (například gpt-4o-mini). Vyžaduje se pouze pro hodnocení kvality s asistencí umělé inteligence.

Vytvoření vyhodnocení

Hodnocení můžete zahájit z několika míst na portálu Foundry:

• Zkušební stránka: V levém podokně vyberteVytvořit vyhodnocení>.
• Stránka Modely: Přejděte na model, vyberte kartu Vyhodnocení a pak vyberte Vytvořit.
• Stránka Agenti: Přejděte na svého agenta, vyberte kartu Vyhodnocení a pak vyberte Vytvořit.
• Testovací prostředí agenta: Přejděte na svého agenta, vyberte kartu Testovací prostředí a pak vyberte Metriky>Spustit úplné vyhodnocení.

Cíl vyhodnocení

Při vytváření vyhodnocení nejprve zvolíte cíl vyhodnocení. Cíl určuje, proti čemu se vyhodnocení spouští:

• Agent: Vyhodnotí výstup vygenerovaný vybraným agentem a uživatelem definovanou výzvu.
• Model: Vyhodnotí výstup vygenerovaný vybraným modelem a uživatelem definovanou výzvu.
• Datová sada: Vyhodnotí existující model nebo výstup agenta z testovací datové sady.

Výběr nebo vytvoření datové sady

Zadejte datovou sadu pro vyhodnocení. Můžete nahrát vlastní datovou sadu nebo synteticky vygenerovat.

• Přidat novou datovou sadu: Nahrajte soubory z místního storage. Podporují se jenom formáty souborů CSV a JSONL. V pravém podokně se zobrazí náhled testovacích dat.
• Generování syntetických datových sad: Pokud nemáte testovací data, vygenerujte syntetickou datovou sadu. Zadejte prostředek, počet řádků a výzvu, která popisuje data, která se mají vygenerovat. Soubory můžete také nahrát, aby se zlepšila relevance.

Konfigurace testovacích kritérií

Vyberte vyhodnocovače, které se mají použít pro vaše vyhodnocení. Microsoft Foundry poskytuje tři kategorie předdefinovaných vyhodnocovačů:

• Vyhodnocovače agentů – vyhodnoťte, jak efektivně agenti zpracovávají úlohy, nástroje a záměr uživatele.
• Hodnotitelé kvality – změřte celkovou kvalitu vygenerovaných odpovědí. Zahrnuje metriky asistované umělé inteligence (vyžadují nasazení modelu jako soudce) i metriky NLP (matematické, často vyžadují základní pravdivá data).
• Bezpečnostní vyhodnocovače – Identifikují potenciální obsah a bezpečnostní rizika ve vygenerovaném výstupu. Bezpečnostní vyhodnocovače nevyžadují nasazení modelu.

Můžete také vytvořit vlastní vyhodnocovače a vybrat je při konfiguraci testovacích kritérií.

Úplný seznam dostupných vyhodnocovačů najdete v tématu Předdefinované vyhodnocovače.

Mapování dat

Různé vyhodnocovače vyžadují různé datové vstupy. Portál automaticky mapuje pole datové sady na pole, která každý vyhodnocovač očekává. V případě potřeby zkontrolujte mapování a znovu přiřaďte pole. Požadavky na pole najdete na příslušných stránkách vyhodnocovače v části Předdefinované vyhodnocovače.

Kontrola a odeslání

Po dokončení konfigurace zadejte název vyhodnocení, zkontrolujte nastavení a vyberte Odeslat.

Související obsah

Přečtěte si další informace o vyhodnocování modelů a agentů generující umělé inteligence:

• Zobrazení výsledků vyhodnocení
• Jak spustit dávkové vyhodnocení
• Poznámka o transparentnosti pro hodnocení bezpečnosti slévárny