TWI820731B - 電子系統、電腦實施方法及電腦程式產品 - Google Patents

Abstract

本發明提供促進一用以監測及評估一人工智慧(AI)模型對企業績效度量之效果的程序的系統、電腦實施方法及/或電腦程式產品。根據一實施例，一電腦實施方法可包含判定與一人工智慧模型相關聯的候選技術問題中之一技術問題，該技術問題與同一績效度量相關聯之一改變互相關，其中該判定係基於使用一第一資料模型，該第一資料模型界定關鍵績效度量與候選技術問題之間的第一關係以及該等候選技術問題與候選解決方案之間的第二關係。該方法進一步包含使用該資料模型判定該技術問題之一解決方案及建議或自動地實施該解決方案。該方法進一步提供使用基於評估經實施解決方案是否影響相關績效度量及如何影響相關績效度量之持續學習而隨時間推移更新/優化該資料模型。

Description

電子系統、電腦實施方法及電腦程式產品

本發明係關於人工智慧(AI)之領域，且更具體言之，係關於一種評估人工智慧模型之效果的方法、系統或電腦程式產品。

在諸如健康照護、人力資源及/或客戶服務之許多領域中愈來愈採用AI軟體解決方案。自減輕行政負擔至支援精準醫療，此等分析工具顯示出在臨床、金融及運營領域之前景。將AI解決方案整合至企業程序中有望對業務度量產生積極影響，諸如降低成本、改善消費者服務、提高生產力、提高終端使用者滿意度及更多積極影響。

然而，當啟動AI項目時，論述自業務需求及度量迅速滑向直接關鍵資料及模型特徵。在AI解決方案經過廣泛努力及投入而進入試點階段之前，企業度量僅被視為粗略(樂觀)估計。舉例而言，當AI模型用於產生自動建議或用於自動自助服務(諸如聊天機器人AI)時，自一開始便無法瞭解AI模型如何影響業務成果。業務整合差距源自以下事實：原生AI模型績效度量(諸如準確度及召回率)並不能直接適用於運算AI模型對業務關鍵績效指標(KPI)之影響，該等業務關鍵績效指標諸如成本節省、客戶保持率等等。舉例而言，在評估線上業務平台所使用之聊天機器人AI之效 能的內容背景中，表明以超過90%之準確度操控聊天機器人互動之報告並沒有說明太多業務成果(例如聊天機器人使用率是否改善客戶保持率)，亦未說明若某些業務條件發生改變，業務成果將如何改變。因此，在AI模型部署於該領域後，需要專門解決AI模型與業務KPI之間的相互作用之技術。

下文呈現提供對本文中所描述之一或多個實施例之基本理解的概述。此概述並不意欲識別關鍵或重要元件，或劃定特定實施例之任何範疇及/或申請專利範圍之任何範疇。概述之唯一目的在於以簡化形式呈現概念作為稍後呈現之更詳細描述的序言。在本文中所描述之一或多個實施例中，描述了可促進監測及評估人工智慧模型對企業績效度量之效果的裝置、系統、電腦實施方法、設備及/或電腦程式產品。

根據一個實施例，一種系統可包含儲存電腦可執行組件之一記憶體及執行儲存於該記憶體中之該等電腦可執行組件的一處理器。該等電腦可執行組件可包括一偵測組件，該偵測組件偵測與包括於為一企業系統追蹤之績效度量中之一績效度量相關聯的一改變，該績效度量與該企業系統使用一AI模型相關聯。該等績效度量可包括與企業之一或多個界定的業務目標有關的企業績效度量及與該AI模型之一或多個界定的績效目標有關的模型績效度量。該等電腦可執行組件可進一步包括一互相關組件，該互相關組件使用界定該等績效度量(例如該等企業績效度量與該等AI模型績效度量之間)與同該AI模型相關聯之候選技術問題之間的第一關係的資料模型來判定與該AI模型相關聯之一技術問題，該技術問題與該改變互相關。

在一些實施中，該資料模型進一步界定該等候選技術問題與該等候選技術問題之候選解決方案之間的第二關係，且其中該等電腦可執行組件可進一步包含使用該資料模型判定該技術問題之一解決方案的一補救組件。該等電腦可執行組件可進一步包含一建議組件，其產生識別該解決方案之一建議且將該建議提供至與該企業系統或該AI模型相關聯之一或多個實體。在一些實施例中，其中該解決方案包含對該AI模型之一組態之一組態改變，且該等電腦可執行組件可進一步包含一模型更新組件，其根據該組態改變更新該AI模型，從而產生一經更新之AI模型，其中基於該更新，該企業系統使用該經更新之AI模型代替該AI模型。

另外或替代地，該等電腦可執行組件可進一步包含：一追蹤組件，其在執行該解決方案之後判定該績效度量之一或多個新量度；及一學習組件，其基於該績效度量之該一或多個新量度判定該解決方案是否影響該改變及該解決方案如何影響該改變。在此等實施例之一些實施中，該等電腦可執行組件進一步包含：一方案評估組件，其基於該解決方案是否影響該改變及如何影響該改變而判定對該資料模型之一或多個調整；及一方案更新組件，其更新該資料模型以包含該一或多個調整。

在一些實施例中，所揭示系統及方法中所描述之元件可以不同形式體現，諸如電腦實施方法、電腦程式產品或另一形式。

100:非限制性系統

102:企業系統

104:AI模型

106:AI模型內容知識庫

108:工單組件

110:度量追蹤組件

112:其他企業組件

114:記憶體

116:處理單元

118:系統匯流排

122:企業用戶端

124:AI模型績效調節系統

126:績效評估組件

128:監測組件

130:偵測組件

132:互相關組件

134:補救組件

136:建議組件

138:方案資料庫

140:策略方案

142:規則方案

144:處理單元

146:記憶體

148:系統匯流排

150:經追蹤度量

152:經識別問題及解決方案

156:解決方案執行實體

200:實例資料模型

400:實例非限制性程序

402:步驟

404:步驟

406:步驟

408:步驟

410:步驟

412:步驟

500:另一實例非限制性系統

502:模型更新組件

504:學習組件

506:方案評估組件

508:方案更新組件

510:AI模型更新

600:另一實例非限制性程序

602:步驟

604:步驟

606:步驟

608:步驟

610:步驟

614:步驟

700:實例非限制性電腦實施方法

702:步驟

704:步驟

800:另一實例非限制性電腦實施方法

802:步驟

804:步驟

806:步驟

900:操作環境

902:電腦

904:系統記憶體

906:處理單元

908:系統匯流排

910:ROM

912:RAM

914:內部硬碟機(HDD)

916:外部儲存裝置

920:磁碟機

922:磁碟

924:HDD介面

926:外部儲存器介面

928:磁碟機介面

930:作業系統

932:應用程式

934:程式模組

936:程式資料

938:鍵盤

940:觸控式螢幕

942:滑鼠

944:輸入裝置介面

946:監視器

948:視訊配接器

950:遠端電腦

952:記憶體/儲存裝置

954:區域網路(LAN)

956:廣域網路(WAN)

958:有線及/或無線通信網路介面或配接器

960:數據機

1010:雲端運算節點

1050:雲端運算環境

1054A:個人數位助理(PDA)或蜂巢式電話

1054B:桌上型電腦

1054C:筆記型電腦

1054N:汽車電腦系統

1160:硬體及軟體層

1161:大型電腦

1162:基於精簡指令集電腦(RISC)架構之伺服器

1163:伺服器

1164:刀鋒伺服器

1165:儲存裝置

1166:網路及網路連接組件

1167:網路應用程式伺服器軟體

1168:量子平台路由軟體

1170:虛擬化層

1171:虛擬伺服器

1172:虛擬儲存器

1173:虛擬網路

1174:虛擬應用程式及/或作業系統

1175:虛擬用戶端

1180:管理層

1181:資源佈建

1182:計量及定價

1183:使用者(或組分)入口網站

1184:服務等級管理

1185:服務等級協議(SLA)規劃及履行

1190:工作負載層

1191:地圖繪製及導航

1192:軟體開發及生命週期管理

1193:虛擬教室教育遞送

1194:資料分析處理

1195:異動處理

1196:應用程式變換軟體

圖1說明根據本文中所描述之一或多個實施例的一實例非限制性系統之方塊圖，該系統可促進監測及評估AI模型對企業績效度量之效果。

圖2呈現根據本文中所描述之一或多個實施例的一實例資 料模型，其界定企業與AI模型績效度量之間的映射。

圖3呈現根據本文中所描述之一或多個實施例的企業KPI、模型績效KPI、技術問題與補救操作之間的實例映射。

圖4說明根據本文中所描述之一或多個實施例的一實例非限制性程序之流程圖，該程序用於監測及評估AI模型對企業績效度量之效果。

圖5說明根據本文中所描述之一或多個實施例的另一實例非限制性系統之方塊圖，該系統可促進監測及評估AI模型對企業績效度量之效果。

圖6說明根據本文中所描述之一或多個實施例的另一實例非限制性程序之流程圖，該程序用於監測及評估AI模型對企業績效度量之效果。

圖7說明根據本文中所描述之一或多個實施例的一實例非限制性電腦實施方法之流程圖，該電腦實施方法用於監測及評估AI模型對企業績效度量之效果。

圖8說明根據本文中所描述之一或多個實施例的另一實例非限制性電腦實施方法之流程圖，該電腦實施方法用於監測及評估AI模型對企業績效度量之效果。

圖9說明其中可促進本文中所描述之一或多個實施例的實例非限制性操作環境之方塊圖。

圖10說明根據本文中所描述之一或多個實施例的實例非限制性雲端運算環境之方塊圖。

圖11說明根據本文中所描述之一或多個實施例的複數個實 例非限制性抽象模型層之方塊圖。

以下實施方式僅係說明性的且並不意欲限制實施例及/或實施例之應用或使用。此外，並不意欲受在前述先前技術及/或發明內容部分中及/或在此實施方式部分中呈現的任何表達及/或暗示資訊約束。

如上文所論述，AI解決方案整合至業務程序中可伴隨有一或多個缺點。此等缺點可包括難以評估AI模型或整合AI模型之產品的使用在部署之後如何影響一或多個業務目標，及進一步判定如何調整模型自身(例如模型參數、持續訓練策略)及/或實施策略以改善一或多個業務目標。藉由對企業KPI及度量之預測的支援及對改善影響之建議，必須擴展現有的AI績效評估自動化。當前企業AI平台提供用於AI模型之開發、訓練及評估的整合式資源及工具之集合。然而，用於模型評估之度量僅基於AI模型之技術效能，諸如準確度、召回率及特定性。

所揭示技術經由以下系統及方法解決上文所論述之AI模型業務整合差距，該等系統及方法監測及偵測經界定業務KPI之趨勢、使此等趨勢同與AI模型相關聯之技術問題互相關且進一步使此等技術問題與潛在技術解決方案互相關。為促進此目的，所揭示技術可針對企業採用經界定策略方案，該策略方案界定特定業務及AI模型KPI，其針對與AI模型之使用相關聯的企業系統而經定期量測與監測。所揭示技術進一步採用經界定之基於圖形之資料模型，該資料模型界定不同KPI、技術問題與潛在解決方案之間的關係映射。可進一步建議經識別問題及解決方案以供實施及/或自動執行。所揭示技術進一步提供持續學習體系，該系統經由該持續學習體系使用機器學習技術以學習AI模型參數、AI模型訓練、AI模型內 容知識庫(KB)等的經實施解決方案/改變是否影響業務KPI及如何影響業務KPI，並相應地進一步修改/更新策略方案及/或基於圖形之資料模型。

所揭示技術幫助AI開發者優化相關目標以用於模型改善，且向企業所有者/管理者提供關於AI模型解決方案對業務KPI之影響的精確基準。另外，所揭示技術提供建議以改善影響。

在各種實施例中，所揭示技術可應用於由線上商家或線上服務提供者使用之AI聊天機器人，以執行一些自動化的客戶服務互動。聊天機器人係創建為與使用者自動交流之軟體程式。聊天機器人可藉由提供預定義之回應，而主動地回應含有特定詞語或片語之訊息。其亦可使用自然語言處理(NLP)及機器學習以分析及理解傳入訊息並即時提供適當回應。根據此等實施例，聊天機器人可整合工件語料庫，其包含自助文件、產品文件及問題判定之逐步流程或視訊。在應用於企業系統對聊天機器人的使用之一或多個實例實施中，假設企業系統對評估以下業務度量感興趣：1)請求偏轉；2.)客戶滿意度及3)解決方案的有效性。請求偏轉係指當對話結束且使用者指代相關工件時或當使用者升級至人工代理時。對於返回之解決方案的客戶滿意度可與其技能水準密切相關。舉例而言，一些終端使用者可能更喜歡視訊工件，因此其可遵循步驟以及經提供以展現解決方案之視覺資料。針對滿意度之額外組件可包括對話步驟的數量及制定回應反覆花費的時間。鑒於此等業務度量，可與其互相關之一些AI模型KPI包括但不限於以下各者：1.)對話時長；2.)最大反覆回應時間；3)技能相關工件之命中；4)預期工件清單之命中；及5.)解決方案之有效性。可針對用戶滿意度而界定較高層級之KPI，作為上文KPI 1至3之組合。一旦業務KPI與AI模型KPI之間的相依性已初步界定並模型化，所揭示技術便可提 供用於評估AI模型在運行時間期間對業務目標的影響。

所揭示技術向企業AI顧問或開發者及企業管理提供顯著的技術優勢。就此而言，自企業AI開發者/顧問之角度看，所揭示技術可主動地提供對圍繞目標AI項目之業務KPI互連的早期理解。此知識可幫助選擇演算法、縮放註解、界定準確度目標及其他應答內容。同樣重要的是，此知識可幫助評估未能自試點階段移動至大規模部署之風險。自企業管理角度看，此類整合提供多個有形及無形的益處。舉例而言，一個益處包括增加了對AI項目自起始階段就與商業模式聯繫起來之信心。另一益處包括將AI解決方案績效進展即時解釋為業務績效。另一實例益處包括意識到所需的企業基礎設施/服務擴展如何與AI解決方案整合，諸如擴展工單記錄以收集關於AI模型建議之資訊。

現參看圖式描述一或多個實施例，其中相同的附圖標號始終用於指相同的元件。在以下描述中，為達成解釋之目的，闡述許多特定細節以便提供對一或多個實施例之更透徹理解。然而，顯然，在各種情況下，可在無此等特定細節之情況下實踐一或多個實施例。

此外，應瞭解，本文中所描述之一或多個圖中描繪之實施例僅用於說明，且因而，實施例之架構不限於本文中所描繪之系統、裝置及/或組件，亦不限於本文中所描繪之系統、裝置及/或組件之任何特定次序、連接及/或耦接。舉例而言，在一或多個實施例中，圖1及圖5所說明之非限制性系統100及/或500及/或其系統可進一步包含本文中參考操作環境(諸如圖9所說明之操作環境900)所描述之一或多個基於電腦及/或運算之元件。在一或多個所描述實施例中，可結合實施結合圖1至圖6及/或本文中所描述之其他圖式展示及/或描述的系統、裝置、組件及/或電腦實施 操作中之一或多者而使用基於電腦及/或運算之元件。

現轉而參看圖1，其說明根據本文中所描述之一或多個實施例之實例非限制性系統100，該系統可促進監測及評估AI模型對企業績效度量之效果。非限制性系統100可包括企業系統102及AI模型績效調節系統124。

通常，企業系統102可對應於由業務或企業使用以執行一或多個企業相關任務的一或多個運算系統，該等任務包括由AI模型104執行或促進的至少一個任務。企業系統102之類型及AI模型104經組態以執行之特定任務可變化。舉例而言，在一些實施例中，企業系統102可對應於由線上商家使用以將商品及/或服務提供給客戶(亦被稱作顧客或使用者)的基於網站之平台(例如網站、網站應用程式、行動應用程式等)。在此等實施例中，企業用戶端122可對應於經由一或多個網路(例如網際網路)存取及使用企業系統102之實體。如本文中所使用，術語「實體」、「使用者實體」及/或「用戶端」及其類似者可為或包括機器、裝置、組件、硬體、軟體、智慧型裝置或在一些實施例中可為或包括人類。

舉例而言，在一些實施例中，企業系統102可對應於線上商家或服務提供者、社交媒體系統、串流視訊平台或另一類型之基於網站的企業。在此等實施例之一些實施中，AI模型104可包括或對應於基於網站之業務使用以自動化與客戶之某些互動的聊天機器人。在此等實施例中，企業用戶端122可對應於由客戶實體使用以存取基於網站之平台及與基於網站之平台介接的用戶端裝置。在其他實施中，AI模型104可包括或對應於適以執行與資料預處理、服務最佳化、自動化建議及能夠藉由一或多個AI模型自動化之各種其他業務相關任務相關之各種後端策略的一或多 個AI模型。在另一實例中，企業系統102可對應於由健康照護組織使用以執行與健康照護組織操作相關之各種任務(諸如管理及最佳化醫療護理之遞送、執行臨床評估、促進醫學影像之存取及審查及其類似者)的一或多個運算系統。根據此實例，AI模型104可經組態以執行與管理及最佳化醫療護理之遞送、處理醫學影像(例如執行診斷分類、器官分段及其他醫學影像處理任務)及健康照護組織之其他操作相關的多種自動任務。

就此而言，AI模型104可包括或對應於基本上任何類型之AI/ML模型或經調適以執行意欲達成及/或促進達成企業系統102之一或多個期望業務目標的一或多個經界定任務。儘管說明單一AI模型104，但應瞭解，AI模型104可對應於一或多個AI/ML模型。舉例而言，AI模型104亦可包括或對應於執行意欲達成及/或促進達成企業系統102之一或多個期望業務目標的不同任務之集合的複數個AI/ML模型。業務目標將視企業系統102之類型及AI模型104經調適以執行之一或多個任務而變化。舉例而言，在企業系統102對應於線上商家或服務提供者且AI模型104對應於經調適以自動化特定客戶服務互動的聊天機器人之實施中，經由聊天機器人的使用制定的業務目標可包括改善客戶服務、縮減因使用人工代理而提高的成本及改善總體客戶參與度及滿意度。在企業系統102對應於使用一或多個AI模型以將臨床決策支援提供給臨床醫師的醫院系統之另一實例實施中，業務目標可包括改善臨床醫師效率及績效準確度、提高患者護理品質、縮減患者住院時間等。

AI模型績效調節系統124可包括運算系統，該運算系統接收並評估由企業系統102隨時間推移產生的經追蹤度量150，該等經追蹤度量與業務績效度量及AI模型績效度量有關。術語「業務績效度量」、「企 業績效度量」、「業務KPI」、「企業KPI」或其類似者在本文中用以指代經界定績效度量，其用以參照企業之一或多個經界定業務目標來評估企業系統102的績效。術語「AI模型績效度量」、「模型績效度量」、「AI模型KPI」及其類似者在本文中用以指代經界定績效度量，其用以評估如由企業系統102使用的AI模型之技術效能。

舉例而言，當應用於線上商家或服務提供者使用聊天機器人AI來自動化一些客戶服務互動時，業務目標可包括改善客戶服務、節省成本及提高客戶參與度及滿意度。可用於相對於此等業務目標評估聊天機器人之績效的一些實例業務KPI可包括但不限於：回應時間、可用性、回答品質、由人工代理提供的總工單、由聊天機器人提供的總工單、已解決的總工單、客戶回饋(例如與線上商家整體及/或聊天機器人的使用相關聯的正回饋及負回饋的量度)、客戶評分(例如反映與線上商家整體及/或聊天機器人的使用相關聯的客戶滿意度)及重複維修率(例如關於在消費者問題/疑問解決之前商家嘗試維修的次數)。可用於評估企業系統102所使用的AI聊天機器人之技術效能之一些實例AI模型KPI可包括但不限於：使用統計(例如聊天機器人工作階段次數、聊天機器人工作階段頻率、聊天機器人與每個客戶工作階段的次數/頻率、聊天機器人工作階段持續時間等)、每一工作階段的回饋(例如反映每一工作階段的聊天機器人績效品質的量度)、首次解決率(例如聊天機器人是否用其第一次提供的解決方案/回答解決客戶的問題或疑問的量度)、平均訊息交換長度、跳出率(例如聊天機器人工作階段被客戶放棄或關閉的比率)、平均工作階段時間/持續時間及回退率(例如同一未解決的使用者疑問/問題的出現頻率)、每單位時間之使用者數量、新使用者數量及參與使用者數量。亦可更直接反映AI聊天機器人 之技術效能的一些額外的AI模型KPI亦可包括但不限於：每個使用者話語提取的實體的數量、每個使用者話語提取的徵兆的數量、藉由圖形搜尋返回的良好匹配的數量(例如經由相對於經界定索引的匹配分數來判定)及呈現給使用者的選項的數量。

應瞭解，上文所論述之各種業務及AI模型KPI僅為例示性的，且各種其他度量可用於自業務角度及技術角度評估聊天機器人AI及其他類型之AI模型之績效。就此而言，在經追蹤度量150中量測並追蹤之特定業務及AI模型KPI將視業務/企業之類型、業務/企業之特定目標及特定任務或AI模型經調適以執行之任務而變化。另外，業務KPI及AI模型KPI並不互斥。就此而言，視上下文而定，一些可量測KPI可被視為業務KPI及AI模型KPI。

通常，AI模型績效調節系統124提供基於經追蹤度量150評估AI模型104是否促成達成期望業務目標及多大程度地促成達成期望業務目標。如下文更詳細地描述，此涉及基於經界定規則及/或策略及/或一或多個機器學習技術而使業務KPI之趨勢與AI模型KPI之趨勢互相關。舉例而言，如在線上商家使用聊天機器人以執行一些自動化客戶服務代理互動之上下文中所應用，AI模型績效調節系統124可基於經追蹤度量150來偵測使用者負回饋之增加。AI模型績效調節系統124可進一步使業務KPI之此趨勢與AI模型KPI之一或多個其他趨勢(諸如增加之跳出率)互相關。AI模型績效調節系統124進一步提供識別與AI模型104相關聯之技術問題，該等技術問題係或可與業務績效度量之負趨勢互相關。舉例而言，AI績效調節系統124可進一步檢查與使用者負回饋相關聯之額外資訊，諸如聊天機器人工作階段之內容、問題類型及聊天機器人之回應，經提供之以上各 者係與使用者負回饋及跳出工作階段相關聯以判定或推斷哪些與聊天機器人相關聯之技術問題係或可歸因於使用者負回饋及增大之跳出率。舉例而言，AI模型績效調節系統124可判定聊天機器人反覆未能提供對同一或類似客戶問題之正確回應。AI績效調節系統124可進一步將經量測KPI之此趨勢與同聊天機器人AI相關聯之學習問題(例如，該模型並未自與問答環節相關聯之客戶負回饋及增大的跳出率學習)互相聯。

AI模型績效調節系統124進一步提供判定技術問題之解決方案及建議及/或自動地執行該等解決方案。在所展示之實施例中，關於技術問題及對應解決方案之資訊係表示為經識別問題及解決方案152。就此而言，經識別問題及解決方案152可包括識別與AI模型104相關聯之一或多個經識別技術問題的資訊，AI模型績效調節系統124已將該等經識別技術問題識別為與同包括於經追蹤度量150中之業務及/或AI模型KPI相關聯的負趨勢互相關。經識別問題及解決方案152亦可包括識別或指示該等技術問題之經判定的一或多個解決方案的資訊。如在系統100中所說明，AI模型績效調節系統124可將關於經識別問題及解決方案152的資訊提供至企業系統102以供企業系統102使用。另外或替代地，績效調節系統124可將經識別問題及解決方案152提供至適當的解決方案執行實體156以用於實施/執行經建議之解決方案。舉例而言，解決方案執行實體156可對應於156解決方案設計者、AI模型104之所有者/開發者、企業系統管理者、與管理AI模型104執行相關聯之內容管理者，及其類似者。舉例而言，根據聊天機器人學習問題實例，AI模型績效調節系統124可判定，技術學習問題之解決方案可包括調整聊天機器人AI的學習係數。在一些實施中，AI績效調節系統124可通知企業系統102及/或負責控制/執行關於用以調整 學習係數之學習問題及建議的模型調整之實體(例如解決方案執行實體156，其可對應於AI模型開發者、管理者等)，且該企業系統及/或該實體可相應地做出回應。在其中該解決方案涉及可自動執行的動作(例如調整模型參數、模型臨限值或類似者)之其他實施例中，AI模型績效調節系統104可自動執行該動作，如下文參看圖5更詳細地論述。

為促進此目的，企業系統102可包含一或多個組件，諸如AI模型104、AI模型內容知識庫106、工單組件108、度量追蹤組件110、其他企業組件112、記憶體114、處理單元116及系統匯流排118、匯流排224、判定組件208、分析組件212及/或監測組件220。AI模型績效調節系統124可包括績效評估組件126、監測組件128、偵測組件130、互相關組件132、補救組件134、建議組件136、方案資料庫138、處理單元144、記憶體146及系統匯流排148。

系統100之架構可變化。舉例而言，在所展示之實施例中，AI模型績效調節系統124描繪為與企業系統102分離之系統。此組態係設想用於以下實施，其中：評估AI模型績效對企業系統業務目標的影響的程序係藉由外部系統或企業系統102外部的實體(例如，開發、提供及/或管理AI模型104之實體，而非使用AI模型104作為整合至其業務中的產品之實體或類似者)執行。然而，應瞭解，在其他實施例中，可組合企業系統102及AI模型績效評估系統124。在此等實施例中，可組合經組合之記憶體114及記憶體146及/或可組合處理單位116及處理單元144。

在一或多個實施例中，企業系統102及/或AI模型績效調節系統124可與下文參看圖10所描述之雲端運算環境1050相關聯，及/或與下文參看圖11所描述之一或多個功能性抽象層(例如硬體及軟體層1160、虛 擬化層1170、管理層1180及/或工作負載層1190)相關聯。在此等實施例中，企業系統102及/或AI模型績效調節系統124(及/或其組件)可使用下文參看圖10所描述的雲端運算環境1050的一或多個運算資源，及/或參看下文參看圖11所描述的一或多個功能性抽象層(例如量子軟體及/或其類似者)，以根據本文中所描述之一或多個實施例執行一或多個操作。舉例而言，雲端運算環境1050及/或功能抽象層1160、1170、1180及/或1190中之一或多者可包含一或多個經典運算裝置(例如經典電腦、經典處理器、虛擬機、伺服器及/或其類似者)、量子硬體及/或量子軟體(例如量子運算裝置、量子電腦、量子處理器、量子電路模擬軟體、超導電路及/或其類似者)，其可經反應產生系統402及/或其組件使用以根據本文中所描述之一或多個實施例執行一或多個操作。舉例而言，企業系統102、AI模型績效調節系統124及/或其組件可使用一或多個經典及/或量子運算資源來執行一或多個經典及/或量子操作：數學函數、計算及/或等式；運算及/或處理指令碼；演算法；模型(例如人工智慧(AI)模型、機器學習(ML)模型及/或其他分析模型)；及/或根據本文中所描述之一或多個實施例之另一操作。

應理解，儘管本文中所描述之一或多個實施例包括關於雲端運算之詳細描述，但本文中所敍述之教示的實施不限於雲端運算環境。確切而言，本文中所描述之一或多個實施例能夠結合現在已知或稍後開發之任何其他類型之運算環境來實施。

雲端運算可為用於實現對可組態運算資源(例如網路、網路頻寬、伺服器、處理、記憶體、儲存器、應用程式、虛擬機及服務)之共用集區進行便利之按需網路存取的服務遞送之模型，該等可組態運算資源 可藉由最少的管理工作或與服務提供者之最少互動而快速地佈建及釋放。此雲端模型可包括至少五個特性、至少三個服務模型及至少四個部署模型。

特性可如下：

按需自助服務：雲端消費者可視需要自動地單方面佈建運算能力(諸如伺服器時間及網路儲存空間)，而無需與服務之提供者人為互動。

隨處網路存取：可經由網路獲得能力及經由標準機制存取能力，該等標準機制藉由異質精簡型或複雜型用戶端平台(例如行動電話、膝上型電腦及PDAs)促進使用。

資源集用：提供者之運算資源可經集用以使用多租戶模型為多個消費者服務，其中根據需要動態地指派及重新指派不同實體及虛擬資源。存在位置獨立性之意義，此係因為消費者通常不具有對所提供之資源之確切位置的控制及/或瞭解，但可能能夠按較高抽象層級(例如國家、州及/或資料中心)指定位置。

快速彈性：可快速地且彈性地佈建能力(在一或多種狀況下，自動地)以迅速地向外延展，且可快速地釋放能力以迅速地向內延展。在消費者看來，可用於佈建之能力常常看起來為無限的且可在任何時間以任何量來購買。

所量測服務：雲端系統可藉由在適於服務類型(例如儲存、處理、頻寬及/或作用中使用者帳戶)之一或多個抽象層下利用計量能力而自動控制及/或最佳化資源使用。可監測、控制及/或報告資源使用狀況，從而為所利用服務之提供者及消費者兩者提供透明度。

服務模型可如下：

軟體即服務(SaaS)：提供給消費者之能力可係使用在雲端基礎架構上運行之提供者之應用程式。可經由諸如網頁瀏覽器(例如基於網頁之電子郵件)之精簡型用戶端界面自各種用戶端裝置存取應用程式。消費者並不管理或控制包括網路、伺服器、作業系統、儲存器或個別應用程式能力之底層雲端基礎架構，其中可能的異常為有限的使用者特定應用程式組態設定。

平台即服務(PaaS)：提供給消費者之能力可係將消費者創建之應用程式或使用提供者所支援之程式設計語言及工具創建的所獲取之應用程式部署至雲端基礎架構上。消費者並不管理或控制包括網路、伺服器、作業系統或儲存器之底層雲端基礎架構，但可具有對所部署之應用程式及可能的代管環境組態之應用程式的控制。

基礎架構即服務(IaaS)：提供給消費者之能力可為佈建處理、儲存、網路及/或其他基礎運算資源，其中消費者可部署及運行可包括作業系統及應用程式之任意軟體。消費者並不管理或控制底層雲端基礎架構，但具有對作業系統、儲存器、經部署應用程式之控制及/或可能的對選擇網路連接組件(例如主機防火牆)之有限控制。

部署模型可如下：

私用雲端：可僅針對組織操作雲端基礎架構。雲端基礎架構可由組織及/或第三方來管理且可存在內部部署或外部部署。

社群雲端：該雲端基礎架構可由一或多個組織共用且可支援可具有共用關注事項(例如任務、安全要求、策略及/或順應性考量)的特定社群。雲端基礎架構可由該等組織或第三方來管理且可存在內部部署或 外部部署。

公用雲端：使雲端基礎架構可用於公眾或大型工業集團且可為出售雲端服務之組織所擁有。

混合雲端：雲端基礎架構可為兩個或更多個雲端(私用、社群或公用)之組合物，該等雲端可保持獨特實體但可藉由實現資料及/或應用程式攜帶性(例如用於在雲端之間實現負載平衡的雲端爆發)之標準化或專屬技術繫結在一起。

可藉由集中於無國界、低耦接、模組化及/或語義互操作性對雲端運算環境進行服務定向。雲端運算之關鍵可為可包括互連節點之網路的基礎架構。

此外，非限制性系統100可與以下各者相關聯或可包括於以下各者中：資料分析系統、資料處理系統、圖形分析系統、圖形處理系統、巨量資料系統、社交網路系統、語音辨識系統、影像辨識系統、圖形模型化系統、生物資訊系統、資料壓縮系統、人工智慧系統、鑑認系統、語法圖案辨識系統、醫療系統、健康監測系統、網路系統、電腦網路系統、通信系統、路由器系統、伺服器系統、高可用性伺服器系統(例如電信伺服器系統)、網頁伺服器系統、檔案伺服器系統、資料伺服器系統、磁碟陣列系統、電動插入板系統、基於雲端的系統及/或其類似者。根據此情形，非限制性系統100可用於使用硬體及/或軟體來解決本質上具有高度技術性及/或非抽象的問題。

無關於系統100(及本文中所描述之其他系統)之架構部署，記憶體114及/或記憶體146可儲存一或多個電腦及/或機器可讀、可寫及/或可執行組件及/或指令，該等組件及/或指令在由處理單元117及/或處 理單元144(例如經典處理器、量子處理器及/或類似處理器)執行時可促進執行由一或多個可執行組件及/或一或多個指令界定之操作。舉例而言，記憶體114可儲存電腦及/或機器可讀、可寫及/或可執行組件及/或指令，該等組件及/或指令在由處理單元116執行時可促進本文中關於企業系統102、AI模型104、工單組件108、度量追蹤組件110及/或其他企業組件112所描述之各種功能的執行，如本文中在參看或不參看一或多個實施例之各種圖的情況下所描述。同樣地，記憶體146可儲存電腦及/或機器可讀、可寫及/或可執行組件及/或指令，該等組件及/或指令在由處理單元144執行時可促進本文中關於AI模型績效調節系統124、績效評估組件126、補救組件134、建議組件136及本文中所描述之其他相關聯組件描述的各種功能的執行。

記憶體114及/或記憶體146可包含可使用一或多個記憶體架構之揮發性記憶體(例如隨機存取記憶體(RAM)、靜態RAM(SRAM)、動態RAM(DRAM)及/或其類似者)及/或非揮發性記憶體(例如唯讀記憶體(ROM)、可程式化ROM(PROM)、電可程式化ROM(EPROM)、電可擦除可程式化ROM(EEPROM)及/或其類似者)。記憶體114及記憶體146之其他實例如下文參看系統記憶體904及圖9所描述。

處理單元116及/或處理單元144可包含一或多種類型之處理器及/或電子電路系統(例如經典處理器、量子處理器及/或類似處理器)，其可實施可分別儲存於記憶體114及/或記憶體146中之一或多個電腦及/或機器可讀、可寫及/或可執行組件及/或指令。舉例而言，處理單元116及/或處理單元144可執行可由電腦及/或機器可讀、可寫及/或可執行組件及/或指令指定之各種操作，包括但不限於邏輯、控制、輸入/輸出 (I/O)、運算及/或其類似者。在一或多個實施例中，處理單元116及/或處理單元144可包含中央處理單元、多核處理器、微處理器、雙微處理器、微控制器、系統單晶片(SOC)、陣列處理器、向量處理器、量子處理器及/或另一類型之處理器中之一或多者。處理單元116及/或處理單元144的額外實例在下文參看處理單元906及圖9描述。

如本文中所描述之企業系統之各別組件(例如，AI模型104、AI模型內容知識庫106、工單組件108、度量追蹤組件110、其他企業組件112、記憶體114及處理單元116)可經由系統匯流排118以通信方式、電方式、操作方式及/或光學方式彼此耦接以執行企業系統102及/或與其耦接之任何組件之功能。同樣地，如本文中所描述的AI模型績效調節系統124之各別組件(例如績效評估組件126、補救組件134、建議組件136、方案資料庫138、處理單元144及記憶體146)可經由另一系統匯流排148以通信方式、電方式、操作方式及/或光學方式彼此耦接以執行AI模型績效調節系統124及/或與其耦接的任何組件之功能。系統匯流排118及/或系統匯流排148可包含以下各者中之一或多者：記憶體匯流排、記憶體控制器、周邊匯流排、外部匯流排、區域匯流排、量子匯流排及/或可使用各種匯流排架構的另一類型的匯流排。下文參看系統匯流排908及圖9描述系統匯流排118及/或系統匯流排144之其他實例。系統匯流排118及/或系統匯流排148之實例可用於實施本文中所描述之任一或多個實施例。

企業系統102、企業用戶端122、解決方案執行實體156及AI模型績效調節系統124可包含任何類型之組件、機器、裝置、設施、設備及/或器具，以上各者可包含處理器及/或可能夠與有線及/或無線網路進行有效及/或操作性通信。設想到所有此類實施例。舉例而言，企業系統 102、企業用戶端122、解決方案執行實體156及AI模型績效調節系統124可包含伺服器裝置、運算裝置、通用電腦、專用電腦、量子運算裝置(例如量子電腦)、平板運算裝置、手持裝置、伺服器級運算機器及/或資料庫、膝上型電腦、筆記型電腦、桌上型電腦、蜂巢式電話、智慧型手機、家用電器及/或儀器、工業及/或商業裝置、數位助理、具備多媒體網際網路能力之手機、多媒體播放機及/或另一類型之裝置。

企業系統102、企業用戶端122、解決方案執行實體156及AI模型績效調節系統124可經由資料電纜(例如高畫質多媒體介面(HDMI)、建議標準(RS)232、乙太網路電纜及/或其類似者)彼此耦接(例如以通信方式、電方式、操作方式、光學方式及/或其類似者)及/或耦接至一或多個外部系統、來源及/或裝置(例如經典及/或量子運算裝置、通信裝置及/或其類似者)。在一或多個實施例中，企業系統102、企業用戶端122、解決方案執行實體156及AI模型績效調節系統124可經由網路耦接(例如以通信方式、電方式、操作方式、光學方式及/或其類似者)至一或多個外部系統、來源及/或裝置(例如經典及/或量子運算裝置、通信裝置及/或其類似者)。

在一或多個實施例中，網路可包含一或多個有線及/或無線網路，包括但不限於蜂巢式網路、廣域網路(WAN)(例如網際網路)或區域網路(LAN)。舉例而言，企業系統102、企業用戶端122、解決方案執行實體156及AI模型績效調節系統124可彼此通信(且反之亦然)及/或使用幾乎任一期望有線及/或無線技術與一或多個外部系統、來源及/或裝置(例如運算裝置)通信，該有線及/或無線技術包括但不限於：無線保真(Wi-Fi)、全球行動通訊系統(GSM)、全球行動電信系統(UMTS)、微波存取全球互通 (WiMAX)、增強通用封包無線電服務(增強型GPRS)、第三代合作夥伴計劃(3GPP)長期演進(LTE)、第三代合作夥伴計劃2(3GPP2)超行動寬頻(UMB)、高速封包存取(HSPA)、Zigbee及其他802.XX無線技術及/或傳統電信技術、BLUETOOTH®、對話啟動協定(SIP)、ZIGBEE®、RF4CE協定、WirelessHART協定、6LoWPAN(低功率無線區域網路之IPv6)、Z-Wave、ANT、超寬頻(UWB)標準協定及/或其他專用的及/或非專用的通信協定。在相關實例中，回應產生系統402可包括硬體(例如中央處理單元(CPU)、收發器、解碼器、量子硬體、量子處理器及/或其類似者)、軟體(例如一組執行緒、一組程序、執行中軟體、量子脈衝排程、量子電路、量子閘及/或其類似者)及/或可促進在回應產生系統402及外部系統、來源及/或裝置(例如運算裝置、通信裝置及/或其類似者)中傳達資訊的硬體及軟體之組合。

參看企業系統102之組件，如上文所論述，AI模型104可包括或對應於基本上任何類型之AI/ML模型或經調適以執行一或多個意欲達成及/或促進達成企業系統102之一或多個期望業務目標的經界定任務。AI模型內容知識庫106可包括由AI模型104使用以執行或促進執行經界定之一或多個任務的內容。舉例而言，在企業系統102對應於經調適以使某些客戶服務互動自動化之聊天機器人的實施中，AI模型內容知識庫106可包括索引資訊，其界定對不同使用者問題或查詢之適當的聊天機器人回應。回應可包括文字資料、影像資料、音訊資料、至內部企業系統內容及/或應用程式之超連結、至外部內容及/或應用程式之超連結(例如由經由網際網路或另一通信網路存取之一或多個外部系統/裝置提供)及其類似者。在AI模型104對應於經調適以識別臨床工作流程中之潛在不良事件並提供建 議以最小化或防止不良事件的臨床推理模型之另一實例實施中，AI模型內容知識庫106可包括界定適當臨床回應以最小化或防止潛在不良事件的索引資訊。在一些實施中，AI模型內容知識庫106可儲存於記憶體114中。另外或替代地，該AI模型內容知識庫可儲存於可由企業系統102存取之外部記憶體中(例如經由一或多個有線或無線通信網路)。

在各種實施例中，AI模型104可經調適以基於關於其績效準確度及特異性的回饋隨時間推移自主地或隱式地學習。在此等實施例中，AI模型內容知識庫106亦可聚合及儲存關於AI模型104之使用及可由AI模型104使用以隨時間推移隱式地學習的其績效回饋的歷史資訊。舉例而言，當應用於聊天機器人情境時，歷史使用資訊可包括關於聊天機器人過去工作階段之資訊，包括但不限於：工作階段之內容(例如聊天機器人提供之內容及使用者/客戶問題及回應)、與工作階段相關聯之客戶/使用者身分、工作階段之時序/持續時間、是否產生工單、是否解決工單、是否及何時及為何聊天機器人將客戶連接至人工代理及經接收之關於工作階段的回饋。回饋可包括例如使用者/客戶提供的關於其對聊天機器人工作階段之滿意度的回饋，諸如績效評分、表明是否解決其疑問/問題之資訊及其類似者。

在AI模型104對應於AI聊天機器人之實施中，工單組件108可對應於企業系統用以追蹤並組織客戶服務請求之內部工單系統/軟體。舉例而言，工單組件108可產生用於經由聊天機器人工作階段接收之客戶問題/請求之工單。工單組件108亦可追蹤關於以下各者之資訊：與工單相關聯之使用者身分、為其創建工單的客戶服務請求、何時/是否解決工單及工單係由聊天機器人抑或人工代理服務。

另一企業組件112可包括或對應於與除AI模型104以外之企業系統102相關聯的各種其他應用程式、特徵及功能性。舉例而言，當應用於線上商家或服務提供者時，另一企業組件112可對應於由線上商家或服務提供者提供之各種主要特徵及功能性，諸如電子商務應用程式、帳單應用程式、評分系統、社交媒體功能、使用者設定檔/帳戶系統及其類似者。在一些實施例中，AI模型104可與提供回應及/或產生推斷相關聯地存取並使用另一企業組件112。

度量追蹤組件110可量測及產生用於企業系統102之經追蹤度量150。如上文所提到，經追蹤度量150可包括企業KPI及AI模型KPI。度量追蹤組件110可進一步將經追蹤度量150儲存於記憶體114中及/或將經追蹤度量150提供至AI模型績效調節系統124。亦可預定義該等度量係由度量追蹤組件110量測並報告至AI模型績效評估調節系統124之頻率(例如每30分鐘、每小時、一日一次、一週一次等)。由度量追蹤組件110追蹤之特定度量及用於計算度量之規則可經預定義並儲存於記憶體114或度量追蹤組件110可存取之另一適合的記憶體中。舉例而言，在AI模型104包含經調適以執行一些自動化客戶服務互動之聊天機器人的實施中，度量追蹤組件110可基於使用資料及回饋來量測並產生經追蹤度量150，該使用資料及回饋與可儲存於AI模型內容知識庫106中之各聊天機器人工作階段相關聯地接收。另外或替代地，度量追蹤組件110可基於由工單組件108產生之資料來計算/量測企業KPI及AI模型KPI。舉例而言，一些實例業務KPI及/或AI模型KPI可基於聊天機器人工作階段使用資料、回饋資料及/或藉由工單組件108來產生的工單資料而量測/計算，該等實例業務KPI及/或AI模型KPI可包括但不限於：首次解決率、重複維修率、回退率、客戶 滿意度回饋(例如二進位值或評分)、每次工作階段的平均訊息、每次聊天機器人工作階段的平均時間、聊天機器人使用者數量(每一界定時段)、新使用者數量(例如每一界定時段)、參與使用者數量(例如經由使用者回應時間、經由使用者回應頻率、經由使用者回應內容或另一估值判定)及跳出率。度量追蹤組件110亦可基於針對各別的聊天機器人工作階段所追蹤及儲存之聊天機器人工作階段內容之分析而產生AI模型KPI，諸如但不限於：自各使用者話語中提取的實體的數量、自使用者話語中提取的徵兆的數量、基於自然語言理解(NLU)與經界定索引的匹配藉由圖形搜尋返回的良好匹配的數量(例如其中「良好」係基於相對於經界定臨限值的匹配分數而判定)及呈現給使用者的選項的數量。

度量追蹤組件110可量測/計算相對於多種參考框架之KPI。舉例而言，關於聊天機器人實例，度量追蹤組件110可根據工作階段話題、聊天機器人工作階段、使用者/客戶身分(例如其中一些使用者可反覆使用聊天機器人)及其類似者量測作為經界定時段之函數的某些KPI。就此而言，在一些實施例中，企業系統102可儲存藉由使用者識別符、使用者設定檔、使用者帳號或其類似者識別企業系統102之各別使用者的資訊。度量追蹤組件110可進一步追蹤用於各別使用者身分之業務及AI模型KPI，諸如但不限於：每天造訪之次數、造訪頻率(每週或另一時段)、參與度得分、彈出得分(反映彈出式聊天機器人工作階段之頻率)、平均工作階段長度及平均回饋率。

參看AI模型績效調節系統124之組件，績效評估組件126可參照AI模型104對企業系統之一或多個業務目標的影響提供關於評估AI模型104之績效的各種功能。為了促進此目的，績效評估組件126可包括監 測組件128、偵測組件130及互相關組件132。

監測組件128可接收並監測由度量追蹤組件110產生之經追蹤度量150。在一些實施中，度量追蹤組件110可計算/量測經追蹤度量150並在其一經產生時將其提供至監測組件128。在度量追蹤組件110將經追蹤度量儲存於記憶體114中之其他實施中，監測組件128可自記憶體114提取經追蹤度量150。在此等實施中之任一者中，監測組件128可在隨時間推移接收或提取不同業務KPI及AI模型KPI之經追蹤度量時聚合該等追蹤度量。

偵測組件130可分析經追蹤度量150以偵測經追蹤度量150之趨勢。詳言之，偵測組件130可經組態以偵測業務及/或AI模型KPI之負趨勢或改變，該等負趨勢或改變指示對企業系統102之業務目標的消極影響。偵測組件130亦可經組態以偵測企業及AI模型KPI之正趨勢或改變。舉例而言，偵測組件130可結合判定經識別技術問題之經實施解決方案是否改善相關KPI及其改善之程度，偵測KPI之正趨勢或改變。偵測組件130經組態以偵測之特定趨勢將視企業系統102之類型、企業系統102之業務目標、企業系統102之策略及包括於經追蹤度量中之特定業務及AI模型KPI而變化。舉例而言，當應用於聊天機器人AI實施時，一些實例趨勢可包括但不限於以下各者：使用者回饋之下降、使用者正回饋之下降、每天/週(或另一時段)使用者之數量之下降、每天/週(或另一時段)之對話之數量之下降、使用者負回饋之增加、彈出率之增加及對話長度之增加。

就此而言，趨勢可基於超出經界定臨限值的個別KPI之改變及/或超出經界定臨限值的兩個或多於兩個KPI之組合的改變。趨勢亦可基於不同KPI與用於不同KPI之權重之間的經界定優先級。在各種實施例 中，偵測組件130經組態以監測及偵測之特定趨勢及用於偵測此類趨勢之規則/方案可在方案資料庫138中經由策略方案140對企業系統102進行預定義。就此而言，策略方案140可界定用於使經追蹤度量150中包括之KPI的可量測改變與負趨勢及正趨勢互相關之規則及策略(例如可接受臨限值)。舉例而言，策略方案140可界定用於一或多個特定業務及/或AI模型KPI之可接受值及/或值範圍，其中偵測組件130可經組態以基於經量測KPI之值或值範圍下降至低於經界定可接受臨限值而識別負趨勢。同樣地，偵測組件130可基於經量測KPI之值或值範圍在經界定可接受臨限值內及/或超出經界定可接受臨限值而識別正趨勢。另外或替代地，策略方案140可界定特定業務KPI及/或AI模型KPI之可接受改變程度或比率，其中偵測組件130可基於業務及/或AI模型KPI相對於經界定臨限改變比率之改變程度或比率而偵測或宣告負趨勢及正趨勢之觀察。在各種實施例中，策略方案140可首先由與企業系統102及/或AI模型104相關聯的一或多個主題專家創建/界定。如下文參考圖5更詳細地論述，在一些實施例中，所揭示系統可進一步提供在操作期間經由一或多個機器學習技術自動調整並優化策略方案140。

互相關組件132可進一步使構成負趨勢(及視情況正趨勢)(例如如基於策略方案140所界定的)的經追蹤度量150中之一或多者的經偵測改變與同AI模型104相關聯的一或多個潛在的技術問題互相關。補救組件134可進一步使一或多個技術問題與該一或多個技術問題之一或多個潛在解決方案互相關。建議組件136可進一步產生識別一或多個技術問題及一或多個解決方案(例如經識別問題及解決方案152資料)之建議，並將該建議提供至企業系統102及/或解決方案執行實體156以用於實施或執行。

為促進此目的，互相關組件132及補救組件136可使用企業系統及AI模型104之規則方案142，其提供用於使不同KPI互相關之經界定規則及/或約束，該等不同KPI之經偵測趨勢係基於潛在技術問題及解決方案。舉例而言，在一些實施例中，規則方案142可包括或對應於界定經追蹤度量150之類別之資料模型，其包括不同業務及AI模型KPI之層級、在各別業務KPI、AI模型KPI、經界定候選技術問題與經界定候選解決方案之間的關係映射。在各種實施例中，規則方案142可首先由與企業系統102及/或AI模型104相關聯的一或多個主題專家創建/界定。如下文參考圖5更詳細地論述，在一些實施例中，所揭示系統可進一步提供在操作期間經由一或多個機器學習技術自動調整並優化規則方案142。

圖2呈現根據本文中所描述之一或多個實施例之實例資料模型200，其界定企業/業務績效度量與AI模型績效度量之間的映射。資料模型200亦界定KPI與候選技術問題之間的映射以及候選技術問題與候選補救動作之間的映射。

參看圖1及圖2，資料模型200呈現可界定於企業系統之規則方案142中的實例資料模型，該企業系統使用聊天機器人AI，其中業務目標在於改善客戶服務、節省成本且改善客戶參與度及滿意度。如圖2中所說明，資料模型200界定在經界定業務KPI、AI模型KPI、候選技術問題與候選補救動作之間的映射(藉由標有箭頭的線提供)。在此實例中，業務KPI包括回應時間、可用性、回答品質、由人工代理伺服之總工單、已解決的總工單、客戶回饋及評分。AI模型KPI包括使用統計(例如工作階段次數、造訪頻率等)、每一工作階段之回饋、首次解決(例如聊天機器人是否在一個工作階段之後解決客戶問題/疑問)、平均訊息長度、跳出率、每 一工作階段平均時間及回退率。此實例中與AI模型相關聯之候選技術問題可包括(但不限於)：AI模型訓練、資料覆蓋(例如關於訓練資料及/或由包括於AI模型內容知識庫106中之聊天機器人AI使用之資料)、知識庫(KB)搜尋(例如指示KB映射之問題)、與實體/徵兆提取相關之話語提取問題、聊天機器人準確度，及使用者訓練(例如，指示訓練使用者/客戶如何更好與聊天機器人交流之問題)。候選補救解決方案包括(但不限於)：改善聊天機器人之知識提取功能、改善/調整AI模型KB/搜尋覆蓋、改變自然語言匹配得分臨限值、改變AI模型係數及/或激發函數、改變模型決策樹層級(例如在其中聊天機器人使用決策樹功能之實施中)、調整學習係數及改變實體-動作聯繫。

圖3呈現根據本文中所描述之一或多個實施例之包括於資料模型200中的在企業KPI、模型績效KPI、技術問題與補救動作之間的實例映射。在此實例中，為清晰起見，相關節點用實心灰色填充標註，且非相關節點之間的連接線自圖中刪除。圖3中所說明之映射呈現與客戶服務改善目標有關的「回答品質」與業務KPI之間的一個實例映射。根據此實例，資料模型200將「回答品質」業務KPI映射至兩個AI模型KPI，其包括「每一工作階段之回饋」及「首次解決」。圖3中所說明的映射表明互相關組件132及補救組件134可如何使用資料模型來將與一或多個業務KPI相關聯的趨勢與AI模型KPI、候選技術問題及候選補救解決方案互相關。

就此而言，參看圖1及圖3，圖3中所說明之映射係基於由聊天機器人AI提供之回答品質之量度的經偵測之改變/趨勢，經藉由偵測組件130使用策略方案140基於降至經界定臨限值以下的回答品質之量度而判定。基於此經偵測之趨勢，互相關組件132可使用資料模型200來識 別已界定為與回答品質之下降或改變互相關的潛在AI模型KPI，其在此狀況下包括「每一工作階段之回饋」及「首次解決」率。互相關組件132可進一步使用資料模型200來識別與此等AI模型KPI相關聯之候選技術問題，其在此狀況下包括「資料覆蓋」、「遺漏資料解決方案」及「回饋學習」。補救組件134可進一步使用資料模型200來識別此前已與此等候選技術問題映射/互相關的候選補救解決方案，其在此狀況下包括改善/調整聊天機器人之「知識提取」功能、調整「AI模型KB/搜尋覆蓋」及「調整學習係數」。

應瞭解，業務KPI、AI模型KPI、候選技術問題、候選補救解決方案及界定於此等圖形節點之間的映射將基於企業系統102及AI模型104經調適以執行之一或多個任務而變化。根據應用於聊天機器人AI實施之一或多個實施例，可將候選補救解決方案分類成離線動作及線上動作，其中離線動作包括與離線AI模型訓練及內容覆蓋相關之動作，且其中線上動作包括可在AI模型104及企業系統102之運行環境中自動執行/應用之動作。舉例而言，一些實例離線動作可包括但不限於：將遺失內容增添至訓練資料集及AI模型內容知識庫106中之AI模型內容(例如與AI模型內容知識庫106中聊天機器人回答/回應的不可用性互相關)、增加訓練資料集的多樣性(例如與扭曲結果互相關)、增加AI模型內容知識庫106中之AI模型內容中實體的覆蓋率(例如與來自使用者話語的低實體匹配得分互相關)及調整AI模型預處理及特徵提取協定(例如包括最佳化話語分析、實體徵兆提取、實體聯繫、實體-動作聯繫、程序提取及回答提取)。一些實例線上動作可包括但不限於：調整AI模型之一或多個組態/參數(例如權重、係數、參數、激發函數、決策邊界、決策樹層級等)，及藉由每一聊天工 作階段產生即時回饋及/或藉由產生合併的回饋得分(例如在一時段內、每一產品/副產品、每一客戶、每一使用者、每一徵兆等)來執行使用者回饋學習。

以下表1提供可由偵測組件130偵測到之不同趨勢之一些實例，及此等趨勢可如何使用規則方案142與特定企業/AI模型KPI、技術問題及互相關組件132及補救組件134之建議動作互相關，規則方案142經應用於聊天機器人AI的使用以自動化企業系統的一些客戶服務互動。根據表1中所展示之實例，策略方案140可提供由偵測組件130利用之資訊以判定/偵測構成趨勢(例如，負趨勢)之內容。就此而言，策略方案140可提供識別特定KPI及/或KPI的組合以監測趨勢之資訊，及等同於待視為趨勢之顯著改變的KPI的改變程度。規則方案可進一步提供由互相關組件130及補救組件134利用之資訊(例如，資料模型200或其類似者)以使經偵測之趨勢與AI模型KPI、AI模型相關問題及建議以及動作互相關。在一些實施例中，策略方案140亦可提供特定針對企業系統102定製的規則及策略，其控制由建議組件136提供之建議及動作。舉例而言，策略方案140可界定關於如何調整某些AI模型參數、權重及係數以及其他最佳化約束之規則。策略方案140亦可界定關於何時提供建議及何時實施某些動作的規則及策略。

如上文所論述，在各種實施例中，績效評估組件126、補救組件134及建議組件136可使用提供於方案資料庫138中之經界定規則及策略以偵測趨勢、判定問題並判定適當建議及動作。另外或替代地，績效評估組件126、補救組件134及建議組件136可使用人工智慧原理以促進學習經追蹤度量150及/或包括於AI內容模型知識庫106(例如包括與聊天機器人AI實施中之各聊天工作階段相關聯之經追蹤使用資料及內容)中之資訊的一或多種模式、判定在業務KPI與AI模型KPI之間的一或多個關係、判定在業務及AI模型KPI與同AI模型104相關聯的技術問題之間的一或多個關係，以及判定在技術問題與候選解決方案之間的一或多個關係。績效評估組件126、補救組件134及建議組件136可顯式地或隱式地執行與經追蹤度量150、策略方案140、規則方案142相關聯的學習。藉由績效評估組件126、補救組件134及建議組件136學習及/或判定推斷可促進與經追蹤度量150相關聯之不同模式的識別及/或分類、判定業務KPI與AI模型KPI之間的一或多個關係、判定業務及AI模型KPI與同AI模型104相關聯之技術問題之間的一或多個關係，以及判定技術問題與候選解決方案之間的一或多個關係。績效評估組件126、補救組件134及建議組件136學習亦可使用 自動分類系統及/或自動分類程序來促進學習與經追蹤度量150相關聯之不同模式、判定業務KPI與AI模型KPI之間的一或多個關係、判定業務及AI模型KPI與同AI模型104相關聯之技術問題之間的一或多個關係，以及判定技術問題與候選解決方案之間的一或多個關係。舉例而言，績效評估組件126、補救組件134及建議組件136可使用基於概率的及/或統計的分析(例如，考慮到分析效用及成本)以學習與經追蹤度量150相關聯之一或多種模式、判定業務KPI與AI模型KPI之間的一或多個關係、判定業務及AI模型KPI與同AI模型104相關聯之技術問題之間的一或多個關係，以及判定技術問題與候選解決方案之間的一或多個關係。績效評估組件126、補救組件134及建議組件136可使用例如支援向量機(SVM)分類器以在即時接收歷史患者流量資料116及/或患者流量資料118時學習其之一或多個模式、判定與歷史患者流量資料116相關聯之一或多個規則及/或判定醫療住院單位之集合當中的一或多個關係。另外或替代地，績效評估組件126、補救組件134及建議組件136可使用與貝氏(Bayesian)網路、決策樹及/或概率分類模型相關聯之其他分類技術。藉由績效評估組件126、補救組件134及建議組件136使用之分類器可顯式地經訓練(例如，經由一般訓練資料)，亦可隱式地經訓練(例如，經由觀測使用者行為、接收外來資訊)。舉例而言，參看已充分瞭解的SVM，SVM係在分類器構造器及特徵選擇模組內經由學習或訓練階段組態。分類器係將輸入屬性向量x=(x1,x2,x3,x4,xn)映射至輸入屬於某一類別之可信度的函數，亦即f(x)=可信度(類別)。

在一態樣中，績效評估組件126、補救組件134及/或建議組件136可包括推斷組件，該推斷組件可進一步部分利用基於推斷之方案 來增強此等組件之自動化態樣，以促進學習經追蹤度量150及/或包括於AI內容模型知識庫106中之資訊的一或多種模式、判定在業務KPI與AI模型KPI之間的一或多個關係、判定在業務及AI模型KPI與同AI模型104相關聯的技術問題之間的一或多個關係，以及判定在技術問題與候選解決方案之間的一或多個關係。績效評估組件126、補救組件134及/或建議組件136可使用任何適合的基於機器學習之技術、基於統計之技術及/或基於概率之技術。績效評估組件126、補救組件134及建議組件136可另外或替代地使用縮減的因素集(例如，經最佳化因素集)以促進提供最準確的機器學習模型以用於識別經追蹤度量150之趨勢及使此等趨勢與同AI模型104相關聯之技術問題及潛在解決方案互相關。舉例而言，績效評估組件126、補救組件134及/或建議組件136可使用專家系統、模糊邏輯、SVM、隱式馬爾可夫模型(HMM)、貪婪搜尋演算法、基於規則之系統、貝氏模型(例如，貝氏網路)、神經網路、其他非線性訓練技術、資料融合、基於效用之分析系統、使用貝氏模型之系統等。在另一態樣中，績效評估組件126、補救組件134及/或建議組件136可執行與經追蹤度量、使用資料、策略方案140及規則方案142相關聯之機器學習運算之集合。舉例而言，績效評估組件126、補救組件134及/或建議組件136可執行叢集機器學習運算之集合、決策樹機器學習運算之集合、基於實例之機器學習運算之集合、回歸機器學習運算之集合、正則化機器學習運算之集合、規則學習機器學習運算之集合、貝氏機器學習運算之集合、深度波茲曼(Boltzmann)機器運算之集合、深度信念網路運算之集合、卷積神經網路運算之集合、堆疊自編碼器運算之集合及/或不同機器學習運算之集合。一或多種模式、一或多種規則及/或藉由績效評估組件126、補救組件134及/或建議組件136 判定之一或多個關係可儲存於例如機器學習資料庫及/或記憶體146中。

在某些實施例中，經追蹤度量中之一或多種模式及經追蹤度量與對應問題及解決方案之間的關係可經組態為表示與經追蹤度量相關聯之一或多種數位模式的一或多個數位指紋(例如一或多個數位簽名)。數位指紋可為與經追蹤度量150之一部分相關聯的一串位元。數位指紋亦可包括在與經追蹤度量150相關聯之經界定時段內的一或多個參數之資料值的集合。在某些實施中，數位指紋可包含與經追蹤度量150中之不同模式相關聯的一系列子指紋。此外，數位指紋可唯一地識別及/或輸送經追蹤度量150中之模式。舉例而言，數位指紋可為編碼經追蹤度量150中之模式的資料要素。數位指紋亦可與經追蹤度量150之時戳及/或時段相關聯。績效評估組件126、補救組件134及/或建議組件136可使用一或多個數位指紋識別技術(例如，一或多個數位指紋演算法)以將經追蹤度量150之至少一部分映射至數位指紋之集合中。舉例而言，績效評估組件126、補救組件134及/或建議組件136可使用散列技術來產生與經追蹤度量150中之一或多種模式相關聯的數位指紋之集合。在另一實例中，績效評估組件126、補救組件134及/或建議組件136可使用局域敏感散列技術以產生與經追蹤度量150中之一或多種模式相關聯的數位指紋的集合。在又一實例中，績效評估組件126、補救組件134及/或建議組件136可使用隨機散列技術以產生與經追蹤度量150中之一或多種模式相關聯的數位指紋之集合。在一實施中，數位指紋可包含與經追蹤度量150之一部分相關聯的最小散列值。舉例而言，數位指紋可包含與經追蹤度量150之一部分相關聯的最小散列值之向量。在另一實例中，數位指紋可包含與經追蹤度量150之一部分相關聯的最小散列值帶。在又一實例中，數位指紋可包含與經追蹤度量150 之一部分相關聯的最小散列值之局域敏感散列帶。然而，應瞭解，其他類型之數位指紋識別技術及/或散列技術可用以產生與經追蹤度量150相關聯的數位指紋。

圖4說明根據本文中所描述之一或多個實施例之實例非限制性程序400的流程圖，該程序用於監測及評估AI模型對企業績效度量之效果。程序400藉由AI模型績效調節系統124提供實例程序400，其可由系統100執行。

根據程序400，在402處，企業系統102可量測及追蹤業務及AI模型績效度量(例如，KPI)且將經追蹤度量150提供至AI模型績效調節系統124。在404處，AI模型績效調節系統124可監測並評估經追蹤度量以偵測趨勢。舉例而言，偵測組件130可使用界定特定KPI或KPI之組合及用於此等KPI之期望值或值範圍的經界定規則及策略(例如，在策略方案140中提供)。偵測組件130可進一步基於此等KPI之值或值範圍下降至低於其期望值或值範圍而識別趨勢(例如，負趨勢)。在406處，該系統可使經偵測之趨勢(與一或多個特定KPI相關聯)與相關業務及/或AI模型績效度量之子集互相關(例如使用互相關組件132及規則方案142)。在408處，該系統可將相關業務及/或AI模型績效度量之趨勢及子集與同AI模型相關聯之一或多個潛在技術問題互相關(例如使用互相關組件132及規則方案142)。在410處，該系統可使一或多個潛在技術問題與一或多個潛在解決方案互相關(例如，使用補救組件134及規則方案142)。在412處，該系統可將關於經識別問題及一或多個潛在解決方案之資訊(例如，經識別問題及解決方案152資料)提供至一或多個適當的可操作實體以供其執行(例如，經由建議組件136)。舉例而言，在所展示之實施例中，可將經識別問 題及解決方案152資料提供至解決方案執行實體156及/或企業系統102。

圖5說明根據本文中所描述之一或多個實施例的另一實例非限制性系統500之方塊圖，該系統可促進監測及評估AI模型對企業績效度量之效果。系統500包括與系統100相同或類似的組件、特徵及功能性，其中增添模型更新組件502、學習組件504、方案評估組件506及方案更新組件508。出於簡化附圖的複雜度的目的，企業系統102之各種組件已在圖5中移除。應瞭解，企業系統102可包括與圖1中所展示之組件相關聯的組件中之一或多者。為簡潔起見，省略各別的實施例中所使用的相同元件之重複描述。

如上文所論述，在一些實施例中，藉由補救組件134識別之技術解決方案中之一或多者可在AI模型104之運行時間期間線上自動地實施或執行。舉例而言，可自動執行/實施之此等技術解決方案可包括AI模型104之一或多個組態參數的改變，諸如但不限於改變模型之一或多個參數、改變一或多個權重/係數、改變一或多個臨限值、改變激發函數、改變決策邊界及改變決策樹層級。在此等實施例中，模型更新組件502可經組態以自動更新AI模型以併有經補救組件134識別之改變。舉例而言，模型更新組件502可執行AI模型之更新並將AI模型更新510提供至企業系統以供其使用。在一些實施中，AI模型更新510可對應於AI模型104之更新版本。在此等實施中，AI模型績效調節系統124可包括或另外能夠存取AI模型104之實例及/或AI模型104之一或多個經更新版本(例如在記憶體146中、在企業系統之記憶體中，或在另一適合的網路可存取儲存位置中)。此外，基於將AI模型之經更新版本提供至企業系統102，企業系統可經組態以用經更新版本替換AI模型104之先前版本。策略方案140可進一 步界定控制模型更新組件502何時及如何經授權以自動執行此類AI模型更新之策略/規則，以及經界定更新約束及要求。

學習組件504、方案評估組件506及方案更新組件508可進一步執行連續學習方案以學習對AI模型參數、AI模型訓練、AI模型內容知識庫(KB)及其他離線補救動作之經實施解決方案/改變是否影響且如何影響業務KPI，並相應地進一步修改/更新策略方案140及/或規則方案142。就此而言，學習組件504可評估藉由補救組件134判定的經實施技術解決方案、動作及建議如何影響經追蹤度量150。舉例而言，解決方案一經實施，企業系統102便可經組態以產生經追蹤度量並將其提供至監測組件128。監測組件128可進一步聚合經追蹤度量且偵測組件130可偵測經追蹤度量之改變/趨勢。學習組件504可進一步追蹤關於在何時及為何實施何種解決方案之歷史資訊。舉例而言，學習組件可追蹤關於先前互相關根本業務之內容及AI模型KPI以及與實施特定解決方案互相關之技術問題的資訊。學習組件504可進一步基於根本業務及/或AI模型KPI之經偵測改變而特定地評估經實施解決方案是否及如何(例如至什麼程度)對根本度量產生正面或負面的影響。就此而言，學習組件504可藉由與相關度量及KPI之改變進行比較而觀測所採取之動作之期望的改善。

方案評估組件506可基於所獲悉之影響而進一步評估策略方案140及/或規則方案142，以獲得對相關KPI、技術問題及經實施解決方案之間的相關性及關係之較佳理解。舉例而言，方案評估組件506可基於經實施解決方案及現有方案之影響而判定或推斷策略方案140及/或規則方案142之改變。舉例而言，方案評估組件506可判定或推斷資料模型(例如，資料模型200或其類似者)中之節點之間的一或多個映射、節點層級之 改變、節點權重之改變及經資料模型界定之其他關係。方案更新組件508可進一步實施/執行策略方案140及/或規則方案142之改變而獲得經更新之方案。此程序可有規律地及/或連續地執行，其中在每次更新反覆之後，績效評估組件126、補救組件134及建議組件136使用經更新之方案以執行其分析。

圖6說明根據本文中所描述之一或多個實施例的另一實例非限制性程序600之流程圖，該程序用於監測及評估AI模型對企業績效度量之效果。程序600藉由AI模型績效調節系統124提供實例程序，其可由系統500執行。參看圖4及圖6，程序400及600兩者均包括參考點A及B。處理程序600對應於在參考點B處開始之程序400的擴展。為簡潔起見，省略各別的實施例中所使用的相同元件之重複描述。

根據程序600，在602處，企業系統可實施針對經偵測之趨勢的解決方案。舉例而言，經實施解決方案可包括對AI模型之一或多個參數或臨限值的更新/重新組態(例如藉由模型更新組件502自動實施/執行)。經應用於AI聊天機器人實施之其他實例解決方案可包括提供於資料模型200及/或表1中之實例解決方案。在604處，企業系統102可繼續量測並追蹤企業及AI模型績效度量(例如，KPI)且將經追蹤度量150提供至AI模型績效調節系統124。在606處，AI模型績效調節系統124可繼續監測並評估經追蹤度量以偵測趨勢。程序600可根據程序400自參考點A進一步繼續。另外，程序600可涉及藉由追蹤及評估經實施解決方案是否如所預期改善相關業務及/或AI模型KPI而繼續學習(例如經由學習組件504)。就此而言，在608處，該系統可基於經追蹤度量150監測及評估經偵測之趨勢的改變。在610處，基於解決方案改善了趨勢之判定，程序600可照常返回 以監測及評估經追蹤度量，自參考點A繼續。然而，基於解決方案並未改善趨勢之判定，該系統可使故障與策略方案140中之一或多個策略及/或規則方案142中之一或多個規則互相關(例如，使用方案評估組件506)。在614處，該系統可進一步基於故障互相關性而修改策略方案及/或規則方案(例如，使用方案更新組件508)。其後，程序600可根據程序400自參考點A進一步繼續。

圖7說明根據本文中所描述之一或多個實施例的實例非限制性電腦實施方法700之流程圖，該方法用於監測及評估AI模型對企業績效度量之效果。根據方法700，在702處，操作性地耦接至一處理器之系統(例如系統100、系統500或其類似者)可偵測與包括於為企業系統追蹤之績效度量當中的績效度量相關聯之改變，該績效度量與企業系統使用AI模型(例如，AI模型104)相關聯(例如使用偵測組件130)。在704處，該系統可使用界定績效度量與候選技術問題之間的關係的資料模型(例如，經由互相關組件132及補救組件134使用規則方案142中提供的諸如資料模型200之資料模型)判定與AI模型相關聯的技術問題，該技術問題與該改變互相關。

圖8說明根據本文中所描述之一或多個實施例的另一實例非限制性電腦實施方法800之流程圖，該方法用於監測及評估AI模型對企業績效度量之效果。根據方法800，在802處，操作性地耦接至處理器之系統(例如系統100、系統500或其類似者)可判定與AI模型相關聯之候選技術問題中之技術問題，該技術問題與同KPI相關聯之改變互相關，其中該判定係基於界定績效度量與候選技術問題之間的第一關係的資料模型(例如，經由互相關組件132及補救組件134使用在規則方案142中提供之諸如 資料模型200之資料模型)。在804處，該系統可使用資料模型及用於界定於資料模型中之候選技術問題與候選技術問題的候選解決方案之間的第二關係來判定技術問題的解決方案。在806處，基於包含AI模型之組態的組態改變(例如，參數改變、係數/權重改變、臨限值改變等)之解決方案，該系統可根據組態改變(例如，經由模型更新組件502)更新AI模型，從而產生經更新之AI模型，其中基於更新，企業系統使用經更新之AI模型代替AI模型。

為解釋簡單起見，將電腦實施方法描繪且描述為一系列動作。應理解且瞭解，本創新不受所說明之動作及/或動作次序限制，例如，動作可以各種次序及/或同時發生，且其他動作不在本文中呈現及描述。此外，並非所有的所說明動作皆可被需要以實施根據所揭示主題之電腦實施方法。另外，熟習此項技術者將理解並瞭解，可替代地經由狀態圖或事件將電腦實施方法表示為一系列相互關聯之狀態。另外，應進一步瞭解，在下文中且貫穿本說明書所揭示之電腦實施方法能夠儲存於製品上，以促進將電腦實施方法輸送及傳送至電腦。如本文中所使用，術語製品意欲涵蓋可自任何電腦可讀裝置或儲存媒體存取之電腦程式。

在一或多個實施例中，本文中所描述之程序中之一或多者可藉由一或多個專用電腦(例如，專用處理單元、專用經典電腦、專用量子電腦及/或另一類型之專用電腦)執行以執行與上文所識別之各種技術相關的經界定任務。系統100、系統500及/或其組件可用於經由上文所提及之技術的進步、量子運算系統、雲端運算系統、電腦架構及/或另一技術的採用而解決新出現的問題。

根據一或多個實施例，系統100、系統500及/或其組件亦 可充分操作以執行一或多個其他功能(例如充分通電、充分執行及/或另一功能)，同時亦執行本文中所描述之各種操作。

為了提供本文中所描述之各種實施例之額外上下文，圖9及以下論述意欲提供合適的操作環境900之一般簡要描述，在該操作環境中可實施本文中所描述之各種實施例。雖然上文已在可在一或多個電腦上運行之電腦可執行指令之一般上下文中描述實施例，但熟習此項技術者將認識到，亦可結合其他程式模組及/或作為硬體與軟體之組合來實施實施例。

通常，程式模組包括執行特定任務及/或實施特定抽象資料類型之常式、程式、組件、資料結構及/或其類似者。此外，熟習此項技術者應瞭解，本發明方法可運用其他電腦系統組態來實踐，該等組態包括單處理器或多處理器電腦系統、小型電腦、大型電腦、物聯網(IoT)裝置、分佈式運算系統以及個人電腦、手持型運算裝置、基於微處理器的或可程式化的消費型電子裝置及/或其類似者，其中之各者可操作地耦接至一或多個相關聯裝置。

本文中之實施例中之所說明實施例亦可實踐於分佈式運算環境中，其中某些任務由經由通信網路鏈接之遠端處理裝置實施。在分佈式運算環境中，程式模組可位於本端及遠端記憶體儲存裝置兩者中。

運算裝置通常包括多種媒體，其可包括電腦可讀儲存媒體、機器可讀儲存媒體及/或通信媒體，兩個術語如下在本文中彼此不同地使用。電腦可讀儲存媒體或機器可讀儲存媒體可為可由電腦存取且包括揮發性媒體及非揮發性媒體、抽取式媒體及非抽取式媒體兩者之任何可用儲存媒體。作為實例而非限制，電腦可讀儲存媒體及/或機器可讀儲存媒 體可結合用於儲存諸如電腦可讀及/或機器可讀指令、程式模組、結構化資料及/或非結構化資料之資訊的任何方法或技術實施。

電腦可讀儲存媒體可包括但不限於隨機存取記憶體(RAM)、唯讀記憶體(ROM)、電可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、光碟唯讀記憶體(CD ROM)、數位化通用光碟(DVD)、藍光光碟(BD)及/或其他光碟儲存器、匣式磁帶、磁帶、磁碟儲存器及/或其他磁性儲存裝置、固態磁碟機及/或其他固態儲存裝置及/或可用於儲存期望資訊之其他有形及/或非暫時性媒體。就此而言，本文中如應用於儲存器、記憶體或電腦可讀媒體之術語「有形」或「非暫時性」應理解為排除僅傳播暫時性信號本身作為修飾符，且並不放棄對並非僅傳播暫時性信號本身之所有標準儲存器、記憶體及/或電腦可讀媒體的權利。

電腦可讀儲存媒體可由一或多個本端或遠端運算裝置存取，例如經由存取請求、查詢及/或其他資料擷取協定存取，以進行關於由媒體儲存之資訊的多種操作。

通信媒體通常在諸如經調變資料信號(例如載波或其他輸送機制)之資料信號中體現電腦可讀指令、資料結構、程式模組或其他結構化或非結構化資料，且包括任何資訊遞送或輸送媒體。術語「經調變資料信號」或信號係指以使得在一或多個信號中編碼資訊之方式設定或改變特性中之一或多者的信號。作為實例而非限制，通信媒體可包括有線媒體，諸如有線網路及/或直接有線連接及/或無線媒體，諸如聲波、RF、紅外線及/或其他無線媒體。

再次參看圖9，用於實施本文中所描述之態樣的各種實施 例之實例操作環境900包括電腦902，電腦902包括處理單元906、系統記憶體904及/或系統匯流排908。系統匯流排908可將包括但不限於系統記憶體904之系統組件耦接至處理單元906。處理單元906可為各種市售處理器中之任一者。可將雙微處理器及/或其他多處理器架構用作處理單元906。

系統匯流排908可為一或多種類型之匯流排結構中之任一者，其可使用多種市售匯流排架構中之任一者進一步互連至記憶體匯流排(具有或不具有記憶體控制器)、周邊匯流排及/或區域匯流排。系統記憶體904可包括ROM 910及/或RAM 912。基本輸入/輸出系統(BIOS)可儲存於諸如ROM、可抹除可程式化唯讀記憶體(EPROM)及/或EEPROM之非揮發性記憶體中，該BIOS含有諸如在啟動期間幫助在電腦902內之元件之間傳送資訊的基本常式。RAM 912亦可包括高速RAM，諸如用於高速緩存資料之靜態RAM。

電腦902可進一步包括內部硬碟機(HDD)914(例如EIDE、SATA)、一或多個外部儲存裝置916(例如，磁性軟碟機(FDD)、記憶棒或快閃隨身碟讀取器、記憶卡讀取器及/或其類似者)及/或磁碟機920，例如固態磁碟機或光碟磁碟機，其可自磁碟922(諸如CD-ROM碟、DVD、BD及/或其類似者)讀取或寫入。替代地，在涉及固態磁碟機之情況下，除非分離，否則不可包括磁碟922。雖然內部HDD 914經說明為位於電腦902內，但內部HDD 914亦可經組態以用於在合適機箱(未展示)中供外部使用。另外，雖然在操作環境900中未展示，但除HDD 914之外或代替HDD 914亦可使用固態磁碟機(SSD)。HDD 914、外部儲存裝置916及磁碟機920可分別藉由HDD介面924、外部儲存器介面926及磁碟機介面928連接至系統匯流排908。用於外部磁碟機實施的HDD介面924可包括通用串列 匯流排(USB)及電機電子工程師學會(IEEE)1394介面技術中之至少一或兩者。其他外部磁碟機連接技術在本文中所描述之實施例的考慮範圍內。

磁碟機及其相關聯之電腦可讀儲存媒體提供對資料、資料結構、電腦可執行指令等之非揮發性儲存。對於電腦902，磁碟機及儲存媒體以適合之數位格式容納任何資料的儲存。儘管上述電腦可讀儲存媒體之描述涉及各別類型之儲存裝置，但熟習此項技術者應瞭解，電腦可讀取之其他類型之儲存媒體，不論係當前存在抑或未來開發的，均可用於實例操作環境中，且此外，任何此類儲存媒體可含有用於執行本文中所描述之方法的電腦可執行指令。

數個程式模組可儲存於磁碟機及RAM 912中，包括作業系統930、一或多個應用程式932、其他程式模組934及/或程式資料936。作業系統、應用程式、模組及/或資料之全部或部分亦可高速緩存於RAM 912中。本文中所描述之系統及方法可利用各種市售作業系統及/或作業系統之組合來實施。

電腦902可視情況包含仿真技術。舉例而言，超管理器(未展示)或其他中間件可仿真用於作業系統930之硬體環境，且經仿真硬體可視情況不同於圖9中所說明之硬體。在相關實施例中，作業系統930可包含在電腦902處代管之多個虛擬機(VM)中的一個VM。此外，作業系統930可為應用程式932提供運行環境，諸如JAVA運行環境或.NET架構。運行環境為一致的執行環境，其允許應用程式932在包括運行環境之任何作業系統上運行。類似地，作業系統930可支援容器，且應用程式932可呈容器之形式，容器為軟體之輕量型、獨立、可執行封裝，其包括例如程式碼、運行時間、系統工具、系統程式庫及/或應用程式之設定。

此外，電腦902可藉由諸如受信任處理模組(TPM)之安全模組啟用。舉例而言，使用TPM，啟動組件散列在時間上接下來之啟動組件且在載入下一啟動組件之前等待結果與安全值之匹配。此程序可發生於電腦902之程式碼執行堆疊中的任何層處，例如在應用程式執行層級及/或作業系統(OS)核心層級處應用，藉此實現任何程式碼執行層級處之安全性。

使用者實體可經由一或多個有線/無線輸入裝置(例如鍵盤938、觸控式螢幕940及/或指標裝置(諸如滑鼠942))將命令及資訊輸入至電腦902中。其他輸入裝置(未展示)可包括麥克風、紅外線(IR)遙控器、射頻(RF)遙控器或其他遙控器、操縱桿、虛擬實境控制器及/或虛擬實境耳機、遊戲板、觸控筆、影像輸入裝置(例如，一或多個相機)、示意動作感測器輸入裝置、視覺移動感測器輸入裝置、情緒或面部偵測裝置、生物識別輸入裝置(例如，指紋或虹膜掃描器)或其類似者。此等及其他輸入裝置可經由輸入裝置介面944連接至處理單元906，該輸入裝置介面可耦接至系統匯流排908，但該等輸入裝置亦可藉由其他介面連接，諸如平行埠、IEEE 1394串列埠、競賽埠、USB埠、IR介面、BLUETOOTH®介面及/或其類似者。

監視器946或其他類型之顯示裝置亦可經由諸如視訊配接器948之介面連接至系統匯流排908。另外，電腦通常包括其他周邊輸出裝置(未展示)，諸如揚聲器、印表機及/或其類似者。

電腦902可使用經由有線及/或無線通信至一或多個遠端電腦(諸如，一或多個遠端電腦950)之邏輯連接在網路連接環境中操作。一或多個遠端電腦950可為工作站、伺服器電腦、路由器、個人電腦、攜帶 型電腦、基於微處理器之娛樂器具、同級裝置及/或其他公用網路節點，且通常包括相對於電腦902所描述之許多或所有元件，但出於簡潔之目的，僅說明記憶體/儲存裝置952。所描繪之邏輯連接包括至區域網路(LAN)954及/或例如廣域網路(WAN)956之較大網路的有線/無線連接性。LAN及WAN網路連接環境常見於辦公室及公司中，且促進企業範圍之電腦網路(諸如企業內部網路)，所有此等網路皆可連接至全域通信網路(例如網際網路)。

當用於LAN網路連接環境中時，電腦902可經由有線及/或無線通信網路介面或配接器958連接至區域網路954。配接器958可促進至LAN 954之有線及/或無線通信，該LAN亦可包括安置於其上之無線存取點(AP)以用於在無線模式下與配接器958通信。

當用於WAN網路連接環境中時，電腦902可包括數據機960及/或可經由用於在WAN 956上建立通信之其他方式(諸如藉助於網際網路)連接至WAN 956上之通信伺服器。數據機960(其可為內部或外部及有線及/或無線裝置)可經由輸入裝置介面944連接至系統匯流排908。在網路連接環境中，相對於電腦902所描繪之程式模組或其部分可儲存於遠端記憶體/儲存裝置952中。應瞭解，所展示之網路連接係實例，且可使用在電腦之間建立通信鏈路之其他方式。

當用於LAN或WAN網路連接環境中時，除如上文所描述之外部儲存裝置916之外及/或代替該外部儲存裝置，電腦902亦可存取雲端儲存系統或其他基於網路之儲存系統，諸如但不限於提供資訊儲存或處理之一或多個態樣的網路虛擬機。通常，電腦902與雲端儲存系統之間的連接可例如分別藉由配接器958或數據機960在LAN 954或WAN 956上建 立。在將電腦902連接至相關聯的雲端儲存系統後，外部儲存介面926可藉助於配接器958及/或數據機960如同管理其他類型之外部儲存器一般來管理由雲端儲存系統提供之儲存。舉例而言，外部儲存介面926可經組態以提供對雲端儲存來源之存取，如同彼等來源物理地連接至電腦902一般。

電腦902可用以與操作性地安置於無線通信中之任無線裝置或實體通信，該等無線裝置或實體例如係印表機、掃描器、桌上型及/或攜帶型電腦、攜帶型資料助理、通信衛星、與無線可偵測標記相關聯之任何裝備零件或位置(例如資訊站、報攤、商店貨架及/或其類似者)及/或電話。此可包括無線保真(Wi-Fi)及BLUETOOTH®無線技術。因此，通信可為如同習知網路之預界定結構或簡單地為至少兩個裝置之間的特用通信。

現參看圖10，圖10描繪說明性雲端運算環境1050。如所展示，雲端運算環境1050包括一或多個雲端運算節點1010，雲端消費者所使用之本端運算裝置，諸如個人數位助理(PDA)或蜂巢式電話1054A、桌上型電腦1054B、筆記型電腦1054C及/或汽車電腦系統1054N，可與一或多個雲端運算節點通信。儘管圖10中未說明，但雲端運算節點1010可進一步包含量子平台(例如，量子電腦、量子硬體、量子軟體及/或其類似者)，雲端消費者所使用之本端運算裝置可與量子平台通信。雲端運算節點1010可彼此通信。可在一或多個網路(諸如，如上文所描述之私用、社群、公用或混合雲端或其組合)中將該等節點實體地或虛擬地分組(未展示)。此情形允許雲端運算環境1050提供基礎結構、平台及/或軟體作為雲端消費者不需要在本端運算裝置上維護資源之服務。應理解，圖10中所展 示之運算裝置1054A至1054N之類型意欲僅為說明性的，且雲端運算節點1010及雲端運算環境1050可經由任何類型之網路及/或網路可定址連接(例如使用網頁瀏覽器)與任何類型之電腦化裝置通信。

現參看圖11，圖11展示諸如由雲端運算環境1050(圖10)所提供之功能抽象層之集合。應事先理解，圖11中所展示之組件、層及功能僅意欲為說明性的且本文中所描述之實施例不限於此。如所描繪，提供以下層及對應功能：

硬體及軟體層1160可包括硬體及軟體組件。硬體組件之實例包括：大型電腦1161；基於精簡指令集電腦(RISC)架構之伺服器1162；伺服器1163；刀鋒伺服器1164；儲存裝置1165；及網路及網路連接組件1166。在一或多個實施例中，軟體組件可包括網路應用程式伺服器軟體1167、量子平台路由軟體1168及/或量子軟體(圖11中未說明)。

虛擬化層1170可提供抽象層，可自抽象層提供虛擬實體之以下實例：虛擬伺服器1171；虛擬儲存器1172；虛擬網路1173(其包括虛擬專用網路)；虛擬應用程式及/或作業系統1174；及/或虛擬用戶端1175。

在一個實例中，管理層1180可提供下文所描述之功能。資源佈建1181可提供運算資源及可用以執行雲端運算環境內之任務之其他資源的動態採購。當在雲端運算環境內利用資源時，計量及定價1182可提供成本追蹤，及對此等資源之消耗之帳務處理或發票開立。在一個實例中，此等資源可包括應用程式軟體授權。安全性可提供針對雲端消費者及任務之身分驗證以及對資料及其他資源之保護。使用者(或組分)入口網站1183可為消費者及系統管理者提供對雲端運算環境之存取。服務等級管理1184 可提供雲端運算資源分配及管理，從而滿足所需服務等級。服務等級協議(SLA)規劃及履行1185可為根據SLA預計未來要求之雲端運算資源提供預先配置及採購。

工作負載層1190可提供可利用雲端運算環境之功能性之實例。可自此層提供的工作負載及功能之非限制性實例包括：地圖繪製及導航1191；軟體開發及生命週期管理1192；虛擬教室教育遞送1193；資料分析處理1194；異動處理1195；及/或應用程式變換軟體1196。

本文中所描述之實施例可針對任何可能之技術細節整合層級處的系統、方法、設備及/或電腦程式產品中之一或多者。電腦程式產品可包括一或多個電腦可讀儲存媒體，其上具有電腦可讀程式指令以使處理器實行本文中所描述之一或多個實施例之態樣。電腦可讀儲存媒體可為有形裝置，其可保持及儲存指令以供指令執行裝置使用。電腦可讀儲存媒體可為例如但不限於電子儲存裝置、磁性儲存裝置、光學儲存裝置、電磁儲存裝置、半導體儲存裝置及/或前述各者之任何適合之組合。電腦可讀儲存媒體之更特定實例之非詳盡清單亦可包括以下各者：攜帶型電腦磁片、硬碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可抹除可程式化唯讀記憶體(EPROM或快閃記憶體)、靜態隨機存取記憶體(SRAM)、攜帶型光碟唯讀記憶體(CD-ROM)、數位化通用光碟(DVD)、記憶棒、軟碟、機械編碼裝置(諸如，上面記錄有指令之凹槽中的打孔卡或凸起結構)及/或前述各者之任何適合之組合。如本文中所使用，不將電腦可讀儲存媒體本身理解為暫時信號，諸如無線電波或其他自由傳播之電磁波、經由波導或其他傳輸媒體傳播之電磁波(例如經由光纖電纜傳遞之光脈衝)，或經由導線傳輸之電信號。

本文中所描述之電腦可讀程式指令可自電腦可讀儲存媒體下載至各別運算/處理裝置或經由網路(例如，網際網路、區域網路、廣域網路及/或無線網路)下載至外部電腦或外部儲存裝置。網路可包含銅傳輸纜線、傳輸光纖、無線傳輸、路由器、防火牆、交換器、閘道器電腦及/或邊緣伺服器。各運算/處理裝置中之網路配接卡或網路介面自網路接收電腦可讀程式指令且轉遞電腦可讀程式指令以用於儲存於各別運算/處理裝置內之電腦可讀儲存媒體中。用於實行本文中所描述之一或多個實施例之操作的電腦可讀程式指令可為以一或多種程式設計語言之任何組合編寫的組譯程式指令、指令集架構(ISA)指令、機器指令、機器相關指令、微碼、韌體指令、狀態設定資料、積體電路系統之組態資料或原始程式碼或目標程式碼，該一或多種程式設計語言包括諸如Smalltalk、C++或其類似者的物件導向式程式設計語言及/或諸如「C」程式設計語言及/或類似程式設計語言的程序性程式設計語言。電腦可讀程式指令可完全在使用者之電腦上執行、部分地在使用者之電腦上執行、作為獨立套裝軟體執行、部分地在使用者之電腦上執行及/或部分地在遠端電腦上執行或完全在遠端電腦或伺服器上執行。在後一情境中，遠端電腦可經由包括區域網路(LAN)或廣域網路(WAN)之任何類型之網路連接至使用者之電腦，或可連接至外部電腦(例如，使用網際網路服務提供者經由網際網路)。在一或多個實施例中，包括例如可程式化邏輯電路系統、場可程式化閘陣列(FPGA)及/或可程式化邏輯陣列(PLA)之電子電路系統可藉由利用電腦可讀程式指令之狀態資訊來個人化電子電路系統而執行電腦可讀程式指令，以便執行本文中所描述之一或多個實施例之態樣。

本文中所描述之一或多個實施例之態樣係參考根據本文中 所描述之一或多個實施例的方法、設備(系統)及電腦程式產品之流程圖說明及/或方塊圖進行描述。應理解，可藉由電腦可讀程式指令實施流程圖說明及/或方塊圖中之各區塊，及流程圖說明及/或方塊圖中的區塊之組合。可將此等電腦可讀程式指令提供至通用電腦、專用電腦及/或其他可程式化資料處理設備之處理器以產生機器，以使得經由該電腦或其他可程式化資料處理設備之處理器執行的指令建立用於實施該一或多個流程圖及/或方塊圖區塊中所指定之功能/動作的構件。亦可將此等電腦可讀程式指令儲存於電腦可讀儲存媒體中，該等指令可指導電腦、可程式化資料處理設備及/或其他裝置以特定方式起作用，使得儲存有指令之電腦可讀儲存媒體包含製品，該製品包括實施該一或多個流程圖及/或方塊圖區塊中所指定之功能/動作之態樣的指令。電腦可讀程式指令亦可載入至電腦、其他可程式化資料處理設備及/或其他裝置上，以使一系列操作動作在該電腦、其他可程式化設備及/或其他裝置上執行以產生電腦實施程序，使得在電腦、其他可程式化設備及/或其他裝置上執行之指令實施一或多個流程圖及/或方塊圖區塊中所指定之功能/動作。

諸圖中之流程圖及方塊圖說明根據本文中所描述之多個實施例的系統、電腦可實施方法及/或電腦程式產品之可能實施的架構、功能性及操作。就此而言，流程圖或方塊圖中之各區塊可表示指令之模組、分段及/或部分，其包含用於實施一或多個所指定之邏輯功能的一或多個可執行指令。在一或多個替代實施中，區塊中所提到之功能可能不以諸圖中所提到之次序發生。舉例而言，視所涉及的功能性而定，以連續方式展示的兩個區塊實際上可實質上同時執行，或該等區塊有時可以相反次序執行。亦應注意，可由執行所指定功能及/或動作或實行專用硬體及/或電腦 指令之組合的基於專用硬體之系統實施方塊圖及/或流程圖說明之各區塊，及方塊圖及/或流程圖說明中之區塊的組合。

雖然上文已在運行於一台電腦及/或多台電腦上之電腦程式產品的電腦可執行指令之一般上下文中描述主題，但熟習此項技術者將認識到，本文中之一或多個實施例亦可結合其他程式模組來實施。通常，程式模組包括執行特定任務及/或實施特定抽象資料類型之常式、程式、組件、資料結構及/或其類似者。此外，熟習此項技術者應瞭解，本發明之電腦實施方法可運用其他電腦系統組態來實踐，該等組態包括單處理器或多處理器電腦系統、小型運算裝置、大型電腦以及電腦、手持型運算裝置(例如，PDA、電話)、基於微處理器的或可程式化的消費型或工業電子裝置及/或其類似者。所說明態樣亦可在分佈式運算環境中實踐，其中任務係藉由經由通信網路連接之遠端處理裝置執行。然而，一或多個實施例的一些(若非全部)態樣可在獨立電腦上實踐。在分佈式運算環境中，程式模組可位於本端及遠端記憶體儲存裝置兩者中。

如本申請案中所使用，術語「組件」、「系統」、「平台」、「介面」及/或其類似者可指及/或可包括電腦相關實體或與具有一或多個特定功能性之操作機器相關的實體。本文中所揭示之實體可為硬體、硬體與軟體之組合、軟體或執行中軟體。舉例而言，組件可為但不限於在處理器上運行之程序、處理器、物件、可執行碼、執行緒、程式及/或電腦。作為說明，在伺服器上運行之應用程式及伺服器可為組件。一或多個組件可駐存於程序及/或執行緒內，且一組件可位於一台電腦上及/或分佈於兩台或多於兩台電腦之間。在另一實例中，各別組件可自上面儲存有各種資料結構的各種電腦可讀媒體執行。組件可諸如根據具有一或多個資料封包 之信號經由本端及/或遠端程序進行通信(例如，來自一個組件之資料與本端系統、分佈式系統中之另一組件互動，及/或經由信號跨越諸如網際網路之網路而與其他系統互動)。作為另一實例，組件可為具有由電氣或電子電路系統操作之機械部分所提供之特定功能性的設備，該設備由處理器所執行之軟體或韌體應用程式來操作。在此狀況下，處理器可在設備內部及/或外部，且可執行軟體或韌體應用程式之至少一部分。作為又一實例，組件可為經由無機械部分之電子組件提供特定功能性的設備，其中電子組件可包括處理器或其他構件以執行至少部分地賦予電子組件之功能性的軟體或韌體。在一態樣中，組件可經由虛擬機仿真電子組件，例如在雲端運算系統內。

另外，術語「或」欲意謂包括性「或」而非排他性「或」。亦即，除非另外規定或根據上下文清楚可見，否則「X使用A或B」欲意謂自然包括性排列中之任一者。亦即，若X使用A；X使用B；或X使用A及B兩者，則「X使用A或B」在前述情況中之任一者下被滿足。此外，除非另外規定或自上下文清楚可見係針對單數形式，否則如在本說明書及隨附圖式中所使用之冠詞「一(a及an)」通常應解釋為意謂「一或多個」。如本文中所使用，術語「實例」及/或「例示性」用以意謂充當實例、例項或說明。為避免疑問，本文中所揭示之主題不受此類實例限制。另外，本文中描述為「實例」及/或「例示性」之任何態樣或設計未必解釋為比其他態樣或設計較佳或有利，亦不意欲排除一般熟習此項技術者已知之等效例示性結構及技術。

如本說明書中所使用，術語「處理器」可實質上指任何運算處理單元或裝置，其包含但不限於：單核處理器；具有軟體多執行緒執 行能力之單處理器；多核處理器；具有軟體多執行緒執行能力之多核處理器；具有硬體多執行緒技術之多核處理器；並行平台；及具有分佈式共用記憶體之並行平台。另外，處理器可指積體電路、特殊應用積體電路(ASIC)、數位信號處理器(DSP)、場可程式化閘陣列(FPGA)、可程式化邏輯控制器(PLC)、複雜可程式化邏輯裝置(CPLD)、離散閘或電晶體邏輯、離散硬體組件或其經設計以執行本文中所描述之功能的任何組合。此外，處理器可採用奈米級架構，諸如但不限於基於分子及量子點之電晶體、開關及閘，以便最佳化空間使用或增強使用者設備之效能。處理器亦可實施為運算處理單元之組合。在本文中，諸如「儲存區」、「儲存器」、「資料儲存區」、「資料儲存器」、「資料庫」以及與組件之操作及功能性相關的實質上任何其他資訊儲存組件的術語用以指「記憶體組件」、體現於「記憶體」中之實體或包含記憶體之組件。應瞭解，本文中所描述之記憶體及/或記憶體組件可為揮發性記憶體或非揮發性記憶體，或可包括揮發性記憶體及非揮發性記憶體兩者。作為說明而非限制，非揮發性記憶體可包括唯讀記憶體(ROM)、可程式化ROM(PROM)、電可程式化ROM(EPROM)、電可抹除ROM(EEPROM)、快閃記憶體及/或非揮發性隨機存取記憶體(RAM)(例如鐵電RAM(FeRAM))。揮發性記憶體可包括RAM，其可充當例如外部快取記憶體。作為說明而非限制，RAM可以許多形式可用，諸如同步RAM(SRAM)、動態RAM(DRAM)、同步DRAM(SDRAM)、雙資料速率SDRAM(DDR SDRAM)、增強型SDRAM(ESDRAM)、同步鏈路(Synchlink)DRAM(SLDRAM)、直接Rambus RAM(DRRAM)、直接Rambus動態RAM(DRDRAM)及/或Rambus動態RAM(RDRAM)。另外，本文中之系統及/或電腦實施方法的所揭示記憶 體組件意欲包括但不限於包括此等及任何其他合適類型的記憶體。

上文已描述之內容僅包括系統及電腦實施方法之實例。當然，出於描述一或多個實施例之目的，不可能描述組件或電腦實施方法之每個可設想之組合，但一般熟習此項技術者可認識到，一或多個實施例之許多其他組合及排列係可能的。此外，就術語「包括」、「具有」、「擁有」及其類似者用於實施方式、申請專利範圍、附錄及圖式中而言，此類術語意欲以類似於術語「包含」在申請專利範圍中用作過渡詞時解譯「包含」之方式而為包括性的。

各種實施例之描述已出於說明之目的而呈現，但並不意欲為詳盡的或限於所揭示之實施例。在不脫離所描述實施例之範疇及精神的情況下，許多修改及改變對一般熟習此項技術者而言將顯而易見。本文中所使用之術語經選擇以最佳解釋實施例之原理、實際應用或對市場中發現的技術之技術改良，或使其他一般熟習此項技術者能夠理解本文中所揭示之實施例。

700:實例非限制性電腦實施方法

702:步驟

704:步驟

Claims (20)

1. 一種電子系統，其包含：一記憶體，其儲存電腦可執行組件；及一處理器，其執行儲存於該記憶體中之該等電腦可執行組件，其中該等電腦可執行組件包含：一偵測組件，其偵測與包括於為一企業系統追蹤的績效度量中的一績效度量相關聯的一改變，該績效度量與該企業系統使用一人工智慧模型相關聯；及一互相關組件，其使用界定該等績效度量與候選技術問題之間的第一關係之一資料模型來判定與該人工智慧模型相關聯的一技術問題，該技術問題與該改變互相關。
2. 如請求項1之電子系統，其中該資料模型進一步界定該等候選技術問題與該等候選技術問題之候選解決方案之間的第二關係，且其中電腦可執行組件進一步包含：一補救組件，其使用該資料模型判定該技術問題之一解決方案。
3. 如請求項2之電子系統，其中該等電腦可執行組件進一步包含：一建議組件，其產生識別該解決方案之一建議，且將該建議提供至與該企業系統或該人工智慧模型相關聯之一或多個實體。
4. 如請求項2之電子系統，其中該解決方案包含對該人工智慧模型之一 組態之一組態改變，且其中該等電腦可執行組件進一步包含：一模型更新組件，其根據該組態改變更新該人工智慧模型，從而產生一經更新之人工智慧模型，其中基於該更新，該企業系統使用該經更新之人工智慧模型代替該人工智慧模型。
5. 如請求項2之電子系統，其中該等電腦可執行組件進一步包含：一追蹤組件，其在執行該解決方案之後判定該績效度量之一或多個新量度；及一學習組件，其基於該績效度量之該一或多個新量度判定該解決方案是否影響該改變及該解決方案如何影響該改變。
6. 如請求項5之電子系統，其中該等電腦可執行組件進一步包含：一方案評估組件，其基於該解決方案是否影響該改變及該解決方案如何影響該改變而判定對該資料模型之一或多個調整。
7. 如請求項6之電子系統，其中該等電腦可執行組件進一步包含：一方案更新組件，其更新該資料模型以包含該一或多個調整。
8. 如請求項1之電子系統，其中該等績效度量包含與企業之一或多個界定的業務目標相關的企業績效度量及與該人工智慧模型之一或多個界定的績效目標相關的模型績效度量，且其中該資料模型界定該等企業績效度量與該等模型績效度量之間的關係。
9. 如請求項1之電子系統，其中該人工智慧模型包含一聊天機器人。
10. 一種電腦實施方法，其包含：藉由操作性地耦接至一處理器之一系統來偵測與包括於為一企業系統追蹤的績效度量中之一績效度量相關聯的一改變，該績效度量與該企業系統使用一人工智慧模型相關聯；及藉由該系統使用界定該等績效度量與候選技術問題之間的第一關係之一第一資料模型來判定與該人工智慧模型相關聯的一技術問題，該技術問題與該改變互相關。
11. 如請求項10之電腦實施方法，其中該資料模型進一步界定該等候選技術問題與該等候選技術問題之候選解決方案之間的第二關係，且其中該方法進一步包含：藉由該系統使用該資料模型判定該技術問題之一解決方案。
12. 如請求項11之電腦實施方法，其進一步包含：藉由該系統產生識別該解決方案之建議；及藉由該系統將該建議提供至與該企業系統或該人工智慧模型相關聯之一或多個實體。
13. 如請求項11之電腦實施方法，其中該解決方案包含對該人工智慧模型之一組態的一組態改變，且其中該方法進一步包含：藉由該系統根據該組態改變更新該人工智慧模型，從而產生一經更 新之人工智慧模型，其中基於該更新，該企業系統使用該經更新之人工智慧模型代替該人工智慧模型。
14. 如請求項11之電腦實施方法，其進一步包含：在執行該解決方案之後藉由該系統判定該績效度量之一或多個新量度；及藉由該系統基於該績效度量之該一或多個新量度來判定該解決方案是否影響該改變及該解決方案如何影響該改變。
15. 如請求項14之電腦實施方法，其進一步包含：藉由該系統基於該解決方案是否影響該改變及該解決方案如何影響該改變而判定對該資料模型之一或多個調整。
16. 如請求項15之電腦實施方法，其進一步包含：藉由該系統更新該資料模型以包含該一或多個調整。
17. 如請求項10之電腦實施方法，其中該等績效度量包含與企業之一或多個界定的業務目標相關的企業績效度量及與該人工智慧模型之一或多個界定的績效目標相關的模型績效度量，且其中該第一資料模型界定該等企業績效度量與該等模型績效度量之間的關係。
18. 如請求項10之電腦實施方法，其中該人工智慧模型包含一聊天機器人。
19. 一種促進用以識別及回應於一主要電子訊息之一程序之電腦程式產品，該電腦程式產品包含一電腦可讀儲存媒體，該電腦可讀儲存媒體具有以此體現之程式指令，該等程式指令可由一處理器執行以使得該處理器進行以下操作：藉由該處理器偵測與包括於為一企業系統追蹤的績效度量中之一績效度量相關聯的一改變，該績效度量與該企業系統使用一人工智慧模型相關聯；及藉由該處理器使用界定該等績效度量與候選技術問題之間的第一關係之一資料模型來判定與該人工智慧模型相關聯的一技術問題，該技術問題與該改變互相關。
20. 如請求項19之電腦程式產品，其中該資料模型進一步界定該等候選技術問題與該等候選技術問題之候選解決方案之間的第二關係，且其中該等程式指令可進一步由該處理器執行以：藉由該處理器使用該資料模型判定該技術問題之一解決方案。