TWI914086B - 生成式問答系統及生成式問答方法 - Google Patents
生成式問答系統及生成式問答方法Info
- Publication number
- TWI914086B TWI914086B TW113149466A TW113149466A TWI914086B TW I914086 B TWI914086 B TW I914086B TW 113149466 A TW113149466 A TW 113149466A TW 113149466 A TW113149466 A TW 113149466A TW I914086 B TWI914086 B TW I914086B
- Authority
- TW
- Taiwan
- Prior art keywords
- character
- text
- information
- input
- database
- Prior art date
Links
Abstract
一種生成式問答系統被揭示。此生成式問答系統包含輸入輸出裝置、記憶體和處理器。輸入輸出裝置用以接收輸入資訊。記憶體用以儲存角色資料庫以及文本知識資料庫。角色資料庫記錄多個角色模板及多個對話範例,文本知識資料庫儲存多個候選文本。處理器用以:依據輸入資訊從文本知識資料庫取得至少一候選文本,並依據輸入資訊以及至少一候選文本產生第一輸出文本;依據輸入資訊從角色資料庫取得第一角色模板及至少一對話範例;以及依據輸入資訊、第一角色模板、至少一對話範例以及第一輸出文本,產生第二輸出文本。
Description
本案是有關於一種生成式問答系統及生成式問答方法,特別是語音轉文字的生成式問答系統及生成式問答方法。
生成式問答是一種人工智慧系統,能夠產生文字、圖像或其他媒體以回應使用者的輸入訊息,可產生模型學習輸入資料的模式和結構,然後產生與訓練數據相似但具有一定程度新穎性的新內容。聊天機器人為生成式問答的應用之一,常用於客戶服務,但大多只會擷取輸入文字的關鍵字,再從資料庫找尋最合適的應答句。
一些生成式預訓練模型被提出。生成式預訓練模型是一種大型語言模型(large language model,LLM),可通過大量學習文本中的語言資料,以模擬人類較自然流暢的對話,並回答使用者客製化的問題。
然而,生成式預訓練模型僅基於文本中的語言資料進行學習,所產生的回答較為制式化,無法因應不同的使用者輸入進行客製化,且回答的內容缺乏情緒,難以起到心理交流或支持的作用。
因此,如何使生成式問答系統產生包含情緒的回覆或是較為客製化的回覆,為本領域待解決的問題之一。
本發明之一態樣是在提供一種生成式問答系統。此生成式問答系統用來產生風格化的文本。生成式問答系統包含輸入輸出裝置、記憶體和處理器。輸入輸出裝置用以接收輸入資訊。記憶體用以儲存角色資料庫以及文本知識資料庫。角色資料庫記錄多個角色模板及對應多個角色模板的多個對話範例,其中文本知識資料庫儲存多個候選文本。處理器耦接記憶體以及輸入輸出裝置,用以執行下列程序:依據輸入資訊從文本知識資料庫取得多個候選文本中的至少一者,並依據輸入資訊以及多個候選文本中的至少一者產生第一輸出文本;依據輸入資訊,從角色資料庫取得多個角色模板中的第一角色模板及對應第一角色模板的多個對話範例中的至少一者;以及依據輸入資訊、第一角色模板、多個對話範例中的至少者以及第一輸出文本,產生第二輸出文本。
本發明之另一態樣是在提供一種生成式問答方法。此生成式問答方法適用於包含角色資料庫以及文本知識資料庫的生成式問答系統,其中角色資料庫記錄多個角色模板及對應多個角色模板的多個對話範例,其中文本知識資料庫儲存多個候選文本包含,其中生成式問答方法包含以下步驟:依據輸入資訊從文本知識資料庫取得多個候選文本中的至少一者,並依據輸入資訊以及多個候選文本中的至少一者產生第一輸出文本;依據輸入資訊,從角色資料庫取得多個角色模板中的第一角色模板及對應第一角色模板的多個對話範例中的至少一者;以及依據輸入資訊、第一角色模板、多個對話範例中的至少者以及第一輸出文本,產生第二輸出文本。
以下揭示提供許多不同實施例或例證用以實施本發明的不同特徵。特殊例證中的元件及配置在以下討論中被用來簡化本案。所討論的任何例證只用來作解說的用途,並不會以任何方式限制本發明或其例證之範圍和意義。在本文中所使用的「判定」或「獲得」的運作可被以「產生」或「計算出」的運作所取代。
請參閱第1圖。第1圖係根據本發明之一些實施例所繪示之一種生成式問答系統100示意圖。生成式問答系統100包含輸入輸出裝置110、處理器130和記憶體150。
於連接關係上,輸入輸出裝置110耦接於處理器130,處理器130耦接於記憶體150。於第1圖中,記憶體150儲存有角色資料庫152、文本知識資料庫154以及使用者資料庫156。
請參閱第2圖。第2圖係根據本發明之一些實施例所繪示之一種生成式問答系統100A的示意圖。第2圖中的生成式問答系統100A為第1圖中的生成式問答系統100的其中一種實施方式。
於第2圖中,輸入輸出裝置110A包含點選單元212、輸入單元214以及檔案處理單元216。處理器130A包含角色模板建構模組232和領域文本建構模組234。角色模板建構模組232包含角色描述單元232A、角色繪製單元232B以及角色記憶單元232C。領域文本建構模組234包含段落分離單元234A、文本解析單元234B、資訊抽取單元234C、去識別化單元234D以及向量轉化單元234E。
於部分實施例中,角色資料庫152和文本知識資料庫154可透過如第2圖中所示的輸入輸出裝置110A和處理器130A進行建構或者修改角色資料庫152和文本知識資料庫154中的內容。於部分實施例中,系統管理員可以透過使用者裝置(未繪示)連接至輸入輸出裝置110A以對角色資料庫152和文本知識資料庫154中的資料進行新增、修改、刪除等操作。
於部分實施例中,使用者裝置可為手持式移動裝置,也可為瀏覽器的接口,用以提供使用者操作介面。任何可被用於輸入文字、語音、影像以及檔案之裝置皆可用以當作使用者裝置。
於部分實施例中,點選單元212用以處理於使用者操作介面所進行之選項、欄位等點選操作的輸入訊號。輸入單元214用以處理由使用者裝置所傳送之文字輸入、語音輸入或圖形輸入。於部分實施例中,輸入單元214將語音輸入轉為純文字格式的輸入。檔案處理單元216用以將各類型檔案格式進行解析。於部分實施例中,系統管理員可透過點選單元212選擇類別,根據點選單元212所接收到的類別的輸入訊號,輸入輸出裝置110A將所接收之輸入、檔案、訊號、資料等透過角色模板建構模組232以傳送至角色資料庫152,或者透過領域文本建構模組234以傳送至文本知識資料庫154。
於部分實施例中,角色模板建構模組232用以處理特定應用領域相關的角色模板及對應於角色模板中的每一者的多個對話範例。角色模板包含根據特定應用情境建構之情境角色的文字描述或是圖形。於部分實施例中,對話範例為使用者與特定角色模板之間對話的歷史對話紀錄。
於部分實施例中,角色描述單元232A用以處理角色模板的角色背景描述的文字輸入訊號,角色繪製單元232B用以處理匹配於角色模板的圖形輸入訊號,而角色記憶單元232C用以儲存匹配於角色模板的歷史對話範例以作為對話範例。最後,角色描述單元232A、角色繪製單元232B和角色記憶單元232C處理的結果依特定格式儲存至角色資料庫152中。於角色資料庫152中,每個角色模板包含對應的文字描述資訊以及特定的圖形描述資訊。
於部分實施例中,領域文本建構模組234用以處理特定應用領域相關的所有文本檔案資料以作為候選文本。段落分離單元234A用以分割文本檔案資料中的段落,文本解析單元234B用以解析文本檔案資料中的內容,資訊抽取單元234C用以抽取出文本檔案資料中的文本資訊(Metadata),去識別化單元234D用以移除文本檔案資料中的私人資訊,向量轉化單元234E用以將文本檔案資料轉為向量資訊(Embedding)。最後,將產生之候選文本的文本內容、文本資訊及向量資訊依特定格式儲存至文本知識資料庫154中。
經由上述操作,儲存於角色資料庫152和文本知識資料庫154中的資料可被建立和更新,以作為後續生成式問答操作的使用。
此外,於部分實施例中,使用者資料庫156中儲存有對應於使用者的使用者基本資訊與應用領域資訊。
為了便於理解,以下表一為一種角色資料庫152的實施例。然,本案的實施方式不以表一為限。 表一
| 角色模板編號 | 角色描述 | 類別 |
| 0 | 請你扮演一位年約50歲左右的中年婦女,聽懂國語與台語,以親切、有點嘮叨、富有同情心的說話風格,句子開頭先根據輸入資訊進行簡單寒暄,再進行句子的語言風格改寫 | A |
| 1 | 請你扮演一位年約60歲左右的資深醫生,聽懂國語與台語,具備多年的醫療經驗,以平穩口吻夾雜專業用語口語化的說話風格,句子開頭先呼籲健康重要性,再進行句子的語言風格改寫 | B |
| 2 | 請你扮演一位年約65歲左右的的老年婦女,聽懂國語與台語,長期參與志工活動,樂觀且積極的個性,以活潑生動的說話風格,句子開頭先根據輸入資訊給予肯定,再進行句子的語言風格改寫 | C |
| … | … | … |
上述表一列舉了三種不同的角色模板,分別屬於不同的類別。然,角色資料庫152中的角色模板不以上述三種為限制,且各類別亦可包含更多的角色模板。
請參閱第3圖。第3圖係根據本發明之一些實施例所繪示之一種生成式問答系統100B的示意圖。第3圖中的生成式問答系統100B為第1圖中的生成式問答系統100的其中一種實施方式。
於第3圖中,處理器130B包含文本檢索模塊310、答案生成模塊330、情境感知模塊350和風格轉換模塊370。關於如第3圖中所示之生成式問答系統100B的詳細操作方式,將於以下參閱第4圖一併進行說明。
第4圖係根據本發明之一些實施例所繪示之一種生成式問答方法400的流程圖。生成式問答方法400可應用於第1圖中的生成式問答系統100、第2圖中的生成式問答系統100A、第3圖中的生成式問答系統100B或與其結構相同或相似之系統。而為使敘述簡單,以下將以第3圖為例執行對操作方法敘述,然本發明不以第3圖的應用為限。
請參閱第4圖。生成式問答方法400包含以下步驟S410至S430。於步驟S410中,依據輸入資訊從文本知識資料庫取得多個候選文本中的至少一者,並依據輸入資訊以及多個候選文本中的至少一者產生第一輸出文本。於步驟S420中,依據輸入資訊,從角色資料庫取得多個角色模板中的第一角色模板及對應第一角色模板的多個對話範例中的至少一對話範例。於步驟S430中,依據輸入資訊、第一角色模板、多個對話範例中的至少一者以及第一輸出文本,產生第二輸出文本。以下將對步驟S410至S430進行詳細說明。
於步驟S410中,由文本檢索模塊310依據輸入資訊從文本知識資料庫154取得多個候選文本中的至少一者,再由答案生成模塊330依據輸入資訊以及多個候選文本中的至少一者產生第一輸出文本。關於步驟S410的詳細實施方式,將於以下參閱第5圖和第6圖一併進行說明。
於部分實施例中,輸入資訊包含使用者輸入內容、使用者基本資訊以及應用領域資訊。使用者輸入內容為使用者欲詢問或聊天之文字輸入或語音輸入。使用者基本資訊可包含使用者的年紀、性別、職業等。應用領域資訊可為使用者欲詢問或聊天的內容的應用領域。
於部分實施例中,上述使用者輸入內容、使用者基本資訊以及應用領域資訊可為均由使用者透過使用者裝置輸入。於部分實施例中,使用者輸入內容可為由使用者透過使用者裝置輸入,而使用者基本資訊以及應用領域資訊可由處理器130B依據使用者登入資訊或使用者輸入內容至使用者資料庫156中進行查找以取得。
請參與第5圖。第5圖係根據本發明之一些實施例所繪示之一種文本檢索模塊310的操作的示意圖。於部分實施例中,文本檢索模塊310接收使用者輸入內容IC後,執行文本知識相似度計算機制510至文本知識資料庫154進行查找,以取得對應於使用者輸入內容IC的候選文本ST。上述候選文本ST可包含一筆或多筆。
於部分實施例中,於執行文本知識相似度計算機制510時,可透過文本檢索方法、向量檢索方法或任何其他常見之檢索方法,以找出文本知識資料庫154中與使用者輸入內容IC之間相似度最高的前數筆候選文本ST。於部分實施例中,文本知識相似度計算機制510的執行包含計算使用者輸入內容IC與文本知識資料庫中的多筆候選文本之間的多個相似度,並依據多個相似度取得相似度最高的前數筆候選文本ST。
於部分實施例中,文本檢索方法是將使用者輸入內容IC與文本知識資料庫154當中所有的候選文本的文本欄位進行文本相似度計算。向量檢索方法是將使用者輸入內容IC的向量資訊與文本知識資料庫154當中所有候選文本的向量資訊進行向量相似度計算,取相似度排名前數筆作為對應於使用者輸入內容IC的候選文本ST。
請接著參閱第6圖。第6圖係根據本發明之一些實施例所繪示之一種答案生成模塊330的操作的示意圖。於部分實施例中,答案生成模塊330接收使用者輸入內容IC和候選文本ST後,執行答案生成的提示整合機制610,以依據使用者輸入內容IC、候選文本ST和提示語模板P1產生提示語P1a後,將提示語P1a輸入至大型語言模型L,以產生輸出文本OT1。
於部分實施例中,如第6圖所示,於執行答案生成的提示整合機制610時,答案生成模塊330將使用者輸入內容IC填入至提示語模板P1中的詢問(Query)欄位中,並將候選文本ST(包含候選文本1、候選文本2和候選文本3等多筆候選文本)填入至內容(Content)欄位中,以依照一定格式進行提示整合並產生提示語P1a。依據提示語P1a,大型語言模型L進行文字生成以產生輸出文本OT1。
請回頭參閱第4圖。於步驟S420中,依據輸入資訊,從角色資料庫152取得多個角色模板中的第一角色模板PM及對應第一角色模板PM的多個對話範例中的至少一對話範例DE。
請一併參閱第7圖。第7圖係根據本發明之一些實施例所繪示之一種情境感知模塊350的操作的示意圖。於部分實施例中,情境感知模塊350接收使用者輸入內容IC、使用者基本資訊IB和應用領域資訊ID後,執行角色情境匹配機制710,以依據使用者輸入內容IC、使用者基本資訊IB、應用領域資訊ID、提示語模板P2和角色資料庫152產生提示語P2a後,將提示語P2a輸入至大型語言模型L,以取得對應於輸入資訊的角色模板PM。
於部分實施例中,於執行角色情境匹配機制710時,由情境感知模塊350提取角色資料庫152當中所有角色模板的欄位,將輸入資訊與角色資料庫依照一定格式進行提示整合。詳細而言,情境感知模塊350將使用者輸入內容IC填入至提示語模板P2中的詢問(Query)欄位中,將應用領域資訊ID填入至領域(Domain)欄位中,將使用者基本資訊IB(包含年齡、性別、職業等)填入至資訊(Information)欄位中,並將角色資料庫中的多個角色模板(包含角色模板編號0的角色描述、角色模板編號1的角色描述、角色模板編號2的角色描述等)填入至角色(Personal)欄位中,以依照一定格式進行提示整合並產生提示語P2a。
接著,大型語言模型L會根據已整合完畢的提示語P2a對角色資料庫中的多個角色模板(包含角色模板編號0、角色模板編號1、角色模板編號2等)分別進行分類與評分,並依據分類與評分結果的信心度,從信心度高於閾值的類別或角色模板中,挑選與輸入資訊對應的角色模板PM。於部分實施例中,角色模板PM為信心度最高的角色模板。
於挑選出與輸入資訊對應的角色模板PM後,情境感知模塊350執行對話範例相似度計算機制720,以根據對應類別或角色模板PM取得對應類別或對應於角色模板PM的多筆候選對話範例。接著,情境感知模塊350將使用者輸入內容IC轉換成輸入內容向量資訊,並將對應類別或對應於角色模板PM的多筆候選對話範例轉換為多個向量資訊後,計算輸入內容向量資訊與候選對話範例的向量資訊之間的相似度。相似度計算方法可以使用基於距離的相似度方法(如:歐式距離)或基於夾角的相似度方法(如:Cosine )。於部分實施例中,情境感知模塊350將相似度排名最高或相似度高於閾值的候選對話範例作為對應於角色模板PM與輸入資訊的對話範例DE,並將對話範例DE輸出。
於部分實施例中,情境感知模塊350可以解析多種形式的感知,包含文字、影像、聲音、結構化資訊等。本案的實施方式不以文字或影像為限制。
請回頭參閱第4圖。於步驟S430中,依據輸入資訊、角色模板PM、對話範例DE以及輸出文本OT1,產生輸出文本OT2。
請一併參閱第8圖。第8圖係根據本發明之一些實施例所繪示之一種風格轉換模塊370的操作的示意圖。於部分實施例中,風格轉換模塊370接收角色模板PM、對話範例DE、使用者輸入內容IC和輸出文本OT1後,執行語言風格轉換的提示整合機制810,以依據角色模板PM、對話範例DE、使用者輸入內容IC、輸出文本OT1和提示語模板P3產生提示語P3a後,將提示語P3a輸入至大型語言模型L,以取得特定語言風格之輸出文本OT2。
詳細而言,語言風格轉換的提示整合機制810會先判斷情境感知模塊350輸出的角色模板PM、對話範例DE是否有內容(內容有無由情境感知模塊350的閾值判斷),依據提示語模板P3,將添加情境感知資訊的風格轉換提示語搭配使用者輸入內容IC與答案生成模塊330的輸出文本OT1,依照一定格式進行提示整合。於部分實施例中,風格轉換模塊370將角色模板PM的角色描述填入至角色(Personal)欄位中,將對應於輸入資訊的對話範例(包含對話範例1、對話範例2等)填入至歷史對話範例(History Dialogue)欄位中,將使用者輸入內容IC填入至提示語模板P1中的詢問(Query)欄位中,並將答案生成模塊330的輸出文本OT1填入至回答(Answer)欄位中,以產生提示語P3a。
接著,大型語言模型L依據整合完畢的提示語P3a進行轉換,以生成具有特定語言風格的輸出文本OT2。
請參閱第9圖。第9圖係根據本發明之一些實施例所繪示之一種文本檢索模塊310、答案生成模塊330、情境感知模塊350與風格轉換模塊370的協同操作的示意圖。
如第9圖所示,文本檢索模塊310、答案生成模塊330、情境感知模塊350與風格轉換模塊370分為兩條路徑進行協同操作。一條路徑由文本檢索模塊310和答案生成模塊330組成,以產生不具有特定語言風格的輸出文本OT1。另一條路徑由情境感知模塊350和風格轉換模塊370組成,以透過角色模板將不具有特定語言風格的輸出文本OT1轉換成具有特定語言風格的輸出文本OT2。
詳細而言,於部分實施例中,文本檢索模塊310依據輸入資訊IM中的使用者輸入內容IC,從如第1圖所示的文本知識資料庫154找出適合的候選文本ST作為答案生成的基礎。接著答案生成模塊透過特定提示語將使用者輸入內容IC與候選文本ST輸入至大型語言模型,以產生無特定語言風格的輸出文本OT1。又,情境感知模塊350分析輸入資訊IM中的使用者輸入內容IC、使用者基本資訊IB和應用領域資訊ID,找出與輸入資訊IM相匹配的角色模板PM與對話範例DE。最後,風格轉換模塊370依據角色模板PM與對話範例DE,將不具有特定語言風格的輸出文本OT1轉換成具有特定語言風格的輸出文本OT2。
為了便於理解,以下將舉例說明文本檢索模塊310、答案生成模塊330、情境感知模塊350與風格轉換模塊370的協同操作方式。
於一實施例中,使用者輸入內容IC包含「上禮拜跟高中同學聚餐,我好像跟王品中毒有關係,可以到哪裡看診或掛號?」。使用者基本資訊IB包含「年紀:青年、性別:男性、職業:學生。」。應用領域資訊ID包含「公共衛生」。
依據使用者輸入內容IC,文本檢索模塊310進行檢索後所輸出的候選文本ST包含候選文本1至候選文本4。候選文本1的內容包含「王品中毒事件專門門診」、候選文本2的內容包含「學齡兒童護眼方案」、候選文本3的內容包含「請問如何成為衛生志工」、候選文本4的內容包含「請問要如何預防食物中毒」。
答案生成模塊330將上述使用者輸入內容IC填入如第6圖所示的提示語模板P1中的詢問(Query)欄位中,並將候選文本ST(包含候選文本1至候選文本4)填入至內容(Content)欄位中,以依照一定格式進行提示整合並產生如第6圖所示的提示語P1a。依據提示語P1a,大型語言模型L進行文字生成以產生輸出文本OT1。輸出文本OT1包含「於4月9日至15日間可掛聯合醫院仁愛院區食安特別門診及中興院區家庭醫學科項下之食安特別門診」。
另一方面,情境感知模塊350將使用者輸入內容IC填入至第7圖中的提示語模板P2中的詢問(Query)欄位中,將應用領域資訊ID填入至領域(Domain)欄位中,將使用者基本資訊IB(包含年齡、性別、職業等)填入至資訊(Information)欄位中,並將角色資料庫152中的多個角色模板(包含角色模板編號0的角色描述、角色模板編號1的角色描述、角色模板編號2的角色描述等)填入至角色(Personal)欄位中,以依照一定格式進行提示整合並產生提示語P2a。依據提示語P2a,大型語言模型L輸出的角色 (Personal)為角色模板PM,大型語言模型L對應角色模板PM算出的信心分數(Confidence Score)為8分,大型語言模型L輸出原因(Reason)包含「以媽媽的角度搭配親切的口吻,讓學生不會害怕並積極找門診資訊」。
於一些實施例中,由於沒有歷史對話範例或是候選對話範例的相似度均不高於閾值時,情境感知模塊350輸出的對話範例為空白。
最後,依據如第8圖中所示的提示語模板P3,風格轉換模塊370將角色模板PM的角色描述填入至角色(Personal)欄位中,將對應於輸入資訊的對話範例(由於沒有對應的對話範例,此處將填入無對話範例)填入至歷史對話範例(History Dialogue)欄位中,將使用者輸入內容IC填入至提示語模板P1中的詢問(Query)欄位中,並將答案生成模塊330的輸出文本OT1填入至回答(Answer)欄位中,以產生如第8圖中所示的提示語P3a。依據提示語P3a,大型語言模型L產生風格化回答,即特定語言風格之輸出文本OT2。輸出文本OT2包含「唉呀,最近中毒事件真可怕?從4月9日到15日呢,我們可以上聯合醫院仁愛院區的「食安特別門診」或者是中興院區的「家庭醫學科項下之食安特別門診」哦。記得要好好保健康,尤其是飲食方面,有什麼不舒服的話,不要猶豫,趕快去看醫生哦!」。
需注意的是,如上所述的提示語模板P1至P3與提示語P1a至P3a僅供例示說明之用,系統開發人員可以根據使用情境及專案需求任意去修改提示語模板或提示語。
需注意的是,於一些實施例中,生成式問答方法400亦可實作為電腦程式或是指令,並儲存於如第1圖中的記憶體150中,而使如第1圖中的生成式問答系統100中的處理器130讀取此電腦程式或指令後執行此一操作方法,處理器130可以由一或多個晶片組成。記憶體150可為唯讀記憶體、快閃記憶體、軟碟、硬碟、光碟、隨身碟、磁帶、可由網路存取之資料庫或熟悉此技藝者可輕易思及具有相同功能之非暫態電腦可讀取記錄媒體。
另外,應瞭解到,在本實施方式中所提及的生成式問答方法400的操作,除特別敘明其順序者外,均可依實際需要調整其前後順序,甚至可同時或部分同時執行。再者,在不同實施例中,此些操作亦可適應性地增加、置換、及/或省略。
於部分實施例中,第1圖中的處理器130可以是具有儲存、運算、資料讀取、接收訊號或訊息、傳送訊號或訊息等功能的伺服器、電路、中央處理單元(central processor unit, CPU)、微處理器(MCU)或其他具有同等功能的電路、元件或裝置。此外,第1圖中的處理器可同時包含有第2圖中的處理器130A或是第3圖中的處理器130B中的所有電路、模組、模塊或是元件。
於部分實施例中,第1圖中的輸入輸出裝置110可以是具有訊號輸出/輸入、訊息輸出/輸入或類似功能的電路或元件。
於部分實施例中,第2圖和第3圖中的所有模塊、模組與單元均可實作為電路或元件。
由上述本案之實施方式可知,本案之實施例藉由提供一種生成式問答系統及生成式問答方法。透過情境感知模塊的導入,利用角色模板取代傳統上依靠資料的模型訓練,可減少訓練成本,並透過大型語言模型(LLM)分類輸入資訊以產生分類結果或匹配於輸入資訊的角色模板,並進而取得最匹配於輸入資訊的角色模板的對話範例。此外,透過文本檢索模塊,先選取文本知識資料庫中高度相關的文本,再由答案生成模塊生成文字。最後透過風格轉換模塊,依據情境感知模塊所產生的角色模板和對話範例,並依據答案生成模塊所產生的不具有特定語言風格的輸出文本,風格轉換模塊可生成具有特定語言風格的輸出文本本,以產生特製化的輸出答案,讓使用者可以產生共鳴或是感到被同理。
於本案的實施方式中,透過兩條平行的路徑進行協同操作。一條路徑由文本檢索模塊和答案生成模塊組成,以產生不具有特定語言風格的輸出文本。另一條路徑由情境感知模塊和風格轉換模塊組成,以透過角色模板將不具有特定語言風格的輸出文本轉換成具有特定語言風格的輸出文本。相較於直接使用風格化模型以輸出答案或是產生輸出文本,可降低胡言亂語與知識落後的現象。
另外,上述例示包含依序的示範步驟,但該些步驟不必依所顯示的順序被執行。以不同順序執行該些步驟皆在本揭示內容的考量範圍內。在本揭示內容之實施例的精神與範圍內,可視情況增加、取代、變更順序及/或省略該些步驟。上述「第一」及「第二」僅是用來區別相同的陳述,而非用來限制該些陳述之間具有任何順序,也非用來限制該些陳述所涉及的步驟之間具有任何順序。
雖然本案已以實施方式揭示如上,然其並非用以限定本案,任何熟習此技藝者,在不脫離本案之精神和範圍內,當可作各種之更動與潤飾,因此本案之保護範圍當視後附之申請專利範圍所界定者為準。
100,100A,100B:生成式問答系統 110,110A:輸入輸出裝置 130,130A,130B:處理器 150:記憶體 152:角色資料庫 154:文本知識資料庫 156:使用者資料庫 212:點選單元 214:輸入單元 216:檔案處理單元 232:角色模板建構模組 234:領域文本建構模組 232A:角色描述單元 232B:角色繪製單元 232C:角色記憶單元 234A:段落分離單元 234B:文本解析單元 234C:資訊抽取單元 234D:去識別化單元 234E:向量轉化單元 310:文本檢索模塊 330:答案生成模塊 350:情境感知模塊 370:風格轉換模塊 400:生成式問答方法 S410,S420,S430:步驟 IB:使用者基本資訊 IC:使用者輸入內容 ID:應用領域資訊 ST:候選文本 L:大型語言模型 PM:角色模板 DE:對話範例 IM:輸入資訊 OT1,OT2:輸出文本 P1,P2,P3:提示語模板 P1a,P2a,P3a:提示語 510:文本知識相似度計算機制 610:答案生成的提示整合機制 710:角色情境匹配機制 720:對話範例相似度計算機制 810:語言風格轉換的提示整合機制
為讓本揭示之上述和其他目的、特徵、優點與實施例能夠更明顯易懂,所附圖式之說明如下: 第1圖係根據本發明之一些實施例所繪示之一種生成式問答系統示意圖; 第2圖係根據本發明之一些實施例所繪示之一種生成式問答系統的示意圖; 第3圖係根據本發明之一些實施例所繪示之一種生成式問答系統的示意圖; 第4圖係根據本發明之一些實施例所繪示之一種生成式問答方法的流程圖; 第5圖係根據本發明之一些實施例所繪示之一種文本檢索模塊的操作的示意圖; 第6圖係根據本發明之一些實施例所繪示之一種答案生成模塊的操作的示意圖; 第7圖係根據本發明之一些實施例所繪示之一種情境感知模塊的操作的示意圖; 第8圖係根據本發明之一些實施例所繪示之一種風格轉換模塊的操作的示意圖;以及 第9圖係根據本發明之一些實施例所繪示之一種文本檢索模塊、答案生成模塊、情境感知模塊與風格轉換模塊的協同操作的示意圖。
100B:生成式問答系統
110:輸入輸出裝置
130B:處理器
150:記憶體
310:文本檢索模塊
330:答案生成模塊
350:情境感知模塊
370:風格轉換模塊
152:角色資料庫
154:文本知識資料庫
156:使用者資料庫
Claims (20)
- 一種生成式問答系統,用來產生風格化的文本,包含: 一輸入輸出裝置,用以接收一輸入資訊; 一記憶體,用以儲存一角色資料庫以及一文本知識資料庫,其中該角色資料庫記錄複數個角色模板及對應該些角色模板的複數個對話範例,其中該文本知識資料庫儲存複數個候選文本;以及 一處理器,耦接該記憶體以及該輸入輸出裝置,用以執行下列程序: 依據該輸入資訊從該文本知識資料庫取得該些候選文本中的至少一者,並依據該輸入資訊以及該些候選文本中的至少一者產生不具語言風格的一第一輸出文本; 依據該輸入資訊,從該角色資料庫取得該些角色模板中的一第一角色模板及對應該第一角色模板的該些對話範例中的至少一者;以及 依據該輸入資訊、該第一角色模板、該些對話範例中的至少該者以及該第一輸出文本,產生具有該第一角色模板的語言風格的一第二輸出文本。
- 如請求項1所述之生成式問答系統,其中該處理器更用以執行下列程序: 計算該輸入資訊中的一使用者輸入內容與該文本知識資料庫中的該些候選文本之間的複數個相似度;以及 依據該些相似度取得該些候選文本中的至少該者。
- 如請求項1所述之生成式問答系統,其中該處理器更用以執行下列程序: 依據該輸入資訊中的一使用者輸入內容以及該些候選文本中的至少該者產生一提示語;以及 將該提示語輸入至一大型語言模型以產生該第一輸出文本。
- 如請求項1所述之生成式問答系統,其中該處理器更用以執行下列程序: 依據該輸入資訊以及該角色資料庫產生一提示語; 將該提示語輸入至一大型語言模型以取得信心度最高的該第一角色模板。
- 如請求項4所述之生成式問答系統,其中該輸入資訊包含一使用者輸入內容、一使用者基本資訊以及一應用領域資訊。
- 如請求項4所述之生成式問答系統,其中該些對話範例中的複數個候選對話範例對應於該第一角色模板,其中該處理器更用以執行下列程序: 將該輸入資訊中的一使用者輸入內容轉換為一輸入內容向量資訊; 將該些候選對話範例轉換為複數個向量資訊;以及 於該些向量資訊中的一第一向量資訊與該輸入內容向量資訊之間的一相似度高於一閾值時,選擇對應於該第一向量資訊的該些候選對話範例中的一者以作為對應該第一角色模板的該些對話範例中的至少該者。
- 如請求項1所述之生成式問答系統,其中該處理器更用以執行下列程序: 依據該輸入資訊、該第一角色模板、該些對話範例中的至少該者以及該第一輸出文本產生一提示語;以及 經該提示語輸入至一大型語言模型以產生該第二輸出文本。
- 如請求項1所述之生成式問答系統,其中該文本知識資料庫包含該些候選文本、該些候選文本的複數個文本資訊以及複數個向量資訊。
- 如請求項1所述之生成式問答系統,其中該角色資料庫更包含對應於該些角色模板的複數個文字描述資訊以及複數個圖形描述資訊。
- 如請求項1所述之生成式問答系統,其中該記憶體更用以儲存一使用者資料庫,其中該使用者資料庫包含對應於複數個使用者的複數個使用者基本資訊以及複數個應用領域資訊。
- 一種生成式問答方法,適用於包含一角色資料庫以及一文本知識資料庫的一生成式問答系統,其中該角色資料庫記錄複數個角色模板及對應該些角色模板的複數個對話範例,其中該文本知識資料庫儲存複數個候選文本包含,其中該生成式問答方法包含: 依據一輸入資訊從該文本知識資料庫取得該些候選文本中的至少一者,並依據該輸入資訊以及該些候選文本中的至少一者產生不具語言風格的一第一輸出文本; 依據該輸入資訊,從該角色資料庫取得該些角色模板中的一第一角色模板及對應該第一角色模板的該些對話範例中的至少一者;以及 依據該輸入資訊、該第一角色模板、該些對話範例中的至少該者以及該第一輸出文本,產生具有該第一角色模板的語言風格的一第二輸出文本。
- 如請求項11所述之生成式問答方法,更包含: 計算該輸入資訊中的一使用者輸入內容與該文本知識資料庫中的該些候選文本之間的複數個相似度;以及 依據該些相似度取得該些候選文本中的至少該者。
- 如請求項11所述之生成式問答方法,更包含: 依據該輸入資訊中的一使用者輸入內容以及該些候選文本中的至少該者產生一提示語; 將該提示語輸入至一大型語言模型以產生該第一輸出文本。
- 如請求項11所述之生成式問答方法,更包含: 依據該輸入資訊以及該角色資料庫產生一提示語;以及 將該提示語輸入至一大型語言模型以取得信心度最高的該第一角色模板。
- 如請求項14所述之生成式問答方法,其中該輸入資訊包含一使用者輸入內容、一使用者基本資訊以及一應用領域資訊。
- 如請求項14所述之生成式問答方法,其中該些對話範例中的複數個候選對話範例對應於該第一角色模板,其中該生成式問答方法更包含: 將該輸入資訊中的一使用者輸入內容轉換為一輸入內容向量資訊; 將該些候選對話範例轉換為複數個向量資訊;以及 於該些向量資訊中的一第一向量資訊與該輸入內容向量資訊之間的一相似度高於一閾值時,選擇對應於該第一向量資訊的該些候選對話範例中的一者以作為對應該第一角色模板的該些對話範例中的至少該者。
- 如請求項11所述之生成式問答方法,更包含: 依據該輸入資訊、該第一角色模板、該些對話範例中的至少該者以及該第一輸出文本產生一提示語;以及 經該提示語輸入至一大型語言模型以產生該第二輸出文本。
- 如請求項11所述之生成式問答方法,其中該文本知識資料庫包含該些候選文本、該些候選文本的複數個文本資訊以及複數個向量資訊。
- 如請求項11所述之生成式問答方法,其中該角色資料庫更包含對應於該些角色模板的複數個文字描述資訊以及複數個圖形描述資訊。
- 如請求項11所述之生成式問答方法,更包含: 儲存一使用者資料庫,其中該使用者資料庫包含對應於複數個使用者的複數個使用者基本資訊以及複數個應用領域資訊。
Publications (1)
| Publication Number | Publication Date |
|---|---|
| TWI914086B true TWI914086B (zh) | 2026-02-01 |
Family
ID=
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201832049A (zh) | 2017-02-17 | 2018-09-01 | 香港商阿里巴巴集團服務有限公司 | 輸入方法、裝置、設備、系統和電腦儲存媒體 |
| CN115828933A (zh) | 2022-12-30 | 2023-03-21 | 山东师范大学 | 基于角色与知识信息对比选择网络的人机对话方法及系统 |
| US20230274091A1 (en) | 2022-02-25 | 2023-08-31 | Robert Bosch Gmbh | Dialogue system with slot-filling strategies |
| TW202445558A (zh) | 2023-05-09 | 2024-11-16 | 國立高雄科技大學 | 基於意圖分析的回覆生成系統 |
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| TW201832049A (zh) | 2017-02-17 | 2018-09-01 | 香港商阿里巴巴集團服務有限公司 | 輸入方法、裝置、設備、系統和電腦儲存媒體 |
| US20230274091A1 (en) | 2022-02-25 | 2023-08-31 | Robert Bosch Gmbh | Dialogue system with slot-filling strategies |
| CN115828933A (zh) | 2022-12-30 | 2023-03-21 | 山东师范大学 | 基于角色与知识信息对比选择网络的人机对话方法及系统 |
| TW202445558A (zh) | 2023-05-09 | 2024-11-16 | 國立高雄科技大學 | 基於意圖分析的回覆生成系統 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11756537B2 (en) | Automated assistants that accommodate multiple age groups and/or vocabulary levels | |
| US10977452B2 (en) | Multi-lingual virtual personal assistant | |
| US11810337B2 (en) | Providing emotional care in a session | |
| Clark et al. | Linguistic Nativism and the Poverty of the Stimulus | |
| Knobel et al. | The many places of frequency: Evidence for a novel locus of the lexical frequency effect in word production | |
| Sandbank et al. | The association between parental mean length of utterance and language outcomes in children with disabilities: A correlational meta-analysis | |
| JP2020518870A (ja) | 多言語での自動化されたアシスタントを用いたエンドツーエンドコミュニケーションの促進 | |
| Pearl et al. | When domain-general learning fails and when it succeeds: Identifying the contribution of domain specificity | |
| US12517946B2 (en) | Method and system for generating candidate vocabulary | |
| CN113314236A (zh) | 一种面向高血压的智能问答系统 | |
| Panesar et al. | Natural language processing-driven framework for the early detection of language and cognitive decline | |
| Lee | Analyzing the use of ai writing assistants in generating texts with standard american english conventions: A case study of chatgpt and bard | |
| Chen | Computational generation of Chinese noun phrases | |
| Doyle | The dimensions and adaptation of partner models in human-machine dialogue | |
| Sicilia et al. | Isabel: An inclusive and collaborative taskoriented dialogue system | |
| TWI914086B (zh) | 生成式問答系統及生成式問答方法 | |
| Syrett et al. | All together now: disentangling semantics and pragmatics with together in child and adult language | |
| CN117453896B (zh) | 针对儿童的陪伴ai数字人的管控方法、装置及存储介质 | |
| US20250200673A1 (en) | Dialog ability enhancement assistance device, dialog ability enhancement assistance control method, and non-transitory recording medium | |
| CN121117533A (zh) | 大语言模型的评测方法、装置、设备和存储介质 | |
| Lee | Analyzing the Use of AI Writing Assistants in Generating Texts with Standard American | |
| Alzaben | A step towards machine translation between communication symbols and Arabic text | |
| de Vargas | Augmentative and Alternative Communication with Automated Vocabularies From Photographs | |
| Fontana de Vargas | Augmentative and Alternative Communication with Automated Vocabularies from Photographs | |
| Mayila | English compound word processing: Evidence from Mandarin Chinese-English bilinguals |