[go: up one dir, main page]

CN119311857A - 一种客服智能体及其实现方法 - Google Patents

一种客服智能体及其实现方法 Download PDF

Info

Publication number
CN119311857A
CN119311857A CN202411815184.7A CN202411815184A CN119311857A CN 119311857 A CN119311857 A CN 119311857A CN 202411815184 A CN202411815184 A CN 202411815184A CN 119311857 A CN119311857 A CN 119311857A
Authority
CN
China
Prior art keywords
request information
information
language model
large language
recall
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202411815184.7A
Other languages
English (en)
Inventor
胡卫兵
马高祥
王福晴
兰清
黄哲
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nanjing Staryea Network Technology Co ltd
Original Assignee
Nanjing Staryea Network Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nanjing Staryea Network Technology Co ltd filed Critical Nanjing Staryea Network Technology Co ltd
Priority to CN202411815184.7A priority Critical patent/CN119311857A/zh
Publication of CN119311857A publication Critical patent/CN119311857A/zh
Pending legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/3331Query processing
    • G06F16/334Query execution
    • G06F16/3344Query execution using natural language analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33Querying
    • G06F16/332Query formulation
    • G06F16/3329Natural language query formulation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00Handling natural language data
    • G06F40/30Semantic analysis
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06NCOMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00Machine learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Computational Linguistics (AREA)
  • Mathematical Physics (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computing Systems (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明提出一种客服智能体及其实现方法,该方法通过对大语言模型进行预训练,使大语言模型具备良好的意图识别能力和对于目标业务领域知识的理解能力,从而使大语言模型能够准确识别用户意图,并将用户意图映射到对应的目标业务中去,再结合RPA技术构建的基于业务场景的自动化流程,能够自动检索与目标业务相关的信息来对用户输入的请求信息进行增强。最后,将增强后的请求信息输入给大语言模型,帮助大语言模型更好地理解用户的需求,从而使大语言模型备更高的语义理解和表达能力,能够快速响应用户需求,更好地为用户提供精准的技术支持和咨询服务。

Description

一种客服智能体及其实现方法
技术领域
本发明涉及人工智能技术领域,具体涉及一种客服智能体及其实现方法。
背景技术
现有智能客服在垂直行业中通常采用简单的规则引擎和固定的对话模式,主要通过手动构建规则设置或者定制化开发,无法处理复杂的专业技术问题和客户业务需求。此外,在垂直行业中,客户需要及时准确的专业技术支持和指导。传统智能客服因为受限于固定的规则和流程,导致响应时间较长,无法及时响应客户的需求。
发明内容
发明目的:本发明旨在提出一种客服智能体及其实现方法,能够提供高效、灵活、准确的客户需求响应方案。
发明内容:为实现上述目的,本发明提出以下技术方案:
第一方面,提供了一种客服智能体的实现方法,该方法包括:
获取用户输入的第一请求信息;
利用预先训练的大语言模型对所述第一请求信息进行意图识别,以确定所述用户的目标业务;
将所述目标业务输入机器人流程自动化模块,利用所述机器人流程自动化模块根据所述目标业务执行预设的自动化业务流程,并得到召回信息;
利用所述召回信息对所述第一请求信息进行增强,得到第二请求信息;
将所述第二请求信息输入所述大语言模型,得到所述大语言模型的回复信息。
作为第一方面所述方法的一种可选实施方式,所述方法还包括:构建目标业务领域的知识库;
利用预先训练的大语言模型对所述第一请求信息进行意图识别,以确定所述用户的目标业务,具体包括:
根据所述第一请求信息在所述知识库中检索相关信息;
利用所述相关信息对所述第一请求信息进行增强;
将增强后的第一请求信息输入所述大语言模型,得到所述目标业务。
作为第一方面所述方法的一种可选实施方式,所述方法还包括:构建目标业务领域的知识库,并将所述知识库中的文本数据转换为向量后存储进向量库;
将所述目标业务输入机器人流程自动化模块,利用所述机器人流程自动化模块根据所述目标业务执行预设的自动化业务流程,并得到召回信息,具体包括:
利用所述机器人流程自动化模块根据所述目标业务在所述知识库中进行文本搜索,得到文本搜索结果;
利用所述机器人流程自动化模块根据所述目标业务在所述向量库中进行语义搜索,得到语义搜索结果;
对所述文本搜索结果和所述语义搜索结果进行归一化处理;
根据归一化后的文本搜索结果和归一化后的语义搜索结果计算熵值:
H(X)=-Σ(P(X)*log(P(X)))
P(X) = a*Xnorm1+(1-a)*Xnorm2
其中,H(X)表示事件X的熵值,P(X)表示事件X发生的概率,log表示以2为底的对数运算,a是权重系数,Xnorm1表示归一化后的文本搜索结果,Xnorm2表示归一化后的语义搜索结果;
根据所述熵值确定所述召回信息。
具体的,根据所述熵值确定所述召回信息,具体包括:
若所述熵值低于预设的阈值,则直接根据所述文本搜索结果和所述语义搜索结果确定所述召回信息;
若所述熵值高于所述阈值,则根据预设的经验规则生成所述召回信息。
作为第一方面所述方法的一种可选实施方式,利用所述召回信息对所述第一请求信息进行增强,得到第二请求信息,具体包括:
利用预设的提示模板,将所述召回信息和所述第一请求信息拼装成所述第二请求信息。
作为第一方面所述方法的一种可选实施方式,利用所述召回信息对所述第一请求信息进行增强,得到第二请求信息,具体包括:
将所述召回信息拆分为多个数据段;
针对每个数据段,利用所述大语言模型将所述数据段映射为第一嵌入向量;
利用所述大语言模型将所述第一请求信息映射为第二嵌入向量;
根据所述第一嵌入向量与所述第二嵌入向量之间的相似度,确定目标第一嵌入向量;
将所述目标第一嵌入向量对应的数据段作为所述第一请求信息的上下文,以构建所述第二请求信息。
第二方面,提供了一种客服智能体,包括:
数据获取模块,配置为获取用户输入的第一请求信息;
响应模块,配置为利用预先训练的大语言模型对所述第一请求信息进行意图识别,以确定所述用户的目标业务;以及,响应于第二请求信息,生成回复信息;
机器人流程自动化模块,配置为响应于所述目标业务的输入,根据所述目标业务执行预设的自动化业务流程,并得到召回信息;利用所述召回信息对所述第一请求信息进行增强,得到所述第二请求信息,并将所述第二请求信息输入所述响应模块。
第三方面,提供了一种客服系统,所述客服系统部署有客服智能体,所述客服智能体是采用上述的客服智能体的实现方法实现的。
第四方面,提供了一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行上述的客服智能体的实现方法。
第五方面,提供了一种电子设备,包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于执行所述存储器存储的程序,当所述存储器存储的程序被执行时,所述处理器用于执行上述的客服智能体的实现方法。
有益效果:本说明书实施例所述的客服智能体的实现方法的有益效果在于,该方法通过对大语言模型进行预训练,使大语言模型具备良好的意图识别能力和对于目标业务领域知识的理解能力,从而使大语言模型能够准确识别用户意图,并将用户意图映射到对应的目标业务中去,再结合RPA技术构建的基于业务场景的自动化流程,能够自动检索与目标业务相关的信息来对用户输入的请求信息进行增强。最后,将增强后的请求信息输入给大语言模型,帮助大语言模型更好地理解用户的需求,从而使大语言模型备更高的语义理解和表达能力,能够快速响应用户需求,更好地为用户提供精准的技术支持和咨询服务。本说明书实施例所述的客服智能体和客服系统同样具有上述有益效果。
附图说明
图1为实施例涉及的一种客服智能体的实现方法的流程示意图;
图2为实施例涉及的一种基于检索增强生成的领域知识检索优化流程示意图;
图3为实施例涉及的一种大语言模型生成回复信息的流程示意图;
图4为实施例涉及的一种RAG模型执行Text2SQL任务的流程示意图;
图5为实施例涉及的一种客服智能体的结构示意图。
具体实施方式
首先需要说明的是,在本发明实施例中使用的术语是仅仅出于描述特定实施例的目的,而非旨在限制本发明。在本发明实施例和所附权利要求书中所使用的单数形式的“一种”、“所述”和“该”也旨在包括多数形式,除非上下文清楚地表示其他含义。
为了使本技术领域的人员更好地理解本说明书中的技术方案,下面将结合本说明书实施例中的附图,对本说明书实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本说明书一部分实施例,而不是全部的实施例。因此,本领域普通技术人员应当认识到,可以对这里描述的实施例做出各种改变和修改,而不会背离本发明的范围和精神。同样,为了清楚和简明,以下的描述中省略了对公知功能和结构的描述。
需要说明的是:在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中,其方法所包括的步骤可以比本说明书所描述的更多或更少。此外,本说明书中所描述的单个步骤,在其他实施例中可能被分解为多个步骤进行描述;而本说明书中所描述的多个步骤,在其他实施例中也可能被合并为单个步骤进行描述。
现有客服系统存在如下痛点:
知识回复的局限性:主要依赖于预设的规则、模板和语料库来识别和处理客户的问题。它通常通过关键词匹配或简单的自然语言处理技术来工作,回答的问题和提供的服务相对固定和有限。
智能化与自适应能力差:由于其基于固定的规则和模板,其智能化和自适应能力相对有限,无法很好地处理超出预设范围的问题或变化的情况。
处理效率与响应速度慢:能够处理一定量的客户咨询,但由于其技术限制,在处理复杂问题或大量咨询时效率有限。
成本与维护高:随着业务的发展和问题的复杂化,需要升级预设的规则和模板等,维护成本高。
本实施例旨在针对现有客服系统对用户输入理解能力差、回复准确性低以及回复效率低的技术问题,提供一种客服智能体及其实现方法,以至少部分地克服上述技术问题。
下面将结合说明书附图和具体的实施例来对本说明书一个或多个实施例所述的客服智能体及其实现方法进行进一步地详细说明,但是该详细说明不构成对本说明书实施例的限制。
请参考图1,图1为本说明书的一个或多个实施例中提出的一种客服智能体的实现方法的流程图。如图1所示的,该方法可以包括步骤S100至步骤S108。
S100:获取用户输入的第一请求信息。
上述的第一请求信息可以是文本形式也可以是语音形式,本实施方式中对第一请求信息的形式不做限制。
S102:利用预先训练的大语言模型对第一请求信息进行意图识别,以确定用户的目标业务。
上述的大语言模型的结构的可以根据需求进行适应性选择,例如,可以采用BERT模型作为上述的大语言模型。
上述的大语言模型预先被训练为能够识别用户意图,具体来说,是能够基于用户输入的第一请求信息识别出用户需要办理的目标业务。
为了使大语言模型能够具备上述意图识别能力,可以采用以下方式来对大语言模型进行训练:
首先获取训练样本,这里的训练样本具体可以是相关业务领域的领域知识,比如业务数据、客服对话数据等包括用户问题和对应的回答的数据样本。对这些数据进行清理并打上意图标签,这里的意图标签用户指向预设的目标业务,最后得到训练样本。
利用上述的训练样本来训练大语言模型,直至获得满足需求的大语言模型。
在一些实施方式中,为了促使大语言模型能够更好地理解用户提出的第一请求信息,还可以对第一请求信息进行增强检索。具体来说,可以预先构建目标业务领域的知识库,该知识库中存储着目标业务领域的业务知识。然后根据第一请求信息在知识库中检索相关信息,利用检索到的相关信息对第一请求信息进行增强,将增强后的第一请求信息输入大语言模型,最后得到目标业务。
在一些实施方式中,还可以利用上述的知识库对大语言模型进行微调,例如,利用知识库中的业务知识数据来对大语言模型做文本预测任务,包括给出上文/下文,让大语言模型预测对应的下文/上文,或者掩盖掉文本数据的中间部分内容,让大语言模型预测上下文内容等。具体的微调任务可以根据需求进行设置,旨在让大语言模型充分理解目标业务领域的业务知识。
在一些实施方式中,还可以根据需求设定一些评估指标,例如准确度、回答时间和用户满意度等。根据用户反馈和这些评估指标来评价大语言模型的表现,不断优化大语言模型,提高客服智能体的质量和性能。
S104:将目标业务输入机器人流程自动化模块,利用机器人流程自动化模块根据目标业务执行预设的自动化业务流程,并得到召回信息。
上述的机器人流程自动化模块中预先构建了针对不同业务类型的自动化业务流程,例如针对查流量、查话费、查套餐等查询类场景,形成标准化的查询业务流程,而针对复开机、挂失、补卡、密码重置等操作类场景,形成标准化的操作业务流程。
机器人流程自动化模块被设置为能够基于输入的意图识别结果触发对应的自动化业务流程执行,例如进行知识库的自动查询信息搜索以及多数据源头信息查询等。
在一些实施方式中,可以通过机器人流程自动化模块把需要查询的问题自动解析出来,然后在整个业务系统进行信息搜索,使得离散在各个业务系统的数据进行归类整合,对不同场景的业务进行集中展现,极大地缩短了查询时间,提升了客服智能体处理复杂问题的效率。
在一些实施方式中,针对机器人流程自动化模块的检索过程,可以采用检索增强生成(Retrieval-Augmented Generation,RAG)技术来进行领域知识检索优化。如图2所示,为一种基于RAG的领域知识检索优化流程。
在图2所示的检索流程中,首先把既有的领域知识切割,例如可以根据知识类型来构建针对不同业务类型的知识库,比如操作业务类知识库、查询业务类知识库、投诉处理类知识库等等,也可以根据访问权限来构建公有知识库和私有知识库,达到知识边界可控的效果。接着,可以将知识库中的文本数据进行向量化,以构建向量库。然后,进行检索流程可视化,包括搜索、排序、生成理解,实现流程清晰可追溯。最后,还可以通过专家经验对知识库进行扩展。
上述的搜索过程可以采用融合检索方式,融合检索的过程主要包括文本搜索和语义搜索,融合检索结合了多种搜索技术的优点,互相补充,可以根据不同的业务场景和需求选择合适的检索策略,提高检索结果的多样性和准确性。
文本搜索具体是指利用机器人流程自动化模块根据目标业务在上述的知识库中进行文本搜索,得到文本搜索结果。在本实施例中,可以采用基于BM25和TF-IDF算法的文本匹配搜索方法。BM25和TF-IDF处理特定术语(如产品名称或专业术语)时效果显著,但对拼写错误和同义词较为敏感,可能忽略一些重要的上下文信息。
BM25是一个基于概率的排名函数,用于信息检索系统中。它通过考虑词项频率(TF)和逆文档频率(IDF)来评估一个文档对于用户查询的相关性。BM25算法是OkapiBM25算法的简称,是最早在1980年代由Robertson和Jones发展出的一系列模型中的一个。
BM25基于这样一个假设:对于一个特定的查询项,它在相关文档中出现的频率高于在非相关文档中的频率。BM25算法通过结合词项频率(TF)和文档频率(DF)来计算文档的得分。
BM25算法其主要思想可简述如下:对需要检索的信息query进行特征提取分解,生成若干特征项(词)qi;然后对于每个搜索结果D,计算每个特征qi与D的相关性得分,最后,将qi相对于D的相关性得分进行加权求和,从而得到query与D的相关性得分。算法的一般表示可简写为如下形式:
其中,q表示需要检索的信息query,qi表示q分解之后的一个特征项(对中文而言可以把对query的分词作为基本特征项),d表示一个搜索结果文档;Wi表示特征qi的权重;R(qi,d)表示特征项qi与文档d的相关性得分。
对于Wi和R(qi,d)的定义,本实施例中采用以下公式来描述:
其中,N为文档集合中的全部文档数,n(qi)为包含qi的文档数。IDF公式指出,qi出现在越多的文档中,则qi的权重则越低。这里的定义有个问题,那就是,如果一个词在超过半数的文档里出现,则IDF为负值,于是这个词对BM25分数的贡献是负的。一般不希望这样的特性,所以当IDF为负数时,可将其置为0,或者一个比较小的正数,或者改用一种平滑过渡到0的函数形式。
对于特征项qi与文档d的相关性得分R(qi,d),可以采取以下方式来计算R(qi,d):
其中,f(qi,d)为qi在d中的文档频率,Ld为文档长度,Lavg为文档集合中的平均长度,k1和b为可自由调节的超参数,一般取值范围是k1∈[1.2,2.0],b=0.75。R(qi,d)关于的函数是一个“饱和”的递增函数,使得文档词频增长对相关性得分增长成为非线性的。超参数k1起着调节特征词文本频率尺度的作用,k1取0意味着算法退化为二元模型(不考虑词频),而取较大的值则近似于只用原始的特征词频。超参数b一般称作文本长度的规范化,作用是调整文档长度对相关性影响的大小。b越大,文档长度的对相关性得分的影响越大,而文档的相对长度越长,值将越大,则相关性得分会越小。这可以理解为,当文档相对较长时,包含qi的机会越大,因此,同等tf(qi,d)的情况下,长文档与qi的相关性应该比短文档与qi的相关性弱。
基于上述原理,BM25算法的一般形式可完整表示如下:
此外,若需要检索的信息query比较长,且某些术语(term)在query中出现频率较高,理应考虑这些term的重要性也该相应提高,但同样应该有类似term相对文档的饱和增长设置来约束query中的term频率增长。将类似的权重策略用于query中的特征项,得到:
其中,tf(qi,q)为特征项qi在查询q中的频率,超参数k3的作用依然是调节特征词在query文本频率尺度,此时对query进行长度规范化却是不必要的,因为对所有候选检索结果而言,query是先有的固定好的。
语义搜索具体是指利用机器人流程自动化模块根据目标业务在向量库中进行语义搜索,得到语义搜索结果。在本实施方式中,可以使用向量的KNN算法进行的语义搜索。该方法能基于query的语义含义进行多语言、多模态的检索,对拼写错误具有较好的容错性,但有部分场景可能忽视关键字的精确匹配,其效果依赖于向量嵌入的质量,对非专业领域的术语较为敏感。
在得到文本搜索结果和语义搜索结果之后,可以对文本搜索结果和语义搜索结果分别进行归一化处理,即将文本搜索结果和语义搜索结果分别映射到0-1的空间,从而便于下一步进行检索信息的融合,归一化的具体公式为:
Xnorm = (X-Xmin)/(Xmax-Xmin)
其中X是原始数据,Xmin和Xmax分别是数据集中的最小值和最大值,Xnorm是归一化后的数据。
接着进行检索信息的融合,即根据归一化后的文本搜索结果和归一化后的语义搜索结果计算熵值:
H(X)=-Σ(P(X)*log(P(X)))
P(X) = a*Xnorm1+(1-a)*Xnorm2
其中,H(X)表示事件X的熵值,P(X)表示事件X发生的概率,log表示以2为底的对数运算,a是权重系数,Xnorm1表示归一化后的文本搜索结果,Xnorm2表示归一化后的语义搜索结果。
最后,根据熵值的大小,确定最终的检索结果输出。熵值越高,表示结果越分散,不确定性越大;熵值越低,表示结果分布越集中,不确定性越小。基于此规律,如果检索信息的融合熵值低,比如计算出的熵值低于预设的阈值,则表示熵值结果集中,检索结果可信度较高,此时可以直接根据文本搜索结果和语义搜索结果确定召回信息。如果检索信息的融合熵值为高熵值,则表示结果分数,即检索结果可靠性较低,此时可以根据预设的经验值规则来输出结果,例如可以输出引导用户修正第一请求信息的提示信息等。
S106:利用召回信息对第一请求信息进行增强,得到第二请求信息。
在一些实施方式中,可以利用预设的提示模板,将召回信息和第一请求信息拼装到一起,以构成第二请求信息。
在一些实施方式中,还可以对召回信息进行进一步筛选,以构建更准确的第二请求信息。请参考图3,图3示意性地示出一种大语言模型生成回复信息的流程示意图,并在其中具体示出了一种第二请求信息的构建方法。如图3所示,第二请求信息的构建流程如下:
将召回信息拆分为多个数据段,记为date1,date2,……,daten,n表示数据段的总数。
针对每个数据段,利用大语言模型将该数据段映射为第一嵌入向量embedding。
利用大语言模型将第一请求信息映射为第二嵌入向量embedding1。
根据第一嵌入向量embedding与第二嵌入向量embedding1之间的相似度,这里的相似度可以用上述嵌入向量之间的距离来衡量,然后根据相似度来确定目标第一嵌入向量,例如,可选择相似度最高的K个第一嵌入向量作为目标第一嵌入向量。
将目标第一嵌入向量对应的数据段作为第一请求信息的上下文,以构建第二请求信息。
上述的第二请求信息的生成过程可以由一个预训练的RAG模型来实现,这个RAG模型被训练为执行智能搜索增强(Text2SQL)任务。具体来说,RAG模型执行Text2SQL任务的流程如图4所示,包括:输入召回信息和第一请求信息,RAG模型将第一请求信息转译成sql可执行查询语句,然后在由召回信息拆分并向量化构成的数据库中执行查询操作并返回查询结果,进而将查询结果和第一请求信息组装进预设的Prompt模板,以生成第二请求信息。
为训练上述RAG模型,可以预先构建样本数据库,获取目标业务领域知识相关的DDL语句、元数据(样本数据库内关于自身数据的描述信息)、相关文档说明、提示语样例SQL语句等。然后将上述数据进行向量化处理,将得到的嵌入向量embedding存入向量数据库。其中,向量化处理过程主要包括:DDL语句向量化、文档向量化以及Query与参考样例SQL语句向量化。
DDL语句向量化:对于每一个建表语句、相关sql查询、表或者字段的comment,进行embedding,存入向量数据库。
文档向量化:可以将数据库中的所有元数据,按一定的规则拼接成自然语言,然后向量化。还可以将一些大语言模型比较难理解的专有名词的解释向量化,在有相关的Query进来时,专有名词的解释也会被召回,一起放进Prompt中,帮助LLM理解Query。
Query与参考样例SQL语句向量化:将Query与参考样例SQL语句拼接成一个字符串,一起向量化。
利用上述的向量样本库中的嵌入向量来训练上述的RAG模型,在训练过程中,将作为训练样本的问题样本输入RAG模型,RAG模型将问题样本转换为sql可执行查询语句,然后在向量数据库中查询相关的嵌入向量,并将嵌入向量与问题样本组合成提示词。根据RAG模型输出的提示词和预先设置的提示词模板(作为训练标签)之间的差异构建损失函数,利用该损失函数优化RAG模型的参数,直至RAG模型满足预设要求,即能够生成符合提示词模板规定的提示词。
S108:将第二请求信息输入大语言模型,得到大语言模型的回复信息。
请继续参考图3,在构建第二请求信息后,将第二请求信息作为提示词输入大语言模型,即可得到大语言模型输出的回复信息。
在一些实施方式中,还可以采用提示词优化策略来对所述提示词进行进一步优化。
提示词优化策略主要可以包括以下几个方面:
关键词优化:从第二请求信息中提炼出关键的、具有代表性的词汇或短语。这些关键词能够直接反映相关文档的主题或内容,便于用户通过简单的词汇搜索就能找到相关信息。
上下文关联:除了关键词,提示词优化策略还可以考虑信息的上下文关系。例如,在搜索“4G网络优化”时,还可以根据上下文关联推荐“LTE信号覆盖”、“网络干扰排查”等相关提示词,帮助用户更全面地了解相关信息。
个性化推荐:基于用户的历史搜索记录和浏览习惯,提示词优化策略还可以为用户推荐更加个性化的搜索结果。这不仅提高了搜索效率,还能增加用户满意度。
以上为本实施例所述的客服智能体的实现方法,该方法以专业技术与业务知识构建大语言模型,大语言模型能够通过学习海量数据,理解复杂的专业技术术语和业务概念,进行精准的意图识别,结合RPA技术构建客服智能体,能够更好地为客户提供精准的技术支持和咨询服务,具备更高的语义理解和表达能力。
基于大语言模型的客服智能体具有一定的自主学习能力,可以通过在大规模数据上的训练来不断提升客服服务的表现,可在一定程度上适应新的问题和场景,实现24小时全天候的服务,能够快速准确地回答并解决客户的行业技术问题与业务需求,提高服务效率和客户满意度。
垂直行业中的客户往往具有不同的行业背景和需求,需要个性化的专业技术支持和服务。基于大语言模型的客服智能体利用深度学习可以实现更加智能化和灵活的对话交互,为客户提供个性化的技术/业务咨询和指导,增强用户体验和满意度。
垂直行业涉及众多技术数据和业务知识,基于大语言模型的客服智能体通过深度学习技术对大规模的专业技术数据进行处理和学习,能够处理更加复杂的用户问题,提供更高水平的智能化专业技术支持。
与上述客服智能体的实现方法对应的,本实施例还提供了一种客服智能体,用于实现所述的客服智能体的实现方法,该客服智能体如图5所示,包括:
数据获取模块501,配置为获取用户输入的第一请求信息。
响应模块502,配置为利用预先训练的大语言模型对第一请求信息进行意图识别,以确定用户的目标业务;以及,响应于第二请求信息,生成回复信息。
机器人流程自动化模块503,配置为响应于目标业务的输入,根据目标业务执行预设的自动化业务流程,并得到召回信息;利用召回信息对第一请求信息进行增强,得到第二请求信息,并将第二请求信息输入响应模块502。
可选的,上述的数据获取模块501获取的第一请求信息可以是文本形式也可以是语音形式,本实施方式中对第一请求信息的形式不做限制。
可选的,上述的响应模块502可以采用BERT模型作为上述的大语言模型,该大语言模型预先被训练为能够识别用户意图,具体来说,是能够基于用户输入的第一请求信息识别出用户需要办理的目标业务。
为了使大语言模型能够具备上述意图识别能力,响应模块502可以采用以下方式来对大语言模型进行预先训练:
首先获取训练样本,这里的训练样本具体可以是相关业务领域的领域知识,比如业务数据、客服对话数据等包括用户问题和对应的回答的数据样本。对这些数据进行清理并打上意图标签,这里的意图标签用户指向预设的目标业务,最后得到训练样本。
利用上述的训练样本来训练大语言模型,直至获得满足需求的大语言模型。
在一些实施方式中,为了促使大语言模型能够更好地理解用户提出的第一请求信息,响应模块502还可以对第一请求信息进行增强检索。具体来说,可以预先构建目标业务领域的知识库,该知识库中存储着目标业务领域的业务知识。然后响应模块502根据第一请求信息在知识库中检索相关信息,利用检索到的相关信息对第一请求信息进行增强,将增强后的第一请求信息输入大语言模型,最后得到目标业务。
在一些实施方式中,响应模块502还可以利用上述的知识库对大语言模型进行微调,例如,利用知识库中的业务知识数据来对大语言模型做文本预测任务,包括给出上文/下文,让大语言模型预测对应的下文/上文,或者掩盖掉文本数据的中间部分内容,让大语言模型预测上下文内容等。具体的微调任务可以根据需求进行设置,旨在让大语言模型充分理解目标业务领域的业务知识。
在一些实施方式中,响应模块502还可以根据需求设定一些评估指标,例如准确度、回答时间和用户满意度等。根据用户反馈和这些评估指标来评价大语言模型的表现,不断优化大语言模型,提高客服智能体的质量和性能。
可选的,上述的机器人流程自动化模块503中预先构建了针对不同业务类型的自动化业务流程,例如针对查流量、查话费、查套餐等查询类场景,形成标准化的查询业务流程,而针对复开机、挂失、补卡、密码重置等操作类场景,形成标准化的操作业务流程。
机器人流程自动化模块503被设置为能够基于输入的意图识别结果触发对应的自动化业务流程执行,例如进行知识库的自动查询信息搜索以及多数据源头信息查询等。
在一些实施方式中,机器人流程自动化模块503可以把需要查询的问题自动解析出来,然后在整个业务系统进行信息搜索,使得离散在各个业务系统的数据进行归类整合,对不同场景的业务进行集中展现,极大地缩短了查询时间,提升了客服智能体处理复杂问题的效率。
在一些实施方式中,机器人流程自动化模块503可以采用检索增强生成(Retrieval-Augmented Generation,RAG)技术来进行领域知识检索优化,具体包括:
机器人流程自动化模块503根据目标业务在知识库中进行文本搜索,得到文本搜索结果;
机器人流程自动化模块503根据目标业务在向量库中进行语义搜索,得到语义搜索结果;
机器人流程自动化模块503对文本搜索结果和语义搜索结果进行归一化处理;
根据归一化后的文本搜索结果和归一化后的语义搜索结果计算熵值:
H(X)=-Σ(P(X)*log(P(X)))
P(X) = a*Xnorm1+(1-a)*Xnorm2
其中,H(X)表示事件X的熵值,P(X)表示事件X发生的概率,log表示以2为底的对数运算,a是权重系数,Xnorm1表示归一化后的文本搜索结果,Xnorm2表示归一化后的语义搜索结果;
根据熵值确定召回信息,例如:若熵值低于预设的阈值,则直接根据文本搜索结果和语义搜索结果确定召回信息;若熵值高于预设的阈值,则根据预设的经验规则生成召回信息。
可选的,机器人流程自动化模块503可以利用预设的提示模板,将召回信息和第一请求信息拼装成第二请求信息。
可选的,机器人流程自动化模块503还可以采用以下方法得到第二请求信息,具体包括:
将召回信息拆分为多个数据段;
针对每个数据段,利用大语言模型将该数据段映射为第一嵌入向量;
利用大语言模型将第一请求信息映射为第二嵌入向量;
根据第一嵌入向量与第二嵌入向量之间的相似度,确定目标第一嵌入向量;
将目标第一嵌入向量对应的数据段作为第一请求信息的上下文,以构建第二请求信息。
对于上述的客服智能体,以模块作为软件功能单元的一种举例,数据获取模块501可以包括运行在计算实例上的代码。其中,计算实例可以包括物理主机(计算设备)、虚拟机、容器中的至少一种。进一步地,上述计算实例可以是一台或者多台。例如,数据获取模块501可以包括运行在多个主机/虚拟机/容器上的代码。用于运行该代码的多个主机/虚拟机/容器可以分布在相同的区域(region)中,也可以分布在不同的region中。进一步地,用于运行该代码的多个主机/虚拟机/容器可以分布在相同的可用区(availability zone,AZ)中,也可以分布在不同的AZ中,每个AZ包括一个数据中心或多个地理位置相近的数据中心。其中,通常一个region可以包括多个AZ。
同样,用于运行该代码的多个主机/虚拟机/容器可以分布在同一个虚拟私有云(virtual private cloud,VPC)中,也可以分布在多个VPC中。其中,通常一个VPC设置在一个region内,同一region内两个VPC之间,以及不同region的VPC之间跨区通信需在每个VPC内设置通信网关,经通信网关实现VPC之间的互连。
模块作为硬件功能单元的一种举例,数据获取模块501可以包括至少一个计算设备,如服务器等。或者,数据获取模块501也可以是利用专用集成电路(application-specific integrated circuit,ASIC)实现、或可编程逻辑器件(programmable logicdevice,PLD)实现的设备等。其中,上述PLD可以是复杂程序逻辑器件(complexprogrammable logical device,CPLD)、现场可编程门阵列(field-programmable gatearray,FPGA)、通用阵列逻辑(generic array logic,GAL)或其任意组合实现。
数据获取模块501包括的多个计算设备可以分布在相同的region中,也可以分布在不同的region中。数据获取模块501包括的多个计算设备可以分布在相同的AZ中,也可以分布在不同的AZ中。同样,数据获取模块501包括的多个计算设备可以分布在同一个VPC中,也可以分布在多个VPC中。其中,多个计算设备可以是服务器、ASIC、PLD、CPLD、FPGA和GAL等计算设备的任意组合。
在其他实施例中,数据获取模块501可以用于执行上述的客服智能体的实现方法中的任意步骤,响应模块502可以用于执行上述的客服智能体的实现方法中的任意步骤,机器人流程自动化模块503可以用于执行上述的客服智能体的实现方法中的任意步骤。数据获取模块501、响应模块502和机器人流程自动化模块503负责实现的步骤可根据需要指定,通过数据获取模块501、响应模块502和机器人流程自动化模块503分别实现上述的客服智能体的实现方法中不同的步骤来实现上述的客服智能体的全部功能。
本实现方式中,该客服智能体也可以应用于电脑、服务器等计算设备中,或者应用于包括至少一个计算设备的计算设备集群中,以实现客服智能体的功能。
与上述客服智能体的实现方法对应的,本实施例还提供了一种客服系统,该客服系统部署有客服智能体,该客服智能体是采用上述的客服智能体的实现方法实现的。
需要说明的是,该客服系统可以包括服务器和用户端,该客服智能体可以部署在服务器端,以在与用户端交互的过程中实现上述的客服智能体的实现方法。
与上述方法对应的,本实施例还提供了一种计算机可读存储介质,其上存储有计算机程序,所述计算机程序被处理器执行时实现上述的客服智能体的实现方法。
在一个典型的配置中,计算机包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。
内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(RAM)和/或非易失性内存等形式,如只读存储器(ROM)或闪存(flash RAM)。内存是计算机可读介质的示例。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体,可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带、磁盘存储、量子存储器、基于石墨烯的存储介质或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
与上述方法对应的,本实施例还提供了一种电子设备,包括:一个或多个处理器;以及与所述一个或多个处理器关联的存储器,所述存储器用于存储程序指令,所述程序指令在被所述一个或多个处理器读取执行时,执行上述的客服智能体的实现方法。
在硬件层面,该电子设备包括处理器、计算机可读存储介质、内存、数据接口、网络接口,当然还可能包括其他业务所需要的硬件。本说明书一个或多个实施例可以基于软件方式来实现,比如由处理器从计算机可读存储介质中读取对应的计算机程序到内存中然后运行。当然,除了软件实现方式之外,本说明书一个或多个实施例并不排除其他实现方式,比如逻辑器件或者软硬件结合的方式等等,也就是说以上处理流程的执行主体并不限定于各个逻辑单元,也可以是硬件或逻辑器件。
以上所述实施例的各技术特征可以进行任意的组合,为使描述简洁,未对上述实施例中的各个技术特征所有可能的组合都进行描述,然而,只要这些技术特征的组合不存在矛盾,都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本发明的几种实施方式,其描述较为具体和详细,但并不能因此而理解为对发明专利范围的限制。应当指出的是,对于本领域的普通技术人员来说,在不脱离本发明构思的前提下,还可以做出若干变形和改进,这些都属于本发明的保护范围。因此,本发明专利的保护范围应以所附权利要求为准。

Claims (10)

1.一种客服智能体的实现方法,其特征在于,包括:
获取用户输入的第一请求信息;
利用预先训练的大语言模型对所述第一请求信息进行意图识别,以确定所述用户的目标业务;
将所述目标业务输入机器人流程自动化模块,利用所述机器人流程自动化模块根据所述目标业务执行预设的自动化业务流程,并得到召回信息;
利用所述召回信息对所述第一请求信息进行增强,得到第二请求信息;
将所述第二请求信息输入所述大语言模型,得到所述大语言模型的回复信息。
2.根据权利要求1所述的方法,其特征在于,所述方法还包括:构建目标业务领域的知识库;
利用预先训练的大语言模型对所述第一请求信息进行意图识别,以确定所述用户的目标业务,具体包括:
根据所述第一请求信息在所述知识库中检索相关信息;
利用所述相关信息对所述第一请求信息进行增强;
将增强后的第一请求信息输入所述大语言模型,得到所述目标业务。
3.根据权利要求1所述的方法,其特征在于,所述方法还包括:构建目标业务领域的知识库,并将所述知识库中的文本数据转换为向量后存储进向量库;
将所述目标业务输入机器人流程自动化模块,利用所述机器人流程自动化模块根据所述目标业务执行预设的自动化业务流程,并得到召回信息,具体包括:
利用所述机器人流程自动化模块根据所述目标业务在所述知识库中进行文本搜索,得到文本搜索结果;
利用所述机器人流程自动化模块根据所述目标业务在所述向量库中进行语义搜索,得到语义搜索结果;
对所述文本搜索结果和所述语义搜索结果进行归一化处理;
根据归一化后的文本搜索结果和归一化后的语义搜索结果计算熵值:
H(X)=-Σ(P(X)*log(P(X)))
P(X) = a*Xnorm1+(1-a)*Xnorm2
其中,H(X)表示事件X的熵值,P(X)表示事件X发生的概率,log表示以2为底的对数运算,a是权重系数,Xnorm1表示归一化后的文本搜索结果,Xnorm2表示归一化后的语义搜索结果;
根据所述熵值确定所述召回信息。
4.根据权利要求3所述的方法,其特征在于,根据所述熵值确定所述召回信息,具体包括:
若所述熵值低于预设的阈值,则直接根据所述文本搜索结果和所述语义搜索结果确定所述召回信息;
若所述熵值高于所述阈值,则根据预设的经验规则生成所述召回信息。
5.根据权利要求1所述的方法,其特征在于,利用所述召回信息对所述第一请求信息进行增强,得到第二请求信息,具体包括:
利用预设的提示模板,将所述召回信息和所述第一请求信息拼装成所述第二请求信息。
6.根据权利要求1所述的方法,其特征在于,利用所述召回信息对所述第一请求信息进行增强,得到第二请求信息,具体包括:
将所述召回信息拆分为多个数据段;
针对每个数据段,利用所述大语言模型将所述数据段映射为第一嵌入向量;
利用所述大语言模型将所述第一请求信息映射为第二嵌入向量;
根据所述第一嵌入向量与所述第二嵌入向量之间的相似度,确定目标第一嵌入向量;
将所述目标第一嵌入向量对应的数据段作为所述第一请求信息的上下文,以构建所述第二请求信息。
7.一种客服智能体,其特征在于,包括:
数据获取模块,配置为获取用户输入的第一请求信息;
响应模块,配置为利用预先训练的大语言模型对所述第一请求信息进行意图识别,以确定所述用户的目标业务;以及,响应于第二请求信息,生成回复信息;
机器人流程自动化模块,配置为响应于所述目标业务的输入,根据所述目标业务执行预设的自动化业务流程,并得到召回信息;利用所述召回信息对所述第一请求信息进行增强,得到所述第二请求信息,并将所述第二请求信息输入所述响应模块。
8.一种客服系统,其特征在于,所述客服系统部署有客服智能体,所述客服智能体是采用权利要求1至6任一项所述的方法实现的。
9.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质存储有计算机程序,当所述计算机程序在电子设备上运行时,使得所述电子设备执行如权利要求1至6任一所述的方法。
10.一种电子设备,包括:
至少一个存储器,用于存储程序;
至少一个处理器,用于执行所述存储器存储的程序,当所述存储器存储的程序被执行时,所述处理器用于执行如权利要求1至6任一项所述的方法。
CN202411815184.7A 2024-12-11 2024-12-11 一种客服智能体及其实现方法 Pending CN119311857A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202411815184.7A CN119311857A (zh) 2024-12-11 2024-12-11 一种客服智能体及其实现方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202411815184.7A CN119311857A (zh) 2024-12-11 2024-12-11 一种客服智能体及其实现方法

Publications (1)

Publication Number Publication Date
CN119311857A true CN119311857A (zh) 2025-01-14

Family

ID=94182640

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202411815184.7A Pending CN119311857A (zh) 2024-12-11 2024-12-11 一种客服智能体及其实现方法

Country Status (1)

Country Link
CN (1) CN119311857A (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120670562A (zh) * 2025-08-22 2025-09-19 国网上海市电力公司 基于生成式大模型的电力营销工单回复生成方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117421404A (zh) * 2023-10-12 2024-01-19 广州赛灵力科技有限公司 多路文本召回方法、系统、电子设备和存储介质
CN117592489A (zh) * 2023-11-30 2024-02-23 北京快牛智营科技有限公司 一种利用大语言模型实现电商商品信息交互的方法及系统
CN118069811A (zh) * 2024-03-11 2024-05-24 北京三维天地科技股份有限公司 一种基于llm的文档知识问答方法及系统
CN118332086A (zh) * 2024-04-17 2024-07-12 北京邮电大学 一种基于大语言模型的问答对生成方法和系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117421404A (zh) * 2023-10-12 2024-01-19 广州赛灵力科技有限公司 多路文本召回方法、系统、电子设备和存储介质
CN117592489A (zh) * 2023-11-30 2024-02-23 北京快牛智营科技有限公司 一种利用大语言模型实现电商商品信息交互的方法及系统
CN118069811A (zh) * 2024-03-11 2024-05-24 北京三维天地科技股份有限公司 一种基于llm的文档知识问答方法及系统
CN118332086A (zh) * 2024-04-17 2024-07-12 北京邮电大学 一种基于大语言模型的问答对生成方法和系统

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
喔家ARCHISELF: "大模型系列——解读RAG", pages 1 - 7, Retrieved from the Internet <URL:https://cloud.tencent.com/developer/article/2387798> *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN120670562A (zh) * 2025-08-22 2025-09-19 国网上海市电力公司 基于生成式大模型的电力营销工单回复生成方法及系统

Similar Documents

Publication Publication Date Title
US12353409B2 (en) Methods and systems for improved document processing and information retrieval
CN117688163B (zh) 基于指令微调和检索增强生成的在线智能问答方法及装置
CA3081609C (en) System and methods for concept aware searching
US10642938B2 (en) Artificial intelligence based method and apparatus for constructing comment graph
US11468342B2 (en) Systems and methods for generating and using knowledge graphs
US9201931B2 (en) Method for obtaining search suggestions from fuzzy score matching and population frequencies
JP2025526284A (ja) 未構造化文書の管理された要約化および構造化
CN114637760A (zh) 一种智能问答方法及系统
CN109241243B (zh) 候选文档排序方法及装置
US20250094460A1 (en) Query answering method based on large model, electronic device, storage medium, and intelligent agent
US11244015B1 (en) Projecting queries into a content item embedding space
US11379527B2 (en) Sibling search queries
WO2021007159A1 (en) Identifying entity attribute relations
RU2733481C2 (ru) Способ и система генерирования признака для ранжирования документа
EP4466630A1 (en) Generating output sequences with inline evidence using language model neural networks
CN120045750A (zh) 一种基于大语言模型的检索增强生成方法和系统
CN119311857A (zh) 一种客服智能体及其实现方法
CN118277401A (zh) 一种自然语言查询方法和装置
US20090234836A1 (en) Multi-term search result with unsupervised query segmentation method and apparatus
CN119938824A (zh) 交互方法及相关设备
CN120470090A (zh) 一种文本块检索方法、计算机程序产品及设备
US20250298821A1 (en) Reducing hallucinations for generative text responses using a machine learning prompt ensemble
CN118503381A (zh) 一种检索与生成相结合的壮语对话方法及系统
Kamath et al. Semantic similarity based context-aware web service discovery using nlp techniques
US20260037523A1 (en) Adaptive information retrieval utilizing semantic and lexical scoring

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination