[go: up one dir, main page]

CN107038157B - 基于人工智能的识别错误发现方法、装置及存储介质 - Google Patents

基于人工智能的识别错误发现方法、装置及存储介质 Download PDF

Info

Publication number
CN107038157B
CN107038157B CN201710311895.4A CN201710311895A CN107038157B CN 107038157 B CN107038157 B CN 107038157B CN 201710311895 A CN201710311895 A CN 201710311895A CN 107038157 B CN107038157 B CN 107038157B
Authority
CN
China
Prior art keywords
word
parameter
value
query
difference
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201710311895.4A
Other languages
English (en)
Other versions
CN107038157A (zh
Inventor
孙孝雄
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN201710311895.4A priority Critical patent/CN107038157B/zh
Publication of CN107038157A publication Critical patent/CN107038157A/zh
Priority to US15/961,721 priority patent/US10599954B2/en
Application granted granted Critical
Publication of CN107038157B publication Critical patent/CN107038157B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/76—Architectures of general purpose stored program computers
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/332—Query formulation
    • G06F16/3322—Query formulation using system suggestions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/33—Querying
    • G06F16/3331—Query processing
    • G06F16/334—Query execution
    • G06F16/3346—Query execution using probabilistic model
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30—Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/36—Creation of semantic tools, e.g. ontology or thesauri
    • G06F16/367—Ontology
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2178—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor
    • G06F18/2185—Validation; Performance evaluation; Active pattern learning techniques based on feedback of a supervisor the supervisor being an automated module, e.g. intelligent oracle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/217—Validation; Performance evaluation; Active pattern learning techniques
    • G06F18/2193—Validation; Performance evaluation; Active pattern learning techniques based on specific statistical tests
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/284—Lexical analysis, e.g. tokenisation or collocates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/279—Recognition of textual entities
    • G06F40/289—Phrasal analysis, e.g. finite state techniques or chunking
    • G06F40/295—Named entity recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1985—Syntactic analysis, e.g. using a grammatical approach
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/205—Parsing

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Artificial Intelligence (AREA)
  • Computational Linguistics (AREA)
  • Software Systems (AREA)
  • Evolutionary Computation (AREA)
  • Computer Hardware Design (AREA)
  • Mathematical Physics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Medical Informatics (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Probability & Statistics with Applications (AREA)
  • Evolutionary Biology (AREA)
  • Multimedia (AREA)
  • Animal Behavior & Ethology (AREA)
  • Character Discrimination (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了基于人工智能的识别错误发现方法、装置及存储介质，其中方法包括：对待识别的query进行命名实体识别，分别获取query中的每个字的置信度；分别获取query中的每个字能够与邻近字组成词语的概率值；根据获取到的置信度以及概率值确定出是否识别错误。应用本发明所述方案，能够节省人力成本，并提高处理效率，以及提高识别错误的发现率等。

Description

基于人工智能的识别错误发现方法、装置及存储介质
【技术领域】
本发明涉及人工智能技术，特别涉及基于人工智能的识别错误发现方法、装置及存储介质。
【背景技术】
人工智能(Artificial Intelligence)，英文缩写为AI。它是研究、开发用于模拟、延伸和扩展人的智能的理论、方法、技术及应用系统的一门新的技术科学。人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式做出反应的智能机器，该领域的研究包括机器人、语言识别、图像识别、自然语言处理和专家系统等。
命名实体识别(NER，Named Entity Recognition)是自然语言处理(NLP，NaturalLanguage Processing)中的一项序列标注任务，序列标注，即指对序列中的每个符号赋予一定的标签，主要采用统计加规则的实现方式，命名实体识别可将query等中的实体按类等标记出来，如人名、地名、时间等。
在实际应用中，需要查找出识别错误(bad case)的情况，以便对命名实体识别系统进行优化更新等。
现有技术中，主要采用人工操作的方式来查找出识别错误的情况，即对命名实体识别系统的识别结果进行随机抽样，并人工对抽取出的识别结果进行查看分析，以确定是否识别错误等。
上述方式至少会存在以下问题：由于需要人工进行操作，因此需要很大的人工成本，且处理效率低下，另外，由于采用随机抽样的方式，因此不可能将所有的识别错误均查找出来，即识别错误的发现率很低，从而影响了后续对命名实体识别系统的优化更新。
【发明内容】
有鉴于此，本发明提供了基于人工智能的识别错误发现方法、装置及存储介质，能够节省人力成本，并提高处理效率，以及提高识别错误的发现率。
具体技术方案如下：
一种基于人工智能的识别错误发现方法，包括：
对待识别的query进行命名实体识别，分别获取所述query中的每个字的置信度；
分别获取所述query中的每个字能够与邻近字组成词语的概率值；
根据所述置信度以及所述概率值确定出是否识别错误。
根据本发明一优选实施例，
所述对待识别的query进行命名实体识别之前，进一步包括：
训练得到概率值评估模型；
所述分别获取所述query中的每个字能够与邻近字组成词语的概率值包括：
根据所述概率值评估模型，分别确定出所述query中的每个字能够与邻近字组成词语的概率值。
根据本发明一优选实施例，
所述概率值评估模型包括：word embedding模型。
根据本发明一优选实施例，
所述根据所述概率值评估模型，分别确定出所述query中的每个字能够与邻近字组成词语的概率值包括：
将所述query中的每个字分别作为候选字，针对每个候选字，分别进行以下处理：
将在所述query中与所述候选字之间间隔的字数小于或等于M的字确定为所述候选字的邻近字，M为自然数；
对所述query进行片段截取，所述片段由所述候选字以及至少一个所述邻近字组成；
针对每个片段，分别根据所述概率值评估模型，确定出与所述片段相似的相似词语及每个相似词语的相似概率值；
选出取值最大的相似概率值，作为所述候选字能够与邻近字组成词语的概率值。
根据本发明一优选实施例，
所述对所述query进行仅由所述候选字和所述邻近字组成的片段截取包括：
针对每个邻近字，确定其所处位置；
若所述邻近字位于所述候选字之前，则从所述query中截取出从所述邻近字开始到所述候选字结束的片段；
若所述邻近字位于所述候选字之后，则从所述query中截取出从所述候选字开始到所述邻近字结束的片段。
根据本发明一优选实施例，
所述根据所述置信度以及所述概率值确定出是否识别错误包括：
将所述query中的每个字分别作为候选字，针对每个候选字，分别进行以下处理：
计算所述候选字的置信度与预先设定的第一阈值之差，得到第一差值，并根据所述第一差值确定出第一参数；
计算预先设定的第二阈值与所述候选字对应的概率值之差，得到第二差值，并根据所述第二差值确定出第二参数；
根据所述第一参数和所述第二参数确定出第三参数；
将所述query中的每个候选字对应的第三参数相加，将相加之和与预先设定的第三阈值进行比较，若相加之和大于所述第三阈值，则确定识别错误。
根据本发明一优选实施例，
所述根据所述第一差值确定出第一参数包括：
若所述第一差值大于0，则将所述第一参数的取值设置为1；
若所述第一差值等于0，则将所述第一参数的取值设置为0；
若所述第一差值小于0，则将所述第一参数的取值设置为-1；
所述根据所述第二差值确定出第二参数包括：
若所述第二差值大于0，则将所述第二参数的取值设置为1；
若所述第二差值等于0，则将所述第二参数的取值设置为0；
若所述第二差值小于0，则将所述第二参数的取值设置为-1。
根据本发明一优选实施例，
所述根据所述第一参数和所述第二参数确定出第三参数包括：
若所述第一参数和所述第二参数均小于0，则将所述第三参数的取值设置为1，否则，设置为0；
所述第三阈值的取值为：1。
一种基于人工智能的识别错误发现装置，包括：第一获取单元、第二获取单元以及发现单元；
所述第一获取单元，用于对待识别的query进行命名实体识别，分别获取所述query中的每个字的置信度，并发送给所述发现单元；
所述第二获取单元，用于分别获取所述query中的每个字能够与邻近字组成词语的概率值，并发送给所述发现单元；
所述发现单元，用于根据所述置信度以及所述概率值确定出是否识别错误。
根据本发明一优选实施例，
所述装置中进一步包括：模型训练单元；
所述模型训练单元，用于训练得到概率值评估模型，并发送给所述第二获取单元；
所述第二获取单元根据所述概率值评估模型，分别确定出所述query中的每个字能够与邻近字组成词语的概率值。
根据本发明一优选实施例，
所述概率值评估模型包括：word embedding模型。
根据本发明一优选实施例，
所述第二获取单元将所述query中的每个字分别作为候选字，针对每个候选字，分别进行以下处理：
将在所述query中与所述候选字之间间隔的字数小于或等于M的字确定为所述候选字的邻近字，M为自然数；
对所述query进行片段截取，所述片段由所述候选字以及至少一个所述邻近字组成；
针对每个片段，分别根据所述概率值评估模型，确定出与所述片段相似的相似词语及每个相似词语的相似概率值；
选出取值最大的相似概率值，作为所述候选字能够与邻近字组成词语的概率值。
根据本发明一优选实施例，
针对每个邻近字，所述第二获取单元确定其所处位置，若所述邻近字位于所述候选字之前，则从所述query中截取出从所述邻近字开始到所述候选字结束的片段，若所述邻近字位于所述候选字之后，则从所述query中截取出从所述候选字开始到所述邻近字结束的片段。
根据本发明一优选实施例，
所述发现单元将所述query中的每个字分别作为候选字，针对每个候选字，分别进行以下处理：
计算所述候选字的置信度与预先设定的第一阈值之差，得到第一差值，并根据所述第一差值确定出第一参数；
计算预先设定的第二阈值与所述候选字对应的概率值之差，得到第二差值，并根据所述第二差值确定出第二参数；
根据所述第一参数和所述第二参数确定出第三参数；
将所述query中的每个候选字对应的第三参数相加，将相加之和与预先设定的第三阈值进行比较，若相加之和大于所述第三阈值，则确定识别错误。
根据本发明一优选实施例，
若所述第一差值大于0，则所述第一参数取值为1；
若所述第一差值等于0，则所述第一参数取值为0；
若所述第一差值小于0，则所述第一参数取值为-1；
若所述第二差值大于0，则所述第二参数取值为1；
若所述第二差值等于0，则所述第二参数取值为0；
若所述第二差值小于0，则所述第二参数取值为-1。
根据本发明一优选实施例，
若所述第一参数和所述第二参数均小于0，则所述第三参数取值为1，否则，取值为0；
所述第三阈值的取值为：1。
一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，所述处理器执行所述程序时实现如以上所述的方法。
一种计算机可读存储介质，其上存储有计算机程序，所述程序被处理器执行时实现如以上所述的方法。
基于上述介绍可以看出，采用本发明所述方案，可首先对待识别的query进行命名实体识别，分别获取query中的每个字的置信度，之后，可分别获取query中的每个字能够与邻近字组成词语的概率值，进而根据获取到的置信度以及概率值确定出是否识别错误，相比于现有技术，本发明所述方案中无需采用人工操作，从而节省了人力成本，并提高了处理效率，而且，针对每个待识别的query，均按照上述方式进行处理，从而尽可能地避免了识别错误未被查找出的情况的发生，进而提高了识别错误的发现率。
【附图说明】
图1为本发明所述基于人工智能的识别错误发现方法实施例的流程图。
图2为本发明所述确定出query中的每个字能够与邻近字组成词语的概率值的方法实施例的流程图。
图3为本发明所述基于人工智能的识别错误发现装置实施例的组成结构示意图。
图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。
【具体实施方式】
针对现有技术中存在的问题，本发明中提出一种基于主动学习(ActiveLearning)的命名实体识别错误发现方案，即结合现有的命名实体识别系统，通过ActiveLearning的方法，发现(查找出)识别错误。
为了使本发明的技术方案更加清楚、明白，以下参照附图并举实施例，对本发明所述方案进行进一步说明。
显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
图1为本发明所述基于人工智能的识别错误发现方法实施例的流程图，如图1所示，包括以下具体实现方式。
在101中，对待识别的query进行命名实体识别，分别获取query中的每个字的置信度。
待识别的query为未标注的query。
针对待识别的query，可利用现有的命名实体识别系统对其进行识别，得到识别结果。
按照现有技术，可分别获取到query中的每个字的置信度，所述置信度是指标签置信度，标签是指命名实体识别系统需要识别的NE标签。
比如，对于“明天去北京”这一query，可分别按照现有技术获取其中的每个字的置信度。
在102中，分别获取query中的每个字能够与邻近字组成词语的概率值。
可预先训练得到一个概率值评估模型，比如，词向量(word embedding)模型。
这样，针对query中的每个字，可分别根据训练得到的word embedding模型，确定出该字能够与邻近字组成词语的概率值。
可选取大量符合要求的query作为训练样本，训练得到word embedding模型。
符合要求的query可以是指置信度高、语义、语序等正常的query。
比如，“明天去北京”为符合要求的query，“我车去开”则不是符合要求的query。
训练样本的数量越多，训练出的word embedding模型的性能越好。
如何训练得到word embedding模型为现有技术，比如，可通过word2vec工具训练得到word embedding模型。
在得到word embedding模型之后，即可根据该模型，分别确定出query中的每个字能够与邻近字组成词语的概率值。
图2为本发明所述确定出query中的每个字能够与邻近字组成词语的概率值的方法实施例的流程图，如图2所示，包括以下具体实现方式。
在201中，将query中的每个字分别作为候选字，针对每个候选字，分别按照202～205所述方式进行处理。
比如，query为“明天去北京”，那么可将其中的每个字“明”、“天”、“去”、“北”和“京”均作为候选字，针对每个候选字，分别按照202～205所示方式进行处理。
在202中，将在query中与候选字之间间隔的字数小于或等于M的字确定为候选字的邻近字，M为自然数。
M的具体取值可根据实际需要而定，可以为0，也可以为正整数。
比如，query为“明天去北京”，并假设M的取值为0，那么对于候选字“天”，其邻近字则包括“明”和“去”，假设M的取值为1，那么对于候选字“天”，其邻近字则包括“明”、“去”和“北”。
在203中，对query进行片段截取，所述片段由候选字以及至少一个邻近字组成。
比如，针对每个邻近字，可分别进行以下处理：
确定邻近字所处位置；
若邻近字位于候选字之前，则从query中截取出从邻近字开始到候选字结束的片段；
若邻近字位于候选字之后，则从query中截取出从候选字开始到邻近字结束的片段。
假设query为“明天去北京”，并假设M的取值为0，那么对于其中的候选字“天”，其邻近字包括“明”和“去”，相应地，截取出的片段可包括：“明天”、“天去”。
假设query为“我要去餐厅吃饭”，并假设M的取值为1，那么对于其中的候选字“餐”，其邻近字包括“厅”、“吃”、“要”和“去”，相应地，截取出的片段可包括：“餐厅”、“餐厅吃”、“去餐”、“要去餐”。
需要说明的是，上述截取方式仅为举例说明，并不用于限制本发明的技术方案，除上述方式外，也可以采用其它的截取方式，只要使得截取出的片段仅由候选字和邻近字组成即可，比如，截取出的片段除了可包括“餐厅”、“餐厅吃”、“去餐”、“要去餐”之外，还可包括“去餐厅吃”、“要去餐厅”、“要去餐厅吃”等，具体截取方式可根据实际需要灵活设置。
在204中，针对每个片段，分别根据概率值评估模型，确定出与该片段相似的相似词语及每个相似词语的相似概率值。
比如，对于任一片段a，通过word embedding模型，可分别给出与片段a相似的相似词语，假设包括词语b、词语c和词语d，并且，可分别给出词语b、词语c和词语d与片段a的相似概率值，给出的相似词语的个数可根据实际需要而定，比如，给出固定个数的相似词语，或者，给出相似概率值大于预定阈值的相似词语，具体实现方式不限。
在205中，选出取值最大的相似概率值，作为候选字能够与邻近字组成词语的概率值。
比如，候选字为“天”，对应的片段为“明天”和“天去”，假设针对每个片段，分别获取到了3个相似概率值，那么可从“明天”对应的3个相似概率值中选出取值最大的相似概率值，并从“天去”对应的3个相似概率值中选出取值最大的相似概率值，进而从选出的2个相似概率值中选出取值较大的相似概率值，将这个相似概率值作为候选字“天”能够与邻近字组成词语的概率值，即作为候选字“天”对应的概率值。
在103中，根据获取到的置信度以及概率值确定出是否识别错误。
可将query中的每个字分别作为候选字，并针对每个候选字，分别进行以下处理：
计算候选字的置信度与预先设定的第一阈值之差，得到第一差值，并根据第一差值确定出第一参数；
计算预先设定的第二阈值与候选字对应的概率值之差，得到第二差值，并根据第二差值确定出第二参数；
根据第一参数和第二参数确定出第三参数；
将query中的每个候选字对应的第三参数相加，将相加之和与预先设定的第三阈值进行比较，若相加之和大于第三阈值，则确定识别错误。
上述第一阈值、第二阈值和第三阈值的具体取值均可根据实际需要而定。
其中，根据第一差值确定出第一参数的方式可为：
若第一差值大于0，则将第一参数的取值设置为1；
若第一差值等于0，则将第一参数的取值设置为0；
若第一差值小于0，则将第一参数的取值设置为-1。
同样地，根据第二差值确定出第二参数的方式可为：
若第二差值大于0，则将第二参数的取值设置为1；
若第二差值等于0，则将第二参数的取值设置为0；
若第二差值小于0，则将第二参数的取值设置为-1。
在分别得到第一参数和第二参数之后，可进一步确定出第三参数，比如，若第一参数和第二参数均小于0，则将第三参数的取值设置为1，否则，设置为0。
之后，可将query中的各候选字对应的第三参数相加，若相加之和大于1，则可认为识别错误。
综合上述介绍，可得到公式如下：
Figure BDA0001287368480000111
其中，wi表示query中的一个候选字；
conf(wi)表示候选字wi的置信度，ε表示第一阈值；
distance(βi)表示候选字wi对应的概率值，δ表示第二阈值；
Figure BDA0001287368480000112
Figure BDA0001287368480000113
如果f(query)>1，则可认为命名实体识别系统对query的识别结果错误。
公式(1)中的前半部分主要体现的是query的置信度高低，后半部分主要体现的是query中的语义、语序等是否正常。
对于识别错误的query，可对其识别结果进行人工修正，修正为正确的识别结果，并将修正结果作为训练样本进行保存，后续可根据累积的训练样本重新训练命名实体识别系统的统计模型，即对统计模型进行优化更新，以便命名实体识别系统根据新的统计模型等进行命名实体识别，从而提升了识别效果。
需要说明的是，对于前述的各方法实施例，为了简单描述，将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本发明并不受所描述的动作顺序的限制，因为依据本发明，某些步骤可以采用其它顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作等并不一定是本发明所必须的。
采用上述各方法实施例，可首先对待识别的query进行命名实体识别，分别获取到query中的每个字的置信度，之后，可分别获取query中的每个字能够与邻近字组成词语的概率值，进而根据获取到的置信度以及概率值确定出是否识别错误，相比于现有技术，上述各方法实施例中无需采用人工操作，从而节省了人力成本，并提高了处理效率，而且，针对每个待识别的query，均按照上述方式进行处理，从而尽可能地避免了识别错误未被查找出的情况的发生，进而提高了识别错误的发现率，另外，上述各方法实施例可应用于NLP的多项任务中，如分类错误发现，分词错误发现等，具有广泛适用性。
以上是关于方法实施例的介绍，以下通过装置实施例，对本发明所述方案进行进一步说明。
图3为本发明所述基于人工智能的识别错误发现装置实施例的组成结构示意图，如图3所示，包括：第一获取单元301、第二获取单元302以及发现单元303。
第一获取单元301，用于对待识别的query进行命名实体识别，分别获取query中的每个字的置信度，并发送给发现单元303。
第二获取单元302，用于分别获取query中的每个字能够与邻近字组成词语的概率值，并发送给发现单元303。
发现单元303，用于根据置信度以及概率值确定出是否识别错误。
针对待识别的query，第一获取单元301可按照现有技术对其进行命名实体识别，得到识别结果。
按照现有技术，可分别获取到query中的每个字的置信度，所述置信度是指标签置信度。
另外，图3所示装置中还可进一步包括：模型训练单元300。
模型训练单元300，用于训练得到概率值评估模型，并发送给第二获取单元302。
相应地，第二获取单元302可根据概率值评估模型，分别确定出query中的每个字能够与邻近字组成词语的概率值。
比如，概率值评估模型可为word embedding模型。
具体地，第二获取单元302可将query中的每个字分别作为候选字，针对每个候选字，分别进行以下处理：
将在query中与候选字之间间隔的字数小于或等于M的字确定为候选字的邻近字，M为自然数；
对query进行片段截取，所述片段由候选字以及至少一个邻近字组成；
针对每个片段，分别根据概率值评估模型，确定出与该片段相似的相似词语及每个相似词语的相似概率值；
选出取值最大的相似概率值，作为候选字能够与邻近字组成词语的概率值。
其中，针对每个邻近字，第二获取单元302可分别采用以下截取方式：
确定邻近字所处位置；
若邻近字位于候选字之前，则从query中截取出从邻近字开始到候选字结束的片段；
若邻近字位于候选字之后，则从query中截取出从候选字开始到邻近字结束的片段。
经过上述处理之后，分别获取到了query中的每个字的置信度以及对应的概率值，进而可由发现单元303根据获取到的置信度以及概率值确定出是否识别错误。
具体地，发现单元303可将query中的每个字分别作为候选字，针对每个候选字，分别进行以下处理：
计算候选字的置信度与预先设定的第一阈值之差，得到第一差值，并根据第一差值确定出第一参数；
计算预先设定的第二阈值与候选字对应的概率值之差，得到第二差值，并根据第二差值确定出第二参数；
根据第一参数和第二参数确定出第三参数；
将query中的每个候选字对应的第三参数相加，将相加之和与预先设定的第三阈值进行比较，若相加之和大于第三阈值，则确定识别错误。
其中，若第一差值大于0，则第一参数可取值为1；
若第一差值等于0，则第一参数可取值为0；
若第一差值小于0，则第一参数可取值为-1；
同样地，若第二差值大于0，则第二参数可取值为1；
若第二差值等于0，则第二参数可取值为0；
若第二差值小于0，则第二参数可取值为-1。
在分别得到第一参数和第二参数之后，发现单元303可进一步确定出第三参数，比如，若第一参数和第二参数均小于0，则将第三参数的取值设置为1，否则，设置为0。
之后，发现单元303可将query中的各候选字对应的第三参数相加，若相加之和大于1，则可认为识别错误。
综合上述介绍，可得到公式如下：
Figure BDA0001287368480000141
其中，wi表示query中的一个候选字；
conf(wi)表示候选字wi的置信度，ε表示第一阈值；
distance(βi)表示候选字wi对应的概率值，δ表示第二阈值；
Figure BDA0001287368480000142
Figure BDA0001287368480000143
如果f(query)>1，则可认为命名实体识别系统对query的识别结果错误。
图3所示装置实施例的具体工作流程请参照前述方法实施例中的相应说明，不再赘述。
采用上述装置实施例，可首先对待识别的query进行命名实体识别，分别获取到query中的每个字的置信度，之后，可分别获取query中的每个字能够与邻近字组成词语的概率值，进而根据获取到的置信度以及概率值确定出是否识别错误，相比于现有技术，上述装置实施例中无需采用人工操作，从而节省了人力成本，并提高了处理效率，而且，针对每个待识别的query，均按照上述方式进行处理，从而尽可能地避免了识别错误未被查找出的情况的发生，进而提高了识别错误的发现率，另外，上述各实施例可应用于NLP的多项任务中，如分类错误发现，分词错误发现等，具有广泛适用性。
图4示出了适于用来实现本发明实施方式的示例性计算机系统/服务器12的框图。图4显示的计算机系统/服务器12仅仅是一个示例，不应对本发明实施例的功能和使用范围带来任何限制。
如图4所示，计算机系统/服务器12以通用计算设备的形式表现。计算机系统/服务器12的组件可以包括但不限于：一个或者多个处理器(处理单元)16，存储器28，连接不同系统组件(包括存储器28和处理器16)的总线18。
总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(ISA)总线，微通道体系结构(MAC)总线，增强型ISA总线、视频电子标准协会(VESA)局域总线以及外围组件互连(PCI)总线。
计算机系统/服务器12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机系统/服务器12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(RAM)30和/或高速缓存存储器32。计算机系统/服务器12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图4未显示，通常称为“硬盘驱动器”)。尽管图4中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如CD-ROM,DVD-ROM或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本发明各实施例的功能。
具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括——但不限于——操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本发明所描述的实施例中的功能和/或方法。
计算机系统/服务器12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机系统/服务器12交互的设备通信，和/或与使得该计算机系统/服务器12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(I/O)接口22进行。并且，计算机系统/服务器12还可以通过网络适配器20与一个或者多个网络(例如局域网(LAN)，广域网(WAN)和/或公共网络，例如因特网)通信。如图4所示，网络适配器20通过总线18与计算机系统/服务器12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机系统/服务器12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、RAID系统、磁带驱动器以及数据备份存储系统等。
处理器16通过运行存储在存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现图1和图2所示实施例中的方法，即对待识别的query进行命名实体识别，分别获取query中的每个字的置信度，分别获取query中的每个字能够与邻近字组成词语的概率值，根据获取到的置信度以及概率值确定出是否识别错误等。
具体实现请参照前述各实施例中的相关说明，不再赘述。
本发明同时公开了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时将实现如图1和图2所示实施例中的方法。
可以采用一个或多个计算机可读的介质的任意组合。计算机可读介质可以是计算机可读信号介质或者计算机可读存储介质。计算机可读存储介质例如可以是——但不限于——电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、光纤、便携式紧凑磁盘只读存储器(CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本文件中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括——但不限于——电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于——无线、电线、光缆、RF等等，或者上述的任意合适的组合。
可以以一种或多种程序设计语言或其组合来编写用于执行本发明操作的计算机程序代码，所述程序设计语言包括面向对象的程序设计语言—诸如Java、Smalltalk、C++，还包括常规的过程式程序设计语言—诸如”C”语言或类似的程序设计语言。程序代码可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络——包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。
在本发明所提供的几个实施例中，应该理解到，所揭露的装置和方法等，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述仅为本发明的较佳实施例而已，并不用以限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明保护的范围之内。

Claims (14)

1.一种基于人工智能的识别错误发现方法，其特征在于，包括：
训练得到概率值评估模型，对待识别的query进行命名实体识别，分别获取所述query中的每个字的置信度；
分别获取所述query中的每个字能够与邻近字组成词语的概率值，包括：将所述query中的每个字分别作为候选字，针对每个候选字，分别进行以下处理：将在所述query中与所述候选字之间间隔的字数小于或等于M的字确定为所述候选字的邻近字，M为自然数；对所述query进行片段截取，所述片段由所述候选字以及至少一个所述邻近字组成；针对每个片段，分别根据所述概率值评估模型，确定出与所述片段相似的相似词语及每个相似词语的相似概率值；选出取值最大的相似概率值，作为所述候选字能够与邻近字组成词语的概率值；
根据所述置信度以及所述概率值确定出是否识别错误。
2.根据权利要求1所述的方法，其特征在于，
所述概率值评估模型包括：word embedding模型。
3.根据权利要求1所述的方法，其特征在于，
所述对所述query进行片段截取包括：
针对每个邻近字，确定其所处位置；
若所述邻近字位于所述候选字之前，则从所述query中截取出从所述邻近字开始到所述候选字结束的片段；
若所述邻近字位于所述候选字之后，则从所述query中截取出从所述候选字开始到所述邻近字结束的片段。
4.根据权利要求1所述的方法，其特征在于，
所述根据所述置信度以及所述概率值确定出是否识别错误包括：
将所述query中的每个字分别作为候选字，针对每个候选字，分别进行以下处理：
计算所述候选字的置信度与预先设定的第一阈值之差，得到第一差值，并根据所述第一差值确定出第一参数；
计算预先设定的第二阈值与所述候选字对应的概率值之差，得到第二差值，并根据所述第二差值确定出第二参数；
根据所述第一参数和所述第二参数确定出第三参数；
将所述query中的每个候选字对应的第三参数相加，将相加之和与预先设定的第三阈值进行比较，若相加之和大于所述第三阈值，则确定识别错误。
5.根据权利要求4所述的方法，其特征在于，
所述根据所述第一差值确定出第一参数包括：
若所述第一差值大于0，则将所述第一参数的取值设置为1；
若所述第一差值等于0，则将所述第一参数的取值设置为0；
若所述第一差值小于0，则将所述第一参数的取值设置为-1；
所述根据所述第二差值确定出第二参数包括：
若所述第二差值大于0，则将所述第二参数的取值设置为1；
若所述第二差值等于0，则将所述第二参数的取值设置为0；
若所述第二差值小于0，则将所述第二参数的取值设置为-1。
6.根据权利要求5所述的方法，其特征在于，
所述根据所述第一参数和所述第二参数确定出第三参数包括：
若所述第一参数和所述第二参数均小于0，则将所述第三参数的取值设置为1，否则，设置为0；
所述第三阈值的取值为：1。
7.一种基于人工智能的识别错误发现装置，其特征在于，包括：模型训练单元、第一获取单元、第二获取单元以及发现单元；
所述模型训练单元，用于训练得到概率值评估模型，并发送给所述第二获取单元；
所述第一获取单元，用于对待识别的query进行命名实体识别，分别获取所述query中的每个字的置信度，并发送给所述发现单元；
所述第二获取单元，用于分别获取所述query中的每个字能够与邻近字组成词语的概率值，包括：将所述query中的每个字分别作为候选字，针对每个候选字，分别进行以下处理：将在所述query中与所述候选字之间间隔的字数小于或等于M的字确定为所述候选字的邻近字，M为自然数；对所述query进行片段截取，所述片段由所述候选字以及至少一个所述邻近字组成；针对每个片段，分别根据所述概率值评估模型，确定出与所述片段相似的相似词语及每个相似词语的相似概率值；选出取值最大的相似概率值，作为所述候选字能够与邻近字组成词语的概率值，并发送给所述发现单元；
所述发现单元，用于根据所述置信度以及所述概率值确定出是否识别错误。
8.根据权利要求7所述的装置，其特征在于，
所述概率值评估模型包括：word embedding模型。
9.根据权利要求7所述的装置，其特征在于，
针对每个邻近字，所述第二获取单元确定其所处位置，若所述邻近字位于所述候选字之前，则从所述query中截取出从所述邻近字开始到所述候选字结束的片段，若所述邻近字位于所述候选字之后，则从所述query中截取出从所述候选字开始到所述邻近字结束的片段。
10.根据权利要求7所述的装置，其特征在于，
所述发现单元将所述query中的每个字分别作为候选字，针对每个候选字，分别进行以下处理：
计算所述候选字的置信度与预先设定的第一阈值之差，得到第一差值，并根据所述第一差值确定出第一参数；
计算预先设定的第二阈值与所述候选字对应的概率值之差，得到第二差值，并根据所述第二差值确定出第二参数；
根据所述第一参数和所述第二参数确定出第三参数；
将所述query中的每个候选字对应的第三参数相加，将相加之和与预先设定的第三阈值进行比较，若相加之和大于所述第三阈值，则确定识别错误。
11.根据权利要求10所述的装置，其特征在于，
若所述第一差值大于0，则所述第一参数取值为1；
若所述第一差值等于0，则所述第一参数取值为0；
若所述第一差值小于0，则所述第一参数取值为-1；
若所述第二差值大于0，则所述第二参数取值为1；
若所述第二差值等于0，则所述第二参数取值为0；
若所述第二差值小于0，则所述第二参数取值为-1。
12.根据权利要求11所述的装置，其特征在于，
若所述第一参数和所述第二参数均小于0，则所述第三参数取值为1，否则，取值为0；
所述第三阈值的取值为：1。
13.一种计算机设备，包括存储器、处理器及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现如权利要求1～6中任一项所述的方法。
14.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现如权利要求1～6中任一项所述的方法。
CN201710311895.4A 2017-05-05 2017-05-05 基于人工智能的识别错误发现方法、装置及存储介质 Active CN107038157B (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201710311895.4A CN107038157B (zh) 2017-05-05 2017-05-05 基于人工智能的识别错误发现方法、装置及存储介质
US15/961,721 US10599954B2 (en) 2017-05-05 2018-04-24 Method and apparatus of discovering bad case based on artificial intelligence, device and storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN201710311895.4A CN107038157B (zh) 2017-05-05 2017-05-05 基于人工智能的识别错误发现方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN107038157A CN107038157A (zh) 2017-08-11
CN107038157B true CN107038157B (zh) 2020-09-29

Family

ID=59537000

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201710311895.4A Active CN107038157B (zh) 2017-05-05 2017-05-05 基于人工智能的识别错误发现方法、装置及存储介质

Country Status (2)

Country Link
US (1) US10599954B2 (zh)
CN (1) CN107038157B (zh)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3641275A1 (de) * 2018-10-18 2020-04-22 Siemens Aktiengesellschaft Verfahren, vorrichtung und computerprogramm zur automatischen verarbeitung von datenbezeichnern
JP7376593B2 (ja) * 2018-12-31 2023-11-08 インテル・コーポレーション 人工知能を利用した安全保障システム
CN109977415A (zh) * 2019-04-02 2019-07-05 北京奇艺世纪科技有限公司 一种文本纠错方法及装置
CN110110327B (zh) * 2019-04-26 2021-06-22 网宿科技股份有限公司 一种基于对抗学习的文本标注方法和设备
US11568143B2 (en) 2019-11-15 2023-01-31 Intuit Inc. Pre-trained contextual embedding models for named entity recognition and confidence prediction
CN111460084A (zh) * 2020-04-03 2020-07-28 中国建设银行股份有限公司 一种简历结构化抽取模型训练方法及系统
US10817665B1 (en) * 2020-05-08 2020-10-27 Coupang Corp. Systems and methods for word segmentation based on a competing neural character language model
CN111582193B (zh) * 2020-05-09 2022-09-23 北京世纪好未来教育科技有限公司 坏例识别及其模型优化方法、装置及计算机存储介质
CN111708890B (zh) * 2020-07-09 2023-09-19 腾讯科技（深圳）有限公司 一种搜索词确定方法和相关装置
CN112347769B (zh) * 2020-10-30 2024-01-23 北京百度网讯科技有限公司 实体识别模型的生成方法、装置、电子设备及存储介质
CN112766387B (zh) * 2021-01-25 2024-01-23 卡奥斯数字科技(上海)有限公司 一种训练数据的纠错方法、装置、设备及存储介质
US20230153566A1 (en) * 2021-11-18 2023-05-18 International Business Machines Corporation Erroneous cell detection using an artificial intelligence model

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030191625A1 (en) * 1999-11-05 2003-10-09 Gorin Allen Louis Method and system for creating a named entity language model
WO2009070931A1 (en) * 2007-12-06 2009-06-11 Google Inc. Cjk name detection
US8676807B2 (en) * 2010-04-22 2014-03-18 Microsoft Corporation Identifying location names within document text
CN104182423A (zh) * 2013-05-27 2014-12-03 华东师范大学 一种基于条件随机场的中文人名自动识别方法
CN105260360B (zh) * 2015-10-27 2018-12-18 小米科技有限责任公司 命名实体的识别方法及装置
CN106503192B (zh) * 2016-10-31 2019-10-15 北京百度网讯科技有限公司 基于人工智能的命名实体识别方法及装置
KR102643501B1 (ko) * 2016-12-26 2024-03-06 현대자동차주식회사 대화 처리 장치, 이를 포함하는 차량 및 대화 처리 방법

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
Named entity recognition from spoken documents using global evidences and external knowledge sources with applications on Mandarin Chinese;Yi-cheng Pan et al.;《IEEE Workshop on Automatic Speech Recognition and Understanding, 2005.》;20060103;第296-301页 *
Named Entity Recognition using Word Embedding as a Feature;Miran Seok et.;《International Journal of Software Engineering and Its Applications》;20161002;第93-104页 *
Yi-cheng Pan et al..Named entity recognition from spoken documents using global evidences and external knowledge sources with applications on Mandarin Chinese.《IEEE Workshop on Automatic Speech Recognition and Understanding, 2005.》.2006, *

Also Published As

Publication number Publication date
US20180322370A1 (en) 2018-11-08
US10599954B2 (en) 2020-03-24
CN107038157A (zh) 2017-08-11

Similar Documents

Publication Publication Date Title
CN107038157B (zh) 基于人工智能的识别错误发现方法、装置及存储介质
CN110276023B (zh) Poi变迁事件发现方法、装置、计算设备和介质
CN108090043B (zh) 基于人工智能的纠错举报处理方法、装置及可读介质
US10645105B2 (en) Network attack detection method and device
CN106933630B (zh) 一种客户端升级方法、装置、设备及存储介质
CN107423278B (zh) 评价要素的识别方法、装置及系统
US20220092407A1 (en) Transfer learning with machine learning systems
US20190087685A1 (en) Method and apparatus for recommending sample data
CN109947924B (zh) 对话系统训练数据构建方法、装置、电子设备及存储介质
CN110457683B (zh) 模型优化方法、装置、计算机设备及存储介质
CN107861948B (zh) 一种标签提取方法、装置、设备和介质
CN113627179B (zh) 一种基于大数据的威胁情报预警文本分析方法及系统
CN110869942A (zh) 自馈深度学习方法和系统
US9916397B2 (en) Pattern matching based character string retrieval
CN111597800B (zh) 同义句的获取方法及装置、设备及存储介质
US12481692B2 (en) Method, electronic apparatus, and computer-readable storage medium for identifying entity relationship pairs
CN111062208B (zh) 一种文件审核的方法、装置、设备及存储介质
US9990339B1 (en) Systems and methods for detecting character encodings of text streams
CN111738009B (zh) 实体词标签生成方法、装置、计算机设备和可读存储介质
CN110647595B (zh) 一种新增兴趣点的确定方法、装置、设备和介质
CN111198943B (zh) 一种简历筛选方法、装置及终端设备
CN107729944A (zh) 一种低俗图片的识别方法、装置、服务器及存储介质
CN110059180B (zh) 文章作者身份识别及评估模型训练方法、装置及存储介质
US11349856B2 (en) Exploit kit detection
CN114385891B (zh) 数据搜索方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant