[go: up one dir, main page]

WO2019200792A1 - 会话消息质检方法及装置 - Google Patents

会话消息质检方法及装置 Download PDF

Info

Publication number
WO2019200792A1
WO2019200792A1 PCT/CN2018/101560 CN2018101560W WO2019200792A1 WO 2019200792 A1 WO2019200792 A1 WO 2019200792A1 CN 2018101560 W CN2018101560 W CN 2018101560W WO 2019200792 A1 WO2019200792 A1 WO 2019200792A1
Authority
WO
WIPO (PCT)
Prior art keywords
quality inspection
session message
model
specified
session
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2018/101560
Other languages
English (en)
French (fr)
Inventor
刘俊廷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Ping An Technology Shenzhen Co Ltd
Original Assignee
Ping An Technology Shenzhen Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ping An Technology Shenzhen Co Ltd filed Critical Ping An Technology Shenzhen Co Ltd
Publication of WO2019200792A1 publication Critical patent/WO2019200792A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/21—Monitoring or handling of messages
    • H04L51/212—Monitoring or handling of messages using filtering or selective blocking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L51/00—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail
    • H04L51/07—User-to-user messaging in packet-switching networks, transmitted according to store-and-forward or real-time protocols, e.g. e-mail characterised by the inclusion of specific contents
    • H04L51/18—Commands or executable codes

Definitions

  • the present application relates to the field of computer technologies, and in particular, to a session message quality checking method and apparatus.
  • a business person communicates with a customer via the Internet, it is implemented based on a session page for displaying a session message, that is, a session message is sent and displayed in the own session page, so that the corresponding session page receives and displays the corresponding message.
  • Session messages which in turn enable a conversation between business people and customers.
  • the quality inspector will manually review the session message formed by the business personnel and the client during the session to determine whether the session message contains illegal key content. , for example, claims.
  • an object of the present application is to provide a session message quality checking method and apparatus.
  • a session message quality checking method includes: in a session page for displaying a session message, Obtaining a session message; invoking a quality inspection model to predict a quality inspection type of the session message, wherein the quality inspection model is generated according to a training sample marked with a key content and a quality inspection type; and the quality inspection type obtained according to the prediction The validity check of the session message is performed, and if the session message is illegal, the session message is masked.
  • a session message quality checking apparatus includes: a session message obtaining module configured to acquire a session message in a session page for displaying a session message; and a quality inspection type prediction module configured to invoke a quality inspection model pair The quality of the session message is predicted, and the quality inspection model is generated according to the training sample marked with the key content and the quality inspection type; the session message processing module is configured to perform the quality inspection type according to the prediction. The validity check of the session message is performed. If the session message is illegal, the session message is masked.
  • a session message quality checking apparatus includes a processor and a memory, wherein the memory stores computer readable instructions, and the computer readable instructions are executed by the processor to implement the foregoing Session message quality check method.
  • a computer readable storage medium having stored thereon a computer program, the computer program being executed by a processor to implement a session message quality check method as described above.
  • FIG. 1 is a schematic diagram of an embodiment of an implementation environment in accordance with the present application.
  • FIG. 2 is a schematic diagram of another embodiment in accordance with an implementation environment in accordance with the present application.
  • FIG. 3 is a block diagram showing the hardware structure of a session message quality checking apparatus according to an exemplary embodiment.
  • FIG. 4 is a flowchart of a session message quality checking method according to an exemplary embodiment.
  • FIG. 5 is a flowchart of another session message quality checking method according to an exemplary embodiment.
  • FIG. 6 is a flow diagram of an embodiment of step 350 in the corresponding embodiment of FIG.
  • step 450 is a flow chart of an embodiment of step 450 in the corresponding embodiment of FIG. 5.
  • FIG. 8 is a block diagram of a session message quality checking apparatus according to an exemplary embodiment.
  • FIG. 9 is a structural block diagram of a session message quality checking apparatus according to an exemplary embodiment.
  • FIG. 1 is a schematic diagram of an implementation environment involved in a session message quality inspection method in an exemplary embodiment.
  • the implementation environment includes a terminal 110 where the business person is located, a terminal 130 where the customer is located, and a server for deploying the session information quality inspection device 200.
  • the terminal may be a smart phone, a tablet computer, a notebook computer, a desktop computer, or other electronic device that provides a session function, which is not limited herein.
  • the electronic device providing the session function can be a smartphone for the instant messaging client to run.
  • a wireless network connection or a wired network connection is established in advance between the terminal 110 of the service personnel and the server, and data transmission between the terminal and the server is implemented through the established connection.
  • the data is a session message to be QA.
  • a wireless network connection or a wired network connection is established in advance between the terminal 110 where the business person is located and the terminal 130 where the customer is located, and data transmission between the two is achieved through the established connection.
  • the data is for real use
  • the terminal 110 of the service personnel interacts with the server, and when the service personnel communicates with the client via the Internet, the session message quality inspection device 200 deployed in the server receives the request quality of the terminal 110 of the service personnel.
  • the session message is checked, and the session message of the quality check is reviewed to determine whether the session message is illegal, and then the judgment result is returned to the terminal 110 where the business person is located.
  • the judgment result indicating whether the session message is illegal is received, and when the session message is illegal, the session message is prohibited from being transmitted to the terminal 130 where the client is located.
  • FIG. 2 is a schematic diagram of an implementation environment involved in a session message quality check method in an exemplary embodiment.
  • the implementation environment includes a terminal 150 where the business personnel are located and a terminal 170 where the customer is located, wherein the session quality inspection device 200 is deployed at the terminal 150 where the business personnel are located.
  • the terminal 15 0 of the service personnel acquires the session message, and reviews the session message to determine whether the session message is illegal. If the session message is illegal, The session message is prohibited from being transmitted to the terminal 170 where the client is located.
  • FIG. 3 is a block diagram showing the hardware structure of a session message quality checking apparatus according to an exemplary embodiment.
  • the session message quality checking device is only an example that is adapted to the present application and is not considered to provide any limitation on the scope of use of the present application.
  • the session message QC device also cannot be interpreted as requiring or having to have one or more of the exemplary session message QC devices 200 shown in FIG.
  • the hardware structure of the session message quality checking apparatus 200 may be greatly different due to different configurations or performances.
  • the session message quality checking apparatus 200 includes: a power source 210, an interface 230, and at least one memory. 250, and at least one central processing unit (CPU) 270.
  • CPU central processing unit
  • the power source 210 is configured to provide an operating voltage for each hardware device on the session message quality inspection device 200.
  • the interface 230 includes at least one wired or wireless network interface 231, at least one serial-to-parallel conversion interface 233, at least one input/output interface 235, at least one USB interface 237, and the like for communicating with an external device.
  • the memory 250 serves as a carrier for resource storage, and may be a read only memory, a random access memory, a magnetic disk, or an optical disk.
  • the resources stored thereon include an operating system 251, an application 253, and data 255, etc., and the storage manner may be short-term storage. Or permanently stored.
  • the operating system 251 is configured to manage and control various hardware devices and application programs 253 on the session message quality checking device 200 to implement the central processing unit 270. Calculation and processing of data 255, which can be Windows ServerTM, Mac OS
  • the application 253 is a computer program that performs at least one specific work based on the operating system 251, which may include at least one module (not shown in FIG. 3), each of which may include a pair of session message quality checking apparatus 200, respectively.
  • the data 255 may be a photo, a picture, or the like stored on a disk.
  • the central processing unit 270 can include one or more processors and is configured to communicate with the memory 250 over a bus for computing and processing the vast amount of data 255 in the memory 250.
  • the session message QA device 200 to which the present application is applied will complete the session message QA method in the form of a series of computer readable instructions stored in the memory 250 read by the central processing unit 270.
  • present application can also be implemented by a hardware circuit or a hardware circuit in combination with software, and therefore, the present application is not limited to any specific hardware circuit, software, and a combination of both.
  • a session message quality checking method is applied to the session message quality checking apparatus of the implementation environment shown in FIG. 1 and FIG. 2, and the structure of the session message quality checking apparatus is used. Can be as shown in Figure 3.
  • the session message quality checking method may be performed by the session message quality checking apparatus, and may include the following steps: [0046] Step 310: Acquire a session message in a session page for displaying a session message.
  • a session page is a page in which a business person conducts a conversation with a client when an instant messaging client or a social network client is run in an electronic device.
  • the instant messaging client or the social network client may be in the form of a software client or a web client.
  • the session page may be a session window for displaying a session message in the software client, or may be a session message display.
  • the webpage page is not limited in this embodiment.
  • the session page will add a session entry for the session participant, and when the session participant triggers the corresponding operation at the session entry, the session related message related to the operation can be obtained.
  • the session entry is an input dialog box.
  • the terminal where the business person is located can acquire the text or voice related to the input operation.
  • the input operation is the corresponding operation triggered by the session entry, and the text or voice is the meeting. Message.
  • the session message may be in the form of a text or a voice, which is not limited herein.
  • the voice message in the form of a voice needs to be converted into a text message in the form of a voice through the voice recognition technology, so that the subsequent quality check process can be performed based on the text message.
  • Step 330 Call the quality inspection model to predict the quality of the session message.
  • the quality inspection model is generated according to the training sample marked with the key content and the quality inspection type training.
  • the quality inspection model establishes a mapping relationship between the key content included in the training sample and the quality inspection type, and thus, based on the mapping relationship, the quality inspection type can be performed according to the key content included in the session message. prediction.
  • the quality check type of the session message may be regarded as a quality check with a mapping relationship with the certain key content. The types are the same, thereby completing the quality inspection type prediction of the session message, and then the validity of the session message can be further verified according to the quality inspection type.
  • the generating process of the quality inspection model may include the following steps: [0058] Step 410: Obtain a training sample labeled with key content and a quality inspection type thereof.
  • the training sample that is, the session message marked with the key content
  • the training basis of the quality inspection model that is, the accurate quality inspection model can be obtained by acquiring a large number of training samples, so as to achieve accurate session message review.
  • the key content can be text, or an image containing text.
  • the training sample may be derived from the session message collected by the terminal where the service personnel are located, and may also be from the session message collected by the terminal where the client is located, and is not limited herein.
  • the training sample is configured with a quality inspection type, and the quality inspection type is used to indicate whether the training sample is illegal.
  • the quality check type indicates a specified rule category for which the key content contained in the training sample is violated. For example, a quality check type of 1 indicates that the key content contained in the training sample violates the Class 1 designation rule.
  • the specified rules of different categories are flexibly set by the quality inspector according to the actual application scenario, and are not limited herein.
  • the quality check type is further used to indicate that the key content included in the training sample does not violate the specified rule, for example, the quality check type is 0, indicating that the key content included in the training sample does not violate the specified rule.
  • the training samples that violate or do not violate the key content of the specified rule are respectively used as the training basis of the quality inspection model, ensuring that the quality inspection model has the ability to predict the type of quality inspection of the session information, and at the same time, can exclude the Violation of the key content of the specified rules, thus fully ensuring the accuracy of the quality inspection model.
  • Step 430 Perform modeling of the specified model structure according to the training sample and its quality inspection type, and obtain a neural network model.
  • Modeling is to represent the mapping relationship between the key content and the quality inspection type of the training sample by using the specified model structure described by the specified model.
  • the specified model includes but is not limited to: a neural network model, a support vector machine model, a logistic regression model, and the like.
  • the specified model structure described by the specified model includes but is not limited to: Bidirectional Long Short Term Memory (BI-LSTM), multiple Long Short Term Memory (LSTM) series, Multiple Long Short Term Memory (LSTM) are connected in parallel and so on.
  • BI-LSTM Bidirectional Long Short Term Memory
  • LSTM Long Short Term Memory
  • LSTM Multiple Long Short Term Memory
  • the specified model is a neural network model
  • the specified model structure is a Bidirectional Long Short Term Memory (BI-LSTM).
  • the key content and the quality inspection type included in the training sample are digitized to generate a feature vector of the training sample. It can also be understood that the feature vector of the training sample uniquely represents the key content and quality inspection type included in the training sample in a digital form, that is, an accurate description of the key content and the quality inspection type included in the training sample is realized.
  • the eigenvectors of the training samples are characterized by the specified model structure described by the specified model, thereby obtaining a neural network model.
  • Step 450 Perform model training on the neural network model to generate a quality inspection model.
  • model training is to iteratively update the model parameters of the neural network model, so as to optimize the mapping relationship between the key content and the quality inspection type included in the training sample.
  • quality The inspection model is to construct an optimal mapping relationship between the key content and the quality inspection type of the training sample, so that the corresponding quality inspection type can be predicted by the key content in the session information, and then judged according to the quality inspection type. Whether the key content contained in the session message is illegal.
  • Step 350 Perform validity check of the session message according to the predicted quality check type. If the session message is illegal, the session message is masked.
  • the validity check determines whether the session message is illegal according to the predicted quality check type, that is, whether the session message contains key content that violates the specified rule.
  • the quality check type indicates the specified rule category of the key content violation included in the training sample
  • the predicted quality check type is 1, that is, the key content included in the session message violates the type 1 specified rule. Thus, it is determined that the session message is illegal.
  • the session message is illegal, that is, the key content that violates the specified rule is included, the session message is masked, that is, the session message is not sent.
  • the session message is legal, that is, the key content that violates the specified rule is not included, the session message is sent, and then the session message can be displayed in the session page to implement the session between the session participants.
  • step 350 may include the following steps:
  • Step 351 Perform a specified quality check type matching search in the specified quality inspection type library according to the quality inspection type, and obtain a matching result.
  • the matching result indicates whether there is a specified quality type matching the quality inspection type in the specified quality inspection type library.
  • the specified quality inspection type library is formed by the specified quality inspection type storage.
  • the specified quality inspection type is configured according to the specified rules set by the quality inspector. For example, the specified quality inspection type configured for the 1 type specified rule is 1.
  • the specified quality inspection type indicates a specified rule that the key content violates.
  • Step 353 If the matching result indicates that there is a specified quality inspection type matching the quality inspection type in the specified quality inspection type library, determining that the session message is illegal.
  • Step 355 When the session message is illegal, intercept the message sending event corresponding to the session message, and identify that the session message is illegal in the session page.
  • a message sending event is a child thread for sending a session message to a session page for display.
  • the identification of the illegal session message will be made in the session page.
  • Identification refers to the illegal marking of session messages through user interface elements (UIs). For example, in the session page, an alert icon is displayed, which is the user interface element used to mark the conversation message illegal.
  • UIs user interface elements
  • step 351 the method as described above may further include the following steps:
  • Step 357 If the matching result indicates that the specified quality inspection type does not exist in the designated quality inspection type library, the trigger message sending event is performed to display the session message in the session page.
  • a legitimate session message is displayed on the session page by triggering a message transmission event corresponding to the legitimate session message.
  • step 430 may include the following steps:
  • modeling is performed according to the specified model structure, and a plurality of neural network models are obtained.
  • each neural network model corresponds to a quality inspection type.
  • the neural network model essentially uses the specified model structure described by the specified model to characterize the feature vector of the training sample, and the feature vector is accurate for the key content and quality inspection type included in the training sample. description.
  • the generation of the neural network model is performed for training samples of different quality inspection types, thereby reducing the randomness of the feature vector, that is, the training samples for the same quality inspection type.
  • the quality inspection type remains the same, which reduces the complexity of modeling.
  • step 450 may include the following steps:
  • Step 451 Initialize model parameters of the neural network model, and iteratively update the initialized model parameters according to a specified algorithm.
  • the model training is to optimize the mapping relationship between the key content contained in the training sample and the quality inspection type.
  • mapping relationship is not optimal, the model parameters of the neural network model are updated, and the mapping algorithm continues to determine whether the mapping relationship is optimal according to the specified algorithm.
  • mapping relationship is optimal or the number of iterations reaches the maximum, the iteration is stopped, and the execution proceeds to step 453.
  • the specified algorithm includes but is not limited to: a maximum expected algorithm, a cosine loss function, and the like.
  • Step 453 If the maximum number of iterations or the updated model parameters are used to converge the neural network model, the quality model is obtained by convergence of the neural network model.
  • Measuring the updated model parameters causes the neural network model to converge, based on a specified algorithm.
  • the updated model parameters minimize the loss of the cosine loss function, the updated model parameters cause the neural network model to converge to a quality inspection model.
  • the generation of the quality inspection model is realized, thereby realizing the ability to predict the type of quality of the session message, and effectively improving the quality inspection capability.
  • the quality inspection type can be input to the quality inspection model.
  • the prediction obtains the quality type of the session message, and determines whether the session message is legal by the quality inspection type, which not only improves the quality inspection efficiency, but also effectively improves the quality inspection capability.
  • a session message quality checking apparatus 900 includes, but is not limited to: a session message obtaining module 910, a quality inspection type prediction module 930, and a session message processing module 950.
  • the session message obtaining module 910 is configured to obtain a session message in a session page for displaying a session message.
  • the quality inspection type prediction module 930 is used to call the quality inspection model to predict the quality inspection type of the session message, and the quality inspection model is generated according to the training sample marked with the key content and the quality inspection type.
  • the session message processing module 950 is configured to perform the validity check of the session message according to the predicted quality check type. If the session message is illegal, the session message is masked.
  • the session message quality checking apparatus when performing the session message quality check processing, the session message quality checking apparatus provided in the above embodiment is only exemplified by the division of the above functional modules. In actual applications, the above may be performed as needed. The function assignment is performed by different functional modules, that is, the internal structure of the session message quality inspection device will be divided into different functional modules to complete all or part of the functions described above.
  • a session message quality checking apparatus includes a processor 1001 and a memory 1004.
  • the apparatus 1000 also includes a communication interface 1002 and a communication bus 1003.
  • the treatment The device 1001 reads the computer readable instructions stored in the memory 1004 via the communication bus 1003.
  • the memory 1004 stores computer readable instructions, and when the computer readable instructions are executed by the processor 1001, the session message quality checking method in the foregoing embodiments is implemented.
  • a computer readable storage medium having stored thereon a computer program that, when executed by a processor, implements the session message quality checking method in the various embodiments described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Artificial Intelligence (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本申请涉及了一种会话消息质检方法及装置，所述会话消息质检方法包括：在进行会话消息显示的会话页面中，获取会话消息；调用质检模型对所述会话消息的质检类型进行预测，所述质检模型是根据标注了关键内容的训练样本及其质检类型训练生成的；根据预测得到的质检类型进行所述会话消息的合法性校验，如果所述会话消息非法，则对所述会话消息进行屏蔽处理。采用本申请所提供的会话消息质检方法及装置解决了现有技术中因会话消息质检依赖于人工实现而导致质检效率低下的问题。

Description

发明名称：会话消息质检方法及装置
技术领域
[0001] 本申请要求 2018年 4月 20日递交、 发明名称为“会话消息质检方法及装置”的中 国专利申请 CN201810359049.4的优先权， 在此通过引用将其全部内容合并于此
[0002] 本申请涉及计算机技术领域， 尤其涉及一种会话消息质检方法及装置。
背景技术
[0003] 随着互联网的发展， 人们可以基于互联网与对方在线沟通， 极大地方便了各行 各业的业务拓展。 例如， 保险行业的保险营销业务等等。
[0004] 业务人员与客户通过互联网在线沟通时， 是基于进行会话消息显示的会话页面 实现的， 即在己方的会话页面中发送并显示会话消息， 使得对方的会话页面中 接收并显示出相应的会话消息， 进而实现业务人员与客户之间会话。
[0005] 目前， 为了保证业务人员进行业务拓展时并未涉及非法行为， 质检人员将对业 务人员与客户会话时所形成的会话消息进行人工复查， 以此判断会话消息是否 包含非法的关键内容， 例如， 理赔。
[0006] 发明人意识到， 上述会话消息质检过程中， 主要依赖于人工实现， 一旦待复查 的会话消息数据量过于庞大， 不仅存在误检漏检的可能性， 影响质检质量， 而 且质检效率低下。 发明概述
技术问题
问题的解决方案
技术解决方案
[0007] 为了解决上述技术问题， 本申请的一个目的在于提供一种会话消息质检方法及 装置。
[0008] 其中， 本申请所采用的技术方案为：
[0009] 一方面， 一种会话消息质检方法， 包括： 在进行会话消息显示的会话页面中， 获取会话消息； 调用质检模型对所述会话消息的质检类型进行预测， 所述质检 模型是根据标注了关键内容的训练样本及其质检类型训练生成的； 根据预测得 到的质检类型进行所述会话消息的合法性校验， 如果所述会话消息非法， 则对 所述会话消息进行屏蔽处理。
[0010] 一方面， 一种会话消息质检装置， 包括： 会话消息获取模块， 配置为在进行会 话消息显示的会话页面中， 获取会话消息； 质检类型预测模块， 配置为调用质 检模型对所述会话消息的质检类型进行预测， 所述质检模型是根据标注了关键 内容的训练样本及其质检类型训练生成的； 会话消息处理模块， 配置为根据预 测得到的质检类型进行所述会话消息的合法性校验， 如果所述会话消息非法， 则对所述会话消息进行屏蔽处理。
[0011] 另一方面， 一种会话消息质检装置， 包括处理器及存储器， 所述存储器上存储 有计算机可读指令， 所述计算机可读指令被所述处理器执行时实现如上所述的 会话消息质检方法。
[0012] 另一方面， 一种计算机可读存储介质， 其上存储有计算机程序， 所述计算机程 序被处理器执行时实现如上所述的会话消息质检方法。
[0013] 在上述技术方案中， 业务人员与客户在线沟通时， 会话消息将由质检模型进行 复查， 避免依赖于人工实现， 提高了质检效率。
[0014] 此外， 对会话消息的复查与在线沟通同步执行， 有效地解决了现有技术中人工 质检过程滞后于业务人员与客户的沟通过程， 有利于业务人员维护客户关系。
[0015] 应当理解的是， 以上的一般描述和后文的细节描述仅是示例性和解释性的， 并 不能限制本申请。
发明的有益效果
对附图的简要说明
附图说明
[0016] 此处的附图被并入说明书中并构成本说明书的一部分， 示出了符合本申请的实 施例， 并于说明书一起用于解释本申请的原理。
[0017] 图 1是根据本申请所涉及的实施环境在一实施例的示意图。
[0018] 图 2是根据本申请所涉及的实施环境在另一实施例的示意图。 [0019] 图 3是根据一示例性实施例示出的一种会话消息质检装置的硬件结构框图。
[0020] 图 4是根据一示例性实施例示出的一种会话消息质检方法的流程图。
[0021] 图 5是根据一示例性实施例示出的另一种会话消息质检方法的流程图。
[0022] 图 6是图 4对应实施例中步骤 350在一个实施例的流程图。
[0023] 图 7是图 5对应实施例中步骤 450在一个实施例的流程图。
[0024] 图 8是根据一示例性实施例示出的一种会话消息质检装置的框图。
[0025] 图 9是根据一示例性实施例示出的一种会话消息质检装置的结构框图。
[0026] 通过上述附图， 已示出本申请明确的实施例， 后文中将有更详细的描述， 这些 附图和文字描述并不是为了通过任何方式限制本申请构思的范围， 而是通过参 考特定实施例为本领域技术人员说明本申请的概念。
发明实施例
本发明的实施方式
[0027] 这里将详细地对示例性实施例执行说明， 其示例表示在附图中。 下面的描述涉 及附图时， 除非另有表示， 不同附图中的相同数字表示相同或相似的要素。 以 下示例性实施例中所描述的实施方式并不代表与本申请相相匹配的所有实施方 式。 相反， 它们仅是与如所附权利要求书中所详述的、 本申请的一些方面相相 匹配的装置和方法的例子。
[0028] 图 1为一示例性实施例中一种会话消息质检方法所涉及的实施环境的示意图。
该实施环境包括业务人员所在终端 110、 客户所在终端 130以及用于部署会话消 息质检装置 200的服务端。
[0029] 其中， 终端可以是智能手机、 平板电脑、 笔记本电脑、 台式电脑或者其他提供 会话功能的电子设备， 在此不进行限定。 例如， 提供会话功能的电子设备可以 是供即时通信客户端运行的智能手机。
[0030] 业务人员所在终端 110与服务端之间预先建立无线网络连接或者有线网络连接 ， 通过所建立的连接实现终端与服务端之间的数据传输。 例如， 数据为待质检 的会话消息。
[0031] 业务人员所在终端 110与客户所在终端 130之间预先建立无线网络连接或者有线 网络连接， 通过所建立的连接实现二者之间的数据传输。 例如， 数据为用于实 现业务人员与客户在线沟通的会话消息。
[0032] 具体地， 通过业务人员所在终端 110与服务端交互， 当业务人员与客户通过互 联网在线沟通时， 服务端中部署的会话消息质检装置 200便会接收到业务人员所 在终端 110请求质检的会话消息， 并对待质检的会话消息进行复查， 以此判断会 话消息是否非法， 进而将判断结果返回至业务人员所在终端 110。
[0033] 对于业务人员所在终端 110而言， 便接收到指示了会话消息是否非法的判断结 果， 并在会话消息非法时， 禁止该会话消息传输至客户所在终端 130。
[0034] 图 2为一示例性实施例中一种会话消息质检方法所涉及的实施环境的示意图。
该实施环境包括业务人员所在终端 150和客户所在终端 170, 其中， 会话质检装 置 200部署在业务人员所在终端 150。
[0035] 本实施例中， 当业务人员与客户通过互联网在线沟通时， 业务人员所在终端 15 0获取会话消息， 并对该会话消息进行复查， 以此判断会话消息是否非法， 如果 会话消息非法， 则禁止该会话消息传输至客户所在终端 170。
[0036] 图 3是根据一示例性实施例示出的一种会话消息质检装置的硬件结构框图。 需 要说明的是， 该会话消息质检装置只是一个适配于本申请的示例， 不能认为是 提供了对本申请的使用范围的任何限制。 该会话消息质检装置也不能解释为需 要依赖于或者必须具有图 3中示出的示例性的会话消息质检装置 200中的一个或 者多个组件。
[0037] 该会话消息质检装置 200的硬件结构可因配置或者性能的不同而产生较大的差 异， 如图 3所示， 会话消息质检装置 200包括： 电源 210、 接口 230、 至少一存储 器 250、 以及至少一中央处理器 (CPU, Central Processing Units) 270。
[0038] 其中， 电源 210用于为会话消息质检装置 200上的各硬件设备提供工作电压。
[0039] 接口 230包括至少一有线或无线网络接口 231、 至少一串并转换接口 233、 至少 一输入输出接口 235以及至少一 USB接口 237等， 用于与外部设备通信。
[0040] 存储器 250作为资源存储的载体， 可以是只读存储器、 随机存储器、 磁盘或者 光盘等， 其上所存储的资源包括操作系统 251、 应用程序 253及数据 255等， 存储 方式可以是短暂存储或者永久存储。 其中， 操作系统 251用于管理与控制会话消 息质检装置 200上的各硬件设备以及应用程序 253， 以实现中央处理器 270对海量 数据 255的计算与处理， 其可以是 Windows ServerTM、 Mac OS
XTM、 UnixTM、 LinuxTM、 FreeBSDTM等。 应用程序 253是基于操作系统 251之 上完成至少一项特定工作的计算机程序， 其可以包括至少一模块 （图 3中未示出 ） ， 每个模块都可以分别包含有对会话消息质检装置 200的一系列计算机可读指 令。 数据 255可以是存储于磁盘中的照片、 图片等。
[0041] 中央处理器 270可以包括一个或多个以上的处理器， 并设置为通过总线与存储 器 250通信， 用于运算与处理存储器 250中的海量数据 255。
[0042] 如上面所详细描述的， 适用本申请的会话消息质检装置 200将通过中央处理器 2 70读取存储器 250中存储的一系列计算机可读指令的形式来完成会话消息质检方 法。
[0043] 此外， 通过硬件电路或者硬件电路结合软件也能同样实现本申请， 因此， 实现 本申请并不限于任何特定硬件电路、 软件以及两者的组合。
[0044] 请参阅图 4， 在一示例性实施例中， 一种会话消息质检方法适用于图 1、 图 2中 所示实施环境的会话消息质检装置， 该会话消息质检装置的结构可以如图 3所示
[0045] 该种会话消息质检方法可以由会话消息质检装置执行， 可以包括以下步骤： [0046] 步骤 310, 在进行会话消息显示的会话页面中， 获取会话消息。
[0047] 会话页面是在电子设备中运行即时通信客户端或者社交网络客户端时， 业务人 员与客户进行会话的页面。
[0048] 其中， 即时通信客户端或者社交网络客户端可以是软件客户端或者网页客户端 的形式， 相应地， 会话页面可以是软件客户端中显示会话消息的会话窗口， 还 可以是进行会话消息显示的网页页面， 本实施例中并未对此加以限定。
[0049] 为了实现业务人员与客户之间的会话， 会话页面将为会话参与者增设会话入口 ， 当会话参与者在该会话入口触发相应的操作， 便能够获取操作相关的会话消 息。
[0050] 例如， 会话入口为一输入对话框， 当业务人员经由该输入对话框输入一定的文 字或者语音时， 业务人员所在终端便能够获取到与输入操作相关的文字或者语 音。 其中， 该输入操作即为会话入口触发的相应操作， 该文字或者语音即为会 话消息。
[0051] 由上可知， 会话消息可以是文字形式， 还可以是语音形式， 在此不进行限定。
需要说明的是， 语音形式的会话消息在进行质检之前， 还需要通过语音识别技 术转化为文字形式的会话消息， 方能够基于文字形式的会话消息执行后续的质 检过程。
[0052] 步骤 330, 调用质检模型对会话消息的质检类型进行预测。
[0053] 其中， 质检模型是根据标注了关键内容的训练样本及其质检类型训练生成的。
[0054] 换而言之， 质检模型建立了训练样本所包含关键内容与质检类型之间的映射关 系， 由此， 便能够基于该映射关系根据会话消息所包含的关键内容进行质检类 型预测。
[0055] 具体地， 如果会话消息所包含的关键内容与映射关系中某个关键内容极为相似 甚至相匹配， 则会话消息的质检类型可视为与该某个关键内容具有映射关系的 质检类型相同， 由此完成会话消息的质检类型预测， 进而方可根据质检类型进 一步地对会话消息进行合法性校验。
[0056] 下面对质检模型的生成过程加以说明。
[0057] 如图 5所示， 在一示例性实施例中， 质检模型的生成过程可以包括以下步骤： [0058] 步骤 410， 获取标注有关键内容的训练样本及其质检类型。
[0059] 训练样本， 即标注了关键内容的会话消息， 是质检模型的训练基础， 也就是说 ， 通过获取大量的训练样本才能够得到准确的质检模型， 方可实现准确地会话 消息复查。 其中， 关键内容可以是文字， 或者包含文字的图片。
[0060] 训练样本的获取中， 训练样本可以来源于业务人员所在终端收集到的会话消息 ， 还可以来自于客户所在终端收集到的会话消息， 在此不进行限定。
[0061] 可选地， 训练样本， 被配置了质检类型， 质检类型用于指示训练样本是否非法
[0062] 在一实施例的具体实现中， 质检类型指示了训练样本所包含的关键内容违反的 指定规则类别。 例如， 质检类型为 1， 表示训练样本所包含的关键内容违反了 1 类指定规则。 其中， 不同类别的指定规则是由质检人员根据实际的应用场景进 行灵活地设定， 在此并未加以限定。 [0063] 可选地， 质检类型还被用于指示训练样本包含的关键内容未违反指定规则， 例 如， 质检类型为 0, 表示训练样本所包含的关键内容未违反指定规则。
[0064] 应当理解， 如果会话消息不同， 其所包含的关键内容将有所区别， 进而使得会 话消息的质检类型不尽相同。
[0065] 通过上述过程， 分别将违反或者未违反指定规则的关键内容的训练样本作为质 检模型的训练基础， 确保质检模型对会话信息具有预测质检类型的能力， 而且 还同时能够排除未违反指定规则的关键内容的干扰， 从而充分地保障了质检模 型的准确性。
[0066] 步骤 430, 根据训练样本及其质检类型进行指定模型结构的建模， 得到神经网 络模型。
[0067] 建模， 是借助指定模型所描述的指定模型结构来表征训练样本所包含关键内容 与质检类型之间的映射关系。
[0068] 其中， 指定模型包括但不限于： 神经网络模型、 支持向量机模型、 逻辑回归模 型等等。 相应地， 由指定模型所描述的指定模型结构包括但不限于： 双向长短 期记忆网络 (Bidirectional Long Short Term Memory, BI-LSTM) 、 多个长短期记 忆网络 (Long Short Term Memory, LSTM) 串联、 多个长短期记忆网络 (Long Short Term Memory, LSTM) 并联等等。
[0069] 在一实施例的具体实现中， 指定模型为神经网络模型， 指定模型结构为双向长 短期记忆网络 (Bidirectional Long Short Term Memory, BI-LSTM) 。
[0070] 具体而言， 首先， 对训练样本所包含的关键内容及质检类型数字化， 以生成训 练样本的特征向量。 也可以理解为， 训练样本的特征向量是以数字的形式唯一 地表征训练样本所包含的关键内容及质检类型， 即实现了对训练样本所包含的 关键内容及质检类型的准确描述。
[0071] 然后， 利用指定模型所描述的指定模型结构来表征训练样本的特征向量， 以此 得到神经网络模型。
[0072] 步骤 450, 对神经网络模型进行模型训练， 生成质检模型。
[0073] 其中， 模型训练即是对神经网络模型的模型参数进行迭代更新， 以使训练样本 所包含关键内容与质检类型之间的映射关系达到最优。 通过上述实现过程， 质 检模型即是在训练样本所包含关键内容与质检类型之间构建了最优的映射关系 ， 以便于后续能够由会话信息中的关键内容预测得到相应的质检类型， 进而根 据质检类型判断会话消息所包含的关键内容是否非法。
[0074] 步骤 350, 根据预测得到的质检类型进行会话消息的合法性校验， 如果会话消 息非法， 则对会话消息进行屏蔽处理。
[0075] 合法性校验， 是指根据预测得到的质检类型判断会话消息是否非法， 即会话消 息是否包含违反指定规则的关键内容。
[0076] 例如， 由于质检类型指示了训练样本所包含的关键内容违反的指定规则类别， 因此， 假设预测得到的质检类型为 1， 即指示会话消息包含的关键内容违反了 1 类指定规则， 由此， 便判定会话消息非法。
[0077] 基于此， 通过合法性校验， 便能够判断会话消息是否非法， 进而对会话消息进 行相应处理。
[0078] 具体地， 如果会话消息非法， 即包含违反指定规则的关键内容， 则对会话消息 进行屏蔽处理， 即不执行会话消息的发送。
[0079] 反之， 如果会话消息合法， 即未包含违反指定规则的关键内容， 则发送会话消 息， 进而方可在会话页面中显示该会话消息， 实现会话参与者之间的会话。
[0080] 通过如上所述的过程， 实现了会话消息的自动复查， 避免依赖于人工实现， 提 高了质检效率。
[0081] 请参阅图 6， 在一示例性实施例中， 步骤 350可以包括以下步骤：
[0082] 步骤 351， 根据质检类型在指定质检类型库中进行指定质检类型匹配搜索， 得 到匹配结果。
[0083] 其中， 匹配结果指示了指定质检类型库中是否存在与质检类型相匹配的指定质 检类型。
[0084] 指定质检类型库， 是由指定质检类型存储形成的。 其中， 指定质检类型是根据 质检人员所设定的指定规则而配置的， 例如， 为 1类指定规则配置的指定质检类 型为 1。
[0085] 也就是说， 指定质检类型表示关键内容所违反的指定规则。
[0086] 由此， 如果在指定质检类型库中搜索到与质检类型相匹配的指定质检类型， 即 说明预测得到该质检类型的会话消息包含违反指定规则的关键内容， 则判定会 话消息非法， 进而跳转执行步骤 355。
[0087] 反之， 如果在指定质检类型库中未搜索到与质检类型相匹配的指定质检类型， 即说明预测得到该质检类型的会话消息并不包含违反指定规则的关键内容， 则 判定会话消息合法， 进而跳转执行步骤 357。
[0088] 步骤 353 , 如果匹配结果指示指定质检类型库中存在与质检类型相匹配的指定 质检类型， 则判定会话消息非法。
[0089] 步骤 355 , 当会话消息非法时， 拦截会话消息对应的消息发送事件， 并在会话 页面中标识会话消息非法。
[0090] 消息发送事件， 是用于将会话消息发送至会话页面中进行显示的子线程。
[0091] 为此， 通过拦截非法的会话消息所对应的消息发送事件， 便能够阻止非法的会 话消息在会话页面中进行显示。
[0092] 可选地， 为了对发起非法的会话消息的会话参与者给予警告， 将在会话页面中 进行非法会话消息的标识。
[0093] 标识， 指的是通过用户界面元素 （UI） 对会话消息非法进行标记。 例如， 在会 话页面中， 显示出告警图标， 该告警图标即为用于标记会话消息非法的用户界 面元素。
[0094] 在一示例性实施例中， 如图 6所示， 步骤 351之后， 如上所述的方法还可以包括 以下步骤：
[0095] 步骤 357 , 如果匹配结果指示指定质检类型库中不存在与质检类型相匹配的指 定质检类型， 则触发消息发送事件在会话页面中进行会话消息的显示。
[0096] 如果会话消息合法， 便通过触发合法的会话消息所对应的消息发送事件， 将合 法的会话消息显示在会话页面中。
[0097] 在上述实施例的配合下， 实现了会话消息的自动复查与在线沟通同步执行， 即 通过合法性校验的会话消息将实时显示在会话页面中， 以便于会话参与者之间 进行会话， 而未通过合法性校验的会话消息则禁止在会话页面中进行显示， 以 此阻止会话参与者之间的会话， 由此达到会话消息质检的目的， 不仅实时性高 ， 而且准确性也极高。 [0098] 在一示例性实施例中， 步骤 430可以包括以下步骤：
[0099] 针对不同质检类型的训练样本， 分别按照指定模型结构进行建模， 得到多个神 经网络模型。
[0100] 其中， 每一个神经网络模型对应一种质检类型。
[0101] 如前所述， 神经网络模型， 实质上是利用指定模型所描述的指定模型结构来表 征训练样本的特征向量， 而特征向量是对训练样本所包含的关键内容及质检类 型的准确描述。
[0102] 应当理解， 由于质检类型与质检人员所设定的指定规则息息相关， 如果质检人 员设定的指定规则较为复杂， 必然造成训练样本的质检类型过于庞杂， 进而增 加了训练样本的特征向量随机性， 必然增加建模的复杂度。
[0103] 为此， 本实施例中， 神经网络模型的生成， 是针对不同质检类型的训练样本进 行的， 由此， 方可降低特征向量的随机性， 即针对同一质检类型的训练样本， 质检类型保持不变， 进而降低建模的复杂度。
[0104] 请参阅图 7， 在一示例性实施例中， 步骤 450可以包括以下步骤：
[0105] 步骤 451， 初始化神经网络模型的模型参数， 并按照指定算法对初始化的模型 参数进行迭代更新。
[0106] 如前所述， 模型训练是为了使训练样本所包含的关键内容与质检类型之间的映 射关系达到最优。
[0107] 基于此， 对神经网络模型的模型参数执行随机初始化， 按照指定算法判断上述 映射关系是否达到最优。
[0108] 如果映射关系未达到最优， 则更新神经网络模型的模型参数， 并继续按照指定 算法判断上述映射关系是否达到最优。
[0109] 反之， 如果映射关系达到最优或者迭代次数达到最大， 则停止迭代， 并跳转执 行步骤 453。
[0110] 其中， 指定算法包括但不限于： 最大期望算法、 余弦损失函数等等。
[0111] 步骤 453， 如果达到最大迭代次数或者更新的模型参数使神经网络模型收敛， 则由神经网络模型收敛得到质检模型。
[0112] 衡量更新的模型参数使得神经网络模型收敛， 是基于指定算法进行的。 例如， 当更新的模型参数使得余弦损失函数的损失最小， 则更新的模型参数使得神经 网络模型收敛为质检模型。
[0113] 通过上述实施例的配合， 实现了质检模型的生成， 进而实现了对会话消息质检 类型的预测能力， 有效地提高质检能力。
[0114] 在一应用场景中， 基于上述质检模型， 当业务人员与客户在线沟通时， 只要获 得二者之间会话时所产生的会话消息， 便能够输入至质检模型进行质检类型的 预测， 进而得到会话消息的质检类型， 并由质检类型来确定会话消息是否合法 ， 不仅提高了质检效率， 还有效地提升了质检能力。
[0115] 下述为本申请装置实施例， 可以用于执行本申请所涉及的会话消息质检方法。
对于本申请装置实施例中未披露的细节， 请参照本申请所涉及的会话消息质检 方法的方法实施例。
[0116] 请参阅图 8， 在一示例性实施例中， 一种会话消息质检装置 900包括但不限于： 会话消息获取模块 910 质检类型预测模块 930和会话消息处理模块 950。
[0117] 其中， 会话消息获取模块 910用于在进行会话消息显示的会话页面中， 获取会 话消息。
[0118] 质检类型预测模块 930用于调用质检模型对会话消息的质检类型进行预测， 质 检模型是根据标注了关键内容的训练样本及其质检类型训练生成的。
[0119] 会话消息处理模块 950用于根据预测得到的质检类型进行会话消息的合法性校 验， 如果会话消息非法， 则对会话消息进行屏蔽处理。
[0120] 需要说明的是， 上述实施例所提供的会话消息质检装置在进行会话消息质检处 理时， 仅以上述各功能模块的划分进行举例说明， 实际应用中， 可以根据需要 而将上述功能分配由不同的功能模块完成， 即会话消息质检装置的内部结构将 划分为不同的功能模块， 以完成以上描述的全部或者部分功能。
[0121] 另外， 上述实施例所提供的会话消息质检装置与会话消息质检方法的实施例属 于同一构思， 其中各个模块执行操作的具体方式已经在方法实施例中进行了详 细描述， 此处不再赘述。
[0122] 请参阅图 9， 在一示例性实施例中， 一种会话消息质检装置， 包括处理器 1001 及存储器 1004。 所述装置 1000还包括通信接口 1002和通信总线 1003。 所述处理 器 1001通过通信总线 1003读取所述存储器 1004中存储的计算机可读指令。
[0123] 其中， 存储器 1004上存储有计算机可读指令， 该计算机可读指令被处理器 1001 执行时实现上述各实施例中的会话消息质检方法。
[0124] 在一示例性实施例中， 一种计算机可读存储介质， 其上存储有计算机程序， 该 计算机程序被处理器执行时实现上述各实施例中的会话消息质检方法。
[0125] 上述内容， 仅为本申请的较佳示例性实施例， 并非用于限制本申请的实施方案 ， 本领域普通技术人员根据本申请的主要构思和精神， 可以十分方便地进行相 应的变通或修改， 故本申请的保护范围应以权利要求书所要求的保护范围为准

Claims

权利要求书
[权利要求 1] 一种会话消息质检方法， 其中， 所述方法包括：
在进行会话消息显示的会话页面中， 获取会话消息；
调用质检模型对所述会话消息的质检类型进行预测， 所述质检模型是 根据标注了关键内容的训练样本及其质检类型训练生成的； 根据预测得到的质检类型进行所述会话消息的合法性校验， 如果所述 会话消息非法， 则对所述会话消息进行屏蔽处理。
[权利要求 2] 如权利要求 i所述的方法， 其中， 所述根据预测得到的质检类型进行 所述会话消息的合法性校验， 如果所述会话消息非法， 对所述会话消 息进行屏蔽处理， 包括：
根据所述质检类型在指定质检类型库中进行指定质检类型匹配搜索， 得到匹配结果；
如果所述匹配结果指示所述指定质检类型库中存在与所述质检类型相 匹配的指定质检类型， 则判定所述会话消息非法； 当所述会话消息非法时， 拦截所述会话消息对应的消息发送事件， 并 在所述会话页面中标识所述会话消息非法。
[权利要求 3] 如权利要求 2所述的方法， 其中， 所述根据所述质检类型在指定质检 类型库中进行指定质检类型匹配搜索， 得到匹配结果之后， 所述方法 还包括：
如果所述匹配结果指示所述指定质检类型库中不存在与所述质检类型 相匹配的指定质检类型， 则触发所述消息发送事件在所述会话页面中 进行所述会话消息的显示。
[权利要求 4] 如权利要求 1至 3任一项所述的方法， 其中， 所述方法还包括：
获取标注有关键内容的训练样本及其质检类型； 根据所述训练样本及其质检类型进行指定模型结构的建模， 得到神经 网络模型； 对所述神经网络模型进行模型训练， 生成所述质检模型。
[权利要求 5] 如权利要求 4所述的方法， 其中， 所述根据所述训练样本及其质检类 型进行指定模型结构的建模， 得到神经网络模型， 包括： 针对不同质检类型的训练样本， 分别按照所述指定模型结构进行建模 ， 得到多个神经网络模型， 每一个神经网络模型对应一种质检类型。
[权利要求 6] 如权利要求 4所述的方法， 其中， 所述对所述神经网络模型进行模型 训练， 生成所述质检模型， 包括：
初始化所述神经网络模型的模型参数， 并按照指定算法对初始化的模 型参数进行更新；
如果达到最大迭代次数或者更新的模型参数使所述神经网络模型收敛 ， 则由所述神经网络模型收敛得到所述质检模型。
[权利要求 7] 一种会话消息质检装置， 其中， 所述装置包括：
会话消息获取模块， 配置为在进行会话消息显示的会话页面中， 获取 会话消息；
质检类型预测模块， 配置为调用质检模型对所述会话消息的质检类型 进行预测， 所述质检模型是根据标注了关键内容的训练样本及其质检 类型训练生成的；
会话消息处理模块， 配置为根据预测得到的质检类型进行所述会话消 息的合法性校验， 如果所述会话消息非法， 则对所述会话消息进行屏 蔽处理。
[权利要求 8] 如权利要求 7所述的装置， 其中， 所述会话消息处理模块包括：
合法性校验单元， 配置为在指定质检类型库中进行指定质检类型匹配 搜索， 得到匹配结果；
判定单元， 配置为如果所述匹配结果指示所述指定质检类型库中存在 与所述质检类型相匹配的指定质检类型， 则判定所述会话消息非法； 事件拦截单元， 配置为当所述会话消息非法时， 拦截所述会话消息对 应的消息发送事件， 并在所述会话页面中标识所述会话消息非法。
[权利要求 9] 如权利要求 8任一项所述的装置， 其中， 所述装置还包括：
会话消息显示模块， 配置为如果所述匹配结果指示所述指定质检类型 库中不存在与所述质检类型相匹配的指定质检类型， 则触发所述消息 发送事件在所述会话页面中进行所述会话消息的显示。
[权利要求 10] 如权利要求 7至 9任一项所述的装置， 其中， 所述装置还包括：
样本获取模块， 配置为获取标注有关键内容的训练样本及其质检类型 ; 模型构建模块， 配置为根据所述训练样本及其质检类型进行指定模 型结构的建模， 得到神经网络模型；
模型训练模块， 配置为对所述神经网络模型进行模型训练， 生成所述 质检模型。
[权利要求 11] 如权利要求 10所述的装置， 其中， 所述模型构建模块包括：
建模单元， 配置为针对不同质检类型的训练样本， 分别按照所述指定 模型结构进行建模， 得到多个神经网络模型， 每一个神经网络模型对 应一种质检类型。
[权利要求 12] 如权利要求 10所述的装置， 其中， 所述模型训练模块包括：
参数优化单元， 配置为初始化所述神经网络模型的模型参数， 并按照 指定算法对初始化的模型参数进行更新；
模型收敛单元， 配置为如果达到最大迭代次数或者更新的模型参数使 所述神经网络模型收敛， 则由所述神经网络模型收敛得到所述质检模 型。
[权利要求 13] 一种会话消息质检装置， 其中， 包括：
处理器； 及
存储器， 所述存储器上存储有计算机可读指令， 所述计算机可读指令 被所述处理器执行以下步骤：
在进行会话消息显示的会话页面中， 获取会话消息；
调用质检模型对所述会话消息的质检类型进行预测， 所述质检模型是 根据标注了关键内容的训练样本及其质检类型训练生成的； 根据预测得到的质检类型进行所述会话消息的合法性校验， 如果所述 会话消息非法， 则对所述会话消息进行屏蔽处理。
[权利要求 14] 如权利要求 13所述的装置， 其中， 所述根据预测得到的质检类型进行 所述会话消息的合法性校验， 如果所述会话消息非法， 对所述会话消 息进行屏蔽处理步骤中， 所述处理器执行以下步骤：
根据所述质检类型在指定质检类型库中进行指定质检类型匹配搜索， 得到匹配结果；
如果所述匹配结果指示所述指定质检类型库中存在与所述质检类型相 匹配的指定质检类型， 则判定所述会话消息非法； 当所述会话消息非法时， 拦截所述会话消息对应的消息发送事件， 并 在所述会话页面中标识所述会话消息非法。
[权利要求 15] 如权利要求 14所述的装置， 其中， 所述根据所述质检类型在指定质检 类型库中进行指定质检类型匹配搜索， 得到匹配结果步骤之后， 所述 处理器还执行以下步骤：
如果所述匹配结果指示所述指定质检类型库中不存在与所述质检类型 相匹配的指定质检类型， 则触发所述消息发送事件在所述会话页面中 进行所述会话消息的显示。
[权利要求 16] 如权利要求 13至 15任一项所述的装置， 其中， 所述处理器还执行以下 步骤：
获取标注有关键内容的训练样本及其质检类型； 根据所述训练样本及其质检类型进行指定模型结构的建模， 得到神经 网络模型； 对所述神经网络模型进行模型训练， 生成所述质检模型。
[权利要求 17] 如权利要求 16所述的装置， 其中， 所述根据所述训练样本及其质检类 型进行指定模型结构的建模， 得到神经网络模型步骤中， 所述处理器 执行以下步骤：
针对不同质检类型的训练样本， 分别按照所述指定模型结构进行建模 ， 得到多个神经网络模型， 每一个神经网络模型对应一种质检类型。
[权利要求 18] 如权利要求 16所述的装置， 其中， 所述对所述神经网络模型进行模型 训练， 生成所述质检模型步骤中， 所述处理器执行以下步骤： 初始化所述神经网络模型的模型参数， 并按照指定算法对初始化的模 型参数进行更新； 如果达到最大迭代次数或者更新的模型参数使所述神经网络模型收敛 ， 则由所述神经网络模型收敛得到所述质检模型。
[权利要求 19] 一种计算机可读存储介质， 其上存储有计算机程序， 其中， 所述计算 机程序被处理器执行以下步骤：
在进行会话消息显示的会话页面中， 获取会话消息；
调用质检模型对所述会话消息的质检类型进行预测， 所述质检模型是 根据标注了关键内容的训练样本及其质检类型训练生成的； 根据预测得到的质检类型进行所述会话消息的合法性校验， 如果所述 会话消息非法， 则对所述会话消息进行屏蔽处理。
[权利要求 20] 如权利要求 19所述的计算机可读存储介质， 其中， 所述根据预测得到 的质检类型进行所述会话消息的合法性校验， 如果所述会话消息非法 ， 对所述会话消息进行屏蔽处理步骤中， 所述处理器执行以下步骤： 根据所述质检类型在指定质检类型库中进行指定质检类型匹配搜索， 得到匹配结果；
如果所述匹配结果指示所述指定质检类型库中存在与所述质检类型相 匹配的指定质检类型， 则判定所述会话消息非法； 当所述会话消息非法时， 拦截所述会话消息对应的消息发送事件， 并 在所述会话页面中标识所述会话消息非法。
[权利要求 21] 如权利要求 20所述的计算机可读存储介质， 其中， 所述根据所述质检 类型在指定质检类型库中进行指定质检类型匹配搜索， 得到匹配结果 步骤之后， 所述处理器还执行以下步骤：
如果所述匹配结果指示所述指定质检类型库中不存在与所述质检类型 相匹配的指定质检类型， 则触发所述消息发送事件在所述会话页面中 进行所述会话消息的显示。
[权利要求 22] 如权利要求 19至 21任一项所述的计算机可读存储介质， 其中， 所述处 理器还执行以下步骤：
获取标注有关键内容的训练样本及其质检类型； 根据所述训练样本及其质检类型进行指定模型结构的建模， 得到神经 网络模型；
对所述神经网络模型进行模型训练， 生成所述质检模型。
[权利要求 23] 如权利要求 22所述的计算机可读存储介质， 其中， 所述根据所述训练 样本及其质检类型进行指定模型结构的建模， 得到神经网络模型步骤 中， 所述处理器执行以下步骤：
针对不同质检类型的训练样本， 分别按照所述指定模型结构进行建模 ， 得到多个神经网络模型， 每一个神经网络模型对应一种质检类型。
[权利要求 24] 如权利要求 22所述的计算机可读存储介质， 其中， 所述对所述神经网 络模型进行模型训练， 生成所述质检模型步骤中， 所述处理器执行以 下步骤：
初始化所述神经网络模型的模型参数， 并按照指定算法对初始化的模 型参数进行更新；
如果达到最大迭代次数或者更新的模型参数使所述神经网络模型收敛 ， 则由所述神经网络模型收敛得到所述质检模型。
PCT/CN2018/101560 2018-04-20 2018-08-21 会话消息质检方法及装置 Ceased WO2019200792A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201810359049.4A CN108737243A (zh) 2018-04-20 2018-04-20 会话消息质检方法及装置
CN201810359049.4 2018-04-20

Publications (1)

Publication Number Publication Date
WO2019200792A1 true WO2019200792A1 (zh) 2019-10-24

Family

ID=63939746

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/101560 Ceased WO2019200792A1 (zh) 2018-04-20 2018-08-21 会话消息质检方法及装置

Country Status (2)

Country Link
CN (1) CN108737243A (zh)
WO (1) WO2019200792A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113128390A (zh) * 2021-04-14 2021-07-16 北京奇艺世纪科技有限公司 抽检方法、装置、电子设备及存储介质
CN113595808A (zh) * 2020-04-30 2021-11-02 中国移动通信集团广东有限公司 一种工单质检方法、系统及服务器

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109740760B (zh) * 2018-12-25 2024-04-05 平安科技（深圳）有限公司 文本质检自动化训练方法、电子装置及计算机设备
CN110083689A (zh) * 2019-03-20 2019-08-02 上海拍拍贷金融信息服务有限公司 客户服务质量检测方法及装置、可读存储介质
CN110874405A (zh) * 2019-11-19 2020-03-10 深圳前海微众银行股份有限公司 服务质检方法、装置、设备与计算机可读存储介质
CN111522916B (zh) * 2020-04-20 2021-03-09 马上消费金融股份有限公司 一种语音服务质量检测方法、模型训练方法及装置
US11171904B1 (en) * 2020-05-06 2021-11-09 International Business Machines Corporation Message authentication using generative adversarial networks
CN111709630A (zh) * 2020-06-08 2020-09-25 深圳乐信软件技术有限公司 语音质检方法、装置、设备及存储介质
CN112035606A (zh) * 2020-08-18 2020-12-04 南京理言智能科技有限公司 用户语言规范提示系统
CN112802614B (zh) * 2021-01-27 2025-02-11 挂号网（杭州）科技有限公司 一种在线问诊方法、装置、设备及存储介质
CN113449088A (zh) * 2021-04-22 2021-09-28 阿里巴巴新加坡控股有限公司 数据处理方法、装置、存储介质及计算机程序产品
CN115242925A (zh) * 2022-06-02 2022-10-25 深圳追一科技有限公司 客服质检方法、装置、计算机设备和存储介质
CN115115291A (zh) * 2022-08-30 2022-09-27 深圳市星网信通科技有限公司 会话信息质检方法、装置及计算机可读存储介质

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030187937A1 (en) * 2002-03-28 2003-10-02 Yao Timothy Hun-Jen Using fuzzy-neural systems to improve e-mail handling efficiency
CN101069175A (zh) * 2003-10-03 2007-11-07 考维枸有限公司 动态消息过滤
US20080301250A1 (en) * 2007-05-29 2008-12-04 Michael Thomas Hardy Thread-based message prioritization
US20090228565A1 (en) * 2008-03-10 2009-09-10 Saraansh Software Solutions Pvt. Ltd. System for detecting information leakage in outbound e-mails without using the content of the mail
CN104009910A (zh) * 2014-05-28 2014-08-27 惠州Tcl移动通信有限公司 一种基于移动终端的消息推送处理方法、系统及移动终端
CN105847717A (zh) * 2016-05-30 2016-08-10 武汉斗鱼网络科技有限公司 一种弹幕举报的方法、客户端及服务器
CN106777028A (zh) * 2016-12-08 2017-05-31 北京奇虎科技有限公司 一种基于即时通讯软件的信息筛选方法及装置

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
HK1223209A1 (zh) * 2013-11-06 2017-07-21 卡尔加里科学股份有限公司 远程访问环境中客户端流量控制的设备和方法
CN105323145B (zh) * 2014-07-17 2020-09-04 腾讯科技（深圳）有限公司 恶意信息识别方法、恶意信息识别装置及系统
CN106372062A (zh) * 2016-09-18 2017-02-01 长沙军鸽软件有限公司 一种通讯消息中非文明用语的识别方法及装置
CN107451710B (zh) * 2017-04-27 2021-02-26 北京鼎泰智源科技有限公司 一种信息风险等级五级分类方法及系统
CN107330706A (zh) * 2017-06-06 2017-11-07 上海航动科技有限公司 一种基于人工智能的电营客服系统及商业运营模式

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030187937A1 (en) * 2002-03-28 2003-10-02 Yao Timothy Hun-Jen Using fuzzy-neural systems to improve e-mail handling efficiency
CN101069175A (zh) * 2003-10-03 2007-11-07 考维枸有限公司 动态消息过滤
US20080301250A1 (en) * 2007-05-29 2008-12-04 Michael Thomas Hardy Thread-based message prioritization
US20090228565A1 (en) * 2008-03-10 2009-09-10 Saraansh Software Solutions Pvt. Ltd. System for detecting information leakage in outbound e-mails without using the content of the mail
CN104009910A (zh) * 2014-05-28 2014-08-27 惠州Tcl移动通信有限公司 一种基于移动终端的消息推送处理方法、系统及移动终端
CN105847717A (zh) * 2016-05-30 2016-08-10 武汉斗鱼网络科技有限公司 一种弹幕举报的方法、客户端及服务器
CN106777028A (zh) * 2016-12-08 2017-05-31 北京奇虎科技有限公司 一种基于即时通讯软件的信息筛选方法及装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113595808A (zh) * 2020-04-30 2021-11-02 中国移动通信集团广东有限公司 一种工单质检方法、系统及服务器
CN113595808B (zh) * 2020-04-30 2023-07-11 中国移动通信集团广东有限公司 一种工单质检方法、系统及服务器
CN113128390A (zh) * 2021-04-14 2021-07-16 北京奇艺世纪科技有限公司 抽检方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
CN108737243A (zh) 2018-11-02

Similar Documents

Publication Publication Date Title
WO2019200792A1 (zh) 会话消息质检方法及装置
US11533330B2 (en) Determining risk metrics for access requests in network environments using multivariate modeling
US10740411B2 (en) Determining repeat website users via browser uniqueness tracking
WO2018120722A1 (zh) 异步接口测试方法、终端、设备、系统及存储介质
WO2022095518A1 (zh) 接口自动化测试方法、装置、计算机设备及存储介质
WO2019019356A1 (zh) 应用程序测试方法、装置、计算机设备和存储介质
CN113268336A (zh) 一种服务的获取方法、装置、设备以及可读介质
CN111598544B (zh) 用于处理信息的方法和装置
CN113158196A (zh) 登录验证方法、装置、设备和介质
CN114637672A (zh) 自动化数据测试方法、装置、计算机设备及存储介质
CN115712513A (zh) 调用接口的方法、装置、电子设备及存储介质
US11194904B2 (en) Security actions based on monitored computer and user physical activities
CN113822036B (zh) 一种隐私政策内容生成方法、装置及电子设备
CN115878653A (zh) 一种数据访问控制方法、装置、电子设备和存储介质
CN114840379A (zh) 日志生成方法、装置、服务器及存储介质
CN119537224A (zh) 一种业务系统的性能测试方法、装置、设备和存储介质
CN114936151B (zh) 调试页面的显示方法、装置、设备、存储介质及通信系统
CN113609516B (zh) 基于异常用户的信息生成方法、装置、电子设备和介质
CN113326506A (zh) 一种小程序监控方法及装置
CN115906131B (zh) 一种数据管理方法、系统、设备及存储介质
CN115859349B (zh) 一种数据脱敏方法、装置、电子设备及存储介质
CN120316822B (zh) 一种面向ai对象的敏感信息隔离处理方法及装置
CN119316194B (zh) 基于区块链的数据安全共享方法、装置、设备及存储介质
CN116453197B (zh) 人脸识别方法、装置、电子设备和计算机可读介质
US20230185705A1 (en) Systems and methods for validating a cloud-hosted application

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18915256

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

32PN Ep: public notification in the ep bulletin as address of the adressee cannot be established

Free format text: NOTING OF LOSS OF RIGHTS PURSUANT TO RULE 112(1) EPC (EPO FORM 1205A DATED 18/02/2021)

122 Ep: pct application non-entry in european phase

Ref document number: 18915256

Country of ref document: EP

Kind code of ref document: A1