CN109886258A - 提供多媒体信息的关联信息的方法、装置及电子设备 - Google Patents

Abstract

本申请涉及信息处理领域，公开了一种提供多媒体信息的关联信息的方法、装置及电子设备，其中，提供多媒体信息的关联信息的方法包括：确定当前播放的多媒体信息中满足预设条件的特定关键信息；接着查询预设知识库，获取与特定关键信息相对应的关联信息；接着将关联信息与当前播放的多媒体信息进行同步显示。本申请实施例的方法，使得用户在当前观看多媒体信息的过程中，无需中断观看过程并手动搜索不了解的或不清楚的关键信息，即可通过与当前播放的多媒体信息同步显示的关联信息，快速了解其中的关键信息，极大提升用户的观看体验。

Description

提供多媒体信息的关联信息的方法、装置及电子设备

技术领域

本申请涉及信息处理技术领域，具体而言，本申请涉及一种提供多媒体信息的关联信息的方法、装置及电子设备。

背景技术

随着互联网技术及移动通信技术的发展，用户可以通过在智能手机、IPAD等智能移动终端上安装相应的客户端(例如各种各样的应用程序)，来访问、获取各种信息，例如通过自媒体的应用程序查看各种新闻，又例如通过视频应用程序观看娱乐类视频、时政类视频等。

其中，时政类视频经常在语音内容中携带有一些专有名词，或者在视频画面中出现相应的名人、景物、术语、网络流行语等等，是视频观看者不了解、不清楚的。比如，在一段涉及时政的新闻类语音中或视频画面上出现“进博会”这样一个专有名词，由于视频观看者在这个特定的视频播放场景下，对“进博会”这个专有名词并不了解，所以需要中断视频观看，并通过字典或百科类网站搜索“进博会”的相关信息。本申请的发明人在具体实施过程中发现：虽然中断视频并搜索专有名词的相关信息的操作方法，能够在一定程度上满足用户对相关信息的了解，但是极不利于用户的认知体验，尤其是当视频内容比较长或者涉及内容比较多时，需要视频观看者频繁中断视频观看过程，对视频观看者造成极差的用户体验。

发明内容

本申请的目的旨在至少能解决上述的技术缺陷之一，特提出以下技术方案：

第一方面，提供了一种提供多媒体信息的关联信息的方法，包括：

确定当前播放的多媒体信息中满足预设条件的特定关键信息；

查询预设知识库，获取与特定关键信息相对应的关联信息；

将关联信息与当前播放的多媒体信息进行同步显示。

具体地，确定当前播放的多媒体信息中满足预设条件的特定关键信息，包括：

对当前播放的多媒体信息进行模式识别，识别确定满足预设条件的特定关键信息，所述模式识别包括以下至少一项：文字识别、图像识别及语音识别。

进一步地，对当前播放的多媒体信息进行模式识别，识别确定满足预设条件的特定关键信息，包括：

根据图像帧提取技术，对当前播放的多媒体信息进行关键帧提取，得到至少一帧图像帧；

对至少一帧图像帧分别进行模式识别，识别确定满足预设条件的特定关键信息。

进一步地，对至少一帧图像帧分别进行模式识别，识别确定满足预设条件的特定关键信息，包括以下至少一项：

基于光学字符识别OCR技术，对至少一帧图像帧分别进行识别，识别确定满足预设条件的文字信息；

基于图像识别技术，对至少一帧图像帧分别进行图像识别，识别确定满足预设条件的图像信息。

进一步地，基于光学字符识别OCR技术，对至少一帧图像帧分别进行识别，识别确定满足预设条件的文字信息，包括：

对至少一帧图像帧进行筛选，获取具有完整字幕的图像帧；

基于OCR技术，从具有完整字幕的图像帧中获取字幕信息，并从字幕信息中提取满足预设条件的文字信息。

进一步地，对当前播放的多媒体信息进行模式识别，识别确定满足预设条件的特定关键信息，包括：

基于语音识别技术，对当前播放的多媒体信息进行语音识别，得到对应的文字信息；

对文字信息进行提取，得到满足预设条件的特定关键信息。

进一步地，将关联信息与当前播放的多媒体信息进行同步显示的方式，包括以下任一种：

将关联信息以弹幕的方式，显示在播放多媒体信息的显示窗口的预定位置；

在播放多媒体信息的显示窗口的任一外侧创建第一显示窗口，并在第一显示窗口中显示关联信息；

在播放多媒体信息的显示窗口中创建第二显示窗口，并在第二显示窗口中播放关联信息，第二显示窗口与多媒体信息的显示窗口具有重叠部分。

进一步地，在对当前播放的多媒体信息进行模式识别之前，还包括：

通过标准数据接口协议与多媒体播放器进行程序间通信，从多媒体播放器获取当前播放的多媒体信息。

进一步地，查询预设知识库，包括：

通过以下任一种通讯方式与预设知识库进行信息交互，来查询预设知识库：

进程间通讯；线程间通讯；基于互联网协议TCP/IP的通讯；基于超文本传输协议HTTP的通讯；基于超文本传输安全协议HTTPS的通讯。

第二方面，提供了一种提供多媒体信息的关联信息的装置，包括：

确定模块，用于确定当前播放的多媒体信息中满足预设条件的特定关键信息；

查询模块，用于查询预设知识库，获取与特定关键信息相对应的关联信息；

显示模块，用于将关联信息与当前播放的多媒体信息进行同步显示。

具体地，确定模块具体用于对当前播放的多媒体信息进行模式识别，识别确定满足预设条件的特定关键信息，模式识别包括以下至少一项：文字识别、图像识别及语音识别。

进一步地，确定模块包括第一提取子模块与模式识别子模块；

第一提取子模块，用于根据图像帧提取技术，对当前播放的多媒体信息进行关键帧提取，得到至少一帧图像帧；

模式识别子模块，用于对至少一帧图像帧分别进行模式识别，识别确定满足预设条件的特定关键信息。

进一步地，模式识别子模块具体用于基于光学字符识别OCR技术，对至少一帧图像帧分别进行识别，识别确定满足预设条件的文字信息；和/或，用于基于图像识别技术，对至少一帧图像帧分别进行图像识别，识别确定满足预设条件的图像信息。

进一步地，模式识别子模块具体用于对至少一帧图像帧进行筛选，获取具有完整字幕的图像帧；以及用于基于OCR技术，从具有完整字幕的图像帧中获取字幕信息，并从字幕信息中提取满足预设条件的文字信息。

进一步地，确定模块包括语音识别子模块与第二提取子模块；

语音识别子模块，用于基于语音识别技术，对当前播放的多媒体信息进行语音识别，得到对应的文字信息；

第二提取子模块，用于对文字信息进行提取，得到满足预设条件的特定关键信息。

进一步地，显示模块具体用于将关联信息以弹幕的方式，显示在播放多媒体信息的显示窗口的预定位置；或，用于在播放多媒体信息的显示窗口的任一外侧创建第一显示窗口，并在第一显示窗口中显示关联信息；或，用于在播放多媒体信息的显示窗口中创建第二显示窗口，并在第二显示窗口中播放关联信息，第二显示窗口与多媒体信息的显示窗口具有重叠部分。

进一步地，还包括获取模块；

获取模块，用于通过标准数据接口协议与多媒体播放器进行程序间通信，从多媒体播放器获取当前播放的多媒体信息。

进一步地，查询模块具体用于通过以下任一种通讯方式与预设知识库进行信息交互，来查询预设知识库：

进程间通讯；线程间通讯；基于互联网协议TCP/IP的通讯；基于超文本传输协议HTTP的通讯；基于超文本传输安全协议HTTPS的通讯。

第三方面，提供了一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行所述程序时实现上述的提供多媒体信息的关联信息的方法。

第四方面，提供了一种计算机可读存储介质，计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现上述的提供多媒体信息的关联信息的方法。

本申请实施例提供的提供多媒体信息的关联信息的方法，通过确定当前播放的多媒体信息中满足预设条件的特定关键信息，以及查询预设知识库，获取与特定关键信息相对应的关联信息，并将关联信息与当前播放的多媒体信息进行同步显示，使得用户在当前观看多媒体信息的过程中，无需中断观看过程并手动搜索不了解的或不清楚的关键信息，即可通过与当前播放的多媒体信息同步显示的关联信息，快速了解其中的关键信息，有效避免对用户的认知体验造成影响，极大提升用户的观看体验。

本申请附加的方面和优点将在下面的描述中部分给出，这些将从下面的描述中变得明显，或通过本申请的实践了解到。

附图说明

本申请上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为本申请实施例的提供多媒体信息的关联信息的方法的流程示意图；

图2为本申请实施例的提供多媒体信息的关联信息的方法的基本结构示意图；

图3为本申请实施例的分析服务的分析过程示意图；

图4为本申请实施例的通过多媒体信息得到特定关键信息的示意图；

图5为本申请实施例的通过音频数据得到特定关键信息的示意图；

图6为本申请实施例的特定关键信息的图文展示的示意图；

图7为本申请实施例的特定关键信息的“画中画”展示的示意图；

图8为本申请实施例的提取和展示特定关键信息的示意图；

图9为本申请实施例的提供多媒体信息的关联信息的装置的基本结构示意图；

图10为本申请实施例的提供多媒体信息的关联信息的装置的详细结构示意图；

图11为本申请实施例的电子设备的结构示意图。

具体实施方式

下面详细描述本申请的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，仅用于解释本申请，而不能解释为对本申请的限制。

本技术领域技术人员可以理解，除非特意声明，这里使用的单数形式“一”、“一个”、“所述”和“该”也可包括复数形式。应该进一步理解的是，本申请的说明书中使用的措辞“包括”是指存在所述特征、整数、步骤、操作、元件和/或组件，但是并不排除存在或添加一个或多个其他特征、整数、步骤、操作、元件、组件和/或它们的组。应该理解，当我们称元件被“连接”或“耦接”到另一元件时，它可以直接连接或耦接到其他元件，或者也可以存在中间元件。此外，这里使用的“连接”或“耦接”可以包括无线连接或无线耦接。这里使用的措辞“和/或”包括一个或更多个相关联的列出项的全部或任一单元和全部组合。

为使本申请的目的、技术方案和优点更加清楚，下面将结合附图对本申请实施方式作进一步地详细描述。

下面以具体地实施例对本申请的技术方案以及本申请的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本申请的实施例进行描述。

实施例一

本申请实施例提供了一种提供多媒体信息的关联信息的方法，如图1所示，包括：

步骤S110，确定当前播放的多媒体信息中满足预设条件的特定关键信息。

具体地，为了帮助多媒体信息观看者，在多媒体信息播放过程中快速构建相关知识信息，可以在播放多媒体信息的过程中，确定当前播放的多媒体信息中满足预设条件的特定关键信息。

步骤S120，查询预设知识库，获取与特定关键信息相对应的关联信息。

具体地，目前计算机多媒体信息模式识别技术已经比较成熟，可以将多媒体信息识别过程得到的分析结果(例如上述的特定关键信息)，与预设知识库的检索进行关联，从而得到特定关键信息的关联信息。

步骤S130，将关联信息与当前播放的多媒体信息进行同步显示。

具体地，通过查询预设知识库，得到特定关键信息对应的关联信息后，可以将该关联信息与当前播放的多媒体信息同步显示，从而可以在不中断多媒体信息观看的同时，快速了解相关知识信息。

本申请实施例的提供多媒体信息的关联信息的方法，与现有技术相比，通过确定当前播放的多媒体信息中满足预设条件的特定关键信息，以及查询预设知识库，获取与特定关键信息相对应的关联信息，并将关联信息与当前播放的多媒体信息进行同步显示，使得用户在当前观看多媒体信息的过程中，无需中断观看过程并手动搜索不了解的或不清楚的关键信息，即可通过与当前播放的多媒体信息同步显示的关联信息，快速了解其中的关键信息，有效避免对用户的认知体验造成影响，极大提升用户的观看体验。

本申请实施例提供了另一种可能的实现方式，其中，确定当前播放的多媒体信息中满足预设条件的特定关键信息，包括：对当前播放的多媒体信息进行模式识别，识别确定满足预设条件的特定关键信息，模式识别包括以下至少一项：文字识别、图像识别及语音识别。

在步骤S110之前还包括步骤S100(图中未标注)：通过标准数据接口协议与多媒体播放器进行程序间通信，从多媒体播放器获取当前播放的多媒体信息。

步骤S110包括步骤S1101(图中未标注)与步骤S1102(图中未标注)，其中：

步骤S1101：根据图像帧提取技术，对当前播放的多媒体信息进行关键帧提取，得到至少一帧图像帧。

步骤S1102：对至少一帧图像帧分别进行模式识别，识别确定满足预设条件的特定关键信息。

具体地，对至少一帧图像帧分别进行模式识别，识别确定满足预设条件的特定关键信息，包括以下至少一项：

基于光学字符识别OCR技术，对至少一帧图像帧分别进行识别，识别确定满足预设条件的文字信息；

基于图像识别技术，对至少一帧图像帧分别进行图像识别，识别确定满足预设条件的图像信息。

进一步地，基于光学字符识别OCR技术，对至少一帧图像帧分别进行识别，识别确定满足预设条件的文字信息，包括：

对至少一帧图像帧进行筛选，获取具有完整字幕的图像帧；

基于OCR技术，从具有完整字幕的图像帧中获取字幕信息，并从字幕信息中提取满足预设条件的文字信息。

进一步地，步骤S110包括步骤S1103(图中未标注)与步骤S1104(图中未标注)，其中：

步骤S1103：基于语音识别技术，对当前播放的多媒体信息进行语音识别，得到对应的文字信息；

步骤S1104：对文字信息进行提取，得到满足预设条件的特定关键信息。

下面对本实现方式涉及的相关内容进行具体介绍：

具体地，为了帮助多媒体信息观看者，在多媒体信息播放过程中快速构建相关知识信息，在终端设备播放多媒体信息的过程中，可以通过文字识别、图像识别及语音识别等模式识别技术，对当前播放的多媒体信息进行模式识别，识别确定当前播放的多媒体信息中满足预设条件的特定关键信息，并根据识别的特定关键信息查询预设知识库，选取与特定关键信息相对应的关联信息，并在多媒体信息的播放过程中进行同步显示。其中，若当前播放的多媒体信息中包括预存储于关键信息库中的概念、简称、新潮词语、网络流行语、人物、物体、画面场景等时，则该多媒体信息中包括的概念、简称、新潮词语、网络流行语、人物、物体、画面场景等，即为满足预设条件的特定关键信息。

具体地，本申请实施例的方法可以对多媒体信息中的语音、图像(例如画面场景、物体、人脸等)及文字等进行多模态识别。在对当前播放的多媒体信息进行模式识别时，可以先检测该待识别的多媒体信息是否为语音数据，如果是语音数据，则可以通过语音识别技术对该待识别的多媒体信息进行语音识别，如果待识别的多媒体信息不是语音数据，而是图像数据，则可以通过图像识别技术对该待识别的多媒体信息进行图像识别。其中，在对图像数据进行识别的过程中，需要检测待识别的图像数据中是否包括文字信息，若包括文字信息，则不仅需要通过图像识别技术对待识别的图像数据进行图像识别，还需要通过文字识别技术对待识别的图像数据中包括的文字信息进行识别。

需要说明的是，如果待识别的多媒体信息为图像数据，需要先根据图像帧提取技术，对当前播放的多媒体信息进行关键帧提取，得到至少一帧图像帧；再对该至少一帧图像帧分别进行图像识别和/或文字识别，识别确定满足预设条件的特定关键信息，即对图像帧进行的模式识别为图像识别和/或文字识别。

具体地，本申请实施例的方法可以概括为分析服务、信息检索服务、信息呈现服务三部分。其中，分析服务主要采用文字识别、图像识别、语音识别技术，对当前播放的多媒体信息中的内容进行检测，得到满足预设条件的特定关键信息；信息检索服务负责将分析服务检测得到的特定关键信息，通过预设知识库进行检索，并得到该特定关键信息对应的关联信息；信息呈现服务负责将信息检索服务获得的关联信息，在显示设备中与当前播放的多媒体信息进行同步显示。

具体地，本申请实施例的方法在多媒体信息播放程序运行时同步执行，故分析服务可以通过标准数据接口协议与多媒体信息播放器进行程序间通信，获取当前正在播放的多媒体信息，为后续对当前播放的多媒体信息进行模式识别奠定必要基础。

具体地，信息检索服务也具备程序间通信机制，其从另一个程序检索预设知识库得到相关信息，并将相关信息传递到后续的信息呈现服务进行同步信息呈现。其中，如果预设知识库与本申请实施例的方法运行在同一终端设备中，则可以采用进程间或线程间通讯模式进行相关信息检索，如果预设知识库与本申请实施例的方法运行在不同的终端设备中，则可以支持但不限于基于互联网协议TCP/IP的通讯、基于超文本传输协议HTTP的通讯及基于超文本传输安全协议HTTPS的通讯。

进一步地，图2给出本申请实施例的方法的基本结构，包括多媒体信息210、预设知识库230以及包括分析服务221、信息检索服务222和信息呈现服务223的220。其中，分析服务221从210得到当前播放的多媒体信息，该多媒体信息可能来自多媒体播放应用程序，分析服务221通过标准数据接口协议与多媒体播放应用程序进行程序间通信，获取当前播放的多媒体信息，并对该多媒体信息进行分析，得到满足预设条件的特定关键信息，然后将特定关键信息传输给信息检索服务222。信息检索服务222接收到221传来的特定关键信息后，通过预设知识库230进行信息查询，得到与特定关键信息相对应的关联信息，然后将关联信息传输给信息呈现服务223。信息呈现服务223接收到222传来的关联信息后，根据关联信息的格式的不同，在信息呈现服务中以不同的形式呈现。

进一步地，图3为分析服务的分析过程示意图，包括多媒体信息310、分析服务320及分析结果330。其中，分析服务320包括但不限于三种实现方式：OCR识别、语音识别以图像中的人物、景物、物品的图像识别。

其中，OCR识别是先通过图像帧提取技术324对当前播放的多媒体信息进行关键帧提取，得到至少一帧图像帧，然后通过OCR识别技术323得到该至少一帧图像帧里的文字信息，最后提取文字信息中满足预设条件的特定关键信息。图像中人物、景物、物品识别技术322是通过对图像连续帧中人物进行人脸识别，以及对景物、物品等进行图像识别，筛选出图像画面里的人、景、物等特定关键信息。语音识别325利用当下流行技术从音频数据中得到文字信息和特定关键信息。将332、323及325三种识别方式得到的特定关键信息进行汇总，即可得到分析结果330。

进一步地，图4为通过多媒体信息得到特定关键信息的示意图。在图4中，从连续图像帧画面410中按照要求筛选出具有完整字幕的图像帧420，其中运用了图像帧提取技术451，然后通过OCR识别技术453，从图像帧420中将字幕信息提取出来，并得到满足预设条件的文字信息，即特定关键信息440，最后通过图像中场景、物品识别和人脸识别技术452，得到图像帧中包含的人、景、物等满足预设条件的特定关键信息430。

进一步地，图5为通过音频数据得到特定关键信息的示意图。从多媒体信息510中分离得到音频数据520，然后通过语音识别技术530得到音频数据对应的文字信息541，并对该文字信息541进行提取，得到满足预设条件的特定关键信息542。

本申请实施例提供了另一种可能的实现方式，其中，将关联信息与当前播放的多媒体信息进行同步显示的方式，包括以下任一种：

将关联信息以弹幕的方式，显示在播放多媒体信息的显示窗口的预定位置；

在播放多媒体信息的显示窗口的任一外侧创建第一显示窗口，并在第一显示窗口中显示关联信息；

在播放多媒体信息的显示窗口中创建第二显示窗口，并在第二显示窗口中播放关联信息，第二显示窗口与多媒体信息的显示窗口有重叠部分。

具体地，图6为特定关键信息的图文展示的示意图，其中，610为多媒体播放设备的显示窗口，620是设备正在播放的多媒体信息，630是多媒体信息播放时特定关键信息的相关介绍和知识点等，630可以以弹幕的方式，显示在播放多媒体信息的显示窗口的预定位置，也可以以侧边栏的形式，显示在播放多媒体信息的显示窗口的预定位置，例如，在播放多媒体信息的显示窗口的任一外侧创建第一显示窗口，并在该第一显示窗口中同步显示关联信息。

具体地，图7为特定关键信息的“画中画”展示的示意图，其中，710为多媒体播放设备的显示窗口，720是设备正在播放的多媒体信息，730是一个小的多媒体信息的显示窗口，展示在显示窗口710的某块区域内，形成类似“画中画”的效果。在显示窗口710中播放多媒体信息的同时，将多媒体信息的特定关键信息在小显示窗口730中展示，小显示窗口730与多媒体信息的显示窗口710具有重叠部分。

进一步地，图8给出了本申请实施例提取和展示特定关键信息的优选方法800的流程示意图。在图8中，当接收到多媒体信息时，本申请实施例的方法810开始被调用，从而得到多媒体信息的数据，例如音频数据源和视频数据源；接着通过820将数据缓存；接着经过830判断数据源类型是否为语音数据，如果是语音数据，则进入831进行语音识别，将语音数据转换对应的文字信息，并提取出其中满足预设条件的特定关键信息，如果是图像数据，则进入832，通过图像帧提取技术，得到至少一帧图像帧，对于该至少一帧图像帧，首先通过OCR识别技术833，得到图像帧中的文字信息，并且提取出其中的特定关键信息，然后结合人脸识别技术834，并匹配知识数据库，得到图像帧中的名人信息这一特定关键信息，最后通过场景、物品识别技术835，从知识数据库得到图像帧中的名景和特殊物体相关信息等特定关键信息；接着将831、833、834、835得到的特定关键信息，整理汇合成最终的识别结果信息840；接着执行850：将840得到的识别结果信息发送到预设知识库进行检索，并返回检索结果860(即特定关键信息对应的关联信息)，其中，返回的结果有两种格式，一种是视频格式，另一种是图文格式；接着执行870判断检索结果的类型，如果是图文格式，则执行871以图文形式呈现，呈现形式可以参考上述图6，如果是视频格式，则通过872接收视频数据，并对接收到的视频数据进行处理，比如关闭声音、压缩等，通过873以“画中画”的形式呈现，呈现形式可以参考上述图7。

其中，本申请实施例的方法与以前的系统相比具有显著的优点，本申请实施例的方法可以结合多媒体信息模式识别技术的开放式数目和类型，从而可以对每个识别的结构进行关联并进行同步呈现。

实施例二

图9为本申请实施例的提供多媒体信息的关联信息的装置的结构示意图，如图9所示，该装置90可以包括确定模块91、查询模块92与显示模块93，其中：

确定模块91用于确定当前播放的多媒体信息中满足预设条件的特定关键信息；

查询模块92用于查询预设知识库，获取与特定关键信息相对应的关联信息；

显示模块93用于将关联信息与当前播放的多媒体信息进行同步显示。

具体地，确定模块91具体用于对当前播放的多媒体信息进行模式识别，识别确定满足预设条件的特定关键信息，模式识别包括以下至少一项：文字识别、图像识别及语音识别。

进一步地，确定模块91包括第一提取子模块911与模式识别子模块912，如图10所示，其中：

第一提取子模块911用于根据图像帧提取技术，对当前播放的多媒体信息进行关键帧提取，得到至少一帧图像帧；

模式识别子模块912用于对至少一帧图像帧分别进行模式识别，识别确定满足预设条件的特定关键信息。

进一步地，模式识别子模块912具体用于基于光学字符识别OCR技术，对至少一帧图像帧分别进行识别，识别确定满足预设条件的文字信息；和/或，用于基于图像识别技术，对至少一帧图像帧分别进行图像识别，识别确定满足预设条件的图像信息。

进一步地，模式识别子模块912具体用于对至少一帧图像帧进行筛选，获取具有完整字幕的图像帧；以及用于基于OCR技术，从具有完整字幕的图像帧中获取字幕信息，并从字幕信息中提取满足预设条件的文字信息。

进一步地，确定模块91包括语音识别子模块913与第二提取子模块914，如图10所示，其中：

语音识别子模块913用于基于语音识别技术，对当前播放的多媒体信息进行语音识别，得到对应的文字信息；

第二提取子模块914，用于对文字信息进行提取，得到满足预设条件的特定关键信息。

进一步地，显示模块93具体用于将关联信息以弹幕的方式，显示在播放多媒体信息的显示窗口的预定位置；或，用于在播放多媒体信息的显示窗口的任一外侧创建第一显示窗口，并在第一显示窗口中显示关联信息；或，用于在播放多媒体信息的显示窗口中创建第二显示窗口，并在第二显示窗口中播放关联信息，第二显示窗口与多媒体信息的显示窗口具有重叠部分。

进一步地，还包括获取模块94，如图10所示，其中：

获取模块94用于通过标准数据接口协议与多媒体播放器进行程序间通信，从多媒体播放器获取当前播放的多媒体信息。

进一步地，查询模块92具体用于通过以下任一种通讯方式与预设知识库进行信息交互，来查询预设知识库：

进程间通讯；线程间通讯；基于互联网协议TCP/IP的通讯；基于超文本传输协议HTTP的通讯；基于超文本传输安全协议HTTPS的通讯。

本申请实施例提供的装置，与现有技术相比，通过确定当前播放的多媒体信息中满足预设条件的特定关键信息，以及查询预设知识库，获取与特定关键信息相对应的关联信息，并将关联信息与当前播放的多媒体信息进行同步显示，使得用户在当前观看多媒体信息的过程中，无需中断观看过程并手动搜索不了解的或不清楚的关键信息，即可通过与当前播放的多媒体信息同步显示的关联信息，快速了解其中的关键信息，有效避免对用户的认知体验造成影响，极大提升用户的观看体验。

实施例三

本申请实施例提供了一种电子设备，如图11所示，图11所示的电子设备1100包括：处理器1101和存储器1103。其中，处理器1101和存储器1103相连，如通过总线1102相连。进一步地，电子设备1100还可以包括收发器1104。需要说明的是，实际应用中收发器1104不限于一个，该电子设备1100的结构并不构成对本申请实施例的限定。

其中，处理器1101应用于本申请实施例中，用于实现图9或图10所示的确定模块、查询模块及显示模块的功能，以及图10所示的获取模块的功能。

处理器1101可以是CPU，通用处理器，DSP，ASIC，FPGA或者其他可编程逻辑器件、晶体管逻辑器件、硬件部件或者其任意组合。其可以实现或执行结合本申请公开内容所描述的各种示例性的逻辑方框，模块和电路。处理器1101也可以是实现计算功能的组合，例如包含一个或多个微处理器组合，DSP和微处理器的组合等。

总线1102可包括一通路，在上述组件之间传送信息。总线1102可以是PCI总线或EISA总线等。总线1102可以分为地址总线、数据总线、控制总线等。为便于表示，图11中仅用一条粗线表示，但并不表示仅有一根总线或一种类型的总线。

存储器1103可以是ROM或可存储静态信息和指令的其他类型的静态存储设备，RAM或者可存储信息和指令的其他类型的动态存储设备，也可以是EEPROM、CD-ROM或其他光盘存储、光碟存储(包括压缩光碟、激光碟、光碟、数字通用光碟、蓝光光碟等)、磁盘存储介质或者其他磁存储设备、或者能够用于携带或存储具有指令或数据结构形式的期望的程序代码并能够由计算机存取的任何其他介质，但不限于此。

存储器1103用于存储执行本申请方案的应用程序代码，并由处理器1101来控制执行。处理器1101用于执行存储器1103中存储的应用程序代码，以实现图9或图10所示实施例的提供多媒体信息的关联信息的装置的动作。

本申请实施例提供的电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，处理器执行程序时，与现有技术相比，可实现：通过确定当前播放的多媒体信息中满足预设条件的特定关键信息，以及查询预设知识库，获取与特定关键信息相对应的关联信息，并将关联信息与当前播放的多媒体信息进行同步显示，使得用户在当前观看多媒体信息的过程中，无需中断观看过程并手动搜索不了解的或不清楚的关键信息，即可通过与当前播放的多媒体信息同步显示的关联信息，快速了解其中的关键信息，有效避免对用户的认知体验造成影响，极大提升用户的观看体验。

本申请实施例提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现实施例一所示的方法。与现有技术相比，通过确定当前播放的多媒体信息中满足预设条件的特定关键信息，以及查询预设知识库，获取与特定关键信息相对应的关联信息，并将关联信息与当前播放的多媒体信息进行同步显示，使得用户在当前观看多媒体信息的过程中，无需中断观看过程并手动搜索不了解的或不清楚的关键信息，即可通过与当前播放的多媒体信息同步显示的关联信息，快速了解其中的关键信息，有效避免对用户的认知体验造成影响，极大提升用户的观看体验。

本申请实施例提供的计算机可读存储介质适用于上述方法的任一实施例。在此不再赘述。

应该理解的是，虽然附图的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，其可以以其他的顺序执行。而且，附图的流程图中的至少一部分步骤可以包括多个子步骤或者多个阶段，这些子步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，其执行顺序也不必然是依次进行，而是可以与其他步骤或者其他步骤的子步骤或者阶段的至少一部分轮流或者交替地执行。

以上所述仅是本申请的部分实施方式，应当指出，对于本技术领域的普通技术人员来说，在不脱离本申请原理的前提下，还可以做出若干改进和润饰，这些改进和润饰也应视为本申请的保护范围。

Claims (12)

1.一种提供多媒体信息的关联信息的方法，其特征在于，包括：

确定当前播放的多媒体信息中满足预设条件的特定关键信息；

查询预设知识库，获取与所述特定关键信息相对应的关联信息；

将所述关联信息与所述当前播放的多媒体信息进行同步显示。

2.根据权利要求1所述的方法，其特征在于，所述确定当前播放的多媒体信息中满足预设条件的特定关键信息，包括：

对当前播放的多媒体信息进行模式识别，识别确定满足预设条件的特定关键信息，所述模式识别包括以下至少一项：文字识别、图像识别及语音识别。

3.根据权利要求2所述的方法，其特征在于，所述对当前播放的多媒体信息进行模式识别，识别确定满足预设条件的特定关键信息，包括：

根据图像帧提取技术，对当前播放的多媒体信息进行关键帧提取，得到至少一帧图像帧；

对所述至少一帧图像帧分别进行模式识别，识别确定满足预设条件的特定关键信息。

4.根据权利要求3所述的方法，其特征在于，对所述至少一帧图像帧分别进行模式识别，识别确定满足预设条件的特定关键信息，包括以下至少一项：

基于光学字符识别OCR技术，对所述至少一帧图像帧分别进行识别，识别确定满足预设条件的文字信息；

基于图像识别技术，对所述至少一帧图像帧分别进行图像识别，识别确定满足预设条件的图像信息。

5.根据权利要求4所述的方法，其特征在于，所述基于光学字符识别OCR技术，对所述至少一帧图像帧分别进行识别，识别确定满足预设条件的文字信息，包括：

对所述至少一帧图像帧进行筛选，获取具有完整字幕的图像帧；

基于OCR技术，从所述具有完整字幕的图像帧中获取字幕信息，并从所述字幕信息中提取满足预设条件的文字信息。

6.根据权利要求2所述的方法，其特征在于，所述对当前播放的多媒体信息进行模式识别，识别确定满足预设条件的特定关键信息，包括：

基于语音识别技术，对当前播放的多媒体信息进行语音识别，得到对应的文字信息；

对所述文字信息进行提取，得到满足预设条件的特定关键信息。

7.根据权利要求1-6任一项所述的方法，其特征在于，将所述关联信息与所述当前播放的多媒体信息进行同步显示的方式，包括以下任一种：

将所述关联信息以弹幕的方式，显示在播放所述多媒体信息的显示窗口的预定位置；

在播放所述多媒体信息的显示窗口的任一外侧创建第一显示窗口，并在第一显示窗口中显示所述关联信息；

在播放所述多媒体信息的显示窗口中创建第二显示窗口，并在第二显示窗口中播放所述关联信息，所述第二显示窗口与所述多媒体信息的显示窗口具有重叠部分。

8.根据权利要求1所述的方法，其特征在于，在所述对当前播放的多媒体信息进行模式识别之前，还包括：

通过标准数据接口协议与多媒体播放器进行程序间通信，从所述多媒体播放器获取当前播放的多媒体信息。

9.根据权利要求1所述的方法，其特征在于，所述查询预设知识库，包括：

通过以下任一种通讯方式与所述预设知识库进行信息交互，来查询所述预设知识库：

进程间通讯；线程间通讯；基于互联网协议TCP/IP的通讯；基于超文本传输协议HTTP的通讯；基于超文本传输安全协议HTTPS的通讯。

10.一种提供多媒体信息的关联信息的装置，其特征在于，包括：

确定模块，用于确定当前播放的多媒体信息中满足预设条件的特定关键信息；

查询模块，用于查询预设知识库，获取与所述特定关键信息相对应的关联信息；

显示模块，用于将所述关联信息与所述当前播放的多媒体信息进行同步显示。

11.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述程序时实现权利要求1-9任一项所述的提供多媒体信息的关联信息的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，该程序被处理器执行时实现权利要求1-9任一项所述的提供多媒体信息的关联信息的方法。