CN105975566A - 基于图像的信息搜索方法及装置 - Google Patents

Abstract

本发明适用于电子终端技术领域，提供了基于图像的信息搜索方法及装置，包括：启动移动终端的摄像头，并启动光发射装置；获取所述摄像头拍摄的第一图像，在所述第一图像中，所述光发射装置的光投射点位于搜索对象所处矩形区域的第一顶点；获取所述摄像头拍摄的第二图像，在所述第二图像中，所述光发射装置的光投射点位于所述矩形区域的第二顶点，所述第二顶点与所述第一顶点为所述矩形区域的对角顶点；基于所述第一图像和所述第二图像中光投射点的位置构建矩形框；对所述矩形框中的图像进行内容识别以确定搜索对象，并获取搜索结果。在本发明降低了在图像中对搜索对象进行截取的难度，提高了搜索过程中的信息匹配效率。

Description

基于图像的信息搜索方法及装置

技术领域

本发明属于电子终端技术领域，尤其涉及基于图像的信息搜索方法及装置。

背景技术

目前，市面上的很多电子教育产品都可以实现拍照搜题功能，通过拍摄单词或词组以搜索对应的释义，或者通过拍摄题目以搜索对应的答案。拍照搜题功能的实现需要经过以下步骤：启动摄像头－对焦拍照－在图像中截取搜索对象－通过OCR技术将搜索对象转换成文本－服务器搜索并匹配搜索结果－服务器将搜索结果反馈给电子终端。

在拍照搜索功能的实现过程中，页面中搜索对象与非搜索对象的间距可能非常窄，或者由于摄像头与页面不平行导致拍摄出的搜索对象在图像中倾斜，以上情况均会提高在图像中对搜索对象进行截取的难度，由此加大了系统后台对搜索对象的识别难度，降低了拍照搜题过程中的信息匹配效率。

发明内容

有鉴于此，本发明实施例提供了基于图像的信息搜索方法及装置，以解决现有技术会提高在图像中对搜索对象进行截取的难度，降低搜索过程中的信息匹配效率的问题。

第一方面，提供了基于图像的信息搜索方法，包括：

启动移动终端的摄像头，并启动光发射装置；

获取所述摄像头拍摄的第一图像，在所述第一图像中，所述光发射装置的光投射点位于搜索对象所处矩形区域的第一顶点；

获取所述摄像头拍摄的第二图像，在所述第二图像中，所述光发射装置的光投射点位于所述矩形区域的第二顶点，所述第二顶点与所述第一顶点为所述矩形区域的对角顶点；

基于所述第一图像和所述第二图像中光投射点的位置构建矩形框；

对所述矩形框中的图像进行内容识别以确定搜索对象，并获取搜索结果。

第二方面，提供了基于图像的信息搜索装置，包括：

启动单元，用于启动移动终端的摄像头，并启动光发射装置；

第一获取单元，用于获取所述摄像头拍摄的第一图像，在所述第一图像中，所述光发射装置的光投射点位于搜索对象所处矩形区域的第一顶点；

第二获取单元，用于获取所述摄像头拍摄的第二图像，在所述第二图像中，所述光发射装置的光投射点位于所述矩形区域的第二顶点，所述第二顶点与所述第一顶点为所述矩形区域的对角顶点；

构建单元，用于基于所述第一图像和所述第二图像中光投射点的位置构建矩形框；

搜索单元，用于对所述矩形框中的图像进行内容识别以确定搜索对象，并获取搜索结果。

在本发明实施例中，通过光发射装置产生的光投射点来对搜索对象进行定位，以高效地截取搜索对象所处的矩形区域，减少了非搜索对象对搜索结果的干扰，由此降低了在图像中对搜索对象进行截取的难度，提高了搜索过程中的信息匹配效率。

附图说明

为了更清楚地说明本发明实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例提供的基于图像的信息搜索方法的实现流程图；

图2是本发明实施例提供的光投射点示例图；

图3是本发明实施例提供的基于图像的信息搜索方法S104的具体实现流程图；

图4是本发明另一实施例提供的基于图像的信息搜索方法的实现流程图；

图5是本发明实施例提供的基于图像的信息搜索装置的结构框图。

具体实施方式

以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本发明实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本发明。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本发明的描述。

本发明实施例中，启动移动终端的摄像头，并启动光发射装置；获取所述摄像头拍摄的第一图像，在所述第一图像中，所述光发射装置的光投射点位于搜索对象所处矩形区域的第一顶点；获取所述摄像头拍摄的第二图像，在所述第二图像中，所述光发射装置的光投射点位于所述矩形区域的第二顶点，所述第二顶点与所述第一顶点为所述矩形区域的对角顶点；基于所述第一图像和所述第二图像中光投射点的位置构建矩形框；对所述矩形框中的图像进行内容识别以确定搜索对象，并获取搜索结果。

为了说明本发明所述的技术方案，下面通过具体实施例来进行说明。

图1示出了本发明实施例提供的基于图像的信息搜索方法的实现流程，在本发明实施例中，基于图像的信息搜索，其图像是通过摄像头拍摄的包含搜索对象的图像。图1所对应的实施例的实现流程详述如下：

在S101中，启动移动终端的摄像头，并启动光发射装置。

本发明实施例的实现首先需要通过摄像头完成对搜索对象的拍照，所述搜索对象包括但不限于单词、词组、题目、文本块等。在本发明实施例中，启动摄像头，以使用户通过操控摄像头对纸面或其他平面上的搜索对象进行拍摄，此外，在本发明实施例中，还会在摄像头的邻近区域设置一个光发射装置，该光发射装置所发射的光包括但不限于红外光、激光等，这样一来，该光发射装置发出的光会投射在摄像头的拍摄主体上，从而使得摄像头拍摄的图像中会显示该光发射装置在纸面上的光投射点。

在S102中，获取所述摄像头拍摄的第一图像，在所述第一图像中，所述光发射装置的光投射点位于搜索对象所处矩形区域的第一顶点。

在S103中，获取所述摄像头拍摄的第二图像，在所述第二图像中，所述光发射装置的光投射点位于所述矩形区域的第二顶点，所述第二顶点与所述第一顶点为所述矩形区域的对角顶点。

通常，平面中的搜索对象是以文本块或图像块的格式被印刷或显示的，因此，可以基于该搜索对象在平面中的所占区域，确定一个矩形区域，在该矩形区域中仅包含该搜索对象。因此，基于上述情况，在本发明实施例中，将光发射装置发出的光分别投射在该矩形区域的一对对角顶点上，将分别对这两次投射情况进行拍摄，由此可以记录下这两次投射的光投射点在拍摄平面中的位置。

如图2所示，题目2为搜索对象，光发射装置的光投射点为图2中的十字光标，则可以将光标分两次投射至图2中的位置1和位置2，并分别拍摄得到这两次投射的页面，那么实际上，位置1为题目2文本块所处的矩形区域的左上顶点，位置2为题目2文本块所处的矩形区域的右下顶点，位置1和位置2构成了该矩形区域的一对对角顶点。

作为本发明的一个实施例中，在所述摄像头拍摄所述第一图像和所述第二图像之前，通过所述移动终端提示光投射点的投射位置，以使所述发射装置的光投射点分别投射至所述矩形区域中的对角顶点。

在本实施例中，对光发射装置发出的光的投射位置在移动终端屏幕上进行文字提示，或者通过移动终端进行语音提示，这样一来，可以使得用户更加明确光投射点的投射位置，加快第一图像和第二图像的获取速度，以此提高整个信息搜索过程的操作效率。

在S104中，基于所述第一图像和所述第二图像中光投射点的位置构建矩形框。

在应用后台，以上述第一图像和第二图像中光投射点的位置为未知矩形区域的一对对角顶点，可以构建出一个唯一的矩形框，该矩形框中仅包含搜索对象的图像内容。

作为本发明实施例的一种实现方式，S104可以通过如图3所示的方式实现：

S301，根据所述第一图像中光投射点的位置，在所述第二图像的相同位置进行标注。

S302，在所述第二图像中光投射点的位置及标注的位置分别作为所述矩形框的对角顶点，构建所述矩形框。

基于图像识别的相关技术，在本发明实施例中，可以通过解析第一图像中的像素，在第一图像中查找具有特定像素特性的一块连续像素区域，该区域即为光投射点在图像中所呈现出的光块，并通过形状匹配，确定该光块的形状与预设的光标图形的形状相同或近似，由此确定该光块即为光投射点，完成光投射点的定位，并在第二图像的相同位置上进行标注，从而在第二图像上完成对两次投射操作产生的光投射点的定位，再将这两个定位点作为未知矩形区域的一对对角顶点，完成矩形框的构建。

在S105中，对所述矩形框中的图像进行内容识别以确定搜索对象，并获取搜索结果。

基于该矩形框中的图像，应用后台对其中的搜索对象进行内容识别，例如，采用光学字符识别(Optical Character Recognition，OCR)技术，通过检测暗、亮的模式确定搜索对象的形状，然后用字符识别方法将形状翻译成计算机文字，从而得到文本格式的搜索对象。

具体地，移动终端将文本格式的搜索对象上传至服务器，服务器在接收到搜索对象之后，进行数据矫正及解析，在数据库中对解析出的内容进行搜索匹配，从而获取到该搜索对象对应的搜索结果，并将该搜索结果返回至移动终端，移动终端显示该搜索结果，从而完成整个基于图像的信息搜索过程。

进一步地，作为本发明的一个实施例，如图4所示，在所述对所述矩形框中的图像进行内容识别以确定搜索对象之后，所述获取搜索结果之前，所述方法还包括：

S401，显示所述内容识别的结果，以使用户根据所述内容识别的结果输入指令。

S402，若检测到用户输入的为确认指令，基于所述内容识别的结果进行搜索。

在图4所示实施例中，完成对矩形框内图像的内容识别之后，显示识别出的内容，以便用户确认该内容识别结果的正确性，只有在用户确认并输入了确认指令之后，才与服务器后台进行通信，上传搜索对象，以保证搜索结果的正确性。

S403，若检测到用户输入的为重新拍照指令，则返回执行所述启动移动终端的摄像头，并启动光发射装置的操作。

而若用户输入的为重新拍照指令，则代表此前的光投射点定位不正确，导致内容识别错误，此时重新返回S101执行图1所示的相关操作，以确保信息搜索的准确性。

在本发明实施例中，通过光发射装置产生的光投射点来对搜索对象进行定位，以高效地截取搜索对象所处的矩形区域，减少了非搜索对象对搜索结果的干扰，同时，当光投射点为十字光标时，也可以为图像的倾斜校正提供水平和垂直参考线，由此降低了在图像中对搜索对象进行截取的难度，提高了搜索过程中的信息匹配效率。

应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本发明实施例的实施过程构成任何限定。

对应于上文实施例所述的基于图像的信息搜索方法，图5示出了本发明实施例提供的基于图像的信息搜索装置的结构框图，所述基于图像的信息搜索装置可以内置于移动终端或移动终端的应用系统内。为了便于说明，仅示出了与本实施例相关的部分。

参照图5，该装置包括：

启动单元51，启动移动终端的摄像头，并启动光发射装置；

第一获取单元52，获取所述摄像头拍摄的第一图像，在所述第一图像中，所述光发射装置的光投射点位于搜索对象所处矩形区域的第一顶点；

第二获取单元53，获取所述摄像头拍摄的第二图像，在所述第二图像中，所述光发射装置的光投射点位于所述矩形区域的第二顶点，所述第二顶点与所述第一顶点为所述矩形区域的对角顶点；

构建单元54，基于所述第一图像和所述第二图像中光投射点的位置构建矩形框；

搜索单元55，对所述矩形框中的图像进行内容识别以确定搜索对象，并获取搜索结果。

可选地，所述装置还包括：

提示单元，在所述摄像头拍摄所述第一图像和所述第二图像之前，通过所述移动终端提示光投射点的投射位置，以使所述发射装置的光投射点分别投射至所述矩形区域中的对角顶点。

可选地，所述构建单元54包括：

标注子单元，根据所述第一图像中光投射点的位置，在所述第二图像的相同位置进行标注；

构建子单元，在所述第二图像中光投射点的位置及标注的位置分别作为所述矩形框的对角顶点，构建所述矩形框。

可选地，所述装置还包括：

显示单元，显示所述内容识别的结果，以使用户根据所述内容识别的结果输入指令；

所述搜索单元55还用于，若检测到用户输入的为确认指令，基于所述内容识别的结果进行搜索。

可选地，所述装置还包括；

返回单元，若检测到用户输入的为重新拍照指令，则返回执行所述启动移动终端的摄像头，并启动光发射装置的操作。

所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本发明的范围。

在本发明所提供的实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的系统实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。

所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。

另外，在本发明各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。

所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本发明实施例的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(processor)执行本发明实施例各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random AccessMemory)、磁碟或者光盘等各种可以存储程序代码的介质。

以上所述实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围，均应包含在本发明的保护范围之内。

Claims (10)

1.一种基于图像的信息搜索方法，其特征在于，包括：

启动移动终端的摄像头，并启动光发射装置；

获取所述摄像头拍摄的第一图像，在所述第一图像中，所述光发射装置的光投射点位于搜索对象所处矩形区域的第一顶点；

获取所述摄像头拍摄的第二图像，在所述第二图像中，所述光发射装置的光投射点位于所述矩形区域的第二顶点，所述第二顶点与所述第一顶点为所述矩形区域的对角顶点；

基于所述第一图像和所述第二图像中光投射点的位置构建矩形框；

对所述矩形框中的图像进行内容识别以确定搜索对象，并获取搜索结果。

2.如权利要求1所述的方法，其特征在于，所述方法还包括：

在所述摄像头拍摄所述第一图像和所述第二图像之前，通过所述移动终端提示光投射点的投射位置，以使所述发射装置的光投射点分别投射至所述矩形区域中的对角顶点。

3.如权利要求1所述的方法，其特征在于，所述基于所述第一图像和所述第二图像中光投射点的位置构建矩形框包括：

根据所述第一图像中光投射点的位置，在所述第二图像的相同位置进行标注；

在所述第二图像中光投射点的位置及标注的位置分别作为所述矩形框的对角顶点，构建所述矩形框。

4.如权利要求1所述的方法，其特征在于，在所述对所述矩形框中的图像进行内容识别以确定搜索对象之后，所述获取搜索结果之前，所述方法还包括：

显示所述内容识别的结果，以使用户根据所述内容识别的结果输入指令；

若检测到用户输入的为确认指令，基于所述内容识别的结果进行搜索。

5.如权利要求4所述的方法，其特征在于，所述方法还包括；

若检测到用户输入的为重新拍照指令，则返回执行所述启动移动终端的摄像头，并启动光发射装置的操作。

6.一种基于图像的信息搜索装置，其特征在于，包括：

启动单元，用于启动移动终端的摄像头，并启动光发射装置；

第一获取单元，用于获取所述摄像头拍摄的第一图像，在所述第一图像中，所述光发射装置的光投射点位于搜索对象所处矩形区域的第一顶点；

第二获取单元，用于获取所述摄像头拍摄的第二图像，在所述第二图像中，所述光发射装置的光投射点位于所述矩形区域的第二顶点，所述第二顶点与所述第一顶点为所述矩形区域的对角顶点；

构建单元，用于基于所述第一图像和所述第二图像中光投射点的位置构建矩形框；

搜索单元，用于对所述矩形框中的图像进行内容识别以确定搜索对象，并获取搜索结果。

7.如权利要求6所述的装置，其特征在于，所述装置还包括：

提示单元，用于在所述摄像头拍摄所述第一图像和所述第二图像之前，通过所述移动终端提示光投射点的投射位置，以使所述发射装置的光投射点分别投射至所述矩形区域中的对角顶点。

8.如权利要求6所述的装置，其特征在于，所述构建单元包括：

标注子单元，用于根据所述第一图像中光投射点的位置，在所述第二图像的相同位置进行标注；

构建子单元，用于在所述第二图像中光投射点的位置及标注的位置分别作为所述矩形框的对角顶点，构建所述矩形框。

9.如权利要求6所述的装置，其特征在于，所述装置还包括：

显示单元，用于显示所述内容识别的结果，以使用户根据所述内容识别的结果输入指令；

所述搜索单元还用于，若检测到用户输入的为确认指令，基于所述内容识别的结果进行搜索。

10.如权利要求9所述的装置，其特征在于，所述装置还包括；

返回单元，用于若检测到用户输入的为重新拍照指令，则返回执行所述启动移动终端的摄像头，并启动光发射装置的操作。