CN111801690B

CN111801690B - 用于识别字符的电子设备和方法

Info

Publication number: CN111801690B
Application number: CN201980014395.1A
Authority: CN
Inventors: 崔株溶; 金珍铉; 金美秀; 崔廷印; 林然旭
Original assignee: Samsung Electronics Co Ltd
Current assignee: Samsung Electronics Co Ltd
Priority date: 2018-02-20
Filing date: 2019-02-18
Publication date: 2025-04-18
Anticipated expiration: 2039-02-18
Also published as: CN111801690A; US11308317B2; KR102585645B1; KR20190099852A; EP3731142A4; EP3731142A1; US20210064864A1; WO2019164196A1

Abstract

根据本文档中公开的实施例的电子设备可以包括：用于生成图像数据的成像设备；通信电路；可操作地连接到成像设备和通信电路的至少一个处理器；以及可操作地连接到处理器、用于存储命令的存储器。

Description

用于识别字符的电子设备和方法

技术领域

本文公开的实施例涉及字符识别技术。

背景技术

光学字符识别(Optical character recognition，OCR)是指将人手写或机器打印的字符转换为电子设备(例如，智能手机)可识别的数据的技术。例如，当电子设备面对招牌时，电子设备可以通过OCR技术识别招牌上写的字符。

OCR技术可以分为在电子设备中执行的嵌入式OCR技术和在服务器中执行的服务器OCR技术。在嵌入式OCR技术中，处理速度很快，但是由于电子设备的性能的限制，准确度可能会降低。另一方面，在服务器OCR技术中，电子设备需要将数据发送到服务器，导致低处理速度但实现高准确度。

发明内容

技术问题

近来，随着越来越多的用户需要复杂的字符识别，对服务器OCR技术的兴趣和需求也在增加。然而，如上所述，在服务器OCR技术中，处理速度可能较慢，因为电子设备需要将数据发送到服务器。特别地，当存在大量数据时，识别字符可能需要很长时间。

本公开中公开的实施例提供了一种用于解决上述问题和本公开中提出的问题的电子设备。

技术方案

根据本文公开的实施例，电子设备可以包括生成图像数据的成像设备、通信电路、可操作地连接到成像设备和通信电路的至少一个处理器；以及可操作地连接到处理器以存储指令的存储器，其中，指令在被执行时可以使处理器从成像设备接收包括第一图像的第一图像数据，通过通信电路将第一图像数据发送到第一服务器，通过通信电路从第一服务器接收包括从第一图像数据识别的第一文本的第一文本数据，从成像设备接收包括第二图像的第二图像数据，该第二图像包括第一图像的一部分，以及通过通信电路将第二文本数据发送到第一服务器，该第二文本数据包括第一文本数据的至少一部分和第二图像数据的一部分、而不是第二图像数据的全部。

此外，根据本文公开的实施例，一种用于在电子设备中识别字符的方法可以包括：从成像设备接收包括第一图像的第一图像数据，通过通信电路将第一图像数据发送到第一服务器，通过通信电路从第一服务器接收包括从第一图像数据识别的第一文本的第一文本数据，从成像设备接收包括第二图像的第二图像数据，该第二图像包括第一图像的一部分，以及通过通信电路将第二文本数据发送到第一服务器，该第二文本数据包括第一文本数据的至少一部分和第二图像数据的一部分、而不是第二图像数据的全部。

此外，根据本文公开的实施例，电子设备可以包括相机、输出通过相机识别的图像的显示器、将图像发送到第一服务器的通信电路、电连接到相机、显示器和通信电路的处理器；以及可操作地连接到处理器以存储指令和用于捕获图像的应用的存储器，其中，指令在被执行时可以使处理器响应于用于执行应用的用户输入来捕获通过显示器输出的第一图像，将第一图像发送到第一服务器，从第一服务器接收从第一图像提取的第一文本，并通过显示器输出第一文本，将第二文本作为第一类型数据发送，该第二文本位于第二图像中与第一图像重叠的区域上并且包括第一文本的至少一部分，并且当通过显示器输出包括第一图像的至少一部分的第二图像时，将第二图像中与第一图像不重叠的区域作为第二类型数据发送到第一服务器，以及从第一服务器接收从第一类型数据和第二类型数据提取的第三文本，并且将第三文本输出到显示器。

此外，根据本文公开的实施例，一种用于在电子设备中识别字符的方法可以包括：响应于用户输入，捕获通过显示器输出的第一图像，用于将第一图像发送到第一服务器，从第一服务器接收从第一图像提取的第一文本，通过显示器输出第一文本，将第二文本作为第一类型数据发送，该第二文本位于第二图像中与第一图像重叠的区域上并且包括第一文本的至少一部分，当通过显示器输出包括第一图像的至少一部分的第二图像时，将第二图像中与第一图像不重叠的区域作为第二类型数据发送到第一服务器，从第一服务器接收从第一类型数据和第二类型数据提取的第三文本，以将第三文本输出到显示器。

有益效果

根据本文公开的实施例，可以缩短字符识别时间。

此外，可以提供通过本公开直接或间接理解的各种效果。

附图说明

图1是根据各种实施例的网络环境中的电子设备的框图。

图2是根据各种实施例的程序的框图。

图3示出了根据本公开的实施例的文本识别系统。

图4A是根据本公开的实施例的文本识别系统的操作的流程图。

图4B是根据本公开的实施例的电子设备的操作的流程图。

图5示出了根据本公开的实施例的通过显示器输出的屏幕和第一图像。

图6A示出了根据本公开的实施例的第一文本。

图6B示出了根据本公开的另一实施例的第一文本。

图7A是根据本公开的实施例的用于在电子设备中确定图像是否改变的示例图。

图7B是根据本公开的另一实施例的用于确定图像是否改变的示例图。

图8A示出了根据本公开的实施例的第一图像。

图8B示出了根据本公开的实施例的第二图像。

图9示出了根据本公开的实施例的电子设备的操作环境。

具体实施方式

图1是根据各种实施例的网络环境中的电子设备的框图。

参考图1，在网络环境100中，电子设备101可以通过第一网络198(例如，短程无线通信)与电子设备102通信，或者可以通过第二网络199(例如，长距离无线通信)与电子设备104或服务器108通信。根据实施例，电子设备101可以通过服务器108与电子设备104通信。根据实施例，电子设备101可以包括处理器120、存储器130、输入设备150、声音输出设备155、显示设备160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、订户识别模块196和天线模块197。根据一些实施例，电子设备101的组件当中的至少一个(例如，显示设备160或相机模块180)可以被省略，或者其他组件可以被添加到电子设备101。根据一些实施例，一些组件可以被集成并实施为嵌入在显示设备160(例如，显示器)中的传感器模块176(例如，指纹传感器、虹膜传感器或照度传感器)的情况。

处理器120可以操作例如软件(例如，程序140)来控制连接到处理器120的电子设备101的其他组件(例如，硬件或软件组件)中的至少一个，并且可以处理和计算各种数据。处理器120可以将从其他组件(例如，传感器模块176或通信模块190)接收的命令集或数据加载到易失性存储器132中，可以处理加载的命令或数据，并且可以将结果数据存储到非易失性存储器134中。根据实施例，处理器120可以包括主处理器121(例如，中央处理单元或应用处理器)和辅助处理器123(例如，图形处理设备、图像信号处理器、传感器集线器处理器或通信处理器)，该辅助处理器123独立于主处理器121操作，附加地或替代地使用比主处理器121更少的电力，或者被指定为指定功能。在这种情况下，辅助处理器123可以与主处理器121分开操作或被嵌入。

在这种情况下，当主处理器121处于非活动(例如，睡眠)状态时，辅助处理器123可以代替主处理器121控制例如与电子设备101的组件当中的至少一个组件(例如，显示设备160、传感器模块176或通信模块190)相关联的至少一些功能或状态，或者当主处理器121处于活动(例如，应用执行)状态时，辅助处理器123与主处理器121一起控制。根据实施例，辅助处理器123(例如，图像信号处理器或通信处理器)可以被实施为功能上与辅助处理器123相关的另一组件(例如，相机模块180或通信模块190)的一部分。存储器130可以存储由电子设备101的至少一个组件(例如，处理器120或传感器模块176)所使用的各种数据，例如，软件(例如，程序140)以及关于与软件相关联的命令的输入数据或输出数据。存储器130可以包括易失性存储器132或非易失性存储器134。

程序140可以作为软件存储在存储器130中，并且可以包括例如操作系统142、中间件144或应用146。

输入设备150可以是用于从电子设备101的外部(例如，用户)接收用于电子设备101的组件(例如，处理器120)的命令或数据的设备，并且可以包括例如麦克风、鼠标或键盘。

声音输出设备155可以是用于向电子设备101的外部输出声音信号的设备，并且可以包括例如用于通用目的(诸如多媒体播放或录音播放)的扬声器，以及仅用于接收呼叫的接收器。根据实施例，接收器和扬声器可以集成实施或分开实施。

显示设备160可以是用于向电子设备101的用户可视地呈现信息的设备，并且可以包括例如显示器、全息设备或投影仪以及用于控制对应设备的控制电路。根据实施例，显示设备160可以包括用于测量触摸的压力强度的触摸电路或压力传感器。

音频模块170可以双向转换声音和电信号。根据实施例，音频模块170可以通过输入设备150获得声音，或者可以通过有线或无线连接到声音输出设备155或电子设备101的外部电子设备(例如，电子设备102(例如，扬声器或耳机))输出声音。

传感器模块176可以生成与电子设备101内部的操作状态(例如，功率或温度)或外部的环境状态相对应的电信号或数据值。传感器模块176可以包括例如姿势传感器、陀螺仪传感器、大气压力传感器、磁传感器、加速度传感器、抓握传感器、接近传感器、颜色传感器、红外传感器、生物传感器、温度传感器、湿度传感器或照度传感器。

接口177可以支持有线或无线连接到外部电子设备(例如，电子设备102)的指定协议。根据实施例，接口177可以包括例如HDMI(high-definition multimedia interface，高清多媒体接口)、USB(universal serial bus，通用串行总线)接口、SD卡接口或音频接口。

连接端178可以包括将电子设备101物理地连接到外部电子设备(例如，电子设备102)的连接器，例如，HDMI连接器、USB连接器、SD卡连接器或音频连接器(例如，耳机连接器)。

触觉模块179可以将电信号转换为机械刺激(例如，振动或运动)或由用户通过触觉或动觉(kinesthetic)感知到的电刺激。触觉模块179可以包括例如马达、压电元件或电刺激器。

相机模块180可以拍摄静止图像或视频图像。根据实施例，相机模块180可以包括例如至少一个镜头、图像传感器、图像信号处理器或闪光灯。

电力管理模块188可以是用于管理供应给电子设备101的电力的模块，并且可以用作电力管理集成电路(power management integrated circuit，PMIC)的至少一部分。

电池189可以是用于向电子设备101的至少一个组件供电的设备，并且可以包括例如不可再充电(一次)电池、可再充电(二次)电池或燃料电池。

通信模块190可以在电子设备101和外部电子设备(例如，电子设备102、电子设备104或服务器108)之间建立有线或无线通信信道，并通过建立的通信信道支持通信执行。通信模块190可以包括独立于处理器120(例如，应用处理器)操作并支持有线通信或无线通信的至少一个通信处理器。根据实施例，通信模块190可以包括无线通信模块192(例如，蜂窝通信模块、短程无线通信模块或GNSS(global navigation satellite system，全球导航卫星系统)通信模块)或有线通信模块194(例如，LAN(local area network，局域网)通信模块或电力线通信模块)，并且可以通过第一网络198(例如，诸如蓝牙、WiFi直连或IrDA(infrared data association，红外数据协会)的短程通信网络)或第二网络199(例如，诸如蜂窝网络、互联网或计算机网络(例如LAN或WAN)的长距离无线通信网络)使用它们当中的对应通信模块来与外部电子设备通信。上述各种通信模块190可以分别实施在一个芯片中或分离的芯片中。

根据实施例，无线通信模块192可以在通信网络中使用存储在订户识别模块196中的用户信息来识别和认证电子设备101。

天线模块197可以包括一个或多个天线，以向外部源发送信号或功率或者从外部源接收信号或功率。根据实施例，通信模块190(例如，无线通信模块192)可以通过适于通信方法的天线向外部电子设备发送信号或从外部电子设备接收信号。

组件当中的一些组件可以通过在外围设备之间所使用的通信方法(例如，总线、GPIO(general purpose input/output，通用输入/输出)、SPI(serial peripheralinterface，串行外围接口)、或MIPI(mobile industry processor interface，移动工业处理器接口))彼此连接，以彼此交换信号(例如，命令或数据)。

根据实施例，可以通过连接到第二网络199的服务器108在电子设备101和外部电子设备104之间发送或接收命令或数据。电子设备102和104中的每一个可以是与电子设备101相同或不同的类型。根据实施例，由电子设备101执行的操作中的所有或一些可以由另一电子设备或多个外部电子设备执行。当电子设备101自动地或通过请求执行一些功能或服务时，除了自己执行功能或服务之外或代替自己执行功能或服务，电子设备101可以请求外部电子设备执行与功能或服务相关的功能中的至少一些。接收到请求的外部电子设备可以执行所请求的功能或附加功能，并将结果发送到电子设备101。电子设备101可以基于接收到的结果原样或在附加地处理接收到的结果之后提供所请求的功能或服务。为此，例如，可以使用云计算、分布式计算或客户机-服务器计算技术。

图2是示出根据各种实施例的程序的框图。

根据实施例，程序140可以包括用于控制电子设备101、中间件144或可在操作系统142中执行的应用146的一个或多个资源的操作系统142。操作系统142可以包括例如Android^TM、iOS^TM、Windows^TM、Symbian^TM、Tizen^TM或Bada^TM。例如，程序140中的至少一些可以在制造时被预加载在电子设备101上，或者当由用户使用时，从外部电子设备(例如，电子设备102或104，或者服务器108)下载或者由外部电子设备更新。

操作系统142可以控制电子设备101的一个或多个系统资源(例如，进程、内存或电力)的管理(例如，分配或检索)。操作系统142可以附加地或替代地包括用于驱动电子设备101的其他硬件设备的一个或多个驱动程序，诸如输入设备150、声音输出设备155、显示设备160、音频模块170、传感器模块176、接口177、触觉模块179、相机模块180、电力管理模块188、电池189、通信模块190、订户识别模块196或天线模块197。

中间件144可以向应用146提供各种功能，使得由电子设备101的一个或多个资源提供的功能或信息可以被应用146使用。中间件144可以包括例如应用管理器201、窗口管理器203、多媒体管理器205、资源管理器207、电力管理器209、数据库管理器211和包管理器213、连接管理器215、通知管理器217、位置管理器219、图形管理器221、安全管理器223、电话管理器225或语音识别管理器227。

例如，应用管理器201可以管理应用146的生命周期。窗口管理器203可以管理例如屏幕中使用的一个或多个GUI资源。例如，多媒体管理器205可以识别媒体文件的再现所需的一种或多种格式，并且通过使用与格式当中的所选格式相对应的编解码器来编码或解码媒体文件当中的对应媒体文件。资源管理器207可以管理例如应用146的源代码或存储器130的内存空间。电力管理器209可以管理例如电池189的容量、温度或电力，并且使用这些信息当中的对应信息来确定或提供电子设备101的操作所需的相关信息。根据实施例，电力管理器209可以与电子设备101的基本输入/输出系统(basic input/output system，BIOS)(未示出)互操作。

例如，数据库管理器211可以创建、搜索或改变将由应用146使用的数据库。例如，包管理器213可以管理以包(package)文件的形式分发的应用的安装或更新。连接管理器215可以管理例如电子设备101和外部电子设备之间的无线连接或直接连接。例如，通知管理器217可以提供用于通知用户指定事件(例如，来电、消息或警报)的发生的功能。例如，位置管理器219可以管理电子设备101的位置信息。图形管理器221可以管理例如要提供给用户的一个或多个图形效果，或者与其相关的用户界面。

例如，安全管理器223可以提供系统安全或用户认证。电话管理器225可以管理例如由电子设备101提供的语音呼叫功能或视频呼叫功能。语音识别管理器227可以将例如用户的语音数据发送到服务器108，并且至少基于语音数据的一部分或从语音数据的至少一部分的转换产生的文本数据，接收与将在电子设备中执行的功能相对应的命令。根据实施例，中间件244可以动态地删除现有组件中的一些或添加新组件。根据实施例，中间件144的至少一部分可以被包括作为操作系统142的一部分，或者可以被实施为不同于操作系统142的分离的软件。

应用146可以包括例如主页251、拨号器253、SMS/MMS255、即时消息(instantmessage，IM)257、浏览器259、相机261、警报263、联系人265、语音识别267、电子邮件269、日历271、媒体播放器273、相册275、手表277、健康279(例如，诸如运动量或血糖的生物信息的测量)或环境信息281(例如，大气压力、湿度、或温度信息的测量)。根据实施例，应用146还可以包括能够支持电子设备101和外部电子设备之间的信息交换的信息交换应用(未示出)。信息交换应用可以包括例如被配置为向外部电子设备传送指定信息(例如，呼叫、消息或警报)的通知中继应用，或者被配置为管理外部电子设备的设备管理应用。例如，通知中继应用可以将与电子设备101的另一应用(例如，电子邮件应用269)中发生的指定事件(例如，邮件接收)相对应的通知信息传送到外部电子设备。附加地或替代地，通知中继应用可以从外部电子设备接收通知信息，并将该通知信息提供给电子设备101的用户。

设备管理应用可以控制例如与电子设备101或其组件(例如，显示设备160或相机模块180)通信的外部电子设备的电力(例如，打开或关闭)或功能(例如，显示设备160或相机模块180的亮度、分辨率或焦点)。设备管理应用可以附加地或替代地支持在外部电子设备上操作的应用的安装、删除或更新。

根据本公开中公开的各种实施例的电子设备可以是各种类型的设备。电子设备可以包括例如便携式通信设备(例如，智能手机)、计算机设备、便携式多媒体设备、移动医疗电器、相机、可穿戴设备或家用电器中的至少一个。根据本公开的实施例的电子设备不应该被限制于上述设备。

应当理解，本公开的各种实施例和实施例中所使用的术语并不旨在将本公开中公开的技术限制到本文所公开的特定形式；相反，本公开应当被解释为覆盖本公开的实施例的各种修改、等同物和/或替代物。关于附图的描述，相似的组件可以分配有相似的附图标记。如本文所使用的，单数形式也可以包括复数形式，除非上下文另有明确指示。在本文所公开的本公开中，本文使用的表述“A或B”、“A或/和B中的至少一个”、“A、B或C”或“A、B或/和C中的一个或多个”等可以包括一个或多个相关联的列出项目的任何和所有组合。本文使用的表述“第一”、“第二”、“所述第一”或“所述第二”可以指各种组件，而不管其顺序和/或重要性，但不限制对应的组件。上述表述仅用于区分一个组件和其他组件的目的。应当理解，当组件(例如，第一组件)被称为(可操作地或可通信地)“连接”或“耦合”到另一组件(例如，第二组件)时，该组件可以直接连接或直接耦合到另一组件，或者任何其他组件(例如，第三组件)可以介于该组件和另一组件之间。

本文使用的术语“模块”可以表示例如包括硬件、软件和固件的一个或多个组合的单元。术语“模块”可以与术语“逻辑”、“逻辑块”、“部分”和“电路”互换使用。“模块”可以是集成部分的最小单元，或者可以是其部分。“模块”可以是用于执行一个或多个功能或其部分的最小单元。例如，“模块”可以包括专用集成电路(application-specific integratedcircuit，ASIC)。

本公开的各种实施例可以由软件(例如，程序140)实施，该软件包括存储在机器(例如，计算机)可读的机器可读存储介质(例如，内部存储器136或外部存储器138)中的指令。机器可以是从机器可读存储介质调用指令并取决于所调用的指令进行操作的设备，并且可以包括电子设备(例如，电子设备101)。当指令由处理器(例如，处理器120)执行时，处理器可以在处理器的控制下直接或使用其他组件来执行与指令相对应的功能。指令可以包括由编译器或解释器生成或执行的代码。机器可读存储介质可以以非暂时性存储介质的形式提供。这里，本文使用的术语“非暂时性”是对介质本身(即，有形的，不是信号)的限制，而不是对数据存储持久性的限制。

根据实施例，根据本公开中公开的各种实施例的方法可以作为计算机程序产品的一部分来提供。计算机程序产品可以作为产品在卖方和买方之间进行交易。计算机程序产品可以以机器可读存储介质(例如，光盘只读存储器(compact disc read only memory，CD-ROM))的形式分发，或者可以仅通过应用商店(例如，Play Store^TM)分发。在在线分发的情况下，计算机程序产品的至少一部分可以临时存储或生成在存储介质(诸如制造商的服务器、应用商店的服务器或中继服务器的存储器)中。

根据各种实施例的每个组件(例如，模块或程序)可以包括上述组件中的至少一个，并且可以省略上述子组件的一部分，或者还可以包括附加的其他子组件。替代地或附加地，一些组件(例如，模块或程序)可以集成在一个组件中，并且可以执行在集成之前由每个对应的组件执行的相同或相似的功能。由根据本公开的各种实施例的模块、编程或其他组件执行的操作可以顺序地、并行地、重复地或以启发式方法执行。此外，至少一些操作可以以不同的顺序被执行、省略或者可以添加其他操作。

尽管已经参考本公开的各种实施例示出和描述了本公开，但是本领域技术人员将理解，在不脱离由所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以在形式和细节上进行各种改变。

图3示出了根据本公开的实施例的文本识别系统。

参考图3，文本识别系统300可以包括电子设备(例如，图1的电子设备101)、第一服务器310、第二服务器320、第三服务器330和第四服务器340。

电子设备101可以捕获图像并将该图像发送到第一服务器310。例如，相机(例如，图1的相机模块180)可以被设置在电子设备101的一个表面(例如，前表面或后表面)上，并且用户可以通过相机模块180拍摄用户的周围环境。电子设备101可以将拍摄的图像发送到第一服务器310。

第一服务器310可以从拍摄的图像中提取文本，并将提取的文本发送到电子设备101。例如，当拍摄的图像是招牌时，第一服务器310可以提取写在招牌上的商店名称、电话号码等。在另一实施例中，当拍摄的图像表示黑板时，第一服务器310可以提取写在黑板上的字母。提取的商店名称、电话号码、字母等可以被发送到电子设备101。在本公开中，第一服务器310可以被称为光学字符识别(OCR)服务器。

电子设备101可以将从第一服务器310接收的文本发送到第二服务器320、第三服务器330和第四服务器340中的至少一个。例如，当文本中包括字母时，电子设备101可以将文本发送到第二服务器320。在另一实施例中，当文本中包括物理量单位时，电子设备101可以将文本发送到第三服务器330。在又一实施例中，当文本中包括货币单位时，电子设备101可以将文本发送到第四服务器340。上述实施例仅是实施例，并且文本中包括的配置、电子设备101向其发送文本的服务器等不限于上述实施例。

当电子设备101向第二服务器320发送文本时，第二服务器320可以翻译文本中包括的字母。翻译后的字母可以被发送回电子设备101。例如，当文本中包括中文时，第二服务器320可以将中文翻译为韩文，并将文本发送到电子设备101。在另一实施例中，当文本中包括英文时，第二服务器320可以将英文翻译为韩文，并将文本发送到电子设备101。在本公开中，第二服务器320可以被称为翻译服务器。

第三服务器330可以改变物理量单位。改变后的物理量单位可以被发送回电子设备101。例如，当文本中包括英里时，第三服务器330可以将英里改变为千米，并将转换后的千米发送到电子设备101。在另一实施例中，当文本中包括加仑时，第三服务器330可以将加仑改变为升(liter，l)，并将转换后的升发送到电子设备101。在本公开中，第三服务器330可以被称为单位转换服务器。

第四服务器340可以改变货币单位。改变后的货币单位可以被发送回电子设备101。例如，当文本中包括美元($)时，第四服务器340可以将美元改变为韩元并将改变后的韩元发送到电子设备101。在另一实施例中，当文本中包括日元(￥)时，第四服务器340可以将日元改变为韩元并将改变后的韩元发送到电子设备101。在本公开中，第四服务器340可以被称为货币转换服务器。

当从第二服务器320至第四服务器340接收到翻译后的字母、改变后的物理量单位和改变后的货币单位中的至少一个时，电子设备101可以输出接收到的文本。例如，当相机模块180拍摄的图像中包括“Hello”时，电子设备101可以输出其是翻译后的字母，而不是“Hello”。

在另一实施例中，输出接收到的文本的区域可以与相机模块180拍摄的图像相邻。例如，当相机模块180拍摄的图像中包括“Hello”时，电子设备101可以在与相机模块180捕获的图像相邻的区域中输出

在本公开中，参考图1至图3描述的内容可以应用于具有与图1至图3所示的电子设备101和文本识别系统300的组件相同的附图标记的组件。

图4A是根据本公开的实施例的文本识别系统的操作的流程图。图4A是用于详细描述包括在图3中的组件的操作的图。参考图4A，在操作411中，电子设备101(例如，处理器120)可以捕获第一图像。例如，电子设备101可以响应于用户输入执行用于识别文本的应用。当应用被执行时，电子设备101可以通过相机模块180拍摄用户的周围环境。此外，电子设备101可以捕获周围环境。在本公开中，第一图像可以指通过显示器(例如，图1的显示设备160)捕获的图像。

在操作413中，电子设备101(例如，图1的通信模块190)可以将捕获的第一图像发送到第一服务器310。

在操作415中，第一服务器310可以从第一图像中提取第一文本。例如，当第一图像中包括招牌时，第一服务器310可以提取写在招牌上的商店名称、电话号码等。

在操作417中，第一服务器310可以将提取的第一文本发送到电子设备101。在上述实施例中，第一服务器310可以将提取的商店名称、电话号码等发送到电子设备101。根据实施例，第一服务器310可以将提取的第一文本作为具有JavaScript对象注释(JavaScriptobject notation，JSON)格式的数据发送到电子设备101。

在操作419中，电子设备101可以从第一服务器310接收第一文本，并将接收到的第一文本发送到第二服务器320。尽管在图4A中电子设备101被示出为将第一文本发送到第二服务器320，但是电子设备101可以将第一文本发送到第三服务器330和/或第四服务器340。

在操作421中，第二服务器320可以翻译从电子设备101接收的第一文本。在上述实施例中，当第一文本包括中文商店名称时，第二服务器320可以将中文商店名称翻译为韩文商店名称。

在操作423中，第二服务器320可以将翻译后的第一文本发送到电子设备101。在上述实施例中，第二服务器320可以将韩文商店名称发送到电子设备101。

在操作425中，电子设备101可以输出翻译后的第一文本。在一个实施例中，电子设备101可以输出翻译后的第一文本来替换第一文本。例如，电子设备101可以通过替换中文商店名称来输出韩文商店名称。

在操作427中，电子设备101可以确定通过显示器(例如，显示设备160)输出的图像是否改变。例如，当用户移动电子设备101时，通过相机模块180输出的图像也可以改变。因此，可以输出第二图像，而不是第一图像。

在本公开中，第二图像可以指包括第一图像的至少一部分的图像。例如，当第一图像中包括招牌时，招牌的至少一部分可以被包括在第二图像中。换句话说，当用户在特定范围内移动电子设备101时，可以输出包括第一图像的至少一部分的第二图像。然而，当用户沿相反方向旋转电子设备101时，可以仅通过显示器(例如，显示设备160)输出第一图像的相对侧的环境，并且可以不输出第一图像和第二图像。

当输出第二图像时，在操作429中，电子设备101可以捕获第二图像。

在操作431中，电子设备101可以比较第一图像和第二图像。电子设备101可以将第二文本发送到第一服务器310，该第二文本包括与第二图像中和第一图像重叠的区域相对应的第一文本的一部分。此外，电子设备101可以将第二图像的一部分发送到第一服务器310，该第二图像的一部分与第二图像中和第一图像不重叠的区域相对应。例如，第一图像可以包括招牌“A”，并且第二图像可以包括招牌“A”的一部分和招牌“B”。电子设备101可以将招牌“A”的一部分作为第一类型数据发送，该招牌“A”的一部分是第二图像中与第一图像重叠的区域。电子设备101可以将招牌“B”作为第二类型数据发送，该招牌“B”是第二图像中与第一图像不重叠的区域。在本公开中，第一类型数据和第二类型数据具有不同的格式，并且第一类型数据可以包括第二文本。第二类型数据可以包括第二图像中与第一图像不重叠的区域。

根据实施例，第一类型数据的大小可以小于第二类型数据的大小。例如，第一类型数据可以作为具有javascript对象注释(JSON)格式的数据被发送到第一服务器310。第二类型数据可以作为图像数据(例如，JPG数据)被发送到第一服务器310。

同时，图4A所示的实施例仅是实施例，并且本公开的实施例不限于图4A所示的实施例。例如，电子设备101可以不发送第二图像中与第一图像重叠的区域，并且可以发送第二图像中与第一图像不重叠的区域。

根据本公开的实施例，第一类型数据可以有具有较小大小的数据格式，从而减小由电子设备101发送到第一服务器310的数据的大小。因此，可以缩短电子设备101输出文本所需的时间。

在操作433中，第一服务器310可以从第一类型数据和第二类型数据中提取第三文本。例如，当第一图像包括招牌“A”并且第二图像包括招牌“A”的一部分和招牌“B”时，第一服务器310可以从与写在招牌“A”的一部分和招牌“B”上的商店名称、电话号码等相对应的第一类型数据和第二类型数据中提取第三文本。

在操作435中，第一服务器310可以将提取的第三文本发送到电子设备101。在上述实施例中，第一服务器310可以将从招牌“A”的一部分和招牌“B”提取的商店名称、电话号码等发送到电子设备101。

在另一实施例中，在操作435中，第一服务器310可以将提取的第三文本发送到第二服务器320。第二服务器320可以翻译第三文本，并将翻译后的第三文本发送到电子设备101。电子设备101可以将翻译后的第三文本发送到第三服务器330和/或第四服务器340。第三服务器330和/或第四服务器340可以改变物理量单位和/或货币单位，并将改变后的物理量单位和/或货币单位发送到电子设备101。

在操作437至441中，电子设备101可以将第三文本发送到第二服务器320，并且第二服务器320可以翻译第三文本。翻译后的第三文本可以被发送到电子设备101。对操作419至423的描述也可以应用于操作437至441。

在操作443中，电子设备101可以从第二服务器320接收翻译后的第三文本。电子设备101可以输出第三文本。在上述实施例中，电子设备101可以输出写在招牌“A”的一部分上的商店名称和写在招牌“B”上的商店名称。

图4B是根据本公开的实施例的电子设备的操作的流程图。图4B是用于详细描述图3所示的电子设备101的操作的图。

参考图4B，在操作451中，处理器120可以从成像设备接收第一图像数据。在本公开中，成像设备可以被称为相机模块180，作为能够生成第一图像数据的设备。第一图像数据可以指包括通过显示设备160输出的第一图像的图像数据。

在操作453中，处理器120可以通过通信模块190将第一图像数据发送到第一服务器310。第一服务器310可以从第一图像数据中提取第一文本，并将包括提取的第一文本的第一文本数据发送回电子设备101。例如，当第一图像中包括招牌时，第一服务器310可以提取写在招牌上的商店名称等。第一服务器310可以被称为光学字符识别(OCR)服务器。

在操作455中，处理器120可以通过通信模块190接收第一文本数据。当接收到第一文本数据时，处理器120可以通过显示设备160输出第一文本。例如，当第一图像中包括招牌时，处理器120可以通过显示设备160输出写在招牌上的商店名称。

在操作457中，处理器120可以从成像设备接收第二图像数据。第二图像数据可以指包括与第一图像至少部分重叠的第二图像的图像数据。

在操作459中，处理器120可以通过通信模块190将第二文本数据和第二图像数据的一部分发送到第一服务器310。在本文档中，第二文本数据可以指包括第一图像和第二图像彼此重叠的区域当中的第一文本数据的至少一部分的文本数据。也就是说，在操作459中，处理器120可以将第二文本数据和第二图像数据中与第一图像数据不重叠的区域发送到第一服务器310。

图5示出了根据本公开的实施例的通过显示器输出的屏幕和第一图像。图5是用于详细描述图4所示的操作411和413的图。

参考图5，电子设备(例如，图1的电子设备101)可以响应于用户输入执行用于识别文本的应用。当应用被执行时，电子设备101可以通过相机(例如，图1的相机模块180)拍摄用户的周围环境。例如，如图5所示，用户可以通过电子设备101拍摄旅行目的地中的招牌510。电子设备101可以通过显示屏输出招牌510。

根据实施例，电子设备101可以捕获第一图像511。第一图像511可以指通过显示屏输出的图像。当捕获到第一图像511时，电子设备101可以将第一图像511发送到第一服务器310。

图6A示出了根据本公开的实施例的第一文本。图6B示出了根据本公开的另一实施例的第一文本。图6A和图6B是用于详细描述图4所示的操作415的图。

参考图6A和图6B，第一服务器(例如，图3的第一服务器310)可以从第一图像(例如，图5的第一图像511)提取具有不同格式的第一文本610。提取的第一文本610可以被发送到电子设备(例如，图1的电子设备101)。例如，如图6A所示，第一服务器310可以从第一图像中提取第一文本610、第一文本610的位置信息以及包括在第一文本610中的单词中的每一个的位置信息，并将这些发送到电子设备101。在这种情况下，第一文本610、位置信息和每个单词的位置信息可以以第一类型数据格式(例如，JSON格式)被发送到电子设备。

在另一实施例中，如图6B所示，第一服务器310可以从第一图像中提取第一文本610并分开显示第一文本610。例如，第一服务器310可以以句子元素分析第一文本610，并且以块621、行622、单词623和/或字母624为单位显示第一文本610。

根据实施例，当发送第一图像时，电子设备101可以将用于确定第一文本610的格式的命令一起发送到第一服务器310。第一服务器310可以基于该命令提取第一文本610。例如，第一服务器310可以基于该命令提取第一文本610、位置信息和每个单词的位置信息并将其发送到电子设备101。在另一实施例中，第一服务器310可以将第一文本610分成块621、行622、单词623和/或字母624，并将第一文本610发送到电子设备101。

图7A是根据本公开的实施例的用于在电子设备中确定图像是否改变的示例图。图7B是根据本公开的另一实施例的用于确定图像是否改变的示例图。图7A和图7B是用于详细描述图4A所示的操作427的图。

参考图7A，电子设备(例如，图1的电子设备101)可以比较通过显示器输出的图像。当作为比较的结果没有显著改变时，电子设备101可以不将改变后的图像发送到第一服务器(例如，图3的第一服务器310)。例如，当比较左图像710和右图像720时，包括在左图像710中的文本可以与包括在右图像720中的文本基本相同。电子设备101可以不将右图像720发送到第一服务器310，因为包括在左图像710中的文本可以与包括在右图像720中的文本基本相同。

参考图7B，当通过显示器(例如，图1的显示设备160)输出的图像改变时，电子设备101可以将改变后的图像发送到第一服务器310。例如，用户可以将电子设备101从左方向730移动到右方向740。随着电子设备移动，通过显示器输出的屏幕也可以改变。例如，随着电子设备101移动，第一图像731可以在左方向730上输出，而第二图像741可以在右方向740上输出。第二图像741可以包括与第一图像重叠的区域741a和与第一图像不重叠的区域741b。

图8A示出了根据本公开的实施例的第一图像。图8B示出了根据本公开的实施例的第二图像。图8A和图8B是用于详细描述图4所示的操作431的图。

参考图8A和图8B，电子设备(例如，图1的电子设备101)可以比较第一图像810(例如，图7A的第一图像731)和第二图像820(例如，图7B的第二图像741)，并且将第二图像820与第一图像810重叠的区域820a作为第一类型数据820-1发送到第一服务器(例如，图3的第一服务器310)。电子设备101可以将第二图像820与第一图像810不重叠的区域820b作为第二类型数据820-2发送到第一服务器310。例如，第二图像820的左区域820a可以与第一图像810重叠，但是第二图像820的右区域820b可以与第一图像810不重叠。因此，电子设备101可以将左区域820a作为具有JSON格式的数据820-1发送到第一服务器310。电子设备101可以将右区域820b作为图像数据820-2(例如，JPG数据)发送到第一服务器310。

同时，图8A和图8B所示的实施例仅是实施例，并且本公开的实施例不限于图8A和图8B所示的实施例。例如，电子设备101可以不发送第二图像820的左区域820a，而可以将第二图像820的右区域820b发送到第一服务器310。

根据本公开的实施例，已经被发送到第一服务器310的图像可以以小数据格式被发送到服务器，或者不被发送到服务器，从而减小电子设备101发送的数据的大小。因此，可以缩短电子设备101输出文本所需的时间。

根据实施例，在接收到第二图像820之后，第一服务器310可以从第二图像820与第一图像810不重叠的区域820b提取第三文本。例如，因为第二图像820中的“Baby I amsorry”是从第一图像810中提取的，所以第一服务器310可以不提取“Baby I am sorry”而提取“but I love you”。根据基于比较示例的文本识别系统，即使当图像中存在重叠区域时，也可以提取包括在图像中的所有文本。然而，根据基于本公开的实施例的文本识别系统(例如，图3的文本识别系统300)，可以通过仅提取非重叠区域(例如，820b)中的文本来缩短文本识别时间。

图9示出了根据本公开的实施例的电子设备的操作环境。图9是用于详细描述图4所示的操作431的图。

参考图9，用户可以通过电子设备(例如，图1的电子设备101)拍摄讲师(以下称为对象911)在上课时间期间在黑板前面讲课的环境。在这种情况下，黑板的一部分可能被对象911遮挡。电子设备101可以捕获拍摄的环境作为第一图像910。捕获的第一图像910可以被发送到第一服务器(例如，图3的第一服务器310)，并且第一服务器310可以提取没有被对象911遮挡的区域910a中的文本。

根据实施例，随着对象911移动，被对象911遮挡的区域910b可以改变。在这种情况下，电子设备101可以在对象911已经移动的状态下捕获屏幕作为第二图像920。电子设备101可以比较第一图像910和第二图像920，并且作为比较的结果，将第一图像910与第二图像920重叠的区域920a作为第一类型数据(例如，具有JSON格式的数据)发送到第一服务器310。电子设备101可以向第一服务器310发送根据比较得到的非重叠区域920b作为第二类型数据(例如，JPG数据)。第一服务器310可以从非重叠区域920b提取文本。

同时，图9所示的实施例仅是一个实施例，并且本公开的实施例不限于图9所示的实施例。例如，第一图像910与第二图像重叠的区域可以不被发送到第一服务器310，并且第一图像910与第二图像不重叠的区域可以被发送到第一服务器310。

根据本公开的实施例，已经被发送到服务器的图像可以以小数据格式被发送到服务器，或者不被发送到服务器，从而减小电子设备101发送的数据的大小。因此，可以缩短电子设备101输出文本所需的时间。

Claims

1.一种电子设备，包括：

成像设备，被配置为生成图像数据；

通信电路；

至少一个处理器，可操作地连接到所述成像设备和所述通信电路；以及

存储器，可操作地连接到所述处理器以存储指令，

其中，所述指令在被执行时使所述处理器：

从所述成像设备接收包括第一图像的第一图像数据；

通过所述通信电路将所述第一图像数据发送到第一服务器；

通过所述通信电路从所述第一服务器接收第一文本数据，所述第一文本数据包括从所述第一图像数据识别的第一文本；

从所述成像设备接收包括第二图像的第二图像数据，所述第二图像包括与所述第一图像的一部分重叠的第一区域和不与所述第一图像重叠的第二区域；

通过所述通信电路，通过作为第一类型数据发送所述第一区域和作为不同于所述第一类型数据的第二类型数据发送所述第二区域，来将所述第二图像数据发送到所述第一服务器；以及

通过所述通信电路从所述第一服务器接收第三文本数据，所述第三文本数据包括从发送的所述第二图像数据的第一类型数据和第二类型数据识别的第三文本。

2.根据权利要求1所述的电子设备，

其中，所述第一类型数据包括javascript对象注释JSON格式；以及

其中，所述第二类型数据包括图像格式。

3.根据权利要求1所述的电子设备，其中，所述第一类型数据的大小小于所述第二类型数据的大小。

4.根据权利要求3所述的电子设备，其中，所述第一文本数据包括关于与所述第一图像中的所述第一文本相关的至少一个坐标的数据。

5.根据权利要求1所述的电子设备，还包括：

显示器，被配置为输出通过所述成像设备识别的图像，

其中，所述成像设备是相机，

其中，所述指令在被执行时使所述处理器：

响应于用于执行用于捕获图像的应用的用户输入，捕获通过所述显示器输出的所述第一图像。

6.根据权利要求5所述的电子设备，其中，所述指令在被执行时使所述处理器：

从所述第一服务器接收所述第三文本数据，以通过所述显示器输出所述第三文本。

7.根据权利要求5所述的电子设备，其中，所述指令在被执行时使所述处理器：

将所述第一文本发送到第二服务器；以及

从所述第二服务器接收通过将所述第一文本转换为指定语言而获得的第一翻译文本，并通过所述显示器输出所述第一翻译文本。

8.根据权利要求7所述的电子设备，其中，所述指令在被执行时使所述处理器：

将所述第三文本发送到所述第二服务器；以及

从所述第二服务器接收通过将所述第三文本转换为指定语言而获得的第二翻译文本，并通过所述显示器输出所述第二翻译文本。

9.根据权利要求5所述的电子设备，其中，所述第一文本包括第一物理量单位，并且

其中，所述指令在被执行时使所述处理器将所述第一文本发送到第二服务器，从所述第二服务器接收通过将所述第一物理量单位改变为指定单位而获得的第二物理量单位，并且通过所述显示器输出所述第二物理量单位。

10.根据权利要求5所述的电子设备，其中，所述第一文本包括第一货币单位，并且

其中，所述指令在被执行时使所述处理器将所述第一文本发送到第二服务器，从所述第二服务器接收通过将所述第一货币单位改变为指定单位而获得的第二货币单位，并且通过所述显示器输出所述第二货币单位。

11.根据权利要求5所述的电子设备，其中，所述第一图像包括在第一时间点拍摄的图像，所述第二图像包括在第二时间点拍摄的图像，并且所述第二图像数据包括在所述第二图像中可见和在所述第一图像中被外部对象遮挡的数据。

12.一种用于在电子设备中识别字符的方法，包括：

从成像设备接收包括第一图像的第一图像数据；

通过通信电路将所述第一图像数据发送到第一服务器；

13.根据权利要求12所述的方法，

其中，所述第二类型数据包括图像格式。

14.根据权利要求12所述的方法，

其中，所述第一类型数据的大小小于所述第二类型数据的大小。

15.根据权利要求14所述的方法，其中，所述第一文本数据包括关于与所述第一图像中的所述第一文本相关的至少一个坐标的数据。