CN102270296A - 结合文字识别和图像匹配交换名片信息的方法 - Google Patents

Abstract

本发明提供一种结合文字识别和图像匹配交换名片信息的方法，应用在由网站服务器、第一、第二客户端构建的网络系统中，该方法至少包括：第一客户端将获取的第二客户端用户的名片图像上的文字信息和图像特征后上传至网站服务器，网站服务器从名片资料库中检索出与该文字信息相匹配的所有预存名片，并进行图像特征匹配，然后根据图像特征的相似度选取出候选名片，并判断该候选名片是否属于该第二客户端用户，若是，则在第二客户端应允后，网站服务器将第二客户端用户的名片信息发送给第一客户端，同时也将第一客户端的名片信息发送至第二客户端；若否，则结束步骤，以此来确保名片信息交换的准确率和识别速度，并进一步保护名片主人的隐私。

Description

结合文字识别和图像匹配交换名片信息的方法

技术领域

本发明涉及一种属于图像处理和网络应用的技术领域，特别是涉及一种结合文字识别和图像匹配来确认名片主人并交换名片信息的方法。

背景技术

名片是人们经常使用的一种记载和传递联系方式的媒体，在日常商务活动中往往会涉及大量的名片交换，人们通过名片交换的方式来传递联系方式，跟其他人建立联系。

目前已经在手机和微机中广泛使用的名片识别技术，即利用图像处理和光学字符识别(OCR，Optical Character Recognition)的原理，对数码相机拍摄或扫描仪扫描得到的名片图像自动进行处理和识别，然后自动提取出其中的姓名、电话、E-mail等有用信息来加入到地址簿中去，为人们在电子设备中输入名片上记载的联系信息提供了很大的方便。例如多普达Touch Diamond手机中预装的名片识别软件。

在目前的名片识别的应用实例中，如果用户A和用户B交换了名片，则他们需要分别手工或者使用名片识别软件去把对方的名片信息加入到自己的电子设备的联系人列表中去。

我们可以把名片识别得到的文字传给某个网站的服务器，利用识别出来的名片中的文字信息如姓名，电话号码，电子邮箱等等在该网站的注册用户中找到名片主人，进而与名片主人实现电子名片信息的交换，但是基于光学字符识别原理的名片识别技术识别结果是不可能达到100％的准确率的，把经过光学字符识别获得的可能包含错误的文字信息传递给特定网站的服务器，在很多情况下网站的服务器不能根据由光学字符识别得到的文字来唯一确定这些文字属于网站的哪一个注册用户保存的名片，或者是否属于网站的注册用户所保存的名片。比如说，有些公司的销售人员的名片，除了姓名不同其它的信息如公司名称，地址，联系电话，电子邮件地址等都是一样的，这个时候如果名片中的姓名的文字没有识别出来，网站的服务器就不可能根据其它文字信息来确定这张名片的主人是谁。

所谓的图像匹配是指判断两张图像中拍摄的物体是不是同一个物体，学术界对图像匹配的研究已经有很多年了，一般的做法是找出图像中所拍摄物体的一些特征点，然后依据这些特征点周边一定范围内的像素值来得到一个特征向量，通过特征点和特征向量的匹配来判断图像中拍摄的物体是不是同一个物体，如论文“Speed-up Robust Feautre(SURF)”(HerbertBay，Andreas Ess，Tinne Tuytelaars，Luc Van Gool，Computer Vision and ImageUnderstanding 110(2008)346-359)中就比较详细描述了这样一种方法；在另一篇学术论文“Rate-efficient，real-time cd cover recognition on a camera-phone”(Sam S.Tsai，David Chen，Jatinder Pal Singh，Bernd Girod，Proceeding of the 16th ACM internationalconference on Multimedia)中则描述了一个利用图像匹配来在10000张存在于数据库中的CD封面图像中查找出与输入的图像最接近的那张CD封面的实际系统。

把图像匹配的方法用到名片识别中来，简单直观的做法是对每张传送给网站服务器要求进行识别获得其中包含的文字的名片图像，提取特征然后用某种图像匹配的算法来在服务器包含的所有名片的图像中查找跟输入的名片图像最相似的那张名片，返回那张名片的文字信息给用户。但是，这种做法存在的问题主要是：

其一，图像匹配的方法速度太慢，由于服务器的数据库中保存的名片图像会非常庞大，一般可能需要从几百万，几千万，甚至几个亿的不同名片的图像中查找出与输入的图像相同的那张名片来，另一个方面，在实际应用中，网站的服务器可能每天需要处理几十万甚至几百万次的识别名片的请求，这个工作量是目前的计算硬件和图像匹配的算法几乎不可能完成的任务。

其二，图像匹配的方法准确率不够高。名片中包含了用户的姓名、电话号码、电子邮件、地址、公司名称和职务等等，这些都是隐私性比较强的信息，如果用户请求识别的是一张名片，而网站的服务器返回的是另一张名片对应的文字信息，就涉及到侵犯返回的那张名片主人的隐私了。所以用图像匹配的方法来做名片识别对识别准确率的要求可以说是100％的，这里识别准确率我们是指100次成功得到了网站的服务器返回的文字信息的识别请求中，有多少次网站的服务器返回的文字信息确实就是要求进行识别的名片图像所包含的文字信息。但是，在保证识别准确率的前提下，拒识率还要越低越好，否则这个名片识别就失去了实际使用的价值了。上述的拒识率我们是指提交给网站的服务器的100次名片识别请求中，有多少次被网站的服务器告知不能识别，不能识别的原因可能是网站的服务器中没有保存所提交的那张图像所拍摄的名片的图像和对应的文字信息，也可能是网站的服务器不能确定所提交的那张图像拍摄的是哪张名片，因而拒绝返回对应的文字信息。目前的图像匹配算法要保证识别准确率100％，但是，其拒识率通常会比较高。

因而，如何提供一种可以结合文字识别和图像匹配的名片信息交换技术，以解决现有技术中的种种问题，已经成为本技术领域从业者亟待解决的问题。

发明内容

鉴于以上所述现有技术的缺点，本发明的目的在于提供一种结合文字识别和图像匹配交换名片信息的方法，用以确保名片信息交换的准确率和识别速度，并能够进一步保护名片信息的隐私性。

为实现上述目的及其他相关目的，本发明提供一种结合文字识别和图像匹配交换名片信息的方法，应用于至少由网站服务器、第一客户端及第二客户端构建的网络系统中，所述网站服务器具有预存名片信息的名片资料库，所述第一及第二客户端具有名片图像撷取、文字信息识别及图像特征提取功能，其特征在于，所述交换名片信息的方法至少包括以下步骤：1)所述第一客户端撷取所述第二客户端用户的名片图像后，识别所述名片图像上的文字信息，并提取图像特征；2)所述第一客户端将识别的文字信息和提取的图像特征上传至所述网站服务器，并发送名片识别请求；3)所述网站服务器接受到该名片识别请求后，依据所述文字信息从所述名片资料库中检索与该文字信息相匹配的所有预存名片，并将检索出的各该预存名片的名片图像分别与所述第二客户端用户的名片图像进行图像特征匹配，根据图像特征的相似度，对应每一预存名片生成一个相似程度的度量值；4)所述网站服务器将所有预存名片中度量值最大的一张名片作为候选名片；5)判断所述候选名片是否属于所述第二客户端用户，若是，则所述网站服务器向所述第二客户端发出交换请求，在所述第二客户端应允后，所述网站服务器将第二客户端用户的名片信息发送给所述第一客户端，同时也将所述第一客户端的名片信息发送至第二客户端；若否，则结束步骤。

在本发明的交换名片信息的方法中，所述名片信息包括名片图像、文字信息、以及名片主人的图像、音频、或视频信息。所述文字信息为名片上的姓名、职称、电话、传真、地址、邮编、电子信箱、网站地址、产品信息中的至少一种。

在本发明的交换名片信息的方法的步骤1)中，所述第一客户端是通过数码拍摄装置或扫描装置撷取所述第二客户端用户的名片图像。所述第一客户端是利用光学字符识别技术识别所述名片图像上的文字信息和提取图像特征。

在本发明的交换名片信息的方法中，所述网站服务器预设有用于与所述度量值相比对的参照值，且所述度量值与参照值均为整数，于步骤5)中，当所述网站服务器判断所述候选名片是否属于所述第二客户端用户时，为判断所述度量值是否大于所述参照值，若是，则所述网站服务器向所述第二客户端发出交换请求，若否，则结束步骤。

在本发明的交换名片信息的方法的步骤3)中，所述网站服务器接受到该名片识别请求后，依据所述文字信息从所述名片资料库中未检索到与该文字信息相匹配的所有预存名片时，则结束步骤。所述图像特征匹配是匹配所述预存名片的名片图像和第二客户端用户的名片图像二者的特征点和各该特征点对应的特征向量。

在本发明的交换名片信息的方法的步骤5)中，所述网站服务器向所述第二客户端发出交换请求，当所述第二客户端未应允时，则结束步骤。所述网站服务器将第一客户端的名片信息发送至第二客户端时，同时将所述第一客户端的名片信息注册于所述网站服务器，并保存至所述名片资料库中。

如上所述，本发明的结合文字识别和图像匹配交换名片信息的方法，在识别名片图像时，将文字识别的结果结合图像特征来确定名片的主人是该网站的哪个注册用户，并与名片主人交换名片信息，从而实现了只要交换纸质名片的双方中有一方拍摄名片进行识别就可以使得双方都获得对方的电子名片信息，不但可以确保名片信息交换的准确率和识别速度，而且通过图像匹配的进一步确认保护了名片信息的隐私性。

附图说明

图1显示为本发明的结合文字识别和图像匹配交换名片信息的方法流程示意图。

具体实施方式

以下通过特定的具体实例说明本发明的实施方式，本领域技术人员可由本说明书所揭示的内容轻易地了解本发明的其他优点与功效。本发明还可以通过另外不同的具体实施方式加以实施或应用，本说明书中的各项细节也可以基于不同观点与应用，在不背离本发明的精神下进行各种修饰或改变。

请参阅图1，显示为本发明的结合文字识别和图像匹配交换名片信息的方法流程示意图。需要说明的是，本实施例中所提供的图示仅以示意方式说明本发明的基本构想，遂图式中仅显示与本发明中有关的组件而非按照实际实施时的组件数目、形状及尺寸绘制，其实际实施时各组件的型态、数量及比例可为一种随意的改变，且其组件布局型态也可能更为复杂。

如图所示，本发明提供一种结合文字识别和图像匹配交换名片信息的方法，应用于至少由网站服务器(未予以图示)、第一客户端及第二客户端(未予以图示)构建的网络系统中，所述网站服务器具有预存名片信息的名片资料库，在本实施例中，所述名片资料库中的所述名片信息包括名片图像、文字信息、以及名片主人的图像、音频、或视频信息，例如，包括用户名片的图像，用户的大头像，以及用户自己决定提供给他人的文字，图像，音频，视频等信息，其中，所述文字信息为名片上的姓名、职称、电话、传真、地址、邮编、电子信箱、网站地址、产品信息中的至少一种。

所述第一及第二客户端具有名片图像撷取、文字信息识别及图像特征提取功能，在本实施例中，所述第一客户端具有数码拍摄装置或扫描装置，用以撷取名片图像，并可以利用光学字符识别技术识别所述名片图像上的文字信息和提取图像特征。在本实施例中，所述第一及第二客户端可以是智能手机、平板电脑、PDA等具有数据处理功能的电子设备。

在本实施例中，所述网站服务器的网站为一个具有维护联系人信息功能的网站，该网站的注册用户可以将自己的一张或多张名片的名片信息包括文字信息和名片图像一起保存到名片资料库，并与自己的账户相互关联，所保存的名片文字信息是经过用户自己或者网站管理人员的检查校正，保证正确的，所保存的对应同样的文字信息的名片图像可以有一张或者多张，例如同一个用户可能有多张名片，在这多张名片中只有公司和职务的信息是不同的，其它姓名、电话、电子信箱等信息都是相同的。

如图1所示，所述交换名片信息的方法至少包括以下步骤：

首先执行步骤S1，所述第一客户端撷取所述第二客户端用户的名片图像后，识别所述名片图像上的文字信息，并提取图像特征；在本实施例中，所述第一客户端是通过数码拍摄装置或扫描装置撷取所述第二客户端用户的名片图像，并利用光学字符识别技术识别所述名片图像上的文字信息和提取图像特征。接着执行步骤S2。

在步骤S2中，所述第一客户端将识别的文字信息和提取的图像特征经由有线或无线网络上传至所述网站服务器，并发送名片识别请求；接着执行步骤S3。

在步骤S3中，所述网站服务器接受到该名片识别请求后，依据所述文字信息从所述名片资料库中检索与该文字信息相匹配的所有预存名片，在本实施例中，所述网站服务器利用识别出来的文字信息在该网站的注册用户保存的名片的文字信息中进行检索，文字检索的目的是大幅度减少在下一步中需要依据图像特征来进行图像匹配的图像的数量，从而提高图像匹配的速度和匹配的准确率。所述利用识别出来的文字信息进行文字检索具体的做法就是在该网站的名片资料库中注册用户保存的名片的文字信息中查找跟识别出来的文字中包含的姓名、职称、电话、传真、地址、邮编、电子信箱、网站地址、产品信息中的至少一种完全一致的预存名片。接着执行步骤S4。

在步骤S4中，判断是否检索到，若是，则进至步骤S5，若否，则表明所述第二客户端用户的名片信息未注册在该网站中，也就是说，所述名片资料库中没有该第二客户端用户的名片信息，因而，则直接结束步骤。

需要说明的是，即使在步骤S4中利用识别出来的文字信息从所述名片资料库中进行检索之后，得到的是唯一的一张与第二客户端用户的名片图像中识别出来的文字一致的名片，也仍然需要到步骤S5中去进行验证，这是因为存在某些情况下网站服务器不能根据由光学字符识别得到的文字来唯一确定这些文字属于网站服务器所保存的名片中的哪一张，或者是否属于网站服务器所保存的名片。比如说，同一个用户可能有多张名片，在这多张名片中只有公司和职务的信息是不同的，其它姓名，电话，电子信箱这些信息都是相同的，这样如果对公司和职务的识别有误，只是正确的识别出了姓名，电话，电子信箱等信息，网站服务器就不能唯一确定这些信息属于用户的哪一张名片。接着执行步骤S5。

在步骤S5中，将检索出的各该预存名片的名片图像分别与所述第二客户端用户的名片图像进行图像特征匹配，在本实施例中，所述图像特征匹配是匹配所述预存名片的名片图像和第二客户端用户的名片图像二者的特征点和各该特征点对应的特征向量。接着执行步骤S6。

在步骤S6中，根据图像特征的相似度，对应每一预存名片生成一个相似程度的度量值；在本实施例中，所述网站服务器预设有用于与所述度量值相比对的参照值，且所述度量值与参照值均为整数，当所述度量值大于所述参照值时，则表示所述度量值对应的那种候选名片为第二客户端用户的名片。换言之，所述度量值越大，则表示所述度量值对应的那种名片与第二客户端用户的名片越相似。接着执行步骤S7。

在步骤S7中，所述网站服务器将所有预存名片中度量值最大的一张名片作为候选名片，以确保下一步骤比对的精确度。接着执行步骤S8。

在步骤S8中，判断所述候选名片是否属于所述第二客户端用户，换言之，当所述网站服务器判断所述候选名片是否属于所述第二客户端用户时，为判断所述度量值是否大于所述参照值，若是，则进至步骤S9，若否，则意味着所述候选名片是不属于所述第二客户端用户，为确保该候选名片主人信息隐私不被泄露，则不再进行名片信息交换，则直接结束步骤。

在步骤S9中，所述网站服务器向所述第二客户端发出交换请求，接着执行步骤S10。

在步骤S10中，判断所述第二客户端是否应允交换请求，若是，则进至步骤S11，若否，则表示所述第二客户端的用户不愿意和所述第一客户端的用户交换名片信息，为确保该第二客户端的用户的信息隐私不被泄露，则不再进行名片信息交换，则直接结束步骤。

在步骤S11中，所述网站服务器将第二客户端用户的名片信息发送给所述第一客户端，同时也将所述第一客户端的名片信息发送至第二客户端，此时，如果该第一客户端的用户未将其名片信息注册至该网站中时，所述第一客户端将其的名片信息发送至第二客户端的同时，也可以注册于所述网站服务器，并保存至所述名片资料库中，以便在日后的名片信息交换中能被交换对象的客户端从网站中获取其名片信息。

综上所述，本发明的结合文字识别和图像匹配交换名片信息的方法，在识别名片图像时，将文字识别的结果结合图像特征来确定名片的主人是该网站的哪个注册用户，并与名片主人交换名片信息，从而实现了只要交换纸质名片的双方中有一方拍摄名片进行识别就可以使得双方都获得对方的电子名片信息，不但可以确保名片信息交换的准确率和识别速度，而且通过图像匹配的进一步确认保护了名片信息的隐私性。所以，本发明有效克服了现有技术中的种种缺点而具高度产业利用价值。

上述实施例仅例示性说明本发明的原理及其功效，而非用于限制本发明。任何熟悉此技术的人士皆可在不违背本发明的精神及范畴下，对上述实施例进行修饰或改变。因此，举凡所属技术领域中具有通常知识者在未脱离本发明所揭示的精神与技术思想下所完成的一切等效修饰或改变，仍应由本发明的权利要求所涵盖。

Claims (10)

1.一种结合文字识别和图像匹配交换名片信息的方法，应用于至少由网站服务器、第一客户端及第二客户端构建的网络系统中，所述网站服务器具有预存名片信息的名片资料库，所述第一及第二客户端具有名片图像撷取、文字信息识别及图像特征提取功能，其特征在于，所述交换名片信息的方法至少包括以下步骤：

1)所述第一客户端撷取所述第二客户端用户的名片图像后，识别所述名片图像上的文字信息，并提取图像特征；

2)所述第一客户端将识别的文字信息和提取的图像特征上传至所述网站服务器，并发送名片识别请求；

3)所述网站服务器接受到该名片识别请求后，依据所述文字信息从所述名片资料库中检索与该文字信息相匹配的所有预存名片，并将检索出的各该预存名片的名片图像分别与所述第二客户端用户的名片图像进行图像特征匹配，根据图像特征的相似度，对应每一预存名片生成一个相似程度的度量值；

4)所述网站服务器将所有预存名片中度量值最大的一张名片作为候选名片；

5)判断所述候选名片是否属于所述第二客户端用户，若是，则所述网站服务器向所述第二客户端发出交换请求，在所述第二客户端应允后，所述网站服务器将第二客户端用户的名片信息发送给所述第一客户端，同时也将所述第一客户端的名片信息发送至第二客户端；若否，则结束步骤。

2.根据权利要求1所述的结合文字识别和图像匹配交换名片信息的方法，其特征在于：所述名片信息包括名片图像、文字信息、以及名片主人的图像、音频、或视频信息。

3.根据权利要求2所述的结合文字识别和图像匹配交换名片信息的方法，其特征在于：所述文字信息为名片上的姓名、职称、电话、传真、地址、邮编、电子信箱、网站地址、产品信息中的至少一种。

4.根据权利要求1所述的结合文字识别和图像匹配交换名片信息的方法，其特征在于：于步骤1)中，所述第一客户端是通过数码拍摄装置或扫描装置撷取所述第二客户端用户的名片图像。

5.根据权利要求1所述的结合文字识别和图像匹配交换名片信息的方法，其特征在于：于步骤1)中，所述第一客户端是利用光学字符识别技术识别所述名片图像上的文字信息和提取图像特征。

6.根据权利要求1所述的结合文字识别和图像匹配交换名片信息的方法，其特征在于：所述网站服务器预设有用于与所述度量值相比对的参照值，且所述度量值与参照值均为整数，于步骤5)中，当所述网站服务器判断所述候选名片是否属于所述第二客户端用户时，为判断所述度量值是否大于所述参照值，若是，则所述网站服务器向所述第二客户端发出交换请求，若否，则结束步骤。

7.根据权利要求1所述的结合文字识别和图像匹配交换名片信息的方法，其特征在于：于步骤3)中，所述网站服务器接受到该名片识别请求后，依据所述文字信息从所述名片资料库中未检索到与该文字信息相匹配的所有预存名片时，则结束步骤。

8.根据权利要求1所述的结合文字识别和图像匹配交换名片信息的方法，其特征在于：于步骤3)中，所述图像特征匹配是匹配所述预存名片的名片图像和第二客户端用户的名片图像二者的特征点和各该特征点对应的特征向量。

9.根据权利要求1所述的结合文字识别和图像匹配交换名片信息的方法，其特征在于：于步骤5)中，所述网站服务器向所述第二客户端发出交换请求，当所述第二客户端未应允时，则结束步骤。

10.根据权利要求1所述的结合文字识别和图像匹配交换名片信息的方法，其特征在于：于步骤5)中，所述网站服务器将第一客户端的名片信息发送至第二客户端时，同时将所述第一客户端的名片信息注册于所述网站服务器，并保存至所述名片资料库中。