CN106339726A - 用于手写识别的方法及装置 - Google Patents

Abstract

本发明提供一种用于手写识别的方法及装置。该手写登记方法包括：训练数据获取步骤，用于获取训练字符的训练数据，其中，所述训练字符包括至少一个偏旁，所述训练数据包括所述训练字符的代码；虚拟样本生成步骤，用于基于偏旁数据集来生成所述训练字符的至少一个虚拟样本，其中，所述偏旁数据集包括所述训练字符的所述至少一个偏旁的至少一个书写风格模板；以及识别模板生成步骤，用于基于所述训练字符的所述训练数据和所述至少一个虚拟样本，来生成所述训练字符的至少一个识别模板。

Description

用于手写识别的方法及装置

技术领域

本发明通常涉及手写识别领域，具体地，涉及一种用于在线识别手写字符的方法及其装置。

背景技术

近年来，在线手写识别被广泛用于人机交互系统。以多功能外围设备(MFP)为例，手写识别的技术使得用户能够输入操作参数来指示MFP。用户能够通过手写输入姓名以及用户的传真目的地的地址。MFP识别手写字符，并相应地实施传真操作。

在这种场景下，用户有时需要通过少量的手写样本，将新字符登记到手写识别引擎的字典中。例如，用户需要登记日文汉字字符，因为当ROM大小有限时，没有必要生成能够涵盖所有日文汉字字符的字典。然而，如果在登记阶段中由一个人书写了字符的样本，则对MFP的手写识别引擎而言，将难以识别由其他人书写的该字符的样本。因为不同的人可能具有不同的书写风格，例如不同的笔划顺序、不同的笔划数、不同的笔划形状等。图12A至图12E能够帮助理解笔划数。在图12A中，书写风格模板的笔划数是1，在图12B至图12D中，模板的笔划数分别是2，在图12E中，模板的笔划数是3。

美国专利第7865018号公开了一种利用个性化手写识别引擎的手写识别技术。识别技术使用个人的先前的书写风格的示例，来帮助识别该个人输入的新笔迹。如果其他个人具有不同的书写风格，则该方法不能支持其他个人。

在在线登记的场景下，用于登记的真实手写样本的数量通常太少，而不能包含一个字符的所有可能书写风格。但是，即使当字符的登记样本仅有少量时，仍然存在识别该字符的各种测试样本的需要。

发明内容

本发明是鉴于上述问题中的至少一者而提出的。

根据本发明的一个方面，提供了一种手写登记方法，该手写登记方法包括：训练数据获取步骤，用于获取训练字符的训练数据，其中，所述训练字符包括至少一个偏旁，所述训练数据包括所述训练字符的代码；虚拟样本生成步骤，用于基于偏旁数据集来生成所述训练字符的至少一个虚拟样本，其中，所述偏旁数据集包括所述训练字符的所述至少一个偏旁的至少一个书写风格模板；以及识别模板生成步骤，用于基于所述训练字符的所述训练数据和所述至少一个虚拟样本，来生成所述训练字符的至少一个识别模板。

通过以下参照附图对示例性实施例的描述，本发明的其他特征将变得清楚。

附图说明

被并入本说明书并构成本说明书的一部分的附图例示了本发明的实施例，并且与文字描述一起用来说明本发明的原理。

图1是例示根据第一示例性系统配置的图像处理装置100的配置的示意性框图。

图2是例示图1中的字符识别单元120的示例性硬件配置的框图。

图3示意性地示出了根据第一实施例的生成偏旁的书写风格模板的一般流程图。

图4示出了根据第一实施例的对偏旁的样本进行聚类(clustering)的流程图。

图5示出了手写登记方法的一般流程图。

图6示出了根据第二实施例的生成训练字符的至少一个虚拟样本的流程图。

图7示出了根据第三实施例的生成训练字符的至少一个虚拟样本的流程图。

图8示出了根据第三实施例的检测偏旁的详细流程图。

图9例示了日文汉字字符“記”及其笔划顺序的登记样本。

图10示出了根据第三实施例构造检测到的偏旁的手写的详细流程图。

图11A例示了图9中的登记样本的编号7和8的笔划。

图11B例示了图9中的登记样本的编号7和8的笔划的笔划片段。

图12A至图12E例示了偏旁“己”的5种书写风格模板。

图13例示了由训练字符的偏旁的书写风格模板来构造该训练字符的虚拟样本的示例。

图14例示了图像坐标系。

图15示例性地例示了字符结构字典。

图16是示例性地例示根据第一实施例的生成偏旁的书写风格模板的基本处理的示意图。

图17是示例性地例示根据第二实施例的生成训练字符的至少一个虚拟样本的基本处理的示意图。

图18是示例性地例示根据第三实施例的生成训练字符的至少一个虚拟样本的基本处理的示意图。

图19是根据本发明的轨迹分割装置的功能配置。

具体实施方式

下面，将参照附图来详细描述本发明的示例性实施例。应当指出，以下的描述实质上仅是说明性和示例性的，并且决不旨在限定本发明及其应用或用途。在实施例中陈述的部件和步骤、数值表达式以及数值的相对布置并不限定本发明的范围，除非另外特别说明。此外，对本领域技术人员公知的技术、方法及设备可能不进行详细讨论，但在适当的情况下旨在作为本说明书的一部分。

图1是例示根据能够实现本发明的实施例的第一示例性系统配置的图像处理装置100的配置的示意性框图。装置100是包括诸如复印功能、扫描器功能、传真功能等的各种功能的多功能外围设备。也可以由多个装置相互协作来实现这些功能。装置100包括用户界面(UI)单元110、字符识别单元120、图像处理单元130以及网络接口140。

装置100中的部件单元经由总线10相互通信。UI单元110使用户能够通过键盘或触敏屏来输入命令并优化操作参数。UI单元110还向用户显示诸如状态和处理进度的各种信息。例如，UI单元110使用户能够经由触敏屏来输入手写。字符识别单元120获取输入的手写，并计算识别结果。然后，图像处理单元130根据识别结果来对输入图像进行处理。网络接口140将图像处理装置100连接到网络，并且控制从在网络上的外部设备的数据接收或者向外部设备的数据发送。接收到的数据可以是要打印的数据，并且发送到外部设备的数据可以是通过扫描纸质文档而获取的图像，或者要传真给某个目的地的图像。

图2是例示图1中的字符识别单元120的示例性硬件配置的框图。处理器121通过将存储在硬盘驱动器(HDD)123中的程序和识别字典加载到存储器122上，来控制图像处理装置100的总体操作。此外，处理器121经由总线10与字符识别单元120中的其他部件通信。处理器121还被布置为根据公开的方法来读取、解码并执行全部步骤。处理器121利用系统总线10将字符识别结果记录到存储器122中。除了存储器122之外，字符识别结果也可以被更永久地存储在HDD 123上。作为另一选择，可以使用字符识别结果作为用来控制图像处理单元130的命令的辅助。

在下文中，将参照第一实施例和附图，来详细描述生成偏旁的书写风格模板的方法。

首先，将说明本说明书中使用的术语。

(1)字符的代码。每个日文汉字字符被赋予了基准真值(groundtruth)或者唯一代码。在该实施例中，应用Unicode(统一码)系统。例如，字符“記”被定义为0x8a18。各偏旁也被定义为唯一代码。例如，偏旁“言”被定义为0x0001，并且偏旁“己”被定义为0x0010。

(2)偏旁。偏旁被定义为一个字符中的一组相邻笔划。在一个字符中，偏旁彼此不交叠。在此，无交叠是指一个字符中的不同偏旁不共用同一笔划。并且每个字符可以被视为由至少一个偏旁组成。在该实施例中，如果字符能够被拆分成左、右两部分，则左半部分的笔划组或者右半部分的笔划组可以被分别定义为一个偏旁。如果字符能够被拆分成上、下两部分，则上半部分的笔划组或者下半部分的笔划组可以被分别定义为一个偏旁。如果字符不能被拆分，则该字符本身也可以作为整体被定义为一个偏旁。

(3)字符结构字典。字符结构字典被预先生成。该字典包括字符和相应偏旁的配对信息。对于给定的字符，该字典指明该字符由哪些偏旁组成、这些偏旁的代码、这些偏旁在该字符中的位置、以及该字符的这些偏旁的书写顺序。

偏旁在一个字符中的位置信息例如包括：

—偏旁的中心点在日文汉字字符中的坐标，其中，日文汉字字符被归一化为400*400，并且坐标系的原点位于左上角。请注意，归一化大小为400*400，坐标系的原点的位置仅用于例示。图14例示了标记了原点和坐标方向的图像坐标系。不用说，归一化大小以及坐标系的原点位置并不限于以上情形。

—偏旁在日文汉字字符中的高度。

—偏旁在日文汉字字符中的宽高比或纵横比。

图15示例性地例示了字符结构字典。在该字典中存在许多条目。从字符“記”的条目中，能够看出“記”由偏旁“訁”和“己”组成。在该字典中，列出了偏旁“訁”和“己”的代码、中心点坐标、高度、纵横比以及书写顺序。

(4)书写风格模板。对于同一偏旁，不同人的可能具有许多不同的书写风格。可以通过笔划数、笔划形状、笔划方向和/或笔划顺序的差异，来表征这些差异。偏旁书写风格模板被创建用来表示这些不同的书写风格。因此，一个偏旁可以对应于多个偏旁书写风格模板。

偏旁书写风格模板包括相应偏旁的代码、以及该偏旁的笔划特征。笔划特征包括笔划数、和/或笔划形状、和/或笔划方向、和/或笔划顺序。

书写风格模板的一个功能在于，配设有偏旁书写风格模板，因此能够构造该偏旁的虚拟轨迹。

图16是示例性地例示根据第一实施例的生成偏旁的书写风格模板的基本处理的示意图。请注意，在图16中，仅例示了主要步骤，并且未示出某些详细步骤。

圆柱1610例示了日文汉字字符的手写和相应的代码，例如手写及其基准真值代码0x8a18、手写及其代码0x8ab2。圆柱1620例示了字符结构字典，包括“訁”、“己”与“記”的配对信息，以及“訁”、“果”与“課”的配对信息。

通过步骤100的处理，基于1610和1620从字符手写中提取偏旁样本。

圆柱1630例示了提取的偏旁样本，例如偏旁“訁”、“己”以及“果”的偏旁样本。

通过步骤200的处理，对偏旁样本进行聚类。

圆柱1640例示了聚类的结果。和被合并在一个类中，因为它们的笔划特征比较相似；而在不同的类中，以用于进一步产生其他书写风格模板。在图16中，针对偏旁“己”和“果”示出了类似的处理。

通过步骤300的处理，基于圆柱1640中的类来创建书写风格模板，通常一个类产生一个书写风格模板。

圆柱1650例示了创建的书写风格模板。

接下来，将通过参照图3更详细地说明书写风格模板的生成。

图3示意性地示出了根据第一实施例的生成偏旁的书写风格模板的一般流程图。在该实施例中，字符是日文汉字字符。日文汉字字符手写数据集被预先生成。每个日文汉字字符具有由多个书写者书写的多个手写。

如图3所示，提供了日文汉字字符手写数据集、相应的代码以及字符结构字典，作为用于生成偏旁的书写风格模板的输入。

在步骤100中，从字符手写中提取偏旁样本。针对日文汉字字符的各个输入的手写，根据该字符的代码来搜索字符结构字典。然后，通过使用字典中的相应字符结构，将手写结构判断为左右结构、或者上下结构、或者整体结构。根据判断的结构，将字符手写分割为至少一个部分。提取所述至少一个部分，作为至少一个偏旁样本。

在步骤200中，对由不同书写者书写的同一偏旁的样本进行聚类。图4示出了根据第一实施例的对偏旁的样本进行聚类的流程图。

在步骤210中，基于笔划数对偏旁样本进行聚类。例如，偏旁“言”的3个样本是、以及由于3个样本分别具有笔划数6、6和5，因此样本和样本被聚类到同一第一级轨迹组中，而样本被聚类至其他第一级轨迹组中。

在步骤220中，对偏旁轨迹的大小进行归一化。在归一化之后，各偏旁轨迹的边界框变为200*200的大小，并且各偏旁轨迹的边界框的左上角点位于坐标(0,0)。不必说，归一化参数是可调整的，而并不旨在限定本发明的保护范围。

在步骤230中，对相应的笔划进行重新取样。在各个第一级偏旁轨迹组中，对相应的笔划进行重新取样，以使相应笔划的轨迹具有相同的取样点数。先对第一级组中的相应笔划的所有轨迹的取样点数求总和，然后将该总和除以相应笔划的轨迹的总数，从而计算一个平均点数。然后，采用等距取样方法，对相应笔划的轨迹进行取样。

在步骤240中，基于笔划数并且基于偏旁样本之间的距离的计算，来对偏旁样本进行聚类。在此，对聚类原理进行概述。首先，将第一级轨迹组中的各轨迹视为一个类。然后，通过判断特征距离是否小于阈值，来将不同的类合并在第一级组内。将各合并结果视为一个类，并且能够根据特征距离来重复地实施合并处理。请注意，具有不同笔划数的类不会合并在一起。因此，第一级组内的轨迹将产生至少一个类。可以应用各种特征距离，来判断是否合并。下面的描述仅是说明性的，并且不应限定本发明的保护范围。

可以将不同的特征用于计算偏旁样本之间的距离。在此，定义计算中的参数：

N是偏旁样本中的总笔划数；

j是笔划索引；

M是笔划中的总点数；

i是点索引；

T是一个类中的总轨迹数；

s是一个类内的轨迹索引；

p和q分别是两个类的索引。

在一个示例中，针对轨迹中的各点提取四维特征，如式(1)至(3)。其中，i＝1，2，…，M。

feature_i＝(x_i,y_i,dx_i,dy_i) (1)

dx_i＝x_i+1-x_i (2)

dy_i＝y_i+1-y_i (3)

如果在一个类中存在T个偏旁样本，则计算具有笔划索引j和点索引i的点的一个类的平均特征，如式(4)。

${\mathrm{feature}}_{i,j,aver}=\left(\underset{s=1}{\overset{T}{\Σ}}{\mathrm{feature}}_{i,j,s}\right)/T---\left(4\right)$

采用欧几里德(Euclidean)距离来测量两个类之间的相似性。计算类p与类q之间的、具有笔划索引j的相应笔划的特征距离，如式(5)。

${\mathrm{Distance}}_{p,q,j}=\underset{i=1}{\overset{M}{\Σ}}{({\mathrm{feature}}_{i,j,aver,p}-{\mathrm{feature}}_{i,j,aver,q})}^2---\left(5\right)$

并且计算类p与类q之间的偏旁的距离，如式(6)。

${\mathrm{Sum}}_{{\mathrm{Distance}}_{p,q}}=\sqrt{\frac{\underset{j=1}{\overset{N}{\Σ}}{\mathrm{Distance}}_{p,q,j}}{N}}---\left(6\right)$

如果由式(6)计算出的总和小于预定阈值，则合并类p和类q；否则，不合并类p和类q。

在步骤240之后，无法再合并的各类对应于第二级轨迹组。在步骤300中，各第二级组对应于偏旁书写风格模板。一个偏旁可以具有多个书写风格模板。各模板代表书写偏旁的具体方式。因此，不同的模板具有不同的笔划特征。

可以通过如下的步骤(a)至(c)，来计算书写风格模板的平均特征。请注意，以下步骤仅是说明性的，并不旨在限定本发明的保护范围。

(a)对相应第二级组中的偏旁轨迹进行归一化；在优选示例中，将轨迹的坐标归一化为[0，1]；

(b)通过式(1)、(2)和(3)来计算各点的特征；

(c)基于计算出的各点的特征，来计算笔划的平均特征。

请注意，书写风格模板的生成方法不受特别限定，只要能够获得所需的书写风格模板即可。

图5是手写登记方法的流程图。该方法包括：

步骤1000，训练数据获取步骤，用于获取训练字符的训练数据，其中，所述训练字符包括至少一个偏旁，所述训练数据包括所述训练字符的代码；

步骤2000，虚拟样本生成步骤，用于基于所述训练数据和偏旁数据集来生成所述训练字符的至少一个虚拟样本，其中，所述偏旁数据集包括所述训练字符的所述至少一个偏旁的至少一个书写风格模板；以及

步骤3000，识别模板生成步骤，用于基于所述训练字符的所述训练数据和所述至少一个虚拟样本，来生成所述训练字符的至少一个识别模板。

请注意，在步骤1000中，训练数据可能不充足。例如，训练数据可能包括字符的仅一个或两个真实手写样本。小规模的训练数据无法满足识别由许多不同的人书写的字符的各种样本的需要。

根据本发明的实施例，基于训练数据及相应的书写风格模板，能够生成训练字符的大量虚拟样本。因此，能够生成从许多不同训练样本获得的识别模板。此外，识别模板具有识别许多不同书写样本的能力。

步骤2000的输入信息包括训练字符的训练数据、以及偏旁数据集。训练字符包括至少一个偏旁，并且训练数据包括训练字符的代码。偏旁数据集包括训练字符的所述至少一个偏旁的至少一个书写风格模板。

下面，将通过分别参照图6和7，来详细说明在步骤2000生成虚拟样本的两个实施例。

如果用户需要登记新字符，至少有两种方式来完成登记。在一种方式中，用户可以输入该新字符的代码、以及字符结构字典。这种方式使得能够进行登记，而不必输入该新字符的训练样本。在另一方式中，用户可以输入该新字符的代码、以及该新字符的少量样本。这种方式使得能够进行登记，而不必输入字符结构字典。这两种方式或者两种选择，能够灵活地满足用户的登记要求。

图17是示例性地例示根据第二实施例的生成训练字符的至少一个虚拟样本的基本处理的示意图。

用户的输入由平行四边形1710例示，其包括训练字符“課”的代码，即0x8ab2。

圆柱1720例示了包括“訁”、“果”与“課”的配对信息的字符结构字典。

通过步骤2100的处理，基于1710和1720来检测形成字符“課”的偏旁。

块1740例示了检测到的偏旁“訁”和“果”。

块1730例示了偏旁数据集，其包括“訁”的书写风格模板1731以及“果”的书写风格模板1732。块1730充当步骤2200的输入。

通过步骤2200的处理，分别基于1731和1732来构造偏旁“訁”和“果”的轨迹。

块1750例示了构造的“訁”的轨迹1751、以及构造的“果”的轨迹1752。

通过步骤2300的处理，构造字符“課”的虚拟样本。

块1760示例性地例示了4个构造的虚拟样本。

接下来，将通过参照图6，更详细地说明训练字符的至少一个虚拟样本的生成。

图6示出了根据第二实施例的生成训练字符的至少一个虚拟样本的流程图。

在第二实施例中，除了训练字符的代码之外，训练数据还包括字符结构字典作为输入。字典包含训练字符与其偏旁的配对信息的条目。优选地，配对信息还包括各相应偏旁的代码、位置以及顺序。

为了登记日文汉字字符“記”的手写，输入该字符的Unicode 0x8a18，如图6所示。在步骤2100中，结构字典用于偏旁检测。检测结果包括：

具有Unicode 0x8a18的字符由偏旁“言”和“己”组成，以及“言”和“己”的偏旁位置和偏旁书写顺序，其中，这两个偏旁的Unicode分别是0x0001和0x0010。

根据检测到的偏旁代码，从输入的偏旁数据集中提取偏旁“言”和“己”的所有书写风格模板。在该示例中，存在“言”的3种书写风格模板、以及“己”的2种书写风格模板。

在步骤2200中，基于全部书写风格模板中的笔划特征，来构造检测到的偏旁的手写。根据一个书写风格模板的偏旁“己”的构造详情被描述如下，以用于例示。

步骤2200-1，选择一个书写风格模板

步骤2200-2，在选择的模板中选择笔划的特征。

步骤2200-3，根据笔划特征中的坐标信息，来生成笔划的虚拟轨迹。

针对笔划重复步骤2200-2和2200-3。

因此，在生成所有笔划的轨迹之后，构造出与模板相对应的虚拟轨迹。以这种方式，构造出偏旁“言”的3个虚拟轨迹、以及偏旁“己”的2个虚拟轨迹。在步骤2300中，基于字符结构字典来组合偏旁轨迹，来构造日文汉字字符“記”的虚拟样本。通过各种各样的虚拟偏旁轨迹，保证了各种各样的字符虚拟样本。

根据Unicode 0x8a18，在字符结构字典中找到字符“記”的配对信息。配对信息包括两个偏旁的偏旁顺序、中心位置、高度以及纵横比。根据高度和纵横比，来计算偏旁“言”的3个虚拟轨迹、以及偏旁“己”的2个虚拟轨迹的真实尺寸。然后，根据偏旁的偏旁顺序和中心位置，将调整大小后的轨迹组合为字符“記”的虚拟样本。因此，构造出多达6个虚拟样本。

在优选实施方式中，将字符“記”的虚拟样本进一步调整到其他预定大小。

图18是示例性地例示根据第三实施例的生成训练字符的至少一个虚拟样本的基本处理的示意图。

用户的输入由平行四边形1810例示，其包括训练样本及其代码0x8ab2。

块1820例示了偏旁数据集，其包括“訁”的书写风格模板1821、以及“果”的书写风格模板1822。

通过步骤2100’的处理，基于1810和1820来检测形成字符“課”的偏旁。

块1840例示了检测到的结果，“訁”的代码0x01以及“果”的代码0x30。

通过步骤2200’的处理，分别基于1821和1822来构造偏旁“訁”和“果”的轨迹。

块1850例示了构造的“訁”的轨迹1851、以及构造的“果”的轨迹1852。

圆柱1830例示了包括“訁”、“果”与“課”的配对信息的字符结构字典。

通过步骤2300’的处理，基于1830来构造输入样本的虚拟样本。

块1860示例性地例示了4个构造的虚拟样本。

接下来，将通过参照图7，更详细地说明训练字符的至少一个虚拟样本的生成。

图7示出了根据第三实施例的生成训练字符的至少一个虚拟样本的流程图。

在第三实施例中，除了训练字符的代码之外，训练数据还包括训练字符的至少一个训练样本。因此，也生成训练字符的虚拟样本。

为了登记日文汉字字符“記”的样本，用户输入自己的手写用于训练。登记的样本包括具有图9中标记的笔划顺序的8个连续笔划。返回参照图7，在步骤2100’中，检测在登记的样本中包括的偏旁。

生成源自该训练样本的多个笔划组，其中，各组中的笔划是连续的。这些笔划组具有不同的笔划数，和/或具有不同的起始笔划。

下面，将详细描述实施图8中的步骤2100’-1、即选择这些笔划组的详尽方式。图9例示了日文汉字字符“記”及其笔划顺序的登记样本。如果将图9中的第一笔划作为起始笔划，则能够选择多达8个笔划组。这些组各自具有不同的笔划数，并且笔划数从1到8各不相同。如果将图9中的第二笔划作为起始笔划，则能够选择多达7个笔划组。各组具有不同的笔划数，并且笔划数从1到7各不相同。以这种方式，能够将图9中的任何笔划作为起始笔划。如果将图9中的最后一个笔划作为起始笔划，则仅能够选择一个笔划组。并且笔划数是1。

返回参照图8，步骤2100’-2是距离计算步骤。对于每个选择的笔划组，从偏旁数据集中选择与当前选择的笔划组具有相同笔划数的偏旁书写风格模板的子集；并且计算当前选择的笔划组与所述子集中的各模板之间的距离信息。可以应用各种距离计算方法，只要距离能够反映候选偏旁书写风格模板与笔划组的匹配程度即可。在该实施例中，采用欧几里德方法来计算距离。并且采用动态时间规整(DTW)算法，来测量距离并相应地计算相似性得分。距离越小，则相似性得分越高。

在步骤2100’-3中，基于相应的距离信息，对计算出与相应笔划组的距离的所有书写风格模板进行排序，并且确定所述训练字符中包括的第一偏旁。

然后，从训练字符的所有笔划中，去除与第一偏旁相对应的笔划；并且根据剩余笔划和距离信息，来确定下一笔划。

在一个优选实施方式中，如图9所示，确定与编号7和8的笔划相对应的第一个偏旁“己”。然后，去除编号7和8的笔划。仅保持由编号1至6的笔划产生的笔划组，并且计算各保持的笔划组与候选书写风格模板的距离。接下来，将在基于距离信息的排序操作之后，确定该手写的其他偏旁。在图9的情况下，以这种方式确定与编号1至6的笔划相对应的第二偏旁“言”。

在其他优选实施方式中，在步骤2100’-2中，将由训练样本的轨迹产生的模板的所有子集，分类到不同的类中，使得同一类中的模板的子集具有相同的笔划数，并且不同类中的模板的子集具有不同的笔划数。例如，将由图9中的轨迹产生的模板的所有子集，划分为8个类。对于每个类，仅保持在该类内具有最高相似性得分的一个模板，并且去除该类内的其他模板。结果，保持了笔划数从1到8各不相同的8个模板。

接下来，在步骤2100’-3中，确定8个模板当中相似性得分最高的模板，作为所述训练字符中包括的第一偏旁。然后，从剩余的7个模板中，去除具有与第一偏旁交叠的笔划的各模板，并且根据剩余7个模板和相似性得分，来确定下一偏旁。

从而，图7中的步骤2100’从训练样本中检测偏旁。

接下来，在步骤2200’中，通过使用偏旁数据集，来构造检测到的偏旁的手写。

图10示出了根据第三实施例的构造检测的偏旁的手写的详细流程图。

图11A例示了图9中的日文汉字字符“記”的登记样本的编号7和8的笔划。

图11B例示了图9中的日文汉字字符“記”的登记样本的编号7和8的笔划的笔划片段。

在步骤2200’-1中，基于显著点(dominant points)来分割笔划。如图11A所示，基于显著点，即笔划的拐点，来分割与偏旁“己”相对应的编号7和8的笔划。

参照图11B，获得6个笔划片段。接下来，参照图12A至图12E，在偏旁数据集中，有偏旁“己”的5种书写风格模板。所述5种书写风格模板在笔划片段之间具有不同的连接关系。在步骤2200’-2中，基于5种书写风格模板的笔划数和归一化笔划特征来组合笔划片段，从而获得构造的偏旁“己”的手写。

在优选示例中，获得5个构造的偏旁“己”的手写。以同样的方式，获得4个构造的偏旁“言”的手写。

上述构造偏旁手写的方案保留了笔划片段的形状，同时提供了各种各样的笔划片段组合。

然后，针对图9中的登记样本，将编号7和8的笔划分别替换为5个构造的偏旁“己”的手写。作为另一选择，将编号1至6的笔划分别替换为4个构造的偏旁“言”的手写。因此，在图7中的步骤2300’之后，能够获得训练字符“記”的多达20个虚拟样本。

在另一实施方式中，识别引擎利用HMM(隐马尔可夫(Markov)模型)。并且正如本领域中所公知的，只要在识别模板生成阶段，在任何训练样本中存在测试样本中包括的偏旁的轨迹，这样的识别引擎就能够识别该测试样本，

图13例示了由训练字符的偏旁的虚拟样本构造该训练字符的虚拟样本的示例。存在偏旁“言”的4个虚拟样本，即a至d。存在偏旁“己”的5个虚拟样本，即A至E。在步骤2300中，构造字符“記”的总共5个虚拟样本来生成识别模板，即a+A、b+B、c+C、d+D、a+E。

在这种情况下，利用HMM的识别引擎能够识别c+D的测试样本，因为在训练样本c+C和d+D中分别存在偏旁轨迹c和D。

作为另一选择，在第三实施例中，步骤2200’和步骤2300’可以采用第二实施例中的步骤2200和步骤2300。简言之，偏旁手写构造步骤可以利用偏旁检测步骤的检测结果以及偏旁数据集；并且虚拟样本构造步骤可以利用字符结构字典。

优选地，为了使训练字符的虚拟样本多样化并由此提高生成的识别模板的识别能力，根据本发明的手写登记方法还包括虚拟样本变形步骤，通过几何变换使在虚拟样本生成步骤中获得的训练字符的虚拟样本变形。几何变换方法不受特别限定，只要使虚拟样本多样化即可。

返回图5，下面将说明用于生成训练字符的识别模板的识别模板生成步骤的步骤3000。

对训练字符的训练样本和虚拟样本进行几何变形，以拥有高的多样性。

将训练字符的训练样本、虚拟样本以及变形样本，归一化为例如400*400。然后，生成训练字符的至少一个识别模板。在一个示例中，可以采用基于隐马尔可夫模型的在线训练方法，来生成识别模板。

首先，根据式(1)至(3)，提取训练字符的训练样本和虚拟样本的特征。

第二，基于训练样本和虚拟样本的特征来生成识别模板有三个步骤：

-根据K-均值聚类和维特比(Viterbi)方法来创建训练字符的初始模板。

-基于鲍姆_韦尔奇(Baum_Welch)算法，通过手写的全部特征数据来重新估计初始模板。

-通过将重新估计的模板添加到现有模板中，更新一个在线手写识别引擎的日文汉字字符的现有模板。

请注意，对于生成识别模板的方法没有限定。

根据另一方面，本发明的手写登记方法是在线登记方法。

根据又一方面，本发明提供一种手写识别方法，该手写识别方法包括：

-获取步骤，获取手写样本；以及

-识别步骤，通过使用多个识别模板来识别这些手写样本，并且，通过上述手写登记方法，来生成所述多个识别模板中的一部分。

该识别步骤还包括：

-将输入的手写样本归一化为例如400*400；

-根据式(1)至(3)来提取这些手写样本的特征；以及

-根据维特比方法并且通过使用包括输入的字符的识别模板的识别字典，对这些手写样本的特征进行解码。

本领域的技术人员应当理解，本发明的方法也适用于诸如日语、中文或韩语等的东亚字符。

与现有技术相比，本发明的方法及装置能够识别由不同人书写的字符，即使这些字符是通过由一个人书写的少量样本而登记的。当用户输入并登记相应的样本时，能够在线生成识别模板，并将其添加到字典中。

同时，包括识别模板的识别字典被保持在小的尺寸。这是因为，不是所有的识别模板都被预先生成并包括在识别字典中。当字典被存储在图像处理装置的嵌入式存储单元(例如复印机或打印机)中时，识别字典的小的尺寸是尤其有用和重要的。

图19是根据本发明的手写登记装置的功能配置。可以由硬件、固件、软件中的任何设备或其任意组合，来构成手写登记装置4000及其所包括的单元，只要装置4000中的单元能够实施上述的手写登记方法的相应步骤的功能即可。如果装置4000是部分地或全部地由软件构成，则该软件被存储在计算机的存储器中，并且当该计算机的处理器通过执行存储的软件来进行处理时，该计算机能够实现本发明的手写登记方法的功能。在另一方面中，装置4000可以部分地或全部地由硬件或固件构成。装置4000可以作为功能模块被并入到图像处理设备中。

手写登记装置4000包括：训练数据获取单元4100，其被配置为获取训练字符的训练数据，其中，所述训练字符包括至少一个偏旁，所述训练数据包括所述训练字符的代码；虚拟样本生成单元4200，其被配置为基于偏旁数据集，来生成所述训练字符的至少一个虚拟样本，其中，所述偏旁数据集包括所述训练字符的所述至少一个偏旁的至少一个书写风格模板；以及识别模板生成单元4300，其被配置为基于所述训练字符的所述训练数据和所述至少一个虚拟样本，来生成所述训练字符的至少一个识别模板。

优选地，所述虚拟样本生成单元4200还包括：偏旁检测子单元4210，其被配置为检测所述至少一个偏旁，其中，所述至少一个偏旁被包括在所述训练字符中；偏旁手写构造子单元4220，其被配置为通过使用所述偏旁数据集，来构造所检测到的至少一个偏旁的至少一个手写；以及虚拟样本构造子单元4230，其被配置为通过使用所构造的偏旁手写，来构造所述训练字符的至少一个虚拟样本。

本发明还公开了一种手写识别装置，该手写识别装置包括：获取单元，其被配置为获取至少一个手写样本；以及识别单元，其被配置为通过使用多个识别模板来识别手写样本，其中，通过根据本发明的手写登记方法，来生成所述多个识别模板中的至少一部分。

本发明还公开了一种图像处理设备，该图像处理设备包括：如上所述的手写识别装置；以及图像处理单元，其被配置为根据所述手写识别装置的识别结果，来对输入图像进行处理。

所述图像处理设备可以是复印机、传真机、扫描器、打印机或者多功能打印机。

可以通过多种方式来实施本发明的方法及装置。例如，可以通过软件、硬件、固件或其任意组合，来实施本发明的方法及装置。上面描述的方法的步骤的顺序仅旨是例示性的，并且，本发明的方法的步骤并不限定于上面具体描述的顺序，除非另外特别说明。此外，在一些实施例中，本发明还可以体现为记录在记录介质中的程序，包括用于实现根据本发明的方法的机器可读指令。因此，本发明还涵盖存储有用于实现根据本发明的方法的程序的记录介质。

虽然通过示例详细描述了本发明的一些具体实施例，但是本领域技术人员应当理解，上述的示例仅旨是例示性的，而不限定本发明的范围。本领域技术人员应当理解，可以在不偏离本发明的范围和精神的情况下对上述实施例进行修改。本发明的范围是由所附的权利要求限定。

Claims (26)

1.一种手写登记方法，该手写登记方法包括：

训练数据获取步骤，用于获取训练字符的训练数据，其中，所述训练字符包括至少一个偏旁，所述训练数据包括所述训练字符的代码；

虚拟样本生成步骤，用于基于偏旁数据集来生成所述训练字符的至少一个虚拟样本，其中，所述偏旁数据集包括所述训练字符的所述至少一个偏旁的至少一个书写风格模板；以及

识别模板生成步骤，用于基于所述训练字符的所述训练数据和所述至少一个虚拟样本，来生成所述训练字符的至少一个识别模板。

2.根据权利要求1所述的手写登记方法，其中，所述至少一个书写风格模板包括所述训练字符的所述至少一个偏旁的代码和笔划特征。

3.根据权利要求2所述的手写登记方法，其中，所述训练字符的所述至少一个偏旁的所述笔划特征包括笔划数、和/或笔划形状、和/或笔划方向、和/或笔划顺序。

4.根据权利要求2或3所述的手写登记方法，其中，所述偏旁数据集包括所述训练字符的所述至少一个偏旁的多个书写风格模板，并且所述多个书写风格模板具有不同的笔划特征。

5.根据权利要求1至3所述的手写登记方法，其中，所述虚拟样本生成步骤还包括：

偏旁检测步骤，用于检测所述至少一个偏旁，其中，所述至少一个偏旁被包括在所述训练字符中；

偏旁手写构造步骤，用于通过使用所述偏旁数据集，来构造所检测到的至少一个偏旁的至少一个手写；

虚拟样本构造步骤，用于通过使用所构造的偏旁手写，来构造所述训练字符的至少一个虚拟样本。

6.根据权利要求5所述的手写登记方法，其中，所述虚拟样本生成步骤还利用字符结构字典，所述字符结构字典包含至少一个条目，所述至少一个条目中的一个条目包括所述训练字符和相应偏旁的配对信息。

7.根据权利要求6所述的手写登记方法，其中，所述配对信息还包括所述相应偏旁中的各个的代码、位置以及顺序。

8.根据权利要求7所述的手写登记方法，其中，针对所述训练字符中包括的各偏旁，所述偏旁数据集包括至少一个书写风格模板。

9.根据权利要求8所述的手写登记方法，其中，

所述偏旁检测步骤基于所述训练字符的代码以及字符结构字典，并且，

所述虚拟样本构造步骤基于所述字符结构字典。

10.根据权利要求5所述的手写登记方法，其中，所述虚拟样本生成步骤还利用所述训练字符的至少一个训练样本。

11.根据权利要求10所述的手写登记方法，其中，所述偏旁检测步骤利用所述训练字符的所述至少一个训练样本以及所述偏旁数据集。

12.根据权利要求11所述的手写登记方法，其中，所述偏旁手写构造步骤利用所述偏旁检测步骤的检测结果以及所述偏旁数据集；并且，

所述虚拟样本构造步骤利用字符结构字典，所述字符结构字典包含至少一个条目，所述至少一个条目中的一个条目包括所述训练字符和相应偏旁的配对信息。

13.根据权利要求11所述的手写登记方法，其中，所述偏旁手写构造步骤还包括基于笔划的拐点，将所述训练字符的所述至少一个训练样本的笔划分割为片段，并且基于所述偏旁数据集来组合所述片段。

14.根据权利要求13所述的手写登记方法，其中，所述偏旁手写构造步骤还包括基于偏旁书写风格模板的组的笔划数信息和归一化笔划特征，来组合所述片段，其中，所述组包括与通过所述偏旁检测步骤获得的所述至少一个偏旁相对应的书写风格模板。

15.根据权利要求1所述的手写登记方法，所述手写登记方法还包括：

虚拟样本变形步骤，通过几何变换，使通过所述虚拟样本生成步骤获得的所述训练字符的所述至少一个虚拟样本变形。

16.根据权利要求1所述的手写登记方法，其中，所述训练字符的所述至少一个偏旁的所述至少一个书写风格模板是通过以下步骤生成的：

偏旁样本聚类步骤，用于通过利用所述训练字符的训练样本数据集，对偏旁样本进行聚类；以及

特征提取步骤，用于提取所述聚类结果的特征，作为所述训练字符的所述至少一个偏旁的所述至少一个书写风格模板。

17.根据权利要求16所述的手写登记方法，其中，所述聚类结果的特征还包括所述聚类结果中的笔划数、以及所述聚类结果中的归一化笔划的特征。

18.根据权利要求16所述的手写登记方法，其中，所述偏旁样本聚类步骤还包括：

样本分割子步骤，用于将所述训练字符的所述训练样本数据集中的各样本分割为至少一个部分，其中，所述至少一个部分对应于至少一个偏旁；以及

偏旁聚类子步骤，用于基于各分割的部分的笔划数以及所分割的部分之间的距离，对所分割的至少一个部分进行聚类。

19.根据权利要求1所述的手写登记方法，其中，所述训练字符是日语、或者中文、或者韩语。

20.一种手写识别方法，该手写识别方法包括以下步骤：

获取至少一个手写样本；以及

通过使用多个识别模板，来识别所述至少一个手写样本，其中，通过根据权利要求1至19中任一项所述的手写登记方法，来生成所述多个识别模板中的至少一部分。

21.根据权利要求20所述的手写识别方法，其中，所述手写登记方法是在线登记方法。

22.一种手写登记装置，该手写登记装置包括：

训练数据获取单元，其被配置为获取训练字符的训练数据，其中，所述训练字符包括至少一个偏旁，所述训练数据包括所述训练字符的代码；

虚拟样本生成单元，其被配置为基于偏旁数据集来生成所述训练字符的至少一个虚拟样本，其中，所述偏旁数据集包括所述训练字符的所述至少一个偏旁的至少一个书写风格模板；以及

识别模板生成单元，其被配置为基于所述训练字符的所述训练数据和所述至少一个虚拟样本，来生成所述训练字符的至少一个识别模板。

23.根据权利要求22所述的手写登记装置，其中，所述虚拟样本生成单元还包括：

偏旁检测子单元，其被配置为检测所述至少一个偏旁，其中，所述至少一个偏旁被包括在所述训练字符中；

偏旁手写构造子单元，其被配置为通过使用所述偏旁数据集，来构造所检测到的至少一个偏旁的至少一个手写；以及

虚拟样本构造子单元，其被配置为通过使用所构造的偏旁手写，来构造所述训练字符的至少一个虚拟样本。

24.一种手写识别装置，该手写识别装置包括：

获取单元，其被配置为获取至少一个手写样本；以及

识别单元，其被配置为通过使用多个识别模板，来识别所述至少一个手写样本，其中，通过根据权利要求1至19中任一项所述的手写登记方法，来生成所述多个识别模板中的至少一部分。

25.一种图像处理设备，该图像处理设备包括：

根据权利要求24所述的手写识别装置；以及

图像处理单元，其被配置为根据所述手写识别装置的识别结果，来对输入图像进行处理。

26.根据权利要求25所述的图像处理设备，所述图像处理设备是复印机、传真机、扫描器、打印机或者多功能打印机。