CN106097794A - 基于增强现实的汉语拼音组合认读学习系统及认读方法 - Google Patents

Abstract

基于增强现实的汉语拼音组合认读学习系统，包括带有拼音图画认读的拼音卡片、拼音图像识别模块、拼音组合处理模块、拼音认读模块及多媒体模块，其中所述拼音图像识别模块会在多拼音卡片情况下，调用所述拼音组合处理模块对获取到拼音数据进行处理，所述拼音图像识别模块的输出端与所述拼音认读模块的输入端相连接，以从带有拼音图画的认读拼音卡片中获取并识别出拼音声母和韵母组合形成的多媒体单元标示，所述拼音认读模块的输出端和所述多媒体模块的输入端相连接，以输出拼音组合后的具体读音及相关该读音的多媒体影像；所述带有拼音图画的认读卡片，是印有拼音声母或韵母图像的卡片，每张卡片都印有具备唯一识别特征的拼音图案。

Description

基于增强现实的汉语拼音组合认读学习系统及认读方法

技术领域

本发明属于增强现实技术领域，具体涉及一种基于增强现实的汉语拼音组合认读学习系统及方法。

背景技术

增强现实(Augmented Reality，简称AR)技术是在虚拟现实技术的基础上发展而来的一项新技术，是虚拟现实研究的一个重要分支。增强现实技术通过借助计算机图像技术和可视化技术产生现实环境中并不存在的虚拟对象，并将虚拟对象准确地融合到真实环境中，将虚拟的信息应用到真实世界，从而呈现给用户一个效果逼真的新环境，以实现对现实的增强与扩展，这种技术的最终目标是在屏幕上把虚拟世界套入现实世界中并进行互动。增强现实具备以下特点：其一是虚实结合，它可以将显示器屏幕扩展到真实环境，使计算机窗口与图表叠映入现实对象；其二是实时交互，它使交互从精确的位置扩展到整个环境，从简单的人面对屏幕交流发展到将自己融合于周围的空间与对象中。增强现实系统中一般都包含如下4个基本步骤：获取真实场景信息；对真实场景和相机位置信息进行分析；生成虚拟景物；合并视频或直接显示。

在现有技术中，多使用增强现实技术将传统图像信息转换成计算机内对应的数字信息得出单一的结果，而大部分基于增强现实技术的软件应用也只是简单的转换，即一个识别图对应一个简单识别结果；针对多个项目扫描时，增强现实技术的应用并没有提供针对多种识别结果的组合产生对应结果。

汉语拼音是学习汉字的重要工具，然而纯拼音的学习是抽象的、枯燥的，面对刚刚学习拼音，特别是活泼好动、注意力难以持久的小朋友来说，学习拼音的过程绝对是一个挑战；其次，对于初学者来说，声母与韵母的区别以及搭配读音也是一大难点。如何利用增强现实技术实现对单一音节的拼读，同时也能实现对两个音节的组合拼读，是值得我们研究的课题。

专利“一种基于增强现实技术的学习系统及其学习方法”(专利号：CN201110309866.7)提供一种利用增强现实技术实现拼音识别的方法，该方法利用摄像头捕捉读物载体上的拼音标志图，然后通过一个安装有增强现实软件的处理器识别拼音标志，并判断拼音标志与学习内容的对应关系，进而在显示屏上显示。该发明虽然提供利用增强现实技术识别拼音并通过识别出的字母显示相关学习视频的方法，但这样简单的识别调用并不能弥补拼音学习过程中互动增强的效果，也不能基于卡片的字母外形和字母位置，实现现实拼音图像与虚拟图像的有效结合。

发明内容

本发明的目的是为了克服上述背景技术的不足之处，基于对增强现实技术的应用，能借助一个图像获取设备对带有拼音音节的卡片进行单个拼音音节图像或多个拼音音节组合图像获取，利用数据库检索的方式处理图案对象，并实时给出单个拼音或拼音组合的语音、视频及动画，充分结合现实环境中的拼音图形与生成的虚拟物。本发明提供涵盖所有汉语拼音的语音认读，有利于在反复语境环境中，形成无意识的拼音记忆，给予拼音初学者寓教于乐的体验。

本发明提供一种基于增强现实的拼音组合认读学习系统及方法，其技术方案具体为：

本发明基于对增强现实技术的应用，能借助一个图像获取设备对带有拼音音节的卡片进行单个拼音音节图像或多个拼音音节组合图像获取，通过利用数据库检索的方式处理图案对象获取卡片内容信息，实时提供单个拼音或拼音组合的语音、视频及动画，将现实环境中的拼音图形与生成的虚拟物充分结合。

本发明技术方案是，基于增强现实的汉语拼音组合认读学习系统，包括带有拼音图画认读的拼音卡片、拼音图像识别模块、拼音组合处理模块、拼音认读模块及多媒体模块，其中所述拼音图像识别模块会在多拼音卡片情况下，调用所述拼音组合处理模块对获取到拼音数据进行处理，所述拼音图像识别模块的输出端与所述拼音认读模块的输入端相连接，以从带有拼音图画的认读拼音卡片中获取并识别出拼音声母和韵母组合形成的多媒体单元标示，所述拼音认读模块的输出端和所述多媒体模块的输入端相连接，以输出拼音组合后的具体读音及相关该读音的多媒体影像；

所述带有拼音图画的认读卡片，是印有拼音声母或韵母图像的卡片，每张卡片都印有具备唯一识别特征的拼音图案；

声母图案和韵母图案独立印制，且每一张卡片印制有拼音字母图案和与该拼音发音相似或字形相似的形象化图案，在卡片图案处理中，字母图案和形象化图案同时作为识别依据；

所述拼音图像识别模块，即可用于实现增强现实的识别模块，该识别模块能从印有图案的拼音卡片中获取相关卡片内容和卡片位置的数字信息，所述相关卡片内容的数字信息主要是关于字母的编码信息；所述相关卡片位置的数字信息包括但不限于多卡片的排序、卡片的空间坐标、字母的空间坐标(卡片位置)、卡片图案、卡片与设备的间距；以及其他可用于描述拼音卡片内容的信息；

所述拼音认读模块，用于接收经数据处理后的数字信息流，提取信息流中的卡片识别编码，根据获取到的编码实施拼音信息的检索，按照检索结果从多媒体数据库中寻找并调用相关该拼音组合的所有多媒体信息编码；

所述多媒体模块，用于获取从所述拼音认读模块传送过来的有关卡片内容的多媒体信息编码，根据编码调用多媒体信息，包括相关拼音的读音、视频、三维模型，动画等多媒体内容，多媒体模块获得编码后，按照编码从本地或云端加载资源到内存，最终传递到设备端显示屏。

所述拼音组合处理模块，针对多张拼音卡片组合的情况，基于卡片的摆放位置及组合卡片的内容执行内容处理，对组合异常的卡片实时报警提示；针对单张拼音卡片，根据拼音识别模块传递的内容信息执行内容处理；

所述拼音图像识别模块采用图片比对的方式，获取关于图片内容的数字信息。

针对多张拼音卡片组合的情况，在图像识别过程中，拼音图像识别模块调用组合处理模块，基于获取的卡片摆放位置及组合卡片的内容执行组合内容处理，对组合异常的卡片实时报警提示。

基于增强现实的汉语拼音认读学习系统可配置在任何一个具备图像扫描功能的智能装置上，比如Android系统手机、IOS系统手机、平板电脑PC电脑等；

一种基于增强现实的汉语拼音组合认读学习系统的认读方法，具体步骤包括：

步骤1：拼音图像的单个或组合识别；利用带有摄像头扫描或其他具备相同功能的设备，摄像头对准所识别的拼音卡片，拼音图像识别模块通过读取摄像头区域内拼音卡片上的拼音字母图案和与该拼音音节读音相似或字形相似的形象化图案，获取该卡片的卡片识别编码，同时获取卡片的位置信息、卡片与设备的相对距离、卡片的空间坐标，以及其他能标志卡片内容和摆放的信息；

所述卡片识别编码，用于与在系统中预存的拼音图案比对；若比对成功，获得该拼音图案的编码信息作为卡片识别拼读编码；

所述卡片的位置信息，用于在多卡片组合情况下，标识所识别的拼音卡片的排列位置；

所述卡片与设备的相对距离，标示设备与所识别的拼音卡片的间距，用以后期测算设备屏幕显示图形的大小；

所述卡片的空间坐标，用于标示设备相对于所识别的拼音卡片的偏转与角度，定位后期有关拼音读音的动画的在设备屏幕的显示位置；

特别地，对于多张拼音卡片的拼音组合图像信息的获取，拼音图像识别模块能同时读取所有拼音卡片的信息，并按照拼读习惯从左向右依次将获取到的相关拼音图像的信息依次传送至拼音组合模块处理；

步骤2：拼音图像编码信息的处理，拼音认读模块对所识别的拼音卡片标识码或组合的拼读编码、所识别的拼音卡片的位置信息、卡片与设备的相对距离，设备与卡片的间距、卡片的空间坐标、以及其他能用于标示卡片内容的信息进行数据处理，获取包括拼读音频、三维动画、场景化视频的多媒体编码；具体步骤包括：

步骤2-1：拼音认读模块接收图像信息流，从中提取拼音卡片的识别码或卡片组合的拼读编码；

拼音卡片的识别码是针对扫描单个字母情况下的拼音编码；卡片组合的拼读编码是针对扫描多个拼音字母组合情况下的拼音编码；

步骤2-2：根据拼音卡片的识别码或卡片组合的拼音编码，在多媒体数据库中检索与所述拼音编码相对应的多媒体编码；

步骤2-3：拼音认读模块从图像信息流中提取有关卡片位置的信息，包括卡片与设备的相对距离，设备与卡片的间距、卡片的空间坐标；基于获取到的位置信息，通过三维重构的方式对位置数据进行处理，定位有关拼音的三维动画的显示大小及位置坐标；

步骤3：多媒体信息的调取；多媒体模块接收经由拼音认读模块处理后发送的多媒体编码，基于编码从服务器端或本地媒体库中搜索并调取对应的音频对象、视频对象、实时三维动画对象、字母书写顺序动画等多媒体对象；

特别地，针对获取到的多个多媒体对象，多媒体模块会基于所识别的拼音卡片的空间坐标信息，叠加所述的多个多媒体对象，包括三维动画、拼音发音的音频及视频；

步骤4：多媒体信息的放映；多媒体模块按照拼音认读模块处理后得到的卡片位置信息、卡片内容信息及字母图案与设备的相对位置信息，将整理后多媒体内容发送至设备端显示；使用认读学习系统的用户，在设备端显示屏中看到与所识别拼音卡片相关的拼音动态影像、拼音读音音频以及其他预存的多媒体对象；

特别地，根据卡片位置、卡片内容、字母图案与设备的相对位置，保证屏幕显示的多媒体动画与字母图案完全吻合。

在所述步骤1中，针对多张拼音卡片组合的情况，拼音图像识别模块在识别每个张卡片上的拼音字母时，调用拼音组合处理模块自动判断拼音字母组合的正误，具体包括：步骤1-1：拼音图像识别模块同时读取屏幕内多张拼音卡片中的拼音字母和与字母读音相似的形象化图案，获取卡片识别编码，同时根据每一张所识别拼音卡片前后摆放的位置信息，为所识别拼音卡片排序；

所述卡片识别编码分为声母编码和韵母编码，编码按照拼音自身的字母音节编制，所有编码存储于所述拼音编码库中；

步骤1-2：基于每张拼音卡片的排序和拼音卡片识别编码，拼音组合处理模块组合拼音卡片识别编码，获取拼音组合的拼读编码，按照拼读编码在组合拼音库中查询是否存在相同的拼音记录，如果存在，转步骤1-3；否则转步骤1-4；

所述组合拼音库，用于存放所有组合拼音的拼读标识码；且只有存在于组合拼音库中的拼读标识码，才被认可拼音卡片组合正确；

步骤1-3：将步骤1-2获得的拼读编码、卡片组合位置信息、与设备的相对距离、空间坐标以及其他能用于描述卡片组合内容和位置的信息，传送至拼音认读模块；

步骤1-4：报警；返回“拼读错误”至设备端的屏幕上，提示更换卡片内容或卡片顺序。

在所述步骤4的多媒体信息放映中，根据计算出的多媒体对象的显示位置和大小，在卡片上方呈现三维动画，且三维动画与卡片内的形象化图案保持一致，三维动画与现实环境中的拼音卡片充分结合。

在所述步骤4的多媒体信息放映中，根据计算出的多媒体对象的显示空间坐标和大小，按照屏幕中呈现出的卡片字母位置和大小，沿着字母形状，以描红的方式，呈现字母书写顺序的动画。

本发明与现有技术相比，本发明有益效果：

(1)本发明通过借助图像获取设备，基于对增强现实技术的使用，经对设备捕捉到的卡片上的拼音图案信息即时处理，调用本地或者服务器云端的多媒体资源，实时将现实环境中的拼音卡片图像与生成的虚拟物、多媒体对象结合，展示有关该拼音音节的语音、视频及动画，将汉语拼音的读音、书写、视觉联想形象结合在一起，有助于在语境环境中，形成无意识的拼音记忆，给予拼音初学者寓教于乐的体验；

(2)本发明提供声母和韵母相互独立的拼音卡片，利用字母图案和字母读音相似的形象化图案作为识别字母的依据，减少因字母外形相似而导致的识别失误；在卡片认读过程中，通过组合搜索和及时反馈机制，不仅实现对单一拼音卡片的认读也实现多拼音卡片组合的认读，同时实现对多卡片组合正误的瞬时报警，突破现有增强现实技术应用未提供多识别结果组合的困境。

附图说明

图1为本发明实施例中基于增强现实的汉语拼音组合认读学习系统的模块图；

图2中A、B为本发明实施例中印有唯一拼音图案标识的两种认读卡片；

图3为本发明实施例中卡片错误放置的拼音认读流程示意图；

图4为本发明实施例中卡片组合出错报警的示意图；

图5为本发明实施例中拼音组合认读学习方法的流程示意图；

图6为本发明实施例中拼音组合认读学习的示意图；

图7为本发明实施例中单拼音字母的卡片图同时有三维动画示意图(上下两图分别表示)；

图8为本发明实施例中单拼音字母的书写顺序动画示意图。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚明白，以下结合具体实施例，并参照附图，对本发明进一步详细说明。

本发明基于对增强现实技术的应用，能借助一个图像获取设备对带有拼音音节的卡片进行单个拼音音节图像或多个拼音音节组合图像获取，，通过利用数据库检索的方式处理图案对象获取卡片内容信息，实时提供单个拼音或拼音组合的语音、视频及动画，将现实环境中的拼音图形与生成的虚拟物充分结合。

由于部分字母在形状上存在相似性，，因而单纯地根据字母外形识别字母存在识别误差，本发明技术方案同时根据字母外形和该字母音节相似读音的形象化图案同时判定字母，提高字母识别的精确度；

所述卡片识别编码，用于与在系统中预存的拼音图案比对；若比对成功，获得该拼音图案的编码信息作为卡片识别物编码；

所述卡片的位置信息，用于在多卡片组合情况下，标识卡片的排列位置；

所述卡片与设备的相对距离，标示设备与卡片的间距，用以后期测算设备屏幕显示图形的大小；

所述卡片的空间坐标，用于标示设备相对于卡片的偏转与角度，定位后期有关拼音读音的动画的在设备屏幕的显示位置；

特别地，对于多张拼音卡片的拼音组合图像信息的获取，拼音图像识别模块能同时读取所有拼音卡片的信息，并按照拼读习惯从左向右依次将获取到的相关拼音图像的信息依次传送至拼音组合模块处理；

特别地，针对多张拼音卡片组合的情况，拼音图像识别模块在识别每个张卡片上的拼音字母时，拼音组合处理模块能自动判断拼音字母组合的正误，具体包括：

步骤1-1：拼音图像识别模块同时读取屏幕内多张拼音卡片中的拼音字母和与字母读音相似的形象化图案，获取卡片识别编码，同时根据每一张卡片前后摆放的位置信息，为卡片排序；

所述卡片识别编码分为声母编码和韵母编码，编码按照拼音自身的字母音节编制，即韵母(a、o、e、i、u、ü)就编码成(a、o、e、i、u、_u)，声母等同韵母的编制；所有编码存储于所述拼音编码库中；

步骤1-2：基于每张卡片的排序和卡片识别编码，拼音组合处理模块组合拼音卡片识别编码，获取拼音组合的拼读编码，按照拼读编码在组合拼音库中查询是否存在相同的拼音记录，如果存在，转步骤1-3；否则转步骤1-4；

所述组合拼音库，用于存放所有组合拼音的拼读标识码；且只有存在于组合拼音库中的拼读标识码，才被认可卡片组合正确；

步骤1-3：将步骤1-2获得的拼读编码、卡片组合位置信息、与设备的相对距离、空间坐标以及其他能用于描述卡片组合内容和位置的信息，传送至拼音认读模块；

步骤1-4：报警；返回“拼读错误”至设备端的屏幕上，提示更换卡片内容或卡片顺序；

步骤2：拼音图像信息的处理，主要是拼音认读模块对卡片标识码或组合的拼读编码、卡片的位置信息、卡片与设备的相对距离，设备与卡片的间距、卡片的空间坐标、以及其他能用于标示卡片内容的信息进行数据处理，获取包括拼读音频、三维动画、场景化视频的多媒体编码；具体步骤包括：

步骤2-1：拼音认读模块接收图像信息流，从中提取拼音卡片的识别码或卡片组合的拼读编码；

特别地，拼音卡片的识别码是针对扫描单个字母情况下的拼音编码；卡片组合的拼读编码是针对扫描多个拼音字母组合情况下的拼音编码；

步骤2-2：根据拼音卡片的识别码或卡片组合的拼读编码，在多媒体数据库中检索与所述拼音编码相对应的多媒体编码；

步骤2-3：拼音认读模块从图像信息流中提取有关卡片位置的信息，包括卡片与设备的相对距离，设备与卡片的间距、卡片的空间坐标；基于获取到的位置信息，通过三维重构的方式对位置数据进行处理，定位有关拼音的三维动画的显示大小及位置坐标；

步骤3：多媒体信息的调取；多媒体模块接收经由拼音认读模块处理后发送的多媒体编码，基于编码从服务器端或本地媒体库中搜索并调取对应的音频对象、视频对象、实时三维动画对象、字母书写顺序动画等多媒体对象；

特别地，针对获取到的多个多媒体对象，多媒体模块会基于卡片的空间坐标信息，叠加所述的多个多媒体对象；

步骤4：多媒体信息的放映；多媒体模块按照拼音认读模块处理后得到的卡片位置信息、卡片内容信息及字母图案与设备的相对位置信息，将整理后多媒体内容发送至设备端显示；使用本发明中的认读学习系统的用户，在设备端显示屏中看到与拼音卡片相关的拼音动态影像、拼音读音音频等叠加显示于该当前拼音

特别地，根据卡片位置、卡片内容、字母图案与设备的相对位置，保证屏幕显示的拼音字母书写顺序的动画与字母图案完全吻合；

实施例：参阅图1所示，具体包括印有拼音图画的认读卡片101、拼音图像识别模块102、拼音组合处理模块103、拼音认读模块104及多媒体模块105，其中所述拼音图像识别模块102会在多卡片情况下，调用所述拼音组合处理模块103对获取到拼音数据进行处理，所述拼音图像识别模块102的输出端与所述拼音认读模块104的输入端相连接，以从带有拼音图画的认读卡片中获取并识别出拼音声母和韵母组合形成的多媒体单元标示，所述拼音认读模块104的输出端和所述多媒体模块105的输入端相连接，以输出拼音组合后的具体读音及相关该读音的多媒体影像；

所述带有拼音图画的认读卡片101，是印有拼音声母或韵母图像的卡片，每张卡片都印有具备唯一识别特征的拼音图案；具体参阅图2所示

特别地，声母图案和韵母图案独立印制在卡片上，每一张卡片印制有拼音字母图案和与该拼音发音相似或字形相似的形象化图案，在卡片图案处理中，字母图案和形象化图案同时作为识别依据，比如拼音字母“n”和“h”，字母“n”配有拱形门的图案，字母“h”按照发音配有荷花的图案，经二值化处理后形成界限分明的图形，图形的线条明显凸出外部图案和字母图案，且图形识别结果具备很强的唯一性；

所述拼音图像识别模块102，即可用于实现增强现实的识别模块，该识别模块能从印有图案的拼音卡片中获取相关卡片内容和卡片位置的数字信息，所述相关卡片内容的数字信息主要是关于字母的编码信息；所述相关卡片位置的数字信息包括但不限于多卡片的排序、卡片的空间坐标、字母的空间坐标、卡片与设备的间距；

特别地，拼音图像识别模块采用图片比对的方式，获取关于图片内容的数字信息，即卡片识别编码；

所述拼音组合处理模块103，针对多张拼音卡片组合的情况，在图像识别过程中，拼音图像识别模块102调用组合处理模块103，基于获取的卡片摆放位置及组合卡片的内容执行组合内容处理，对组合异常的卡片实时报警提示；

所述拼音认读模块104，用于接收经数据处理后的数字信息流，提取信息流中的卡片识别编码，根据获取到的编码实施拼音信息的检索，按照检索结果从多媒体数据库中寻找并调用相关该拼音组合的所有多媒体信息编码；

所述多媒体模块105，用于获取从所述拼音认读模块传送过来的有关卡片内容的多媒体信息编码，根据编码调用多媒体信息，包括相关拼音的读音、视频、三维模型，动画等多媒体内容，多媒体模块获得编码后，按照编码从本地或云端加载资源到内存，最终传递到设备端显示屏；

所述拼音编码分为声母编码和韵母编码，编码按照拼音音节编制，例如韵母(a、o、e、i、u、ü)就编码成(a、o、e、i、u、_u)，所有编码存储于所述拼音编码库中；

基于一种基于增强现实的汉语拼音组合认读学习系统，本发明实施例中利用所述认读学习系统学习拼音“zhang”，图3为本发明实施例中卡片错误放置的拼音认读流程示意图，具体包括：

步骤301：本发明实施例中使用Android系统手机登录基于增强现实的汉语拼音组合认读学习系统，利用手机摄像头对准拼音卡片“zh”和“ang”，且卡片放置顺序从左向右依次是“ang”和“zh”；

步骤302：认读系统的拼音图像识别模块102通过图像二值化的方式处理每张卡片上的图案，处理的卡片“zh”以字母“zh”和背景图案“蜘蛛”作为图片的唯一依据；处理的卡片“ang”以字母“ang”和背景图案“羊”作为图片的依据；同时从左向右记录卡片的位置，即卡片“ang”的位置为1，卡片“zh”的位置为2；

步骤303：经处理的卡片图案与预存本地的图案进行比对，比对成功后，卡片“zh”获得卡片标识码“zh”；卡片“ang”获得卡片标识码“ang”；

步骤304：调用拼音组合处理模块，按照步骤402中的卡片位置和步骤403中的卡片编码进行组合，获取拼音组合的拼读编码“angzh”；

步骤305：在组合拼音数据库中寻找拼读编码“angzh”；

步骤306：由于组合拼音数据库中只存有拼写正确的拼音组合编码，而“angzh”存在明显错误，设备屏幕报警“拼写错误”，见图4；

图5为本发明实施例中拼音组合认读学习方法的流程示意图，本发明实施例中学习的拼音是

步骤501：本发明实施例中使用Android系统手机登录基于增强现实的汉语拼音组合认读学习系统，利用手机摄像头对准拼音卡片“zh”和“ang”，且卡片放置顺序从左向右依次是“zh”和“ang”；

步骤502：认读系统的拼音图像识别模块102通过图像二值化的方式处理每张卡片上的图案，处理后的卡片“zh”以字母“zh”和背景图案“蜘蛛”作为图片的唯一依据；处理后的卡片“ang”以字母“ang”和背景图案“羊”作为图片的依据；从左向右记录卡片的排列位置，即卡片“zh”的位置为1，卡片“ang”的位置为2，以及卡片的空间坐标、卡片字母的空间坐标、卡片与Android系统手机的距离；

步骤503：经处理的卡片图案与预存本地的图案进行比对，比对成功后，卡片“zh”获得卡片标识码“zh”；卡片“ang”获得卡片标识码“ang”；

步骤504：调用拼音组合处理模块103，按照步骤402中的卡片位置和步骤403中的卡片编码进行组合，获取拼音组合的拼读编码“zhang”；

步骤505：在组合拼音数据库中寻找到拼读编码“zhang”，确认卡片摆放无误；

步骤506：拼音图像识别模块102将拼读编码“zhang”和有关卡片的位置信息，包括卡片的空间坐标、卡片字母的空间坐标、卡片与Android系统手机的距离，以图像数据流的形式传送至拼音认读模块104；

步骤507：拼音认读模块104提取信息流中拼读编码“zhang”，按照“zhang”在多媒体库中搜索拼读音频的多媒体编码；

步骤508：拼音认读模块104提取信息流中卡片的空间坐标、卡片字母的空间坐标、卡片与Android系统手机的距离，测算多媒体对象显示的位置坐标及显示大小；

步骤509：多媒体模块105按照多媒体编码，从服务器云端加载音频对象和红色字体对象；且红色字体对象按照卡片的空间坐标、卡片字母的空间坐标、卡片与Android系统手机的距离，与设备屏幕中的卡片字母完全贴合，用以重点标注选中的拼音字母，见图6；

本发明还提供针对单拼音字母的基于增强现实的拼音认读学习方法，本发明实施例中以学习单个字母“zh”为例；基于拼音图像识别模块102和拼音认读模块104获得的卡片标识码和卡片位置信息，确认卡片上的字母以及卡片的空间坐标、卡片字母的空间坐标、卡片与Android系统手机的距离；

进一步地，根据卡片识别码在多媒体库找到多媒体编码；根据卡片的空间坐标、卡片字母的空间坐标、卡片与Android系统手机的距离，计算三维动画对象、字母书写动画的位置和大小；

进一步地，多媒体模块根据多媒体编码，调用服务云端的音频，同时调用多媒体资源至手机屏幕端显示，具体包括：

(1)根据计算出的多媒体对象的显示位置和大小，在卡片上方呈现三维动画，且三维动画与卡片内的形象化图案保持一致，见图7上下两图(可在同屏)；

(2)根据计算出的多媒体对象的显示空间坐标和大小，按照屏幕中呈现出的卡片字母位置和大小，沿着字母形状，以描红的方式，呈现字母书写顺序的动画，见图8；

所属领域的普通技术人员应当理解：以上所述仅为本发明的具体实施例而已，并不用于限制本发明，凡在本发明的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。

Claims (8)

1.基于增强现实的汉语拼音组合认读学习系统，包括带有拼音图画认读的拼音卡片、拼音图像识别模块、拼音组合处理模块、拼音认读模块及多媒体模块，其中所述拼音图像识别模块会在多拼音卡片情况下，调用所述拼音组合处理模块对获取到拼音数据进行处理，所述拼音图像识别模块的输出端与所述拼音认读模块的输入端相连接，以从带有拼音图画的认读拼音卡片中获取并识别出拼音声母和韵母组合形成的多媒体单元标示，所述拼音认读模块的输出端和所述多媒体模块的输入端相连接，以输出拼音组合后的具体读音及相关该读音的多媒体影像；

所述带有拼音图画的认读卡片，是印有拼音声母或韵母图像的卡片，每张卡片都印有具备唯一识别特征的拼音图案；

声母图案和韵母图案独立印制，且每一张卡片印制有拼音字母图案和与该拼音发音相似或字形相似的形象化图案，在卡片图案处理中，字母图案和形象化图案同时作为识别依据；

所述拼音图像识别模块，即可用于实现增强现实的识别模块，该识别模块能从印有图案的拼音卡片中获取相关卡片内容和卡片位置的数字信息，所述相关卡片内容的数字信息主要是关于字母的编码信息；所述相关卡片位置的数字信息包括但不限于多卡片的排序、卡片的空间坐标、字母的空间坐标(卡片位置)、卡片图案、卡片与设备的间距；以及其他可用于描述拼音卡片内容的信息；

所述拼音认读模块，用于接收经数据处理后的数字信息流，提取信息流中的卡片识别编码，根据获取到的编码实施拼音信息的检索，按照检索结果从多媒体数据库中寻找并调用相关该拼音组合的所有多媒体信息编码；

所述多媒体模块，用于获取从所述拼音认读模块传送过来的有关卡片内容的多媒体信息编码，根据编码调用多媒体信息，包括相关拼音的读音、视频、三维模型，动画等多媒体内容，多媒体模块获得编码后，按照编码从本地或云端加载资源到内存，最终传递到设备端显示屏；

所述拼音组合处理模块，针对多张拼音卡片组合的情况，基于卡片的摆放位置及组合卡片的内容执行内容处理，对组合异常的卡片实时报警提示；针对单张拼音卡片，根据拼音识别模块传递的内容信息执行内容处理。

2.根据权利要求1所述的基于增强现实的汉语拼音认读学习系统，其特征在于，所述拼音图像识别模块采用图片比对的方式，获取关于图片内容的数字信息。

3.根据权利要求1所述的基于增强现实的汉语拼音认读学习系统，其特征在于，针对多张拼音卡片组合的情况，在图像识别过程中，拼音图像识别模块调用组合处理模块，基于获取的卡片摆放位置及组合卡片的内容执行组合内容处理，对组合异常的卡片实时报警提示。

4.根据权利要求1所述的基于增强现实的汉语拼音认读学习系统，其特征在于，本发明中的基于增强现实的汉语拼音认读学习系统可配置在任何一个具备图像扫描功能的智能装置上，比如Android系统手机、IOS系统手机、平板电脑等。

5.一种基于增强现实的汉语拼音组合认读学习系统的认读方法，其特征是步骤包括：

步骤1：拼音图像的单个或组合识别；利用带有摄像头扫描或其他具备相同功能的设备，摄像头对准所识别的拼音卡片，拼音图像识别模块通过读取摄像头区域内拼音卡片上的拼音字母图案和与该拼音音节读音相似或字形相似的形象化图案，获取该卡片的卡片识别编码，同时获取卡片的位置信息、卡片与设备的相对距离、卡片的空间坐标，以及其他能标志卡片内容和摆放的信息；

所述卡片识别编码，用于与在系统中预存的拼音图案比对；若比对成功，获得该拼音图案的编码信息作为卡片识别拼读编码；

所述卡片的位置信息，用于在多卡片组合情况下，标识所识别的拼音卡片的排列位置；

所述卡片与设备的相对距离，标示设备与所识别的拼音卡片的间距，用以后期测算设备屏幕显示图形的大小；

所述卡片的空间坐标，用于标示设备相对于所识别的拼音卡片的偏转与角度，定位后期有关拼音读音的动画的在设备屏幕的显示位置；

特别地，对于多张拼音卡片的拼音组合图像信息的获取，拼音图像识别模块能同时读取所有拼音卡片的信息，并按照拼读习惯从左向右依次将获取到的相关拼音图像的信息依次传送至拼音组合模块处理；

步骤2：拼音图像编码信息的处理，拼音认读模块对所识别的拼音卡片标识码或组合的拼读编码、所识别的拼音卡片的位置信息、卡片与设备的相对距离，设备与卡片的间距、卡片的空间坐标、以及其他能用于标示卡片内容的信息进行数据处理，获取包括拼读音频、三维动画、场景化视频的多媒体编码；具体步骤包括：

步骤2-1：拼音认读模块接收图像信息流，从中提取拼音卡片的识别码或卡片组合的拼读编码；

拼音卡片的识别码是针对扫描单个字母情况下的拼音编码；卡片组合的拼读编码是针对扫描多个拼音字母组合情况下的拼音编码；

步骤2-2：根据拼音卡片的识别码或卡片组合的拼音编码，在多媒体数据库中检索与所述拼音编码相对应的多媒体编码；

步骤2-3：拼音认读模块从图像信息流中提取有关卡片位置的信息，包括卡片与设备的相对距离，设备与卡片的间距、卡片的空间坐标；基于获取到的位置信息，通过三维重构的方式对位置数据进行处理，定位有关拼音的三维动画的显示大小及位置坐标；

步骤3：多媒体信息的调取；多媒体模块接收经由拼音认读模块处理后发送的多媒体编码，基于编码从服务器端或本地媒体库中搜索并调取对应的音频对象、视频对象、实时三维动画对象、字母书写顺序动画等多媒体对象；

特别地，针对获取到的多个多媒体对象，多媒体模块会基于所识别的拼音卡片的空间坐标信息，叠加所述的多个多媒体对象，包括三维动画、拼音发音的音频及视频；

步骤4：多媒体信息的放映；多媒体模块按照拼音认读模块处理后得到的卡片位置信息、卡片内容信息及字母图案与设备的相对位置信息，将整理后多媒体内容发送至设备端显示；使用认读学习系统的用户，在设备端显示屏中看到与所识别拼音卡片相关的拼音动态影像、拼音读音音频以及其他预存的多媒体对象；

特别地，根据卡片位置、卡片内容、字母图案与设备的相对位置，保证屏幕显示的多媒体动画与字母图案完全吻合。

6.根据权利要求5所述的认读方法，其特征是在所述步骤1中，针对多张拼音卡片组合的情况，拼音图像识别模块在识别每个张卡片上的拼音字母时，调用

拼音组合处理模块自动判断拼音字母组合的正误，具体包括：步骤1-1：拼音图像识别模块同时读取屏幕内多张拼音卡片中的拼音字母和与字母读音相似的形象化图案，获取卡片识别编码，同时根据每一张所识别拼音卡片前后摆放的位置信息，为所识别拼音卡片排序；

所述卡片识别编码分为声母编码和韵母编码，编码按照拼音自身的字母音节编制，所有编码存储于所述拼音编码库中；

步骤1-2：基于每张拼音卡片的排序和拼音卡片识别编码，拼音组合处理模块组合拼音卡片识别编码，获取拼音组合的拼读编码，按照拼读编码在组合拼音库中查询是否存在相同的拼音记录，如果存在，转步骤1-3；否则转步骤1-4；

所述组合拼音库，用于存放所有组合拼音的拼读标识码；且只有存在于组合拼音库中的拼读标识码，才被认可拼音卡片组合正确；

步骤1-3：将步骤1-2获得的拼读编码、卡片组合位置信息、与设备的相对距离、空间坐标以及其他能用于描述卡片组合内容和位置的信息，传送至拼音认读模块；

步骤1-4：报警；返回“拼读错误”至设备端的屏幕上，提示更换卡片内容或卡片顺序。

7.根据权利要求5所述的认读方法，其特征是在所述步骤4的多媒体信息放映中，根据计算出的多媒体对象的显示位置和大小，在卡片上方呈现三维动画，且三维动画与卡片内的形象化图案保持一致，三维动画与现实环境中的拼音卡片充分结合。

8.根据权利要求5所述的认读方法，其特征是在所述步骤4的多媒体信息放映中，根据计算出的多媒体对象的显示空间坐标和大小，按照屏幕中呈现出的卡片字母位置和大小，沿着字母形状，以描红的方式，呈现字母书写顺序的动画。