HK1192031A - 便携式终端装置、控制方法、扩增实境感系统、及衣类 - Google Patents

Description

便携式终端装置、控制方法、扩增实境感系统、及衣类

技术领域

本发明涉及一种便携式终端装置、控制方法、扩增实境感系统、及衣类等的角色商品。

背景技术

印刷T恤是使用丝印等加工技法将图案、主题的影像作为静态图像印刷到T恤而成。最近，面向儿童而印刷了人气角色、人气动画的T恤、包、或玩具等角色商品(也称为角色货物)在市场上热销而受到儿童的好评。

另一方面，便携式终端装置的多功能化不断发展，最近，代替移动电话，进行因特网连接的网络通讯环境得到强化的智能手机正不断普及。利用智能手机，可以通过下载获得市场上流通的应用程序，从而可以作为数据管理或邮件生成的实体系统、天气预报或换乘向导、美食向导、使用卫星的导航系统等实用系统、便条工具或名词管理等商务系统、“Skype”(注册商标)或“Twitter”(注册商标)等通讯系统、或在线游戏等娱乐系统的工具而在各种类型下便利地进行自定义。

然而，以往已知有一种通过计算机来扩增人类感知的实境环境计算机的AR(Augment Reality，扩增实境)技术。例如，在专利文献1中，介绍有一种技术，在扩增实境图像中，使合成在表示现实世界状况的图像的目标图像适当地变化。

[背景技术文献]

[专利文献]

[专利文献1]日本专利特开2011-204047号公报

发明内容

[发明所要解决的问题]

如所述专利文献1的公开所示，AR技术是将用于三维位置识别的被称为标记物的特定形状的图形配置于现实世界中，利用拍摄设备拍摄包含此标记物的现实世界。因此，标记物是以经透视转换后的形态配置在所拍摄的图像内。而且，对关联于该标记物的目标应用透视转换技术，合成以所拍摄的图像为背景所得的目标图像，从而生成扩增实境图像。利用该AR技术可进行动态图像或静态图像的CG(Computer Graphics)再生。

但是，若可再生通过使所述智能手机与印刷T恤等角色商品链接，并通过合成消费者与关联于消费者购入的角色商品的造型的演出用图像所生成的扩增实境图像，则可对此角色商品赋予附加价值，应可提高趣味性并获得促销效果。此外，还期望在实现这种目标时不使用高度的透视转换技术，而能简便地再生扩增实境图像。

本发明是为了解决所述问题研究而成，其目的在于提供一种通过构建简便地再生与消费者购入的角色商品的造型关联的扩增实境图像的结构，而可提高趣味性、获得角色商品的促销效果的便携式终端装置、控制方法、扩增实境感系统、及角色商品。

[解决问题的技术手段]

本发明的便携式终端装置至少具有拍摄部、显示部，所述拍摄部具备控制部，该控制部对拍摄印刷或贴附于衣类的角色所得的影像的至少一部分造型进行图像识别，通过合成关联于各个经所述图像识别的所述造型而准备的演出用图像、及穿着所述衣类的人物的被摄体像，生成扩增实境图像并显示在所述显示部上。

在本发明中，所述控制部优选为对应于所述被摄体像的图像尺寸而改变所述演出用图像的图像尺寸。

在本发明中，优选为更具有声音输出部，所述控制部在所述演出用图像显示于所述显示部时生成效果音，并将所述生成的效果音输出至所述声音输出部。

本发明的控制方法是在扩增实境感系统中控制所述便携式终端装置使用的计算机的终端装置的控制方法，所述扩增实境感系统包含：印刷或贴附着特定角色的衣类；及便携式终端装置，至少具有拍摄部及显示部，且根据由所述拍摄部拍摄的影像的至少一部分造型生成扩增实境图像，并显示在所述显示部上；所述控制方法使所述计算机执行如下处理：对由所述拍摄部拍摄所述角色所得的影像的至少一部分造型进行图像识别；以及通过合成关联于各个经所述图像识别的所述造型而准备的演出用图像、与穿着所述衣类的人物的被摄体像，生成扩增实境图像并显示在所述显示部上。

本发明的扩增实境感系统包含：印刷或贴附着特定角色的衣类；以及便携式终端装置，至少具有拍摄部及显示部，且具有控制部，该控制部对所述拍摄部拍摄所述角色所得的影像的至少一部分造型进行图像识别，通过合成关联于各个经所述图像识别的所述造型而准备的演出用图像、与穿着所述衣类的人物的被摄体像，生成扩增实境图像并显示在所述显示部上。

本发明的衣类印刷或贴附着特定角色，且用于包含便携式终端装置的扩增实境感系统，该便携式终端装置对拍摄所述角色所得的影像的至少一部分造型进行图像识别，通过合成关联于各个经所述识别的造型而准备的演出用图像、与穿着所述衣类的人物的被摄体像，生成扩增实境图像并进行显示。

本发明的衣类印刷或贴附着特定角色，所述印刷或贴附的角色在拍摄穿着所述衣类的人物的便携式终端装置中，至少包含一部分对拍摄的穿着所述衣类的人物的被摄体像所含的所述角色的图像进行图像识别获得的造型，所述造型在所述便携式终端装置中准备了对应的演出用图像，且该演出用图像在所述便携式终端装置中是通过和穿着所述衣类的人物的被摄体像合成而利用于扩增实境图像的生成。

[发明效果]

根据本发明，可提供一种通过构建简便地再生与消费者购入的衣类等角色商品的造型关联的扩增实境图像，而可提高趣味性、获得角色商品的促销效果的便携式终端装置、控制方法、扩增实境感系统、及角色商品。

附图说明

图1是本发明的实施方式的扩增实境感系统的影像图。

图2是表示本发明的实施方式的便携式终端装置的内部构成的框图。

图3是表示本发明的实施方式的便携式终端装置的动作的流程图。

图4(a)、(b)是在画面上表现本发明的实施方式的便携式终端装置的动作的图。

[符号的说明]

10  角色商品

20  便携式终端装置

30  商品标签

21  拍摄部

22  显示部

23  操作部

24  声音输出部

25  通讯部

26  存储部

27  控制部

100 扩增实境感系统

260  终端程序

270  主控制部

271  图像获取部

272  图像识别部

273  演出控制部

274  显示控制部

具体实施方式

(实施方式的构成)

以下，参照附图来详细说明用于实施本发明的实施方式(以下仅称为本实施方式)。

图1中表示的是本实施方式的扩增实境感系统100。如图1所示，本实施方式的扩增实境感系统100包含：印刷或贴附着特定角色的角色商品10；以及智能手机等便携式终端装置20，对拍摄该角色商品上印刷的角色所得的影像的至少一部分造型进行图像识别，通过合成关联于各个经该图像识别的造型而准备的演出用图像、与穿着角色商品的人物的被摄体像，生成扩增实境图像并显示在画面上。

于此，角色商品10例示有印刷着战队英雄等角色的面向儿童的T恤。购入该T恤的消费者(大部分情况下是穿着T恤的儿童的父母)使用便携式终端装置20读取商品标签上附加的QR码(注册商标)，从而通过下载从T恤销售经营者、或拥有T恤上印刷的角色的版权的经营者等的网站免费获取再生扩增实境图像的应用程序(后述终端程序260)。

然后，消费者启动通过下载获取的终端程序260，从而聚焦穿着此T恤的儿童的前身造型，通过拍摄来读取角色的造型。仅通过该拍摄操作，虽然现实只有儿童，但例如通过使用让摆出战斗姿势的英雄出现在演出用图像旁的儿童与英雄的简便的AR技术便可实现双人拍摄。此时，便携式终端装置20对通过拍摄所得的角色商品的影像的至少一部分造型进行图像识别，通过合成关联于各个经图像识别的造型而预先准备的演出用图像、与穿着T恤的儿童的被摄体像，生成扩增实境图像并显示在画面上。

图2中表示的是本实施方式的便携式终端装置20的内部构成。如图2所示，便携式终端装置20包含拍摄部21、显示部22、操作部23、声音输出部24、通讯部25、存储部26、控制部27而构成。

拍摄部21是由CCD(Charge Coupled Device，电荷耦合器件)或CMOS(Complementary Metal Oxide Semiconductor，互补金属氧化物半导体)影像传感器等光电转换元件、及其控制电路等构成的摄像机。显示部22是使用纵横配设多个像素(多种颜色的发光元件的组合)而构成的例如LCD(Liquid Crystal Display Device，液晶显示器件)或有机EL(Electro-Luminescence，电激发光)构成，且显示由控制部27生成的写入至存储部26的特定区域(VRAM区域)的包含扩增实境图像的显示信息。

操作部23例如具有电源键、通话键、数字键、文字键、方向键(左右上下)、确定键、发送键、拍摄键等分配了各种功能的键开关，当操作者操作这些键时，产生与操作内容对应的信号，并将该信号作为操作者的指示而输出至控制部27。另外，该操作部23还可以利用输入位置信息的触控面板来实现。这种情况下，在触控面板上显示所述键开关类及扩增实境图像。

声音输出部24是输出包含由控制部27生成的效果音的声音的扬声器。通讯部25捕捉无线通讯系统，和连接于通讯网络的未图示的基地台之间进行无线通讯，收发各种数据。于此，各种数据是指语音通话时的声音数据、收发邮件时的邮件数据、Web(WorldWide Web)浏览时的Web页面数据等。关联于本发明时，是通过该通讯部25，从经营者的网站(服务器)下载获取用于生成与角色商品10对应的扩增实境图像所需的数据。此时，通讯部25例如依照基于TCP/IP(Transmission Control Protocol/Internet Protocol，传输控制/网络通讯协定)的协定，进行与未图示的服务器的连接。

存储部26中除分配了存储本实施方式的终端程序260的程序区域以外，还分配了作业区域及VRAM(Video RAM)区域。作业区域中随时存储由控制部27生成的扩增实境图像、或通过因特网获取的扩增实境图像，VRAM区域中描绘的是包含该扩增实境图像的显示信息。另外，存储部26例如安装半导体存储元件、磁存储元件、或光存储元件。

控制部27具有如下功能，即，对拍摄部21拍摄所得的影像的至少一部分造型进行图像识别，通过合成关联于各个经该图像识别的造型而准备的演出用图像、与穿着角色商品的人物的被摄体像，生成扩增实境图像并显示在显示部22上。此时，控制部27还可以对应于被摄体像的图像尺寸而改变演出用图像的图像尺寸。此外，还可以在演出用图像显示于显示部22时生成效果音，并将该生成的效果音输出至声音输出部24。

因此，若功能性地分解图示控制部27执行的终端程序260的结构，则如图2所示，包含主控制部270、图像获取部271、图像识别部272、演出控制部273、显示控制部274。

图像获取部271获取由拍摄部21拍摄T恤等角色商品10上印刷或贴附的角色的造型所得的图像，并将其输出至图像识别部272。图像识别部272对图像获取部271所获取的造型进行图像识别，并输出至演出控制部273。演出控制部273通过合成关联于各个经图像识别部272图像识别的造型而准备的演出用图像、与穿着角色商品10的人物的被摄体像，生成扩增实境图像并显示在显示部22上。

此时，演出控制部273可以对应于通过实际拍摄所得的被摄体像的图像尺寸而改变演出用图像的图像尺寸。此外，还可以在演出用图像显示于显示部22时生成效果音，并将该生成的效果音输出至声音输出部24。

显示控制部274将由演出控制部273生成的扩增实境图像描绘于存储部26的VRAM区域，与显示时序同步地读出描绘的显示信息并将其显示在显示部22上。

另外，为了让控制部27对利用拍摄部21拍摄所得的影像的至少一部分造型进行图像识别，通过合成关联于各个经图像识别的造型而准备的演出用图像、与穿着角色商品的人物的被摄体像，生成扩增实境图像并显示在显示部22上，主控制部270负责所述图像获取部271、图像识别部272、演出控制部273、显示控制部274的各部分的序列控制。

(实施方式的动作)

以下，针对本实施方式的便携式终端装置20的动作，基于图3的流程图，进一步参照图1及图4(a)(b)的画面构成而进行详细说明。

首先，便携式终端装置20的控制部27(主控制部270)若接通电源，则判断便携式终端装置20是否已安装终端程序260(步骤S101)。主控制部270通过参照存储部26的特定区域内分配存储的安装应用程序一览(未图示)，可以判定是否安装。于此，若判定仍未安装(步骤S101“NO”)，则主控制部270生成表示未安装的讯息并显示在显示部22上，提醒消费者获取终端程序260。消费者依照该讯息，例如如图4(a)所示，读取商品标签30上附加的QR码(注册商标)(步骤S102)。由此，自动地向便携式终端装置20下载终端程序260，并通过安装而存储至存储部26的程序区域(步骤S103)。

另一方面，在步骤S101中，若判定便携式终端装置20中已经安装了终端程序260(步骤S101“YES”)，则消费者执行用于启动此终端程序260的操作。若终端程序260启动(步骤S104)，则如后述般可以进行角色商品10上印刷的角色的造型的图像识别、以及基于图像识别结果的扩增实境图像的生成。

若终端程序260启动，则例如如图4(b)所示，消费者进行调焦而聚焦在儿童穿着的T恤前面印刷的角色上(步骤S105)。然后，消费者若使操作部23的拍摄键、或显示部22的部分区域分配的拍摄按钮为ON(步骤S106“YES”)，则主控制部270侦测出此情况并将控制转向图像获取部271。图像获取部271将拍摄部21所拍摄的角色造型发送至图像识别部272，图像识别部272进行此角色的造型的图像识别(步骤S107)。

将图像识别部272的造型的图像识别结果输出至演出控制部273。演出控制部273读取关联于各个经图像识别的角色造型而准备的演出用图像(步骤S108)。演出控制部273在通过显示控制部274将读取的演出用图像显示在显示部22时，例如如图1的双向箭头所示，执行对应于被摄体像的图像尺寸而改变演出用图像的图像尺寸的处理(步骤S109)。即，演出控制部273在被摄体像的图像尺寸大时，判断被摄体与便携式终端装置20之间的拍摄距离d近，而以相对较大的图像尺寸显示演出用图像。相反，在被摄体像的图像尺寸变小时，通过使演出用图像的图像尺寸也相对变小，可以使演出用图像的图像尺寸吻合穿着T恤的儿童的被摄体像。

即，若被摄体像即儿童与便携式终端装置20之间的距离过近，则演出用图像也较大地显示，显示部22的有效显示画面区域内无法映出演出用图像的全部。因此，消费者在拍摄时通过调整拍摄距离d(后退拍摄)，而将演出用图像缩小在显示部22的有效显示区域内。这种情况下，儿童的图像尺寸也相应地变小，因此演出用图像的图像尺寸也变小，从而在被摄体像和演出用图像的图像尺寸最佳之处进行拍摄位置的调整。这样，利用拍摄距离d来调整被摄体像与演出用图像的图像尺寸感。

另外，对应于拍摄距离而变化的被摄体像的大小判定例如以如下方式进行，即，如图1所示，以拍摄距离d为2[m]的情况下的图像尺寸为基准而进行比较。即，根据被摄体即儿童的身体、与通过作为便携式终端装置20的拍摄部21使用的镜头的景深的关系，拍摄距离d最佳为2[m]左右的距离。

接着，若主控制部270侦测到消费者使拍摄键为ON(步骤S110“YES”)，则演出控制部273通过合成先经拍摄位置的演出用图像与穿着T恤的儿童的被摄体像，生成扩增实境图像并将其输出至显示控制部274。显示控制部274将由演出控制部273生成的扩增实境图像描绘至存储部26的VRAM区域，与显示部22的显示时序同步而读取描绘的扩增实境图像并显示在显示部22上(步骤S111)。即，实际上被摄体虽仅有儿童，但在显示部22的画面上通过简便的AR技术利用身旁出现英雄的扩增实境图像而显示双人图像，从而显示宛如穿着T恤的儿童与英雄纪念合影的图像。

另外，此时演出控制部273还可以在演出用图像显示于显示部22时生成效果音，并将生成的效果音输出至声音输出部24。此时，声音输出部24通过向外界输出此效果音可以演出英雄登场感，结果，提高演出效果(步骤S112)。

如以上说明所示，根据本实施方式的便携式终端装置20，控制部27对由拍摄部21拍摄角色商品10上印刷或贴附的角色所得的影像的造型进行图像识别，通过合成关联于各个造型而准备的演出用图像、与穿着角色商品的人物的被摄体像，生成扩增实境图像并显示在显示部22上。因此，无需透视转换技术，便可简便地生成包含演出用图像与被摄体像的扩增实境图像。此外，通过显示与消费者购入的角色商品的角色关联的扩增实境图像，可以提高趣味性、获得角色商品的促销效果。

另外，本实施方式的终端程序260在例如如图2的框图所示，包含印刷或贴附着特定角色的角色商品10、以及至少具有拍摄部21与显示部22且利用由拍摄部21拍摄的影像的至少一部分造型生成扩增实境图像并显示在显示部22上的便携式终端装置20的扩增实境感系统100中，是由便携式终端装置20使用的计算机(控制部27)控制的终端程序260。而且，例如如图3的流程图所示，使计算机(控制部27)执行如下处理：对拍摄部21拍摄角色所得的影像的至少一部分造型进行图像识别的处理(S105～S107)；及通过合成关联于各个经图像识别的造型而准备的演出用图像、与穿着角色商品的人物的被摄体像，生成扩增实境图像并显示在显示部22上的处理(S108～S111)。

根据本实施方式的终端程序260，计算机(控制部27)通过逐次读取并执行该终端程序260，可以提供一种对拍摄印刷或贴附于角色商品10的角色所得的影像的造型进行图像识别，通过合成关联于各个造型而准备的演出用图像、与穿着角色商品的人物的被摄体像，生成扩增实境图像并可以进行显示的终端程序260。因此，无需透视转换技术，便可生成包含演出用图像与被摄体像的简便的扩增实境图像。此外，通过显示与消费者购入的角色商品关联的扩增实境图像，可以提高趣味性、获得角色商品的促销效果。

此外，本实施方式的扩增实境感系统100例如如图1所示，包含印刷或贴附着特定角色的角色商品10、及便携式终端装置20，该便携式终端装置20至少具有拍摄部21及显示部22，且具有控制部27，该控制部27对由拍摄部21拍摄角色所得的影像的至少一部分造型进行图像识别，合成关联于各个经图像识别的造型而准备的演出用图像、与穿着角色商品的人物的被摄体像，并显示在显示部22上。

根据本实施方式的扩增实境感系统100，可以提供如下一种扩增实境感系统100，即，便携式终端装置20对拍摄印刷或贴附于角色商品10的角色所得的影像的造型进行图像识别，通过合成关联于各个造型而准备的演出用图像、与穿着角色商品的人物的被摄体像，生成扩增实境图像并进行显示。因此，无需透视转换技术，便可简便地生成包含演出用图像与被摄体像的扩增实境图像。结果，通过显示与消费者购入的角色商品关联的扩增实境图像，可以提高趣味性、获得角色商品的促销效果。

此外，本实施方式的角色商品10例如如图1、或图4(a)(b)所示是印刷或贴附着特定角色的角色商品10。该角色商品10是使用于利用便携式终端装置20而实现的扩增实境感系统100中，该便携式终端装置20对拍摄角色所得的影像的至少一部分造型进行图像识别，合成关联于各个经识别的造型而准备的演出用图像、与穿着角色商品10的人物的被摄体像，并进行显示。

根据本实施方式的角色商品10，通过印刷或贴附着特定角色的角色商品10，可以使便携式终端装置20对拍摄角色所得的影像的至少一部分造型进行图像识别，通过合成关联于各个经识别的造型而准备的演出用图像、与穿着角色商品10的人物的被摄体像而生成并显示扩增实境图像。此外，根据本实施方式的角色商品10，印刷或贴附于角色商品10的角色在拍摄穿着角色商品10的人物的便携式终端装置20中，包含至少一部分对拍摄的穿着角色商品10的人物的被摄体像所含的角色的图像进行图像识别而获得的造型，且该造型在便携式终端装置20中准备了对应的演出用图像，且该演出用图像在便携式终端装置20中与穿着角色商品10的人物的被摄体像合成，而可生成扩增实境图像。根据本实施方式的角色商品10，当然可获得商品的促销效果，且还可获得如下派生效果，即，维持角色商品10的服饰价值而乐趣倍增，自然地促进喜欢角色商品10的儿童、与操作便携式终端装置20的父母之间的对话。

另外，所述本实施方式的角色商品10仅例示了印刷T恤而进行说明，除了可以应用于包、胸针以外，还可以应用于印刷或贴附着角色的所有衣类(衣服)、装饰用品(装饰品)等穿着或戴在身上使用的商品、玩具或日用品等。此外，便携式终端装置20生成的演出用图像仅例示静态图像，但也可以是插图、或二维、三维动画CG等动态图像。此外，演出用图像只要是与角色关联的图像则并无特别限定，优选为角色摆出姿势的图像。由此，通过合成演出用图像、与穿着角色商品的人物的被摄体像所得的图像变成像纪念照片一样的形式，可以提高趣味性。此外，角色并不限于漫画、动画等中出场的虚拟角色，也可以是偶像或演员等真实存在的人物。而且，便携式终端装置20例示的是智能手机，但也可以是具有拍摄功能及因特网连接环境的移动电话、PDA(Personal DigitalAssistance，个人数字助理)，或PC(Personal Computer，个人计算机)。

以上，详细说明了本发明的优选实施方式，但本发明的技术性范围当然并不限定于所述实施方式中记载的范围。本领域技术人员当明了，所述实施方式中可以施加多种多样的变更或改良。而且，根据权利要求的记载可明了，施加了所述多种多样的变更或改良后的形态也包含于本发明的技术性范围。

Claims (7)

1.一种便携式终端装置，其特征在于：

至少具有拍摄部及显示部，

且具备控制部，该控制部对由所述拍摄部拍摄印刷或贴附于衣类的角色所得的影像的至少一部分造型进行图像识别，通过合成关联于各个经所述图像识别的所述造型而准备的演出用图像、与穿着所述衣类的人物的被摄体像，生成扩增实境图像并显示在所述显示部上。

2.根据权利要求1所述的便携式终端装置，其中

所述控制部对应于所述被摄体像的图像尺寸而改变所述演出用图像的图像尺寸。

3.根据权利要求1或2所述的便携式终端装置，其中

更具有声音输出部，

且所述控制部在所述演出用图像显示于所述显示部时生成效果音，并将所述生成的效果音输出至所述声音输出部。

4.一种控制方法，是在包含印刷或贴附着特定角色的衣类及便携式终端装置的扩增实境感系统中，控制所述便携式终端装置使用的计算机的终端装置的控制方法，所述便携式终端装置至少具有拍摄部及显示部，且利用由所述拍摄部拍摄的影像的至少一部分造型生成扩增实境图像并显示在所述显示部，

该控制方法使所述计算机执行如下处理：

对由所述拍摄部拍摄所述角色所得的影像的至少一部分造型进行图像识别的处理；以及

通过合成关联于各个经所述图像识别的所述造型而准备的演出用图像、与穿着所述衣类的人物的被摄体像，生成扩增实境图像并显示在所述显示部的处理。

5.一种扩增实境感系统，包含：

印刷或贴附着特定角色的衣类；以及

便携式终端装置，至少具有拍摄部及显示部，且具有控制部，该控制部对由所述拍摄部拍摄所述角色所得的影像的至少一部分造型进行图像识别，通过合成关联于各个经所述图像识别的所述造型而准备的演出用图像、与穿着所述衣类的人物的被摄体像，生成扩增实境图像并显示在所述显示部。

6.一种衣类，印刷或贴附着特定角色，且用于包含便携式终端装置的扩增实境感系统中，

所述便携式终端装置对拍摄所述角色所得的影像的至少一部分造型进行图像识别，通过合成关联于各个经所述识别的造型而准备的演出用图像、与穿着所述衣类的人物的被摄体像，生成扩增实境图像并进行显示。

7.一种衣类，印刷或贴附着特定角色，

所述印刷或贴附的角色在拍摄穿着所述衣类的人物的便携式终端装置中，包含至少一部分对拍摄的穿着所述衣类的人物的被摄体像所含的所述角色的图像进行图像识别获得的造型，

所述造型在所述便携式终端装置中准备了对应的演出用图像，且该演出用图像在所述便携式终端装置中是通过与穿着所述衣类的人物的被摄体像合成而利用于生成扩增实境图像。