CN120129929A - 信息处理装置、方法及程序 - Google Patents

Abstract

本发明提供一种能够提供趣味性优异的复合空间或假想空间的信息处理装置、方法及程序。获取与使对象出现的空间的环境有关的第1信息。获取与用户的行为履历有关的第2信息。根据第1信息来确定与对象有关的第1要素。根据第2信息来确定与对象有关的第2要素。根据第1要素及第2要素来确定在空间中出现的对象。

Description

信息处理装置、方法及程序

技术领域

本发明涉及一种信息处理装置、方法及程序，尤其涉及一种提供融合了现实世界和假想世界的复合空间或假想空间的信息处理装置、方法及程序。

背景技术

作为将假想世界(Virtual world)重合于现实世界(Real world)上进行显示的技术，已知有增强现实(Augmented Reality；AR)。AR通过在现实风景中重合显示通过计算机绘图(Computer Graphics；CG)来制作的角色等数字内容而扩展现实世界。

在专利文献1中，关于制作重叠了角色的增强现实图像的技术，记载有根据角色的使用状况(亲密度)及使用环境(季节、场所等)来改变重叠角色的装饰的技术。

并且，在专利文献2中，关于制作重叠了角色的增强现实图像的技术，记载有从拍摄图像确定周围环境，并使与所确定的周围环境匹配的角色出现的技术。

并且，在专利文献3中记载有如下技术：根据用户的行为履历来估计用户的属性，并根据所估计的属性来选择角色的属性。

现有技术文献

专利文献

专利文献1：日本特开2018-36869号公报

专利文献2：日本特开2019-212062号公报

专利文献3：国际公开第2016/111067号

发明内容

本发明的技术所涉及的一种实施方式提供一种能够提供趣味性优异的复合空间或假想空间的信息处理装置、方法及程序。

用于解决技术课题的手段

(1)一种信息处理装置，其具备处理器，处理器进行如下处理：获取与使对象出现的空间的环境有关的第1信息；获取与用户的行为履历有关的第2信息；根据第1信息来确定与对象有关的第1要素；根据第2信息来确定与对象有关的第2要素；及根据第1要素及第2要素来确定在空间中出现的对象。

(2)根据(1)所述的信息处理装置，其中，处理器进行如下处理：获取拍摄了使对象出现的空间的第1图像；及生成在第1图像上重叠了对象的第2图像。

(3)根据(2)所述的信息处理装置，其中，处理器对第1图像进行处理，以识别第1图像内的物体或第1图像的场景，并获取第1信息。

(4)根据(3)所述的信息处理装置，其中，处理器进行如下处理：获取用户的位置的信息；及在用户存在于特定地区的情况下，识别第1图像内的物体或第1图像的场景，并获取第1信息。

(5)根据(1)至(4)中任一项所述的信息处理装置，其中，第2信息包括用户的移动履历的信息、或者与所出现的对象有关的履历的信息。

(6)根据(1)至(5)中任一项所述的信息处理装置，其中，第1要素为所出现的对象的种类，第2要素为所出现的对象的显示方式或属性。

(7)根据(1)至(6)中任一项所述的信息处理装置，其中，处理器进行如下处理：对拍摄了使对象出现的空间的图像进行处理以识别主被摄体；及根据空间内的主被摄体的位置来确定在空间中出现的对象的配置区域。

(8)根据(7)所述的信息处理装置，其中，处理器根据配置区域中的第1信息来确定所出现的对象的种类。

(9)根据(6)至(8)中任一项所述的信息处理装置，其中，处理器在用户的行为履历满足特定条件的情况下，随机确定对象的显示方式。

(10)根据(2)至(4)中任一项所述的信息处理装置，其中，处理器根据第2图像的输出指示来变更对象的显示方式或属性。

(11)一种信息处理方法，其包括如下步骤：获取与使对象出现的空间的环境有关的第1信息的步骤；获取与用户的行为履历有关的第2信息的步骤；根据第1信息来确定与对象有关的第1要素的步骤；根据第2信息来确定与对象有关的第2要素的步骤；及根据第1要素及第2要素来确定在空间中出现的对象的步骤。

(12)一种信息处理程序，其使计算机实现如下功能：获取与使对象出现的空间的环境有关的第1信息的功能；获取与用户的行为履历有关的第2信息的功能；根据第1信息来确定与对象有关的第1要素的功能；根据第2信息来确定与对象有关的第2要素的功能；及根据第1要素及第2要素来确定在空间中出现的对象的功能。

附图说明

图1是表示信息处理的概要的图。

图2是表示移动终端的硬件结构的一例的图。

图3是关于AR显示的移动终端所具有的主要功能的框图。

图4是环境信息获取部所具有的主要功能的框图。

图5是表示物体识别的一例的图。

图6是AR对象确定部所具有的主要功能的框图。

图7是AR对象的配置区域的确定的概念图。

图8是表示记录在AR对象数据库中的信息的一例的图。

图9是表示AR对象的显示方式的一例的图。

图10是表示AR图像的一例的图。

图11是表示进行AR显示时的移动终端的动作顺序的流程图。

图12是表示AR对象的显示方式的确定处理顺序的流程图。

图13是AR图像生成的概念图。

图14是表示实施抽签来确定AR对象的显示方式时的处理顺序的一例的流程图。

图15是表示抽签画面的一例的图。

图16是AR对象确定部所具有的主要功能的框图。

图17是表示记录于AR对象数据库的信息的一例的图。

图18是表示角色的外观的一例的图。

图19是表示角色的外观的确定处理的顺序的流程图。

图20是表示AR显示的一例的图。

图21是表示通过拍摄而使角色进行特定动作时的一例的图。

图22是表示打印时的显示的一例的图。

图23是表示角色属性变化的履历数据的一例的图。

图24是表示角色的配置的一例的概念图。

图25是表示利用了图像识别的角色的配置的一例的概念图。

图26是打印的概念图。

具体实施方式

以下，按照附图对本发明的优选实施方式进行说明。

[第1实施方式]

图1是表示本实施方式的信息处理的概要的图。

如图1所示，本实施方式的信息处理使用具备相机及显示器的移动终端10来提供融合了现实世界和假想世界的复合空间。具体而言，在由移动终端10的相机拍摄到的实空间(现实空间、实际存在的空间)的图像上重叠以CG来制作的增强现实对象(AR对象)ARO而生成增强现实图像(AR图像)，并显示于移动终端10的显示器15。AR对象ARO以用户的位置为触发而出现。此时，根据所出现的空间的环境(由相机拍摄的空间的环境)及用户的行为履历，确定其种类、显示方式或属性。由此，能够提供趣味性优异的复合空间。

[移动终端的结构]

图2是表示移动终端的硬件结构的一例的图。

图2所示的移动终端10是所谓的智能手机。移动终端10具备：控制整体动作的CPU(Central Processing Unit：中央处理器)11、存储有基本输入输出程序等的ROM(ReadOnly Memory：只读存储器)12、用作CPU11的工作区的RAM(Ran dom Access Memory：随机存取存储器)13、内置存储器14、显示器15、检测对显示器画面的触摸操作(位置输入)的触控板16、通过GPS(Global Positioning Syst ems：全球定位系统)卫星或作为室内GPS的IMES(Indoor MEssaging System：室内信息系统)接收包含移动终端10的位置信息(纬度、经度及高度)的GPS信号的GPS接收部17、电子拍摄图像的相机部18、经由麦克风输入声音的麦克风部19、经由扬声器输出声音的扬声器部20、经由天线与最近的基站等进行无线通信的无线通信部21、经由天线与外部设备进行近距离无线通信的近距离无线通信部22、进行各种传感的传感器部23等。内置存储器14例如由EEPROM(Electrically Erasable Programmable Read-Only Memory：电可擦除可编程只读存储器)等非易失性存储器构成。

在内置存储器14中，除了存储包括操作系统的各种程序(例如，信息处理程序等)以外，还存储各种控制及处理所需的数据、由内部相机部18A及外部相机部18B拍摄到的图像数据等。

显示器15例如由LCD(Liquid Crystal Display/液晶显示器)、OLED(OrganicLight Emitting Diode/有机发光二极管)显示器等构成。显示器15与触控板16一同构成触摸面板30。触摸面板30构成移动终端10的操作部。

相机部18由内部相机部18A及外部相机部18B构成。内部相机部18A是搭载于移动终端10的框体正面侧的相机(参考图1)。外部相机部18B是搭载于移动终端10的框体背面侧的相机。另外，移动终端10的框体的正面是指在移动终端10的框体中具备显示器15的面。因此，内部相机部18A是搭载于显示器15侧的相机。内部相机部18A及外部相机部18B为数码相机，具有光学系统及图像传感器。图像传感器例如由CMOS(Complementary Metal OxideSemiconductor：互补金属氧化物半导体)图像传感器、CCD(Charge Coupled Device：电荷耦合器件)图像传感器等构成。另外，以下，除了特别区分的情况以外，由相机部18拍摄的图像是指由内部相机部18A及外部相机部18B中的任一个拍摄的图像。

无线通信部21例如通过5G(5th Generation Mobile Communication System/第5代移动通信系统)、4G(4th Generation Mobile Communication System/第4代移动通信系统)、LTE(Long Term Evolution：长期演进)等蜂窝方式与基站进行无线通信。

近距离无线通信部22例如通过Wi-Fi(注册商标)、Bluetooth(注册商标)等近距离无线通信方式与外部设备进行无线通信。

传感器部23包括加速度传感器、角速度传感器(陀螺仪传感器)、地磁传感器、环境光传感器、接近传感器、LiDAR(Light Detection And Ranging：激光雷达)、活体识别传感器等各种传感器。

图3是关于AR显示的移动终端所具有的主要功能的框图。

如图3所示，移动终端10关于AR显示而具有环境信息获取部111、行为履历信息获取部112、行为履历数据库管理部113(数据库/Data Base；DB)、AR对象确定部114、AR图像生成部115、显示控制部116、记录控制部117等的功能。这些功能通过由CPU11执行规定的程序(信息处理程序)来实现。

环境信息获取部111获取与使AR对象出现的空间的环境有关的信息。与空间的环境有关的信息包括空间的地理信息、构成空间的物体以及存在于空间内的物体的信息等构成空间或将空间特征化的各种信息。与使AR对象出现的空间的环境有关的信息为第1信息的一例。在本实施方式中，由于在拍摄图像上重叠AR对象来生成AR图像，因此识别拍摄中图像中所包含的物体，以获取与使AR对象出现的空间的环境有关的信息。并且，获取用户的当前位置(正在拍摄的位置)的信息，以获取使AR对象出现的空间的环境信息。

图4是环境信息获取部所具有的主要功能的框图。

如图4所示，本实施方式的环境信息获取部111具有位置判定部111A及物体识别部111B等的功能。

位置判定部111A判定移动终端10的当前位置。移动终端10的当前位置设为用户的当前位置(正在拍摄的位置)。位置判定部111A根据由GPS接收部17接收的GPS信号及地图数据库121来判定移动终端10的当前位置。

在地图数据库121中，地图上的特定兴趣点(Point of Interest；POI)与其位置信息(纬度、经度及高度)建立关联地被记录。兴趣点是包括区域以及地区的概念。并且，兴趣点也能够由公园、游乐园、水族馆、美术馆等设施、百货店、餐饮店等店铺、神社、佛教寺庙等名胜、观光地等来确定。

位置判定部111A获取GPS信号中所包含的位置信息(纬度、经度及高度)的信息，从地图数据库121中搜索与该位置信息对应的兴趣点的信息，以获取移动终端10的当前位置的信息。在与所获取的位置信息对应的兴趣点的信息不存在于地图数据库121中的情况下，位置判定部111A判定为位置不明。判定结果作为移动终端10的当前位置信息而输出。

物体识别部111B分析由相机部18拍摄到的图像，以识别图像内所包含的物体(对象)。更具体而言，进行物体检测和该区域的检测。此处的物体中包括天空、地面(包括道路)等。为了识别物体而采用公知技术。例如，能够利用应用了人工智能(ArtificialIntelligence；AI)的物体识别(对象识别)的技术。作为一例，能够采用使用以进行物体识别的方式被机器学习的已学习模型进行物体识别的结构。在该情况下，作为已学习模型，例如能够采用使用了语义分割(semantic segmentati on)、实例分割(instancesegmentation)、全景分割(panoptic segmentation)等的模型。

图5是表示物体识别的一例的图。

图5(A)表示拍摄图像I(由相机部18拍摄到的图像)。图5(B)表示对拍摄图像I的物体识别结果的一例。如图5(B)所示，确定图像中的物体的区域，并针对每个个体进行区域分割来识别物体的种类。在图5所示的例子中，从拍摄图像I中识别出人物(Human)、草地(Grass)、土壤(Ground)、树(Tree)、天空(Sky)作为物体。

物体识别部111B可以构成为仅识别预先确定的特定物体。例如，可以构成为仅识别人物及地面(草地、土壤、人工地基等)。

物体识别部111B在移动终端10的当前位置是记录在地图数据库121中的特定兴趣点的情况下，执行物体的识别处理。

行为履历信息获取部112获取与用户的行为履历有关的信息。与用户的行为履历有关的信息为第2信息的一例。在本实施方式中，作为用户的行为履历而获取位置履历的信息。位置履历是指将用户携带移动终端10访问的场所、路径等作为履历而记录的履历。行为履历信息获取部112从行为履历数据库122获取与用户的行为履历有关的信息。在本实施方式中，获取位置履历的信息。在行为履历数据库122中记录与用户的行为履历有关的信息。在本实施方式中，记录位置履历的信息。

行为履历数据库管理部113管理行为履历数据库122。在本实施方式中，在行为履历数据库122中记录位置履历的信息。因此，行为履历数据库管理部113管理位置履历的信息。行为履历数据库管理部113经由GPS接收部17获取移动终端10的位置信息，并管理用户的位置履历。即，管理用户所访问的场所、路径等履历。

AR对象确定部114确定所出现的增强现实对象(AR对象)。AR对象确定部114根据由环境信息获取部111获取的信息及由行为履历信息获取部112获取的信息来确定AR对象。在本实施方式中，根据由环境信息获取部111获取的拍摄图像I内的物体的信息(物体信息)及由行为履历信息获取部112获取的位置履历的信息(位置履历信息)来确定AR对象。

图6是AR对象确定部所具有的主要功能的框图。

如图6所示，AR对象确定部114具有主被摄体判定部114A、配置区域确定部114B、第1要素确定部114C及第2要素确定部114D等的功能。

主被摄体判定部114A根据拍摄图像I内的物体的信息(物体信息)来判定主被摄体。在本实施方式中，将拍摄图像I内的人物设为主被摄体。在拍摄图像I内包含多个人物的情况下，主被摄体判定部114A根据图像内的位置、大小等来判定主被摄体。例如，将更靠近中央的人物认定为主被摄体。并且，将尺寸更大的人物认定为主被摄体。

配置区域确定部114B根据主被摄体判定部114A对主被摄体的判定结果来确定AR对象的配置区域。

图7是AR对象的配置区域的确定的概念图。

在图7中，由斜线表示的区域为AR对象的配置区域R。在本实施方式中，主被摄体MO的周围且地面的区域被设为AR对象的配置区域R。图7是将以主被摄体MO为中心的半径r的圆内的区域设为AR对象的配置区域R时的例子。半径r可以是恒定的，也可以根据拍摄图像I内的主被摄体MO的尺寸和/或主被摄体MO的距离来设定。

第1要素确定部114C确定作为所出现的AR对象的第1要素的种类。在本实施方式中，根据配置区域R的环境信息来确定AR对象的种类。更具体而言，根据在配置区域R中识别出的物体的信息来确定AR对象的种类。

第1要素确定部114C参考记录在AR对象数据库123中的信息来确定AR对象的种类。

图8是表示记录在AR对象数据库中的信息的一例的图。

如图8所示，记录针对配置区域的每个环境显示的AR对象的种类及显示方式的信息。显示方式的信息包括显示所需的AR对象的数据。各AR对象例如由三维CG(three-dimensional computer graphics：三维计算机图形；3DCG)构成。因此，AR对象的数据由三维CG的数据构成。

第1要素确定部114C从记录在AR对象数据库123中的多个AR对象的种类中选择与配置区域R的环境(所识别的物体)对应的种类。例如，根据图8的例子，在配置区域R的环境为“土壤”的情况下，所出现的AR对象的种类成为“猫”。

在配置区域R中包含多个环境(所识别的物体)的情况下，将占有率最高的环境设为配置区域R的环境。在图7的例子中，在配置区域R中包含“土壤”和“草地”，但“土壤”的占有率更高。因此，在图7的例子的情况下，配置区域R的环境被判定为“土壤”。

第2要素确定部114D确定作为所出现的AR对象的显示方式的第2要素。第2要素确定部114D根据由行为履历信息获取部112获取的与用户的行为履历有关的信息来确定AR对象的显示方式。在本实施方式中，根据位置履历的信息来确定AR对象的显示方式。在本实施方式中，根据是否为用户首次访问的场所来确定显示方式。即，根据移动终端10的当前位置(用户的当前位置)是否为存在于位置履历中的场所来确定显示方式。在用户首次访问的场所的情况下(未访问地点的情况下)，第2要素确定部114D将AR对象的显示方式设定为第1显示方式。该情况是当前位置不存在于位置履历中的情况。另一方面，在不是用户首次访问的场所的情况下(已访问地点的情况下)，第2要素确定部114D将AR对象的显示方式设定为第2显示方式。该情况是当前位置存在于位置履历中的情况。

图9是表示AR对象的显示方式的一例的图。

在本实施方式中，作为AR对象的显示方式而设定所出现的AR对象ARO的数量。第2显示方式设定成所显示的AR对象ARO比第1显示方式多。

另外，在图9中，为了方便起见，二维显示各AR对象ARO，但各AR对象AR O由3DCG构成。并且，在图9中，以静止状态进行显示，但各AR对象ARO也能够设为移动的结构。

AR图像生成部115生成在由相机部18拍摄到的图像(拍摄图像)上重叠了AR对象的增强现实图像(AR图像)。AR图像生成部115将由AR对象确定部114确定的AR对象重叠于拍摄图像I来生成AR图像。此时，AR图像生成部115在由配置区域确定部114B确定的配置区域中配置AR对象来生成AR图像。并且，AR图像生成部115使由第1要素确定部114C确定的AR对象以由第2要素确定部114D确定的显示方式来显示，以生成AR图像(使由第2要素确定部114D确定的显示方式的三维CG重叠，以生成AR图像。)。在本实施方式中，拍摄图像为第1图像的一例，AR图像为第2图像的一例。并且，AR对象为对象的一例。

图10是表示AR图像的一例的图。图10(A)表示在第1显示方式中显示时的一例。图10(B)表示在第2显示方式中显示时的一例。

如图10(A)及(B)所示，在本实施方式中生成AR对象ARO重叠在主被摄体MO的周围且地面区域上的AR图像ARI。

显示控制部116控制向显示器15的图像显示。显示控制部116使由AR图像生成部115生成的AR图像ARI显示于显示器15(参考图1)。

记录控制部117控制向内置存储器14的图像记录。记录控制部117根据来自用户的记录指示(静止图像以及动态图像的拍摄指示)，将在显示器15上显示中的图像记录于内置存储器14。记录指示例如通过对显示于显示器15上的快门按钮SSB(参考图1)的触摸操作来进行。

[移动终端的动作(信息处理方法)]

图11是表示进行AR显示时的移动终端的动作顺序的流程图。

首先，在显示器15上显示实时取景图像(步骤S10)。实时取景是指实时(即时)显示由相机部18的图像传感器捕捉到的图像。

接着，获取移动终端10的当前位置(用户的当前位置)的信息(步骤S11)。移动终端10根据由GPS接收部17接收的GPS信号，获取移动终端10的当前位置的信息。

接着，根据所获取的当前位置的信息，判定当前位置是否为地图数据库121中所设定的特定地区(步骤S12)。更具体而言，判定当前位置是否为存在于地图数据库121中的场所。

在当前位置为地图数据库121中所确定的特定地区的情况下，判定在显示器15上显示中的实时取景图像中是否显示有AR对象(步骤S13)。

在未显示AR对象的情况下，进行从拍摄图像中识别物体的处理(步骤S14)。这里的“拍摄图像”是指作为实时取景而显示的图像。

根据物体的识别结果，从拍摄图像中判定主被摄体(步骤S15)。在本实施方式中，人物被设为主被摄体。因此，从所识别的物体中确定人物作为主被摄体。在图像中包含多个人物的情况下，按照规定的判定基准而确定主被摄体。

根据主被摄体的判定处理的结果来判定有无主被摄体(步骤S16)。即，判定在拍摄图像中是否存在主被摄体。

在拍摄图像中存在主被摄体的情况下，根据图像内的主被摄体的位置来确定AR对象的配置区域(步骤S17)。在本实施方式中，主被摄体的周围且地面的区域被设定为AR对象的配置区域。

在确定AR对象的配置区域之后，获取该配置区域的环境信息(步骤S18)。在本实施方式中，根据物体的识别结果来获取AR对象的配置区域的物体的信息。

根据所获取的配置区域的物体的信息来选择在图像中出现的AR对象(步骤S19)。即，确定出现哪种类型的AR对象。AR对象从AR对象数据库123中选择。

若确定所出现的AR对象，则获取用户的行为履历的信息(步骤S20)。在本实施方式中，获取位置履历的信息。

根据所获取的位置履历的信息来确定AR对象的显示方式(步骤S21)。在本实施方式中，根据移动终端10的当前位置(用户的当前位置)是否为未访问地点来确定AR对象的显示方式。

图12是表示AR对象的显示方式的确定处理顺序的流程图。

首先，判定当前位置是否为未访问地点(步骤S21_1)。即，判定当前位置是否存在于位置履历中。

在当前位置为未访问地点的情况下，AR对象的显示方式设定为第1显示方式(步骤S21_2)。未访问地点的情况是指当前位置不存在于位置履历中的情况。

另一方面，在当前位置不是未访问地点的情况下，即，在已访问地点的情况下，AR对象的显示方式设定为第2显示方式(步骤S21_3)。已访问地点的情况是指当前位置存在于位置履历中的情况。

如此，根据当前位置是否为未访问地点来确定AR对象的显示方式。

在以上一系列处理中确定在实时取景的图像中出现的AR对象的种类、配置区域及显示方式。根据所确定的事项，在实时取景的图像中合成AR对象，生成AR图像。

图13是AR图像生成的概念图。

如图13所示，使AR对象ARO重叠于拍摄图像I(实时取景图像)的规定的区域，以生成AR图像ARI。在本实施方式中，规定的区域是指主被摄体MO的周围且地面的区域。

所生成的AR图像显示于显示器15。即，重叠有AR对象的图像显示于显示器15(步骤S22)。由此，能够观看AR图像ARI。

然后，判定是否由用户指示了关闭AR显示(步骤S23)。在步骤S13中，在判定为正在显示AR对象的情况下，也同样地判定是否由用户指示了关闭AR显示(步骤S23)。

若指示关闭AR显示，则结束AR显示的处理。关闭AR显示的指示通过规定的操作来进行。

在步骤S12中，在判定为当前位置不是地图数据库121中所设定的特定地区的情况下，判定是否正在显示AR对象(步骤S24)。即，判定在显示器15上显示中的实时取景的图像中是否显示有AR对象。若判定为正在显示AR对象，则结束AR对象的显示(步骤S25)。即，在该情况下，用户从特定地区移动，因此AR对象的显示被删除。然后，判定是否由用户指示了关闭AR显示(步骤S23)，若指示了关闭AR显示，则结束AR显示的处理。

在步骤S16中，在判定为在拍摄图像中不存在主被摄体的情况下，也同样地判定是否正在显示AR对象(步骤S24)。若判定为正在显示AR对象，则结束AR对象的显示(步骤S25)。即，在该情况下，主被摄体从拍摄图像内消失，因此AR对象的显示也被删除。然后，判定是否由用户指示了关闭AR显示(步骤S23)，若指示了关闭AR显示，则结束AR显示的处理。

另外，一次显示的AR对象可以设为经过一定时间之后自动消除的结构。

如以上说明，根据本实施方式，根据与配置AR对象的空间的环境有关的信息及用户的行为履历的信息来确定所出现的AR对象的种类、显示方式。由此，能够提供趣味性优异的AR空间。

[变形例]

[AR对象的种类的确定方法]

在上述实施方式中，构成为根据AR对象的配置区域中的物体的识别结果来确定所出现的AR对象的种类，但确定所出现的AR对象的种类的方法并不限定于此。根据在移动终端10中可获取的各种信息，能够确定所出现的AR对象的种类。

例如，能够构成为根据移动终端10的当前位置(用户的当前位置)的信息来确定所出现的AR对象的种类。在该情况下，在AR对象数据库123中，与地区以及场所的信息建立关联地记录各AR对象的信息。

并且，也能够构成为根据移动终端10的当前位置(用户的当前位置)及从拍摄图像中识别出的物体的信息来确定所出现的AR对象的种类。在该情况下，例如，能够构成为根据移动终端10的当前位置的信息来确定所出现的AR对象的第1分类，并根据从拍摄图像中识别出的物体的信息来确定所出现的AR对象的第2分类。第1分类是所谓的大分类，第2分类是将第1分类细分化的分类(所谓的小分类)。

并且，也能够构成为代替物体的识别，或者与物体的识别一同进行场景的识别，并根据所识别的场景，或者根据所识别的场景及物体，确定所出现的AR对象的种类。另外，由于场景识别本身是公知技术，因此省略关于其详细内容的说明。例如，能够采用使用以从图像进行场景识别的方式被机器学习的已学习模型进行拍摄图像的场景识别的结构。

此外，在移动终端10能够获取当前日期和时间、气温、湿度、声音等信息的情况下，可以获取这些信息作为环境信息，并根据所获取的信息来确定所出现的AR对象的种类。

并且，也可以考虑用户的行为履历的信息来确定所出现的AR对象的种类。即，也可以利用环境信息和用户的行为履历的信息这两者来确定所出现的AR对象的种类。

[AR对象的显示方式的确定方法]

在上述实施方式中，作为用户的行为履历的信息，构成为利用位置履历的信息来确定AR对象的显示方式，但确定AR对象的显示方式时使用的行为履历的信息并不限定于此。能够利用在移动终端10中可获取的各种信息。例如，能够利用移动终端10中的本功能(AR显示的功能)的使用履历的信息、本功能中的用户的操作履历的信息等。使用履历中包含总使用次数的信息、总使用时间的信息、每一天的使用次数的信息、每一天的使用时间的信息、使用时间段的信息、各AR对象的显示次数的信息等与使用有关的各种信息。各AR对象的显示次数的信息是关于各AR对象的出现次数(出现了多少次)的信息。并且，操作履历的信息中包含静止图像及动态图像的拍摄履历、打印履历的信息等。拍摄履历中还包括相机部18的使用履历的信息。即，包含使用了内部相机部18A和外部相机部18B中的哪一个相机部的信息。打印履历是对所拍摄到的图像的打印(对胶片、纸张、介质等有形物的打印)的履历。关于打印的方式，并没有特别限定。并且，也能够利用移动终端本身的使用履历、操作履历的信息等。在移动终端本身的使用履历的信息中，例如包含使用了移动终端10的拍摄履历的信息。并且，拍摄履历中能够包含关于所拍摄到的图像的分析结果的信息。在关于所拍摄到的图像的分析结果中，能够包含对所拍摄到的图像进行的图像识别的结果(例如，被摄体的识别结果、场景的识别结果等)信息。

并且，所使用的行为履历的信息可以限定为与特定事件相关的信息。例如，能够仅限定为与当前位置相关的信息。例如，关于拍摄次数，能够限定为特定地区的拍摄次数(当前地区的拍摄次数)。并且，关于打印次数，能够限定为特定地区的打印次数(例如，当前地区的打印次数)或打印了特定被摄体(例如，与当前地区相关的被摄体)的次数。

并且，在用户的行为履历中，还能够包括商品的购买履历、社交网络服务(Soc ialnetworking service；SNS)中的投稿履历等。关于商品的购买履历，例如与当前位置相关联地能够使用在该地区是否购买了特定商品(例如，该地区的特产、仅在该地区销售的限定商品等)的信息、购买次数的信息等。并且，关于SNS的投稿履历，能够使用与当前位置相关的信息的投稿与否、投稿次数的信息等。

复合性地利用这些与用户的行为有关的履历的信息，能够确定所出现的AR对象的显示方式。

此外，也可以考虑环境信息来确定所出现的AR对象的显示方式。即，也可以利用环境信息和用户的行为履历的信息这两者来确定所出现的AR对象的显示方式。

并且，可以构成为在行为履历满足一定条件的情况下，实施抽签、游戏等，根据其结果来确定AR对象的显示方式。

图14是表示实施抽签来确定AR对象的显示方式时的处理顺序的一例的流程图。

首先，判定当前位置是否为未访问地点(步骤S21_11)。在当前位置为未访问地点的情况下，AR对象的显示方式设定为第1显示方式(步骤S21_2)。

在当前位置不是未访问地点的情况下(已访问地点的情况)，判定是否访问了3次以上(步骤S21_13)。即，判定本次访问是否为第3次以上。

在不是第3次以上的访问的情况下(第2次访问的情况)，AR对象的显示方式被设定为第2显示方式(步骤S21_14)。

另一方面，在第3次以上的访问的情况下实施抽签(步骤S21_15)。

图15是表示抽签画面的一例的图。

图15是使用了骰子的抽签的例子。摇动两个骰子，在两个骰子均出现1点的情况下，称为“中奖”。

如图15所示，在实时取景图像上重叠显示圆板状载物台的图像STA，并且在该载物台的图像STA上显示两个骰子的图像DA1、DA2。并且，开始按钮STB显示于画面上。

用户触摸开始按钮STB来指示执行抽签。若指示执行抽签，则显示骰子旋转的动画图像。并且，与此同时，开始按钮STB的显示切换为停止按钮的显示(未图示)。用户触摸停止按钮来指示停止骰子的旋转。若指示停止旋转，则切换为骰子停止的图像，并确定点数。各骰子的点数是随机确定的。例如，在1至6的数值范围内获取随机数，以确定各骰子的点数。

如上所述，在两个骰子的点数均为1的情况下设为“中奖”，除此以外设为“未中奖”。

若进行抽签，则判定该抽签的结果是否为中奖(步骤S21_16)。在抽签结果为“中奖”的情况下，AR对象的显示方式设定为第3显示方式(步骤S21_17)。另一方面，在抽签的结果为“未中奖”的情况下，AR对象的显示方式设定为第2显示方式(步骤S21_17)。

在此，第2显示方式中被显示的AR对象的数量设定得比第1显示方式多，第3显示方式中被显示的AR对象的数量设定得比第2显示方式多。

如此，在确定显示方式时，通过引入随机要素，能够进一步提高趣味性。

另外，关于随机性，除了完全随机化以外，还能够使其具有偏差而随机化。例如，若满足特定条件，则可以控制随机性，以获得有利的结果。例如，可以根据用户的利用状况(例如，是否收费)、关于所出现的AR对象的过去的出现次数、拍摄次数、打印次数等，使结果产生差异。

[AR对象的显示方式]

在上述实施方式中，构成为根据用户的行为履历来改变所出现的AR对象的数量，但变更的要素并不限定于此。能够构成为改变所谓的华丽感、豪华感等。即，能够构成为改变外形的等级。例如，在根据位置履历来改变AR对象的显示方式的情况下，能够设为访问次数越增加，外形的等级越提高的显示(例如，更华丽的显示、更豪华的显示等)。并且，例如，在根据静止图像的拍摄次数来改变AR对象的显示方式的情况下，能够设为拍摄次数越增加，外形的等级越提高的显示。并且，例如，在根据显示次数(出现次数)来改变AR对象的显示方式的情况下，能够设为显示次数越增加，外形的等级越提高的显示。

并且，在上述实施方式中，构成为切换两个显示方式，但也可以进一步准备多个显示方式，根据用户的行为履历更详细地切换显示方式。

[基于特定行为的显示方式的变化]

在用户进行了特定行为的情况下，可以使AR对象的显示方式进一步发生变化。例如，在用户拍摄了显示有AR对象的图像的情况下，可以使AR对象的显示方式进一步发生变化。拍摄中包括静止图像的拍摄及动态图像的拍摄这两者。并且，在打印了所拍摄到的图像的情况下，可以使AR对象的显示方式进一步发生变化。在该情况下，作为变化的方式，能够采用进一步增加AR对象的数量、进一步提高外形的等级等。静止图像以及动态图像的拍摄指示及所拍摄到的图像的打印指示为第2图像的输出指示的一例。另外，拍摄中包括将显示于显示器15的画面上的内容直接作为图像数据来获取(所谓的屏幕截图(Screenshot)、屏幕捕获(Screen Captur e))。

[AR对象的配置区域]

在上述实施方式中，识别主被摄体(人物)，并将其周围且地面的区域设为AR对象的配置区域，但确定AR对象的配置区域的方法并不限定于此。优选根据所出现的AR对象的种类等来设定配置区域。例如，关于在空中漂浮的不自然的AR对象，不一定需要配置在地面上。也能够构成为根据AR对象的种类等配置于空中、水面等。同样地，关于作为演示的AR对象(彩纸片、星星的闪烁等)，不一定需要配置在地面上。

并且，不一定需要配置于主被摄体的周围，而可以构成为配置于画面内的特定场所。例如，可以构成为配置于画面中央。在该情况下，不需要识别主被摄体。

并且，在移动终端10具有空间识别功能的情况下，优选利用其识别结果来确定配置区域。例如，在移动终端10具有LiDAR等测域传感器的情况下，能够利用其测域结果来确定配置区域。

[第2实施方式]

在本实施方式中，关于使由CG制作的角色(小说、电影、戏剧、漫画、计算机游戏等中登场的人物、动物、玩偶、机器人等)重叠在拍摄图像上来生成AR图像的情况进行说明。

在本实施方式中，根据环境信息及行为履历信息来确定在图像中出现的角色的种类及属性。更具体而言，根据环境信息来确定角色的种类，并根据行为履历信息来确定角色的属性。属性除了角色的容貌、服装、装饰、装备、成长程度、进化程度等外观要素(所谓的外形)以外，还包含亲密度、性格、状态等除外观以外的要素。例如，在进行对话的角色的情况下，根据亲密度、性格等，对话内容、动作等发生变化。

在本实施方式中，也以使用移动终端进行AR显示的情况为例进行说明。移动终端的基本结构与上述第1实施方式相同。因此，在此仅对差异点即出现的AR对象(角色)及其确定方法进行说明。

另外，在本实施方式中，作为角色的属性，以变更其外观要素的情况为例进行说明。

[AR对象及其确定方法]

如上所述，在本实施方式中，生成使角色出现的AR图像。所出现的角色(AR对象)例如由3DCG构成，其数据记录于AR对象数据库123。角色(AR对象)的选定由AR对象确定部114进行。

图16是AR对象确定部所具有的主要功能的框图。

AR对象确定部114具有主被摄体判定部114A、配置区域确定部114B、第1要素确定部114C及第2要素确定部114D等的功能。

主被摄体判定部114A及配置区域确定部114B的功能与上述第1实施方式相同。主被摄体判定部114A根据物体识别部111B的识别结果(物体信息)来判定主被摄体。配置区域确定部114B根据主被摄体判定部114A对主被摄体的判定结果来确定角色的配置区域。

第1要素确定部114C根据移动终端10的当前位置的信息(当前位置信息)确定作为第1要素的角色的种类。移动终端10的当前位置由位置判定部111A判定。第1要素确定部114C参考记录在AR对象数据库123中的信息来确定角色的种类。

图17是表示记录在AR对象数据库中的信息的一例的图。

如图17所示，在AR对象数据库123中记录针对地图上的每个特定兴趣点出现的角色的信息。地图上的兴趣点使用登记在地图数据库121中的兴趣点。

对各角色赋予角色ID(Identification：识别信息)作为识别信息，并与该角色ID建立关联地记录外观信息(3DCG的数据)。

第1要素确定部114C从记录在AR对象数据库123中的多个角色中选择与移动终端10的当前位置(用户的当前位置)对应的角色。例如，根据图17的例子，在当前位置为兴趣点A的情况下，选择角色ID：1000000A的角色。

第2要素确定部114D根据由行为履历信息获取部112获取的与用户的行为履历有关的信息来确定角色的外观。与第1实施方式同样地，第2要素确定部114D根据用户的位置履历信息来确定角色的外观。因此，根据是否为用户首次访问的场所来确定外观。在用户首次访问的场所的情况下(未访问地点的情况)，第2要素确定部114D将角色的外观设定为第1外观。另一方面，在不是用户首次访问的场所的情况下(已访问地点的情况)，第2要素确定部114D将角色的外观设定为第2外观。

图18是表示角色的外观的一例的图。

如图18所示，在第1外观和第2外观中呈现出不同的外观。第2外观设定为外形的等级比第1外观高。即，外形变得更华丽、更豪华。在图18的例子中，是服装(衣服)、装饰及装备改变的例子。此外，也能够设为装饰、装备、成长程度、进化程度等改变的设定。

[移动终端的动作]

进行AR显示时的处理顺序大致与第1实施方式相同。因此，在此，参考图11，对进行AR显示时的处理顺序进行说明。

首先，在显示器15上显示实时取景图像(步骤S10)。接着，获取当前位置的信息(步骤S11)。移动终端10根据由GPS接收部17接收到的GPS信号来获取移动终端10的当前位置(用户的当前位置)的信息。接着，根据所获取的当前位置的信息，判定当前位置是否为地图数据库121中所设定的特定地区(步骤S12)。在当前位置为地图数据库121中所确定的特定地区的情况下，判定在显示器15上显示中的实时取景图像中是否显示有AR对象(步骤S13)。在未显示AR对象的情况下，进行从拍摄图像中识别物体的处理(步骤S14)。根据物体的识别结果，从拍摄图像中判定主被摄体(步骤S15)。在本实施方式中，人物也被设为主被摄体。根据主被摄体的判定处理的结果来判定有无主被摄体(步骤S16)。即，判定在拍摄图像中是否存在主被摄体。在拍摄图像中存在主被摄体的情况下，根据图像内的主被摄体的位置来确定角色(AR对象)的配置区域(步骤S17)。在本实施方式中，主被摄体的周围且地面的区域也设定为角色的配置区域。

在确定AR对象的配置区域之后，获取环境信息(步骤S18)。在本实施方式中，获取移动终端10的当前位置(用户的当前位置)的信息作为环境信息。移动终端10的当前位置根据由GPS接收部17接收的GPS信号，由位置判定部111A判定。

根据所获取的当前位置信息，选择所出现的角色(AR对象)的种类(步骤S19)。所出现的角色的种类从AR对象数据库123中被选择。

若确定所出现的角色，则获取用户的行为履历的信息(步骤S20)。在本实施方式中，作为行为履历的信息，也获取位置履历的信息。根据所获取的位置履历的信息来确定角色(AR对象)的显示方式(步骤S21)。在本实施方式中，根据当前位置是否为未访问地点来确定所出现的角色的显示方式。

图19是表示角色的外观的确定处理的顺序的流程图。

首先，判定当前位置是否为未访问地点(步骤S21_11)。即，判定当前位置是否存在于位置履历中。

在当前位置为未访问地点的情况下，使所出现的角色的外观设定为第1外观(步骤S21_12)。

另一方面，在当前位置不是未访问地点的情况下，即，在已访问地点的情况下，使所出现的角色的外观设定为第2外观(步骤S21_13)。

如此，根据当前位置是否为未访问地点来确定所出现的角色的外观。

在以上一系列处理中确定在图像中出现的角色(AR对象)的种类、配置区域及外观。按照所确定的事项，在实时取景图像中合成角色，生成AR图像。即，在拍摄图像(实时取景图像)的规定的区域中重叠显示角色而生成AR图像。在本实施方式中，规定的区域是指主被摄体的周围且地面的区域。

所生成的AR图像显示于显示器15。即，出现了角色(AR对象)的图像显示于显示器15(步骤S22)。由此，能够观看AR图像。

图20是表示AR显示的一例的图。

如图20所示，在拍摄图像I(实时取景图像)的规定的区域中重叠显示由3DC G构成的角色(AR对象)ARO。

如以上说明，根据本实施方式，在生成使角色的AR图像的情况下，根据配置角色的空间的环境的信息及用户的行为履历的信息来确定所出现的角色的种类及属性。由此，能够提供趣味性优异的AR空间。

[变形例]

[角色种类的确定方法]

在上述实施方式中，作为环境信息，使用移动终端10的当前位置(用户的当前位置)的信息来确定出现的角色(AR对象)的种类，但也可以利用其他信息来确定角色的种类。例如，与上述第1实施方式同样地，可以根据角色的配置区域中的物体的识别结果的信息来确定角色的种类。并且，可以进行拍摄场景的识别，并根据所识别的场景来确定所出现的角色的种类。此外，也可以考虑行为履历的信息来确定所出现的角色的种类。

[角色的外观的确定方法]

在上述实施方式中，作为用户的行为履历的信息，利用位置履历的信息来确定角色的外观，但也可以利用其他信息来确定角色的外观。能够利用在移动终端10中可获取的各种信息。因此，也能够利用环境识别的结果(环境信息)。这一点与利用各种信息能够确定AR对象的显示方式这一点相同。因此，可以构成为在行为履历满足一定的条件的情况下实施抽签、游戏等，并根据其结果来确定角色的外观。

[基于特定行为的外观的变化]

在用户进行了特定行为的情况下，可以使角色的外观进一步发生变化。例如，在用户拍摄(包括动态图像的拍摄)了显示有角色的图像的情况下，可以使角色的外观进一步发生变化。并且，在打印了所拍摄到的图像的情况下，可以使角色的外观进一步发生变化。在该情况下，可以使随机选择的外观发生变化。由此，能够进一步提高趣味性。

并且，在用户进行了特定行为的情况下，可以使角色进行特定动作。例如，在用户拍摄(包括动态图像的拍摄)了显示有角色的图像的情况下，可以使角色进行特定动作。并且，在打印了所拍摄到的图像的情况下，可以使角色进行特定动作。

图21是表示通过拍摄而使角色进行特定动作时的一例的图。

图21(A)表示拍摄前的显示，图21(B)表示拍摄后的显示。如图21所示，通过拍摄静止图像，角色(AR对象)ARO进行表示喜悦的动作。如此，作为特定动作，例如能够例示出表示喜悦的动作。除此以外，也可以进行促使打印的动作(请求打印的动作)。并且，也可以进行随机选择的动作。由此，能够进一步提高趣味性。

这种动作持续进行规定时间。经过规定时间之后，恢复到正常显示。

图22是表示打印时的显示的一例的图。

图22表示由所谓的移动打印机进行打印时的例子。尤其，示出使用在即显胶片110上打印图像的打印机100(所谓的即显打印机)时的例子。打印机100及移动终端10通过Wifi(注册商标)、Bluetooth(注册商标)等进行无线通信，并收发数据。另外，由于该种打印机100及打印方式本身是公知的，因此省略关于其详细内容的说明。

如图22所示，若进行打印，则打印出的角色的图像显示于显示器15，并进行规定的动作。该动作持续进行规定时间。例如，对打印机进行至完成传送打印用数据为止。

[角色的属性]

在上述实施方式中，根据用户的行为履历来变更角色的外观，但变更的要素并不限定于此。如上所述，属性除了角色的容貌、服装、装饰、装备、成长程度、进化程度等外观要素以外，还包含亲密度、性格、状态等除外观以外的要素。例如，能够构成为根据行为履历来提高亲密度。

关于角色的属性，优选记录变化的履历。由此，能够使属性阶段性地发生变化。例如，在根据位置履历使属性发生变化的情况下，即使在第一次访问中为第1属性、第二次访问中为第2属性、第三次访问中为第3属性等在相同的场所访问的情况下，也能够根据访问次数使属性阶段性地发生变化。

图23是表示角色的属性变化的履历数据的一例的图。

如图23所示，以角色ID来管理各角色，并单独记录其出现次数、拍摄次数、打印次数、类别、外观变更次数、亲密度等。出现次数是使该角色出现的次数(出现的次数)。拍摄次数为拍摄了该角色出现的AR图像的次数。打印次数为打印了该角色出现的AR图像的次数。类别为该角色的类别(种类)。外观变更次数为变更了该角色的外观的次数。亲密度为该角色的亲密度。亲密度例如根据出现次数、出现频度(规定期间内的出现次数)、上次出现后的期间等而发生变化。

另外，角色的属性根据用户的行为履历而发生变化。因此，角色的属性变化的履历也是用户的行为履历。因此，利用角色的属性变化的履历的信息，也能够使角色的属性发生变化。角色的属性变化的履历的信息为与所出现的对象有关的履历的信息的一例。角色的属性变化的履历的信息例如作为用户数据而记录于用户数据库。或者，记录于行为履历数据库。

角色的属性根据与用户的关系或互动而发生变化，因此对该角色的感情进一步增强，能够进一步提高趣味性。即，出现次数或拍摄次数、打印次数越增加，外观的等级越提高，或者成长或进化，或者亲密度越提高，因此更容易产生依恋感。

[角色的配置区域]

在上述实施方式中，将主被摄体的周围且地面的区域设为角色的配置区域，但确定角色的配置区域的方法并不限定于此。如上述第1实施方式的变形例中所说明，优选根据角色的种类等来设定配置区域。此外，也可以根据用户的行为履历的信息来确定角色的配置区域。例如，在根据用户的位置履历信息来确定角色的配置区域的情况下，如下确定配置区域。

图24是表示角色的配置的一例的概念图。

图24(A)表示在当前位置为未访问地点的情况下生成的AR图像的一例。并且，图24(B)表示在当前访问地点为已访问地点的情况下生成的AR图像的一例。

如图24(A)所示，在当前位置为已访问地点的情况下，在离主被摄体MO为距离D1以上且小于距离D2的区域中配置角色(AR对象)ARO(距离D1＜距离D2)。

另一方面，在当前位置为未访问地点的情况下，如图24(B)所示，在离主被摄体MO为距离D2以上且小于距离D3的区域中配置角色ARO(距离D2＜距离D3)。

如此，在当前位置为已访问地点的情况下，与未访问地点的情况相比，更靠近主被摄体MO而配置角色ARO。

在角色的配置区域的确定中，除此以外，还能够利用关于所出现的角色的出现次数、拍摄次数、打印次数、亲密度等信息。在该情况下，例如，出现次数越增加，拍摄次数越增加，打印次数越增加，亲密度越高，则越靠近主被摄体配置角色。这些信息可以复合利用，也可以对各项目赋予权重进行判定，并确定配置位置。

并且，可以对使角色出现的图像进行图像识别(包括物体识别)，并利用其结果来确定角色的配置区域以及配置位置。例如，在从图像中识别出特定被摄体(例如，标志、纪念物等)的情况下，能够以与该特定被摄体并排配置角色的方式确定角色的配置位置。并且，例如，在从图像中识别出特定被摄体且识别出人物的情况下，能够以在与人物的角色之间配置特定被摄体的方式确定角色的配置位置。

图25是表示利用了图像识别的角色的配置的一例的概念图。

图25表示将特定被摄体(在此为纪念物M)收纳于画面内进行自拍时的例子。自拍是指将拍摄者本身作为被摄体的拍摄方法(自拍/Selfie)。在该情况下，以在作为主被摄体的拍摄者(用户)MO与角色(AR对象)ARO之间配置纪念物M的方式确定角色ARO的配置位置。

关于特定被摄体的识别，能够采用公知的图像识别技术。并且，通常自拍是使用内部相机部18A进行的，因此关于是否为自拍的判定可以根据是否为内部相机部18A中的拍摄来进行。

[其他实施方式]

[随机打印]

在打印显示有角色等AR对象的图像时，可以使AR对象的显示发生变化并进行打印。并且，可以随机进行该变化。例如，在打印显示有角色的图像时，能够使角色的表情、姿势、服装等随机变化并进行打印。由此，能够进一步提高打印的趣味性。

图26是打印的概念图。

图26表示在即显胶片110上打印图像时的例子。图26(A)表示指示了打印的图像。在图26中，在移动终端10的显示器15上显示的图像为指示了打印的图像。图26(B)表示打印的结果物。对于指示了打印的图像，角色的表情、姿势及装饰发生变化而被打印。

与仅仅显示于显示器不同，打印具有可获得无法修正的具有唯一性的图像的乐趣。因此，在打印时，通过变更AR对象的显示，用户能够获得无法预测的具有唯一性的图像，能够进一步提高趣味性。并且，通过使其变化具有随机性，能够进一步提高趣味性。随机要素例如能够构成为根据指示了打印的时间等进行确定。

[向跨现实(Cross reality；XR)的扩展]

在上述实施方式中，以将本发明适用于增强现实(AR)中的处理的情况为例进行了说明，但本发明的适用并不限定于此。也能够适用于混合现实(Mixed Reality；MR)、假想现实(virtual reality；VR)等中的处理。

MR是使AR进一步发展的技术，是能够将具有空间扩展性的假想物(对象)实时合成到现实空间的特定位置，并通过用手触摸等物理性干预进行操作或介入的技术。MR具有三维空间识别力，能够将具有空间信息的假想世界融合到现实世界。在MR中，器件使用多个相机、传感器等来识别空间信息，并掌握现实世界的形状、位置信息等，因此在现实世界中能够表现出具有空间信息的假想世界。MR通常使用专用的头戴式显示器(Head MountedDisplay；HMD)来提供。在MR中，也能够使用器件(例如，HMD)所具备的相机、各种传感器来获取配置角色的空间的环境的信息。

在VR的情况下，全部以CG被提供。因此，在该情况下，移动终端也作为假想物以CG显示于假想空间。用户经由作为假想空间内的分身的化身进行作为假想物的移动终端的操作。在假想空间中，用户的位置被识别为化身的位置。使对象出现的空间被识别为在假想空间内由化身所使用的移动终端拍摄到的空间。

近年来，在假想空间中再现实空间的数字孪生(Digital Twin)逐渐成为现实。因此，即使在再现了实空间的假想空间中也能够实施本发明。

此外，在VR的情况下，可以将构成化身的视场区域的空间设为对象的配置空间，并根据与该空间的环境有关的信息及与用户的行为履历有关的信息来确定在假想空间中出现的对象。在该情况下，从构成化身的视场区域的图像中获取与环境有关的信息。例如，获取构成化身的视场区域的图像中的物体的信息。并且，获取假想空间内的化身的位置(坐标位置)的信息，以获取用户位置的信息。

如此，本发明并不限于实空间，也能够适用于在假想空间(例如，元宇宙等)中使对象出现的情况。

[系统结构]

在上述实施方式中构成为移动终端进行所有处理，但也可以构成为由其他装置进行一部分处理。例如，可以构成为由服务器进行一部分处理。例如，可以构成为移动终端仅进行拍摄、各种传感及AR图像的显示，各种数据库的管理、AR图像的生成等由服务器进行。在该情况下，移动终端与服务器之间的通信方式并无特别限定。

并且，在上述实施方式中构成为图像拍摄、各种传感及图像显示全部由移动终端进行，但也可以构成为由不同的装置进行各处理。例如，可以构成为图像显示是使用HMD进行的。

[硬件结构]

信息处理装置所实现的功能由各种处理器(Processor)实现。各种处理器中包括执行程序而作为各种处理部发挥功能的通用处理器即CPU和/或GPU(Graphic Pr ocessingUnit：图形处理器)、FPGA(Field Programmable Gate Array：现场可编程门阵列)等制造后能够变更电路结构的处理器即可编程逻辑器件(Programmable Logic Device，PLD)、ASIC(Application Specific Integrated Circuit：专用集成电路)等具有为了执行特定处理而专门设计的电路结构的处理器即专用电路等。程序与软件的含义相同。

一个处理部可以由这些各种处理器中的一个构成，也可以由相同种类或不同种类的两个以上的处理器构成。例如，一个处理部可以由多个FPGA、或者CPU和FP GA的组合来构成。并且，可以由一个处理器构成多个处理部。作为由一个处理器构成多个处理部的例子，第一，有如下方式：如以用于客户端和服务器等的计算机为代表，由一个以上的CPU和软件的组合来构成一个处理器，该处理器作为多个处理部而发挥功能。第二，有如下方式：如以片上系统(System on Chip，SoC)等为代表，使用由一个IC(Integrated Circuit(集成电路))芯片来实现包括多个处理部的系统整体的功能的处理器。如此，各种处理部作为硬件结构而使用一个以上的上述各种处理器构成。

符号说明

10-移动终端，11-CPU，14-内置存储器，15-显示器，16-触控板，17-GPS接收部，18-相机部，18A-内部相机部，18B-外部相机部，19-麦克风部，20-扬声器部，21-无线通信部，22-近距离无线通信部，23-传感器部，30-触摸面板，100-打印机，110-即显胶片，111-环境信息获取部，111A-位置判定部，111B-物体识别部，112-行为履历信息获取部，113-行为履历数据库管理部，114-AR对象确定部，114A-主被摄体判定部，114B-配置区域确定部，114C-第1要素确定部，114D-第2要素确定部，115-AR图像生成部，116-显示控制部，117-记录控制部，121-地图数据库，122-行为履历数据库，123-AR对象数据库，ARI-AR图像，ARO-AR对象，DA1-骰子的图像，DA2-骰子的图像，I-拍摄图像，M-纪念物，MO-主被摄体，R-配置区域，SSB-快门按钮，STA-载物台的图像，STB-开始按钮，S10～S25-进行AR显示时的移动终端的动作顺序，S21_1～S21_3-AR对象的显示方式的确定处理顺序，S21_11～S21_17-实施抽签来确定AR对象的显示方式时的处理顺序。

Claims (13)

1.一种信息处理装置，其具备处理器，

所述处理器进行如下处理：

获取与使对象出现的空间的环境有关的第1信息；

获取与用户的行为履历有关的第2信息；

根据所述第1信息来确定与所述对象有关的第1要素；

根据所述第2信息来确定与所述对象有关的第2要素；及

根据所述第1要素及所述第2要素来确定在所述空间中出现的所述对象。

2.根据权利要求1所述的信息处理装置，其中，

所述处理器进行如下处理：

获取拍摄了使所述对象出现的所述空间的第1图像；及

生成在所述第1图像上重叠了所述对象的第2图像。

3.根据权利要求2所述的信息处理装置，其中，

所述处理器对所述第1图像进行处理，以识别所述第1图像内的物体或所述第1图像的场景，并获取所述第1信息。

4.根据权利要求3所述的信息处理装置，其中，

所述处理器进行如下处理：

获取所述用户的位置的信息；及

在所述用户存在于特定地区的情况下，识别所述第1图像内的物体或所述第1图像的场景，并获取所述第1信息。

5.根据权利要求1所述的信息处理装置，其中，

所述第2信息包括所述用户的移动履历的信息、或者与所出现的所述对象有关的履历的信息。

6.根据权利要求1至5中的任意一项所述的信息处理装置，其中，

所述第1要素为所出现的所述对象的种类，

所述第2要素为所出现的所述对象的显示方式或属性。

7.根据权利要求6所述的信息处理装置，其中，

所述处理器进行如下处理：

对拍摄了使所述对象出现的所述空间的图像进行处理以识别主被摄体；及

根据所述空间内的所述主被摄体的位置来确定在所述空间中出现的所述对象的配置区域。

8.根据权利要求7所述的信息处理装置，其中，

所述处理器根据所述配置区域中的所述第1信息来确定所出现的所述对象的种类。

9.根据权利要求6所述的信息处理装置，其中，

所述处理器在所述用户的行为履历满足特定条件的情况下，随机确定所述对象的显示方式。

10.根据权利要求2至4中的任意一项所述的信息处理装置，其中，

所述处理器根据所述第2图像的输出指示来变更所述对象的显示方式或属性。

11.一种信息处理方法，其包括如下步骤：

获取与使对象出现的空间的环境有关的第1信息的步骤；

获取与用户的行为履历有关的第2信息的步骤；

根据所述第1信息来确定与所述对象有关的第1要素的步骤；

根据所述第2信息来确定与所述对象有关的第2要素的步骤；及

根据所述第1要素及所述第2要素来确定在所述空间中出现的所述对象的步骤。

12.一种信息处理程序，其使计算机实现如下功能：

获取与使对象出现的空间的环境有关的第1信息的功能；

获取与用户的行为履历有关的第2信息的功能；

根据所述第1信息来确定与所述对象有关的第1要素的功能；

根据所述第2信息来确定与所述对象有关的第2要素的功能；及

根据所述第1要素及所述第2要素来确定在所述空间中出现的所述对象的功能。

13.一种记录介质，其为非易失性且计算机能够读取的记录介质，其记录了权利要求12所述的程序。