CN119810375A - 混合现实设备、处理方法、程序以及存储介质 - Google Patents

Abstract

本发明涉及混合现实设备、处理方法、程序以及存储介质。提供具有更好的便利性的混合现实设备。此外，提供能够进一步提高混合现实设备的便利性的处理方法、程序以及存储介质。实施方式的混合现实设备使用设置在现实空间的标记来设定虚拟空间的基点。上述混合现实设备在基于上述基点的三维坐标系中，在预先设定的位置显示虚拟对象。上述混合现实设备取得上述标记相对于设定了上述基点时的上述标记的基准位置的移动量。上述混合现实设备在上述移动量超过预先设定的阈值的情况下，根据上述移动量使上述基点移动。

Description

混合现实设备、处理方法、程序以及存储介质

技术领域

本发明的实施方式涉及混合现实设备、处理方法、程序以及存储介质。

背景技术

以往，为了进行有效的作业而使用混合现实设备。混合现实设备能够将虚拟空间与现实空间重叠地进行显示，将各种信息提供给作业者。作业者通过参照由混合现实设备显示的信息，能够更有效地执行作业。对于混合现实设备要求能够进一步提高便利性的技术。

专利文献1：国际公开第2021/176645号

发明内容

本发明要解决的课题在于，提供具有更好的便利性的混合现实设备。此外，本发明要解决的课题在于，提供能够进一步提高混合现实设备的便利性的处理方法、程序以及存储介质。

实施方式的混合现实设备使用设置于现实空间的标记来设定虚拟空间的基点。上述混合现实设备在基于上述基点的三维坐标系中，在预先设定的位置处显示虚拟对象。上述混合现实设备取得上述标记相对于设定了上述基点时的上述标记的基准位置的移动量。上述混合现实设备在上述移动量超过预先设定的阈值的情况下，根据上述移动量使上述基点移动。

附图说明

图1是例示实施方式的混合现实设备的示意图。

图2是例示作业对象的物品的示意图。

图3是表示实施方式的混合现实设备的输出例的示意图。

图4是表示实施方式的混合现实设备的输出例的示意图。

图5是例示作业的情形的示意图。

图6是表示工具的一例的示意图。

图7是例示作业的情形的示意图。

图8的(a)以及图8的(b)是用于说明实施方式的混合现实设备进行的处理的示意图。

图9是用于说明移动量的计算方法的示意图。

图10是用于说明移动量的计算方法的示意图。

图11是表示实施方式的处理方法的流程图。

图12是表示虚拟对象的显示位置的校正方法的流程图。

图13是表示MR设备的动作的控制方法的流程图。

图14是表示变形例的混合现实设备的显示例的示意图。

图15是表示硬件构成的示意图。

符号的说明

1：摄影装置；2：处理装置；90：计算机；91：CPU；92：ROM；93：RAM；94：存储装置；95：输入接口；96：输出接口；97：通信接口；98：系统总线；100：MR设备；101：框架；111、112：透镜；121、122：投影装置；131：图像摄像机；132：深度摄像机；140：传感器；141：麦克风；150：处理装置；160：蓄电池；170：存储装置；170a：作业主数据；170b：基点主数据；170c：工具主数据；170d：紧固部位主数据；170e：履历数据；200：物品；201～208：紧固部位；210、215：标记；221：台车；2：脚轮；223：传感器；251：左手；252：右手；261、262：虚拟对象；280：扳手；281：标记；282：头部；290：延伸杆；301～308、311～318：虚拟对象；320：消息；M：处理方法；M1：校正方法；M2：控制方法。

具体实施方式

以下，参照附图对本发明的各实施方式进行说明。附图是示意性或概念性的图，各部分的厚度与宽度的关系、部分间的大小的比例等未必与现实情况相同。此外，即使在表示相同部分的情况下，根据附图而彼此的尺寸、比例有时也被不同地表示。在本申请说明书与各图中，对于与已经说明的要素相同的要素标注相同的符号并适当省略详细的说明。

图1是例示实施方式的混合现实设备的示意图。

本发明的实施方式涉及混合现实设备(MR设备)。例如，如图1所示，实施方式的MR设备100包括框架101、透镜1、透镜112、投影装置121、投影装置122、图像摄像机131、深度摄像机132、传感器140、麦克风141、处理装置150、蓄电池160以及存储装置170。

在图示的例子中，MR设备100是双眼式的头部佩戴显示器。在框架101上嵌入有两个透镜111和透镜112。投影装置121和投影装置122分别向透镜111和透镜112投影信息。

投影装置121和投影装置122在透镜111和透镜112中显示作业者的身体的识别结果、虚拟对象等。也可以仅设置投影装置121和投影装置122中的一方，且仅在透镜111和透镜112中的一方显示信息。

透镜111和透镜112具有透光性。MR设备100的佩戴者能够通过透镜111和透镜112目视确认现实空间的情形。此外，MR设备100的佩戴者还能够目视确认由投影装置121和投影装置122投影到透镜111和透镜112上的信息。通过投影装置121和投影装置122的投影，将信息(虚拟空间)与现实空间重叠地进行显示。

图像摄像机131检测可见光，并得到二维的图像。深度摄像机132照射红外光，基于所反射的红外光而得到深度图像。传感器140是6轴检测传感器，能够检测出3轴的角速度以及3轴的加速度。麦克风141接受声音输入。

处理装置150对MR设备100的各要素进行控制。例如，处理装置150对投影装置121和投影装置122的显示进行控制。处理装置150基于传感器140的检测结果，检测视野的移动。处理装置150根据视野的移动使投影装置121和投影装置122的显示变化。此外，处理装置150能够使用从图像摄像机131和深度摄像机132得到的数据、存储装置170的数据等，来执行各种处理。

蓄电池160将动作所需的电力供给到MR设备100的各要素。存储装置170保存处理装置150的处理所需的数据、通过处理装置150的处理而得到的数据等。存储装置170也可以设置在MR设备100的外部，且与处理装置150进行通信。

并不限定于图示的例子，实施方式的MR设备也可以是单眼式的头部佩戴显示器。MR设备可以是图示那样的眼镜式，也可以是头盔式。

图2是例示作业对象的物品的示意图。

在作业者佩戴了MR设备100的状态下，例如，对图2所示的物品200进行作业。物品200是圆筒状的部件，具有紧固部位201～208。作业者使用扳手以及延伸杆，对紧固部位201～208分别依次拧动螺钉。

在使用MR设备100执行作业的情况下，以规定的物体为基准来设定虚拟空间的三维坐标系。在图2所示的例子中，在作业对象附近设置有标记210。标记210是AR标记。如后所述，标记210是为了设定三维坐标系的基点而设置的。也可以代替AR标记，而将一维码(条形码)、二维码(QR码(注册商标))等用作为标记210。

在开始作业时，图像摄像机131和深度摄像机132对标记210进行摄影。处理装置150根据所摄影的图像来识别标记210。处理装置150以标记210的位置和朝向为基准，设定虚拟空间的基点。当设定了基点时，虚拟空间的三维坐标系确定。通过以存在于现实空间的规定物体为基准来设定基点，能够与现实空间的物体对应地显示虚拟对象。

处理装置150还计算MR设备100的位置。作为一例，处理装置150通过空间映射的功能，计算出MR设备100的位置和方向。在MR设备100中，通过深度摄像机132测量MR设备100与周围物体之间的距离。根据深度摄像机132的测量结果，得到周围物体的表面信息。表面信息包含物体的表面的位置和方向。例如，各物体的表面由多个网格表示，并针对每个网格计算出位置和方向。处理装置150根据表面信息，计算出MR设备100相对于周围物体的表面的相对的位置和方向。当识别出标记210时，各表面的位置也由以标记210为基点的三维坐标系表示。根据物体的表面与MR设备100之间的位置关系，计算出三维坐标系中的MR设备100的位置和方向。空间映射以规定的间隔反复执行。

图3是表示实施方式的混合现实设备的输出例的示意图。

在作业中，通过图像摄像机131和深度摄像机132对物品200、作业者的左手251以及作业者的右手252进行摄影。处理装置150通过手部跟踪，从所摄影的图像中识别左手251和右手252。处理装置150也可以通过投影装置121和投影装置122使透镜111和透镜112显示识别结果。以下，将处理装置使用投影装置使透镜显示信息的情况，也简称为“处理装置显示信息”。

例如，如图3所示，处理装置150将左手251的识别结果和右手252的识别结果与现实空间的手重叠地进行显示。在图示的例子中，作为左手251和右手252的识别结果，显示出多个虚拟对象261以及多个虚拟对象262。多个虚拟对象261分别表示左手251的多个关节。多个虚拟对象262分别表示右手252的多个关节。也可以代替关节，而显示分别表示左手251的表面形状和右手252的表面形状的虚拟对象(网格)。网格通过空间映射来得到。

处理装置150为，当识别出左手251和右手252时，测量各个手的位置。具体而言，手包括DIP关节、PIP关节、MP关节、CM关节等多个关节。这些关节中的任一个关节的位置都能够被用作为手的位置。也可以将多个关节的重心位置用作为手的位置。或者，也可以将手的整体的中心位置用作为手的位置。

图4是表示实施方式的混合现实设备的输出例的示意图。

如图4所示，处理装置150显示虚拟对象301～308以及虚拟对象311～318。虚拟对象311～318分别显示在远离紧固部位201～205的位置。虚拟对象311～318分别显示在紧固部位201～205与虚拟对象301～308之间。虚拟对象311～318分别表示虚拟对象301～308与哪个紧固部位对应。

在图示的例子中，虚拟对象301～308为球状，虚拟对象311～318为棒状。作业者只要能够目视确认各虚拟对象，则各虚拟对象的形状并不限定于该例子。例如，虚拟对象301～308也可以为立方体，虚拟对象311～318也可以为线状。此外，对于图4中未示出的紧固部位206～208也显示与虚拟对象301～308以及虚拟对象311～318相同的虚拟对象。

图5是例示作业的情形的示意图。

例如，如图5所示，为了向紧固部位拧动螺钉而使用扳手280以及延伸杆290。作为一例，在向紧固部位203拧紧螺钉的情况下，作业者将螺钉放置于紧固部位203的螺纹孔中。作业者将延伸杆290的一端与螺钉嵌合。作业者将扳手280的头部与延伸杆290的另一端嵌合。作业者也可以用一只手按压扳手280的头部，用另一只手握住扳手280的把手。通过转动扳手280，由此经由延伸杆290向紧固部位203拧紧螺钉。

此时，作业者以延伸杆290与虚拟对象313接近或者接触的方式配置延伸杆290。此外，作业者以手与虚拟对象303接触的方式握住扳手280的头部。通过显示虚拟对象，作业者在相对于紧固部位203拧动螺钉时，能够容易地掌握放置工具以及手的位置。由此，能够提高作业效率。

在显示了虚拟对象之后，处理装置150也可以判定规定的物体是否与虚拟对象接触。例如，处理装置150判定手是否与虚拟对象303接触。具体而言，处理装置150计算手的位置与虚拟对象303之间的距离。在距离小于预先设定的阈值的情况下，处理装置150判定为手与该虚拟对象接触。作为一例，在图5中，虚拟对象303(球)的直径相当于阈值。球表示判定为手与虚拟对象接触的范围。

图6是表示工具的一例的示意图。

处理装置150也可以判定工具是否与虚拟对象303接触。例如，如图6所示，在扳手280上安装有多个标记281。处理装置150根据由图像摄像机131摄影的图像来识别出多个标记281。处理装置150测量各标记281的位置。预先登记多个标记281与扳手280的头部282之间的位置关系。处理装置150基于识别出的至少3个标记281的位置以及预先登记的位置关系，计算出头部282的位置。处理装置150计算头部282的位置与虚拟对象303之间的距离。在任一个距离小于预先设定的阈值的情况下，处理装置150判定为扳手280与该虚拟对象接触。

在上述距离小于阈值的情况下，能够推断为正相对于与虚拟对象303这一个对应的紧固部位拧动螺钉。在图5所示的例子中，根据手与虚拟对象303的接触，推断为正对与该虚拟对象303对应的紧固部位203执行作业。

图7是例示作业的情形的示意图。图8的(a)以及图8的(b)是用于说明实施方式的混合现实设备进行的处理的示意图。

例如，如图7所示，物品200放置在台车221上。在台车221的下表面上安装有脚轮2。台车221能够相对于地面移动。标记210例如安装于台车221。物品200被放置成在作业时不相对于台车221移动。因此，物品200与标记210之间的位置关系实质上被固定。

虚拟对象在基于标记210的三维坐标系中被显示在预先设定的位置。在图5所示的例子中，紧固部位203的位置、延伸杆290的长度等被预先登记。虚拟对象313显示在紧固部位203的位置与从紧固部位203分离了延伸杆290的长度的位置之间。虚拟对象303显示在从紧固部位203分离了延伸杆290的长度的位置。其结果，虚拟对象303以及313与紧固部位203对应地显示。

作业者能够为了容易进行作业而移动物品200。例如，作业者在作业中使物品200旋转，以使拧紧螺钉的紧固部位位于自身附近。此时，如果不更新基点的位置而物品200移动，则虚拟对象的显示位置从应显示的位置偏离。其结果，如图8的(a)所示，虚拟对象303以及313从紧固部位203偏移地显示。

处理装置150在虚拟对象的显示中取得物品200的移动量，以便适当地显示虚拟对象。此处，“移动”包括平移移动以及旋转移动。“移动量”包括平移移动的量以及旋转移动的量。处理装置150在移动量超过预先设定的阈值时，根据其移动量使基点移动。其结果，如图8的(b)所示，虚拟对象303以及313的显示位置变化。虚拟对象303以及313被显示在更适当的位置。

图9以及图10是用于说明移动量的计算方法的示意图。

在移动量的计算中使用以下的第1～第4方法的任一种。

在第1方法中，如图9所示，在设置有物品200的场所设置摄影装置1。摄影装置1对物品200进行摄影。在物品200的从摄影装置1能够观察到的位置安装有标记215。标记215与标记210不同。只要标记215的位置相对于物品200固定，则标记215也可以安装于物品200以外的物体。为了提高标记215的识别精度，标记215优选具有容易与其他物体进行区分的颜色。此外，为了提高移动量的计算精度，优选安装多个标记215。

摄影装置1对标记215进行摄影并取得图像。处理装置2从图像中识别出标记215，并计算出图像中的标记215的位置。处理装置2将由处理装置150设定了三维坐标系的定时的标记215的位置保持为基准位置。处理装置2为，当取得图像时，计算出基准位置与识别出的标记215的位置之差作为移动量。

在第2方法中，与第1方法相同，摄影装置1对物品200进行摄影。不需要标记215。处理装置2从图像中识别出物品200，并计算出图像中的物品200的位置。在物品200的识别中使用预先学习后的模型。为了提高识别的精度，模型优选包括卷积神经网络(CNN)。处理装置2将由处理装置150设定了三维坐标系的定时的物品200的位置保持为基准位置。处理装置2为，当取得图像时，计算出基准位置与识别出的物品200的位置之差作为移动量。

在第3方法中，使用用于得到移动量的传感器223。传感器223安装于物品200或者台车221。只要传感器223的位置相对于物品200固定，则传感器223也可以安装于物品200或者台车221以外的物体。例如，传感器223包括从加速度传感器或者角速度传感器中选择的一个以上。处理装置2根据由传感器223检测到的加速度或者角速度来计算物品200的移动量。或者，传感器223也可以包括电波的接收器，为了得到物品200的移动量而使用室内定位系统。在室内定位中，使用信标、射频标识(Radio Frequency Identification：RFID)、室内信息系统(Indoor MEssaging System：IMES)、超宽带(Ultra-Wide Band：UWB)无线通信等。

在第4方法中，利用MR设备100的空间映射功能。在空间映射中，根据由深度摄像机132取得的深度图像来计算周围物体的表面信息。通过反复计算表面信息来计算出表面位置变化。此外，根据传感器140的检测结果来计算MR设备100的移动量。物品200的表面位置变化与MR设备100的移动量之间的差分相当于物品200的实际的移动量。

当通过第1～第4方法中的任一种计算出移动量时，处理装置150取得该移动量。处理装置150将移动量与阈值进行比较。阈值根据虚拟对象的尺寸、允许的显示位置的偏移量等来预先设定。以规定间隔反复计算移动量。在物品200发生了移动时，为了缩短虚拟对象相对于物品200偏移的期间，优选计算间隔较短。

图11是表示实施方式的处理方法的流程图。

在执行图11所示的处理方法M之前，预先准备作业主数据170a、基点主数据170b、工具主数据170c以及紧固部位主数据170d。各主数据被保存在存储装置170中。

首先，选择要执行的作业(步骤S1)。在作业主数据170a中登记有作业ID、作业名、物品ID以及物品名。通过作业ID、作业名、要作业的物品的ID或者物品的名称等来确定作业。处理装置150接受作业的选择。例如，由作业者选择要执行的作业。也可以由上位的系统选择要执行的作业，处理装置150接受该选择。处理装置150也可以基于从图像摄像机131或者其他传感器得到的数据来判定接下来要执行的作业。处理装置150基于该判定结果来选择作业。

接着，图像摄像机131对标记210进行摄影。处理装置150以标记210的位置和朝向为基准而设定三维坐标系的基点(步骤S2)。此时，处理装置150参照基点主数据170b。在基点主数据170b中保存有每个作业的基点的设定方法。处理装置150取得所选择的作业中的基点的设定方法，并按照该设定方法来设定基点。

在设定基点之后，处理装置150显示虚拟对象(步骤S3)。在显示虚拟对象时，适当参照工具主数据170c以及紧固部位主数据170d的数据。

在工具主数据170c中，针对每个作业保存有所使用的工具的ID、工具的型号、工具的长度、套筒的型号以及套筒的长度等。工具的型号表示基于构造、外形或者性能等的工具的分类。工具的长度是该工具在螺纹紧固中使用时的从旋转中心到把手的长度。套筒的型号表示基于构造或者外形的套筒的分类。套筒的长度表示将螺钉被拧紧时的工具与螺钉连结的方向上的套筒的长度。处理装置150从工具主数据170c中取得在步骤S1中选择的作业中使用的工具的数据。在使用延伸杆的情况下，在工具主数据170c中还保存有延伸杆的型号、长度等。处理装置150从工具主数据170c中进一步取得与延伸杆相关的数据。

在紧固部位主数据170d中，针对每个紧固部位保存有紧固部位的ID、紧固部位的位置、所需的扭矩值以及螺钉紧固次数。紧固位置表示紧固部位所存在的位置，由在步骤S2中设定的三维坐标系的位置确定。螺钉紧固次数表示每个紧固部位所需的螺钉紧固的次数。在对紧固后的螺钉附加标记的情况下，还登记该标记的颜色。

处理装置150从由图像摄像机131摄影的图像中识别规定的物体(步骤S4)。“规定的物体”是被判定为与虚拟对象接触的物体。处理装置150计算出规定的物体的位置，并判定该物体与虚拟对象之间的距离是否小于阈值(步骤S5)。例如，在距离小于阈值时，规定的物体与虚拟对象接触。

在距离为阈值以上的情况下，再次执行步骤S4。在距离小于阈值的情况下，处理装置150推断为正在对与该虚拟对象对应的部位进行作业。

处理装置150记录与推断出的部位相关的作业，并保存到履历数据170e中(步骤S6)。例如，将由工具检测到的扭矩值与作业的ID以及推断出的部位的ID建立关联。如图示那样，处理装置150也可以将所使用的工具的型号以及ID、螺钉紧固的次数以及标记的识别结果进一步与紧固部位的ID建立关联。通过处理装置150从由图像摄像机131摄影的图像中识别出标记。处理装置150从图像中提取标记颜色的像素的块，被对该块的像素数进行计数。在像素数超过预先设定的阈值的情况下，判定为附加有标记。

处理装置150判定作业是否完成(步骤S7)。在作业未完成的情况下，再次执行步骤S3。

图12是表示虚拟对象的显示位置的校正方法的流程图。

图12所示的校正方法M1在图11所示的步骤S3之后执行。反复进行校正方法M1直到执行步骤S6为止。

首先，处理装置150取得显示有虚拟对象的对象的移动量(步骤S11)。通过上述第1～第4方法中的一个以上来计算移动量。处理装置150判定移动量是否超过阈值(步骤S12)。在移动量超过阈值的情况下，处理装置150根据该移动量使基点移动(步骤S13)。例如，使基点平移移动与物品200的平移移动量相同的量，使基点旋转移动与物品200的旋转移动量相同的量。处理装置150基于移动后的基点重新显示虚拟对象(步骤S14)。在步骤S12中移动量不超过阈值的情况下或者在步骤S14之后，处理装置150判定是否执行了图11所示的步骤S6(步骤S15)。在未执行步骤S6的情况下，再次执行步骤S11。

另外，在基点移动之后摄影到标记210的情况下，使用该标记210重新设定基点。虚拟对象的显示位置以使用了标记210的基点为基准来设定。因此，通过使用了标记210的基点的重新设定，能够使虚拟对象显示于最优选的位置。

对实施方式的优点进行说明。

MR设备对于提高作业效率是有效的。例如，如图5所示，通过显示虚拟对象，作业者能够容易地掌握相对于哪个紧固部位拧动螺钉较好。此外，在相对于紧固部位拧动螺钉时，能够直观地掌握配置工具以及手的位置。由此，能够提高作业效率。并且，还能够基于规定的物体与虚拟对象的接近或者接触来制作作业记录。通过自动地制作作业记录，不需要作业者制作作业记录。能够避免由于作业者的失误而制作错误的作业记录。

通过在与现实空间的物品对应的特定位置显示虚拟对象，由此能够得到这些优点。虚拟对象在三维坐标系中的显示位置被预先设定。使用设置在现实空间中的标记来设定该三维坐标系的基点。因此，当由MR设备100识别出的标记与现实空间的物品之间的位置关系发生变化时，虚拟对象的显示位置相对于现实空间的物品偏移。其结果，作业者产生混乱，或者对与实际作业的部位不同的部位制作作业记录。

作为一例，从图7所示的状态起，作业者使物品200以及标记210旋转，但未摄影(未识别)旋转后的标记210。在该情况下，识别完成的标记210与物品200之间的位置关系由于旋转而变化。其结果，如图8的(a)所示，虚拟对象303以及313从紧固部位203错开地显示。

关于该课题，在本发明的实施方式中，处理装置150根据移动量使基点移动。通过基点移动，能够抑制虚拟对象从所希望的位置错开地显示。其结果，如图8的(b)所示，即使在物品200移动了的情况下，也能够根据物品200的移动使虚拟对象303以及313的显示位置移动。通过使虚拟对象显示在适当的位置，作业者更容易进行作业。此外，能够更适当地制作作业记录。根据本发明的实施方式，能够提高MR设备100的便利性。

在计算移动量时，也可以使用第1～第4方法中的两种以上。例如，分别执行第1方法和第3或第4方法中的任一种。关于第1方法，所需的计算量少，精度也较好。因此，通过第1方法计算出的移动量优先于通过其他方法计算出的移动量。另一方面，在标记215被其他物体遮挡的情况下，通过第1方法无法得到计算量。在该情况下，使用通过第3方法或者第4方法计算出的移动量。

另外，为了抑制虚拟对象与物品之间的偏移，还存在从图像中识别物品及其细节部分(紧固部位等)的方法。在该情况下，能够与识别出的细节部分相一致地显示虚拟对象。因而，即使在作业者使物品移动了的情况下，也能够识别出移动后的物品并显示虚拟对象。但是，为了从图像中准确地识别物品及其细节部分，需要较大的计算量。从作业者使物品移动起到虚拟对象被显示在所希望的位置为止，需要更长的时间。

在实施方式中，在基点的设定中使用标记，在规定的位置显示虚拟对象。根据该方法，能够抑制所需的计算量。此外，通过使用标记215的图像或者传感器223的检测结果等来计算移动量，能够进一步抑制所需的计算量。根据本发明的实施方式，能够减少计算量，能够以更短的间隔更新虚拟对象的显示位置。例如，能够根据物品的移动而实时地更新虚拟对象的显示位置。

(变形例)

图13是表示MR设备的动作的控制方法的流程图。图14是表示变形例的混合现实设备的显示例的示意图。

也可以代替图12所示的校正方法M1而执行图13所示的控制方法M2。在控制方法M2中，在步骤S21以及S22中，与校正方法M1的步骤S11以及S12同样地取得移动量，并将该移动量与阈值进行比较。在移动量超过阈值的情况下，处理装置150停止图11所示的处理方法M的处理(步骤S23)。由此，变得无法判定规定的物体与虚拟对象的接触。处理装置150也可以停止虚拟对象的显示。其结果，作业记录的制作也停止。

处理装置150输出警报(步骤S24)。例如，如图14所示，对作业者显示消息320，以便再次决定虚拟对象的显示位置。当显示消息320时，作业者朝向标记210。通过图像摄像机131对标记210进行摄影，基于标记210重新设定基点。除了消息320之外，作为警报，也可以输出声音、振动或者光等。

处理装置150判定是否重新设定了基点(步骤S25)。当重新设定基点时，处理装置150基于重新设定的基点，重新显示虚拟对象(步骤S26)。处理装置150重新开始处理方法M(步骤S27)。由此，能够判定规定的物体与虚拟对象的接触。其结果，也自动地制作作业记录。

在步骤S22中移动量不超过阈值的情况下或者在步骤S27之后，处理装置150判定是否执行了图11所示的步骤S6(步骤S28)。在未执行步骤S6的情况下，再次执行步骤S21。

根据实施方式的变形例，在移动量超过阈值的情况下，停止图11所示的处理方法M的处理。由此，不判定规定的物体与虚拟对象的接触，正在作业的紧固部位的推断也停止。作业记录的制作也停止。其结果，能够防止错误地推断为其他紧固部位正在进行作业。

根据变形例，能够避免由于物品200移动的原因而制作错误的作业记录。因此，能够提高MR设备100的便利性。

在处理停止的情况下，处理装置150优选输出警报，促使作业者重新设定基点。通过更早地重新设定基点，能够更早地重新开始作业。因此，能够抑制作业效率的降低。

此处，主要对将本发明的实施方式应用于拧紧螺钉的作业的例子进行了说明。也可以将本发明的实施方式应用于拧松螺钉的作业。即使在拧松螺钉的情况下，也如图5所示那样使用工具来旋转螺钉。在该情况下，通过显示虚拟对象，能够有效地执行作业。

本发明的实施方式也可以应用于旋转螺钉的作业以外的作业。例如，作业也可以是物品的组装、物品的分解或者物品的输送等。无论在哪种作业中，通过显示虚拟对象，都能够有效地执行作业。此外，在作业的物品移动了的情况下，通过根据其移动量使虚拟对象的显示位置变化或者使正在作业的部位的推断停止，由此能够提高MR设备的便利性。

图15是表示硬件构成的示意图。

作为处理装置2以及处理装置150，例如分别使用图15所示的计算机90。计算机90包括CPU91、ROM92、RAM93、存储装置94、输入接口95、输出接口96以及通信接口97。

ROM92保存对计算机90的动作进行控制的程序。在ROM92中保存有使计算机90实现上述各处理所需的程序。RAM93作为供ROM92中保存的程序展开的存储区域发挥功能。

CPU91包括处理电路。CPU91将RAM93作为工作存储器，执行ROM92或者存储装置94的至少任一个中存储的程序。在程序的执行中，CPU91经由系统总线98控制各构成，并执行各种处理。

存储装置94存储程序的执行所需的数据、以及通过程序的执行而得到的数据。存储装置94包括固态驱动器(Solid State Drive：SSD)等。

输入接口(I/F)95能够将计算机90与输入设备连接。CPU91能够经由输入I/F95从输入设备读入各种数据。

输出接口(I/F)96能够将计算机90与输出设备连接。CPU91能够经由输出I/F96向输出设备发送数据，并使输出设备输出信息。

通信接口(I/F)97能够将计算机90外部的设备与计算机90连接。通信I/F97例如通过Bluetooth(注册商标)通信将数字工具与计算机90连接。

处理装置2以及处理装置150各自进行的数据处理，可以仅由1个计算机90执行。数据处理的一部分也可以经由通信I/F97而由服务器等执行。处理装置2的处理也可以由处理装置150执行。在上述例子中，由处理装置150执行的处理的一部分也可以由处理装置2执行。

上述各种数据的处理也可以作为能够使计算机执行的程序，记录在磁盘(软盘以及硬盘等)、光盘(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RW等)、半导体存储器、或者其他非暂时性的计算机可读取的记录介质(non-transitory computer-readable storagemedium)中。

例如，记录介质中记录的信息能够由计算机(或者嵌入式系统)读出。在记录介质中，记录形式(存储形式)是任意的。例如，计算机从记录介质读出程序，基于该程序由CPU执行程序中记述的指示。在计算机中，程序的取得(或者读出)也可以通过网络来进行。

本发明的实施方式包括以下的特征。

(特征1)

一种混合现实设备，其中，

使用设置在现实空间的标记来设定虚拟空间的基点，

在基于上述基点的三维坐标系中，在预先设定的位置显示虚拟对象，

取得上述标记相对于设定了上述基点时的上述标记的基准位置的移动量，

在上述移动量超过预先设定的阈值的情况下，根据上述移动量使上述基点移动。

(特征2)

根据特征1所记载的混合现实设备，其中，

从对上述标记进行摄影而得到的图像中识别上述标记，

以上述标记的位置和朝向为基准，设定上述基点。

(特征3)

根据特征2所记载的混合现实设备，其中，

在上述基点移动之后对上述标记进行了重新摄影的情况下，以从上述重新摄影而得到的图像中识别出的上述标记的位置和朝向为基准，重新设定上述基点。

(特征4)

根据特征1～3中任一项所记载的混合现实设备，其中，

反复取得上述移动量，

每当取得上述移动量时便判定上述移动量是否超过上述阈值。

(特征5)

根据特征1～4中任一项所记载的混合现实设备，其中，

使用所作业的物品的图像或者来自相对于上述物品固定的传感器的检测结果，计算上述移动量。

(特征6)

根据特征1～5中任一项所记载的混合现实设备，其中，

上述虚拟对象与所作业的物品的紧固部位对应地显示。

(特征7)

根据特征6所记载的混合现实设备，其中，

计算出规定的物体与上述虚拟对象之间的距离，

在上述距离小于预先设定的阈值的情况下，推断为正在对上述紧固部位执行作业。

(特征8)

一种混合现实设备，其中，

使用设置在现实空间的标记来设定虚拟空间的基点，

与物品的紧固部位对应地显示虚拟对象，

在规定的物体与上述虚拟对象之间的距离小于预先设定的阈值的情况下，推断为正在对上述紧固部位执行作业，

在上述标记相对于设定了上述基点时的上述标记的基准位置的移动量超过预先设定的阈值的情况下，停止正在作业的上述紧固部位的推断。

(特征9)

根据特征8所记载的混合现实设备，其中，

在停止推断之后，在重新设定了上述基点的情况下，重新开始正在作业的上述紧固部位的推断。

(特征10)

根据特征8或者9所记载的混合现实设备，其中，

反复取得上述移动量，

每当取得上述移动量时便判定上述移动量是否超过上述阈值。

(特征11)

一种处理方法，其中，

混合现实设备为，

使用设置在现实空间的标记来设定虚拟空间的基点，

在基于上述基点的三维坐标系中，在预先设定的位置显示虚拟对象，

取得上述标记相对于设定了上述基点时的上述标记的基准位置的移动量，

在上述移动量超过预先设定的阈值的情况下，根据上述移动量使上述基点移动。

(特征12)

一种程序，其中，

使混合现实设备执行特征11所记载的处理方法。

(特征13)

一种存储介质，其中，

存储有特征12所记载的程序。

根据以上说明的实施方式，提供具有更好的便利性的混合现实设备。此外，提供能够进一步提高混合现实设备的便利性的处理方法、程序以及存储介质。

在本说明书中，“或者”表示能够采用在文章中列举的事项中的“至少一个以上”。

以上，对本发明的几个实施方式进行了例示，但这些实施方式是作为例子而提示的，并不意图对发明的范围进行限定。这些新的实施方式能够以其他各种方式加以实施，在不脱离发明的主旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形包含于发明的范围及主旨中，并且包含于专利请求范围所记载的发明和与其等同的范围中。此外，上述各实施方式能够相互组合来实施。

Claims (13)

1.一种混合现实设备，其中，

使用设置在现实空间的标记来设定虚拟空间的基点，

在基于上述基点的三维坐标系中，在预先设定的位置显示虚拟对象，

取得上述标记相对于设定了上述基点时的上述标记的基准位置的移动量，

在上述移动量超过预先设定的阈值的情况下，根据上述移动量使上述基点移动。

2.根据权利要求1所述的混合现实设备，其中，

从对上述标记进行摄影而得到的图像中识别上述标记，

以上述标记的位置和朝向为基准，设定上述基点。

3.根据权利要求2所述的混合现实设备，其中，

在上述基点移动之后对上述标记进行了重新摄影的情况下，以从上述重新摄影而得到的图像中识别出的上述标记的位置和朝向为基准，重新设定上述基点。

4.根据权利要求1所述的混合现实设备，其中，

反复取得上述移动量，

每当取得上述移动量时便判定上述移动量是否超过上述阈值。

5.根据权利要求1所述的混合现实设备，其中，

使用所作业的物品的图像或者来自相对于上述物品固定的传感器的检测结果，计算上述移动量。

6.根据权利要求1至5中任一项所述的混合现实设备，其中，

上述虚拟对象与所作业的物品的紧固部位对应地显示。

7.根据权利要求6所述的混合现实设备，其中，

计算出规定的物体与上述虚拟对象之间的距离，

在上述距离小于预先设定的阈值的情况下，推断为正在对上述紧固部位执行作业。

8.一种混合现实设备，其中，

使用设置在现实空间的标记来设定虚拟空间的基点，

与物品的紧固部位对应地显示虚拟对象，

在规定的物体与上述虚拟对象之间的距离小于预先设定的阈值的情况下，推断为正在对上述紧固部位执行作业，

在上述标记相对于设定了上述基点时的上述标记的基准位置的移动量超过预先设定的阈值的情况下，停止正在作业的上述紧固部位的推断。

9.根据权利要求8所述的混合现实设备，其中，

在停止推断之后，在重新设定了上述基点的情况下，重新开始正在作业的上述紧固部位的推断。

10.根据权利要求8或9所述的混合现实设备，其中，

反复取得上述移动量，

每当取得上述移动量时便判定上述移动量是否超过上述阈值。

11.一种处理方法，其中，

混合现实设备为，

使用设置在现实空间的标记来设定虚拟空间的基点，

在基于上述基点的三维坐标系中，在预先设定的位置显示虚拟对象，

取得上述标记相对于设定了上述基点时的上述标记的基准位置的移动量，

在上述移动量超过预先设定的阈值的情况下，根据上述移动量使上述基点移动。

12.一种程序，其中，

使混合现实设备执行权利要求11所述的处理方法。

13.一种存储介质，其中，

存储有权利要求12所述的程序。