CN119810009A - 处理装置、混合现实设备、处理方法、程序以及存储介质 - Google Patents

Abstract

本发明提供一种能够辅助拧动螺钉的作业的处理装置、混合现实设备、处理方法、程序以及存储介质。实施方式的处理装置根据连续拍摄使用第1工具拧动螺钉的手而得到的多个图像，分别测量上述手的坐标。上述处理装置使用多个上述坐标，计算上述第1工具的旋转的中心坐标。优选为，上述处理装置基于上述中心坐标推定上述螺钉的位置，参照预先登记的上述螺钉被拧动的紧固部位的位置。上述处理装置在上述紧固部位的位置与推定出的上述螺钉的位置之间的距离为阈值以下的情况下，推定为相对于上述紧固部位拧动上述螺钉。

Description

处理装置、混合现实设备、处理方法、程序以及存储介质

技术领域

本发明的实施方式涉及处理装置、混合现实设备、处理方法、程序以及存储介质。

背景技术

在制造物品时，有时拧紧或拧松螺钉。要求能够辅助拧动这些螺钉的作业的技术。

现有技术文献

专利文献

专利文献1：国际公开第2021/176645号

发明内容

发明要解决的课题

本发明要解决的课题在于，提供能够辅助拧动螺钉的作业的处理装置、混合现实设备、处理方法、程序以及存储介质。

用于解决课题的手段

实施方式的处理装置根据连续拍摄使用第1工具拧动螺钉的手而得到的多个图像，分别测量上述手的坐标。上述处理装置使用多个上述坐标，计算上述第1工具的旋转的中心坐标。

附图说明

图1是表示第1实施方式的处理系统的构成的示意图。

图2是例示实施方式的混合现实设备的示意图。

图3是例示作业对象的物品的示意图。

图4是表示实施方式的处理装置的输出例的示意图。

图5是表示作业的样子的示意图。

图6是表示作业的样子的示意图。

图7是表示作业的样子的示意图。

图8是表示作业的样子的示意图。

图9是用于说明中心坐标的计算方法的图。

图10是用于说明中心坐标的计算方法的图。

图11是用于说明中心坐标的计算方法的图。

图12是表示实施方式的处理装置的输出例的示意图。

图13是表示实施方式的处理装置的输出例的示意图。

图14是与紧固部位相关的数据库的一例。

图15的(a)以及图15的(b)是用于说明中心坐标的计算方法的图。

图16是用于说明中心坐标的计算方法的图。

图17是例示作业的样子的示意图。

图18是例示作业的样子的示意图。

图19是例示作业的样子的示意图。

图20是表示实施方式的处理方法的流程图。

图21是表示实施方式的第1变形例的处理装置的输出例的示意图。

图22是表示作业的样子的示意图。

图23是表示作业的样子的示意图。

图24是表示实施方式的第1变形例的处理装置的输出例的示意图。

图25是表示实施方式的第1变形例的处理装置的输出例的示意图。

图26是表示实施方式的第1变形例的处理装置的输出例的示意图。

图27是表示实施方式的第1变形例的处理方法的流程图。

图28是表示实施方式的第2变形例的处理方法的流程图。

图29是用于说明实施方式的第2变形例的处理方法的示意图。

图30是表示硬件构成的示意图。

具体实施方式

以下，参照附图对本发明的各实施方式进行说明。附图是示意性或概念性的，各部分的厚度与宽度的关系、部分间的大小的比率等未必与现实的相同。即使在表示相同的部分的情况下，有时也根据附图而彼此的尺寸、比率不同地表示。在本申请说明书与各图中，对与已经说明过的要素相同的要素标注相同的符号并适当省略详细的说明。

图1是表示第1实施方式的处理系统的构成的示意图。

本发明的实施方式适用于使用工具拧动螺钉的作业。如图1所示，实施方式的处理系统10包括拍摄装置1、处理装置2、输入装置3、显示装置4以及存储装置5。

拍摄装置1拍摄作业的样子。在作业中，使用工具相对于物品紧固螺钉等紧固件。物品是用于制作产品的构件、单元或者半成品等。工具是用于拧动螺钉的扳手等。扳手是棘轮扳手、套筒扳手、眼镜扳手、六角扳手等。具体的扳手的种类根据作业适当选择。

在组装物品时，作业者用手拿着工具。作业者拧动工具来紧固螺钉。由此，向规定的部位紧固螺钉。拍摄装置1拍摄拧动工具的作业者的左手或者右手。例如，拍摄装置1包括取得RGB图像以及深度图像的相机。

处理装置2接收由拍摄装置1拍摄到的连续的图像(动态图像)。处理装置2识别图像中的左手或者右手。在左手或者右手的识别中，使用手跟踪。以下，在不特别区分左手与右手的情况下，是指左手和右手中的至少任一个，简称为“手”。

输入装置3是为了供作业者对处理装置2输入信息而使用的。例如，输入装置3包括麦克风。作业者通过朝向输入装置3说话，能够向处理装置2输入信息。作为一例，与声音指令对应的声音被输入到输入装置3。除了输入装置3之外，作业者也可以通过手势等对处理装置2输入信息。

显示装置4向作业者显示信息。例如，处理装置2使显示装置4显示用于辅助作业的信息。以下，也将处理装置使显示装置显示信息的情况简称为“处理装置显示信息”。

存储装置5存储处理装置2的处理所需的数据、通过处理装置2的处理得到的数据等。例如，在存储装置5中登记有在作业中使用的工具的数据、计算后述的工具的位置所需的数据等。

处理装置2当从由拍摄装置1取得的图像中识别出手时，测量识别出的手的坐标。处理装置2每当取得图像时，便执行手的识别以及坐标的测量。在紧固螺钉的情况下，通过工具拧动螺钉。手沿着以工具的一部分为中心的圆周动作。因此，手的坐标位于以工具的一部分为中心的圆周上。处理装置2根据测量出的多个坐标，计算工具的旋转的中心坐标。

中心坐标与由工具紧固的螺钉的位置对应。因此，能够使用计算出的中心坐标推定螺钉的位置。当推定出螺钉的位置时，能够推定螺钉被拧紧的部位。例如，通过推定螺钉被拧紧的部位，能够自动地制作表示在哪个部位紧固了螺钉的作业记录。或者，在对多个部位确定了紧固的顺序的情况下，能够自动地判断螺钉被拧紧的部位是否适当。

图2是例示实施方式的混合现实设备的示意图。

图1所示的处理系统10例如被实现为混合现实(MR)设备。图2所示的MR设备100包括框架101、透镜111、透镜112、投影装置121、投影装置122、图像相机131、深度相机132、传感器140、麦克风141、处理装置150、蓄电池160以及存储装置170。

图像相机131和深度相机132是拍摄装置1的一例。处理装置150是处理装置2的一例。麦克风141是输入装置3的一例。投影装置121和投影装置122是显示装置4的一例。存储装置170是存储装置5的一例。

在图示的例子中，MR设备100是双眼式的头部佩戴显示器。在框架101中嵌入两个透镜111和透镜112。投影装置121和投影装置122分别将信息投影到透镜111和透镜112上。

投影装置121和投影装置122在透镜111和透镜112上显示作业者的身体的识别结果、虚拟对象等。也可以仅设置投影装置121和投影装置122中的一方，仅在透镜111和透镜112中的一方显示信息。

透镜111和透镜112具有光透射性。作业者通过透镜111和透镜112目视确认现实的样子。此外，作业者也能够目视确认通过投影装置121和投影装置122投影到透镜111和透镜112上的信息。通过投影装置121和投影装置122的投影，信息被重叠显示于现实空间。

图像相机131检测可见光，得到二维的图像。深度相机132照射红外光，基于反射的红外光得到深度图像。传感器140是六轴检测传感器，能够检测三轴的角速度以及三轴的加速度。麦克风141接受声音输入。

处理装置150对MR设备100的各要素进行控制。例如，处理装置150对投影装置121和投影装置122的显示进行控制。处理装置150基于传感器140的检测结果，检测视野的移动。处理装置150根据视野的移动，使投影装置121和投影装置122的显示变化。此外，处理装置150能够使用从图像相机131和深度相机132得到的数据、存储装置170的数据等，执行各种处理。

蓄电池160将动作所需的电力供给到MR设备100的各要素。存储装置170保存处理装置150的处理所需的数据、通过处理装置150的处理得到的数据等。存储装置170也可以设置在MR设备100的外部，与处理装置150进行通信。

并不限定于图示的例子，实施方式的MR设备也可以是单眼式的头部装着显示器。MR设备可以是图示的眼镜型，也可以是头盔型。

图3是例示作业对象的物品的示意图。

例如，对图3所示的物品200进行紧固作业。物品200是筒状的中空的部件，具有紧固部位201～208。作业者使用扳手在紧固部位201～208分别紧固螺钉。

在作业对象的附近设置有标记210。在图示的例子中，标记210是AR标记。如后所述，标记210是为了设定三维坐标系的基点而设置的。也可以代替AR标记，而使用一维码(条形码)、二维码(QR码(注册商标))等作为标记210。或者，也可以代替标记，而通过手势来表示基点。处理装置150以通过手势表示的多个点为基准，设定三维坐标系。

图4是表示实施方式的处理装置的输出例的示意图。

此处，对使用图2所示的MR设备100紧固螺钉的例子进行说明。在开始紧固作业时，图像相机131和深度相机132拍摄标记210。处理装置150从拍摄到的图像中识别标记210。处理装置150以标记210的位置和方向为基准设定三维坐标系。

通过图像相机131和深度相机132拍摄物品200、作业者的左手251以及作业者的右手252。处理装置150从拍摄到的图像中识别左手251和右手252。处理装置150也可以通过投影装置121和投影装置122向透镜111和透镜112显示识别结果。以下，也可将处理装置使用投影装置向透镜显示信息的情况简称为“处理装置显示信息”。

例如，如图4所示，处理装置150将左手251的识别结果和右手252的识别结果重叠显示于现实空间的手。在图示的例子中，作为左手251和右手252的识别结果，显示虚拟的多个对象261以及虚拟的多个对象262。多个对象261分别表示左手251的多个关节。多个对象262分别表示右手252的多个关节。也可以代替关节，而显示分别表示左手251的表面形状和右手252的表面形状的对象。

此外，处理装置150当识别出左手251和右手252时，测量各只手的坐标。具体而言，手包括DIP关节、PIP关节、MP关节、CM关节等多个关节。这些任一个关节的坐标被用作手的坐标。多个关节的重心位置也可以用作手的坐标。或者，手的整体的中心坐标也可以用作手的坐标。

图5～图8是表示作业的样子的示意图。

例如，作业者将螺钉紧固于紧固部位203。在该情况下，如图5所示，作业者将螺钉215放置在紧固部位203的螺纹孔中。作业者用右手握住扳手280的把手。扳手280是第1工具的一例。作业者将安装有套筒的扳手280的前端(头部)嵌入螺钉215。

如，如图6所示，作业者用左手251按压扳手280的头部。然后，如图7所示，用右手252旋转扳手280。随着扳手280的旋转，螺钉拧动。通过反复旋转扳手280来紧固螺钉215。

在作业者拧动扳手280的期间，处理装置150反复测量手的坐标。此时，如图8所示，手位于以扳手280的一部分为中心的圆周的上。手以描绘圆弧的方式动作。处理装置150利用这一点，计算工具的旋转的中心坐标。在中心坐标的计算中，能够使用以下的第1～第3方法的任一种。

图9～图11是用于说明中心坐标的计算方法的图。

在第1方法中，处理装置150从测量出的多个坐标中提取互不相同的4个坐标。处理装置150计算通过4个坐标的球。球由球面式表示。此处，如图9所示，将4个坐标分别设为P₁(x₁,y₁,z₁)、P₂(x₂,y₂,z₂)、P₃(x₃,y₃,z₃)和P₄(x₄,y₄,z₄)。将球的中心的坐标设为P₀(x₀,y₀,z₀)。将球的半径设为r。r相当于从扳手280的头部到手(把手)的距离，被预先登记。在该情况下，球面式由以下的数学式(1)表示。在数学式(1)中，k、l、m以及n是常数。

[数学式1]

(x-x₀)²+(y-y₀)²+(z-z₀)²＝r²

通过将坐标P₁代入数学式(1)，得到以下的数学式(2)。数学式(2)被改写为数学式(3)。

[数学式2]

(x₁-x₀)²+(y₁-y₀)²+(z₁-z₀)²＝r²

[数学式3]

x₀ ²+y₀ ²+z₀ ²-2x₁x₀-2y₁y₀-2z₁z₀+x₁ ²+y₁ ²+z₁ ²＝0

同样地，通过将坐标P₂～P₄分别代入数学式(1)，得到以下的数学式(4)～(6)。

[数学式4]

x₀ ²+y₀ ²+z₀ ²-2x₂x₀-2y₂y₀-2z₂z₀+x₂ ²+y₂ ²+z₂ ²＝0

[数学式5]

x₀ ²+y₀ ²+z₀ ²-2x₃x₀-2y₃y₀-2z₃z₀+x₃ ²+y₃ ²+z₃ ²＝0

[数学式6]

x₀ ²+y₀ ²+z₀ ²-2x₄x₀-2y₄y₀-2z₄z₀+x₄ ²+y₄ ²+z₄ ²＝0

求解数学式(3)～(6)的联立方程式，计算坐标P₀(x₀,y₀,z₀)。由此，得到通过4个坐标P₁(x₁,y₁,z₁)、P₂(x₂,y₂,z₂)、P₃(x₃,y₃,z₃)和P₄(x₄,y₄,z₄)的球的中心。处理装置150将球的中心的坐标P₀(x₀,y₀,z₀)用作扳手280的旋转的中心坐标。

处理装置150也可以提取多个4个坐标的组合。处理装置150针对每个组合，计算球的中心的坐标。由此，计算多个球各自的中心的坐标。测量出的手的坐标存在误差。因此，计算出的多个中心的坐标也互不相同。处理装置150使用多个坐标，决定用作扳手280的旋转中心的坐标。例如，处理装置150计算多个坐标的中央值，作为扳手280的旋转的中心坐标。处理装置150也可以计算多个坐标的平均值或者最频值，作为扳手280的旋转的中心坐标。由此，能够提高计算出的中心坐标的精度。

在第2方法中，处理装置150从测量出的多个坐标中提取3个坐标对。各对由两个坐标构成。在图10所示的例子中，提取了坐标P₁和P₂的对、坐标P₃和P₄的对以及坐标P5和P6的对。将6个坐标分别设为P₁(x₁,y₁,z₁)、P₂(x₂,y₂,z₂)、P₃(x₃,y₃,z₃)、P₄(x₄,y₄,z₄)、P5的(x5,y5,z5)和P6(x₆,y₆,z₆)。处理装置150针对每个对，计算两个坐标的中点。将各对的中点的坐标分别设为P₁₂、P₃₄和P₅₆。

如上所述，手呈圆弧状动作。因而，通过各中点的各坐标对的垂直平分线通过圆的中心。将圆的中心设为坐标P₀(x₀,y₀,z₀)。在该情况下，如数学式(7)所示，从坐标P₁向坐标P₂的矢量与从坐标P₁₂向坐标P₀的矢量的内积为零。数学式(7)能够改写为数学式(8)。

[数学式7]

(P₂-P₁)·(P₀-P₁₂)＝0

[数学式8]

(x₂-x₁)(x₀-(x₁+x₂)/2)+(y₂-y₁)(y₀-(y₁+y₂)/2)+(z₂-z₁)(z₀-(z₁+z₂)/2)＝0

对于其他坐标对也相同，得到以下的数学式(9)以及(10)。

[数学式9]

(x₄-x₃)(x₀-(x₃+x₄)/2)+(y₄-y₃)(y₀-(y₃+y₄)/2)+(z₄-z₃)(z₀-(z₃+z₄)/2)＝0

[数学式10]

(x₆-x₅)(x₀-(x₅+x₆)/2)+(y₆-y₅)(y₀-(y₅+y₆)/2)+(z₆-z₅)(z₀-(z₅+z₆)/2)＝0

求解这些联立方程式，计算坐标P₀(x₀,y₀,z₀)。处理装置150计算坐标P₀(x₀,y₀,z₀)，作为扳手280的旋转的中心坐标。

处理装置150也可以提取4个以上的坐标对。处理装置150从4个以上的坐标对中选择3个坐标对，针对所选择的坐标对的每个组合，计算坐标P₀。处理装置150计算多个坐标P₀的中央值、平均值或者最频值，作为扳手280的旋转的中心坐标。由此，能够提高计算出的中心坐标的精度。

在第3方法中，处理装置150从测量出的多个坐标中提取互不相同的3个坐标。处理装置150计算3个坐标的外心O。此处，如图11所示，将3个坐标分别设为P₁(x₁,y₁,z₁)、P₂(x₂,y₂,z₂)和P₃(x₃,y₃,z₃)。将外心O的坐标设为P₀(x₀,y₀,z₀)。此外，对于将坐标P₁～P₃相互连结而得到的三角形，将坐标P₁的对边的长度设为L₁。将坐标P₂的对边的长度设为L₂。将坐标P₃的对边的长度设为L₃。将坐标P₁的角度设为α。将坐标P₂的角度设为β。将坐标P₃的角度设为γ。在该情况下，外心O的坐标由以下的数学式(11)表示。另外，在数学式(11)中，附加了箭头的记号表示位置矢量。数学式(11)能够改写为数学式(12)。数学式(12)能够分解为数学式(13)～(15)。

【数学式11】

【数学式12】

【数学式13】

【数学式14】

【数学式15】

根据数学式(13)～(15)，分别计算x₀,y₀,z₀。处理装置150计算外心O的坐标P₀(x₀,y₀,z₀)，作为扳手280的旋转的中心坐标。

处理装置150也可以提取多个3个坐标的组合。处理装置150针对每个组合，计算外心的坐标。处理装置150也可以计算多个坐标的中央值、平均值或者最频值，作为扳手280的旋转的中心坐标。由此，能够提高计算出的中心坐标的精度。

在执行第1～第3方法的任一种之前，也可以从手的多个坐标中选择一部分的坐标。根据所选择的坐标，执行第1～第3方法的任一种。例如，仅选择推定为手呈圆弧状动作时的坐标，从这些坐标中提取在第1～第3方法中使用的坐标。通过仅使用手呈圆弧状动作时的坐标，能够进一步提高中心坐标的精度。

作为一例，在使用数字工具的情况下，处理装置150能够在从数字工具接收到数据的定时(时刻)选择得到的手的坐标。当通过数字工具拧动螺钉时，通过数字工具检测扭矩值、拧动角度等。处理装置150接收由数字工具检测到的这些检测值。检测值的接收表示手呈圆弧状动作。因此，选择在接收到检测值的定时(时刻)得到的手的坐标，并将其用于中心坐标的计算，由此能够更高精度地计算中心坐标。

另外，即使在不进行坐标的选择的情况下，在第1～第3方法的任一种中，通过计算出多个中心坐标的候补，能够计算中心坐标。例如，处理装置150从多个候补中除去偏离值，计算剩余的候补的中央值、平均值或者最频值作为中心坐标。

图12以及图13是表示实施方式的处理装置的输出例的示意图。

扳手280的旋转的中心坐标能够视为由扳手280紧固的螺钉的位置。由于螺钉被拧紧在物品的规定部位，所以通过推定螺钉的位置，也能够推定螺钉被拧紧的部位。例如，在预先登记了紧固部位的位置的情况下，能够推定为在最接近中心坐标的紧固部位紧固螺钉。处理装置150也可以记录在推定为螺钉被拧紧的部位紧固了螺钉。由此，能够自动地制作作业记录。

或者，在相对于多个部位的紧固的顺序确定的情况下，处理装置150能够判断螺钉被拧紧的部位是否适当。例如，处理装置150取得螺钉应被紧固的部位的坐标。处理装置150根据在作业者紧固螺钉的期间测量出的手的坐标，计算扳手280的旋转的中心坐标。处理装置150计算螺钉应被紧固的部位的坐标与中心坐标之间的距离。

处理装置150在计算出的距离超过预先设定的阈值的情况下，判断为在错误的部位紧固螺钉。在该情况下，如图12所示，处理装置150输出警报265。在图示的例子中，作为警报，显示面向作业者的消息。处理装置150也可以代替显示，而向规定的输出装置输出声音、语音、振动或者光等作为警报。

在计算出的距离为阈值以下的情况下，处理装置150也可以输出消息、声音、语音、振动或者光等。这些输出与警报不同。即，处理装置150也可以向作业者输出表示作业适当的通知。

在作业适当的情况下，也可以切换输出通知的模式和不输出通知的模式。处理装置150接受模式选择。作业者能够通过声音指令或者手势选择模式。作业者能够通过模式的选择来调整通知的量，因此MR设备100的使用便利性提高。

如图13所示，处理装置150也可以显示计算出的中心坐标。在图13所示的例子中，中心坐标由虚拟对象270表示。通过显示对象270，作业者能够容易地掌握哪个位置被计算为中心坐标。例如，也有可能错误的计算中心坐标。在输出了警报的情况下，通过显示对象270，作业者容易掌握警报的原因。即，作业者能够容易地掌握是由于作业错误而输出警报，还是由于中心坐标错误而输出警报。由此，能够提高处理系统10或者MR设备100的便利性。

如上所述，在扳手280是数字工具的情况下，处理装置150从扳手280接收检测值。在该情况下，处理装置150也可以将扭矩值等检测值与推定为螺钉被拧紧的部位的数据相关联。在预先登记了螺钉的紧固所需的扭矩的情况下，处理装置150也可以判断是否检测到所需的扭矩。处理装置150除了扭矩值之外，还将该判断结果登记到作业记录中。

图14是与紧固部位相关的数据库的一例。

例如，如图14所示，预先登记与紧固部位相关的数据。图14所示的数据库400包含作业ID401、紧固部位ID402、位置403、扭矩值404、顺序405、记录406以及检测值407。在作业ID401中记载了执行螺钉的紧固作业的作业ID。在紧固部位ID402中记载了在各作业中紧固螺钉的部位的ID。位置403表示由紧固部位ID确定的紧固部位的坐标。另外，在位置403中登记了紧固作业时的三维坐标系中的坐标。在图3～图7所示的例子中，在以标记210为基点的三维坐标系中，测量手的坐标。各部位的位置403由相同的三维坐标系中的坐标表示。

扭矩值404表示向各部位的螺钉紧固所需的扭矩值。顺序405针对在1个作业中紧固的多个部位，表示该紧固的顺序。在顺序未被确定的情况下，可以省略顺序405的列。记录406表示螺钉向各部位的紧固是否完成。在紧固螺钉时，将表示完成的数据登记到记录406中。检测值407表示由数字工具检测到的值。例如，关于推定为螺钉被拧紧的部位，在紧固的顺序适当、检测到所需的扭矩值的情况下，处理装置150将表示螺钉的紧固完成的数据登记到记录406中。同时，处理装置150将此时的扭矩值登记到检测值407中。由此，作业的记录以及检测值自动地与各紧固部位的数据相关联。

处理装置150为了更准确地推定螺钉的位置，也可以使用夹设在扳手280与螺钉之间的工具的长度，推定存在螺钉的位置。在图5～图7所示的例子中，在扳手280中嵌入有未图示的套筒。即，扳手280的旋转的中心坐标与螺钉的位置分离套筒的长度。在预先登记了套筒的长度的情况下，处理装置150能够使用中心坐标以及套筒的长度更准确地推定螺钉的位置。

图15的(a)、图15的(b)以及图16是用于说明中心坐标的计算方法的图。

在使用套筒的长度推定螺钉的位置的情况下，需要判断螺钉相对于扳手280的旋转的面位于哪一侧。在图15的(a)所示的例子中，扳手280向旋转方向RD1旋转。螺钉215以及套筒285位于下侧。在图15的(b)所示的例子中，扳手280向旋转方向RD2旋转。旋转方向RD2与旋转方向RD1相反。螺钉215以及套筒285相对于与旋转方向RD2平行的面位于上侧。

为了判断螺钉215所处的一侧，处理装置150使用中心坐标、手的两个坐标、两个坐标的时间序列信息以及螺钉的松紧信息。例如，如图16所示，将两个坐标分别设为P₁(x₁,y₁,z₁)和P₂(x₂,y₂,z₂)。将中心坐标设为P₀(x₀,y₀,z₀)。手存在于坐标P₁的时刻和手存在于坐标P₂的时刻是已知的。即，处理装置150保持坐标P₁和坐标P₂的时间序列信息。在该例子中，手位于坐标P₁的时刻在手位于坐标P₂的时刻之前。

松紧信息表示是拧紧还是拧松螺钉。在扳手280是数字工具的情况下，扳手280根据检测到的扭矩值判断是拧紧还是拧松螺钉，生成松紧信息。也可以根据从扳手280接收到的扭矩值的时间序列数据，处理装置150判断是拧紧还是拧松螺钉，生成松紧信息。

通过坐标P₀～P₂的平面由以下的数学式(16)表示。在数学式(16)中，k、l、m以及n是常数。

[数学式16]

kx+ly+mz+n＝0

通过将P₀～P₂各自的坐标分别代入数学式(16)，得到以下的数学式(17)～(19)。根据数学式(17)～(19)，计算常数k、l、m以及n。

[数学式17]

kx₀+ly₀+mz₀+n＝0

[数学式18]

kx₁+ly₁+mz₁+n＝0

[数学式19]

kx₂+ly₂+mz₂+n＝0

此处，处理装置150计算从中心坐标P₀向前一时刻的坐标P₁的矢量。此外，处理装置150计算从中心坐标P₀向后一时刻的坐标P₂的矢量。螺钉215在法线矢量P₀P₁×P₀P₂上，存在于从中心坐标P₀分离套筒的长度L₀的位置P_Q。在螺钉被拧紧且坐标P₁的时刻比坐标P₂的时刻靠前的情况下，处理装置150计算矢量P₀P₁和矢量P₀P₂的法线矢量P₀P₁×P₀P₂。

从坐标P₀到扳手以及套筒作用于螺钉的坐标P_Q的长度由以下的数学式(20)表示。在以下的数学式中，附加了记号的箭头表示该记号所示的值是矢量。

【数学式20】

另一方面，从坐标P₀到坐标P_Q的矢量也可以使用矢量P₀P₁和矢量P₀P₂由以下的数学式(21)表示。在数学式(21)中，t是常数。

【数学式21】

通过将数学式(21)代入数学式(20)，得到以下的数学式(22)。数学式(22)中的长度L₀被预先登记。通过求解数学式(22)，计算t。

【数学式22】

√{({(y₁-y₀)(z₂-z₀)-(y₂-y₀)(z₂-z₀)}}²＊t²+{(z₁-z₀)(x₂-x₀)-(z₂-z₀)(x₁-x₀)}＊t²+{(x₁-x₀)(y₂-y₀)-(X₂-x₀)(y₁-y₀)}＊t²}＝L₀

当计算出t时，使用坐标P₀、常数k、l、m、n以及t，计算坐标P_Q。即，得到螺钉的位置。

图17～图19是表示作业的样子的示意图。

如图17所示，有时借助延伸杆290紧固螺钉。延伸杆290安装在扳手280与螺钉之间。在该情况下，也与上述方法相同，能够使用延伸杆290的长度推定螺钉的位置。

即，螺钉在法线矢量P₀P₁×P₀P₂上，存在于从中心坐标P₀分离套筒285的长度与延伸杆290的长度之和的位置。使用中心坐标P₀、套筒285的长度、延伸杆290的长度，推定螺钉的位置P_Q。通过考虑夹设在螺钉与扳手280之间的其他工具的长度，能够更高精度地推定螺钉的位置。

如图18所示，有时用双手握住工具。在图18所示的例子中，物品220位于高处。作业者用双手握住扳手280，以使扳手280稳定。在该状态下，如图19所示，用双手拧动扳手280，在紧固部位221～225分别紧固螺钉。

在该情况下，左手251在从扳手280的头部分离距离r1的位置呈圆弧状动作。右手252在从扳手280的头部分离距离r2的位置呈圆弧状动作。处理装置150能够根据左手251的多个坐标与右手252的多个坐标的双方，分别计算工具的旋转的中心坐标。在中心坐标的计算中，能够使用上述第1～第3方法的任一种。

例如，处理装置150根据左手251的多个坐标，计算第1中心坐标。处理装置150根据右手252的多个坐标，计算第2中心坐标。处理装置150将第1中心坐标与第2中心坐标的中间值用作最终的中心坐标。

处理装置150也可以从左手251的多个坐标提取多个组合，计算多个第1中心坐标。同样地，处理装置150也可以从右手252的多个坐标提取多个组合，计算多个第2中心坐标。处理装置150将多个第1中心坐标以及多个第2中心坐标的中间值、平均值或者最频值用作最终的中心坐标。

处理装置150也可以对第1中心坐标与第2中心坐标进行加权。手离工具的旋转中心越远，越能够更准确地计算中心坐标。在图19所示的例子中，扳手280的头部与右手252之间的距离r2比扳手280的头部与左手251之间的距离r1长。因此，优选与根据左手251的动作计算出的第1中心坐标相比，能够更大地对根据右手252的动作计算出的第2中心坐标进行加权。

作为一例，处理装置150将第1中心坐标与第2中心坐标的加权平均用作最终的中心坐标。对于针对第1中心坐标的权重与针对第2中心坐标的权重之比，能够使用距离r1与距离r2之比。

在计算多个第1中心坐标和多个第2中心坐标的情况下，也可以提取多个第1中心坐标的一部分和多个第2中心坐标的一部分。此时，通过使提取的第2中心坐标的数量比提取的第1中心坐标的数量多，第2中心坐标被比第1中心坐标大地加权。对于提取的第2中心坐标的数量与提取的第1中心坐标的数量之比，能够使用距离r1与距离r2之比。处理装置150将提取出的第1中心坐标以及提取出的第2中心坐标的中间值、平均值或者最频值用作最终的中心坐标。

图20是表示实施方式的处理方法的流程图。

在执行图20所示的处理方法M1之前，预先准备作业主数据5a、基点主数据5b、工具主数据5c以及紧固部位主数据5d。各主数据保存在存储装置5中。

首先，选择要执行的作业(步骤S0)。作业由作业ID、作业名、要作业的物品的ID或者物品的名称等确定。处理装置2接受作业的选择。例如，要执行的作业由作业者选择。也可以要执行的作业由上位的系统选择，处理装置2接受该选择。处理装置2也可以基于从拍摄装置1或者其他传感器得到的数据，判定接下来要执行的作业。处理装置2基于该判定结果选择作业。

其次，拍摄装置1拍摄标记210。处理装置2以标记210的位置和方向为基准，设定三维坐标系(步骤S1)。此时，处理装置2参照基点主数据5b。在基点主数据5b中保存有每个作业的基点的设定方法。处理装置2取得所选择的作业中的基点的设定方法，按照该设定方法设定基点。

之后，开始作业。拍摄装置1拍摄手(步骤S2)，取得图像。处理装置2从图像中识别手，测量该手的坐标(步骤S3)。在作业中持续反复图像的取得、手的识别以及坐标的测量。

处理装置2使用通过反复进行步骤S3而得到的多个坐标，利用第1～第3方法的任一种计算工具的旋转的中心坐标(步骤S4)。此时，处理装置2参照工具主数据5c。

在工具主数据5c中，针对每个作业保存有所使用的工具的ID、工具的型号、工具的长度、套筒的型号以及套筒的长度等。工具的型号表示基于构造、外形或者性能等进行的工具的分类。工具的长度是该工具在螺钉紧固中使用时从旋转中心到把手的长度。套筒的型号表示基于构造或者外形进行的套筒的分类。套筒的长度表示将拧紧螺钉时的工具与螺钉连结的方向上的套筒的长度。处理装置2从工具主数据5c取得在步骤S0中选择的作业中使用的工具的数据。如图17所示，在使用延伸杆的情况下，还将延伸杆的型号、长度等也保存在工具主数据5c中。处理装置2从工具主数据5c中还取得与延伸杆相关的数据。

处理装置2基于在步骤S4中计算出的中心坐标，推定螺钉的位置(步骤S5)。处理装置2根据推定出的螺钉的位置，推定螺钉被拧紧的部位(步骤S6)。此时，处理装置2参照紧固部位主数据5d。

在紧固部位主数据5d中，针对每个紧固部位保存有紧固部位的ID、紧固部位的位置、所需的扭矩值以及螺钉紧固次数。紧固位置表示紧固部位存在的位置，由在步骤S1中设定的三维坐标系的坐标确定。螺钉紧固次数表示每个紧固部位所需的螺钉紧固的次数。在紧固后的螺钉附加标记的情况下，也登记该标记的颜色。

处理装置2基于推定结果判断作业是否适当(步骤S7)。例如，在螺钉的紧固顺序预先确定的情况下，处理装置2判断向推定出的部位的螺钉紧固是否按照确定的顺序进行。在紧固所需的扭矩值预先确定的情况下，处理装置2判断是否检测到在向推定出的部位的螺钉紧固中所需的扭矩值。在作业不适当的情况下，处理装置2输出警报(步骤S8)。

在作业适当的情况下，处理装置2判断向推定出的部位的螺钉紧固是否完成(步骤S9)。例如，处理装置2从紧固部位主数据5d参照向推定出的部位的螺钉紧固所需的扭矩值。处理装置2在从数字工具接收到的扭矩值超过所需的扭矩值的情况下，判断为向推定出的部位的螺钉紧固完成。在判断为螺钉紧固未完成的情况下，再次执行步骤S4。

在判断为螺钉紧固完成的情况下，处理装置2向履历数据5e记录向推定出的部位的螺钉紧固完成(步骤S10)。例如，将由工具检测到的扭矩值与作业的ID以及推定出的部位的ID相关联。如图示那样，处理装置2还可以将所使用的工具的型号及ID、螺钉紧固的次数、标记的识别结果与紧固部位的ID相关联。通过处理装置150从由拍摄装置1拍摄到的图像中识别标记。处理装置150从图像中提取标记颜色的像素的块，对该块的像素数进行计数。在像素数超过预先设定的阈值的情况下，判定为附加了标记。

对实施方式的优点进行说明。

在制作物品时，有时进行螺钉紧固。以往，在制造工厂中，为了防止忘记紧固螺钉、遵守螺钉的紧固顺序，制作检查列表、由多个作业者进行相互确认。但是，在由作业者制作的检查列表中，有可能产生记载遗漏、记载的错误等。由多个作业者进行的确认需要劳力和时间，成本增大。物品的制作所需的时间也变长。此外，在作业后的物品的确认中发现错误的情况下，会产生作业的返工。

关于这些课题，在本发明的实施方式中，拍摄装置1连续地反复拍摄作业者的手。处理装置2根据各个图像测量手的坐标。拧紧螺钉时的作业者的手以工具的一部分为中心呈圆弧状动作。本申请发明着眼于这一点，使用测量出的多个坐标，计算工具的旋转的中心坐标。拧动的螺钉的位置与中心坐标对应。因此，能够将中心坐标用于螺钉的紧固作业的确认。

例如，能够根据中心坐标推定在哪个部位拧紧螺钉。基于推定结果，能够自动地制作螺钉紧固的记录。在螺钉的紧固顺序确定的情况下，能够自动地确认被螺钉紧固的部位是否按照确定的顺序。在使用数字工具的情况下，能够自动地确认是否以所需的扭矩值拧紧螺钉。

此外，根据本发明的实施方式，能够在紧固作业的执行中计算中心坐标。因此，能够实时地检测作业的错误。在执行了错误的作业的情况下，通过尽早检测到该情况，能够减少作业的返工。由此，能够提高作业效率。

以上，对使用MR设备100实施实施方式的例子进行了说明。即使使用MR设备100以外的设备，也能够实施实施方式。例如，拍摄装置1也可以在远离作业者的位置从上方拍摄作业者。处理装置2从该图像中识别作业者的手，测量手的坐标。以下，与上述例子相同，使用手的坐标计算工具的旋转的中心坐标。在该情况下，作为处理装置2，能够使用通用的个人计算机。作为输入装置3，能够使用鼠标或者键盘。作为显示装置4，能够使用监视器。

在使用MR设备100的情况下，图像相机131和深度相机132也与作业者一起移动。因此，在作业中，作业者的手难以被其他物体遮挡。能够更可靠地拍摄作业者的手。因此，难以产生拍摄不到手而无法计算中心坐标的状态。此外，由于手难以被遮挡，所以也能够提高计算出的中心坐标的精度。

此外，根据MR设备100，从处理装置150输出的数据显示于透镜111和透镜112。因此，作业者能够一边进行作业一边确认从处理装置150发出的警报等。通过使用MR设备100，能够提高作业的效率。

(第1变形例)

图21是表示实施方式的第1变形例的处理装置的输出例的示意图。图22以及图23是例示作业的样子的示意图。

如图21所示，处理装置150也可以在紧固作业时，显示虚拟对象301～308(第1对象)。对象301～308与紧固部位201～208对应地显示。对象301～308分别表示紧固部位201～208的位置。例如，对象301与对应的紧固部位201之间的距离比对象301与其他紧固部位之间的距离短。

处理装置150检测对象301～308与规定的物体的接触。例如，处理装置150检测手与对象301～308的接触。更具体而言，处理装置150反复计算手与对象301～308的每个之间的距离。在与任一个对象的距离低于预先设定的阈值的情况下，处理装置150判断为手与该对象接触。

处理装置150在手与任一个对象接触的情况下，推定为在与该对象对应的部位紧固螺钉。例如，如图22所示，在紧固部位203紧固螺钉的情况下，用一只手旋转扳手280，用另一只手握住扳手280的头部。此时，手与对象303接触。处理装置150检测该接触。

处理装置150除了对象与手的接触之外，还根据拧动工具的手的动作来推定螺钉被拧紧的部位。通过利用两种方法推定被螺钉紧固的部位，即使在一种方法中推定失败的情况下，在另一种方法中推定也可能成功。根据第1变形例，能够更可靠地推定被螺钉紧固的部位。此外，通过显示对象301～308，作业者能够容易地掌握应紧固的部位存在于何处。由此，能够提高作业效率。

显示对象301～308的位置通过以图3所示的标记210为基点的三维坐标系的坐标预先登记。在图22所示的例子中，对象301～308接近紧固部位201～208来显示。即，对象301～308的位置接近在紧固部位201～208紧固螺钉时的中心坐标。因而，也可以使用对象301～308的位置计算或者校正旋转的中心坐标。

此外，对象与手的接触的检测与中心坐标的计算相比，所需的计算量少。因此，通过检测对象与手的接触，能够更早地推定螺钉被拧紧的部位。例如，在作业错误的情况下，通过更早地输出警报，能够减少作业的返工。

另一方面，如图23所示的物品230那样，紧固部位231有时存在于狭窄的场所。作业者难以目视确认紧固部位231。进而，在该例子中，无法将左手插入紧固部位的场所，作业者不能用左手握住扳手280的头部。即，无法使手与对象接触。此外，即使在手与对象接触的情况下，图像相机131和深度相机132也无法拍摄其样子。因此，无法检测手与对象的接触。在这样的情况下，通过根据手的动作来计算工具的旋转的中心坐标，能够推定螺钉被紧固的部位。

图24是表示实施方式的第1变形例的处理装置的输出例的示意图。

在根据对象与手的接触推定的紧固部位(第1紧固部位)与根据工具的旋转的中心坐标推定的紧固部位(第2紧固部位)不同的情况下，处理装置150也可以输出警报。例如，如图24所示，在左手251与对象304接触的情况下，处理装置150推定为在与对象304对应的紧固部位204紧固螺钉。另一方面，右手252通过扳手280在未图示的紧固部位203紧固螺钉。处理装置150根据右手252的动作推定为在紧固部位203紧固螺钉。基于手的动作推定出的紧固部位203和基于手与对象的接触推定出的紧固部位204不同。因此，处理装置150输出警报。

在拧动螺钉时，除了用双手握住工具的把手的情形之外，优选分别握住工具的把手与头部的双方。通过按压工具的头部并拧动螺钉，能够抑制工具的头部向不期望的方向移动。例如，能够降低工具向不期望的方向移动而损伤物品的可能性。

根据实施方式的第1变形例，如图24所示，尽管处于能够把持工具的头部的状态，但在不把持头部而执行作业的情况下，输出警报。由此，能够催促作业者执行适当的作业。

在上述例子中，对检测手与对象的接触的例子进行了说明。也可以代替手，而检测工具与对象的接触。或者，也可以检测手与对象的接触以及工具与对象的接触的双方。即使在工具与对象接触的情况下，也与上述例子相同，能够推定为在与该对象对应的紧固部位紧固螺钉。

在工具的位置的推定中能够使用各种方法。例如，在扳手280设置传感器，使用传感器的检测值推定扳手280的位置。传感器是倾斜传感器、加速度传感器、陀螺传感器等。也可以组合传感器的检测值与手的检测结果来推定扳手280的位置。

或者，处理装置150也可以通过图像处理来推定扳手280的位置。例如，预先准备所使用的工具的图像(模板图像)。处理装置150进行模板匹配，判断在作业中得到的图像中是否拍摄到模板图像的工具。处理装置150将判断为拍摄到模板图像的工具的位置用作工具的位置。

或者，也可以在工具安装用于推定工具的位置的标记。在图22所示的例子中，在扳手280安装有多个标记281。处理装置150识别拍摄到图像中的一个以上的标记281。处理装置150基于识别出的标记281与它们的位置关系，计算工具的特定的部分(头部)的位置。

图25以及图26是表示实施方式的第1变形例的处理装置的输出例的示意图。

在图22所示的例子中，对象301～308在紧固部位201～208的附近显示。在使用延伸杆的情况下，在作业时，手配置在远离紧固部位的位置。在该情况下，对象也可以在远离紧固部位的位置显示。在图25所示的例子中，与紧固部位203～206分别对应的对象303～306在远离紧固部位203～206的位置显示。

如图25所示，处理装置150还可以显示虚拟对象313～316(第2对象)。对象313～316分别显示在紧固部位203与对象303之间、紧固部位204与对象304之间、紧固部位205与对象305之间以及紧固部位206与对象306之间。

对象303～306分别表示当在紧固部位203～206拧紧螺钉时手应该放置的位置。对象313～316分别表示当在紧固部位203～206拧紧螺钉时延伸杆应该放置的位置。例如，当在紧固部位204拧紧螺钉时，如图26所示，手与对象304接触。延伸杆290与对象314重叠。处理装置150检测手与对象304的接触。处理装置150推定为在与对象304对应的紧固部位204紧固螺钉。

通过显示对象303～306以及对象313～316，作业者能够容易地理解在拧紧螺钉时应该使手以及延伸杆位于何处。由此，能够提高作业效率。

在图示的例子中，对象303～306为球状，对象313～316为棒状。只要能够容易地目视确认各对象，各对象的形状便并限定于该例子。

图27是表示实施方式的第1变形例的处理方法的流程图。

图27所示的处理方法M2与图20所示的处理方法M1相比，还包括步骤S11。此外，处理方法M2代替步骤S4～S6而包括步骤S12。在紧固部位主数据5d中还登记有延伸部型号、角度、对象形状以及显示方式。角度表示在各紧固部位拧紧螺钉时的工具或者延伸杆的角度。延伸部型号表示基于构造、外形或者性能等进行的延伸杆的分类。对象形状表示与各紧固部位对应地显示的对象的形状。显示方式表示显示的各对象的方式。显示方式按照螺钉紧固次数来设定。

处理装置2基于所设定的基点以及参照的数据，显示第1对象以及第2对象(步骤S11)。显示第1对象以及第2对象的位置基于基点、紧固位置、角度、延伸部型号、工具型号等计算。例如，通过延伸部型号确定延伸杆的长度。在相对于紧固位置以所设定的角度分离延伸杆的长度的位置显示第1对象。在相对于紧固位置以所设定的角度分离延伸杆的长度的区域显示第2对象。

处理装置2推定紧固部位(步骤S12)。具体而言，当检测到第1对象与手的接触时，处理装置2推定为在与该第1对象对应的紧固部位拧紧螺钉。同时，处理装置2执行处理方法M1的步骤S4～S6，也执行基于中心坐标的紧固部位的推定。

当推定螺钉被拧紧的紧固部位时，以下，与处理方法M1相同，执行步骤S7～S10。在步骤S7中，如上所述，也可以在根据对象与手的接触推定出的紧固部位与根据工具的旋转的中心坐标推定出的紧固部位不同的情况下，判断为作业不适当。

(第2变形例)

在以上说明的例子中，根据多个手的坐标，计算工具的旋转的中心坐标。也可以代替该方法，而预先登记工具的旋转的中心坐标。例如，当在紧固部位拧紧螺钉时，将工具的前端配置的位置作为中心坐标进行登记。或者，也可以当在紧固部位拧紧螺钉时，将螺钉所处的位置作为中心坐标进行登记。也可以将螺纹孔(紧固部位)的位置作为中心坐标进行登记。将对应的紧固部位与中心坐标相关联。处理装置2使用该中心坐标，推定螺钉被拧紧的部位。

图28是表示实施方式的第2变形例的处理方法的流程图。

在第2变形例的处理方法M3中，处理装置2与图20所示的处理方法M1同样地执行步骤S0～S3。处理装置2参照预先登记的中心坐标(步骤S21)。例如，中心坐标与紧固部位ID相关地保存在紧固部位主数据5d中。中心坐标针对每个紧固部位进行登记。处理装置2针对每个中心坐标，分别计算中心坐标与手的多个坐标之间的距离(步骤S22)。处理装置2针对每个中心坐标，计算中心坐标与多个坐标之间的各个距离的偏差(步骤S23)。对于任一个中心坐标，在偏差小于预先设定的阈值的情况下，处理装置2推定为在与该中心坐标相关联的紧固部位紧固螺钉(步骤S24)。当推定出螺钉被拧紧的紧固部位时，以下，与处理方法M1同样地执行步骤S7～S10。

图29是用于说明实施方式的第2变形例的处理方法的示意图。

例如，如图29所示，与三个紧固部位对应地预先登记3个中心坐标C₁～C₃。根据拧动螺钉的手的图像，计算3个坐标P₁～P₃。处理装置2计算中心坐标C₁与坐标P₁～P₃之间的各个距离d₁～d₃。同样地，处理装置2计算中心坐标C₂与坐标P₁～P₃之间的各个距离、以及中心坐标C₃与坐标P₁～P₃之间的各个距离。处理装置2计算中心坐标C₁与坐标P₁～P₃之间的各距离的偏差、中心坐标C₂与坐标P₁～P₃之间的各距离的偏差、中心坐标C₃与坐标P₁～P₃之间的各距离的偏差。在任一个偏差小于阈值的情况下，处理装置2推定为在与该中心坐标相关联的紧固部位拧紧螺钉。

作为偏差，使用多个距离的平均值与各距离之差的和、多个距离的分散或者多个距离的标准偏差等。在图29所示的例子中，手的坐标与中心坐标C₁大致等距离。因此，推定为在与中心坐标C₁相关联的紧固部位拧紧螺钉。

根据第2变形例的处理方法，与计算中心坐标的情况相比，能够以更少的计算量推定螺钉被拧紧的紧固部位。

也可以从通过手跟踪反复测量出的手的多个坐标中提取一部分的坐标。例如，在使用数字工具的情况下，从数字工具向处理装置2发送数据。处理装置2提取在接收到数据的定时测量出的手的坐标。在从数字工具接收到数据的定时，实际上正在拧动螺钉的可能性较高。通过将在该定时测量出的手的坐标用于推定，能够进一步提高推定的精度。

实施方式的第2变形例也可以与实施方式的第1变形例组合。例如，处理装置150除了根据对象与手的接触之外，还可以中心坐标与手的坐标之间的距离，推定螺钉被拧紧的部位。通过两种方法推定被螺钉紧固的部位。此外，在该情况下，也可以将显示虚拟对象的位置用作中心坐标。

在以上说明的例子中，对将本发明应用于拧紧螺钉的作业的情况进行了说明。本发明的实施方式并不限定于该例子。例如，本发明也能够应用于拧松螺钉的作业。在拧松螺钉时，也以工具的一部分为中心用手旋转工具。因此，能够根据手的动作计算工具的旋转的中心坐标。例如，能够使用中心坐标推定螺钉被拧松的紧固部位。在对多个部位确定了作业的顺序的情况下，能够自动地判断螺钉被拧松的部位是否适当。

图30是表示硬件构成的示意图。

作为处理系统10，例如使用图30所示的计算机90。计算机90包括CPU91、ROM92、RAM93、存储装置94、输入接口95、输出接口96以及通信接口97。

ROM92保存对计算机90的动作进行控制的程序。在ROM92中保存有使计算机90实现上述各处理所需的程序。RAM93作为展开ROM92中保存的程序的存储区域发挥功能。

CPU91包括处理电路。CPU91将RAM93作为工作存储器，执行存储于ROM92和存储装置94中的至少一方的程序。在程序的执行中，CPU91经由系统总线98控制各构成，执行各种处理。

存储装置94存储程序的执行所需的数据、以及通过程序的执行而得到的数据。存储装置94包括固态驱动器(Solid State Drive，SSD)等。存储装置94也可以用作存储装置5或者存储装置170。

输入接口(I/F)95能够将计算机90与输入装置3连接。CPU91能够经由输入I/F95从输入装置3读入各种数据。

输出接口(I/F)96能够将计算机90与输出装置连接。CPU91能够经由输出I/F96向显示装置4发送数据，并在显示装置4显示信息。

通信接口(I/F)97能够将计算机90外部的设备与计算机90连接。通信I/F97例如通过蓝牙(Bluetooth，注册商标)通信将数字工具与计算机90连接。

由处理装置2或者处理装置150进行的数据处理也可以仅由1个计算机90执行。数据处理的一部分也可以经由通信I/F97在服务器等中执行。

上述各种数据的处理也可以作为能够使计算机执行的程序，记录在磁盘(软盘以及硬盘等)、光盘(CD-ROM、CD-R、CD-RW、DVD-ROM、DVD±R、DVD±RW等)、半导体存储器或者其他非暂时性的计算机可读取的记录介质(non-transitory computer-readable storagemedium)中。

例如，记录介质中记录的信息可以由计算机(或者嵌入式系统)读出。在记录介质中，记录形式(存储形式)是任意的。例如，计算机从记录介质读出程序，基于该程序使CPU执行程序中记述的指示。在计算机中，程序的取得(或者读出)也可以通过网络来进行。

本发明的实施方式包括以下的特征。

(特征1)

一种处理装置，其中，

根据连续拍摄使用第1工具拧动螺钉的手而得到的多个图像，分别测量上述手的坐标，

使用多个上述坐标，计算上述第1工具的旋转的中心坐标。

(特征2)

在特征1所记载的处理装置中，

基于上述中心坐标推定上述螺钉的位置，

参照预先登记的上述螺钉被拧动的紧固部位的位置，

在上述紧固部位的位置与推定出的上述螺钉的位置之间的距离为阈值以下的情况下，推定为相对于上述紧固部位拧动上述螺钉。

(特征3)

在特征2所记载的处理装置中，

在上述距离大于上述阈值的情况下，输出警报。

(特征4)

在特征2或者3所记载的处理装置中，

在上述距离为上述阈值以下的情况下，输出表示对上述紧固部位的作业适当的通知。

(特征5)

在特征4所记载的处理装置中，

能够接受对输出上述通知的模式和不输出上述通知的模式的选择。

(特征6)

在特征2～5的任一个所记载的处理装置中，

接收由上述第1工具检测到的检测值，

将上述检测值和与上述紧固部位相关的数据相关联。

(特征7)

在特征2～5的任一个所记载的处理装置中，

接收由上述第1工具检测到的检测值，

从上述多个坐标中选择在接收到上述检测值的定时得到的一个以上的上述坐标，

使用上述一个以上的坐标，计算上述中心坐标。

(特征8)

在特征1～7的任一个所记载的处理装置中，

从上述多个坐标中提取4个坐标，

计算通过上述4个坐标的球的中心的坐标来作为上述中心坐标。

(特征9)

在特征1～7的任一个所记载的处理装置中，

从上述多个坐标中提取多个组合，该组合为两个坐标的组合；

针对每个上述组合，生成上述两个坐标之间的垂直平分线，

计算多个上述垂直平分线的交点的坐标来作为上述中心坐标。

(特征10)

在特征1～7的任一个所记载的处理装置中，

从上述多个坐标中提取3个坐标，

计算上述3个坐标的外心的坐标来作为上述中心坐标。

(特征11)

在特征1～9的任一个所记载的处理装置中，

取得夹设在上述第1工具与上述螺钉之间的工具的长度，

使用上述中心坐标、从上述多个坐标中提取的两个坐标、上述两个坐标的时间序列信息、以及表示通过上述第1工具是拧紧还是拧松上述螺钉的松紧信息，计算法线矢量，

推定为在上述法线矢量上，在从上述中心坐标分离上述工具长度的位置存在上述螺钉。

(特征12)

在特征1～11的任一个所记载的处理装置中，

在用两只上述手旋转上述第1工具的情况下，根据上述多个图像的每个，测量上述两只手各自的上述坐标，

使用一只手的多个上述坐标，计算上述第1工具的旋转的第1中心坐标，

使用另一只手的多个上述坐标，计算上述第1工具的旋转的第2中心坐标，

使用上述第1中心坐标和上述第2中心坐标，计算上述中心坐标。

(特征13)

在特征12所记载的处理装置中，

在上述第1工具的旋转的中心与上述另一只手之间的距离比上述第1工具的上述中心与上述一只手之间的距离长的情况下，对上述第2中心坐标进行大于上述第1中心坐标的加权来计算上述中心坐标。

(特征14)

一种处理装置，其中，

显示与螺钉被拧动的紧固部位对应的虚拟的第1对象，

根据连续拍摄持有第1工具的手而得到的多个图像，计算上述第1工具的旋转的中心坐标，

计算上述螺钉被拧动的紧固部位的坐标与上述中心坐标之间的距离，

在规定的物体与上述第1对象接触了的情况或者上述距离小于预先设定的阈值的情况下，推定为相对于上述紧固部位拧动上述螺钉。

(特征15)

在特征14所记载的处理装置中，

在基于上述第1对象与上述规定的物体的接触推定为上述螺钉被拧动的第1紧固部位、与基于上述距离推定为上述螺钉被拧动的第2紧固部位不同的情况下，输出警报。

(特征16)

一种处理装置，其中，

根据连续拍摄使用第1工具拧动螺钉的手而得到的多个图像，分别测量上述手的坐标，

分别计算多个上述坐标与预先登记的上述第1工具的旋转的中心坐标之间的距离，

在多个上述距离的偏差小于预先设定的阈值的情况下，推定为相对于与上述中心坐标相关联的紧固部位拧动上述螺钉。

(特征17)

一种混合现实设备，具备：

特征1～16的任一个所记载的处理装置；

拍摄装置，取得上述多个图像；以及

显示装置，显示从上述处理装置输出的信息。

(特征18)

一种处理方法，其中，

使处理装置根据连续拍摄使用第1工具拧动螺钉的手而得到的多个图像，分别测量上述手的坐标，

使处理装置使用多个上述坐标，计算上述第1工具的旋转的中心坐标。

(特征19)

一种程序，其中，

使上述处理装置执行特征18所记载的处理方法。

(特征20)

一种存储介质，其中，

存储有特征19所记载的程序。

根据以上说明过的实施方式，提供能够辅助拧动螺钉的作业的处理装置、混合现实设备、处理方法、程序以及存储介质。

以上，对本发明的几个实施方式进行了例示，这些实施方式是作为例子而提示的，并不意图对发明的范围进行限定。这些新的实施方式能够以其他各种方式加以实施，在不脱离发明的主旨的范围内能够进行各种省略、置换、变更。这些实施方式及其变形包含于发明的范围及主旨中，并且包含于专利请求的范围所记载的发明和与其等同的范围中。此外，上述各实施方式能够相互组合来实施。

符号说明：

1：拍摄装置；2：处理装置；3：输入装置；4：显示装置；5：存储装置；5a：作业主数据；5b：基点主数据；5c：工具主数据；5d：紧固部位主数据；5e：履历数据；10：处理系统；10：处理系统；90：计算机；91：CPU；92：ROM；93：RAM；94：存储装置；95：输入接口；96：输出接口；97：通信接口；98：系统总线；100：MR设备；101：框架；111、112：透镜；121、122：投影装置；131：图像相机；132：深度相机；140：传感器；141：麦克风；150：处理装置；160：蓄电池；170：存储装置；200：物品；201～208：紧固部位；210：标记；215：螺钉；220：物品；221～225：紧固部位；230：物品；231：紧固部位；251：左手；252：右手；261、262：对象；265：警报；270：对象；280：扳手；281：标记；285：套筒；290：延伸杆；301～308、313～316：对象；400：数据库；404：扭矩值；405：顺序；406：记录；407：检测值；M1、M2：处理方法；O：外心。

Claims (20)

1.一种处理装置，其中，

根据连续拍摄使用第1工具拧动螺钉的手而得到的多个图像，分别测量上述手的坐标，

使用多个上述坐标，计算上述第1工具的旋转的中心坐标。

2.根据权利要求1所述的处理装置，其中，

基于上述中心坐标推定上述螺钉的位置，

参照预先登记的上述螺钉被拧动的紧固部位的位置，

在上述紧固部位的位置与推定出的上述螺钉的位置之间的距离为阈值以下的情况下，推定为相对于上述紧固部位拧动上述螺钉。

3.根据权利要求2所述的处理装置，其中，

在上述距离大于上述阈值的情况下，输出警报。

4.根据权利要求2所述的处理装置，其中，

在上述距离为上述阈值以下的情况下，输出表示对上述紧固部位的作业适当的通知。

5.根据权利要求4所述的处理装置，其中，

能够接受对输出上述通知的模式和不输出上述通知的模式的选择。

6.根据权利要求2所述的处理装置，其中，

接收由上述第1工具检测到的检测值，

将上述检测值和与上述紧固部位相关的数据相关联。

7.根据权利要求2所述的处理装置，其中，

接收由上述第1工具检测到的检测值，

从上述多个坐标中选择在接收到上述检测值的定时得到的一个以上的上述坐标，

使用上述一个以上的坐标，计算上述中心坐标。

8.根据权利要求1所述的处理装置，其中，

从上述多个坐标中提取4个坐标，

计算通过上述4个坐标的球的中心的坐标来作为上述中心坐标。

9.根据权利要求1所述的处理装置，其中，

从上述多个坐标中提取多个组合，该组合为两个坐标的组合；

针对每个上述组合，生成上述两个坐标之间的垂直平分线，

计算多个上述垂直平分线的交点的坐标来作为上述中心坐标。

10.根据权利要求1所述的处理装置，其中，

从上述多个坐标中提取3个坐标，

计算上述3个坐标的外心的坐标来作为上述中心坐标。

11.根据权利要求1所述的处理装置，其中，

取得夹设在上述第1工具与上述螺钉之间的工具的长度，

使用上述中心坐标、从上述多个坐标中提取的两个坐标、上述两个坐标的时间序列信息、以及表示通过上述第1工具是拧紧还是拧松上述螺钉的松紧信息，计算法线矢量，

推定为在上述法线矢量上，在从上述中心坐标分离上述工具长度的位置存在上述螺钉。

12.根据权利要求1所述的处理装置，其中，

在用两只上述手旋转上述第1工具的情况下，根据上述多个图像的每个，测量上述两只手各自的上述坐标，

使用一只手的多个上述坐标，计算上述第1工具的旋转的第1中心坐标，

使用另一只手的多个上述坐标，计算上述第1工具的旋转的第2中心坐标，

使用上述第1中心坐标和上述第2中心坐标，计算上述中心坐标。

13.根据权利要求12所述的处理装置，其中，

在上述第1工具的旋转的中心与上述另一只手之间的距离比上述第1工具的上述中心与上述一只手之间的距离长的情况下，对上述第2中心坐标进行大于上述第1中心坐标的加权来计算上述中心坐标。

14.一种处理装置，其中，

显示与螺钉被拧动的紧固部位对应的虚拟的第1对象，

根据连续拍摄持有第1工具的手而得到的多个图像，计算上述第1工具的旋转的中心坐标，

计算上述螺钉被拧动的紧固部位的坐标与上述中心坐标之间的距离，

在规定的物体与上述第1对象接触了的情况或者上述距离小于预先设定的阈值的情况下，推定为相对于上述紧固部位拧动上述螺钉。

15.根据权利要求14所述的处理装置，其中，

在基于上述第1对象与上述规定的物体的接触推定为上述螺钉被拧动的第1紧固部位、与基于上述距离推定为上述螺钉被拧动的第2紧固部位不同的情况下，输出警报。

16.一种处理装置，其中，

根据连续拍摄使用第1工具拧动螺钉的手而得到的多个图像，分别测量上述手的坐标，

分别计算多个上述坐标与预先登记的上述第1工具的旋转的中心坐标之间的距离，

在多个上述距离的偏差小于预先设定的阈值的情况下，推定为相对于与上述中心坐标相关联的紧固部位拧动上述螺钉。

17.一种混合现实设备，具备：

权利要求1至16中任一项所述的处理装置；

拍摄装置，取得上述多个图像；以及

显示装置，显示从上述处理装置输出的信息。

18.一种处理方法，其中，

使处理装置根据连续拍摄使用第1工具拧动螺钉的手而得到的多个图像，分别测量上述手的坐标，

使处理装置使用多个上述坐标，计算上述第1工具的旋转的中心坐标。

19.一种程序，其中，

使上述处理装置执行权利要求18所述的处理方法。

20.一种存储介质，其中，

存储有权利要求19所述的程序。