CN107003716B - 投射型影像显示装置以及影像显示方法 - Google Patents

Abstract

在与受理基于指针操作输入以及键输入的输入操作的外部的信息处理装置(4)连接的投射型影像显示装置(1)中，具备：投射部(115)，向投射面上投射显示影像；拍摄部(100)，拍摄投射面而输出拍摄图像；检测部(104～109)，根据拍摄图像检测进行用于对信息处理装置(4)的输入操作的动作的操作对象的状态；操作指示信息生成部(110)，根据检测部(104～109)检测出的操作对象的状态生成表示输入操作的内容的操作指示信息；以及通信部(116)，用于与信息处理装置(4)通信连接，其中，检测部检测操作对象的移动以及表示与移动不同的操作对象的状态的属性，操作指示信息生成部(110)根据检测部检测出的操作对象的移动生成用于对信息处理装置(4)进行指针操作输入的第1控制信息，并且根据操作对象的属性生成用于进行预定的键输入的第2控制信息，通信部(116)向信息处理装置(4)发送第1控制信息以及第2控制信息。

Description

投射型影像显示装置以及影像显示方法

技术领域

本发明涉及投射图像的投射型影像显示技术。

背景技术

关于投射影像而显示的装置，设计了许多技术。

专利文献公开了“课题在于提供一种能够低价且高速地检测手指的状态的手指姿势检测装置，手指姿势检测装置包括多个光源、1个照相机和图像识别部。多个光源对被输入到检测面的手指从多个位置照射光，在检测面上形成与多个照射光分别对应的手指的多个影子的像。1个照相机配置于相对检测面在垂直方向上离开的位置，拍摄通过多个光源所形成的多个影子的像以及手指的像。图像识别部对由1个照相机拍摄的多个影子的像以及手指的像进行识别，根据影子的像以及手指的像的状态检测被输入到检测面的手指的状态”技术(摘要摘录)。

另外，专利文献2公开了“课题在于提供一种简便地判断用于使用者的操作的手指的信息显示装置，提供一种显示控制装置，根据使用者的手的活动控制显示装置的显示内容，该显示控制装置具备：确定部，根据来自检测使用者的身体在空间上的位置的检测传感器的检测结果，识别出使用者的手相对使用者的脸的朝向的位置，据此将该使用者的手确定为操作用的手；指示获取部，识别上述操作用的手的活动，获取对显示装置的显示内容的操作指示；以及显示控制部，根据操作指示控制显示装置的显示内容”技术(摘要摘录)。

另外，专利文献3公开了“课题在于提供一种能够准确地判定同时检测出的对多个地方的触摸操作是由一名操作者实施的多点触摸操作、还是由多名操作者实施的各自的单触摸操作的操作显示装置，在同时检测出在显示面上的多个触摸操作的情况下，根据由指形状检测部检测出的与各触摸操作有关的指的形状(例如接触部分的面积、形状的类似性、指尖的方向的一致、不一致等)判定多个触摸操作是由一名操作者实施的操作、还是由多个操作者实施的操作，根据其判定结果变更显示部的显示内容”技术(摘要摘录)。

另外，专利文献4公开了“课题在于能够将基于用户的手等被摄体的移动的命令和基于除了移动以外的被摄体的姿势的命令区别而输入，输入用户界面装置具备：电子照相机，拍摄包含被摄体像的图像；形状检测装置，检测由电子照相机拍摄到的所述图像中的所述被摄体像的形状；姿势检测装置，检测由电子照相机拍摄到的所述图像中的所述被摄体像的姿势；控制部，根据由形状检测装置检测出的所述形状以及由姿势检测装置检测出的所述姿势来决定命令”技术(摘要摘录)。

现有技术文献

专利文献1：日本特开12-68690号公报

专利文献2：日本特开13-239089号公报

专利文献3：欧州专利申请公开第2685368号说明书

专利文献4：美国专利申请公开第13/49790号说明书

发明内容

专利文献1的技术将照相机相对检测面设置于垂直方向上，所以投射面的设置的通用性低。

另外，专利文献2的技术仅能够使操作者在眼前用手指实施操作，操作范围窄。

另外，专利文献3的技术根据接触部分的面积、形状来识别操作者的位置或操作的方向等，所以由于无法保证某操作者每次以固定形式进行操作、或者不同操作者的操作形状可能类似等，因而关于识别的精度有进一步改善的余地。

另外，专利文献4的技术存在向计算机仅发送指针的位置移动操作的信息而手指操作的使用用途受限这样的课题。另外，可以认为无论在哪个技术中，关于在识别出用户的手指的形状或动作等的基础上如何使用该识别结果改善装置的使用便利性，都存在进一步研究的余地。

本发明是鉴于上述情形而完成的，目的在于提供进一步提高投射型影像显示装置的操作性的技术。

为了解决上述课题，本发明将具备向投射面上投射显示影像的投射部以及拍摄所述投射面而输出拍摄图像的拍摄部的投射型影像显示装置与外部的信息处理装置连接，该外部的信息处理装置连接受理基于指针操作输入以及键输入的输入操作，该投射型影像显示装置的特征在于，根据所述拍摄图像检测进行用于对所述信息处理装置的输入操作的动作的操作对象的移动、以及表示与所述操作对象的移动不同的所述操作对象的状态的属性，根据所述操作对象的移动而生成用于对所述外部的信息处理装置进行所述指针操作输入的第1控制信息，并且根据所述检测部检测出的操作对象的所述属性而生成用于对所述外部的信息处理装置进行所述预定的键输入的第2控制信息，向所述外部的信息处理装置发送所述第1控制信息以及所述第2控制信息，向所述投射面投射示出根据所述第1控制信息以及所述第2控制信息生成的操作指针以及表示所述操作模式的标记的至少一个的影像。

根据本发明，能够进一步提高投射型影像显示装置的操作性。此外，上述以外的课题、结构以及效果将通过以下实施方式的说明而更为明确。

附图说明

图1是示出由设置于桌上的投射型影像显示装置将影像投射到桌子的顶面的状态的图。

图2是示出将投射型影像显示装置1安装于墙面的例子和进行用户6的操作的状态的一个例子的图，(a)示出前视图，(b)示出侧视图。

图3是示出投射型影像显示装置1的硬件结构的框图。

图4是示出投射型影像显示装置1的内部结构的框图。

图5是示出用户的影子图像的形状的一个例子的图，(a)示出用户的指未接触到投射面时的影子图像，(b)示出用户的指接触到投射面时的影子图像。

图6是示出基于用户的操作位置的影子的形状的影响的图。

图7是示出指和操作面的间隙与影子的形状的关系的图。

图8是说明基于特征点的接近度的判定的图。

图9是说明基于特征点的接触点的决定的图。

图10是示出将特征点设定于其它位置的情况的图。

图11是示出在用多根指操作的情况下的影子的形状的图。

图12是计算“用手指着的方向”的处理，(a)是使用影子图像的内侧轮廓线的例子，(b)是使用影子图像的外侧轮廓线的例子，(c)是使用轮廓线的中线的例子。

图13是示出第一实施方式中的操作检测方法的处理的流程的流程图，(a)示出接近度和接触点的检测处理，(b)示出用手指着的方向的检测处理。

图14是示出与指的接近度对应的控制的一个例子的图。

图15是示出显示控制部111中的与用手指着的方向对应的控制的一个例子的图，(a)示出指针显示位置的校正，(b)示出指针显示方向的校正，(c)示出接触点的校正。

图16是示出与2点同时的接触操作对应的控制的一个例子的图。

图17是示出2点同时操作结果的判别方法的处理的流程的流程图。

图18是示出三维CAD数据设计图阅览时的操作方法的一个例子的图。

图19是示出从投射型影像显示装置向影像输出装置的操作指示信息的传输方法的处理流程的图。

图20是设定手指的形状与操作指示信息的对应的操作信息登记画面，(a)是使用选项选择手指的形状的画面例，(b)是使用表示手指形状的图解的画面例。

图21是由左右手实施的触摸操作的示意图，(a)示出在用户使手背朝向自己一侧的状态下由伸出食指的右手实施的操作，(b)示出在使手掌朝向自己一侧的状态下由伸出食指的左手实施的操作。

图22示出所获取的血管形状的示意图，(a)示出使手背朝向正面的右手，(b)示出使手掌朝向正面的左手。

图23是将从正面以及侧面表现用户操作的手指形状的示意图与投射型影像显示装置1对其操作的响应输出关联起来而示出的图。

图24是示出拳头部分有无接触的判断处理的图，(a)示出手指未接触时的影子，(b)示出仅拳头接触时的影子的状态，(c)示出指接触时(通常的触摸操作)的影子。

图25是将接触的指的根数不同的姿势动作与粗度不同的笔关联起来的图，(a)示出通常的接触操作，(b)示出用两根指实施的接触操作。

图26是将指压不同的姿势动作与粗度不同的笔关联起来的图，(a)示出通常的接触操作，(b)示出更强(扩大手指尖的接触面积)的接触操作。

图27是示出指压不同的姿势动作的影子形状的图，(a)示出未接触时的影子，(b)示出通常接触时的影子，(c)示出强的指压时的影子。

图28是示出从显示画面外起进行的操作方法的一个例子的图。

图29是示出附带操作检测功能的投射型影像显示装置的设定菜单显示的一个例子的图。

(符号说明)

1：投射型影像显示装置；2：最大投射范围；3：投射面；4：影像输出装置；5：影像传输用缆线；20：显示画面；100：照相机；101：右照明部；102：左照明部；115：投射部。

具体实施方式

以下，使用附图说明本发明的实施方式。在全部附图中对同一结构赋予同一符号而省略反复说明。

<第一实施方式>

第一实施方式是用户通过姿势输入对显示画面进行控制的投射型影像显示装置。首先，参照图1以及图2说明本实施方式的投射型影像显示装置的设置例。图1是示出通过设置于桌上的投射型影像显示装置1将影像投射到桌子的顶面的状态的图。图2是示出将投射型影像显示装置1安装于墙面的例子和用户6进行操作的状态的一个例子的图，(a)示出前视图、(b)示出侧视图。

如图1所示，在将投射型影像显示装置1设置于桌上时，当移动桌子时基本上无需调整投射型影像显示装置的位置。显示画面20是投射型影像显示装置1的被投射到桌子上的顶面(相当于投射面)3的最大投射范围2内的部分图像。用户6通过使作为操作对象的指30接近投射面3以及接触到某位置来进行期望的操作。用户6为了执行例如对显示内容记载例如单独的字符串、或者标记显示内容的重要点等操作，在投射面3上执行接近、接触操作。后面叙述由用户6实施的操作以及其检测方法。

投射型影像显示装置1在其前表面具备照相机100、右照明部101、左照明部102以及向影像投射面投射图像的投射部115。右照明部101、左照明部102对用户的手、指针等操作对象照射可见光或者不可见光(例如红外线)。照相机100对影子进行拍摄而输出影子图像，该影子通过右照明部101、左照明部102的照射光照射用户的手、指针等操作对象而形成于影像投射面。因此，照相机100相当于拍摄部。通过右照明部101、左照明部102交替地投射光，照相机100每次输出影子图像，交替地输出朝操作对象主体对形成于操作对象的右侧的影子拍摄而得到的右图像、形成于左侧的左图像。或者，也可以在使右照明部101以及左照明部102同时照明的状态下，照相机100拍摄投射面而输出将形成于操作对象30的左右的影子拍摄而得到的影子图像。

这些影子图像用于检测操作对象对影像投射面的接近度、接触点、用手指着的方向，后面叙述详细内容。此外，通过将投射型影像显示装置1设置于桌上，能够减少在右照明部101、左照明部102对操作对象进行照射时从投射部115投射的光被遮挡的机会。

投射型影像显示装置1能够从投射部115将图像(包括动态图像、静止图像)光学地投射的最大范围(以下称为“最大投射范围”)2在图1中是虚线内的区域。投射型影像显示装置1在最大投射范围2中实际投射影像的区域(以下称为“显示画面”)是显示画面20。显示画面20相当于后述OSD(On-screen display，屏幕显示)的画面。即，显示于显示画面20的图像是最大投射范围2中的部分图像。

例如，考虑如下用法：以整个最大投射范围2对处于桌子周围的人显示装置的设计图，在显示画面20显示设计图的解说资料。

投射型影像显示装置1通过影像传输用缆线5通信连接于影像输出装置4(相当于外部的信息处理装置)，从影像输出装置4传输显示画面20的数据。影像输出装置4也可以是一般的个人计算机或平板式终端、摄像机，作为变形例还有如下使用例：在投射型影像显示装置内具有数据处理部，将便携型的存储装置连接于投射型影像显示装置1，投射存储装置内的数据。

作为投射型影像显示装置1的其它例子，也可以如图2(a)、(b)所示，将投射型影像显示装置1固定于墙面，投射面3并非桌子的顶面那样的水平面而以建筑物的墙面等垂直面作为投射面。在该情况下，用户6正对投射面3。

参照图3以及图4说明投射型影像显示装置1的结构。图3是示出投射型影像显示装置1的硬件结构的框图。图4是示出第一实施方式的投射型影像显示装置1的内部结构的框图。

如图3所示，投射型影像显示装置1具备主体部10、照相机100、右照明部101、左照明部102、投射部115。主体部10包括CPU(Central Processing Unit，中央处理器)11、RAM(Random Access Memory，随机存取存储器)12、ROM(Read Only Memory，只读存储器)13、HDD(Hard Disk Drive，硬盘驱动器)14、I/F15以及总线18。另外，CPU11、RAM12、ROM13、HDD14以及I/F15经由总线18相互连接而构成。

主体部10经由I/F15连接于照相机100、右照明部101、左照明部102以及投射部115而构成投射型影像显示装置1。另外，影像输出装置4与投射型影像显示装置1的I/F15连接。另外，从影像输出装置4输出的影像信号经由影像传输用缆线5、I/F15被加载到RAM12而从投射部115向显示画面20投射。

参照图4说明投射型影像显示装置1的功能结构。投射型影像显示装置1包括照相机100、右照明部101、左照明部102、影子区域抽出部104、特征点检测部105、接近度检测部106、接触点检测部107、轮廓检测部108、方向检测部109、控制部110、显示控制部111、驱动电路部112、输入端子部113、输入信号处理部114、投射部115、操作信号输入输出部116以及数据总线117。通过实现各功能的程序被加载到RAM12而CPU11执行这些程序，从而形成影子区域抽出部104、特征点检测部105、接近度检测部106、接触点检测部107、轮廓检测部108、方向检测部109、控制部110、显示控制部111。

在上述结构内，关于影子区域抽出部104、特征点检测部105、接近度检测部106、接触点检测部107、轮廓检测部108以及方向检测部109，它们协作而动作，从而根据照相机100的拍摄图像检测进行用于对影像输出装置4的输入操作的动作的操作对象的状态。因此，将上述影子区域抽出部104、特征点检测部105、接近度检测部106、接触点检测部107、轮廓检测部108以及方向检测部109统称为检测部。

控制部110相当于操作指示信息生成部，其根据检测部检测出的操作对象的状态(包含移动以及属性)生成表示输入操作的内容的操作指示信息。

另外，输入端子部113以及操作信号输入输出部116相当于与影像输出装置通信连接的通信部。

照相机100构成为包括图像传感器、透镜，拍摄出包含作为操作对象的用户6的指30的左图像、右图像。

右照明部101、左照明部102构成为包括发光二极管、电路基板、透镜，对投射面3以及用户6的指30照射照明光，使指30的影子投影到用照相机100拍摄的图像内。

此外，右照明部101、左照明部102也可以使用红外光照明，照相机100也可以使用红外光照相机。由此，能够将用照相机100拍摄的红外光图像与作为从投射型影像显示装置1投射的影像信号的影像的可见光影像分离而获取。此外，照明光、拍摄光只要是能够与投射型影像显示装置1的投射影像分离的除可见光之外的光线即可，所以也可以不用红外光而用紫外光。

影子区域抽出部104从利用照相机100得到的右图像以及左图像分别抽出影子区域而生成影子图像。例如，从右图像以及左图像分别减去预先拍摄到的投射面3的背景图像而生成差分图像，对差分图像的亮度以预定的阈值Lth进行二值化，将阈值以下的区域设为影子区域即可。进而，对抽出的影子进行将未相互连结的影子的区域分别区别为其它影子的所谓贴标(labeling)处理。通过贴标处理，能够对抽出的多个影子识别与哪指对应、即与1根指对应的成对的2个影子。

特征点检测部105检测由影子区域抽出部104抽出的影子图像内的特定的位置(以下称为特征点)。例如，将影子图像内的顶端位置(与指尖位置对应)检测为特征点。使用各种手法用于特征点检测，在顶端位置的情况下能够根据构成其影子图像的像素的坐标数据进行检测、或者还能够通过图像识别等来检测与特征点所具有的特有的形状一致的部分。关于特征点，从1个影子检测出1处，所以对1根指(2个影子)检测出2处。

接近度检测部106测量由特征点检测部105检测出的2个特征点之间的距离d(参照图8)，根据距离d检测指与操作面的间隙s(接近度A)。由此，判定指是接触到操作面还是未接触到操作面。

在由接近度检测部106判定为指接触到操作面的情况下，接触点检测部107根据其特征点的位置检测指对操作面的接触点，计算其坐标。

轮廓检测部108从由影子区域抽出部104抽出的影子图像抽出影子区域的轮廓。例如，沿一定方向对影子图像内进行扫描而决定轮廓追踪的开始像素，以逆时针方向追踪开始像素的附近像素，从而得到轮廓。

方向检测部109从由轮廓检测部108检测出的轮廓线抽出大致直线状的线段。然后，根据抽出的轮廓线的方向检测操作面上的指的用手指着的方向。

此外，上述各检测部的处理不限于上述手法，也可以使用其它图像处理的算法。另外，上述各检测部不仅能够由基于电路基板的硬件构成，还能够由软件构成。

控制部110控制投射型影像显示装置1整体的动作，经由数据总线117适当控制各部分之间的数据发送和接收，生成由各检测部检测出的指对操作面的接近度、接触点坐标、用手指着的方向等检测结果数据。

显示控制部111根据由控制部110生成的指的接近度、接触点坐标、用手指着的方向等检测结果数据而生成操作模式、指针位置、指针方向等显示控制数据，对经由输入端子部113以及输入信号处理部114的影像信号进行基于显示控制数据的处理。

驱动电路部112进行用于将处理后的影像信号投射为显示影像的处理。从投射部115对投射面投射显示图像。

以之前的各部分配置于一个投射型影像显示装置1为例进行了说明，但也可以是将它们的一部分构成为独立单元而用传输线连接的结构。

输入端子部113从外部的影像输出装置4受理影像信号的输入，向输入信号处理部114传输数据。与影像输出装置4的连接只要是能够进行影像传输即可，例如可以是VGA端子或DVI端子、网络缆线等。在本实施方式中示出与1个影像输出装置的连接，但也可以配置多个端子而接线于多个影像输出装置。

操作信号输入输出部116连接于外部的影像输出装置4，向影像输出装置4发送根据用户6的姿势操作而生成的接触点坐标等数据。将该数据中的用于根据用户6的指30(操作对象)的移动进行影像输出装置4的指针操作输入的数据称为第1控制信息。第1控制信息例如包含表示操作对象是接触到投射面还是未接触到投射面状态的信息、表示移动方向的信息、在接触的情况下其接触点的坐标信息。

另外，将用于根据用户6的指30(操作对象)的属性进行影像输出装置4的预定的键输入的数据称为第2控制信息。第2控制信息例如包含表示用户的右手左手的区别、各指的种类、手掌或者手背侧是否与照相机100对应的信息。

如果影像输出装置4如所谓个人计算机那样是能够执行图像处理的装置，则也可以代替投射型影像显示装置而由影像输出装置4具备执行根据来自上述照相机100的拍摄图像生成第1控制信息或者第2控制信息的一连串的处理的结构。此时的拍摄图像以及第1控制信息、第2控制信息的数据格式既可以是在影像输出装置4中规定的形式，也可以是将与通信方式对应的软件预先安装于影像输出装置4内等预先规定的独自的形式。

数据总线117是传输各种数据的接线。当然不限于此例而能够将特定的各部分之间直接接线等适当变更。

参照图5说明使用用户的指进行对投射型影像显示装置1的操作的例子。图5是示出用户的影子图像的形状的一个例子的图，(a)示出用户的指未接触到投射面时的影子图像，(b)示出用户的指接触到投射面时的影子图像。

如图5(a)所示，在指30未接触到投射面3的状态(间隙s)下，来自右照明部101、左照明部102的光被指30遮挡而分别形成影子区域401、402(用斜线表示)。在照相机图像中，2个影子区域401、402相互分开地存在于指30的两侧。

另一方面，如图5的(b)所示，在指30的指尖接触到投射面3的状态(间隙s＝0)下，2个影子区域401、402在指30的指尖的位置接近地存在。此外，影子区域401、402的一部分区域隐藏于指30后，但影子区域不包含该被隐藏的部分。在本实施方式中，利用在指30接近投射面3时影子区域401与影子区域402的间隔(特别是特征点之间的距离)接近的性质，来判定指30与操作面(投射面3)的接触。

图6是示出基于用户的操作位置的影子的形状的影响的图。此处，比较了用户的操作位置从投射面3的中央偏移到左侧的情况(用户的指30的位置30p)与偏移到右侧的情况(用户的指30的位置30p’)的照相机图像。此时从照相机100观察到的用户的操作位置发生变化，但在这些照相机图像中，影子区域401(401’)、402(402’)相对于指30(30’)的位置关系不变。即，无论用户操作位置如何，影子区域401(401’)和402(402’)总是存在于指30(30’)的两侧。这是由照相机100与右照明部101以及左照明部102的位置关系唯一决定的缘故。因此，无论用户在哪个位置对投射面3进行操作都能够检测到2个影子区域401、402，能够有效地应用本实施方式的操作检测方法。

图7是示出指与操作面的间隙和影子的形状的关系的图。形成于指30的两侧的2个影子区域401、402的间隔根据指30与投射面3的间隙s(参照图6)而变化。为了定义2个影子区域401、402的间隔，在各个影子区域401、402的内部设定特征点601、602(用×号表示)，测量特征点之间的距离d。此处，在影子的顶端位置(指尖位置)设定有特征点。在指30与投射面3的间隙s大的情况下，2个影子区域401、402的间隔大而2个特征点601、602的距离d也大。随着指30接近投射面3而特征点601、602的距离d变小，在指30接触到投射面3时(间隙s＝0)，特征点601、602的距离d为最小值。

图8是说明接近度检测部106中的基于特征点的接近度的判定的图。此处，接近度检测部106根据特征点之间的距离d进行指的接近度A的判定。为了判定指的接近度A，预先将决定了针对特征点之间的距离d的4个阈值d1、d2、d3、d4(其中，d1<d2<d3<d4)的信息(也可以是函数)存储于ROM13、HDD14。接近度检测部106参照特征点之间的距离d和上述信息来决定接近度。由此，将接近度A分类成5级(等级1～5)，设为等级值越大则指30与投射面3的间隙s越小。首先，决定用于识别指30接触到投射面3的状态(间隙s＝0)的阈值d1，在距离d<d1的情况下，判定为接近度A是最大等级5(接触状态)。关于除此以外的未接触状态，使用阈值d2～d4将接近度A分类成4级(等级4～1)。其中，在d>d4的情况下，判定为接近度A是最小等级1。在该例中用4个阈值将接近度分类成5级，但接近度的分类数不限于此，只要与控制内容匹配地适当设定即可。另外，图8中，将特征点之间的距离d和指的接近度A关联成阶梯状，但也可以是线性。

图9是说明接触点检测部107中的接触点的决定的图。示出在指30接触到投射面3的状态下的影子区域401、402的形状，此处将特征点601、602设定于各个影子区域401、402的顶端位置。在该情况下，2个特征点601、602与作为接触点的指尖位置相近，所以能够将2个特征点601、602的中点P视为指30与投射面3的接触点而计算其坐标。

在上述例子中，将特征点601、602设定于各个影子区域401、402的顶端位置，根据该方法易于设定特征点，另外接触点P的位置也存在于其附近，所以能够容易地决定。

图10是示出将特征点设定于其它位置的情况的图。相对于在图10中将特征点601、602设定于影子区域401、402的顶端位置，在图11中将特征点601’、602’设定于各影子的长度方向中间位置。在该情况下，也随着影子区域401、402的间隔的变化而特征点601’、602’之间的距离d’发生变化，所以能够进行指30与投射面3的接近度A的判定。此外，在该情况下的接触点P’从特征点601’、602’的位置在长度方向上偏移，所以预先求出从特征点601’、602’至所设想的接触点P’的距离(校正量)，用此进行校正，从而能够求出接触点P’。同样地，还能够将特征点设定于影子区域401、402内的除此以外的位置。另外，也可以将多个特征点信息组合使用。

图11是示出在用多根指操作的情况下的影子的形状的图。在将手打开的状态下使多根指31、32…接触到操作面时，针对各指而形成左侧的影子411、421…和右侧的影子412、422…。然后，对各影子设定特征点。此处示出针对影子411、412的特征点611、612和针对影子421、422的特征点621、622。通过测量对应的特征点611、612或者特征点621、622之间的距离d，能够求出各个指31、32的接近度、接触点。由此，根据本实施方式，在将手打开的状态下也能够独立地检测关于多根指的接触，所以能够应用于多点触摸(Multi-touch)操作。作为特征点的另一例子，例如有各指的关节(被拍摄为突出部)、关节的中间狭窄的部位(被拍摄为凹部)。

接下来，参照图12说明计算作为操作对象的指所指示的方向(以下称为“用手指着的方向”)的处理。图12是计算“用手指着的方向”的处理，(a)是使用影子图像的内侧轮廓线的例子，(b)是使用影子图像的外侧轮廓线的例子，(c)是使用轮廓线的中线的例子。

示出使指30的方向(用手指着的方向)倾斜时的影子区域401、402的形状，伴随用手指着的方向的变化而影子区域401、402的朝向也发生变化。为了检测用手指着的方向，首先通过轮廓检测部108检测针对影子区域401、402的轮廓线501、502。此外，在轮廓线的检测中，去除指尖等的曲线部分而检测包括大致直线状的线段的轮廓线。之后，方向检测部109利用接下来的方法决定用手指着的方向。

在图12(a)中，方向检测部109使用针对影子区域401、402的内侧的轮廓线501、502。另外，方向检测部109将内侧的轮廓线501、502的倾斜方向701、702中的任意方向决定为用手指着的方向。

在图12(b)中，方向检测部109使用针对影子区域401、402的外侧的轮廓线501’、502’。另外，方向检测部109将外侧的轮廓线501’、502’的倾斜方向701’、702’中的任意方向决定为用手指着的方向。

在图12(c)中，方向检测部109使用针对影子区域401、402的内侧的轮廓线501、502。另外，方向检测部109将内侧的轮廓线501、502的中线的倾斜方向703决定为用手指着的方向。在该情况下根据2个轮廓线501、502的平均方向来求出，所以精度进一步变高。此外，也可以将外侧的轮廓线501’、502’的中线方向作为用手指着的方向。

参照图13说明第一实施方式中的操作检测方法。图13示出第一实施方式中的操作检测方法的处理的流程的流程图，(a)示出接近度和接触点的检测处理，(b)示出用手指着的方向的检测处理。

首先，依照图13(a)的各步骤顺序，从接近度和接触点的检测方法来说明。

在S1001中，影子区域抽出部104从用照相机100拍摄到的图像减去背景而求出差分图像，将亮度为阈值Lth以下的部分抽出为影子区域(S1001)。此时，对抽出的影子进行将未相互连结的影子的区域分别区别为其它影子的所谓贴标处理。

在S1002中，特征点检测部105对贴标处理后的各影子检测特征点(S1002)。例如图9那样，将各影子区域401、402的顶端位置检测为特征点601、602。

在S1003中，接近度检测部106测量所检测出的2个特征点601、602之间的距离d(S1003)。

在S1004中，接近度检测部106根据距离d判定指30与投射面3的接近度A(S1004)。在判定中，例如使用图8将距离d与阈值d1～d4进行比较，将接近度A分类成等级1～5。并且，在d<d1的情况下，判定为接近度A＝5(接触状态)。

在S1005中，接近度检测部106判定所判定出的接近度A是否是接触时的等级(＝5)(S1005)。如果判定结果是接近度A＝5(S1005/“是”)，则接近度检测部106将表示判定出的接近度的信息(以下称为“接近度信息”)输出到接触点检测部107而进入到S1006，在除此以外(未接触状态)的情况下结束(S1005/“否”)。

在S1006中，接触点检测部107检测指30与投射面3的接触点(S1006)。例如图9所示那样，将2个特征点601、602的中点P作为接触点，计算其坐标。在特征点的设定方法与上述(顶端位置)不同的情况下，根据该设定方法校正接触点位置即可。表示检测出的接近度以及接触点的操作对象信息被输出到显示控制部111。

此外，在操作状态下重复执行以上处理流程，进行追随操作状态的变化的操作检测。

首先，依照图13(b)的各步骤顺序来说明用手指着的方向的检测方法。

在S1011中，影子区域抽出部104从用照相机100拍摄到的图像减去背景而求出差分图像，将亮度为阈值Lth以下的部分抽出为影子区域(S1011)。这与上述S1001相同。

在S1012中，轮廓检测部108对贴标处理后的各影子区域检测轮廓线(大致直线部)(S1012)。例如图13(c)那样，检测影子区域401、402的内侧的轮廓线501、502。此时，去除这些轮廓线中的指尖等的曲线部分而检测大致直线状的线段。

在S1013中，方向检测部109将各轮廓线501、502的中线的倾斜方向703判定为用手指着的方向。此外，在用手指着的方向的判定中也可以利用如图12(a)或者图12(b)所示的方法。

此外，在操作状态下重复执行以上处理流程，进行追随操作状态的变化的操作检测。

另外，能够并行地进行图13(a)的接近度及接触点的检测处理和图13(b)的用手指着的方向检测处理。

图14是示出显示控制部111中的与指的接近度对应的控制的一个例子的图。在投射型影像显示装置1的ROM13或者HDD14中预先保存有将接近度与操作模式的切换以及指针显示切换关联起来的显示控制信息，显示控制部111获取操作对象信息并参照显示控制信息进行操作对象信息操作模式的切换以及指针显示的切换。

在图14中示出根据指30与投射面3的接近度A进行操作模式和指针显示的切换。关于操作模式，在接近度A为最高的等级5(接触状态)时设为接触操作模式。在除此以外的未接触状态下，在接近度A为比较高的等级4、3时切换为空中操作模式，在接近度A为比较低的等级2、1时切换为操作关闭(off)模式。通过这样的控制，用户6除了在使指30接触到投射面3的状态下之外，还能够在将指30悬空于投射面3的状态下进行操作对象装置的操作。另外，在指30离开投射面3一定距离以上的情况下，切换为操作关闭模式，从而能够防止用户无意的操作。

另外，关于指针显示，在接近度A为比较高的等级5、4时切换为显示指针，在接近度A为比较低的3、2、1时切换为不显示指针。通过这样的控制，用户6能够通过指30接触到投射面3之前的等级确认指针，从而易于对准接触时的指针的位置。通过以上控制，提高对操作对象装置的操作性。

图15是示出显示控制部111中的与用手指着的方向对应的控制的一个例子的图，(a)示出指针显示位置的校正，(b)示出指针显示方向的校正，(c)示出接触点的校正。

图15(a)示出根据用手指着的方向700校正指针800的显示位置的处理。当显示指针800时，在显示于与在接触点检测部107中检测出的接触点P完全相同的位置时，指针800被指30遮上而难以被用户6观察到。因此，沿着由方向检测部109检测出的用手指着的方向700将指针800显示于朝指尖前方偏移了预定量的位置P’。由此，指针800易于被用户6观察到。

另外，除了上述之外，还可以根据指30的接近度A变更指针800的显示位置的偏移量(校正量)。例如在接近度A低时增大校正量，在接近度A高时减小校正量。由此，随着用户6的指30靠近投射面3而指针800的位置靠近指尖，从而用户6能够通过以指针800的显示位置为目标来进行精度优良的操作。

图15(b)是根据用手指着的方向700校正指针800的显示方向的情况。当显示箭头形状的指针800时，在例如图15(a)那样无论用手指着的方向700如何总是显示于固定的方向时，有时指针800的显示方向与用手指着的方向700不一致而给用户6带来不协调感。因此，使指针800的显示方向与方向检测部109检测出的用手指着的方向700匹配地进行显示。由此，使与用手指着的方向700的不一致消失，从而能够消除给用户6带来的不协调感。

图15(c)是根据用手指着的方向700校正接触点的位置的情况。接触点检测部107检测出的接触点P根据特征点的位置而决定，所以有时从与投射面3实际接触的位置偏移。例如，在使特征点为影子的顶端位置的情况下，相比于实际的接触位置(多为指肚的部分)而朝指的顶端侧(指甲尖)的位置偏移。因此，沿着方向检测部109检测出的用手指着的方向700，将接触点位置朝指根侧校正预定量(P→P”)。由此，能够更正确地获取指30与投射面3的接触点。

以上是投射型影像显示装置1中的基于用手指着的检测等的用户6的操作内容的检测方法。在利用以上说明的方式的基于用手指着的姿势的接触点以及用手指着的方向的检测方式中，只要有包括指的细长的物体就能够进行操作。这与从笔尖发出预定的光而进行识别处理的发光笔方式相比，在无需确保专用的发光笔等这点，使用便利性大幅提高。

此外，在本实施方式中，为了简单而以使用2个照明的结构进行了说明，但照明的数量不限于此，也可以设置3个以上，例如，也可以选择性地使用从其中的2个以上照明所生成的影子图像。

另外，在本实施方式中，在用户6伸出手指中的一根手指的状态下进行了说明，但例如在伸出多根手指的状态下是符合空中操作模式的接近度的情况下，既可以对任意手指都不进行指针的显示，也可以对所有手指都进行指针的显示。

接着，说明用户6通过之前所说明那样的用手指着的操作等操作而实现的画面操作。画面操作例如有以下5个操作。

(1)用手指着的操作：在指示点附近显示指针、或者引起注意的记号。

(2)记入操作：将指的接触点当作笔顶端，以该状态在投射面3上描摹从而描绘字符、图案等。既可以通过显示控制部111仅在投射画面上显示，也可以通过将坐标信息每次都转送到外部的影像输出装置4而通过影像输出装置4更新显示画面。

(3)删除操作：删除记入的内容。有以用橡皮擦除的方式擦除接触点附近的情况、将所有记入内容一并擦除的情况、或者以操作为单位复原的擦除方法等。

(4)显示画面操作：变更显示出的内容的观察方法。例如变更显示画面20的朝向、大小。

(5)显示内容操作：向外部的影像输出装置4发送操作内容，在保持显示画面20的画面形状的状态下变更显示内容，例如对幻灯片进行切换、或者旋转一部分、或者变更大小。

如以上那样，在有多种可执行的操作的情况下，为了提高使用便利性，对用户的操作立即示出响应是重要的。因此，参照图17说明用户操作例。图16是示出与2点同时的接触操作对应的控制的一个例子的图。

(变焦(zoom)操作模式)

在控制部110检测到由用户6的左右手指实施的同时接触时转移到变焦操作。显示控制部111在进行了接触操作的坐标显示表示接受接触操作的意思的标记801并提示检测结果、且与连结二点的直线L平行地显示箭头形状的标记802，示出能够进行显示画面20的放大、缩小操作(成为了变焦操作模式)。以后，显示控制部111根据接触点的检测结果随时沿着连结该二点的直线L方向来控制显示画面20的尺寸，直至用户6解除至少任意一个接触。

此外，上述“同时操作”的“同时”是指，在控制部110周期性地实施的接触点的检测处理中，既可以将在1次检测处理中检测到多个接触的情况判断为同时，也可以将在多次检测处理中检测到多个接触的情况下各接触的检测时刻之间的时间差为预定的时间内的操作判断为同时操作。例如，控制部110检测出通过照相机100检测出的多根指中的、接触到投射面3的时间差为1秒以内的指，将该指的组合判断为在响应处理中作为对象的指的组合即可。以下，同时操作在其它操作模式的说明中也是相同含义。

在尽管是由同一人物实施的两手的接触操作而左右手指的接触的定时也并非同时的情况下，例如，控制部110在实施早的接触操作中在接触坐标提示接受的意思的标记801、且在附近显示笔具的标记804从而向用户6提醒记入操作，在执行晚的接触操作中由控制部110将记入操作模式时的触摸操作识别为无效，不显示接受接触的意思的标记而示出无可对应的操作，或者，将接触操作无效的情况在接触点显示标记或者在附近显示消息。或者，控制部110将两方判别为是记入操作，显示控制部111在接触点的坐标提示接受的意思的标记801、且在附近显示笔具的标记804(成为了记入操作模式)从而向用户6提醒记入操作。以后，也可以依照用户6在投射面上的接触点的轨迹来描绘线。

(旋转操作模式)

另外，在控制部110同时检测到用户6用一只手的不同的指的接触操作时，转移到旋转操作模式。显示控制部111在进行了接触操作的坐标显示表示接受接触操作的意思的标记801而提示检测结果、且在附近显示旋转形状的箭头标记803，示出能够进行显示画面20的旋转操作(成为了旋转操作模式)。以后，显示控制部111根据接触点的检测结果随时根据将该二点连结的线段的变化量以变更显示画面20的朝向的方式进行控制，直至用户6解除至少任意一个接触。

在未同时进行2点的操作的情况下，例如也可以在实施早的接触操作中在接触坐标提示接受的意思的标记801、且在附近显示笔具的标记804从而向用户6提醒记入操作，在执行晚的触摸操作中由控制部110将记入操作模式时的触摸操作识别为无效，不显示接受接触的意思的标记而表示无可对应的操作。

(记入操作模式)

在控制部110检测到不同用户同时执行了接触操作时，显示控制部111在进行了接触操作的坐标显示表示接受接触操作的意思的标记801并提示检测结果、且在各自的附近显示笔具的标记804从而向用户提醒记入操作。以后，以执行与接触操作的轨迹对应的线段的描绘的方式进行控制，直至各用户离开接触点。

关于同一用户的手、或者不同的用户的手的判别，例如，也可以是影子区域抽出部104从影子图像内抽出拍摄到手的区域，特征点检测部105根据手的形状、大小的差异判别用户的同一性。另外，特征点检测部105也可以根据抽出的手区域的亮度值(颜色)判别用户的同一性。例如，也可以求出关于多只手区域的每个手区域的亮度值的平均值的差，如果其收敛于预先规定的阈值(作为同一用户的左右手的亮度值的差而能够容许的值)以内，则判定为同一用户。

接下来，参照图17说明对由图16所示的二点的接触操作执行的各操作模式(响应)的类别进行判别的处理。图17是示出2点同时操作结果的判别方法的处理的流程的流程图。

在S2001中，影子区域抽出部104在同S1001那样抽出影子区域时，同时还抽出该区域所夹着的手区域而进入到S2002(S1001)。

在S2002中，特征点检测部105同S1002～S1003那样检测特征点，此时，解析在S2001中得到的手区域的数据，检测特征点表示由哪根手指实施的操作，匹配地生成表示其检测结果的手指信息(S2002)，进入到S2003。例如，在检测到多只手的情况下，还包括进行后述左右手的差异的检测并考虑手指的长度、特征点之间的距离d来类推哪只手是同一人物的手的处理。

在S2003中，控制部110根据在S2002中生成的手指信息来判断接触点的指是否是同一只手的指(S2003)。在属于同一只手的情况下(S2003/“是”)进入到S2004，在属于不同的手的情况下(S2003/“否”)进入到S2005。

在S2004中，实施在旋转操作模式中显示的旋转箭头标记803的显示(参照图17)而结束处理。

在S2005中，控制部110参照S2002的手指信息，如果是同一人物用不同手指实施的二点的接触动作(S2005/“是”)，则进入到S2006。如果是由不同人物的手实施的二点的接触动作(S2005/“否”)，则进入到S2007。

在S2006中，显示控制部111进行在变焦操作模式中显示的箭头标记802(参照图17)的显示(S2006)。

同样地，在S2007中，显示控制部111进行在记入操作模式中显示的笔具的标记804的显示(S2007)。

以后，返回到步骤S2001，重复进行处理的投射型影像显示装置1实时地(充分短的时间以用于用户感知、识别显示的变化)重复进行从步骤S2001至步骤S2007的处理。另外，无论是哪个步骤的途中，在主电源为关(OFF)或者操作对象功能的中断信号被输入到投射型影像显示装置1时，都结束处理。

根据本实施方式，投射型影像显示装置1通过准确地判断多个点的接触操作而实施响应，能够立即地进行对用户操作的反馈，得到提高使用便利性的效果。

在以上记载中叙述了同时发生点的接触操作的情况，但关于3点以上处理也进行同样的处理即可。即，在多只手处于照相机100的拍摄图像内的情况下循环地检测、比较哪只手是同一人物的手、且针对各手指的特征点属于哪只手而解析影子区域、手区域的数据，从而控制部110、显示控制部111能够掌握同一人物或者不同人物的哪根手指在何处坐标进行了接触操作。据此，如S2003以后那样进行操作的分类处理、基于分类的显示控制即可。

<第二实施方式>

作为投射型影像显示装置1的使用方法，例如有在影像输出装置4上显示用三维CAD(Computer aided design system，计算机辅助设计系统)设计出的设计图数据并使用投射型影像显示装置1投射显示该画面的用法。在该情况下，在假想三维空间内对象(显示对象)以及照相机(用户的视点)这两方是操作对象，所以需要丰富多彩的功能。

因此，第二实施方式是如下实施方式：投射型影像显示装置1根据操作对象(包括用户的手的指、专用笔)的活动进行检测，实施对所投射显示的设计图的记入操作、将其取消的消去操作、以及操作对象、照相机而从各种方向确认对象的视图(view)操作。

此外，在本实施方式中说明了将本发明应用于三维CAD的实施方式，但本发明不限于三维CAD的操作例。例如，在作为影像输出装置4使用通用PC而执行多功能的应用的操作的情况下，很多情况下无法仅通过鼠标操作执行所有功能。因此，例如组合键盘上的功能键(Ctrl、Shift)、或者通过按下在应用的GUI上准备的功能切换按钮而切换操作模式等来执行预定的操作。

以下，参照图18以及图19说明第二实施方式。图18是示出三维CAD数据设计图阅览时的操作方法的一个例子的图。图19是示出从投射型影像显示装置1向影像输出装置4的操作指示信息的传输方法的处理流程的图。

在图18中，根据在图7～图16中说明的要领解析通过照相机100获取到的图像从而用基于有无多个点的接触以及手指的操作(活动)的操作替换PC操作的一个例子。

图18的列A并列示出可执行的功能。在这些功能内，“写入”、“删除”是在投射型影像显示装置1内进行处理而在画面上显示字符、图形的功能。另外，“指针操作”(在X、Y方向上移动指针的操作)是进行影像输出装置4上的指针操作的功能。“对象控制”(相当于视图操作)是通过三维CAD操作显示对象的功能。此外，还有如上述那样通过三维CAD控制照相机的功能，通过许多应用软件进行与对象控制的操作类似的分配来切换对哪个进行操作。

列B示出在作为通用PC的输入设备有鼠标和键盘的情况下执行上述列A的各功能时的用户动作的一个例子。列A的“指针操作”仅与“鼠标操作”(意味着仅鼠标的移动操作)对应。

“对象控制”内的“平行移动(X，Y)”相当于将鼠标沿着平行移动的方向拖拽(drag)的操作。“旋转(X，Y)”(绕X、Y轴转的旋转操作)相当于一边按下Ctrl键一边拖拽鼠标的操作。“旋转(Z)”(绕Z轴转的旋转操作)相当于一边按下Ctrl键一边左右拖拽鼠标的操作。“放大、缩小(＝平行移动Z)”与一边按下Alt键一边进行的鼠标操作对应。

图18的列C示出与在列B中规定的通过PC进行的操作对应的姿势操作。在姿势操作中，根据用户的指是否接触到投射面3，有接触操作模式和空中操作模式这2种(参照图15)，对用右手的任意一根指进行的空中操作以及接触操作分配作为基本的交互(interactive)功能的指针操作。这样一来，通过分配成与其它应用使用时的基本操作通用，具有提高用户的使用便利性的效果。

例如，对“对象控制”的“平行移动(X，Y)”分配使右手多根指为空中操作模式而上下左右地移动的姿势操作。另外，对“对象控制”的“旋转(X，Y)”分配一边用左手中指进行接触操作一边使右手多根指为空中操作模式而移动的姿势操作。对“对象控制”的“旋转(Z)”分配一边用左手中指、食指进行接触操作一边使右手多根指为空中操作模式而移动的姿势操作。即，分别将使右手多根指为空中操作分配给鼠标的右击、将左手食指的接触操作分配给Alt键按下、将左手中指的接触操作分配给Ctrl键按下。对“对象控制”的“放大、缩小(＝平行移动Z)”分配一边用左手食指进行接触操作一边使右手多根指为空中操作模式而移动的姿势操作。

为了实现该动作，如交互功能那样执行对显示画面20的操作的情况下，控制部110根据手指形状判断操作内容，显示控制部111根据内容控制显示画面。另一方面，在执行视图控制的情况下，控制部110需要根据手指形状生成操作指示信息并将该内容通知给外部的影像输出装置4。图19示出此时的处理流程。

连续地重复进行图19的处理流程，以实时地(充分短的时间以用于用户感知、识别显示的变化)获取、变更各指对投射面3有无接触、接触点的坐标的变化等的方式进行控制。

在S3001中，照相机100获取包含用户6的姿势操作的图像数据，转移到S3002(S3001)。

在S3002中，例如按照在图13、图17中说明的次序从图像数据检测指尖对投射面3的接触操作点或者空中操作点(将两者一并作为操作点)而转移到S3003(S3002)。其中，在有多个操作点的情况下，将每个操作点的坐标信息获取而记录到存储器。另外，根据手指的形状针对各操作点的每个点判别是由左右哪只手的哪根指实施的操作而一并记录到存储器。

为了判断左右手中的哪只，例如，能够如图12所示那样从在将手打开的状态下拍摄到的图像根据各特征点的位置类推拇指的位置，所以能够依此来判别左右。或者，作为其它例，也可以预先在非易失性存储器内记录一些手形状、影子的图像数据，根据与拍摄到的图像内的手、影子的形状的类似度来判别。

在S3003中，基于有无接触操作点、空中操作点进行处理分路。在控制部110判断为有一点至多个操作点的情况下(S3003/“是”)，转移到S3004。在控制部110判断为无操作点的情况下(S3003/“否”)，返回步骤S3001而重复处理。

在S3004中，控制部110将接触操作、空中操作的信息与上次处理时的信息进行比较，将接触点信息变换为操作指示信息(S3004)。此时，设为在接触点信息中包含有无接触点以及在有接触点情况下表示接触点的坐标的坐标信息。另外，例如在上次处理时接触、空中操作点都没有的状态下而本次在S3002中检测到右手的食指的空中操作的情况下，控制部110根据如图19所示的例子生成鼠标左按钮按下的操作指示信息。

另外，例如如果从上次检测到右手的食指的空中操作点的状态成为右手的空中操作的指为0根、或者从空中操作成为接触操作，则删除按下鼠标左按钮的操作指示信息。

同样地如果检测到左手的接触操作，则根据在S3002中识别出的该指而生成Alt键按下操作、Ctrl键按下的操作指示信息。另一方面，在无生成所需的变化的情况下不生成操作指示信息。预先在存储器上准备在发生哪个变化的情况下生成哪个操作指示信息这样的信息，通过参照它来进行上述判定。控制部110将操作的状态记录到存储器，接下来进入到S3005。

在S3005中，控制部110依照预定的通信形式向外部的影像输出装置4发送在S3004中得到的操作指示信息以及坐标信息而结束处理。如果获取到多个操作指示信息则连续地发送。预定的通信形式既可以是指依照与PC连接的鼠标以及键盘的操作指示信息传输的形式，也可以是指两者能够解释的独自的格式。

之后，在影像输出装置4中，与在进行预定的鼠标操作、键操作的情况下同样地，根据接收到的操作指示信息变更显示内容。

根据本实施方式，通过将由右手实施的空中操作分配给鼠标操作，将由左手实施的接触操作分配给键输入操作，用户6能够直观且简单地实现在投射面3上对显示内容的操作，得到使用便利性提高的效果。

此外，在本实施方式中，为了易于实施空中操作，关于图15所示的接近度A的高度(等级)，也可以使判定为等级3的高度比通常更大、或者加宽每个等级的检测的宽度等。

另外，在图19中示出的针对由手指实施的操作和用PC进行的操作的基于投射装置的操作方法的对应还能够基于与上述实施说明不同的分配来实施。例如，如果将写入操作限定于用食指实施的接触操作，将Ctrl键、Alt键按下分配给右手的拇指、中指的接触操作，则仅通过由右手实施的操作就能够实现所记载的一连串的功能。另外，例如，在有专用的操作工具(发光笔)的情况下，写入、删除的功能也可以通过操作工具来进行，对指针操作和对象以及照相机的控制分配手指的操作。

另外，也可以设为能够由用户来设定操作的分配方法。参照图20说明设定手指的形状与操作指示信息的对应的例子。在此，图20是设定手指的形状与操作指示信息的对应的操作指示信息登记画面，(a)是使用选项选择手指的形状的画面例，(b)是使用表示手指形状的图解的画面例。在使用投射型影像显示装置1的主体所具备的操作键(图2中未记载)、附属的远程控制器(同样图2中未记载)而调出图20的设定画面时，在投射面3上、或者显示画面20的一部分、或者整个面显示设定菜单，通过对此进行操作来进行投射面的亮度、色调、显示位置、设置方法、与外部的影像输出装置4的通信方法等各种设定。图20的符号901(用虚线围住的范围)所示的项目是设定项目的大分类的一览。例如在用户6适当按下操作键的上下按钮而选择“操作信息”时，针对各操作指示信息显示登记期望的手指形状的画面。

图20(a)的操作信息登记画面示出了想要更新分配给Ctrl键的手指形状的状态。选项从预先在投射型影像显示装置1内的存储器中准备的选项中来选择，用户6用操作键的上下按钮选择期望的手指形状。关于其它操作指示信息也同样地进行设定，在对所有操作指示信息完成选择时按下左键来决定。在选择最下级的初始化时，能够返回到预先记录于非易失性的存储器的初始的手指形状的分配。既可以在选择手指形状时使已登记为其它操作指示信息的形状不被登记、或者设置不登记手指形状的选项等，也可以在对所有操作指示信息的设定完成而登记时在存在重复选择了同一形状的情况下进行出错通知。

图20(b)是操作信息登记画面的又一例子，示出不准备选项而将想登记的手指形状(姿势操作)通过用户6实际进行来登记的例子。用户6维持想登记的姿态，投射型影像显示装置1与图12(a)同样地检测各手指的空中操作、接触操作，在识别出将一定的形状维持了预定的时间时，更新内部的存储器上的信息，以将该形状用作所选择的操作指示信息。此时，在用902表示的显示区域中，如果是用户6未操作的状态，则显示已登记的手指形状，在检测出用户6的某些操作的情况下，随时显示出控制部110识别为什么样的手指形状。由此，能够使用户6无误地设定手指形状。在显示例中，示出了用户6登记了左手的食指的接触操作。既可以在设定时将用所指定的手指形状来使用的某根指的同一操作已经对其它操作指示信息设定了的情况向用户6通知、或者不登记手指形状(在图20(b)中按下操作键的右按钮)，也可以在登记时产生无法在各操作之间实现的操作的情况下向用户6通知。其原因，例如，在对Ctrl键按下分配右手的中指的空中操作而对左击分配右手的中指的接触操作时，无法具备一边按下Ctrl键一边进行指针移动这样的用况。

无论在图20(a)、(b)哪个例子中，都能够在决定、登记以后通过所登记的手指形状代替外部的影像输出装置4(通用PC)的操作。

<第三实施方式>

作为投射型影像显示装置1的使用方法，考虑如图5那样作为向墙面投射的利用场景而以许多人为对象进行演示的例子。此时，使用投射型影像显示装置1的用户6既有存在对投射面3进行用手指着的操作的情况，也存在对显示内容进行执行追加记入的写入操作的情况。此时，例如，用手指着的操作在空中操作模式中进行指针显示而写入在接触操作模式中进行，作为如上所述的操作的区别，有用户6的视线一边朝向听众侧一边对处于背面的显示面进行操作的场景，所以想要避免原想进行空中操作而进行了错误的接触操作。

第三实施方式是鉴于上述情形而完成的，是防止用户无意的接触操作所致的操作指示的实施方式。以下，参照图21至图24说明第三实施方式。

图21是由左右手实施的触摸操作的示意图，(a)示出用户使手背朝向自己一侧的状态下由伸出食指的右手实施的操作，(b)示出使手掌朝向自己一侧的状态下由伸出食指的左手实施的操作。

在图21(a)以及(b)所示的操作中，手的影子形状的特征点极为类似。因此，如果误识别手背和手掌的朝向(正面、背面的区别)，则会将识别用哪根指操作弄错，以致错误地执行基于姿势动作的操作指示信息的输入。因此，以下说明检测手的差异的处理的例子。可以认为使手背朝向正面的左手和使手掌朝向正面的右手的判别也是同样的。

特征点检测部105根据影子区域401、402的形状计算影子所夹着的手形状部分的亮度分布。相对于手背的亮度分布是大致一样的，手掌的亮度分布由于指的影子、指甲的影响而亮度分布发生偏差。由此能够判断出左右中的哪个。或者，也可以从图像检测手指的指甲部分，根据它的有无以及位置坐标来判别。亦或，在右照明部10以及左照明部102照射了近红外光的情况下能够用照相机100拍摄手指的血管，所以也可以预先保持手背和手掌的血管图像，根据其与拍摄到的手形状部分的血管形状的类似度来判别。

参照图22说明血管形状。图22示出所获取的血管形状的示意图，(a)示出使手背朝向正面的右手，(b)示出使手掌朝向正面的左手。既可以如果在拍摄到的图像中有如(a)所示从手腕贯通至指尖的血管则判定为手背侧，也可以根据血管的树状形状更接近(a)(b)中的哪个来判定。

在伸出除了食指以外的指的形状、或者伸出多根指的形状的情况下也进行与上述同样的判别即可，例如如果是伸出拇指的形状，则能够获取拇指的特征点，还能够根据其位置进行左右手的判断。

也可以用以上任意的方法组合多个来判断。另外，例如在由于用户6戴着手套等而无法判断的情况下，也可以不判别手形状而在画面上显示无法进行判别的意思的消息等。

图23是将从正面以及侧面表现用户操作的手指形状的示意图与针对该操作的投射型影像显示装置1的响应输出关联起来而示出的图。操作1表示通过通常的接触操作实施写入处理的情况。此时，显示控制部111在指尖的接触点附近显示表示接受的意思的标记801以及用于表示能够执行写入处理的笔具标记804，向用户6通知判断为写入操作。

操作2是不仅指尖连拳头部分都接触的情况。此时，在接触点检测部107进行了接触点的检测之后，由控制部110将指尖的接触判定为无效。其结果，显示控制部111在指尖的接触点附近不显示表示接受的意思的标记而继续显示空中操作时显示的指针。

操作3是指尖不接触而仅拳头部分接触的情况。在该情况下，能够根据指尖的影子形状判断为是通常的空中操作模式，显示控制部111控制为显示指针。

操作4是以手的正反的朝向是相反的形状接触的情况。能够根据在使用图22以及图23的说明中示出的方法检测来手的正反。因此，在检测到手背朝向正面的状态(即，手掌与投射面3相对置的状态)的情况下，控制部110将指尖的接触判定为无效，显示控制部111不在指尖的接触点附近显示表示接受的意思的标记。或者，显示控制部111也可以继续显示空中操作时显示的指针。

此外，关于在操作2中示出的手形状，在桌上使用投射型影像显示装置1时(参照图1)，也可以认为接受指尖的接触而执行写入操作对用户而言更为优选。因此，例如，也可以控制部110根据将陀螺仪传感器搭载于投射型影像显示装置1而检测投射部115的投射方向得到的检测结果信息、或者用户从设定菜单画面(未图示)设定了投射方向的信息来判断投射方向，在投射面是水平面的情况下按照操作2使写入操作为有效，如果是垂直面(或者相对水平面具有预定角度以上倾斜角度的倾斜面)则使写入操作为无效。这样，也可以根据采取投射型影像显示装置1的设置方法的判断来进行接触操作模式的有效、无效的判断。

根据本实施方式，能够避免投射型影像显示装置1检测不小心的接触而根据错误的姿势操作进行写入处理，得到提高使用便利性的效果。

以上实施方式中的拳头部分的接触的判断基本上根据拍摄到的影像的坐标以及影子形状来进行。参照图24说明拳头部分有无接触的判断处理。图24是示出拳头部分有无接触的判断处理的图，(a)示出手指未接触时的影子，(b)示出仅拳头接触时的影子的状态，(c)示出指接触时(通常的触摸操作)的影子。

接触点检测部107根据影子部分与拳头部分的面积比率判定拳头部分有无接触。接触点检测部107根据从图25的手指的影子区域400排除因指的前后动作而变化的部位而得到的区域403(图中的用纵线的图案涂抹而记载的部分)与影子区域401、402的同样地排除因指的前后动作而变化的部位而得到的区域404、405(图中的用横线的图案涂抹而记载的部分)的面积比，来判定拳头部分有无接触。即，接触点检测部107在403的面积÷404和405的面积总和低于所规定的阈值的情况下(参照图24(b))判定为拳头部分接触。另外，接触点检测部107如果能够将指尖的影子检测出2点且为上述阈值以上则判定为指尖以及拳头是未接触的(参照图24(a))。

阈值的设定可以是任意值，例如也可以测量用户6在进行图24(c)所示的通常的接触动作时的影子形状而使用此时的上述面积比等。根据关于拳头部分的面积而存在个人差别，也可以有事先登记接触操作的处理。另外，手形状、影子形状还取决于用户6在投射面3上进行姿势操作的部位而不同，所以也可以根据照相机100、右照明部101、左照明部102的位置关系来校正阈值。

为了能够获取来自侧面的手指形状，也可以在投射面3的左右水平方向位置且与照相机100垂直方向上设置另一个照相机来获取图像而据此判断。如此，例如在图24中示出的用户操作时能够直接测量侧面的形状，所以能够更正确地检测用户操作。

<第四实施方式>

在用户对投射面3进行写入的情况下，只要能够简单地变更笔的种类、材质，就会表现力提高而利便性增加。

第四实施方式是鉴于上述情形而完成的，是根据姿势动作指定笔的种类、材质的实施方式。以下，参照图25至图27说明第四实施方式。图25是将接触的指的根数不同的姿势动作与粗度不同的笔关联起来的图，(a)示出通常的接触操作，(b)示出用两根指实施的接触操作。图26是将指压不同的姿势动作与粗度不同的笔关联起来的图，(a)示出通常的接触操作，(b)示出更强的(扩大手尖儿的接触面积)接触操作。图27是示出指压不同的姿势动作的影子形状的图，(a)示出未接触时的影子，(b)示出通常接触时的影子，(c)示出强的指压时的影子。

图25的操作1表示用1根食指进行接触操作的所谓通常的接触操作。

与此相对，图25的操作2表示用户6以并拢食指和中指这两根指的形状进行接触操作的情况。在该情况下，例如在接触点检测部107与图18的S2001以及S2002同样地同时检测出二点的接触点之后，控制部110根据二点的接触点属于同一只手这样的信息和二点的接触点坐标的距离小于某阈值，来将这二点判定为一个接触操作，响应为由粗度比通常接触操作时粗的笔实施的写入操作。

显示控制部111也可以在检测为中指顶端的基准坐标显示响应的标记801，另外在其附近显示笔具的标记804。另外，基准坐标也可以是食指以及中指各自的顶端的中点。

之后，在用户6以维持两根指对投射面3的接触的状态挪动指的期间，显示控制部111沿着其轨迹在显示画面上描绘线段。

此外，在本例中以由食指和中指实施的接触为例来举例，但也可以用其它两根指的组合进行同样的处理，也可以对三根以上指的接触操作的组合同样地以具有不同的含义的方式响应。例如在使食指、中指、无名指这三根一同进行接触操作的情况下，也可以设为笔道更粗的笔来进行写入操作、或者显示橡皮的图标而进行消去操作(消除至此为止写入的基于笔操作的显示)。

图26示出根据一根指的操作的指压的差异变更对用户6的响应的例子。图26的操作1表示基于通常的接触操作的写入操作。在用户6强按压指时，用户的手指从该状态成为操作2所示的操作形状。在控制部110根据照相机100拍摄到的图像判定为指被按压、即指压变高时，显示控制部111切换到笔道粗的笔操作。

图27示出根据影子形状识别在图26中示出的指压的强度时的处理。图27(b)是通常的接触操作(相当于图26的操作1)时的影子形状，在进一步使指压变强时，影子形状的轮廓线从直线变化为向内侧弯曲的形状。控制部110在影子形状的弯曲状况成为某阈值以上角度的情况下(参照图27(c))判定为指压的强度变强，显示控制部111实现操作2所示的响应即可。此外，图27(a)示出手指未接触到投射面3的状态的影子形状，在接触点检测部107检测出二个指尖的影子时，控制部110判定为是未接触。

为了能够获取来自侧面的手指形状，也可以在投射面3的左右水平方向位置且与照相机100垂直方向上设置另一个照相机来获取图像而据此判断。由此，例如能够直接测量在图27中示出的用户操作时的侧面的形状，所以能够更正确地检测用户操作。

此外，在本实施方式中将输出样式以2级状态来说明，但也可以控制为以连续量掌握在指压状况中发生的变化而以多级切换笔的粗度。

另外，也可以代替基于指压的状况的判断而使用对投射面3操作时的指的进入角度的差。即，例如在进行更接近垂直的接触操作的情况下，在采集拍摄到的影子形状时影子区域401以及影子区域402的2条直线的交点处的角度变大，相反地在以使拳头部分放平的(接近投射面3)状态进行接触操作的情况下，影子区域401以及影子区域402的2条直线的交点的角度变小。如果它小于以预定的值为阈值的某角度，则与图26的操作2同样地进行响应。在该例中也在与照相机100垂直方向上设置另一个照相机来获取图像，只要根据图像数据来判断就能够更正确地检测用户操作。

根据以上实施方式，用户能够利用简便的方法变更写入操作的类别，得到装置的使用便利性提高的效果。

<第五实施方式>

在第五实施方式中，示出在作为外部的影像输出装置4是例如平板式终端等的具有触摸板而能够利用进行显示画面外的框体部分的触摸操作(使幻灯片从显示画面外向画面内滑入(swipe in)、使幻灯片从显示画面内向画面外滑出(swipe out))的设备的情况下，将其与投射型影像显示装置1连接而使用时的由手指实施的控制方法的一个例子。以下，参照图28以及图29说明第五实施方式。图28是示出在投射面3上示出来自显示画面20外的手指操作的执行例的图。图29是示出用于对滑入操作分配姿势动作的设定画面的图。

如图28所示，用户6从投射型影像显示装置1能够进行操作检测的区域且未进行影像显示的区域、即显示画面20之外且最大投射范围2的内侧开始接触操作，以维持接触的状态使手指移动到显示画面20的区域内。控制部110能够通过使用显示画面的坐标信息和从通过照相机100获取的多个连续的图像信息得到的接触点的信息，来检测从显示画面20的区域外向区域内的操作。

此时，与第二实施方式同样地，生成与从显示画面20的区域外朝向区域内进行的手指操作对应的操作指示信息，从投射型影像显示装置1向影像输出装置4发送操作指示信息。

由此，能够通过相同的操作感提供与触摸板操作时相同的功能，得到无需损失用户的使用便利性来完成且能够直观地操作的效果。

其中，显示画面的尺寸变大，或者取决于取得投射面的位置和用户6的位置而产生用户6无法进行接触操作的区域。因此，与第二实施方式同样地，关于滑动操作也可以设定分配给任意的手指形状。

因此，例如在图29所示的设定画面中，针对上下左右4个方向的滑入操作，考虑用户的站立位置而分配从右方开始的从显示画面外起进行的操作、或者分配由用左手的多根指实施的接触操作。

根据本实施方式，即使在显示画面20外进行姿势动作，只要其在最大投射范围内就能够执行滑入操作，能够提高用户的使用便利性。

此外，如果能够通过影像输出装置4进行滑出操作(从显示画面内向显示画面外的框体部分的操作)，则也可以同样地将对应的操作指示信息发送到影像输出装置4、或者能够设定任意的手指形状。另外，也可以通过判别影像输出装置4是否是应对滑动功能的设备，来变更该功能的设定菜单的显示、非显示。

上述各实施方式并非限定本发明而在不脱离本发明的主旨的范围内有各种变更方案，它们也属于本发明的技术范围。

Claims (8)

1.一种投射型影像显示装置，与外部的信息处理装置连接，该外部的信息处理装置受理基于指针操作输入以及键输入的输入操作，该投射型影像显示装置的特征在于，具备：

投射部，向投射面上投射显示影像；

拍摄部，拍摄所述投射面而输出拍摄图像；

检测部，根据所述拍摄图像检测进行用于对所述信息处理装置的输入操作的动作的操作对象的状态；

操作指示信息生成部，根据所述检测部检测出的操作对象的状态，生成表示所述输入操作的内容的操作指示信息；以及

通信部，用于与所述外部的信息处理装置通信连接，

所述检测部检测所述操作对象的移动以及表示与所述操作对象的移动不同的所述操作对象的状态的属性，

所述操作指示信息生成部根据所述检测部检测出的所述操作对象的移动而生成用于对所述外部的信息处理装置进行所述指针操作输入的第1控制信息，并且根据所述检测部检测出的操作对象的所述属性而生成用于对所述外部的信息处理装置进行预定的键输入的第2控制信息，

所述通信部向所述外部的信息处理装置发送所述第1控制信息以及所述第2控制信息。

2.根据权利要求1所述的投射型影像显示装置，其特征在于，

还具备控制部，该控制部使所述投射部投射用于将所述操作对象的属性分配给所述键输入的设定画面。

3.根据权利要求1所述的投射型影像显示装置，其特征在于，

所述操作对象是用户的手指，

所述操作对象的属性包含表示由所述用户的哪根手指实施的操作的信息。

4.根据权利要求1所述的投射型影像显示装置，其特征在于，

所述操作对象是用户的手指，

所述操作对象的属性包含表示所述用户的手指的手掌侧或者手背侧中的哪个面与所述拍摄部相对置的信息。

5.根据权利要求1所述的投射型影像显示装置，其特征在于，

所述操作对象是用户的手指，

所述操作对象的属性包含用于判定是由所述用户的手指中的几根指实施的同时操作、或者所述用户的手指接触到所述投射面时的指压的强弱的信息。

6.根据权利要求1所述的投射型影像显示装置，其特征在于，

基于所述指针操作输入以及键输入的输入操作是用于设定为如下模式中的至少一个操作模式的操作：进行所述指针操作输入时的操作指针的显示模式、记入字符的写入模式、消去字符的消去模式、旋转显示所述显示影像所包含的部分区域的旋转操作模式、放大或者缩小显示所述部分区域的放大缩小模式。

7.根据权利要求6所述的投射型影像显示装置，其特征在于，

所述通信部接收包含所述外部的信息处理装置根据所述第1控制信息以及所述第2控制信息生成的所述操作指针以及表示所述操作模式的标记的至少一个的影像信号，

所述投射部投射基于所述影像信号的显示影像。

8.根据权利要求6所述的投射型影像显示装置，其特征在于，

还具备显示控制部，该显示控制部生成重叠于从所述外部的信息处理装置输入的影像的影像，

所述显示控制部根据所述第1控制信息以及所述第2控制信息生成所述操作指针以及表示所述操作模式的标记的至少一个而重叠到从所述外部的信息处理装置输入的影像，

所述投射部投射重叠有所述操作指针以及表示所述操作模式的标记的显示影像。