CN111746398A - 车辆的非接触操作装置和车辆 - Google Patents

Abstract

本发明涉及车辆的非接触操作装置和车辆，目的在于改善车辆的操作装置。汽车(1)的非接触操作装置(40)具有：投影设备(43)，其将影像投影到汽车(1)的车室(3)；生成部(51)，其生成和更新由投影设备(43)投影的影像；刺激响应输出部(53)，其针对对投影在车室(3)的影像进行操作的乘员的操作部位，输出超声波场引起的触觉刺激作为对操作的响应；以及检测设备(44)，其检测对投影在车室(3)的空间的影像进行非接触操作的乘员的操作部位。生成部(51)和刺激响应输出部(53)根据检测设备(44)检测到的乘员的操作部位的操作信息，更新影像和触觉刺激的输出。

Description

车辆的非接触操作装置和车辆

技术领域

本发明涉及车辆的非接触操作装置。

背景技术

车辆中设有各种操作部件。例如，车辆有用于控制车辆行驶的启动开关、方向盘、换档杆、踏板等。另外，在车辆中设有空调装置、导航装置、音频装置、影像接收装置、免提通话装置、其他设备机器的操作部件。如此，在车辆中设有多种操作部件。该多种操作部件是相对于车室的内表面布局的部件，但是近年来车室的布局面呈现不足的态势。今后，例如在考虑到增加游戏装置、网络通信装置、娱乐装置等的情况下，有可能无法再增设这些装置的操作部件。

特别是在车辆中，自动驾驶技术的开发正在推进，实际上随着其开发的进展，即使乘员不直接控制车辆的行驶，车辆也能够自主行驶，则乘员有可能会在例如放倒座椅的状态下乘坐。在这种情况下，乘员在要进行某种操作时，为了进行操作而需要立起身体，将手臂伸到相对于车室内表面布局的操作部件进行操作。

现有技术文献

专利文献

专利文献1：日本特开2017-027401号公报

发明内容

发明所要解决的课题

因此，关于车辆，如专利文献1所公开的那样，要求开发新型操作装置来操作投影到车辆车室的影像。

在专利文献1中，提示影像，对与所提示的影像对应的操作，向乘员的操作部位输出超声波场引起的触觉刺激。因此，乘员能够得到进行了与影像对应的操作的真实感。

但是，专利文献1只是根据操作部位的移动方向来增强和减弱触觉刺激，该触觉刺激并不与影像本身和影像的变化相对应。结果，由于触觉刺激的变化与例如影像的变化不对应，因此从视觉接受的感觉和从触觉接受的感觉之间有可能会产生差异或偏差引起的不协调感。

如此，车辆就需要改进操作装置。

解决课题的手段

本发明的车辆的非接触操作装置具有：投影设备，其将影像投影到车辆的车室；生成部，其生成和更新由所述投影设备投影的影像；刺激响应输出部，其针对对投影在所述车室的影像进行操作的乘员的操作部位，输出超声波场引起的触觉刺激作为对操作的响应；以及检测设备，其检测对投影在所述车室的空间的影像进行非接触操作的乘员的操作部位，其中，所述生成部和所述刺激响应输出部根据所述检测设备检测到的乘员的操作部位的操作信息，更新影像和触觉刺激的输出。

优选地，所述刺激响应输出部可以在所述生成部根据操作更新影像时，与所更新的影像对应地变更超声波场引起的触觉刺激的输出。

优选地，所述生成部可以根据由乘员的操作部位操作的影像的接触位置，通过影像的接触位置的变形、影像的移动以及它们的组合，来更新影像，当所述生成部以使影像的接触位置变形的方式更新影像时，所述刺激响应输出部改变超声波场引起的触觉刺激的输出；当所述生成部以使影像移动的方式更新影像时，所述刺激响应输出部使超声波场引起的触觉刺激的输出向相同方向挪动。

优选地，所述生成部和所述刺激响应输出部可以使影像和触觉刺激的输出沿着乘员的操作部位的运动方向移动。

优选地，所述生成部和所述刺激响应输出部可以按照与乘员的操作部位的运动速度相对应的量，使影像和触觉刺激的输出移动。

优选地，所述刺激响应输出部可以根据以下中的至少一项而输出不同的触觉刺激：关于影像的由乘员的操作部位操作的接触位置、乘员的操作部位的运动方向，以及乘员的操作部位的运动速度。

优选地，所述刺激响应输出部可以按照所述生成部的更新引起的影像的形状变化，使形状变化后的触觉刺激从形状变化前的触觉刺激发生改变。

优选地，所述刺激响应输出部可以通过所述生成部进行的影像更新，按照乘员的操作部位与影像接触的接触量的变化，使影像更新后的触觉刺激从影像更新前的触觉刺激有所增减。

优选地，所述车辆的非接触操作装置可以具有：声音输出设备，其向所述车室输出声音；以及声音响应输出部，其从所述声音输出设备，输出根据乘员的操作部位相对于投影到所述车室的影像的动作和影像的接触位置中的至少一项而不同的声音。

本发明的车辆具有：上述任一项所述的非接触操作装置；被控制装置，其通过网络与所述非接触操作装置连接，控制车辆；以及通信装置，其通过网络与所述非接触操作装置连接，与所述车辆的外部进行通信，其中，所述非接触操作装置将所述通信装置接收的内容作为影像进行投影。

发明效果

在本发明中，通过生成部生成向车辆的车室投影的影像，投影设备将生成的影像向车辆的车室投影。另外，检测乘员操作的检测设备检测对投影在车室的空间的影像进行非接触操作的乘员的操作部位。刺激响应输出部针对对投影在车室的影像进行操作的乘员的操作部位，输出超声波场引起的触觉刺激作为对操作的响应。

由此，当乘员对投影到车室空间的影像进行非接触操作时，对于进行了该操作的操作部位，会施加超声波场引起的触觉刺激作为对操作的响应。乘员能够获得仿佛实际操作了投影到车室空间的影像般的真实感。乘员可以一边保持实际操作的感觉，一边操作影像。

而且，乘员实际上在车室空间中非接触地对操作部件进行操作，因此不需要像车室的例如内表面和方向盘等操作部件那样直接接触结构物来进行操作。在车室内，乘员不需要在实际上通过操作部位进行操作的空间本身设置能够通过操作部位直接接触的操作部件。

无需在乘员附近新配置由乘员的操作部位直接操作的操作部件，就能够改善乘员的操作性。

另外，通过变更显示，能够切换并投影适于多个装置各自的操作的操作面板等。

特别是在本发明中，生成部和刺激响应输出部根据检测设备检测到的乘员的操作部位的操作信息，更新影像和触觉刺激的输出。例如，在生成部根据操作更新影像时，刺激响应输出部与更新的影像相对应地变更超声波场引起的触觉刺激的输出。当影像的更新使影像的表面形状或表面位置发生变更时，刺激响应输出部将变更后的影像的表面形状或表面位置作为基准，更新超声波场引起的触觉刺激的输出方式或位置。

而且，生成部和刺激响应输出部根据检测设备检测到的乘员的操作部位的操作信息，更新影像和触觉刺激的输出，其中，该检测设备检测对投影到车室空间的影像进行非接触操作的乘员的操作部位。触觉刺激可以与影像本身和影像的变化相对应地变化。例如，触觉刺激的变化可以对应影像的变化。乘员不易产生从视觉接受的感觉和从触觉接受的感觉之间的差异或偏差引起的不协调感。

由此，在本发明中，即使在对影像进行了最初的操作之后，根据操作也会将影像和触觉刺激变更为同步。

乘员即使在开始对影像进行操作之后的操作中，也能够保持对根据操作而变化的影像进行实际操作的感觉，同时继续对根据操作而变化的影像进行操作。影像和触觉同步变化，使得乘员即使在半空持续操作不存在实体的操作部件，也能够保持真实感地继续进行该操作。

与此相对，在影像的变化和触觉的变化不同步更新时，虽然乘员能够保持真实感地对最初的影像进行操作，但是对于之后的操作却难以保持真实感地进行操作。

附图说明

图1(A)-(C)是本发明实施方式的汽车的示意性说明图；

图2是图1(A)-(C)的汽车的控制系统的示意性说明图；

图3是图1(A)-(C)的汽车中设置的非接触操作装置的构成图；

图4是说明图3的非接触操作装置的构成要素在车室中的配置的一例的图；

图5是表示第一实施方式中的非接触操作处理的流程的流程图；

图6是表示第二实施方式中的非接触操作处理的主要部分的流程的流程图；

图7是表示图6的步骤ST19的刺激内容变更处理的流程的流程图；

图8是表示图6的步骤ST20的影像更新处理的流程的流程图。

符号说明

1…汽车(车辆)、2…车体、3…车室、4…座椅、10…控制系统、19…外部通信ECU、20…操作ECU、40…非接触操作装置、41…车内通信部、42…计时器、43…3D影像投影设备、44…操作检测设备、45…刺激输出设备、46…声音输出设备、47…存储器、51…影像生成部、52…操作判定部、53…刺激响应输出部、54…声音响应输出部、61…显示屏幕、62…半反射镜、63…立体摄像机、64…四边形框体、65…超声波元件

具体实施方式

下面基于附图，对本发明的实施方式进行说明。

[第一实施方式]

图1(A)-(C)是本发明实施方式的汽车1的示意性说明图。

图1(A)是俯视图，图1(B)是侧视图，图1(C)是侧视图。

图1(A)-(C)的汽车1是车辆的一例。汽车1具有设置有乘员乘坐的车室3的车体2。在车室3内设有乘员就座的座椅4。在车室3的前部，为了让乘员操作汽车1的行驶而设有方向盘5、换档杆6、制动器踏板7、加速器踏板8。如图1(B)所示，乘员能够在坐在座椅4上的状态下操作方向盘5等这些操作部件。

图2是图1(A)-(C)的汽车1的控制系统10的示意性说明图。图2中，构成控制系统10的多个控制装置通过分别编入的控制ECU(Electronic Control Unit，电子控制单元)来代表和表示。

具体而言，图2示出了驱动ECU11、转向ECU12、制动ECU13、自动驾驶/驾驶支援ECU14、驾驶操作ECU15、检测ECU16、空调ECU17、乘员监控ECU18、外部通信ECU19、非接触操作装置40的操作ECU20、系统ECU21。该多个控制ECU通过在汽车1中采用的例如CAN(Controller Area Network，控制器局域网)或LIN(Local Interconnect Network，本地互联网)等车辆网络26，与作为中继装置的中央网关(CGW)27连接。

并且，在各控制模块中，控制ECU与汽车1中使用的电子设备连接。启动的控制ECU执行各种处理，根据从车辆网络26获取的信息(数据)来控制分别连接的电子设备的运行。另外，控制ECU还向车辆网络26输出分别连接的电子设备的运行状态等信息(数据)。

例如，在驾驶操作ECU15连接有乘员为控制汽车1的行驶而操作的方向盘5、制动器踏板7、加速器踏板8、换档杆6等操作检测传感器。驾驶操作ECU15将与操作量相对应的控制信息向车辆网络26输出。驱动ECU11、转向ECU12、制动ECU13从车辆网络26获取信息，控制汽车1的行驶。

在检测ECU16连接有汽车1的速度传感器31、能够检测碰撞等引起的汽车1的加速度的加速度传感器32、外部摄像头33等。检测ECU16向车辆网络26输出汽车1的速度传感器31和加速度传感器32的值、外部摄像头33的图像等。检测ECU16也可以根据外部摄像头33的图像来预测碰撞，将预测结果输出到车辆网络26。中央网关27转发信息。操作ECU20从车辆网络26获取信息，在与之连接的未图示的显示设备上显示这些信息。在操作ECU20连接有显示设备和乘员操作的未图示的操作设备。

在乘员监控ECU18连接有内部摄像头34。乘员监控ECU18根据内部摄像头34的图像、从车辆网络26获取的例如冲击的加速度等信息，执行与乘坐汽车1的乘员相关的各种处理。乘员监控ECU18根据需要向车辆网络26输出图像、声音、其他信息(数据)。

外部通信ECU19例如与存在于汽车1外部的通信基站81、其他汽车82的通信装置进行无线通信。通信基站81和其他汽车82的通信装置与服务器装置83一起构成交通系统80。外部通信ECU19将从车辆网络26获取的信息向通信基站81、其他汽车82的通信装置无线发送。所发送的信息例如可以在服务器装置83或其他汽车82中使用。另外，外部通信ECU19从通信基站81、其他汽车82的通信装置接收信息，向车辆网络26输出。由此，汽车1的例如乘员监控ECU18能够通过外部通信ECU19，在与车外的服务器装置83或其他汽车82之间收发信息(数据)。

另外，从设置在汽车1的电池91向各部供给电力，可以使图2所示的控制系统10运行。从电池91通向各部的供电线例如与车辆网络26的通信线缆一起布设在汽车1中。除了电池91以外，也可以从发电机、电力接收器(受電機)向控制系统10供给电力。

如此，操作ECU20在汽车1中通过车辆网络26与其他控制装置连接。在图2中，操作ECU20以外的ECU是控制汽车1的被控制装置(被制御装置)。但是，外部通信ECU19是与汽车1的外部进行通信的通信装置。

另外，如上所述，在汽车1中设有各种装置及其操作部件。例如，汽车1具有用于控制汽车1行驶的启动开关、方向盘5、换档杆6、踏板等。另外，在汽车1中，除了上述装置以外，也设有导航装置、音频装置、影像接收装置、免提通话装置、其他设备机器的操作部件。如此，在汽车1中设有多种操作部件。该多种操作部件是相对于车室3的内表面布局的部件，但是近年来车室3的布局面呈现不足的态势。今后，例如在考虑到增加游戏装置、网络通信装置、娱乐装置等的情况下，有可能无法再增设这些装置的操作部件。

特别是在汽车1中，自动驾驶技术的开发正在推进，实际上随着其开发的进展，如果乘员不直接控制汽车1的行驶而汽车1也能够自主行驶，则例如如图1(C)所示，乘员有可能会在放倒座椅4的状态下乘坐。在这种情况下，乘员在要进行某种操作时，为了进行操作而需要从座椅4立起身体，将手臂伸到相对于车室3内表面布局的方向盘5等的操作部件进行操作。

因此，关于汽车1，要求开发新型操作装置来操作例如投影到汽车1的车室3的影像。

如此，汽车1的操作装置需要进一步改进。

图3是图1(A)-(C)的汽车1中设置的非接触操作装置40的构成图。

图3的非接触操作装置40具有车内通信部41、计时器42、3D影像投影设备43、操作检测设备44、刺激输出设备45、声音输出设备46、存储器47，以及与它们连接的操作ECU20。

存储器47例如为非易失性存储器。存储器47记录非接触操作用程序和数据。对于程序，也可以是通过AI执行处理的程序。程序可以包括用于AI处理的学习程序。数据包括非接触操作时投影的影像的三维模型数据等。三维模型数据是用于非接触操作的影像数据，具有例如构成模型的表面的多个多边形数据(ポリゴンデータ)。

操作ECU20例如可以是中央处理器、ASIC、DSP等微型计算机。操作ECU20从存储器47读取非接触操作用的程序并执行。由此，在操作ECU20中，实现非接触操作装置40的控制部。非接触操作装置40的控制部控制整个非接触操作装置40的工作，以在非接触操作装置40中实现用于非接触操作的各种功能。例如，在操作ECU20中，作为用于非接触操作的各种功能，实现影像生成部51、操作判定部52、刺激响应输出部53、声音响应输出部54。

车内通信部41与车辆网络26连接。车内通信部41通过车辆网络26，例如在与图中所示的空调ECU17、自动驾驶/驾驶支援ECU14等其他控制ECU之间收发信息(数据)。例如，车内通信部41从空调ECU17获取空调操作影像的显示指示，并向操作ECU20输出。车内通信部41从自动驾驶/驾驶支援ECU14获取用于自动驾驶/驾驶支援的设定操作影像的显示指示，并向操作ECU20输出。

计时器42计测经过时间或时刻。

影像生成部51根据显示指示，从存储器47或车内通信部41获取三维模型数据，以便生成投影的影像的数据。影像生成部51根据获取的三维模型数据生成三维模型。影像生成部51确定乘员所见的车室3内的三维模型的投影位置和方向，根据三维模型(立体模型)生成投影用的影像数据。影像生成部51将投影用的影像数据输出至3D影像投影设备43。影像生成部51也可以根据二维模型数据生成二维模型(平面模型)，生成投影用的影像数据。另外，即使在没有显示指示的情况下，影像生成部51也可以从存储器47或车内通信部41读取动态图像或静态图像等内容的显示数据，生成内容的三维影像(立体影像)或二维影像(平面影像)的影像数据，并输出至3D影像投影设备43。

3D影像投影设备43向车室3的空间投影3D(三维)的影像或者2D(二维)的影像。3D影像投影设备43例如可以通过全息图方式、镜像方式，将影像投影到车室3的中空空间。由此，在车室3的投影位置投影立体的影像，以使乘员能够目视确认三维模型。

操作检测设备44检测乘员的规定操作部位。操作检测设备44例如可以是并排配置有两个摄像元件的立体摄像机63。在这种情况下，操作检测设备44根据两个摄像元件的图像来检测乘员对投影到车室3中空部的影像进行的操作。

操作判定部52从操作检测设备44获取例如立体摄像机63的图像等检测信息，根据该检测信息来判定乘员对投影到车室3空间中的影像的操作。操作判定部52判定乘员操作部位的位置和运动。运动包括移动的方向、速度、加速度等操作部位的运动信息。操作判定部52例如通过AI处理从图像中获取包含乘员指尖特征的像素位置，通过立体摄像机63的图像的相关三角测量法来生成指尖的位置信息。操作判定部52根据错开时间的拍摄结果，生成指尖的运动，例如移动方向、移动速度、移动的加速度等信息。操作判定部52以影像的投影位置为基准来判定乘员的操作部位的位置和运动，并判定乘员对投影到车室3的空间中的影像的操作。操作判定部52对乘员的操作部位是否与投影的影像接触、距接触的剩余距离、接触的深度等进行判定。操作判定部52向操作ECU20的各部输出判定的这些操作信息。操作判定部52将操作信息输出到影像生成部51、刺激响应输出部53、声音响应输出部54。影像生成部51根据乘员的操作更新投影用的影像数据，并输出至3D影像投影设备43。由此，通过3D影像投影设备43投影到车室3的影像会响应操作而更新。

另外，当操作判定部52根据操作信息，判定乘员对投影到车室3的空间内的影像进行了操作时，会将该乘员的操作所产生的输入信息通过车内通信部41向汽车1的各部输出。例如当对投影的影像的操作按钮进行操作时，操作判定部52会生成操作所产生的输入信息，并输出到车内通信部41。车内通信部41将输入信息通过车辆网络26向被控制装置输出。

刺激输出设备45例如只要是能够通过电信号对乘员的操作部位施加触感的设备即可。作为对于非接触施加触感的设备，例如包括生成超声波场，并且通过对乘员的操作部位施加超声波场或场的变动来对操作部位的皮肤给予触感的设备。刺激输出设备45例如可以是在远离手边的平面上排列有多个超声波元件65的元件阵列。通过从多个超声波元件65选择性地输出超声波，能够对乘员的手的局部部位例如指尖施加仿佛与物体接触的触感。

刺激响应输出部53向刺激输出设备45输出电信号，从多个超声波元件65中选择性地输出与操作相应的超声波。因此，刺激响应输出部53能够在车室3中生成超声波场。刺激响应输出部53对由操作判定部52判定为与影像接触的乘员的操作部位局部施加超声波场或场的变动。当人例如把手伸到超声波场时，能够通过手表面的皮肤感觉到超声波场。由此，刺激响应输出部53针对对投影到车室3的空间中的影像进行非接触操作的乘员的操作部位，可以输出超声波场引起的触感的刺激作为对操作的响应。

另外，刺激响应输出部53例如也可以具有排列有多个压力输出元件的元件阵列。在这种情况下，刺激响应输出部53可以通过对多个压力输出元件的工作进行单独控制来对人的皮肤施加压力。由此，乘员能够得到与操作相应的触感。

声音输出设备46例如可以是由声音信号驱动的扬声器。

声音响应输出部54向声音输出设备46输出声音信号，从声音输出设备46输出与操作对应的声音。声音响应输出部54选择并获取存储器47中存储的声音数据，向作为声音输出设备46的扬声器输出根据声音数据生成的声音信号。由此，乘员能够听到与操作对应的声音。

图4是说明图3的非接触操作装置40的构成要素在车室3中的配置的一例的图。图4中一并示出用指尖操作影像的乘员。

非接触操作装置40设置在汽车1的车室3内。

图4是图3的3D影像投影设备43、操作检测设备44以及刺激输出设备45的具体组合例的示意性说明图。

在图4中，作为3D影像投影设备43，图示有显示屏幕61和半反射镜(ハーフミラー)62。立体摄像机63作为操作检测设备44被图示。元件阵列作为刺激输出设备45被图示。

刺激输出设备45具有中空的四边形框体64。在四边形框体64的4个面分别设有排列有多个超声波元件65的元件阵列。通过使四边形框体64的上下左右表面的元件阵列工作，如图所示，超声波场会作用于进入四边形框体64内的指尖。由此，人能够得到指尖所接触的触感。

半反射镜62相对于刺激输出设备45的中空四边形框体64设置在人的相反侧。半反射镜62相对于用点划线表示的四边形框体64的轴心倾斜45度而设置。在半反射镜62的下侧，配置有用于显示三维影像(立体影像)或二维影像(平面影像)的显示屏幕61。因此，人可以在刺激输出设备45的中空的四边形框体64的内侧目视确认三维影像(立体影像)或二维影像(平面影像)。人能够在中空的四边形框体64的内侧目视确认由图中的圆圈表示的作为三维影像的球体。

立体摄像机63例如可以设置在半反射镜62的后侧。由此，立体摄像机63的两个摄像元件相对于四边形框体64的轴心设置在形成对象的位置。由此，立体摄像机63能够拍摄进入刺激输出设备45的中空的四边形框体64的手指等。以下根据需要，将沿着四边形框体64的轴心的方向称为Z方向，将与Z方向垂直的方向称为Y方向和X方向。另外，通常可以将Z方向作为汽车1的前后方向。

另外，图3的非接触操作装置40的构成要素不必像图4所示的那样被集中配置在一处。

例如，刺激输出设备45的中空的四边形框体64在被配置在乘员的前面的情况下，在乘员操作方向盘5等时可能会妨碍操作。如图1(A)-(C)所示，中空的四边形框体64可以沿着车体2的外周面设置成四边形框状。在这种情况下，不需要在乘员就座的座椅4的前面设置四边形框体64等结构物。即使在这种情况下，如图中虚线圆所示，也能够将影像投影到车室3的空间中。另外，与投影的影像对应的操作区域位于四边形框体64的内侧。另外，中空的四边形框体64也可以不一定是正方形的框形状。也可以沿着车体2的外周配置元件阵列。另外，元件阵列也可以被整体地配置在车室3的内表面。

半反射镜62基本上可以以刺激输出设备45的中空的四边形框体64为基准，设置在与乘员头部相反的一侧。另外，如果只是为了将影像投影在四边形框体64的内侧的中空部中，则也可以使用全反射镜来代替半反射镜62。另外，也可以以刺激输出设备45的中空的四边形框体64作为基准，在与乘员头部相反的一侧配置显示屏幕61本身。在这种情况下，不需要半反射镜62或全反射镜。这样的半反射镜62或全反射镜以及显示屏幕61例如可以配置在搁脚板和车顶。

立体摄像机63等检测设备可以配置在室内镜、后视镜等。另外，也可以利用DMS等乘员监控装置的摄像元件对车室3进行拍摄。立体摄像机63等检测设备只要能够拍摄乘员的指尖等要检测的部位即可。另外，也可以不通过图像，而是例如通过对车室3进行激光扫描来检测乘员的指尖等。

图5是表示第一实施方式中的非接触操作处理的流程的流程图。

在步骤ST1中，操作ECU20判断是否开始投影影像的非接触操作。操作ECU20例如在有显示指示时，或者在显示内容时，判断为开始非接触操作，使处理进入步骤ST2。在除此以外的情况下，操作ECU20判断为不开始非接触操作，结束图5的处理。

在步骤ST2中，操作ECU20作为影像生成部51，生成并显示最初的3D影像。操作ECU20根据从存储器47或车内通信部41获取的三维模型数据生成三维模型，再生成投影用的影像数据。操作ECU20根据针对三维模型而预设的影像的最初的投影位置和显示方向的设定，从三维模型生成投影用的影像数据。操作ECU20也可以将生成的三维模型暂时记录在存储器47中。在这种情况下，操作ECU20可以在用于更新影像的下一次生成处理中，从存储器47读取三维模型，生成投影用的影像数据。操作ECU20将生成的投影用的影像数据输出至3D影像投影设备43。3D影像投影设备43将根据投影用的影像数据生成的影像投影到车室3的空间中。由此，例如，如图4所示，在乘员前面的规定的投影位置，以规定的显示方向显示三维模型。例如，如图1(B)所示，规定的投影位置可以设为成为坐在座椅4上的乘员直接伸手就能够到的范围的位置。规定的显示方向例如在三维模型具有朝向的情况下，只要是其正面朝向乘员的方向即可。

在步骤ST3中，操作ECU20作为操作判定部52，判断是否检测出乘员对影像的操作。操作ECU20从操作检测设备44获取例如立体摄像机63的图像等检测信息，提取乘员的例如指尖等规定部位，根据规定的操作部位在例如车室3中的位置变化和运动的有无，来检测乘员对影像的操作。在此时的操作检测中，即使乘员的操作部位未操作影像，操作ECU20也可以判断为检测到乘员对影像的操作。当没有检测到乘员对影像的操作时，操作ECU20会重复本步骤的判断处理。当检测到乘员对影像的操作时，操作ECU20使处理进入步骤ST4。

在步骤ST4中，操作ECU20作为操作判定部52，判定乘员对影像的操作。操作ECU20以影像的表面的投影位置为基准，判定乘员的操作部位是否处于与影像接触的状态，在操作部位处于操作影像的状态时进一步判定操作部位的接触形状、位置和运动(方向、速度)。接触形状例如可以是接触的手指的数量、手的位置等。进而，操作ECU20也可以以影像的表面的投影位置为基准，判定操作部位距离与影像接触的剩余距离、操作部位与影像接触的深度等。

另外，操作ECU20在根据操作信息判断为乘员对投影到车室3的空间中的影像的例如按钮等规定影像部分进行了操作时，生成该乘员的操作产生的输入信息。

在步骤ST5中，操作ECU20作为操作判定部52，向装置的内部和外部输出所判定出的乘员操作相关的操作信息和操作产生的输入信息。操作ECU20将操作信息输出到影像生成部51、刺激响应输出部53、声音响应输出部54。操作ECU20将输入信息通过车内通信部41向汽车1的各部输出。

在步骤ST6中，操作ECU20根据操作信息，通过触觉和声音输出对操作的响应。

操作ECU20作为刺激响应输出部53，根据操作信息来确定处于与影像接触的状态的乘员操作部位的位置，选择输出超声波的多个超声波元件65以向该位置输出超声波，向刺激输出设备45输出电信号。刺激输出设备45从选择的多个超声波元件65输出超声波。乘员可以利用超声波的响应来获得操作影像的触感。

操作ECU20作为声音响应输出部54，根据基于操作信息确定的处于与影像接触的状态下的乘员的操作部位的运动以及影像的接触位置，从存储器47中选择声音数据，将声音信号输出到声音输出设备46。声音输出设备46向车室3输出基于声音信号的声音。由此，乘员能够听到根据乘员的操作部位的运动和影像的接触位置而不同的声音作为操作的响应声音。

在步骤ST7中，操作ECU20作为影像生成部51，根据操作信息来更新投影的3D影像，以对操作进行响应。操作ECU20读取存储器47中记录的三维模型，更新投影用的影像数据，向3D影像投影设备43输出。3D影像投影设备43向车室3投影更新后的影像。由此，乘员能够通过影像的变化来在视觉上识别出正在对影像进行操作。操作ECU20根据操作检测设备44检测到的相同乘员的操作部位的操作信息进行更新，以将影像和刺激的输出同步。

在步骤ST8中，操作ECU20判断是否结束非接触操作。操作ECU20例如在输出完基于操作的输入信息时、没有新的显示指示时，或者正在显示的内容结束时，判断为结束非接触操作，结束图5的处理。在除此以外的情况下，操作ECU20使处理返回到步骤ST3。操作ECU20重复步骤ST3至步骤ST8的处理，直到在步骤ST8中判断为结束非接触操作。在该重复处理中，操作ECU20根据乘员对影像的操作，重复进行对乘员操作部位的刺激的响应、声音的响应、基于影像更新的响应的处理。即，操作ECU20在根据操作更新影像时，与更新的影像相对应地变更超声波场引起的刺激的输出。

如上所述，在本实施方式中，操作ECU20生成向汽车1的车室3投影的影像，操作检测设备44将生成的影像向汽车1的车室3投影。另外，检测乘员操作的操作检测设备44检测对投影在车室3的空间的影像进行非接触操作的乘员的操作部位。

刺激响应输出部53具有排列有多个超声波元件65的元件阵列，根据乘员的操作部位的操作信息，针对对投影到车室3的空间中的影像进行非接触操作的乘员的操作部位，输出超声波场引起的刺激作为对操作的响应。由此，当乘员对投影到车室3的空间的影像进行非接触操作时，对于进行了该操作的操作部位，会施加超声波场引起的刺激作为对操作的响应。

另外，操作ECU20根据操作检测设备44检测到的相同乘员的操作部位的操作信息来更新影像，以与刺激的输出同步。由此，当乘员对投影到车室3的空间的影像进行非接触操作时，进行了该操作的影像会作为对操作的响应而变更。

另外，操作ECU20根据操作检测设备44检测到的相同乘员的操作部位的操作信息，从声音输出设备46向车室3输出根据乘员的操作部位的运动和影像的接触位置而有所不同的声音。由此，当乘员对投影到车室3的空间的影像进行非接触操作时，能够听到根据该操作而不同的声音。

通过这些视觉、触觉和听觉的组合的响应，乘员能够获得仿佛实际操作了投影到车室3的空间的影像般的真实感。乘员可以一边保持实际操作的感觉，一边操作影像。

而且，乘员实际上在车室3的空间中非接触地对操作部件进行操作，因此不需要像车室3的例如内表面和方向盘5等操作部件那样直接接触结构物来进行操作。在车室3内，乘员不需要在实际通过操作部位进行操作的空间本身设置能够通过操作部位直接接触的操作部件。无需在乘员附近新配置由乘员的操作部位直接操作的操作部件，就能够改善乘员的操作性。另外，通过变更显示，能够切换并投影适于多个装置各自的操作的操作面板等。

特别是在本实施方式中，生成部和刺激响应输出部53根据操作检测设备44检测到的相同乘员的操作部位的操作信息，更新影像和刺激的输出，以使二者同步。例如，在生成部根据操作更新影像时，刺激响应输出部53与更新的影像相对应地变更超声波场引起的刺激的输出。当影像的更新使影像的表面形状或表面位置发生变更时，刺激响应输出部53将变更后的影像的表面形状或表面位置作为基准，更新超声波场引起的刺激的输出方式或位置。而且，影像生成部51和刺激响应输出部53根据检测设备检测到的相同乘员的操作部位的操作信息，更新影像和刺激的输出，其中，该检测设备检测对投影到车室3的空间的影像进行非接触操作的乘员的操作部位。刺激可以与影像本身和影像的变化相对应地变化。例如，刺激的变化可以对应影像的变化。乘员不易产生从视觉接受的感觉和从触觉接受的感觉之间的差异或偏差引起的不协调感。由此，即使在对影像进行了最初的操作之后，根据操作也会将影像和刺激变更为同步。乘员即使在开始对影像进行操作之后的操作中，也能够对根据操作而变化的影像保持实际操作的感觉，同时继续对根据操作而变化的影像进行操作。影像和刺激同步变化，使得乘员即使在半空持续操作不存在实体的操作部件，也能够保持真实感地继续进行该操作。

与此相对，在影像的变化和刺激的变化不同步更新时，关于对最初的影像的操作，虽然乘员能够保持真实感地进行操作，但是对于之后的操作却难以保持真实感地进行操作。

[第二实施方式]

接着，对本发明第二实施方式的汽车1的非接触操作装置40进行说明。在本实施方式中，对与上述实施方式对应的构成要素使用与上述实施方式相同的符号，并省略其说明。

图6是表示第二实施方式中的非接触操作处理的主要部分的流程的流程图。图6例如可以置换为图5的节点A的下侧的虚线框内侧的处理。

在本实施方式中，通信装置接收内容数据，非接触操作装置40通过车辆网络26从外部通信ECU19获取内容数据并投影影像。用户对作为内容的影像进行操作。当获取并投影内容数据时，非接触操作装置40的操作判定部52在图5的步骤ST5中不需要向装置外部输出操作产生的输入信息。

在步骤ST11中，操作ECU20判断乘员是否对已经开始投影的内容的影像进行操作。操作ECU20例如从操作检测设备44获取例如立体摄像机63的图像等检测信息，提取乘员的例如指尖等规定部位，根据规定的操作部位例如在车室3中的位置变化和运动的有无，来检测乘员对影像的操作。当乘员的操作部位接近影像的投影位置时，即使乘员的操作部位未对影像进行操作，操作ECU20也会判断为检测到操作。当没有检测到乘员对影像的操作时，操作ECU20会重复本步骤的判断处理。当检测到乘员对影像的操作时，操作ECU20使处理进入步骤ST12。

在步骤ST12中，操作ECU20作为操作判定部52，判定乘员对影像的操作，生成所判定的操作信息。操作ECU20判定乘员的操作部位是否对影像进行操作、操作部位的接触形状、位置和运动(方向、速度)、剩余距离、深度等作为操作信息。操作ECU20将所判定的操作信息输出到影像生成部51、刺激响应输出部53。操作ECU20在需要时，可以根据操作信息来判定操作产生的输入信息，并通过车辆网络26向装置外部输出。通信装置也可以获得操作产生的输入信息并将其发送到汽车1的外部。

在步骤ST13中，操作ECU20作为操作判定部52，判断乘员的操作部位对影像的操作是否为在影像的表面或其附近的操作。如果不是在影像的表面或其附近的操作，则操作ECU20使处理返回到步骤S12。如果是在影像的表面或其附近的操作，则操作ECU20使处理进入步骤S14。

在步骤ST14中，操作ECU20作为刺激响应输出部53，根据在影像的表面或其附近的操作相关的操作信息，选择对乘员的操作部位施加的刺激的种类。操作ECU20根据本次的操作信息，从在存储器47中预先与多个操作信息对应分类的多种刺激中选择一种刺激。

在步骤ST15中，操作ECU20作为刺激响应输出部53，设置刺激的输出位置和强度。操作ECU20根据操作信息，将处于与影像接触的状态的乘员的操作部位的位置设定为刺激的输出位置。操作ECU20根据选择的刺激种类，设定刺激的输出强度。

在步骤ST16中，操作ECU20作为刺激响应输出部53，开始输出刺激。操作ECU20向在步骤ST15中选择的位置选择输出超声波的多个超声波元件65，向刺激输出设备45输出电信号，以输出与刺激的输出强度对应的超声波。刺激输出设备45从选择的多个超声波元件65，以与刺激的输出强度对应的功率输出超声波。选择的刺激可以使乘员得到正在触摸影像进行操作的触感。

在步骤ST17中，操作ECU20判断是否结束刺激的输出。例如，当在内容中指示停止刺激输出时、内容结束时，操作ECU20判断为输出结束，并且结束图6的处理。在除此以外的情况下，操作ECU20使处理进入步骤ST18。

在步骤ST18中，操作ECU20作为操作判定部52，例如根据执行步骤ST11之后的操作检测设备44的立体摄像机63的新图像，来判定乘员对影像的下一操作，并更新操作信息。操作ECU20将所判定的操作信息输出到影像生成部51、刺激响应输出部53。

在步骤ST19中，操作ECU20作为刺激响应输出部53，根据更新后的操作信息来改变刺激的内容。操作ECU20根据更新后的操作信息，选择对乘员的操作部位施加的刺激的种类。另外，操作ECU20设置刺激的输出位置和强度，选择输出超声波的多个超声波元件65，向刺激输出设备45输出电信号。刺激输出设备45从选择的多个超声波元件65，向处于与影像接触的状态的乘员的操作部位输出与刺激的输出强度对应的超声波。乘员可以通过利用触摸影像的操作所更新的刺激，来获得触感的变化。

在步骤ST20中，操作ECU20作为影像生成部51，根据更新后的操作信息，来更新投影的影像。操作ECU20根据内容数据生成操作的三维模型，根据操作的三维模型生成投影用的影像数据。操作ECU20将更新的投影用的影像数据输出至3D影像投影设备43。3D影像投影设备43将根据更新后的投影用的影像数据生成的影像投影到车室3的空间中。由此，投影在乘员前面的三维模型的影像被更新为与乘员的操作部位的影像操作对应地变形或移动的影像。之后，操作ECU20使处理返回到步骤ST17。

操作ECU20重复步骤ST17至步骤ST20的处理，直到在步骤ST17中判断为输出结束。在该重复处理中，操作ECU20根据乘员对影像的操作，重复进行对乘员操作部位的刺激的响应、基于影像更新的响应的处理。由此，操作ECU20也会在根据操作更新影像时，与更新的影像相对应地变更超声波场引起的刺激的输出。

图7是表示图6的步骤ST19的刺激内容变更处理的流程的流程图。

在步骤ST31中，作为刺激响应输出部53的操作ECU20根据更新后的操作信息，判断与更新前相比，乘员操作部位到影像表面的距离是否发生了变化。如果到影像表面的距离未发生变化，则操作ECU20结束图7的处理。在这种情况下，对触感的刺激响应不会从操作信息更新之前的状态发生改变。如果到影像表面的距离发生了变化，则操作ECU20使处理进入步骤ST32。

在步骤ST32中，操作ECU20根据更新后的操作信息，判断到影像表面的距离发生了变化的乘员的操作部位是否与影像表面接触。如果在更新后的操作信息中未与影像表面接触，则操作ECU20使处理进入步骤ST33。如果在更新后的操作信息中与影像表面接触，则操作ECU20使处理进入步骤ST34。

在步骤ST33中，由于未与影像表面接触，因此操作ECU20将刺激的输出维持为相同刺激。另外，操作ECU20将强度变更为与更新后的操作信息中的剩余距离或深度相对应的强度。在这种情况下，刺激响应为与更新前相同的刺激，只有其强度根据操作信息来增减。之后，操作ECU20结束图7的处理。

在步骤ST34中，操作ECU20在比更新后的操作信息靠前的操作信息中，判断乘员的操作部位是否早就与影像接触。如果未与影像接触，则操作ECU20使处理进入步骤ST35。如果早就与影像接触了，则操作ECU20使处理进入步骤ST36。

在步骤ST35中，由于在本次更新后的操作信息中乘员的操作部位开始与影像接触，因此操作ECU20会改变刺激。操作ECU20根据更新后的操作信息，选择对乘员的操作部位施加的刺激的种类。另外，操作ECU20设置刺激的输出位置和强度，选择输出超声波的多个超声波元件65，向刺激输出设备45输出电信号。刺激输出设备45从选择的多个超声波元件65，向处于与影像接触的状态的乘员的操作部位输出与刺激的输出强度对应的超声波。乘员通过因开始接触影像而变更的刺激，身体能够感觉到操作从不接触影像的状态变为接触影像的状态。乘员可以获得接触前后的触感。之后，操作ECU20结束图7的处理。

在步骤ST36中，由于乘员的操作部位早就与影像接触，因此操作ECU20继续进行相同输出。操作ECU20通过刺激输出设备45输出与上次相同的刺激。乘员能够获得关于与影像表面接触的状态的一定触感。之后，操作ECU20结束图7的处理。

图8是表示图6的步骤ST20的影像更新处理的流程的流程图。

在步骤ST41中，作为影像生成部51的操作ECU20根据更新后的操作信息来判断乘员的操作部位是否与影像接触。如果乘员的操作部位未与影像接触，则操作ECU20结束图8的处理。在这种情况下，影像不会从操作信息更新前的状态发生改变。在除此以外的情况下，操作ECU20使处理进入步骤ST42。

在步骤ST42中，操作ECU20根据更新后的操作信息，判断乘员的操作部位所接触的影像的接触位置是否为影像能够变化的区域。如果所接触的影像的接触位置是影像能够变化的区域，则操作ECU20使处理进入步骤ST43。如果影像的接触位置不是影像能够变化的区域，则操作ECU20使处理进入步骤ST44。

在步骤ST43中，操作ECU20根据更新后的操作信息来更新影像，以使作为影像可变区域的影像的接触位置根据操作而变形。3D影像投影设备43将根据更新后的投影用的影像数据生成的影像投影到车室3的空间中。由此，投影在乘员前面的三维模型影像的形状与乘员操作部位的影像操作相对应地变形。投影影像的形状按照接触的操作而变化。之后，操作ECU20使处理进入步骤ST44。

在步骤ST44中，操作ECU20根据更新后的操作信息，判断是否需要移动影像的位置和方向。如果不需要移动影像的位置和方向，则操作ECU20结束图8的处理。如果需要移动影像的位置和方向，则操作ECU20使处理进入步骤ST45。

在步骤ST45中，操作ECU20根据更新后的操作信息来更新影像，以按照操作移动或旋转影像。3D影像投影设备43将根据更新后的投影用的影像数据生成的影像投影到车室3的空间中。由此，投影在乘员前面的三维模型影像的位置和方向被更新为与乘员操作部位的影像操作相对应。投影影像的位置和方向根据接触的操作而变化。之后，操作ECU20结束图8的处理。

通过这样的处理，操作ECU20能够实现如下在视觉和触觉上协调的操作响应。

例如，操作ECU20根据由乘员的操作部位操作的影像的接触位置，通过影像接触位置的变形、影像的移动以及它们的组合，来更新影像。并且，当以使影像的接触位置变形的方式更新影像时，操作ECU20可以根据与用于影像响应的操作信息相同的操作信息，改变超声波场引起的刺激的输出水平或输出方式。另外，当以移动影像的方式更新影像时，操作ECU20可以使超声波场引起的刺激的输出范围或输出位置向相同方向挪动。例如，操作ECU20可以使影像和刺激的输出沿着乘员操作部位的运动方向移动。例如，操作ECU20可以按照与乘员操作部位的运动速度相对应的量，使影像和刺激的输出移动。

此外，例如，操作ECU20可以根据能够基于影像的投影位置和操作信息进行判定的、由乘员的操作部位操作的影像的接触位置(区域)，来输出不同的刺激。操作ECU20可以根据能够基于操作信息进行判定的乘员操作部位的运动方向和运动速度，来输出不同的刺激。操作ECU20可以根据接触影像时的手势来输出不同的刺激。例如，操作ECU20可以结合影像更新引起的形状变化，来从形状变化前的刺激改变形状变化后的刺激。另外，操作ECU20能够通过影像的更新，结合乘员的操作部位与影像接触的接触量的变化，来使影像更新后的刺激从影像更新前的刺激发生增减。

接着，对在车室3的空间中显示的影像，以及对它的操作和响应的组合的具体例进行说明。

(具体例1)

操作ECU20通过3D影像投影设备，向车室3的仪表板的上方的空间投影狗的3D影像。

乘员向仪表板上方的影像伸出手，用手掌抚摸3D影像的狗。

操作ECU20通过操作检测设备44来检测手掌，以3D影像的狗的表面的位置为基准，判定抚摸3D影像的狗的手掌的位置和运动。

操作ECU20从刺激输出设备45向手掌输出超声波来施加刺激，从声音输出设备46输出狗的叫声，以此来对所判定的手掌抚摸动作的相关操作信息进行响应。

另外，操作ECU20根据相同的操作信息，来改变投影的狗的3D影像。操作ECU20根据手掌接触的影像的接触位置来更新影像。操作ECU20将投影的狗的3D影像变更为对接触位置的接触进行反应的影像。操作ECU20更新投影的狗的3D影像，使其向手掌的操作方向移动。

另外，在这一系列的控制中，操作ECU20也可以将投影的狗的表面作为基准，在乘员的手掌向规定距离以内接近时，从刺激输出设备45向手掌输出超声波来施加刺激。在这种情况下，可以设置成从乘员手掌到影像表面的距离越短，操作ECU20从刺激输出设备45向手掌输出的刺激越强。刺激可以在影像的表面设为极大。

如此，操作ECU20可以检测乘员手掌对影像的操作，根据该操作同步更新狗的3D影像和对触觉的刺激响应。3D影像和声波场可以同步移动。

(具体例2)

操作ECU20通过3D影像投影设备，向车室3的空间投影人物的3D影像。

乘员向影像伸出手，用手指按压3D影像人物的肚子。

操作ECU20通过操作检测设备44来检测手指，以3D影像的表面位置为基准，判定手指的位置和运动。

操作ECU20使投影人物的3D影像发生变化，以响应所判定的手指的按压动作的相关操作信息。操作ECU20将3D影像变更为使手指操作的接触位置凹陷的影像。

操作ECU20根据相同的操作信息，从刺激输出设备45向指尖输出超声波来施加刺激。操作ECU20以按压3D影像前的最初的表面位置为基准，从刺激输出设备45输出根据手指前端从影像的表面位置的侵入深度(影像的凹陷量)而增加的超声波。由此，可以对手指施加影像因手指而弹性变形的触感。

(具体例3)

操作ECU20通过3D影像投影设备，向车室3的空间投影具有硬质部位和柔软部位的人物的3D影像。

另外，投影影像的相关各部的性质参数例如可以在多边形数据中作为一个属性而保持。另外，操作ECU20也可以根据3D模型中各部的位置，通过AI处理等独立判定各部的性质。

乘员向影像伸出手，用手指按压3D影像人物。

操作ECU20通过操作检测设备44来检测手指，以3D影像的表面位置为基准，判定手指的位置和运动。

操作ECU20使投影人物的3D影像发生变化，以响应所判定的手指的按压动作的相关操作信息。

如果手指按压的影像部位是硬质部位，则操作ECU20使手指操作的影像向手指的操作方向移动。操作ECU20以与手指的按压速度和按压量相对应的移动量，使影像移动。

如果手指按压的影像部位是柔软部位，则操作ECU20使手指操作的接触位置向手指的操作方向凹陷。操作ECU20以与手指的按压速度和按压量相对应的凹陷量，使影像变形。

操作ECU20根据相同的操作信息，从刺激输出设备45向指尖输出超声波来施加刺激。

如果手指按压的影像部位是硬质部位，则操作ECU20以3D影像的上一次表面位置为基准，从刺激输出设备45仅向手指的前端部位输出根据手指前端从影像的表面位置的侵入量而急剧增加的超声波。

如果手指按压的影像部位是柔软部位，则操作ECU20以3D影像的上一次表面位置为基准，从刺激输出设备45向整个手指输出根据手指前端从影像的表面位置的侵入量而缓慢增加的超声波。

由此，能够通过手指的触感给乘员带来影像的各部分的质感。

例如，在操作投影的人物的硬部分时，该人物一边稍稍凹陷而变形，一边以较快速度大幅移动。操作ECU20能够仅向乘员的指尖输出与该变形和移动相对应的刺激。

另外，当操作人物柔软的部分时，影像一边大幅凹陷变形，一边以慢速稍微移动。操作ECU20能够向乘员的整个手指输出与该变形和移动相对应的刺激。

如此，根据乘员对3D影像的接触位置、操作部位的运动(操作方向、操作速度和操作量)，切换影像的变形和移动，进而切换成使对触觉的刺激不同，由此能够使乘员识别影像各部分质感的区别。

(具体例4)

操作ECU20通过3D影像投影设备将人物头部的3D影像投影到车室3的空间。

另外，投影影像的头部的眼、鼻、口、耳、脸颊、毛发等各部分的属性，例如可以保存在多边形数据中。另外，操作ECU20也可以根据3D模型中各部的位置，通过AI处理等独立判定各部的性质。

乘员向影像伸出手，用手掌触摸3D影像的头部。

操作ECU20通过操作检测设备44来检测手掌，以3D影像的表面位置为基准，判定手掌的位置和运动。

操作ECU20使投影人物的3D影像发生变化，以响应所判定的手掌的运动的相关操作信息。

例如当用手掌抚摸毛发时，操作ECU20更新影像，以使被抚摸的毛发的影像在沿着头部表面的曲面内摇动。

当用手指按压脸颊时，操作ECU20更新影像，以使被按压的脸颊凹陷。

操作ECU20根据相同的操作信息，从刺激输出设备45向手掌输出超声波来施加刺激。

当用手掌沿着沿头部表面的曲面抚摸毛发时，操作ECU20从刺激输出设备45向整个手掌输出较弱变动的超声波。由此，乘员能够得到摇动的毛发的顺滑触感。

当用手指相对于头部的表面大致垂直地按压脸颊的部位时，操作ECU20以头部的最初的表面位置为基准，从刺激输出设备45向手指前端输出根据从表面位置的侵入量而变动并增加的强超声波。可以输出超声波以向手指前端的全周施加压迫感。超声波可以根据进入影像的手指或拳头的体积等无级增强。超声波可以根据影像形状的变化而发生变动。由此，乘员可以获得所按压的面颊一边摇动一边凹陷般的触感。

如此，根据人物头部的接触位置和操作部位的接触速度、接触方向的组合而使刺激不同，由此乘员能够得到仿佛接触真正的头部一般的触感。

操作ECU20也可以从存储器47中获取按照头部各部分将多个手势(操作的方式)进行分类的图案，根据该图案来判断对头部的各部分的操作的类别。另外，也可以对皮肤、头发、衣服、固定物等接触位置进行分类。

另外，操作ECU20可以根据操作方式等手势，使输出超声波的期间、超声波的衰减速度等不同。由此，可以使刺激的更新方式在快速接触和长时间接触的各个情况下有所不同。对于像敲击那样强而短的刺激，可以响应输出在冲击性方面大幅增减的刺激；同时，对于像抚摸那样弱而长的刺激，可以响应输出缓慢而小幅增减的刺激。

如此，根据乘员对3D影像的接触位置、操作部位的运动(操作方向、操作速度和操作量)，切换影像的变形和移动，进而切换成使对触觉的刺激不同，由此能够使乘员识别影像各部分质感的区别和操作的内容。

(具体例5)

操作ECU20通过3D影像投影设备，向车室3的空间投影人物手臂的3D影像。

另外，投影影像的手臂的可动范围等属性，例如可以保存在多边形数据中。另外，操作ECU20也可以根据3D模型中各部的位置，通过AI处理等独立判定各部的属性。

乘员向影像伸出手，用手握住影像的手臂而运动。

操作ECU20通过操作检测设备44来检测乘员的手，以3D影像的表面位置为基准，判定手的位置和运动。

操作ECU20使投影人物的3D影像发生变化，以响应所判定的手的运动的相关操作信息。

例如当用手握住影像的手臂而运动时，操作ECU20更新影像，以按照手的位置和运动来移动手臂的影像。操作ECU20在可动范围内更新影像以移动手臂的影像。

操作ECU20根据相同的操作信息，从刺激输出设备45向手输出超声波来施加刺激。

当手臂在可动范围内运动时，操作ECU20向手部输出与手臂的重量和按压手臂的反作用力相对应的超声波。由此，乘员能够获得仿佛握着有重量的手臂一般的触感，或者仿佛握着有反作用力的手臂一般的触感。

当手臂超出可动范围运动时，操作ECU20向手部输出比在可动范围内输出的超声波大的超声波。由此，乘员可以获得在手臂将要超出可动范围运动时作用的强反作用力的触感。

如此，根据乘员对3D影像的接触位置、操作部位的运动(操作方向、操作速度和操作量)，切换影像的变形和移动，进而切换成使对触觉的刺激不同，由此能够使乘员识别影像各部分质感的区别和操作的内容。

(具体例6)

操作ECU20通过3D影像投影设备，向车室3的空间投影手指按压后能够凹陷的人或动物等角色，或者即使手指按压也不会凹陷的开关等结构物的3D影像。

另外，投影影像的人物和结构物等种类的属性，例如可以保存在多边形数据中。另外，操作ECU20也可以根据3D模型，通过AI处理等独立判定类别。

乘员向影像伸出手，用手指按压影像。

操作ECU20通过操作检测设备44来检测乘员的手指，以3D影像的表面位置为基准，判定手指的位置和运动。

操作ECU20根据显示的影像的类别来使投影人物的3D影像发生变化，以对所判定的手指运动的相关操作信息进行响应。

例如当显示人物时，操作ECU20根据手指的位置和运动来更新影像，使人物的3D影像在操作部位凹陷。

当显示开关等结构物时，操作ECU20更新影像，使结构物的3D影像不会因手指的位置和运动而在操作部位凹陷。操作ECU20更新影像以改变开关的颜色等。在这种情况下，操作的指尖会进入3D影像表面的里侧。操作ECU20也可以在指尖进入影像的里侧时，使开关的颜色变淡而成为半透明，对结构物的内部结构进行骨架显示。操作ECU20也可以根据手指的运动来移动结构物的3D影像。

操作ECU20根据相同的操作信息，从刺激输出设备45向手指输出超声波来施加刺激。

例如当显示人物时，操作ECU20以人物最初的投影位置为基准，向指尖的周围输出与手指进入的量相对应的强度的超声波。

当显示开关等结构物时，操作ECU20向指尖输出一定强度的超声波。

这样根据由3D影像投影的物体来切换影像的变形，进而切换成对触觉的刺激不同，由此能够使乘员识别与投影的影像的种类相对应的操作感的区别。

如上所述，在本发明实施方式中，当乘员对投影到车室3的空间中的影像进行操作时，根据该操作信息，更新投影的影像，向操作部位输出超声波，输出声音。由此，对投影到车室3的空间中的影像进行了非接触操作的乘员能够通过视觉、触觉、听觉接受与操作内容相对应的响应，从而得到真实的操作感。

例如，对于像图1(C)那样在车室3中舒适躺卧的乘员，这种非接触操作装置40不仅能够适用于提供基于操作部件影像的良好用户界面的情况，还能够适用于提供具有高娱乐性的内容的情况。乘员等用户通过接受根据操作内容而不同的响应，能够对各种操作保持各个操作的操作真实感，同时能够连续地进行操作。

上述实施方式为本发明的优选实施方式的示例，但本发明并不限于此，可以在不脱离本发明要旨的范围内进行各种变形或变更。

例如，在上述实施方式中，非接触操作装置40设置在汽车1等车辆中。

此外，例如，非接触操作装置40也可以设置在用户使用的家具和家电产品中。另外，非接触操作装置40可以与车辆、家具或家电产品分开设置，由用户自行设置在车辆、家具或家电产品中。

Claims (10)

1.一种车辆的非接触操作装置，包括：

投影设备，其将影像投影到车辆的车室；

生成部，其生成和更新由所述投影设备投影的影像；

刺激响应输出部，其针对对投影在所述车室的影像进行操作的乘员的操作部位，输出由超声波场引起的触觉刺激作为对操作的响应；以及

检测设备，其检测对投影在所述车室的空间的影像进行非接触操作的乘员的操作部位，

其中，所述生成部和所述刺激响应输出部根据所述检测设备检测到的乘员的操作部位的操作信息，更新影像和触觉刺激的输出。

2.根据权利要求1所述的车辆的非接触操作装置，其中，

所述刺激响应输出部在所述生成部根据操作更新影像时，与更新的影像对应地变更由超声波场引起的触觉刺激的输出。

3.根据权利要求1或2所述的车辆的非接触操作装置，其中，

所述生成部根据由乘员的操作部位操作的影像的接触位置，通过影像的接触位置的变形、影像的移动以及它们的组合，来更新影像，

当所述生成部以使影像的接触位置变形的方式更新影像时，所述刺激响应输出部改变由超声波场引起的触觉刺激的输出；当所述生成部以使影像移动的方式更新影像时，所述刺激响应输出部使由超声波场引起的触觉刺激的输出向相同方向挪动。

4.根据权利要求3所述的车辆的非接触操作装置，其中，

所述生成部和所述刺激响应输出部使影像和触觉刺激的输出沿着乘员的操作部位的运动方向移动。

5.根据权利要求3所述的车辆的非接触操作装置，其中，

所述生成部和所述刺激响应输出部按照与乘员的操作部位的运动速度相对应的量，使影像和触觉刺激的输出移动。

6.根据权利要求1或2所述的车辆的非接触操作装置，其中，

所述刺激响应输出部根据以下中的至少一项而输出不同的触觉刺激：关于影像的由乘员的操作部位操作的接触位置、乘员的操作部位的运动方向，以及乘员的操作部位的运动速度。

7.根据权利要求1或2所述的车辆的非接触操作装置，其中，

所述刺激响应输出部按照由所述生成部的更新引起的影像的形状变化，使形状变化后的触觉刺激从形状变化前的触觉刺激发生改变。

8.根据权利要求1或2所述的车辆的非接触操作装置，其中，

所述刺激响应输出部通过所述生成部进行的影像更新，按照乘员的操作部位与影像接触的接触量的变化，使影像更新后的触觉刺激从影像更新前的触觉刺激有所增减。

9.根据权利要求1或2所述的车辆的非接触操作装置，具有：

声音输出设备，其向所述车室输出声音；以及

声音响应输出部，其从所述声音输出设备输出根据以下中的至少一项而不同的声音：乘员的操作部位相对于投影到所述车室的影像的动作，和影像的接触位置。

10.一种车辆，包括：

根据权利要求1～9中任一项所述的非接触操作装置；

被控制装置，其通过网络与所述非接触操作装置连接，控制车辆；以及

通信装置，其通过网络与所述非接触操作装置连接，与所述车辆的外部进行通信，

其中，所述非接触操作装置将所述通信装置接收的内容作为影像进行投影。

Images