[go: up one dir, main page]

JP2019086911A - In-vehicle user interface device - Google Patents

In-vehicle user interface device Download PDF

Info

Publication number
JP2019086911A
JP2019086911A JP2017212999A JP2017212999A JP2019086911A JP 2019086911 A JP2019086911 A JP 2019086911A JP 2017212999 A JP2017212999 A JP 2017212999A JP 2017212999 A JP2017212999 A JP 2017212999A JP 2019086911 A JP2019086911 A JP 2019086911A
Authority
JP
Japan
Prior art keywords
stereoscopic image
display
occupant
vehicle
user interface
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2017212999A
Other languages
Japanese (ja)
Inventor
志遠 彭
Zhiyuan Peng
志遠 彭
高志 目崎
Takashi Mesaki
高志 目崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Motors Corp
Original Assignee
Mitsubishi Motors Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Motors Corp filed Critical Mitsubishi Motors Corp
Priority to JP2017212999A priority Critical patent/JP2019086911A/en
Publication of JP2019086911A publication Critical patent/JP2019086911A/en
Pending legal-status Critical Current

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Devices For Indicating Variable Information By Combining Individual Elements (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

【課題】車両のユーザーにとって使い勝手がよく、直観的にコンテンツを得ることができる車載ユーザーインターフェース装置を提供する。【解決手段】コンテンツを記憶した記憶装置と、車室の座席間の空間に、複数のコンテンツを立体画像として分散配置して表示する表示装置30と、表示装置30が立体画像を表示可能な表示領域31内におけるユーザーの手の動作を検出する動作検出手段と、複数の立体画像のうち動作により選択された立体画像を、動作に追随させて表示装置30に表示させる表示制御手段と、を備える。【選択図】図5PROBLEM TO BE SOLVED: To provide an in-vehicle user interface device which is convenient for a vehicle user and can intuitively obtain contents. SOLUTION: A storage device that stores contents, a display device 30 that dispersively arranges and displays a plurality of contents as a stereoscopic image in a space between seats in a vehicle interior, and a display that allows the display device 30 to display a stereoscopic image. A motion detection unit that detects a motion of the user's hand in the area 31, and a display control unit that causes the display device 30 to display the stereoscopic image selected by the motion among the plurality of stereoscopic images according to the motion. .. [Selection diagram] Fig. 5

Description

本発明は、様々なコンテンツを立体映像として空間に表示し、その立体映像の周囲におけるユーザーの手の動きに応じて立体映像を変化させる車載ユーザーインターフェース装置に関する。   The present invention relates to an on-vehicle user interface device that displays various contents as a stereoscopic video in space and changes the stereoscopic video according to the movement of the user's hand around the stereoscopic video.

従来、液晶パネルなどの表示装置を用いた車載表示装置が知られている(例えば、特許文献1参照)。このような車載表示装置は、空調装置など車両に備わる各種装置に関する情報を表示するだけではなく、車両周辺の施設に関する情報なども表示することができる。   BACKGROUND Conventionally, an on-vehicle display device using a display device such as a liquid crystal panel is known (see, for example, Patent Document 1). Such an on-vehicle display device can not only display information on various devices provided in the vehicle such as an air conditioner, but can also display information on facilities around the vehicle.

このように車両のユーザーに提示する情報は多種多様となっているため、ユーザーに分かりやすく表示するための様々な工夫がなされている。例えば、複数の情報を三次元的に画面に表示し、ユーザーの操作に基づいて表示位置などを変化させている。   As described above, the information presented to the user of the vehicle is diverse and various ideas have been made to display the information in an easy-to-understand manner for the user. For example, a plurality of pieces of information are three-dimensionally displayed on the screen, and the display position or the like is changed based on the user's operation.

しかしながら、表示装置の表示範囲は、多数の情報を表示するには限界があり、ユーザーにとって見難いものとなってしまう。また、ユーザーの操作によって情報を見やすい位置に表示させるとしても、そのために必要な操作が複数ステップを踏む必要があるなど、煩雑になってしまう。   However, the display range of the display device is limited for displaying a large amount of information, which makes it difficult for the user to see. Further, even if the information is displayed at a position where the information can be easily viewed by the operation of the user, the operation necessary for the operation is complicated, for example, it is necessary to take a plurality of steps.

特開2013−84070号公報JP, 2013-84070, A

本発明は、このような事情に鑑みてなされたものであり、車両のユーザーにとって使い勝手がよく、直観的にコンテンツを得ることができる車載ユーザーインターフェース装置を提供することを目的とする。   The present invention has been made in view of such circumstances, and it is an object of the present invention to provide an on-vehicle user interface device that is easy for the user of a vehicle and that can intuitively obtain content.

上記課題を解決する本発明の第1の態様は、所定のコンテンツを記憶した記憶装置と、車室の座席間の空間に、複数の前記コンテンツを立体画像として分散配置して表示する表示装置と、前記表示装置が前記立体画像を表示可能な表示領域内におけるユーザーの手の動作を検出する動作検出手段と、複数の前記立体画像のうち前記動作により選択された前記立体画像を、前記動作に追随させて前記表示装置に表示させる表示制御手段と、を備えることを特徴とする車載ユーザーインターフェース装置にある。   According to a first aspect of the present invention for solving the above-mentioned problems, there is provided a storage device storing predetermined content, and a display device for displaying a plurality of the content in a distributed manner as a stereoscopic image in a space between seats in a vehicle compartment. A motion detection unit that detects a motion of the user's hand in a display area in which the display device can display the stereoscopic image; and the stereoscopic image selected by the motion among the plurality of stereoscopic images as the motion And a display control unit configured to cause the display unit to display the following information.

第1の態様では、ユーザーが立体画像に直接触れ、見やすい位置に移動させたり、見やすく拡大させるなど、直観的なユーザーインターフェースが実現される。   In the first aspect, an intuitive user interface is realized such as a user directly touching a stereoscopic image, moving it to a position where it can be viewed easily, enlarging it for easy viewing, and the like.

本発明の第2の態様は、第1の態様に記載の車載ユーザーインターフェース装置であって、前記表示装置に対する乗員の位置を検出する乗員位置検出手段を備え、前記表示制御手段は、前記立体画像を前記乗員の位置に向けて表示することを特徴とする車載ユーザーインターフェース装置にある。   A second aspect of the present invention is the on-vehicle user interface device according to the first aspect, comprising an occupant position detection means for detecting the position of an occupant with respect to the display device, the display control means comprising: In the on-vehicle user interface device, which is displayed toward the position of the occupant.

第2の態様では、乗員の位置に向けて立体画像を表示することができる。これにより、乗員に対して、立体画像をより一層見やすく表示させることができる。   In the second aspect, a stereoscopic image can be displayed toward the position of the occupant. As a result, the stereoscopic image can be displayed more easily to the occupant.

本発明の第3の態様は、第1又は第2の態様に記載の車載ユーザーインターフェース装置において、前記表示制御手段は、前記立体画像に手が接した動作を検出したとき前記立体画像を複製し、複製された前記立体画像を手の動作に追随させて表示することを特徴とする車載ユーザーインターフェース装置にある。   According to a third aspect of the present invention, in the on-vehicle user interface device according to the first or second aspect, the display control means duplicates the stereoscopic image when detecting an operation in which the hand is in contact with the stereoscopic image. An on-vehicle user interface device characterized by displaying the reproduced three-dimensional image in accordance with the movement of a hand.

第3の態様では、立体画像を手の動作に応じてコピーして表示することができる。これにより、複数の乗員同士で一つの立体画像を取り合うことなく、その立体画像を手元で閲覧することができる。   In the third aspect, a stereoscopic image can be copied and displayed according to the movement of a hand. Thereby, the three-dimensional image can be viewed at hand without exchanging one three-dimensional image among a plurality of crew members.

本発明の第4の態様は、第1から第3の何れか一つの態様に記載の車載ユーザーインターフェース装置において、ユーザーの音声を検出する音声認識手段を備え、前記表示制御手段は、検出された音声に関連するコンテンツを前記記憶装置から検索することを特徴とする車載ユーザーインターフェース装置にある。   According to a fourth aspect of the present invention, in the on-vehicle user interface device according to any one of the first to third aspects, speech recognition means for detecting a user's speech is provided, and the display control means is detected According to another aspect of the present invention, there is provided an on-vehicle user interface device characterized by retrieving contents related to voice from the storage device.

第4の態様では、所望するコンテンツを素早く簡単に表示することができる。   In the fourth aspect, desired content can be displayed quickly and easily.

本発明によれば、車両のユーザーにとって使い勝手がよく、直観的にコンテンツを得ることができる車載ユーザーインターフェース装置が提供される。   According to the present invention, there is provided an on-vehicle user interface device which is easy to use for a user of a vehicle and can obtain content intuitively.

車載ユーザーインターフェース装置の概略平面図である。It is a schematic plan view of an in-vehicle user interface device. 表示装置及びモーションセンサーを示す斜視図である。It is a perspective view showing a display and a motion sensor. 車載ユーザーインターフェース装置のブロック図である。It is a block diagram of a vehicle-mounted user interface apparatus. コンテンツを表した立体画像の例を示す図である。It is a figure which shows the example of the three-dimensional image which represented content. 表示装置により表示されるコンテンツの立体画像の斜視図である。It is a perspective view of the three-dimensional image of the content displayed by a display apparatus. 車載装置を設定するための立体画像を示す平面図である。It is a top view which shows the three-dimensional image for setting a vehicle-mounted apparatus. 複数の乗員による車載ユーザーインターフェース装置の利用形態を示す平面図である。It is a top view which shows the utilization form of the vehicle-mounted user interface apparatus by several passenger | crew.

以下、本発明を実施するための形態について説明する。なお、実施形態の説明は例示であり、本発明は以下の説明に限定されない。   Hereinafter, modes for carrying out the present invention will be described. The description of the embodiment is an exemplification, and the present invention is not limited to the following description.

〈実施形態1〉
図1は車載ユーザーインターフェース装置の概略平面図であり、図2は表示装置及びモーションセンサーを示す斜視図である。車両1の前後方向をX方向とし、車幅方向をY方向とし、高さ方向をZ方向とする。以後の図においても同様である。
Embodiment 1
FIG. 1 is a schematic plan view of the in-vehicle user interface device, and FIG. 2 is a perspective view showing a display device and a motion sensor. The longitudinal direction of the vehicle 1 is taken as the X direction, the vehicle width direction as the Y direction, and the height direction as the Z direction. The same applies to the subsequent figures.

図1に示すように、車両1の車室4には、前席(運転席及び助手席)を構成する2つの前席シート2(2A,2B)と、後席を構成する2つの後席シート3(3A,3B)とが配置されている。   As shown in FIG. 1, in a compartment 4 of the vehicle 1, there are two front seats 2 (2A, 2B) which constitute a front seat (driver's seat and front passenger seat) and two rear seats which constitute a rear seat. Sheets 3 (3A, 3B) are arranged.

前席シート2は、鉛直軸(Z軸)回りで回動自在に設けられている。つまり前席シート2は、車両前方を向く前向き位置と、車両後方を向いて後席シート3と対面する後ろ向き位置と、の間で回動自在に設けられている。   The front seat 2 is rotatably provided about a vertical axis (Z axis). That is, the front seat 2 is rotatably provided between a forward position facing the front of the vehicle and a rearward position facing the rear seat 3 facing the rear of the vehicle.

また、前席シート2及び後席シート3は、いわゆる電動シートであり、電動モータ等によりシートを車両1の前後方向でスライド移動するスライド装置(図示せず)を備えている。さらに、前席シート2は、電動モータ等によりシートを回動させる回動装置(図示せず)を備えている。スライド装置及び回動装置の構成は、特に限定されず、既存の構成を採用すればよい。このため、スライド装置及び回動装置についての詳細な説明は省略する。   The front seat 2 and the rear seat 3 are so-called motorized seats, and are provided with slide devices (not shown) that slide and move the seats in the front-rear direction of the vehicle 1 by an electric motor or the like. Further, the front seat 2 is provided with a rotation device (not shown) for rotating the seat by an electric motor or the like. The configurations of the slide device and the rotation device are not particularly limited, and an existing configuration may be adopted. Therefore, detailed description of the slide device and the rotation device is omitted.

前席シート2に着座するユーザー(以下、乗員)は、所定のスイッチを操作することによりスライド装置及び回動装置を適宜作動させ、前席シート2を所望の配置とすることができる。また後席シート3に着座する乗員は、所定のスイッチを操作することにより、スライド装置を適宜作動させ、後席シート3を車両の前後方向で所望の位置にスライド移動させることができる。   A user (hereinafter referred to as an occupant) seated on the front seat 2 can operate the slide device and the rotation device appropriately by operating a predetermined switch, and the front seat 2 can be arranged as desired. Further, an occupant seated on the rear seat 3 can operate the slide device appropriately by operating a predetermined switch to slide the rear seat 3 to a desired position in the longitudinal direction of the vehicle.

車両1は、ドライバーが不要な完全自動運転が可能なものとする。このため、助手席側の前席シート2Bだけでなく、運転席側の前席シート2Aも回動装置により前向き位置と対面位置との間で回動するように構成されている。   The vehicle 1 is capable of completely automatic driving which does not require a driver. For this reason, not only the front seat 2B on the passenger seat side, but also the front seat 2A on the driver seat side is configured to be pivoted between the forward position and the facing position by the pivoting device.

図1及び図2に示すように、車室4には、表示装置30、及びモーションセンサー40を備える車載ユーザーインターフェース装置10が搭載されている。   As shown in FIGS. 1 and 2, an on-vehicle user interface device 10 including a display device 30 and a motion sensor 40 is mounted in the passenger compartment 4.

表示装置30は、立体画像を空間に表示する装置である。このような表示装置としては、立体画像を空間に表示させる公知の装置を採用することができる。   The display device 30 is a device that displays a stereoscopic image in space. As such a display device, a known device for displaying a stereoscopic image in space can be adopted.

例えば、霧を散布してこれをスクリーンとし、そのスクリーンに映像を投影することで画像を空中に表示する表示装置を用いることができる。   For example, it is possible to use a display device that displays an image in the air by spraying fog and using it as a screen and projecting an image on the screen.

他にも、レンズや凹面鏡を用いて、空中に立体映像を結像する表示装置を用いることができる。また、二次元の映像を表示可能なディスプレイと、当該ディスプレイの前に微小レンズを並べたレンズアレイを配置し、レンズアレイにより空中に結像させる表示装置を用いることができる。また、二次元の映像を表示可能なディスプレイと、微小なミラーに入射する光を一つの光線とみなし、多くのミラーによりそれらの光線を制御して結像作用を実現する透過型ミラーアレイ結像素子とを用いた表示装置を用いることができる。さらには、スクリーンの回転等に基づく走査により三次元的に光点を配置できる体積型三次元ディスプレイを用いることができる。   Besides, it is possible to use a display device which forms a stereoscopic image in the air by using a lens or a concave mirror. In addition, a display capable of displaying a two-dimensional image and a lens array in which microlenses are arranged in front of the display can be arranged, and a display device in which an image is formed in the air by the lens array can be used. In addition, a display capable of displaying a two-dimensional image, and a transmission type mirror array imaging element that realizes an imaging action by treating light incident on a minute mirror as one light beam and controlling those light beams by many mirrors A display device using a child can be used. Furthermore, it is possible to use a volume-type three-dimensional display in which light spots can be three-dimensionally arranged by scanning based on screen rotation and the like.

何れの方式の表示装置にしても、空中に表示させた立体画像は、全周囲からの観察が可能である。   In any display device, a stereoscopic image displayed in the air can be observed from all around.

このような表示装置30は、車室4のほぼ中央において、前席シート2及び後席シート3に囲まれるように配置されている。そして、表示装置30は上方の空間に立体画像を表示するように配置されている。表示装置30が立体画像を表示することが可能な領域を表示領域31と称する。また、表示領域31には、(X,Y、Z)の三次元座標が定義されており、三次元座標を指定して立体画像を表示することが可能となっている。   Such a display device 30 is disposed so as to be surrounded by the front seat 2 and the rear seat 3 substantially at the center of the passenger compartment 4. The display device 30 is arranged to display a stereoscopic image in the upper space. An area in which the display device 30 can display a stereoscopic image is referred to as a display area 31. Further, in the display area 31, three-dimensional coordinates (X, Y, Z) are defined, and three-dimensional coordinates can be specified to display a stereoscopic image.

本実施形態では、車室4の各座席間(前席シート2及び後席シート3の間)に、直方体状の領域が表示領域31となっている。したがって、前席シート2及び後席シート3の何れの座席に着席しても、表示領域31に表示された立体画像を見ることができる。   In the present embodiment, a rectangular parallelepiped area is a display area 31 between the respective seats in the passenger compartment 4 (between the front seat 2 and the rear seat 3). Therefore, the 3D image displayed in the display area 31 can be viewed regardless of whether the front seat 2 or the rear seat 3 is seated.

モーションセンサー40は、乗員の手の動作を検出するための装置であり、具体的には、赤外線を発光し、その赤外線が検出対象物で反射した反射光を撮像して画像を形成する装置である。モーションセンサー40が乗員の手を検出することが可能な領域を検出領域41と称する。この検出領域41は、表示領域31を含む領域となっている。つまり、乗員が検出領域41に手を入れたときには、モーションセンサー40により手の動作が画像として得られる。   The motion sensor 40 is a device for detecting the motion of the hand of the occupant, and specifically, is a device that emits infrared light and picks up the reflected light reflected by the object to be detected to form an image. is there. An area where the motion sensor 40 can detect the hand of the occupant is referred to as a detection area 41. The detection area 41 is an area including the display area 31. That is, when the occupant puts his hand in the detection area 41, the motion sensor 40 obtains an action of the hand as an image.

また、図3に示すように、車両1には、記憶装置11、制御装置20及びマイク50が搭載されている。   Further, as shown in FIG. 3, the storage device 11, the control device 20 and the microphone 50 are mounted on the vehicle 1.

記憶装置11は、所定のコンテンツを記憶している。コンテンツとは、車両1に関する様々な情報である。例えば、車載機器の名称、車載機器に関連した設定項目、車両1の周辺や車両1が走行しようとする経路上にある施設に関する情報などである。   The storage device 11 stores predetermined content. The content is various information related to the vehicle 1. For example, the names of on-vehicle devices, setting items related to the on-vehicle devices, and information on facilities around the vehicle 1 and on a route on which the vehicle 1 tries to travel.

車載機器としては、ナビゲーションシステム、ラジオ、オーディオ機器、空調装置などである。車載機器に関連した設定項目としては、ナビゲーションシステムの場合は経路や目的地が挙げられる。同様に、ラジオの場合は音量やラジオ局であり、空調装置の場合は運転モード(暖房、冷房、送風など)、温度、風量であり、オーディオ機器であれば音量や再生、停止、早送りなどである。
このように記憶装置11には、車載機器に関する様々な情報や、周辺施設などに関するコンテンツが記憶されている。
Examples of on-vehicle devices include navigation systems, radios, audio devices, and air conditioners. In the case of a navigation system, examples of setting items related to in-vehicle devices include a route and a destination. Similarly, in the case of a radio, it is a volume or a radio station, and in the case of an air conditioner, it is an operation mode (heating, cooling, blowing, etc.), temperature and air volume. is there.
As described above, the storage device 11 stores various information on in-vehicle devices and contents on peripheral facilities.

なお、コンテンツは、車両1に搭載された記憶装置11に記憶されたものに限らない。コンテンツは、遠隔の記憶装置に記憶されていてもよい。この場合、コンテンツを記憶した記憶装置を備えるサーバ装置を設け、車両1との間で無線通信を可能とする。そして、車両1から無線通信を介してキーワードがサーバ装置に送信されたとき、サーバ装置がキーワードに対応するコンテンツを記憶装置から検索し、車両1に送信する。このようにして、車両1は遠隔の記憶装置11からコンテンツを得るようにしてもよい。   The contents are not limited to those stored in the storage device 11 mounted on the vehicle 1. The content may be stored on a remote storage device. In this case, a server device provided with a storage device storing content is provided to enable wireless communication with the vehicle 1. Then, when a keyword is transmitted from the vehicle 1 to the server device via wireless communication, the server device searches the storage device for content corresponding to the keyword, and transmits the content to the vehicle 1. Thus, the vehicle 1 may obtain content from the remote storage device 11.

制御装置20は、ECU(Electronic Control Unit)であり、CPU、制御プログラムなどを格納・記憶するROM、制御プログラムの作動領域としてのRAM、各種データを書き換え可能に保持するEEPROM、周辺回路等とのインターフェースをとるインターフェース部などを含んで構成される。制御装置20は、車両1の各部とインターフェース部を介して接続され、それら各部との間で情報の授受を行い、各部の制御を行う。   The control device 20 is an ECU (Electronic Control Unit), and includes a CPU, a ROM for storing and storing control programs, a RAM as an operation area of the control programs, an EEPROM for rewritably holding various data, peripheral circuits, and the like. It is configured to include an interface unit that takes an interface. The control device 20 is connected to each part of the vehicle 1 via an interface part, exchanges information with the respective parts, and controls each part.

また、制御装置20は、検出部21、音声認識部22、及び表示制御部23を備えている。これらの各部は、制御装置20のCPUが制御プログラムを実行することによって実現されている。   The control device 20 further includes a detection unit 21, a voice recognition unit 22, and a display control unit 23. These units are realized by the CPU of the control device 20 executing a control program.

検出部21は、モーションセンサー40から取得した画像を解析し、乗員の手の位置、及び動作を検出する。手の位置は、例えば、表示領域31の原点を基準とした三次元座標である。なお、モーションセンサー40及び検出部21は、請求項に記載する動作検出手段に該当する。   The detection unit 21 analyzes the image acquired from the motion sensor 40, and detects the position and movement of the occupant's hand. The position of the hand is, for example, three-dimensional coordinates based on the origin of the display area 31. The motion sensor 40 and the detection unit 21 correspond to motion detection means described in the claims.

画像の解析に基づく手の位置及び動作の検出は公知技術であるので、詳細な説明は省略するが、検出部21は、次のような手の動作を検出することができる。   Since the detection of the position and movement of the hand based on the analysis of the image is a known technique, the detailed description is omitted, but the detection unit 21 can detect the following movement of the hand.

例えば、検出部21は、握った状態の手、開いた状態の手、又は指さした状態の手など手の形状を検出することができる。また、水平にした状態の手、又は垂直にした状態の手など手の向きを検出することができる。その他にも、モーションセンサー40からの距離や位置も検出できるようになっている。そして、検出部21は、このような手の状態の変化から手の動作を検出する。例えば、手の動作として、フリック動作、スライド動作、ポイント動作、ピンチ動作を判定する。   For example, the detection unit 21 can detect the shape of a hand such as a hand in a held state, a hand in an open state, or a hand in a pointed state. In addition, it is possible to detect the orientation of a hand such as a horizontal hand or a vertical hand. Besides, the distance and the position from the motion sensor 40 can also be detected. Then, the detection unit 21 detects the movement of the hand from such a change in the state of the hand. For example, a flick operation, a slide operation, a point operation, and a pinch operation are determined as hand movements.

フリック動作は、手首を中心として指先を左右又は上下に振る動きである。
スライド動作は、手全体を上下方向、左右方向に移動させる動きである。
ポイント動作は、指の一部、例えば人差し指を伸ばし、他の指を曲げた状態で手を上下方向又は左右方向に移動させる動きである。
ピンチ動作は、指を二本伸ばした状態で、その二本の指先が接近又は離隔する動きである。二本の指先が近接するピンチ動作をピンチイン動作、二本の指先が離隔するピンチ動作をピンチアウト動作とも称する。
The flicking motion is a motion in which the fingertip is swung left and right or up and down around the wrist.
The sliding motion is a motion for moving the entire hand vertically and horizontally.
The point motion is a motion in which a part of the finger, for example, a forefinger is extended and the other finger is bent and the hand is moved vertically or horizontally.
The pinching motion is a motion in which the two fingertips approach or separate in a state where two fingers are stretched. The pinching operation in which two fingertips are close to each other is referred to as pinching-in operation, and the pinching operation in which two fingertips are separated from each other is also referred to as pinch-out operation.

音声認識部22は、マイク50から取得した音声を解析し、乗員が発した音声の単語等の認識を行う。さらに、音声認識部22は、マイク50から取得した音声を解析し、その音声の発信源の位置、つまり、乗員の位置を検出する。このような音声認識及び乗員の位置の検出は、公知の音声解析技術により行うことができる。なお、マイク50及び音声認識部22は、請求項に記載する乗員位置検出手段及び音声認識手段に該当する。なお、乗員位置検出手段は、このような音声認識によるものに限定されず、例えば、カメラで撮像した車室内の画像を解析することで乗員の位置を検出する装置であってもよい。   The voice recognition unit 22 analyzes the voice acquired from the microphone 50 and recognizes words and the like of the voice emitted by the occupant. Furthermore, the voice recognition unit 22 analyzes the voice acquired from the microphone 50, and detects the position of the source of the voice, that is, the position of the occupant. Such voice recognition and detection of the position of the occupant can be performed by a known voice analysis technology. The microphone 50 and the voice recognition unit 22 correspond to the occupant position detection means and the voice recognition means described in the claims. The occupant position detection means is not limited to such voice recognition. For example, the occupant position detection means may be a device that detects the position of the occupant by analyzing an image in a vehicle compartment captured by a camera.

表示制御部23は、コンテンツを立体画像として表示装置30に表示させる制御を行う表示制御手段の一例である。表示制御部23は、記憶装置11からコンテンツを読み出し、表示装置30で表示可能なデータ形式にして、表示装置30に当該コンテンツを表示させる。   The display control unit 23 is an example of a display control unit that performs control of causing the display device 30 to display content as a stereoscopic image. The display control unit 23 reads the content from the storage device 11 and displays the content on the display device 30 in a data format that can be displayed by the display device 30.

図4は、コンテンツを表した立体画像の例を示す図である。図4(a)は立体画像Aを一方側から見た斜視図、図4(b)は立体画像Aを反対側から見た斜視図(図4(a)の立体画像AをZ軸周りに180度回転させた図)であり、図4(c)は立体画像Bの斜視図である。立体画像Aは不透明(反対側が透けて見えない)な立方体状の立体画像であり、立体画像Bは、半透明(反対側が透けて見える)な球体状の立体画像である。   FIG. 4 is a view showing an example of a stereoscopic image representing content. 4A is a perspective view of the stereoscopic image A viewed from one side, and FIG. 4B is a perspective view of the stereoscopic image A viewed from the opposite side (the stereoscopic image A in FIG. FIG. 4C is a perspective view of the stereoscopic image B. FIG. The stereoscopic image A is an opaque (invisible on the opposite side) cube-shaped stereoscopic image, and the stereoscopic image B is a translucent (invisible on the opposite side) spherical stereoscopic image.

これらの立体画像A、立体画像Bには、コンテンツが表示されている。例えば、図4(a)に示すように、立体画像Aの一方側の各面には、「○○ランド」という施設に関する新着情報や、当該施設の周辺地図が表示されている。また、図4(b)に示すように、立体画像Aの反対側の各面には、当該施設の周辺天気や、当該施設のSHOP情報(商品情報)が表示されている。   Content is displayed on the stereoscopic image A and the stereoscopic image B. For example, as shown in FIG. 4A, on each surface on one side of the three-dimensional image A, new arrival information on a facility "OO land" and a peripheral map of the facility are displayed. Further, as shown in FIG. 4B, on each surface on the opposite side of the stereoscopic image A, the surrounding weather of the facility and the SHOP information (merchandise information) of the facility are displayed.

図4(c)に示すように、立体画像Bには、球面に沿って、「○○ランド」という施設に関する新着情報(文字の一部が裏面側に回り込み、正面側から透けて見える)が表示されている。   As shown in FIG. 4C, in the stereoscopic image B, newly arrived information (a part of the characters wrap around on the back side and can be seen through from the front side) about the facility "○ ラ ン ド land" along the spherical surface. It is displayed.

上述したように、立体画像A、立体画像Bには、コンテンツが表示されていたが、コンテンツを呼び出すための別のコンテンツ(サムネール画像など)が表示されていてもよい。例えば、詳細は後述するが、乗員が立体画像Aの「地図」と表示された面に触れたとき、「○○ランド」の地図が表示された別の立体画像を表示装置30に表示させてもよい。   As described above, although the content is displayed on the stereoscopic image A and the stereoscopic image B, another content (such as a thumbnail image) for calling the content may be displayed. For example, although details will be described later, when the occupant touches the surface displayed as "map" of the stereoscopic image A, another stereoscopic image on which the map of "OO land" is displayed is displayed on the display device 30. It is also good.

さらに、立体画像は、車載機器を操作するためのコンテンツを表してもよい。例えば、そのようなコンテンツとして、空調装置の温度調整をするための上向き・下向きの矢印や、プラス・マイナスの記号などを立体画像として表示してもよい。後述するように、そのような立体画像が乗員により上方へ移動させられたとき、空調の温度を上げるように制御する。こういった制御のためのユーザーインターフェースとして立体画像が用いられてもよい。   Furthermore, the stereoscopic image may represent content for operating the in-vehicle device. For example, as such content, an upward / downward arrow for adjusting the temperature of the air conditioner, a plus / minus symbol or the like may be displayed as a stereoscopic image. As described later, when such a stereoscopic image is moved upward by the occupant, control is performed to raise the temperature of the air conditioning. A stereoscopic image may be used as a user interface for such control.

図4に例示した立体画像を表示する位置や、向き、動きについて説明する。
表示制御部23は、記憶装置11からコンテンツを読み出し、表示装置30に表示させる。例えば、表示制御部23は、複数のコンテンツの立体画像A〜Gを表示装置30に表示させる。
A position, an orientation, and a motion at which the stereoscopic image illustrated in FIG. 4 is displayed will be described.
The display control unit 23 reads the content from the storage device 11 and causes the display device 30 to display the content. For example, the display control unit 23 causes the display device 30 to display stereoscopic images A to G of a plurality of contents.

表示制御部23は、まず、表示するコンテンツを決定する。例えば、予め定められたコンテンツを記憶装置11から読み出す。または、表示制御部23は、マイク50及び音声認識部22により認識した乗員の音声をキーワードとして、そのキーワードに関連するコンテンツを記憶装置11から検索する。   The display control unit 23 first determines the content to be displayed. For example, predetermined content is read from the storage device 11. Alternatively, the display control unit 23 searches the storage device 11 for contents related to the keyword, using the voice of the occupant recognized by the microphone 50 and the voice recognition unit 22 as a keyword.

例えば、表示制御部23は、予め定められたコンテンツとして、記憶装置11から、ナビゲーションシステム、ラジオ、テレビ、オーディオ機器、空調装置、速度や燃料の残量などの車両情報、車両の周辺施設に関するコンテンツを読み取る。   For example, the display control unit 23 may use, as predetermined content, a navigation system, a radio, a television, an audio device, an air conditioner, vehicle information such as speed and remaining amount of fuel, and contents related to facilities around the vehicle from the storage device 11 Read

図5は、表示装置により表示されるコンテンツの立体画像の斜視図である。
図5(a)に示すように、表示制御部23は、記憶装置11から読み取ったコンテンツを個々の立体画像A〜Gとして表示させる。例えば、立体画像Aの各面には、ナビゲーションシステムに関するコンテンツ、例えば、ある面には現在位置や目的地、他の面には周辺地図を表示するなどである。その他の立体画像B〜Gについても、各面に様々なコンテンツを表示させる。
FIG. 5 is a perspective view of a stereoscopic image of content displayed by the display device.
As shown to Fig.5 (a), the display control part 23 displays the content read from the memory | storage device 11 as each three-dimensional image AG. For example, on each surface of the three-dimensional image A, content related to the navigation system, for example, a current position or a destination on a certain surface, and a peripheral map on another surface are displayed. Also for the other stereoscopic images B to G, various contents are displayed on each surface.

表示制御部23は、複数の立体画像A〜Gを分散配置する。具体的には、表示制御部23は、表示領域31に、個々の立体画像A〜Gが重ならないように座標を決定し、その座標に立体画像A〜Gを表示させる。これらの立体画像A〜Gは、常に一定の位置に表示してもよいし、乗員の動作に基づいて表示する位置を変えてもよい。   The display control unit 23 distributes and arranges a plurality of stereoscopic images A to G. Specifically, the display control unit 23 determines coordinates in the display area 31 so that the individual stereoscopic images A to G do not overlap, and displays the stereoscopic images A to G on the coordinates. These three-dimensional images A to G may always be displayed at a fixed position, or may be changed in position based on the operation of the occupant.

例えば、表示制御部23は、複数の立体画像A〜Gを、一つのリング32上に所定間隔を空けて均等に配置させ、表示領域31に表示させる。   For example, the display control unit 23 uniformly arranges the plurality of stereoscopic images A to G on one ring 32 with a predetermined interval, and causes the display area 31 to display the stereoscopic images.

また、立体画像A〜Gが乗員の視線L上に重ならないようにすることが好ましい。このような視線Lとしては、前席シート2、後席シート3、平均的な乗員の目の位置、表示領域31の位置に基づいて定めることができる。   In addition, it is preferable that stereoscopic images A to G do not overlap on the line of sight L of the occupant. Such a line of sight L can be determined based on the front seat 2, the rear seat 3, the position of the average occupant's eyes, and the position of the display area 31.

乗員の視線Lを三次元空間において仮想的に形成し、その視線L上には2つ以上の立体画像が配置されないように、各立体画像の三次元座標を計算する。本実施形態では、乗員は最大4名であるので、4本の視線Lを仮想的に形成し、各視線Lには2つ以上の立体画像が配置されないように、各立体画像の三次元座標を計算する。
これにより、乗員にとって、立体画像同士が重ならないので、複数の立体画像の視認性が向上する。
The line of sight L of the occupant is virtually formed in the three-dimensional space, and the three-dimensional coordinates of each three-dimensional image are calculated so that two or more three-dimensional images are not arranged on the line of sight L. In the present embodiment, since there are four occupants at maximum, the four lines of sight L are virtually formed, and three-dimensional coordinates of each three-dimensional image so that two or more three-dimensional images are not arranged in each line of sight L Calculate
As a result, for the occupant, the stereoscopic images do not overlap, and the visibility of the plurality of stereoscopic images is improved.

また、表示領域31に表示された立体画像A〜Gは、回転してもよい。例えば、表示制御部23は、各立体画像A〜GをZ軸周りに回転させる。これにより、乗員は、着席した状態で立体画像A〜Gの各側面を視認することができる。さらに、立体画像A〜Gは、リング32の円周に沿って移動してもよい。各立体画像A〜Gが時間の経過と共に乗員側へ近づくので、立体画像の視認性が向上する。もちろん、立体画像の回転や移動の態様は上述したものに限られない。   The three-dimensional images A to G displayed in the display area 31 may be rotated. For example, the display control unit 23 rotates the three-dimensional images A to G around the Z axis. Thus, the occupant can visually recognize the side surfaces of the three-dimensional images A to G in the seated state. Furthermore, the stereoscopic images A to G may move along the circumference of the ring 32. Since each of the three-dimensional images A to G approaches the occupant side with the passage of time, the visibility of the three-dimensional images is improved. Of course, the modes of rotation and movement of the stereoscopic image are not limited to those described above.

さらに、表示制御部23は、複数の立体画像のうち、乗員の動作により選択された立体画像を、乗員の動作に追随させて表示装置30に表示させる。   Furthermore, the display control unit 23 causes the display device 30 to display the stereoscopic image selected by the operation of the occupant among the plurality of stereoscopic images, following the operation of the occupant.

表示制御部23は、検出部21より得られた乗員の手の座標から一定範囲内に、立体画像があるかを判定する。手の座標から一定範囲内に立体画像があると判定された場合、その立体画像が乗員により選択されたとする。図5(a)の例では、立体画像Aが乗員に選択されたと判定される。他にも、立体画像から一定の範囲内でポイント動作を検出した場合に立体画像が選択されたと判定してもよい。   The display control unit 23 determines whether there is a stereoscopic image within a certain range from the coordinates of the hand of the occupant obtained by the detection unit 21. If it is determined that there is a stereoscopic image within a certain range from the coordinates of the hand, it is assumed that the stereoscopic image is selected by the occupant. In the example of FIG. 5A, it is determined that the stereoscopic image A has been selected by the occupant. Alternatively, it may be determined that a stereoscopic image is selected when a point motion is detected within a certain range from the stereoscopic image.

なお、立体画像が選択された状態において、特定の動作(例えば、一定速度以上で手が立体画像Aから離れるような動作)を検出したとき、立体画像の選択が解除されたと判定する。   In addition, when a specific operation (for example, an operation in which the hand is separated from the stereoscopic image A at a predetermined speed or higher) is detected in the state where the stereoscopic image is selected, it is determined that the selection of the stereoscopic image is cancelled.

乗員の動作に追随させて立体画像を表示させるとは、上述したフリック動作、スライド動作、ポイント動作、ピンチ動作に対応して立体画像の座標位置、大きさ、向きを変更したり、立体画像に表示する内容を変更することをいう。   Displaying a stereoscopic image by following the operation of the occupant means changing the coordinate position, size, and direction of the stereoscopic image corresponding to the flick operation, slide operation, point operation, and pinch operation described above, or changing to a stereoscopic image. To change the content to be displayed.

例えば、図5(a)のように手が立体画像Aをつまんだ状態からピンチアウト動作を検出したときは、図5(b)に示すように、立体画像Aを拡大表示する。このようにピンチアウト動作という対象物を拡大するような動作に対応して、立体画像Aが拡大される。これにより、「立体画像Aを拡大して見たい」という要求を、直観的な動作で実現することができる。   For example, as shown in FIG. 5 (a), when a pinch out operation is detected from a state in which the hand pinches the stereoscopic image A, the stereoscopic image A is enlarged and displayed as shown in FIG. 5 (b). The stereoscopic image A is enlarged in response to such an operation as enlarging the object of pinch-out operation. As a result, it is possible to realize the request of “want to see the stereoscopic image A in an enlarged manner” with an intuitive operation.

他にも、特に図示しないが、各動作に対応した立体画像の表示を行うことができる。
例えば、手が立体画像をつまんだ状態からピンチイン動作を検出したときは、立体画像を縮小表示する。このようにピンチイン動作という対象物を縮小するような動作に対応して、立体画像が縮小される。これにより、「立体画像を縮小して、他の立体画像を見やすくしたい」という要求を、直観的な動作で実現することができる。
In addition, although not particularly illustrated, it is possible to display a stereoscopic image corresponding to each operation.
For example, when a pinch-in operation is detected in a state in which the hand pinches a stereoscopic image, the stereoscopic image is displayed in a reduced size. In this way, the stereoscopic image is reduced in response to an operation such as a pinch-in operation that reduces the object. As a result, it is possible to realize the requirement of “reduce the stereoscopic image and make it easy to view another stereoscopic image” by an intuitive operation.

また、手が立体画像を選択した状態からスライド動作やフリック動作を検出したときは、立体画像をその手の位置にあわせて移動させる。このようにスライド動作という対象物を移動させるような動作に対応して、立体画像が移動される。これにより、「立体画像を移動したい」という要求を、直観的な動作で実現することができる。   In addition, when a slide operation or a flick operation is detected from a state in which a hand selects a stereoscopic image, the stereoscopic image is moved according to the position of the hand. The three-dimensional image is moved in response to such an operation as moving the object of the slide operation. This makes it possible to realize the request "want to move a stereoscopic image" by an intuitive operation.

さらに、手が立体画像に対するポイント動作を検出したときは、その立体画像に関連するコンテンツを検索し、そのコンテンツを別の立体画像として表示させてもよい。例えば、図4(a)に示した立体画像Aの「新着情報」を表示した側面に対してポイント動作が検出されたら、その新着情報の詳細に関するコンテンツを、別の立体画像として表示するようにしてもよい。これにより「立体画像に表示されたコンテンツの詳細を知りたい」という要求を、直観的な動作で実現することができる。   Furthermore, when the hand detects a point motion on a stereoscopic image, the content related to the stereoscopic image may be searched and the content may be displayed as another stereoscopic image. For example, when a point operation is detected with respect to the side of the stereoscopic image A on which the “new arrival information” is displayed as shown in FIG. 4A, the content regarding the details of the new arrival information is displayed as another stereoscopic image. May be As a result, it is possible to realize the request “I want to know the details of the content displayed in the stereoscopic image” by an intuitive operation.

このような乗員の手の動作に追随させて立体画像を表示する際には、コンテンツに応じて、所定の処理を実行してもよい。   When displaying a stereoscopic image in accordance with such an operation of the passenger's hand, predetermined processing may be executed according to the content.

図6は、車載装置を設定するための立体画像を示す平面図である。
図6(a)には、例えば、空調装置の温度設定に関するコンテンツが立体画像Hとして表示領域31に表示されている。上方向へのフリック動作が検出されたときには、表示制御部23は、立体画像Hを上方へ移動させると共に、空調装置に温度を例えば1℃上げさせる制御を行う。同様に、下方向へのフリック動作が検出されたときには、表示制御部23は、立体画像Hを下方へ移動させると共に、空調装置に温度を例えば1℃下げさせる制御を行う。表示制御部23は、温度の設定後に、立体画像Hをもとの位置に戻す。このようにして、「空調の温度を上げる又は下げる」という要求を、直観的な動作で実現することができる。
FIG. 6 is a plan view showing a stereoscopic image for setting the in-vehicle apparatus.
In FIG. 6A, for example, the content related to the temperature setting of the air conditioner is displayed in the display area 31 as a stereoscopic image H. When the upward flick operation is detected, the display control unit 23 moves the stereoscopic image H upward and performs control to raise the temperature by, for example, 1 ° C. in the air conditioner. Similarly, when a downward flick operation is detected, the display control unit 23 moves the stereoscopic image H downward and performs control to lower the temperature by, for example, 1 ° C. in the air conditioner. After setting the temperature, the display control unit 23 returns the stereoscopic image H to the original position. In this way, the requirement of "raising or lowering the temperature of the air conditioning" can be realized by an intuitive operation.

また図6(b)には、例えば、ラジオの選局設定に関するコンテンツが立体画像Iとして表示領域31に表示されている。左方向へのフリック動作が検出されたときには、表示制御部23は、立体画像Iを左方向へ移動させると共に、現在選局されている放送局よりも低い周波数を用いる放送局に変更する。同様に、右方向へのフリック動作が検出されたときには、表示制御部23は、立体画像Iを右方向へ移動させると共に、現在選局されている放送局よりも高い周波数を用いる放送局に変更する。このようにして、「ラジオの選局を行う」という要求を、直観的な動作で実現することができる。   Further, in FIG. 6B, for example, content relating to the tuning setting of the radio is displayed in the display area 31 as a stereoscopic image I. When a flick operation in the left direction is detected, the display control unit 23 moves the stereoscopic image I in the left direction and changes it to a broadcasting station that uses a lower frequency than the currently selected broadcasting station. Similarly, when a flicking operation in the right direction is detected, the display control unit 23 moves the stereoscopic image I in the right direction and changes it to a broadcasting station that uses a higher frequency than the currently selected broadcasting station. Do. In this way, the request "to select a radio station" can be realized by an intuitive operation.

他にも、立体画像を、空調装置の風量、空調装置の運転モード(暖房、冷房、送風など)の切り替え、テレビの音量・選局、オーディオ機器の音量・再生・停止・早送りをするためのユーザーインターフェースとし、立体画像に対して特定の動作が検出されたときに、風量等を変更するようにしてもよい。   In addition, for stereoscopic image, air volume of air conditioner, switching of operation mode of air conditioner (heating, cooling, air flow etc), volume and tuning of TV, volume, playing, stopping and fast forwarding of audio equipment The user interface may be configured to change the air volume or the like when a specific operation is detected for the stereoscopic image.

さらに、表示制御部23は、乗員の音声が発せられた方向へ向けて立体画像を表示してもよい。   Furthermore, the display control unit 23 may display a stereoscopic image in the direction in which the passenger's voice is emitted.

図7は、複数の乗員による車載ユーザーインターフェース装置の利用形態を示す平面図である。上述したように、音声認識部22は、音声の発信源の位置(乗員の位置)を検出する。同図の例では、前席シート2A及び前席シート2Bに着席した乗員が、それぞれ「天気」「○○ランド」と発生したとする。この場合、音声認識部22は、前席シート2A及び前席シート2Bが音声の発信源であると検出する。   FIG. 7 is a plan view showing a usage form of the on-vehicle user interface device by a plurality of occupants. As described above, the voice recognition unit 22 detects the position of the voice source (the position of the occupant). In the example of the same figure, it is assumed that the occupants seated in the front seat 2A and the front seat 2B respectively generate "weather" and "OO land". In this case, the voice recognition unit 22 detects that the front seat 2A and the front seat 2B are sources of voice.

表示制御部23は、複数の立体画像の中から、乗員が発した音声に関連するコンテンツを表す立体画像を検索する。表示制御部23は、「○○ランド」「天気」に対応した立体画像C、及び立体画像Dを記憶装置11から検索する。   The display control unit 23 searches for a stereoscopic image representing content related to the sound emitted by the occupant from among the plurality of stereoscopic images. The display control unit 23 searches the storage device 11 for the stereoscopic image C and the stereoscopic image D corresponding to “OO land” and “weather”.

次に、表示制御部23は、それらの発信源の位置へ向けて立体画像C及び立体画像Dを向ける。具体的には、立体画像の主方向Mを予め定義しておく。例えば、立方体状の立体画像であれば、一側面の法線を主方向とし、球体状の立体画像であれば、Z軸に直交する任意の方向を主方向とする。   Next, the display control unit 23 directs the stereoscopic image C and the stereoscopic image D toward the positions of their sources. Specifically, the main direction M of the stereoscopic image is defined in advance. For example, in the case of a cubic stereo image, the normal direction of one side is taken as the main direction, and in the case of a spherical stereo image, any direction orthogonal to the Z axis is taken as the main direction.

そして、表示制御部23は、主方向Mが音声の発信源に向くように立体画像C、立体画像Dを表示させる。さらには、表示制御部23は、立体画像C、立体画像Dを発声した乗員へ向けて移動及び拡大させてもよい。   Then, the display control unit 23 displays the stereoscopic image C and the stereoscopic image D such that the main direction M is directed to the sound source. Furthermore, the display control unit 23 may move and enlarge the three-dimensional image C and the three-dimensional image D toward the occupant.

このように、複数の立体画像のうち、乗員の発した音声に関連するコンテンツを表す立体画像C、立体画像Dのみを乗員に見えやすく表示させることができる。   As described above, among the plurality of stereoscopic images, only the stereoscopic image C and the stereoscopic image D representing the content related to the sound emitted by the occupant can be displayed so as to be easily visible to the occupant.

さらに、表示制御部23は、乗員の動作に基づいて立体画像を移動や回転させるだけではなく、コピーしてもよい。   Furthermore, the display control unit 23 may copy and not only move and rotate the stereoscopic image based on the operation of the occupant.

例えば、後席シート3A及び後席シート3Bの乗員がそれぞれ立体画像A及び立体画像Bを選択し、その後、手を引くようなスライド動作を行ったとする。表示制御部23は、スライド動作を検出したとき、選択されていた立体画像A及び立体画像Bをコピーして立体画像A’、立体画像B’を生成する。そして、表示制御部23は、これらの立体画像A’及び立体画像B’をスライド動作に追随させて移動させる。つまり、乗員が立体画像Aに触れて手前に引くと、立体画像A’が乗員の手元に追随して移動するように表示される。   For example, it is assumed that the occupants of the rear seat 3A and the rear seat 3B select the stereoscopic image A and the stereoscopic image B, respectively, and then perform a slide operation in which the hand is pulled. When the slide control is detected, the display control unit 23 copies the selected stereoscopic image A and stereoscopic image B to generate a stereoscopic image A 'and a stereoscopic image B'. Then, the display control unit 23 moves the three-dimensional image A ′ and the three-dimensional image B ′ in accordance with the slide operation. That is, when the occupant touches the stereoscopic image A and pulls it forward, the stereoscopic image A 'is displayed so as to move in accordance with the hand of the occupant.

このように、一つの立体画像Aが乗員の手元に立体画像A’としてコピーされるので、その乗員にとって立体画像A’を見やすくすることができる。また、立体画像Aはもとの位置に残るので、その他の乗員も、立体画像Aを手元にコピーして見ることができる。すなわち、複数の乗員同士で一つの立体画像を取り合うことなく、その立体画像を手元で閲覧することができる。   As described above, since one stereoscopic image A is copied as a stereoscopic image A 'at the hand of the occupant, the stereoscopic image A' can be easily viewed by the occupant. Further, since the stereoscopic image A remains at the original position, other occupants can copy and view the stereoscopic image A at hand. That is, the three-dimensional image can be viewed at hand without exchanging one three-dimensional image among a plurality of occupants.

以上に説明したように、車載ユーザーインターフェース装置10は、乗員の手の動作を検出し、この動作に追随するようにコンテンツを立体画像として表示装置30に表示することができる。これにより、乗員が立体画像に直接触れ、見やすい位置に移動させたり、見やすく拡大させるなど、直観的なユーザーインターフェースが実現される。   As described above, the on-vehicle user interface device 10 can detect the motion of the occupant's hand, and can display the content as a stereoscopic image on the display device 30 so as to follow the motion. As a result, an intuitive user interface such as an occupant directly touching a stereoscopic image, moving it to an easy-to-see position, or enlarging it for easy viewing is realized.

また、車載ユーザーインターフェース装置10は、乗員の音声の発信源に向けて立体画像を表示することができる。これにより、乗員に対して、立体画像をより一層見やすく表示させることができる。   Further, the on-vehicle user interface device 10 can display a stereoscopic image toward the sound source of the passenger. As a result, the stereoscopic image can be displayed more easily to the occupant.

また、車載ユーザーインターフェース装置10は、立体画像を手の動作に応じてコピーして表示することができる。これにより、複数の乗員同士で一つの立体画像を取り合うことなく、その立体画像を手元で閲覧することができる。   Further, the in-vehicle user interface device 10 can copy and display a stereoscopic image according to the operation of the hand. Thereby, the three-dimensional image can be viewed at hand without exchanging one three-dimensional image among a plurality of crew members.

また、車載ユーザーインターフェース装置10は、乗員が発した音声に関連するコンテンツを検索して、これを立体画像として表示することができる。これにより、所望するコンテンツを素早く簡単に表示することができる。   Further, the on-vehicle user interface device 10 can search for content related to the voice emitted by the occupant and display the content as a stereoscopic image. This makes it possible to display desired content quickly and easily.

なお、本発明の実施形態について説明したが、勿論、本発明は、上述の実施形態に限定されるものではなく、本発明の趣旨から逸脱しない範囲内で、構成の付加、省略、置換、およびその他の変更が可能である。   Although the embodiment of the present invention has been described, of course, the present invention is not limited to the above-described embodiment, and additions, omissions, replacements, and additions of configurations can be made without departing from the spirit of the present invention. Other modifications are possible.

1…車両、2…前席シート(座席)、3…後席シート(座席)、4…車室、10…車載ユーザーインターフェース装置、11…記憶装置、20…制御装置、21…検出部(動作検出手段)、22…音声認識部(乗員位置検出手段)、23…表示制御部、30…表示装置、31…表示領域、40…モーションセンサー(動作検出手段)、41…検出領域、50…マイク(乗員位置検出手段)
DESCRIPTION OF SYMBOLS 1 ... Vehicle, 2 ... front seat seat (seat), 3 ... back seat seat (seat), 4 ... car room, 10 ... in-vehicle user interface device, 11 ... storage device, 20 ... control device, 21 ... detection part (operation | movement part Detection means) 22 Speech recognition unit (occupant position detection means) 23 Display control unit 30 Display device 31 Display area 40 Motion sensor (operation detection means) 41 Detection area 50 Microphone (Occupant position detection means)

Claims (4)

所定のコンテンツを記憶した記憶装置と、
車室の座席間の空間に、複数の前記コンテンツを立体画像として分散配置して表示する表示装置と、
前記表示装置が前記立体画像を表示可能な表示領域内におけるユーザーの手の動作を検出する動作検出手段と、
複数の前記立体画像のうち前記動作により選択された前記立体画像を、前記動作に追随させて前記表示装置に表示させる表示制御手段と、を備える
ことを特徴とする車載ユーザーインターフェース装置。
A storage device storing predetermined content;
A display device for displaying a plurality of the contents in a distributed arrangement as a stereoscopic image in a space between seats in a cabin;
Motion detection means for detecting the motion of the user's hand in a display area in which the display device can display the stereoscopic image;
And a display control unit configured to cause the display device to display the stereoscopic image selected by the operation among the plurality of stereoscopic images, and to display the stereoscopic image on the display device.
請求項1に記載の車載ユーザーインターフェース装置であって、
前記表示装置に対する乗員の位置を検出する乗員位置検出手段を備え、
前記表示制御手段は、前記立体画像を前記乗員の位置に向けて表示する
ことを特徴とする車載ユーザーインターフェース装置。
The on-vehicle user interface device according to claim 1, wherein
An occupant position detection means for detecting the position of the occupant with respect to the display device;
An on-vehicle user interface device according to claim 1, wherein the display control means displays the stereoscopic image toward the position of the occupant.
請求項1又は請求項2に記載の車載ユーザーインターフェース装置において、
前記表示制御手段は、前記立体画像に手が接した動作を検出したとき前記立体画像を複製し、複製された前記立体画像を手の動作に追随させて表示する
ことを特徴とする車載ユーザーインターフェース装置。
In the on-vehicle user interface device according to claim 1 or 2,
The display control means duplicates the three-dimensional image when detecting an action in which the hand is in contact with the three-dimensional image, and displays the duplicate three-dimensional image in accordance with the action of the hand. apparatus.
請求項1から請求項3の何れか一項に記載の車載ユーザーインターフェース装置において、
ユーザーの音声を検出する音声認識手段を備え、
前記表示制御手段は、検出された音声に関連するコンテンツを前記記憶装置から検索する
ことを特徴とする車載ユーザーインターフェース装置。
The in-vehicle user interface device according to any one of claims 1 to 3.
It has voice recognition means to detect the voice of the user,
The in-vehicle user interface device according to claim 1, wherein the display control means searches the storage device for content related to the detected voice.
JP2017212999A 2017-11-02 2017-11-02 In-vehicle user interface device Pending JP2019086911A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017212999A JP2019086911A (en) 2017-11-02 2017-11-02 In-vehicle user interface device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017212999A JP2019086911A (en) 2017-11-02 2017-11-02 In-vehicle user interface device

Publications (1)

Publication Number Publication Date
JP2019086911A true JP2019086911A (en) 2019-06-06

Family

ID=66764200

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017212999A Pending JP2019086911A (en) 2017-11-02 2017-11-02 In-vehicle user interface device

Country Status (1)

Country Link
JP (1) JP2019086911A (en)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010537288A (en) * 2007-08-21 2010-12-02 フオルクスヴアーゲン アクチエンゲゼルシヤフト INFORMATION DISPLAY METHOD IN VEHICLE AND DISPLAY DEVICE FOR VEHICLE
JP2011210239A (en) * 2010-03-30 2011-10-20 Harman Becker Automotive Systems Gmbh Vehicle user interface unit for vehicle electronic device
JP2012043195A (en) * 2010-08-19 2012-03-01 Sony Corp Information processor, information processing method, and program
JP2013033344A (en) * 2011-08-01 2013-02-14 Yazaki Corp Display device
WO2016002406A1 (en) * 2014-07-04 2016-01-07 クラリオン株式会社 In-vehicle interactive system and in-vehicle information appliance
JP2016194792A (en) * 2015-03-31 2016-11-17 ソニー株式会社 Information processing apparatus, information processing method, and program

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010537288A (en) * 2007-08-21 2010-12-02 フオルクスヴアーゲン アクチエンゲゼルシヤフト INFORMATION DISPLAY METHOD IN VEHICLE AND DISPLAY DEVICE FOR VEHICLE
JP2011210239A (en) * 2010-03-30 2011-10-20 Harman Becker Automotive Systems Gmbh Vehicle user interface unit for vehicle electronic device
JP2012043195A (en) * 2010-08-19 2012-03-01 Sony Corp Information processor, information processing method, and program
JP2013033344A (en) * 2011-08-01 2013-02-14 Yazaki Corp Display device
WO2016002406A1 (en) * 2014-07-04 2016-01-07 クラリオン株式会社 In-vehicle interactive system and in-vehicle information appliance
JP2016194792A (en) * 2015-03-31 2016-11-17 ソニー株式会社 Information processing apparatus, information processing method, and program

Similar Documents

Publication Publication Date Title
US20220274589A1 (en) Automated Parking Interaction Method and Apparatus
JP7143443B2 (en) Shared environment for vehicle occupants and remote users
US10943400B2 (en) Multimodal user interface for a vehicle
JP5781080B2 (en) 3D stereoscopic display device and 3D stereoscopic display processing device
US10453238B2 (en) Information processing apparatus, information processing method, and program for displaying information on multiple display layers
CN111480194B (en) Information processing device, information processing method, program, display system, and moving object
KR20180118545A (en) Systems and methods for driver assistance
JP6244822B2 (en) In-vehicle display system
US20130250097A1 (en) Method for displaying background screen in navigation device
JP2007080060A (en) Object identification device
CN111231860B (en) Operation module, operation method, operation system, and storage medium for vehicle
WO2020151431A1 (en) Data processing method and system for intelligent vehicle viewing
JP2013196156A (en) Information processing apparatus, information processing method and program
JP2015047885A (en) On-vehicle interactive system
JP6970377B2 (en) In-vehicle user interface device
CN111252074A (en) Multi-modal control method, device, computer-readable storage medium and vehicle
CN104903831A (en) Method and device for providing a user interface in a vehicle
US12450941B2 (en) Systems and methods for managing occupant interaction using depth information
JP5465334B2 (en) 3D stereoscopic display device
JP2019086911A (en) In-vehicle user interface device
US12147595B2 (en) Information processing system
CN118647957A (en) Information processing device and information processing method
JP2022088089A (en) Control device, vehicle and program
JP2018157257A (en) Control device of in-vehicle device and application software for controlling in-vehicle device
JP2017068312A (en) Electronic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20201030

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210908

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20220302