JP4566596B2

JP4566596B2 - 操作指示装置

Info

Publication number: JP4566596B2
Application number: JP2004094043A
Authority: JP
Inventors: 孝之荻野
Original assignee: Alpine Electronics Inc
Current assignee: Alpine Electronics Inc
Priority date: 2004-03-29
Filing date: 2004-03-29
Publication date: 2010-10-20
Anticipated expiration: 2024-03-29
Also published as: US20050212765A1; JP2005280396A; US7782299B2

Description

本発明は、画面等に表示された内容を見ながら利用者が各種の操作指示を行う操作指示装置に関する。

従来から、空間内の所定位置に操作部の形状を有するホログラム映像を表示し、利用者がこの操作部を操作したときにその三次元位置を検出するようにした操作系選択装置が知られている（例えば、特許文献１参照。）。この装置では、空間内に虚像として表示されるホログラム映像による操作部が用いられるため、利用者の足元のスペースに実際の機械的な操作部を配置する必要がなく、開放感が得られるという効果がある。
特開平９−１９０２７８号公報（第３−５頁、図１−７）

ところで、上述した特許文献１に開示された操作系選択装置では、ホログラム映像を表示するための複雑な構成が必要になるためコスト増につながるという問題があった。特に、最近の車載機のようにディスプレイ装置の使用が前提になりつつあることを考慮すると、このディスプレイ装置の他にホログラム映像を表示する２種類の表示装置が必要になって構成に無駄が多くなる。また、ホログラム映像による操作部を実際に指等で触れる必要があるため、離れた位置にいる利用者が操作することができず、操作に制限があるという問題があった。

本発明は、このような点に鑑みて創作されたものであり、その目的は、操作の制限を少なくするとともにコスト低減が可能な操作指示装置を提供することにある。

上述した課題を解決するために、本発明の操作指示装置は、操作対象となる表示面を表示する表示手段と、表示面に対する操作指示を行う操作指示物体の三次元位置を検出する三次元位置検出手段と、三次元位置検出手段によって検出された三次元位置に基づいて、操作指示を行う利用者の視点位置と表示面との間の相対的な操作位置を判定する操作位置判定手段とを備えている。操作対象となる表示面と利用者との間の空間を操作指示物体で指し示すだけで操作指示を行うことができるため、利用者が表示面から離れた位置にいる場合であっても操作指示を行うことが可能になり、操作の制限を少なくすることができる。また、ホログラム映像を表示する場合に比べると、表示手段によって表示面を表示するだけの構成でよいため、構成が簡素化され、これに伴うコスト低減が可能になる。

また、上述した表示面には、一あるいは複数の操作対象領域が設定されており、操作位置判定手段は、三次元位置検出手段によって検出された三次元位置が、いずれかの操作対象領域に対応しているか否かを判定することが望ましい。これにより、利用者によってどの操作対象領域が選択されたかを容易に知ることができる。

また、上述した操作位置判定手段は、利用者の視点位置と操作対象領域とで挟まれる三次元空間を操作対象空間とし、操作対象空間に三次元位置検出手段によって検出された三次元位置が含まれるか否かを判定し、含まれる場合にこの操作対象領域の選択操作が行われたものと判断することが望ましい。利用者は、視点位置と操作対象領域とで区画される操作対象空間を指し示すだけで、表示面に含まれる操作対象領域を選択することが可能になり、操作の制約をさらに少なくすることができる。
また、上述した三次元位置検出手段は、操作指示物体の三次元位置の検出動作に先立って、利用者の顔位置の検出を行っており、操作位置判定手段は、三次元位置検出手段によって検出された利用者の顔位置に対応して想定される視点位置を用いて操作位置の判定を行う。これにより、正確に利用者の視点位置を検出することが可能になり、操作指示内容の検出精度を上げることが可能になる。
また、車両に搭載されており、三次元位置検出手段によって検出された利用者の顔位置に基づいてこの利用者が子供であるか否かを判定する子供判定手段と、操作位置判定手段によって判定された操作位置に応じた処理を行うとともに、子供判定手段によって操作指示を行っている利用者が子供であると判定されたときに処理の内容を制限する処理装置とをさらに備える。これにより、子供に対して不適当な処理が無条件に実施されることを容易に防止することができる。

また、上述した操作位置判定手段は、利用者の視点位置と操作対象領域とで挟まれた空間内であって、利用者の視点位置から手の長さを想定した距離だけ隔たった区画範囲を操作対象空間とし、操作対象空間に三次元位置検出手段によって検出された三次元位置が含まれるか否かを判定することが望ましい。利用者は、視点位置と操作対象領域とで区画され、手の長さを想定した操作対象空間を指し示すだけで、表示面に含まれる操作対象領域を選択することが可能になり、操作の制約をさらに少なくすることができる。しかも、利用者の手の長さを考慮して、すなわち手を伸ばして操作を行ったときの指の位置を考慮して操作対象空間が設定されるため、三次元位置の検出対象範囲を狭くすることができ、検出精度を上げて誤検出を減らすことができる。

また、複数の利用者による操作が並行して行われることが想定されており、それぞれの利用者に対応する操作対象空間が重複しないように設定されていることが望ましい。複数の利用者のそれぞれに対応するように重複しない操作対象空間を設定することにより、操作を行った利用者を誤って検出することを防止することができる。

また、上述した表示手段は、表示面の画像に対応する映像信号を画面上に表示するディスプレイ装置であり、ディスプレイ装置の画面上に表示された表示面に含まれる操作対象領域の位置あるいは大きさの少なくとも一方が変更可能であることが望ましい。これにより、操作画面の内容を任意に変更することにより、利用者は各種の操作画面を用いた操作指示を行うことが可能になる。

また、上述した操作位置判定手段によって操作対象領域に対応している旨の判定が行われたときに所定の通知を行う通知手段をさらに備えることが望ましい。これにより、操作指示が終了したことを確認することができ、操作対象空間内を指し示すという反動のない操作を行った場合の不安感をなくすことができる。

また、上述した操作指示物体は利用者の指であり、操作位置判定手段は、利用者が指で指し示した三次元位置を検出することが望ましい。これにより、特別な道具を用いることなく操作指示を行うことが可能になり、操作の制限をさらに減らすことが可能になる。

また、上述した三次元位置検出手段は、操作指示物体の表示面に最も近い三次元位置を検出することが望ましい。これにより、利用者が表示面に指を近づけたときにどの部分が検出されるかを明確にすることができ、操作指示の確実性を増すことができる。

また、上述した三次元位置検出手段は、所定波長の検出波を送信する送信部と、検出波が操作指示物体に到達して生じた反射波を受信する受信部と、反射波に基づいて操作指示物体の三次元位置を算出する演算部とを有していることが望ましい。具体的には、上述した演算部は、反射波の向きと、送信部から検出波が送信されてから受信部で反射波を受信するまでの時間とに基づいて、操作指示物体の三次元位置を算出することが望ましい。これにより、正確に操作指示物体の三次元位置を検出することが可能になる。

また、上述した検出波として赤外光が用いられることが望ましい。これにより、比較的安価な送信部（発光部）および受信部（受光部）を用いて三次元位置の検出を行うことが可能になり、さらにコストの低減が可能になる。

また、車両に搭載されており、三次元位置検出手段は、車両に搭載された車速センサに基づいて車両の走行開始状態を検出したときに、車両に搭乗している利用者の顔位置の検出を行うことが望ましい。車両が走行を開始した後は利用者が乗り降りすることがないため、このようなタイミングで利用者の顔位置の判定を行うことにより、それ以後の視点位置の変動が少ない精度の高い操作指示内容の検出を行うことが可能になる。

また、車両に搭載されており、操作指示を行う利用者は車両の後部座席に着座し、表示手段は後部座席よりも前方に設置されていることが望ましい。これにより、車両の後部座席に座っている各利用者は、体を動かすことなく手だけを動かして各種の操作指示を行うことが可能になり、操作性を向上させることができる。

また、上述したディスプレイ装置は、視野方向によって表示内容が変更可能な複数枚の重ねられた液晶パネルを有しており、複数の利用者ごとに異なる操作面の画像をそれぞれの複数枚の液晶パネルに表示することが望ましい。これにより、複数の利用者ごとに異なる操作画面を提供し、各利用者ごとに異なる操作指示内容を検出することが可能になる。

以下、本発明を適用した一実施形態の操作指示装置について、図面を参照しながら詳細に説明する。

図１は、一実施形態の操作指示装置の全体構成を示す図である。図１に示すように、本実施形態の操作指示装置１００は、操作画面描画部１０、表示処理部１２、ディスプレイ装置１４、三次元位置検出部２０、操作位置判定部３０、通知部３２、子供判定部３４、操作制御部４０、車速センサ５０、処理装置６０を含んで構成されている。この操作指示装置１００は、車両に搭載された各種の車載装置に対する操作指示内容を判定するためのものである。

操作画面描画部１０は、利用者によって選択可能な操作対象領域としての一あるいは複数の操作アイコンが含まれる表示面としての操作画面の画像を描画する。表示処理部１２は、操作画面描画部１０によって描画された操作画面の画像を表示するための映像信号を生成し、ディスプレイ装置１４に表示する。操作画面描画部１０によって生成される操作画面の内容は必要に応じて変更可能であり、操作アイコンの位置あるいは大きさの少なくとも一方をその都度変更することができる。

三次元位置検出部２０は、ディスプレイ装置１４の上部に設置されており、操作画面に含まれる操作アイコンを指し示そうとする操作指示物体の三次元位置を検出する。本実施形態では、ディスプレイ装置１４の画面前方に着座している利用者が直接手を伸ばして操作画面内の操作アイコンを指さすことにより操作アイコンを選択する場合を想定しており、利用者の指（あるいは手）が操作指示物体になる。三次元位置検出部２０は、送信部２２、受信部２４、演算部２６を備えている。送信部２２は、所定波長の検出波をディスプレイ装置１４の画面前方の処理領域に向けて送信する。受信部２４は、送信部２２から送信された検出波が操作指示を行おうとしている利用者の指に到達して生じた反射波を受信する。演算部２６は、受信部２４で受信した反射波の向きと、検出波が送信されてから反射波を受信するまでの時間とに基づいて、ディスプレイ装置１４に最も近い利用者の指の先端部の三次元位置を算出する。具体的には、この三次元位置の検出には、検出波として赤外光が用いられており、送信部（発光部）２２から赤外光としての検出波を出射して、反射波を受信部（受光部）２４によって検出している。このような構成を採用することで、正確に操作指示物体（指）の三次元位置を検出することが可能になる。しかも、検出波として赤外光を用いることにより、比較的安価な送信部（発光部）２２および受信部（受光部）２４を用いて三次元位置の検出を行うことが可能になり、コストの低減が可能になる。なお、三次元位置検出部２０は、上述した利用者の指の三次元位置を検出する動作の他に、利用者の顔位置（頭部位置）を検出するためにも用いられている。

操作位置判定部３０は、三次元位置検出部２０によって検出された三次元位置に基づいて、操作指示を行う利用者の視点位置とディスプレイ装置１４に表示された操作画面との間の相対的な操作位置を判定する。上述したように、操作画面には操作アイコンが含まれており、操作位置判定部３０は、検出された三次元位置がいずれの操作アイコンに対応しているか否かを判定する。また、操作位置判定部３０は、この判定に先立って、三次元位置検出部２０によって検出された利用者の顔位置に基づいてこの顔位置に対応して想定される利用者の視点位置を判定する。

通知部３２は、操作位置判定部３０によって利用者が指し示した指の三次元位置が操作画面内の操作アイコンに対応している旨の判定が行われたときに、所定の通知を行う。通知方法はどのようなものであってもよいが、例えば操作画面描画部１０に指示を送って、指し示された操作アイコンの色を一時的に変更することによって利用者に対する通知が行われる。なお、ブザー音等を出力することにより通知を行うようにしてもよい。通知部３２による通知を行うことにより、操作指示が終了したことを確認することができ、操作対象空間内を指し示すという反動のない操作を行った場合の不安感をなくすことができる。

子供判定部３４は、三次元位置検出部２０によって検出された利用者の顔位置に基づいて、この利用者が子供であるか否かを判定する。操作制御部４０は、操作画面を表示してその一部に含まれる操作アイコンが利用者によって指し示されたときにその操作位置を検出する一連の動作を制御する。選択された操作アイコンに関する情報は処理装置６０に送られる。処理装置６０は、操作画面の表示を操作制御部４０に対して指示するとともに、操作制御部４０から送られてくる選択された操作アイコンに応じた所定の処理を行う。例えば、ナビゲーション装置等の各種の車載装置がこの処理装置６０に相当し、利用者に対して操作アイコンを含む各種の操作画面が表示され、選択された操作アイコンに対応する処理が実施される。なお、図１では処理装置６０を操作指示装置１００に含ませて図示しているが、実際には処理装置６０は操作指示装置１００が接続された車載装置内に設けられる。あるいは、操作指示装置１００自体が車載装置内に設けられる。車速センサ５０は、車両の走行開始状態を検出する。車速センサ５０の検出結果は三次元位置検出部２０に送られており、三次元位置検出部２０では、車速センサ５０によって車両の走行開始状態を検出したときに、利用者の顔位置判定が行われる。

上述したディスプレイ装置１４が表示手段に、三次元位置検出部２０が三次元位置検出手段に、操作位置判定部３０が操作位置判定手段に、通知部３２が通知手段に、子供判定部３４が子供判定手段にそれぞれ対応する。

図２および図３は、ディスプレイ装置１４や三次元位置検出部２０と利用者との位置関係を示す図であり、図２には車両の前後方向の位置関係が、図３には車両の横方向の位置関係がそれぞれ示されている。

図２に示すように、ディスプレイ装置１４は、運転席および助手席のすぐ後ろの天井に取り付けられており、その上部に三次元位置検出部２０が設けられている。利用者は、後部座席に着座した状態で手を伸ばし、視点位置とディスプレイ装置１４の間にある空間内の操作対象空間（後述する）を指し示すことにより、ディスプレイ装置１４に表示された操作画面内の操作アイコンを選択する。また、図３に示すように、後部座席のほぼ中央位置（運転席と助手席の間）に対応するようにディスプレイ装置１４が取り付けられている。後部座席には最大で３人の利用者が着座可能であり、それぞれの利用者による操作が並行して行われることを想定しており、各利用者に対応する操作対象空間は互いに重複しないように設定される。

次に、各利用者毎に設定される操作対象空間について説明する。図４は、ディスプレイ装置１４に表示される操作画面の具体例を示す図である。この操作画面には、操作対象領域としての２つの操作アイコンＡ、Ｂが含まれている。これらの各操作アイコンＡ、Ｂは、各利用者が指で指し示すものであるため、ある程度の大きさを有している必要があり、しかも隣接間隔はできるだけ離すことが望ましい。

図５は、図４に示す操作画面に対応して設定される操作対象空間の具体例を示す図である。例えば、車両の後部座席に３人の利用者ａ、ｂ、ｃが等間隔で着座しているものとする。図５に示すように、利用者ａの視点位置と操作画面に含まれる２つの操作アイコンＡ、Ｂとで挟まれた空間内であって、利用者ａの視点位置から手の長さを想定した距離だけ隔たった区画範囲が、利用者ａに対応する操作対象空間Ｓ１として設定される。また、利用者ｂの視点位置と操作画面に含まれる２つの操作アイコンＡ、Ｂとで挟まれた空間内であって、利用者ｂの視点位置から手の長さを想定した距離だけ隔たった区画範囲が、利用者ｂに対応する操作対象空間Ｓ２として設定される。同様に、利用者ｃの視点位置と操作画面に含まれる２つの操作アイコンＡ、Ｂとで挟まれた空間内であって、利用者ｃの視点位置から手の長さを想定した距離だけ隔たった区画範囲が、利用者ｃに対応する操作対象空間Ｓ３として設定される。

操作位置判定部３０は、操作対象空間Ｓ１内に利用者の指が進入したときに、操作アイコンＡ、Ｂの選択操作が行われたものと判断し、指先端の三次元位置に基づいていずれの操作アイコンが指し示されたかを判定する。同様に、操作位置判定部３０は、操作対象空間Ｓ２内に利用者の指が進入したときに、操作アイコンＡ、Ｂの選択操作が行われたものと判断し、指先端の三次元位置に基づいていずれの操作アイコンが指し示されたかを判定する。また、操作位置判定部３０は、操作対象空間Ｓ３内に利用者の指が進入したときに、操作アイコンＡ、Ｂの選択操作が行われたものと判断し、指先端の三次元位置に基づいていずれの操作アイコンが指し示されたかを判定する。このような操作対象空間を設定することにより、利用者は、視点位置と操作アイコンとで区画される操作対象空間を指し示すだけで、操作画面に含まれる操作アイコンを選択することが可能になり、操作の制約をさらに少なくすることができる。

図６は、図４に示す操作画面に対応して設定される操作対象空間の他の具体例を示す図である。図６に示すように、利用者ａの視点位置と操作アイコンＡ、Ｂのそれぞれとで囲まれる２つの区画範囲が、利用者ａに対応する操作対象空間Ｓ１１、Ｓ１２として設定される。また、利用者ｂの視点位置と操作アイコンＡ、Ｂのそれぞれとで囲まれる２つの区画範囲が、利用者ｂに対応する操作対象空間Ｓ２１、Ｓ２２として設定される。同様に、利用者ｃの視点位置と操作アイコンＡ、Ｂのそれぞれとで囲まれる２つの区画範囲が、利用者ｃに対応する操作対象空間Ｓ３１、Ｓ３２として設定される。なお、上述した各操作対象空間Ｓ１１、Ｓ１２、Ｓ２１、Ｓ２２、Ｓ３１、Ｓ３２は、互いに重複している部分は除かれている。

操作位置判定部３０は、操作対象空間Ｓ１１内に利用者の指が進入したときに利用者ａによって操作アイコンＡの選択操作が行われたものと判断し、操作対象空間Ｓ１２内に利用者の指が進入したときに利用者ａによって操作アイコンＢの選択操作が行われたものと判断する。同様に、操作位置判定部３０は、操作対象空間Ｓ２１内に利用者の指が進入したときに利用者ｂによって操作アイコンＡの選択操作が行われたものと判断し、操作対象空間Ｓ２２内に利用者の指が進入したときに利用者ｂによって操作アイコンＢの選択操作が行われたものと判断する。また、操作位置判定部３０は、操作対象空間Ｓ３１内に利用者の指が進入したときに利用者ｃによって操作アイコンＡの選択操作が行われたものと判断し、操作対象空間Ｓ３２内に利用者の指が進入したときに利用者ｃによって操作アイコンＢの選択操作が行われたものと判断する。このような操作対象空間を設定することにより、利用者は、視点位置と操作アイコンとで区画され、手の長さを想定した操作対象空間を指し示すだけで、操作画面に含まれる操作アイコンを選択することが可能になり、操作の制約をさらに少なくすることができる。しかも、利用者の手の長さを考慮して、すなわち手を伸ばして操作を行ったときの指の位置を考慮して操作対象空間が設定されるため、三次元位置の検出対象範囲を狭くすることができ、検出精度を上げて誤検出を減らすことができる。

次に、本実施形態の操作指示装置１００において、車両に搭載された各種の車載装置に対する操作指示内容の判定を行う一連の動作について説明する。図７は、操作指示装置１００の動作手順を示す流れ図である。

まず、車速センサ５０による検出結果に基づいて車両が走行を開始したか否かが判断される（ステップ１００）。車両が停車中の場合には否定判断が行われ、この判定が繰り返される。

また、車両が走行を開始するとステップ１００において肯定判断が行われる。次に、三次元位置検出部２０によって検出された各利用者の三次元位置に基づいて、操作位置判定部３０による各利用者毎の顔位置検出（ステップ１０１）とこの検出された顔位置に基づく各利用者の視点位置判定が行われる（ステップ１０２）とともに、子供判定部３４によって各利用者が子供であるか否かの判定が行われる。子供判定部３４は、例えば利用者の背丈が明らかに小さい場合にはこの利用者が子供であると判定し、この判定結果を操作制御部４０を介して処理装置６０に送る。

次に、操作制御部４０は、処理装置６０の指示に基づいて操作画面を描画する指示を操作画面描画部１０に送り、ディスプレイ装置１４に例えば図４に示した操作画面が表示される（ステップ１０４）。操作画面表示が表示された状態で、操作制御部４０は、操作位置判定部３０による判定結果に基づいていずれかの利用者によっていずれかの操作アイコンが選択されたか否かを判定する（ステップ１０５）。いずれの操作アイコンも選択されない場合には否定判断が行われ、この判定が繰り返される。また、いずれかの操作アイコンが選択されるとステップ１０５において肯定判断が行われ、次に、操作制御部４０は、選択された操作アイコンとこの選択を行った利用者に関する情報を処理装置６０に送る（ステップ１０６）。処理装置６０は、送られてきた内容に基づいて所定の処理を行う（ステップ１０７）。この処理が子供を対象としていない場合（子供の操作が制限されている場合）であって、この操作を行った利用者が子供である場合には、処理装置６０は、この処理を実施しない、あるいは内容を変えて実施する等の処置を行う。

このように、操作画面と利用者との間の空間を操作指示物体（指）で指し示すだけで操作指示を行うことができるため、利用者が操作画面から離れた位置にいる場合であっても操作指示を行うことが可能になり、操作の制限を少なくすることができる。また、ホログラム映像を表示する場合に比べると、ディスプレイ装置１４によって操作画面を表示するだけの構成でよいため、構成が簡素化され、これに伴うコスト低減が可能になる。

また、複数の利用者のそれぞれに対応するように重複しない操作対象空間を設定することにより、操作を行った利用者を誤って検出することを防止することができる。また、利用者の指の三次元位置を検出しているため、特別な道具を用いることなく操作指示を行うことが可能になり、操作の制限をさらに減らすことが可能になる。

また、利用者が操作画面に指を近づけたときに、操作画面に最も近い指の先端の三次元位置を検出することにより、利用者が表示画面に指を近づけたときにどの部分が検出されるかを明確にすることができ、操作指示の確実性を増すことができる。

また、利用者の指の三次元位置の検出動作に先立って、利用者の顔位置の検出を行っているため、正確に利用者の視点位置を検出することが可能になり、操作指示内容の検出精度を上げることが可能になる。

また、車速センサ５０を用いて車両の走行開始状態を検出したときに、車両に搭乗している利用者の顔位置の検出を行っている。車両が走行を開始した後は利用者が乗り降りすることがないため、このようなタイミングで利用者の顔位置の判定を行うことにより、それ以後の視点位置の変動が少ない精度の高い操作指示内容の検出を行うことが可能になる。

なお、本発明は上記実施形態に限定されるものではなく、本発明の要旨の範囲内において種々の変形実施が可能である。上述した実施形態では、車両に搭載された操作指示装置１００について説明したが、車両以外に設定して各種の装置に対する操作指示を行う場合にも本発明を適用することができる。

また、上述した実施形態では、操作画面をディスプレイ装置１４に表示し、適宜その内容を変更可能にしたが、内容の変更ができない印刷物等に描かれた操作アイコンが選択されたか否かを判定する場合にも本発明を適用することができる。

また、上述した実施形態では、同一の内容を有する操作画面をディスプレイ装置１４に表示したが、複数の液晶パネルを重ねてディスプレイ装置１４を構成し、それぞれの利用者に対して異なる内容の操作画面を同時に表示するようにしてもよい。

図８は、各利用者に内容が異なる操作画面を表示する場合の説明図である。図８に示すように、ディスプレイ装置１４を後部座席の左端に着座した利用者ａから見ると、下部領域に２つの操作アイコンＡ１、Ａ２が含まれる操作画面Ｄ１が表示される。また、ディスプレイ装置１４を後部座席の中央に着座した利用者ｂから見ると、左領域に２つの操作アイコンＢ１、Ｂ２が含まれる操作画面Ｄ２が表示される。同様に、ディスプレイ装置１４を後部座席の右端に着座した利用者ｃから見ると、全体に４つの操作アイコンＣ１、Ｃ２、Ｃ３、Ｃ４が含まれる操作画面Ｄ３が表示される。このように、各利用者毎に異なる内容の操作画面を表示し、しかも各利用者毎に操作アイコンを個別に選択することが可能になる。

また、上述した実施形態では、検出波を送信してその反射波を受信することにより操作指示物体の三次元座標を検出するようにしたが、それ以外の検出原理に基づく三次元位置検出部を用いるようにしてもよい。例えば、一あるいは複数のカメラによる撮影画像を分析して三次元位置の検出を行うようにしてもよい。

また、上述した実施形態では、利用者が指で操作画面内の操作アイコンを指し示すようにしたが、指以外の操作指示物体（例えば棒状の物体）を手に持って操作アイコンを指し示すようにしてもよい。

一実施形態の操作指示装置の全体構成を示す図である。ディスプレイ装置や三次元位置検出部と利用者との位置関係を示す図である。ディスプレイ装置や三次元位置検出部と利用者との位置関係を示す図である。ディスプレイ装置に表示される操作画面の具体例を示す図である。図４に示す操作画面に対応して設定される操作対象空間の具体例を示す図である。図４に示す操作画面に対応して設定される操作対象空間の他の具体例を示す図である。操作指示装置の動作手順を示す流れ図である。各利用者に内容が異なる操作画面を表示する場合の説明図である。

符号の説明

１０操作画面描画部
１２表示処理部
１４ディスプレイ装置
２０三次元位置検出部
２２送信部
２４受信部
２６演算部
３０操作位置判定部
３２通知部
３４子供判定部
４０操作制御部
５０車速センサ
６０処理装置
１００操作指示装置

Claims

操作対象となる表示面を表示する表示手段と、
前記表示面に対する操作指示を行う操作指示物体の三次元位置を検出するとともに、前記操作指示物体の三次元位置の検出動作に先立って、利用者の顔位置の検出を行う三次元位置検出手段と、
前記三次元位置検出手段によって検出された三次元位置に基づいて、前記操作指示を行う利用者の視点位置と前記表示面との間の相対的な操作位置を判定する操作位置判定手段と、
前記三次元位置検出手段によって検出された利用者の顔位置に基づいてこの利用者が子供であるか否かを判定する子供判定手段と、
前記操作位置判定手段によって判定された操作位置に応じた処理を行うとともに、前記子供判定手段によって操作指示を行っている利用者が子供であると判定されたときに前記処理の内容を制限する処理装置と、を備え、
前記表示面には、一あるいは複数の操作対象領域が設定されており、
前記操作位置判定手段は、前記三次元位置検出手段によって検出された利用者の顔位置に対応して想定される視点位置と前記操作対象領域とで挟まれる三次元空間を操作対象空間とし、前記操作対象空間に前記三次元位置検出手段によって検出された三次元位置が含まれるか否かを判定し、含まれる場合にこの操作対象領域の選択操作が行われたものと判断することを特徴とする操作指示装置。
請求項１において、
前記操作位置判定手段は、利用者の視点位置と前記操作対象領域とで挟まれた空間内であって、利用者の視点位置から手の長さを想定した距離だけ隔たった区画範囲を前記操作対象空間とし、前記操作対象空間に前記三次元位置検出手段によって検出された三次元位置が含まれるか否かを判定することを特徴とする操作指示装置。
請求項１または２において、
複数の利用者による操作が並行して行われることが想定されており、
それぞれの利用者に対応する前記操作対象空間が重複しないように設定されていることを特徴とする操作指示装置。
請求項１〜３のいずれかにおいて、
前記表示手段は、前記表示面の画像に対応する映像信号を画面上に表示するディスプレイ装置であり、
前記ディスプレイ装置の画面上に表示された前記表示面に含まれる前記操作対象領域の位置あるいは大きさの少なくとも一方が変更可能であることを特徴とする操作指示装置。
請求項１〜４のいずれかにおいて、
前記操作位置判定手段によって前記操作対象領域に対応している旨の判定が行われたときに所定の通知を行う通知手段をさらに備えることを特徴とする操作指示装置。
請求項１〜５のいずれかにおいて、
前記操作指示物体は利用者の指であり、前記操作位置判定手段は、利用者が指で指し示した三次元位置を検出することを特徴とする操作指示装置。
請求項６において、
前記三次元位置検出手段は、前記操作指示物体の前記表示面に最も近い三次元位置を検出することを特徴とする操作指示装置。
請求項１〜７のいずれかにおいて、
前記三次元位置検出手段は、所定波長の検出波を送信する送信部と、前記検出波が前記操作指示物体に到達して生じた反射波を受信する受信部と、前記反射波に基づいて前記操作指示物体の三次元位置を算出する演算部とを有していることを特徴とする操作指示装置。
請求項８において、
前記演算部は、前記反射波の向きと、前記送信部から検出波が送信されてから前記受信部で反射波を受信するまでの時間とに基づいて、前記操作指示物体の三次元位置を算出することを特徴とする操作指示装置。
請求項８または９において、
前記検出波として赤外光が用いられることを特徴とする操作指示装置。
請求項１〜１０のいずれかの操作指示装置は車両に搭載されており、
前記三次元位置検出手段は、前記車両に搭載された車速センサに基づいて前記車両の走行開始状態を検出したときに、前記車両に搭乗している利用者の顔位置の検出を行うことを特徴とする操作指示装置。
請求項１〜１０のいずれかの操作指示装置は車両に搭載されており、
前記操作指示を行う利用者は前記車両の後部座席に着座し、前記表示手段は前記後部座席よりも前方に設置されていることを特徴とする操作指示装置。
請求項４において、
前記ディスプレイ装置は、視野方向によって表示内容が変更可能な複数枚の重ねられた液晶パネルを有しており、
複数の利用者ごとに異なる前記操作面の画像をそれぞれの前記複数枚の液晶パネルに表示することを特徴とする操作指示装置。