JP2018055614A - ジェスチャ操作システム、ジェスチャ操作方法およびプログラム - Google Patents

Abstract

【課題】右手か左手かを判別してそれぞれに応じた操作対象を変更し、複数の各種操作対象への操作指示を操作者がより簡易にかつ正確に行うことができるジェスチャ操作システム等を提供すること。【解決手段】ジェスチャ操作システムは、車両の操舵装置を操作する操作者の手を撮像する撮像部と、操作者によるジェスチャ入力の受付期間前に、撮像された操作者の手の撮像データに基づいて、操舵装置と操作者との間に設定される検出領域内に存在する手を検出し、右手または左手のいずれかの手を判別する判別部と、受付期間前に、判別された手のパターンに応じて、車両に関連する複数の異なる操作対象の中からいずれかの操作対象を選択する選択部と、受付期間に、前記手によるジェスチャ入力に基づいて、前記操作対象に対する操作指示を行う指示部とを含む。【選択図】図１

Description

本発明は、操作者によるジェスチャ入力に応じて、操作対象に対する操作の指示を行うためのジェスチャ操作システムおよびジェスチャ操作方法に関する。

一般に、ヘッドアップディスプレイやカーナビゲーションシステムなどの車載機器の操作方法として、スイッチやタッチパネル等を用いることが知られている。しかしながら、設置可能なスイッチの個数がスペースの関係で制限される場合もあり得るし、運転者がタッチパネルに注視し、状況次第では安全性の配慮に欠ける場合もあり得る。そのため、スイッチ操作やタッチパネル操作ではなく、運転者によるジェスチャ入力により車載機器を操作する装置が提案されている（特許文献１〜５）。

特開２０１０−１８４６００号公報 特開２０１６−１８２２３号公報 特開２０１５−５８８０４号公報 特開２０１４−２１７４８号公報 特開２０１４−１０９９９４号公報

上記のように、運転者によるジェスチャ入力により車載機器を操作する装置は従来から存在するものの、運転者の右手か左手かを判別してそれぞれに応じた操作対象を変更する装置は存在せず、かかる装置が要望されていた。

また、近年、車内に搭載される機器が増加し、また、運転時に利用されるアプリケーションも増加しており、このような様々な操作対象に対しても操作者によるジェスチャ入力によって操作指示を簡易にかつ正確に行うことが要望されていた。

本発明は、上述した状況下においてなされたもので、右手か左手かを判別してそれぞれに応じた操作対象を変更し、複数の各種操作対象への操作指示を操作者がより簡易にかつ正確に行えるようにすることができるジェスチャ操作システム、ジェスチャ操作方法、およびプログラムを提供することを目的とする。

上記目的を達成するために、本発明に係るジェスチャ操作システムは、車両の操舵装置を操作する操作者の手を撮像する撮像部と、前記操作者によるジェスチャ入力の受付期間前に、前記撮像された操作者の手の撮像データに基づいて、前記操舵装置と前記操作者との間に設定される検出領域内に存在する手を検出し、右手または左手のいずれかの手を判別する判別部と、前記受付期間前に、前記判別された手のパターンに応じて、前記車両に関連する複数の異なる操作対象の中からいずれかの操作対象を選択する選択部と、前記受付期間に、前記手によるジェスチャ入力に基づいて、前記操作対象に対する操作指示を行う指示部とを含む。

ここで、本発明に係るジェスチャ操作システムは、前記判別された右手または左手のいずれかの手に応じて、前記ジェスチャ入力を受け付けるための操作領域の形状を変更し、当該操作領域を、前記操舵装置と前記操作者との間に設定する設定部をさらに含み、前記指示部は、前記操作領域内における前記手によるジェスチャ入力に基づいて前記操作指示を行うようにしてもよい。

前記操作領域の形状は、前記操舵装置の操作に支障が生じないように、前記判別された手を、前記操作者からみて左右非対称にして上下および左右にスワイプ動作可能に設定するようにしてもよい。

前記設定部は、前記受付期間前において前記操作者にかざされた手の位置を基準にして、前記操作領域を配置するようにしてもよい。

前記指示部は、前記手のパターンと前記操作対象に対する前記操作指示の内容とが対応付けられている場合はさらに、前記判別された右手または左手の手の状態に対応付けられた操作指示の内容に基づく前記操作対象に対する操作指示を行うようにしてもよい。

本発明に係るジェスチャ操作システムは、前記操舵装置と前記操作者との間に、前記ジェスチャ入力を受け付けるための操作領域を生成する生成部をさらに含み、前記指示部は、前記操作領域内における前記手によるジェスチャ入力に基づいて前記操作指示を行うようにしてもよい。

前記指示部は、前記操作指示の結果をフィードバックするようにしてもよい。

上記目的を達成するために、本発明に係るジェスチャ操作方法は、車両の操舵装置を操作する操作者の手を撮像するステップと、前記操作者によるジェスチャ入力の受付期間前に、前記撮像された操作者の手の撮像データに基づいて、前記操舵装置と前記操作者との間に設定される検出領域内に存在する手を検出し、右手または左手のいずれかの手を判別するステップと、前記受付期間前に、前記判別された手のパターンに応じて、前記車両に関連する複数の異なる操作対象の中からいずれかの操作対象を選択するステップと、
前記受付期間に、前記手によるジェスチャ入力に基づいて、前記操作対象に対する操作指示を行うステップとを含む。

上記目的を達成するために、本発明に係るプログラムは、上記ジェスチャ操作方法をコンピュータに実行させる。

本発明によれば、右手か左手かを判別してそれぞれに応じた操作対象を変更し、複数の各種操作対象への操作指示を操作者がより簡易にかつ正確に行うことが実現する。

本発明の実施形態に係るジェスチャ操作システムの構成例を示すブロック図である。 図１のジェスチャ操作システムを搭載した車内の一例を示す図である。 実施形態に係るジェスチャ操作システムによって実現されるジェスチャ入力の概略を時系列に説明するための図である。 検出領域の設定例を説明するための図である。 操作領域の設定例を説明するための図である。 ジェスチャ操作システムの全体的な処理例を示すフローチャートである。 図６の予備動作検出処理の詳細を示すフローチャートである。 図６の本操作処理の詳細を示すフローチャートである。 手の状態と操作対象との対応関係の一例を示す図である。 様々な手の状態を示す図である。 操作対象と操作指示内容との第１の対応関係を示す図である。 操作対象と操作指示内容との第２の対応関係を示す図である。 操作対象と操作指示内容との第３の対応関係を示す図である。 予備動作検出処理時に検出された手の位置を基準に生成されるようにした操作領域の設定例を説明するための図である。 左右非対称に生成されるようにした操作領域の設定例を説明するための図である。 予備動作検出時に手の予備動作を検出するために実行される判別処理を説明するための図である。 センサの配置例を説明するための図である。

以下、本発明の実施形態であるジェスチャ操作システム（コンピュータ）について説明する。このジェスチャ操作システム１は、車両の運転者である操作者のジェスチャ入力に応じて、車両に関連する操作対象機器に対する操作の指示を与える。

[ジェスチャ操作システム１の構成]
図１は、本発明の一実施形態に係るジェスチャ操作システム１の構成例を示すブロック図である。

図１において、ジェスチャ操作システム１は、ＣＰＵ（Central Processing Unit）１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、センサ３１とを備え、これらの構成要素１１，１２，１３は、バス４０と接続される。バス４０には、操作対象２０も接続される。

操作対象２０は、例えば、ＨＵＤ（Head-Up Display）２１、表示部２２１を備えたカーナビゲーション装置２２、室内またはヘッドライト２３等を含む。

ナビゲーション装置２２は、単独のナビゲーション装置の場合について説明するが、ＣＰＵ１１、ＲＯＭ１２およびＲＡＭ１３に一体的に組み込むこともできる。

ＣＰＵ１１は、各構成要素１１〜１３，２０，３１とバス４０で接続されて制御信号やデータの転送処理を行うとともに、ジェスチャ操作システム１全体の動作を実現するための各種のプログラムの実行、演算処理、ジェスチャ入力に関する処理等を行う。

このＣＰＵ１１の各種機能については、後述するジェスチャ操作システム１の動作説明で適宜説明する。

ＲＯＭ１２には、ジェスチャ操作システム１全体の動作制御に必要なオペレーティングシステムのプログラムや各種のデータが記録されており、当該プログラムがＲＡＭ１３に読み出されてＣＰＵ１１による実行が開始される。上記プログラムは、ＤＶＤ-ＲＯＭやＨＤＤ等の記録媒体に格納される。

ＲＡＭ１３には、ジェスチャ入力に必要なデータやプログラムを一時的に記憶するための記録領域が設けられ、上記データやプログラムが保持される。

センサ３１は、運転時の操作者によって行われるジェスチャ入力を検出するための撮像装置であり、そのセンサ出力がＣＰＵ１１によって処理されて、ジェスチャ入力に応じて操作指示される。後述するように、この実施形態のジェスチャ操作システム１では、ステアリング（操舵装置）５を操作する運転者は、手によるジェスチャを行うが、このジェスチャの検出が可能であれば、センサ３１の構成としていかなる方式のセンサもとり得る。例えば、センサ３１は、手の撮像が可能なＲＧＢカラーセンサ、赤外線距離センサ、レーザ距離センサ、超音波距離センサ、距離画像センサ、電解センサ、またはイメージセンサ等であってもよい。

［車内の様子］
図２は、ジェスチャ操作システム１を搭載した車内の様子を説明するための図である。

図２に示すように、車内には、ステアリング５と、インスツゥルメントパネル（計器盤パネル）２６が設けられている。また、操作者が視認可能なフロントガラス面には、ＨＵＤ２１が設けられている。

センサ３１は、インスツゥルメントパネル２６のほぼ中央に設けられている。このセンサ３１によって、操作者の手によるジェスチャが検出されるようになる。

表示部２２１は、カーナビゲーション装置２２に備えられている。

［ジェスチャ入力の概略］
次に、ジェスチャ操作システム１によって実現されるジェスチャ入力の概略について、図３を参照して説明する。図３（ａ）〜図３（ｅ）は、かかる概略を時系列的に説明するための図である。

車内において、操作者１００がステアリング５を操作している場合に（図３（ａ））、検出領域ｔ１内で右手１０１をかざすと（図３（ｂ））、ＣＰＵ１１は、検出領域ｔ１に手１０１が存在していると判定し、ステアリング５と操作者１００との間に、その手１０１によるジェスチャ入力を受け入れるための操作領域ｓ１を生成する（図３（ｃ））。

そして、操作領域ｓ１が生成された後の所定の期間内に、例えば図３（ｄ）および図３（ｅ）に示すように、操作者１００が、ｘ方向に右手１０１を動かしてジェスチャ入力をした場合、ＣＰＵ１１は、そのジェスチャ入力を検出し、カーナビゲーション装置２２等の操作対象２０への操作指示を実施する。

このように本実施形態のジェスチャ操作システム１では、検出領域ｔ１で手が検出された後に操作領域ｓ１が生成される。さらに、操作領域ｓ１において、操作者１００の手によるジェスチャ入力が受け入れられることによって、操作対象２０への操作指示が行われる。

以下の実施形態の説明では、操作領域ｓ１が生成された後の所定の期間を、ジェスチャ入力の「受付期間」と称する。この実施形態のジェスチャ操作システム１では、その「受付期間前」に、検出領域ｔ１が設定される。

上述したジェスチャ入力の受付期間前の検出領域ｔ１（図３（ｂ））と受付期間の操作領域ｓ１（図３（ｃ）〜図３（ｅ））は、それぞれ後述する図４および図５において、詳細な配置態様を示してある。

図４は、（ａ）検出領域ｔ１の上面図と、（ｂ）検出領域ｔ１の側面図とを説明するための図である。図５は、（ａ）操作領域ｓ１の上面図と、（ｂ）操作領域ｓ１の側面図とを説明するための図である。なお、図４および図５は、各領域ｔ１，ｓ１の配置や形状を例示的に示しているに過ぎない。

［ジェスチャ操作システム１の動作］
次に、このジェスチャ入力を実現するために実行される処理の全体について、図１、図２、図４〜図６を参照して説明する。図６は、ジェスチャ操作の制御処理の全体を示すフローチャートである。

図６において、ジェスチャ操作システム１では、ジェスチャ入力の受付期間前に予備動作検出処理が行われた後に（ステップＳ１０）、本操作処理が行われる（ステップＳ１１）。なお、ステップＳ１０〜Ｓ１１の処理は、それぞれ後述する図７〜図８において、詳細なフローチャートを示してある。

図７は、ジェスチャ入力の受付期間前に逐次実行される処理（予備動作検出処理）のフローチャートである。図８は、ジェスチャ入力の受付期間に逐次実行される処理（本操作処理）のフローチャートである。

［予備動作検出処理］
図７において、ＣＰＵ１１は、センサ３１によって撮像された１フレームの画像データ（撮像データ）を取得し（ステップＳ１０１）、当該画像データ中に、操作者１００の手が存在しているか判定する（ステップＳ１０２）。ステップＳ１０２において、ＣＰＵ１１は、センサ３１からの画像データから一定の距離（例えば、３次元成分）をもつ領域のみを抽出して、その領域を検出領域ｔ１（図４）として設定し、検出領域ｔ１内に操作者１００の手が存在しているか判定する。

このジェスチャ操作システム１では、取得された画像データから得られる物体（手など）の移動量や形状、重心座標などの各種要素の解析結果から、手が存在していると判定する。例えば、図４（ａ）および図４（ｂ）の例では、ＣＰＵ１１は、センサ３１からの画像データをあらかじめ設定された閾値に基づいて二値化し、画像データに含まれる物体の輪郭の検出をする。そして、ＣＰＵ１１は、検出された複数の輪郭の中から、あらかじめ設定された面積を有する輪郭を抽出し、その輪郭の重心座標が検出領域ｔ１内に含まれる場合に、その輪郭を手１０１として認識した場合に、手が存在していると判定する。

ステップＳ１０２で手が存在していると判定された場合には、ＣＰＵ１１は、予備動作条件を満たすか判断する（ステップＳ１０３）。

このジェスチャ操作システム１では、ジェスチャ入力を有効なものとするための予備動作が一定の条件を満たすことにより、後述するジェスチャ入力の受け入れが有効になる。

予備動作としては、例えば、掌を拡げた状態で手を静止する動作が挙げられる。この場合、ＣＰＵ１１は、検出領域ｔ１において、掌を拡げた状態で手が一定時間静止している場合に、予備動作条件を満たすと判断する。

上述した掌を拡げた状態か否かの判断は、例えば手の凹凸情報に基づいて行うことができる。また、手が静止しているか否かの判断は、手の重心座標の移動量に基づいて行うことができる。例えば、一定のフレーム内で手の重心座標の移動量が閾値以下の場合に、手が静止していると判断される。

なお、上述した予備動作や予備動作条件は、上記の例示に限られず、自由に設定することができる。

上述した検出領域ｔ１は、操作者１００の手の検出が可能なものであればよく、他の様々な代替の位置や大きさ、形状などによっても実施することができる。例えば、検出領域ｔ１は、ステップＳ１０３の検出時に、同じ位置に固定して配置させることなく、移動させるようにしてもよい。このような移動により、例えば、ステップＳ１０３の判断時における検出領域ｔ１の位置は、ステップＳ１０２の判定時（手が存在しているかの判定時）における検出領域ｔ１の位置と異なるようにすることもできる。

ステップＳ１０３で予備動作条件を満たすと判断された場合には、ＣＰＵ１１は、操作対象２０の初期設定を行う（ステップＳ１０４）。

この実施形態では、初期設定として、ハードウェア（ＨＵＤ２１、カーナビゲーション装置２２等）やソフトウエア（音楽、地図等）の操作対象の中から、前述のステップＳ１０２の予備動作条件を満たす手の状態（パターン）に応じて、対応する操作対象を決定することが考えられる。

ここで、上述した操作対象２０の決定に関連して、図９を参照して説明する。図９（ａ）は、ハードウェアが決定される場合の手の状態を含むデータｄ１の一例を示す図である。図９（ｂ）は、ソフトウェアが決定される（呼び出される）場合の手の状態を含むデータｄ２の一例を示す表である。

例えば、図９（ａ）によれば、左手がパーの状態であると判別された場合には、ＨＵＤ２１が操作対象２０として決定されることや、右手がグーの状態であると判別された場合には、空調を操作対象２０として決定されること等が例示されている。

このジェスチャ操作システム１では、図９（ａ）または図９（ｂ）に示すデータｄ１，ｄ２のいずれかがＲＯＭ１２に記録されている。図７のステップＳ１０４の処理時には、ＣＰＵ１１は、データｄ１，ｄ２をＲＯＭ１２から読み出して、右手または左手の手の状態に対応する操作対象２０を決定する。

すなわち、ＣＰＵ１１（判別部）は、ジェスチャ入力の受付期間前（ステップＳ１０４）において、ステップＳ１０２で判定された操作者の手が右手または左手のいずれかを判別する。例えば、かかる判別方法として、センサ３１の光軸方向の水平面上で手の重心位置が相対的に右側または左側（あらかじめ設定された範囲）にあるか否かに基づいて、右手または左手と判別すること等が考えられる。

そして、ＣＰＵ１１（選択部）は、複数の各種操作対象の中から、いずれかの手の状態に対応付けられた操作対象２０を選択する。

なお、上述した手の状態は、図９（ａ）または図９（ｂ）に示した例に限られず、様々な状態を含めるようにしてもよい。

図１０（ａ）〜（ｏ）は、様々な手の状態を例示している。図１０（ｉ）は、図９（ａ）および図９（ｂ）におけるグーの状態を示し、図１０（ｊ）は、図９（ａ）および図９（ｂ）におけるチョキの状態を示し、図１０（ｋ）は、図９（ａ）および図９（ｂ）におけるパーの状態を示してある。図１０では、それ以外にも様々な手の状態が示してある。これにより、複数の各種操作対象２０との対応関係が設定できる。

図７のステップＳ１０４の処理後に、ＣＰＵ１１（生成部）は、操作領域ｓ１を生成する（ステップＳ１０５）。例えば、図５（ａ）および図５（ｂ）では、ＣＰＵ１１は、センサ３１からの画像データに基づいて、操作者１００がかざした手１０１を検出し、ステアリング５と操作者１００との間において、手１０１の周辺に操作領域ｓ１を生成している。

なお、上述した操作領域ｓ１は、図５（ａ）および図５（ｂ）に示した形状に限られず、自由に設定することができる。

［本操作処理］
図８において、ＣＰＵ１１は、センサ３１によって撮像された１フレームの画像データを取得し（ステップＳ１１１）、当該画像データ中に、操作者１００によるジェスチャ入力の操作があるか判定する（ステップＳ１１２）。ステップＳ１１２において、ＣＰＵ１１は、センサ３１からの画像データから、操作領域ｓ１内における操作者１００の手の動きを解析し、それがジェスチャ入力の操作か判定する。このジェスチャ操作システム１では、手の移動量や移動方向、手の状態の変化などの各種要素の解析結果から、ジェスチャ入力の操作と判定する。

例えば、画像データに基づく右手または左手の手の状態が、あらかじめ登録されている手の状態（図９（ａ）または図９（ｂ））と一致する場合には、ＣＰＵ１１（指示部）は、ジェスチャ入力に対応した操作対象２０への操作指示を行う（ステップＳ１１３）。

このジェスチャ操作システム１では、右手または左手の手の状態に対応付けられた操作対象２０への操作指示の内容が、データとしてＲＯＭ１２に記録されている。ステップＳ１１３の処理時には、そのデータが読み出されて、ＣＰＵ１１によって操作指示が行われる。

図１１〜図１３は、操作対象２０とその操作指示内容２５との対応関係のデータｄ１１〜ｄ１３を示す図である。ＲＯＭ１２は、このデータｄ１１〜ｄ１３を記憶する。ステップＳ１１３の処理によれば、ＣＰＵ１１は、これらのデータをＲＯＭ１２から読み出し、ジェスチャ入力に対応した操作対象２０への操作指示を、操作指示内容２５にそって行う。例えば、図１１では、操作対象２０として地図スケールなどが挙げられ、その地図の広域／詳細などの操作に関連する操作指示内容２５が示してある。図１２では、操作対象２０としてエンジンなどが挙げられ、そのエンジンのオン／オフなどの操作に関連する操作指示内容２５が示してある。図１３では、操作対象２０としてカメラ映像などが挙げられ、そのバックカメラ映像／パノラマ映像の切替えなどの操作に関連する操作指示内容２５が示してある。

次にＣＰＵ１１（指示部）は、ステップＳ１１３で操作指示された結果のフィードバックを行う（ステップＳ１１４）。フィードバックの一例として、例えば、ＨＵＤ２１、カーナビゲーション装置２２の表示部２２１またはインストゥルメントパネル２６上で表示を変化させることや、操作対象２０の動作を変化させること（例えば、エアコンのON/OFFなど）、スピーカから音声を出力させることにより通知することなどが考えられる。このフィードバックは、操作者１００の適切な操作対象に対する操作指示を視覚または聴覚的に確認させる役割を果たす。

さらに、ＣＰＵ１１（指示部）は、操作が終了した状態、すなわち操作終了状態かを判断する（ステップＳ１１５）。例えば、手が検出領域ｔ１外へ移動した状態、または、手が操作領域ｓ１外へ移動した状態の場合に、ＣＰＵ１１は、操作終了状態と判断する。図９のフローチャートによれば、ステップＳ１１２の判定処理において、手の状態があらかじめ登録されている手のパターン（図９）と一致しない場合にも、ステップＳ１１５において、ＣＰＵ１１は、操作終了状態と判断する。

以上説明したように、本実施形態のジェスチャ操作システム１によると、ジェスチャ入力の受付期間前に、検出領域ｔ１に存在する手を検出して、その手が右手または左手のいずれかの手かを判別し、その手の状態に応じて、操作対象を選択する。そして、ジェスチャ入力の受付期間に、操作者１００の手によるジェスチャ入力に基づいて、操作対象に対する操作指示を行う。ここで、手の状態には、右手または左手の様々な状態が含まれるので、様々な手の状態と複数の各種操作対象（ハードウェアおよびソフトウェアを含む。）２０との対応関係が設定できることを意味し、これにより、複数の各種操作対象２０への操作指示を操作者に実施させることができる。例えば、同一のハードウェア（カーナビゲーション装置等）に対しても、複数の異なるアプリケーション機能（地図表示や音楽再生等）の操作を指示することができる。

また、上述した操作対象２０は、ジェスチャ入力の受付期間前に選択されるので、仮に操作対象が誤って選択された場合でも、当該受入期間前にその選択をし直すことで、正しい操作対象２０を選択することができる。

そして、操作対象２０の選択後にジェスチャ入力を受け付けるように構成したものであり、車両の運転をしつつ簡易に操作指示を実施できるように構成されている。

次に、本実施形態のジェスチャ操作システム１のいくつかの変形例について説明する。

（変形例１）
以上では、操作領域ｓ１が配置される位置について言及しなかったが、予備動作直後の手の位置を基準に操作領域ｓ１を配置するようにしてもよい。

図１４は、かかる操作領域ｓ１の配置例を示す。図１４（ａ）および図１４（ｂ）の配置例では、予備動作直後の検出領域ｔ１内に操作者１００がかざした手１０１の位置に対応する位置に、操作領域ｓ１が配置されている。したがって、このジェスチャ操作システム１では、操作者の所望の位置で手を動かしつつ、ジェスチャ入力を行うことができる。

（変形例２）
操作領域ｓ１の形状は、自由に設定することができる。図１５は、図５（ａ）および図５（ｂ）に示したものと異なり、右手か左手かによって変更する形状を示している。

図１５（ａ）および図１５（ｂ）では、右肘を左側に動かしながら、右手１０１のスワイプ動作が可能な操作領域ｓ１がＣＰＵ１１によって生成されている。

一方、図１５（ｃ）および図１５（ｄ）では、左肘を右側に動かしながら、左手１０２のスワイプ動作が可能な操作領域ｓ１がＣＰＵ１１（設定部）によって設定されている。

これにより、操作者１００は、ステアリング５の操作に支障が生じないように運転しながら、対応する手を、操作者１００からみて左右非対称にして上下および左右にスワイプ動作可能にすることができ、ジェスチャ入力の操作性が向上する。

（変更例３）
ジェスチャ操作システム１において、予備動作条件を満たすか判断する場合（図７のステップＳ１０３）に、複数の検出領域を用いるように構成してよい。例えば図１６は、２つの検出領域ｔ１，ｔ１１を用いる場合において、予備動作を検出する態様について例示している。図１６では、検出領域ｔ１に手１０１が存在するほかにも、検出領域ｔ１よりも小さい別の検出領域ｔ１１において、手１０１の重心位置ｐ（例えば、世界座標系におけるｘ軸、ｙ軸およびｚ軸の各値）が存在し、かつ手１０１が一定時間静止している。これにより、上記ステップＳ１０３で説明した手の存在を判断しつつ、予備動作条件を満たすか判断することも可能となる。

（変更例４）
また、図７に示したステップＳ１０３において、センサ３１からの画像データに基づいて、操作者１００の手の重心位置ｐを解析し、この重心位置ｐを有する手の状態とあらかじめ登録された手の状態とが一致した場合に、その手の動作が予備動作として予備動作条件を満たすと判断することもできる。

（変更例５）
センサ３１は、ステアリング５を操作する操作者１００の手１０１，１０２の動きを撮像可能な位置であれば、変更することもできる。例えば図１７は、（ａ）センサ３１が車両の天井に設置される場合と、（ｂ）センサ３１がマップランプ付近に設置される場合と、（ｃ）センサ３１がカーナビゲーション装置２２の付近に設置される場合と、（ｄ）センサ３１がダッシュボードに設置される場合とを示す配置例を示している。

（変更例６）
上記実施形態のジェスチャ操作システム１では、ステップＳ１０５の処理において操作領域ｓ１を生成する場合について説明した。これとは別に、操作領域ｓ１は、その都度生成するのではなく、操作者１００のために予め生成したものを設定するようにしてもよい。

（変更例７）
以上では、運転者以外の同乗者（助手席、後部座席）の態様について言及しなかったが、これらの同乗者についても、運転者と同様に、操作者１００としてジェスチャ入力ができるようにしてもよい。例えば、同乗者の撮像が可能なセンサ３１を設けておき、上記実施形態のジェスチャ操作システム１は、このセンサ３１からの画像データに基づいて、その同乗者のジェスチャ入力に対する処理（ステップＳ１０１〜Ｓ１０５およびステップＳ１１１〜Ｓ１１５）を行うようにしてもよい。

上記各変形例は、上記実施形態のジェスチャ操作システム１と組み合わせて実施することができる。

１ ジェスチャ操作システム
５ ステアリング
１１ ＣＰＵ
１２ ＲＯＭ
１３ ＲＡＭ
２０ 操作対象
２１ ヘッドアップディスプレイ（ＨＵＤ）
２２ ナビゲーション装置（操作対象の一例）
２３ ライト
２５ 操作指示内容
２６ インスツゥルメントパネル
３１ センサ
１００ 操作者
１０１，１０２ 手
２２１ 表示部
ｔ１，ｔ１１ 検出領域
ｓ１ 操作領域

Claims (10)

1. 車両の操舵装置を操作する操作者の手を撮像する撮像部と、
   前記操作者によるジェスチャ入力の受付期間前に、前記撮像された操作者の手の撮像データに基づいて、前記操舵装置と前記操作者との間に設定される検出領域内に存在する手を検出し、右手または左手のいずれかの手を判別する判別部と、
   前記受付期間前に、前記判別された手のパターンに応じて、前記車両に関連する複数の異なる操作対象の中からいずれかの操作対象を選択する選択部と、
   前記受付期間に、前記手によるジェスチャ入力に基づいて、前記操作対象に対する操作指示を行う指示部と
   を含むことを特徴とするジェスチャ操作システム。
2. 前記判別された右手または左手のいずれかの手に応じて、前記ジェスチャ入力を受け付けるための操作領域の形状を変更し、当該操作領域を、前記操舵装置と前記操作者との間に設定する設定部をさらに含み、
   前記指示部は、前記操作領域内における前記手によるジェスチャ入力に基づいて前記操作指示を行うことを特徴とする請求項１に記載のジェスチャ操作システム。
3. 前記操作領域の形状は、前記操舵装置の操作に支障が生じないように、前記判別された手を、前記操作者からみて左右非対称にして上下および左右にスワイプ動作可能に設定されることを特徴とする請求項２に記載のジェスチャ操作システム。
4. 前記設定部は、前記受付期間前において前記操作者にかざされた手の位置を基準にして、前記操作領域を配置することを特徴とする請求項２または３に記載のジェスチャ操作システム。
5. 前記指示部は、前記手のパターンと前記操作対象に対する前記操作指示の内容とが対応付けられている場合はさらに、前記判別された右手または左手の手の状態に対応付けられた操作指示の内容に基づく前記操作対象に対する操作指示を行うことを特徴とする請求項１ないし４のいずれか１項に記載のジェスチャ操作システム。
6. 前記操舵装置と前記操作者との間に、前記ジェスチャ入力を受け付けるための操作領域を生成する生成部をさらに含み、
   前記指示部は、前記操作領域内における前記手によるジェスチャ入力に基づいて前記操作指示を行うことを特徴とする請求項１または５のいずれか１項に記載のジェスチャ操作システム。
7. 前記指示部は、前記操作指示の結果をフィードバックすることを特徴とする請求項１ないし６のいずれか１項に記載のジェスチャ操作システム。
8. 前記指示部は、前記ジェスチャ入力の操作が終了したかを判断することを特徴とする請求項１ないし７のいずれか１項に記載のジェスチャ操作システム。
9. 車両の操舵装置を操作する操作者の手を撮像するステップと、
   前記操作者によるジェスチャ入力の受付期間前に、前記撮像された操作者の手の撮像データに基づいて、前記操舵装置と前記操作者との間に設定される検出領域内に存在する手を検出し、右手または左手のいずれかの手を判別するステップと、
   前記受付期間前に、前記判別された手のパターンに応じて、前記車両に関連する複数の異なる操作対象の中からいずれかの操作対象を選択するステップと、
   前記受付期間に、前記手によるジェスチャ入力に基づいて、前記操作対象に対する操作指示を行うステップと
   を含むことを特徴とするジェスチャ操作方法。
10. 請求項９に記載のジェスチャ操作方法をコンピュータに実行させるためのプログラム。

Images