JP2018120531A - ジェスチャーユーザインタフェースシステム - Google Patents

Abstract

【課題】 誤作動の発生を抑制可能なジェスチャーユーザインタフェースシステムを提供する。
【解決手段】 利用者が存在する空間内に設定された認識空間Ａｏ内でされた身体動作を検出するとともに、認識空間Ａｏ外の空間で身体動作がされた場合に、その旨を利用者に報知する。これにより、認識空間Ａｏ外の空間で身体動作がされた場合に、当該身体動作をした利用者は、その旨を理解でき得る。つまり、「認識空間Ａｏ内で身体動作を再度実行する必要がある」旨を利用者に促すことができ得る。延いては、誤作動の発生を抑制でき得る。
【選択図】 図６

Description

本願は、利用者の身体動作を検出して当該利用者の意図を認識するジェスチャーユーザインタフェースシステムに関する。

例えば、特許文献１に記載の発明では、乗員の身体動作（ジェスチャー）を検出し、当該検出された結果を利用して車両搭載機器の作動を制御している。
つまり、特許文献１に記載の発明では、乗員等の利用者が操作パネルやスイッチ等を直接的に操作するのではなく、利用者が身振り手振り等の身体動作をすることにより、車両搭載機器が作動する。

特開２０１５−１３３１０９号公報

例えば、利用者が指先を動作するジェスチャーを行った場合において、当該動作する指先の位置が認識可能な空間領域から外れているときには、（ａ）車両搭載機器が作動しない、又は（ｂ）車両搭載機器が利用者の意図と異なる作動をする等の誤作動が発生する。

なお、認識可能な空間領域（以下、認識空間ともいう。）とは、検出装置が誤検出する可能性が低い空間領域をいう。つまり、認識空間にて利用者が身体動作をした場合には、誤動作が発生する可能性も低下する。

本願は、上記点に鑑み、誤作動の発生を抑制可能なジェスチャーユーザインタフェースシステムを提供する。

本願では、利用者の身体動作を検出して当該利用者の意図を認識するジェスチャーユーザインタフェースシステムにおいて、利用者が存在する空間内に設定された認識空間（Ａｏ）内でされた身体動作を検出する動作検出装置（１０、１１）と、認識空間（Ａｏ）外の空間で身体動作がされた場合に、その旨を利用者に報知する報知装置（１０、１３）とを備える。

これにより、認識空間（Ａｏ）外の空間で身体動作がされた場合に、当該身体動作をした利用者は、その旨を理解でき得る。つまり、「認識空間（Ａｏ）内で身体動作を再度実行する必要がある」旨を利用者に促すことができ得る。延いては、誤作動の発生を抑制でき得る。

なお、本願は、以下のように、構成してもよい。
すなわち、報知装置（１０、１３）は、身体動作が現実にされた位置を検出する動作位置検出部（１０、１１）、及び動作位置検出部（１０、１１）により検出された動作位置と認識空間（Ａｏ）との離間距離を利用して、報知する際の報知パターンを決定する報知パターン決定部（１０）を有して構成されていることが望ましい。

これにより、利用者に対して「次回の身体動作をいずれの空間で行うことが妥当であるか」を伝えることができ得る。延いては、次回以降の身体動作が認識空間（Ａｏ）にて実行される可能性が高まるので、誤作動の発生を抑制でき得る。

利用者が着席可能なシート（Ｓ）であって、着席者に振動を付与する振動装置（１３）が設けられたシート（Ｓ）を備え、報知装置（１０、１３）は、振動装置（１３）を振動させて利用者に報知してもよい。なお、振動にて報知する場合には、互いに異なる箇所に配設された第１振動子（１３Ａ）及び第２振動子（１３Ｂ）にて振動装置（１３）を構成することが望ましい。これにより、利用者に確実に報知内容を理解させることが可能となり得る。

利用者が存在する位置を検出する利用者位置検出部（１２）と、利用者位置検出部（１２）が検出した利用者の存在位置を利用して認識空間（Ａｏ）を設定する認識空間設定部（１０）とを備えることが望ましい。これにより、利用者にとって好ましい位置に認識空間（Ａｏ）を設定でき得る。

因みに、上記各括弧内の符号は、後述する実施形態に記載の具体的構成等との対応関係を示す一例であり、本発明は上記括弧内の符号に示された具体的構成等に限定されるものではない。

本発明の実施形態に係るジェスチャーユーザインタフェースシステムの構成を示す図である。 本発明の実施形態に係るジェスチャーユーザインタフェースシステムにおける認識空間Ａｏ等を概念図である。 本発明の実施形態に係るジェスチャーユーザインタフェースシステムにおける報知用振動パターンの一例を示す図である。 本発明の実施形態に係るジェスチャーユーザインタフェースシステムにおける報知用振動パターンの一例を示す図である。 本発明の実施形態に係るジェスチャーユーザインタフェースシステムにおける報知用振動パターンの一例を示す図である。 本発明の実施形態に係るジェスチャーユーザインタフェースシステムの制御フローの一例を示す図である。

以下に説明する「発明の実施形態」は、本願発明の技術的範囲に属する実施形態の一例を示すものである。つまり、特許請求の範囲に記載された発明特定事項等は、下記の実施形態に示された具体的構成や構造等に限定されるものではない。

以下、本発明の実施形態を図面と共に説明する。なお、各図に付された方向を示す矢印等は、各図相互の関係を理解し易くするために記載したものである。本発明は、各図に付された方向に限定されるものではない。

少なくとも符号を付して説明した部材又は部位は、「１つの」等の断りをした場合を除き、少なくとも１つ設けられている。つまり、「１つの」等の断りがない場合には、当該部材は２以上設けられていてもよい。

（第１実施形態）
１．乗物用ジェスチャーユーザインタフェースシステムの概要
本実施形態は、自動車等の乗物にジェスチャーユーザインタフェースシステムを適用したものである。なお、本実施形態は、図１に示すように、自動車の後部シートＳにジェスチャーユーザインタフェースシステム１を適用したものである。

すなわち、本実施形態では、ジェスチャーユーザインタフェースシステムを介して乗員の意図を認識し、乗物に搭載された機器（以下、搭載機器という。）を作動させるものである。

搭載機器とは、当該乗物で稼働する各種の機器である。具体的には、例えば、車両用空調装置、車両用オーディオ装置及びカーナビゲーションシステム等の車室内用機器、又はバックドア開閉装置やスライド式ドア開閉装置等の室外用機器である。

２．ジェスチャーユーザインタフェースシステムの概要（図１参照）
２．１ ジェスチャーユーザインタフェースシステムの構成
ジェスチャーユーザインタフェースシステム１は、動作検出装置及び報知装置を少なくとも備える。動作検出装置は、利用者が認識空間Ａｏ内で実行した身体動作を検出するための装置である。

認識空間Ａｏは、「利用者が存在する空間内に予め設定された領域」である。換言すれば、認識空間Ａｏは、動作検出装置が身体動作の意図を認識（理解）可能な領域である。なお、本実施形態に係る認識空間Ａｏは、後部シートＳに着席した者が手を（例えば、指先）を動作する可能性が高い空間に設定されている。

本実施形態に係る動作検出装置は、撮像センサ１１及び制御装置１０等を有して構成されている。撮像センサ１１は、撮像素子等の空間中の身体動作を電気信号に変換可能なカメラ等により構成されている。

制御装置１０は、撮像センサ１１から出力する画像データが入力されるとともに、当該画像データを解析して身体動作の意図を認識する。制御装置１０は、ＣＰＵ、ＲＯＭ及びＲＡＭ等を有するマイクロコンピュータにて構成されたものである。ＲＯＭ等の不揮発性記憶部には、画像データを解析するためのソフトウェアが予め記憶されている。

なお、本実施形態に係る制御装置１０は、ジェスチャーユーザインタフェースシステム１全体を制御するとともに、動作検出装置の一部を兼ねる。つまり、ＲＯＭ等の不揮発性記憶部には、ジェスチャーユーザインタフェースシステム１の作動を制御するためのソフトウェアが予め記憶されている。

報知装置は、認識空間Ａｏ外の空間で身体動作がされた場合に、その旨を利用者に報知するための装置である。本実施形態に係る報知装置は、振動装置１３及び制御装置１０により構成されている。

振動装置１３は、シートＳに着席した着席者に振動を付与する装置である。制御装置１０は、「着席者の身体動作を認識できない」と判断した場合に、「認識空間Ａｏ外の空間で身体動作がされた」とみなして振動装置１３を振動させる。

本実施形態に係る振動装置１３は、図１に示すように、互いに異なる箇所に配設された第１振動子１３Ａ及び第２振動子１３Ｂを有して構成されている。第１振動子１３Ａは、シートバックに配設されて着席者の背部に振動を付与する。第２振動子１３Ｂは、アームレストに配設されて着席者の腕に振動を付与する。

２．２ ジェスチャーユーザインタフェースシステムの概略作動
本実施形態では、図２に示すように、認識空間Ａｏの外側に第１認識空間Ａ１及び第２認識空間Ａ２が設定されている。認識空間Ａｏは、身体動作の意図を制御装置１０が認識できる確率（以下、認識率という。）が所定以上の空間である。

第１認識空間Ａ１は、身体動作が実行されたことを制御装置１０が認識可能な空間であって、認識空間Ａｏに比べて認識率が低い空間である。第２認識空間Ａ２は、身体動作が実行されたことを制御装置１０が認識可能な空間であって、第１認識空間Ａ１に比べて認識率が低い空間である。

つまり、認識空間Ａｏからの離間距離が大きくなるほど、認識率が低下する。第２認識空間Ａ２外では、制御装置１０は身体動作が実行されたか否かも認識できない。そして、制御装置１０は、第１認識空間Ａ１又は第２認識空間Ａ２で身体動作を認識した場合に、「認識空間Ａｏ外の空間で身体動作がされた」とみなす。

なお、本実施形態では、ジェスチャーユーザインタフェースシステム１の作動開始後、予め設定された時間内に制御装置１０が身体動作の有無を認識できない場合も、制御装置１０は「認識空間Ａｏ外の空間で身体動作がされた」とみなす。

換言すれば、動作検出装置は、身体動作が現実にされた位置を検出する動作位置検出機能も兼ね備えている。そして、制御装置１０は、検出された身体動作の動作位置と認識空間Ａｏとの離間距離を利用して、報知する際の報知パターンを決定した後、決定した報知パターンの報知を実行する。

具体的には、制御装置１０は、第２認識空間Ａ２において身体動作を認識した場合には、例えば図３で示す第１振動パターンの報知作動を実行する。制御装置１０は、第１認識空間Ａ１において身体動作を認識した場合には、例えば図４で示す第２振動パターンの報知作動を実行する。

本実施形態に係る制御装置１０は、認識空間Ａｏにて身体動作を認識した場合には、例えば図５で示す第３振動パターンの報知作動を実行する。つまり、第３振動パターンは、「認識空間Ａｏ内で身体動作がされた」旨の報知パターンである。

制御装置１０は、ジェスチャーユーザインタフェースシステム１の作動開始後、予め設定された時間内に制御装置１０が身体動作の有無を認識できない場合には、第１振動パターンの報知作動を実行する。

なお、本実施形態に係る各振動パターンでは、認識空間Ａｏと動作位置との離間距離が大きくなるほど、各振動子１３Ａ、１３Ｂの振動周期が短くなるとともに、両振動子１３Ａ、１３Ｂの合成振動周期が短くなるように変化する。

第１振動子１３Ａの振動周期とは、図３〜図５中の時間Ｔ１の２倍をいう。第２振動子１３Ｂの振動周期とは、図３〜図５中の時間Ｔ２の２倍をいう。合成振動周期とは、「Ｔ１＋Ｔ２−Ｔａ」をいう。

図１に示すシート位置センサ１２は、利用者が存在する位置を検出する利用者位置検出部の一例である。すなわち、シートＳは、車体に対してスライド変位可能である。シート位置センサ１２は、車体に対するシートＳの位置を検出し、その検出結果を制御装置１０に向けて出力する。

制御装置１０は、シート位置センサ１２の検出結果を利用して認識空間Ａｏを設定する。つまり、車体に対するシートＳの位置が決まると、利用者である着席者の身体動作を行う空間が概ね決定する。そこで、本実施形態では、「シートＳの位置」と「着席者の身体動作を行う空間」との位置関係が予めＲＯＭ等の不揮発性記憶部に記憶されている。

そして、制御装置１０は、上記位置関係及びシート位置センサ１２の検出結果を利用して認識空間Ａｏを設定する。つまり、例えば、シート位置センサ１２の位置が車両前後方向に変化した場合には、認識空間Ａｏの位置もこれに応じて車両前後方向に変化する。

なお、「シートＳの位置」と「着席者の身体動作を行う空間」との位置関係は、試験等の試行錯誤的に最適化された関係である。したがって、当該位置関係は、車種や車両の仕向地等により適宜変更される得る内容である。

２．３ ジェスチャーユーザインタフェースシステムの作動の詳細
図６に示された制御フローは、上記の概略作動の一例であって、当該制御フローは、制御装置１０により実行される。なお、上記制御フローを実行するためのソフトウェアは、ＲＯＭ等の不揮発性記憶部に予め記憶されている。

上記制御フローは、搭載機器が稼働可能な状態となったとき（例えば、エンジンスタートスイッチが投入されたとき等）に起動され、搭載機器が稼働不可能な状態となったときに停止する。

そして、搭載機器が稼働可能な状態となると、制御装置１０は、ジェスチャーユーザインタフェースシステム１が起動しているか否かを判断する（Ｓ１）。なお、本実施形態に係る制御装置１０は、ジェスチャーユーザインタフェースシステムの起動スイッチ（図示せず。）等の状態を利用して当該判断をする。

つまり、上記起動スイッチが投入されていると制御装置１０が判断した場合には、制御装置１０は、ジェスチャーユーザインタフェースシステム１が起動している、つまり「ジェスチャーＯＮ（オン）」であると判断する。

制御装置１０は、「ジェスチャーＯＮ（オン）」であると判断した場合には（Ｓ１：ＹＥＳ）、シート位置センサ１２の検出結果を読み込んだ後（Ｓ３）、当該検出結果を利用して認識空間Ａｏを設定する（Ｓ５）。

なお、本実施形態に係る制御装置１０は、認識空間Ａｏの設定が完了したときに、例えば、予め設定された振動パターンを振動装置１３を介して出力することにより、利用者に「認識空間Ａｏを設定した」旨を報知する（Ｓ７）。

上記の報知後、制御装置１０は、身体動作の動作位置（本実施形態では、着席者の指先位置座標）を撮像センサ１１を利用して取得した後（Ｓ９）、当該動作位置がいずれの空間Ａｏ〜Ａ２に位置するかを判断する（Ｓ１１）。

動作位置がいずれの空間Ａｏ〜Ａ２に位置すると制御装置１０が判断した場合には（Ｓ１１：ＹＥＳ）、制御装置１０は、当該動作位置の離間距離を決定・認識した後（Ｓ１３）、当該離間距離に対して予め設定された振動パターンを決定するとともに（Ｓ１５）、当該決定された振動パターンを振動装置１３に出力させる（Ｓ１７）。

次に、制御装置１０は、身体動作の意味内容、つまり身体動作を通じた利用者の意図を認識・判断し（Ｓ１９）、身体動作の意味内容を認識できた場合には（Ｓ１９：ＹＥＳ）、その旨の報知（図５に示す振動パターン）を出力するとともに、身体動作の対象となる搭載機器に対して身体動作の意味内容を示す命令信号を出力する（Ｓ２１）。

具体的には、例えば、制御装置１０が「当該身体動作は、車両空調装置の設定温度を変更する旨の意味内容である」と判断した場合には、制御装置１０は、車両空調装置の制御部に対してその旨の命令信号を出力する。

そして、当該制御部は、命令信号に従って車両用空調装置を作動させる。なお、身体動作の意味内容を認識できないと制御装置１０が判断した場合には（Ｓ１９：ＮＯ）、制御装置１０は、Ｓ３を実行する。

制御装置１０は、上記命令信号の出力後、振動装置１３による報知作動を停止させた後（Ｓ２３）、身体動作が引き続き実行されているか否かを判断する（Ｓ２５）。身体動作が引き続き実行されていると制御装置１０が判断した場合には（Ｓ２５：ＹＥＳ）、当該身体動作の対象となる搭載機器に対して身体動作の意味内容を示す命令信号を出力する（Ｓ２７）。

次に、制御装置１０は、身体動作の動作位置がいずれの空間Ａｏ〜Ａ２に位置するかを判断する（Ｓ２９）。動作位置がいずれの空間Ａｏ〜Ａ２に位置すると制御装置１０が判断した場合には（Ｓ２９：ＹＥＳ）、制御装置１０は、Ｓ２５を実行する。なお、動作位置がいずれの空間Ａｏ〜Ａ２に位置しないと制御装置１０が判断した場合には（Ｓ２９：ＮＯ）、制御装置１０は、Ｓ１を実行する。

３．本実施形態に係るジェスチャーユーザインタフェースシステムの特徴
本実施形態では、利用者が存在する空間内に設定された認識空間Ａｏ内でされた身体動作を検出するとともに、認識空間Ａｏ外の空間で身体動作がされた場合に、その旨を利用者に報知する。

これにより、認識空間Ａｏ外の空間で身体動作がされた場合に、当該身体動作をした利用者は、その旨を理解でき得る。つまり、「認識空間Ａｏ内で身体動作を再度実行する必要がある」旨を利用者に促すことができ得る。延いては、誤作動の発生を抑制でき得る。

本実施形態では、検出された動作位置と認識空間Ａｏとの離間距離を利用して、報知する際の報知パターン、つまり振動パターンを決定する。
これにより、利用者に対して「次回の身体動作をいずれの空間で行うことが妥当であるか」を伝えることができ得る。延いては、次回以降の身体動作が認識空間Ａｏにて実行される可能性が高まるので、誤作動の発生を抑制でき得る。

本実施形態では、互いに異なる箇所に配設された第１振動子１３Ａ及び第２振動子１３Ｂにて振動装置１３を構成している。これにより、利用者に確実に報知内容を理解させることが可能となり得る。

本実施形態では、利用者が存在する位置を検出し、当該検出した利用者の存在位置を利用して認識空間Ａｏを設定する。これにより、利用者にとって好ましい位置に認識空間Ａｏを設定でき得る。

（その他の実施形態）
上述の実施形態に係る各振動パターンでは、認識空間Ａｏと動作位置との離間距離が大きくなるほど、各振動子１３Ａ、１３Ｂの振動周期が短くなるとともに、両振動子１３Ａ、１３Ｂの合成振動周期が短くなるように変化した。しかし、本願明細書に開示された発明はこれに限定されるものではない。

上述の実施形態では、ジェスチャーユーザインタフェースシステムの起動スイッチが投入されている場合に「ジェスチャーＯＮ（オン）」であると判断した。しかし、本願明細書に開示された発明はこれに限定されるものではない。

すなわち、例えば、当該起動スイッチが音声入力装置にて構成されている場合には、当該音声入力装置の状態により「ジェスチャーＯＮ（オン）」が判断される構成であってもよい。

上述の実施形態では、振動装置１３にて報知装置を構成した。しかし、本願明細書に開示された発明はこれに限定されるものではない。すなわち、例えば、音声や映像にて報知する報知装置であってもよい。

上述の実施形態に係る振動装置１３では、第１振動子１３Ａ及び第２振動子１３Ｂにより構成されていた。しかし、本願明細書に開示された発明はこれに限定されるものではない。すなわち、例えば、１つの振動子、又は３つ以上の振動子にて構成されていてもよい。

上述の実施形態では、シート位置センサ１２により利用者が存在する位置を検出した。しかし、本願明細書に開示された発明はこれに限定されるものではない。すなわち、例えば、広角カメラ等を利用して利用者が存在する位置を検出してもよい。

上述の実施形態では、検出された利用者の存在位置を利用して認識空間Ａｏを設定した。しかし、本願明細書に開示された発明はこれに限定されるものではない。すなわち、例えば、認識空間Ａｏを固定された空間として設定されていてもよい。なお、図２では、各空間が球状に示されているが、本願明細書に開示された発明はこれに限定されるものではない。

上述の実施形態では、乗用車に本発明に係るジェスチャーユーザインタフェースシステムを適用した。しかし、本発明の適用はこれに限定されるものではなく、鉄道車両、船舶及び航空機等の乗物に用いられるシート、並びに劇場や家庭用等に用いられる据え置き型シートにも適用できる。

さらに、本発明は、特許請求の範囲に記載された発明の趣旨に合致するものであればよく、上述の実施形態に限定されるものではない。したがって、上述した複数の実施形態のうち少なくとも２つの実施形態を組み合わせてもよい。

１… ジェスチャーユーザインタフェースシステム
１０… 制御装置
１１… 撮像センサ
１２… シート位置センサ
１３… 振動装置

Claims (6)

1. 利用者の身体動作を検出して当該利用者の意図を認識するジェスチャーユーザインタフェースシステムにおいて、
   利用者が存在する空間内に設定された認識空間内でされた前記身体動作を検出する動作検出装置と、
   前記認識空間外の空間で前記身体動作がされた場合に、その旨を利用者に報知する報知装置と
   を備えるジェスチャーユーザインタフェースシステム。
2. 前記報知装置は、
   前記身体動作が現実にされた位置を検出する動作位置検出部、及び
   前記動作位置検出部により検出された動作位置と前記認識空間との離間距離を利用して、報知する際の報知パターンを決定する報知パターン決定部
   を有して構成されている請求項１に記載のジェスチャーユーザインタフェースシステム。
3. 利用者が着席可能なシートであって、着席者に振動を付与する振動装置が設けられたシートを備え、
   前記報知装置は、前記振動装置を振動させて利用者に報知する請求項１又は２に記載のジェスチャーユーザインタフェースシステム。
4. 前記振動装置は、互いに異なる箇所に配設された第１振動子及び第２振動子を有して構成されている請求項３に記載のジェスチャーユーザインタフェースシステム。
5. 利用者が存在する位置を検出する利用者位置検出部と、
   前記利用者位置検出部が検出した利用者の存在位置を利用して前記認識空間を設定する認識空間設定部と
   を備える請求項１ないし４のいずれか１項に記載のジェスチャーユーザインタフェースシステム。
6. 乗物に搭載され、当該乗物で稼働する搭載機器と、
   請求項１ないし５のいずれか１項に記載のジェスチャーユーザインタフェースシステムを有し、当該ジェスチャーユーザインタフェースシステムにより認識された乗員の意図を利用して前記搭載機器を作動させる制御部と
   を備える乗物用制御システム。