JP2018010538A - 画像認識装置 - Google Patents

Abstract

【課題】簡易なシステムにより、ジェスチャー操作による回転動作を精度よく判定できる画像認識装置を提供する。【解決手段】所定の方向から撮像対象物である操作者の手８０を撮像する撮像手段としてのカメラ１０と、カメラ１０により撮像された所定の方向と直交する面内の画像情報に基づいて、撮像対象物の基準点の動作軌跡の傾きを算出し、動作軌跡の傾きの正負反転の個数に基づいて、手８０の所定の動作種別を検出する制御部と、を有する。【選択図】図１

Description

本発明は、画像認識装置に関し、特に、画像認識によりジェスチャー動作（回転動作）を判定する画像認識装置に関する。

従来の技術として、ジェスチャー認識を複合的に用いて、利用者に直感的で分かりやすいインターフェイスを提供するとともに、複雑な入力操作が可能な装置を提供する画像認識装置が提案されている（例えば、特許文献１参照。）。この画像認識装置は、撮像手段により撮影された映像に基づくジェスチャー認識とタッチパネル等の接触検知手段を複合的に用いて、機器の入力操作を行うものである。

この画像認識装置は、撮像手段により撮影した映像から手形状の認識をする処理を行う。認識された手形状からジェスチャー特徴量を抽出し保存する。ジェスチャー特徴量とは、ジェスチャーを特定するための情報であり、ジェスチャー特徴量データベースに制御命令と関連付けられて記憶されている。例えば、手形状の領域や操作している指の本数、および指先の位置情報等である。撮像手段により取得した映像から、ジェスチャー認識処理によって、親指の指先の位置を初期値として登録する。つぎに、操作者が連続的なパラメータを変化させるために親指を回転させた時、その回転量をジェスチャー認識で認識するとされている。

特開２００９−４２７９６号公報

しかし、特許文献１の画像認識装置が例えば車室内に設置された状況では、画像認識装置が振動する結果、動作軌跡が不安定になり易く、極端な移動軌跡になったり、移動方向と異なる方向に振幅する波形を含んだ動作となったりするために、動作を誤判定する可能性がある。また、車室内では、カメラ搭載可能なスペースは限られ、撮影位置や方向が制約されるため、カメラ設置位置と動作位置の関係から、歪んだ移動軌跡となる可能性がある。このような理由から、従来の画像認識装置では、精度のよい回転動作の判定が難しいという問題があった。

したがって、本発明の目的は、簡易なシステムにより、ジェスチャー操作による回転動作を精度よく判定できる画像認識装置を提供することにある。

［１］上記目的を達成するため、所定の方向から撮像対象物を撮像する撮像手段と、前記撮像手段により撮像された前記所定の方向と直交する面内の画像情報に基づいて、前記撮像対象物の基準点の動作軌跡の傾きを算出し、前記動作軌跡の傾きの正負反転の個数に基づいて、前記撮像対象物の所定の動作種別を検出する制御部と、を有することを特徴とする画像認識装置を提供する。

［２］前記撮像手段は単眼カメラであり、前記所定の方向は前記単眼カメラの光軸方向であることを特徴とする上記［１］に記載の画像認識装置であってもよい。

［３］また、前記制御部は、前記正負反転の個数が４以上の場合に、前記撮像対象物の所定の動作種別は回転動作であると判定することを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。

本発明の画像認識装置によれば、簡易なシステムにより、ジェスチャー操作による回転動作を精度よく判定できる画像認識装置を提供することができる。

図１は、本発明の実施の形態に係る画像認識装置のカメラ配置の一例を示す概略斜視図である。 図２は、本発明の実施の形態に係る画像認識装置のブロック図の一例を示している。 図３（ａ）は、図１においてＺ軸方向に見たＸＹ座標上に撮像されたフレーム画像Ｓ（ｎ）であり、図３（ｂ）は、背景画像１１０のフレーム画像Ｓ（０）であり、図３（ｃ）は、フレーム画像Ｓ（ｎ）とフレーム画像Ｓ（０）の差分により背景画像を除去し２値化した画像である。 図４は、本発明の実施の形態に係る画像認識装置の動作を示すフローチャートである。 図５は、Ｆ１（ｎ）の一例を示すグラフである。 図６は、一定フレーム間毎の軌跡傾き式、Ｆ１（ｎ）＝（Ｙｎ／Ｘｎ）とした場合、Ｆ１（ｎ）×Ｆ１（ｎ−１）＜０の判定ポイントの例（回転動作の例）を示す判定図である。 図７（ａ）〜（ｆ）は、判定される回転動作の軌跡を示す例示図である。 図８（ａ）〜（ｄ）は、判定される払い動作の軌跡を示す例示図である。

（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、所定の方向から撮像対象物である操作者の手８０を撮像する撮像手段としてのカメラ１０と、カメラ１０により撮像された所定の方向と直交する面内の画像情報に基づいて、前記撮像対象物の基準点の動作軌跡の傾きを算出し、前記動作軌跡の傾きの正負反転の個数に基づいて、手８０の所定の動作種別を検出する制御部３０と、を有して構成されている。

なお、上記の所定の方向はカメラ１０の光軸方向（Ｚ軸方向、上方向）に設定されている。

図１は、本発明の実施の形態に係る画像認識装置のカメラ配置の一例を示す概略斜視図である。図２は、本発明の実施の形態に係る画像認識装置のブロック図の一例を示している。また、図３（ａ）は、図１においてＺ軸方向に見たＸＹ座標上に撮像されたフレーム画像Ｓ（ｎ）であり、図３（ｂ）は、背景画像１１０のフレーム画像Ｓ（０）であり、図３（ｃ）は、フレーム画像Ｓ（ｎ）とフレーム画像Ｓ（０）の差分により背景画像を除去し２値化した画像である。

図１に示すように、画像認識装置１は、撮像手段としてのカメラ１０が上方向に配置され、図示のＡ方向、すなわち、カメラ１０の光軸方向（Ｙ軸方向）を撮像する。本実施の形態では、カメラ１０は１台である単眼システムである。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。カメラ１０の撮像範囲６０と略同一となる範囲を赤外照明２０が照明する。なお、撮像する光の波長は任意の周波数の光が使用可能であるが、赤外光、近赤外光を使用して照明、撮像する。これにより、操作者が撮像時に照明光を見ることがなく、撮像時の違和感を防止あるいは軽減することができる。

（カメラ１０）
図１に示すように、カメラ１０は、Ａ方向に向けて操作者の手８０を撮像し、カメラ１０の光軸方向（Ｚ軸方向）と直交するＸＹ面内の画像情報である画像データをフレーム画像１００として、所定のフレーム周期で制御部３０へ出力する。このフレーム画像１００は、例えば、後述する図３（ａ）に示すような背景１１０を含んだフレーム画像である。フレーム画像１００は、図２に示すように、ある時刻におけるｎフレーム目のフレーム画像Ｓ（ｎ）を所定のタイミング（例えば、１／６０秒）で順次、制御部３０へ出力する。

なお、図３（ｂ）に示した背景画像１１０のみを予め撮像し、この背景画像１１０をフレーム画像Ｓ（０）として後述する背景処理に使用する。

（照明２０）
また、図１、２に示すように、制御部３０には、照明２０が接続されている。なお、照明は複数台が制御部３０に接続されていてもよい。図１に示すように、照明２０は、カメラ１０の撮像範囲（画角）をカバーする範囲に赤外光を照射して撮像対象物を照明する。

（制御部３０の構成）
図２に示すように、制御部３０には、１台のカメラ１０が接続されている。また、制御部３０には、照明２０が接続されている。

制御部３０は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部３０が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また制御部３０は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。

制御部３０は、画像処理部３１、重心検出部３２、基準点検出部３３、フレーム間演算部３４、および動作識別部３５を備えている。

（画像処理部３１）
画像処理部３１は、カメラ１０から入力される各フレーム画像Ｓ（ｎ）を後工程の重心検出、基準点検出等を行なうために、背景除去、２値化処理等の画像処理を予め実行するための前工程である。

図３（ａ）は、図１においてＺ軸方向に見たＸＹ座標上に撮像されたフレーム画像Ｓ（ｎ）であり、図３（ｂ）は、背景画像１１０のフレーム画像Ｓ（０）であり、図３（ｃ）は、フレーム画像Ｓ（ｎ）とフレーム画像Ｓ（０）の差分により背景画像を除去し２値化した画像である。この背景画像であるフレーム画像Ｓ（０）は、差分画像の算出処理の基準画像となるので、時間により変化しない画像であることが好ましい。

画像処理部３１は、フレーム画像Ｓ（ｎ）と背景画像１１０のフレーム画像Ｓ（０）の差分を抽出し、この差分をフレーム画像Ｓ（ｎ）から除去して、手８０のみのフレーム画像Ｓ（ｎ）を作成する。また、これを２値化して、図３（ｃ）に示す手８０の２値化されたフレーム画像Ｓ（ｎ）を作成する。以下の説明では、この２値化されたフレーム画像Ｓ（ｎ）により各処理が実行されるものとして説明する。

（重心検出部３２）
重心検出部３２は、２値化されたフレーム画像Ｓ（ｎ）に基づいて、重心Ｇの位置を算出することにより検出する。重心Ｇの位置のＸ座標は、図３（ｃ）の中の数値の平均値である。平均値は、手８０が存在する画素のＸ座標の値の合計を、手８０が存在する画素の数で割ることにより計算できる。同様にして、重心Ｇの位置のＹ座標は、図３（ｃ）の中の数値の平均値である。平均値は、手８０が存在する画素のＹ座標の値の合計を、手８０が存在する画素の数で割ることにより、重心Ｇ（Ｘ、Ｙ）を算出する。

（基準点検出部３３）
基準点検出部３３は、図３（ｃ）で示す算出された重心Ｇから、最も遠い点Ｐを基準点として検出する。なお、この基準点は、手８０の特定の位置であれば、重心Ｇから最も遠い点には限られない。

基準点検出部３３は、図３（ｃ）のように求められた画像を、例えば、テンプレートマッチングにより、手首から指先部分を抽出する。この抽出された手のフレーム画像において、重心Ｇから最も遠いＸ座標、Ｚ座標を求める。これにより、重心Ｇから最も遠い点Ｐを検出することができ、これを、動作軌跡の基準点（ｘ、ｙ）とする。なお、手において重心Ｇから最も遠い点Ｐは、例えば、図３（ａ）、（ｃ）に示すように、指先である。

（フレーム間演算部３４、動作識別部３５）
フレーム間演算部３４は、カメラ１０から所定のタイミングで順次入力されるフレーム画像Ｓ（ｎ）から、種々の演算を実行する。フレーム間演算部３４は、フレーム画像Ｓ（ｎ）に基づいて、基準点のｘ座標、ｙ座標（ｘ、ｙ）を検出する。

ここで、数フレーム間とは、５以下のフレーム間であり、一定フレーム間とは、１桁程度のフレーム間であり、ウインドウフレーム間とは、ある一定数のフレーム間とする。ウインドウフレーム間は、一定フレーム間よりも大きい。認識精度や判定速度の条件から各フレーム数は変化する。本実施の形態では、数フレーム間を９フレーム、一定フレーム間を３フレーム、ウインドウフレーム間を５００フレームとする。

フレーム間演算部３４、動作識別部３５は、以下の計算、判定等を実行する。
（１）フレーム間演算部３４は、基準点検出部３３で抽出された基準点の、ある時間ｔでの座標（ｘ_ｔ、ｙ_ｔ）を記憶する。
（２）単位移動距離Ｄ＝√（（ｘ_ｔ−ｘ_ｔ−３）^２＋（ｙ_ｔ−ｙ_ｔ−３）^２））を計算する。
なお、√（ ）は、（ ）^１／２と同意である。
（３）単位フレーム間の値Ｔ＝ａ／Ｄを計算する。ａは、定数とする。
（４）一定フレーム間でのＸ値の時間変化値ＧＸ（ｔ）＝ｘ_ｔ−ｘ_ｔ−Ｔを計算する。同様に、Ｙ値の時間変化値ＧＹ（ｔ）＝ｙ_ｔ−ｙ_ｔ−Ｔを計算する。
（５）ＧＸ（ｔ）×ＧＸ（ｔ−１）、または、ＧＹ（ｔ）×ＧＹ（ｔ−１）を計算する。
（６）閾値内になったフレームから数フレーム後から開始して、一定フレーム毎（Ｔ＝３）に、Ｙｎ＝ｙ_ｔ−ｙ_ｔ−３、Ｘｎ＝ｘ_ｔ−ｘ_ｔ−３を計算し、一定フレーム間毎の軌跡傾き式、Ｆ１（ｎ）＝（Ｙｎ／Ｘｎ）を計算する。なお、Ｘβ＝０の場合は、Ｆ１（β）＝Ｆ１maxとする。
（７）動作識別部３５は、ウインドウフレーム間で、Ｆ１（ｎ）の正負が反転するポイントが４点以上存在するか判断する。４点より少ない場合は払い動作と判定する。
（８）動作識別部３５は、ウインドウフレーム間で、ＧＸ（ｔ）×ＧＸ（ｔ−１）及びＧＹ（ｔ）×ＧＹ（ｔ−１）がゼロ以下になるかを判断する。最低でもどちらか一方が常にゼロよりも大きい場合は払い動作と判定する。

（画像認識装置１の動作）
図４は、本発明の実施の形態に係る画像認識装置の動作を示すフローチャートである。以下、このフローチャートに従って画像認識装置１の動作を説明する。

フレーム間演算部３４は、まず、単位移動距離Ｄ＝√（（ｘ_ｔ−ｘ_ｔ−３）^２＋（ｙ_ｔ−ｙ_ｔ−３）^２）を計算する（Ｓｔｅｐ０１）。

フレーム間演算部３４は、単位移動距離Ｄがゼロかどうかを判断する（Ｓｔｅｐ０２）。単位移動距離Ｄがゼロの場合は、操作者の手８０が動いてないと判断して、Ｓｔｅｐ０１へ戻り（Ｓｔｅｐ０２：Ｙｅｓ）、単位移動距離Ｄがゼロでない場合は、Ｓｔｅｐ０３へ進む（Ｓｔｅｐ０２：Ｎｏ）。

フレーム間演算部３４は、単位フレーム間の値Ｔ＝ａ／Ｄを計算する（Ｓｔｅｐ０３）。ａは、定数とする。

フレーム間演算部３４は、一定フレーム間でのＸ値の時間変化値ＧＸ（ｔ）＝ｘ_ｔ−ｘ_ｔ−Ｔを計算する（Ｓｔｅｐ０４）。

フレーム間演算部３４は、Ｓｔｅｐ０４と同様に、Ｙ値の時間変化値ＧＹ（ｔ）＝ｙ_ｔ−ｙ_ｔ−Ｔを計算する（Ｓｔｅｐ０５）。

フレーム間演算部３４は、ＧＸ（ｔ）×ＧＸ（ｔ−１）、または、ＧＹ（ｔ）×ＧＹ（ｔ−１）がゼロ以下かどうかを判断する（Ｓｔｅｐ０６）。ＧＸ（ｔ）×ＧＸ（ｔ−１）、または、ＧＹ（ｔ）×ＧＹ（ｔ−１）がゼロ以下の場合は、Ｓｔｅｐ０７へ進み（Ｓｔｅｐ０６：Ｙｅｓ）、ゼロ以下でない場合は、Ｓｔｅｐ０１へ戻って移動距離計測を継続する（Ｓｔｅｐ０６：Ｎｏ）。

フレーム間演算部３４は、ｎ＝ｎ＋１として、次のフレームへ進む（Ｓｔｅｐ０７）。

フレーム間演算部３４は、ｘ_ｎ、ｙ_ｎ、Ｘ’_ｎ、Ｙ’_ｎを取得する（Ｓｔｅｐ０８）。

フレーム間演算部３４は、ｎ＜３かどうかを判断する（Ｓｔｅｐ０９）。ｎ＜３の場合は、一定フレーム数（ｎ＝３）に達していないので、Ｓｔｅｐ０７へ戻り（Ｓｔｅｐ０９：Ｙｅｓ）、ｎ＜３でない場合は、一定フレーム数（ｎ＝３）に達したので、Ｓｔｅｐ１０へ進む（Ｓｔｅｐ０９：Ｎｏ）。

フレーム間演算部３４は、Ｘｎ＝ｘ_ｔ−ｘ_ｔ−３、Ｙｎ＝ｙ_ｔ−ｙ_ｔ−３を計算する（Ｓｔｅｐ１０）。

フレーム間演算部３４は、Ｘｎがゼロかどうかを判断する（Ｓｔｅｐ１１）。Ｘｎがゼロでない場合は、次の割算処理であるＳｔｅｐ１２へ進み（Ｓｔｅｐ１１：Ｎｏ）、Ｘｎがゼロの場合は、Ｓｔｅｐ１３へ進む（Ｓｔｅｐ１１：Ｙｅｓ）。

フレーム間演算部３４は、Ｆ１（ｎ）＝Ｆ１maxとしてＳｔｅｐ１４へ進む（Ｓｔｅｐ１３）。

フレーム間演算部３４は、一定フレーム間（ｎ＝３）毎の軌跡傾き式、Ｆ１（ｎ）＝（Ｙｎ／Ｘｎ）を計算する（Ｓｔｅｐ１２）。図５は、反転ポイントを有するＦ１（ｎ）の一例を示すグラフである。

フレーム間演算部３４は、ｎ＜４かどうかを判断する（Ｓｔｅｐ１４）。ｎ＜４の場合は、Ｓｔｅｐ０７へ戻り（Ｓｔｅｐ１４：Ｙｅｓ）、ｎ＜４でない場合は、Ｓｔｅｐ１５へ進む（Ｓｔｅｐ１４：Ｎｏ）。

フレーム間演算部３４は、Ｆ１（ｎ）×Ｆ１（ｎ―１）＞０を判断する（Ｓｔｅｐ１５）。図６は、一定フレーム間毎の軌跡傾き式、Ｆ１（ｎ）＝（Ｙｎ／Ｘｎ）とした場合、Ｆ１（ｎ）×Ｆ１（ｎ−１）＜０の判定ポイントの例（回転動作の例）を示す判定図である。Ｆ１（ｎ）×Ｆ１（ｎ―１）＞０でない場合は、Ｓｔｅｐ１６へ進み（Ｓｔｅｐ１５：Ｎｏ）、Ｆ１（ｎ）×Ｆ１（ｎ―１）＞０の場合は、Ｓｔｅｐ１７へ進む（Ｓｔｅｐ１５：Ｙｅｓ）。

フレーム間演算部３４は、反転数Ａを、Ａ＝Ａ＋１とする（Ｓｔｅｐ１６）。

フレーム間演算部３４は、ｎ＜５００かどうかを判断する（Ｓｔｅｐ１７）。ｎ＜５００の場合は、ウインドウフレーム数に達してないとして、Ｓｔｅｐ０７へ戻り（Ｓｔｅｐ１７：Ｙｅｓ）、ｎ＜５００でない場合は、Ｓｔｅｐ１８へ進む（Ｓｔｅｐ１７：Ｎｏ）。

動作識別部３５は、Ａ＜４かどうかを判断する（Ｓｔｅｐ１８）。反転数Ａが４＜０の場合は、Ｓｔｅｐ２０へ進み（Ｓｔｅｐ１８：Ｙｅｓ）、反転数Ａが４＜０でない場合は、Ｓｔｅｐ１９へ進む（Ｓｔｅｐ１８：Ｎｏ）。

動作識別部３５は、払い動作と判定する（Ｓｔｅｐ２０）。

動作識別部３５は、ＧＸ（ｔ）×ＧＸ（ｔ−１）、または、ＧＹ（ｔ）×ＧＹ（ｔ−１）がゼロより大きいかどうかを判断する（Ｓｔｅｐ１９）。ゼロより小さい場合は、Ｓｔｅｐ２１へ進み（Ｓｔｅｐ１９：Ｎｏ）、ゼロより大きい場合は、Ｓｔｅｐ２２へ進む（Ｓｔｅｐ１９：Ｙｅｓ）。

動作識別部３５は、回転動作（円動作）と判定する（Ｓｔｅｐ２１）。

動作識別部３５は、払い動作と判定する（Ｓｔｅｐ２２）。

図７（ａ）〜（ｆ）は、動作識別部３５により判定される回転動作の軌跡を示す例示図である。この回転動作の軌跡には、従来技術では判定が難しい回転動作も含まれる。また、図８（ａ）〜（ｄ）は、動作識別部３５により判定される払い動作の軌跡を示す例示図である。

（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本発明の実施の形態に係る画像認識装置１は、所定の方向から撮像対象物である操作者の手８０を撮像する撮像手段としてのカメラ１０と、カメラ１０により撮像された所定の方向と直交する面内の画像情報に基づいて、前記撮像対象物の基準点の動作軌跡の傾きを算出し、前記動作軌跡の傾きの正負反転の個数に基づいて、手８０の所定の動作種別を検出する制御部３０と、を有して構成されている。上記の所定の方向がカメラの光軸方向の場合は、動作種別（回転動作、払い動作）の識別が難しいが、本実施の形態によれば、手８０の基準点の動作軌跡の傾きが正負反転する点を複数個有するかどうかで判定するので、簡易に回転動作を判定することが可能となる。
（２）これにより、簡易なシステムにより、ジェスチャー操作による回転動作を精度よく判定できる画像認識装置を実現することができる。
（３）単眼カメラシステムであるので、ステレオカメラやＴＯＦカメラに比べて安価に画像認識装置を構成することが可能で、処理負荷が軽く処理時間がかからないという効果を有する。
（４）本実施の形態に係る画像認識装置１が車室内に設置されても、動作軌跡が不安定になったり、極端な移動軌跡になったり、移動方向と異なる方向に振幅する波形を含んだ動作とならずに、回転動作と払い動作を精度よく判定、識別することができる。

以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…画像認識装置
１０…カメラ
２０…照明
３０…制御部、３１…画像処理部、３２…重心検出部、３３…基準点検出部、３４…フレーム間演算部、３５…動作識別部
６０…撮像範囲
８０…手
１００…フレーム画像、１１０…背景

Claims (3)

1. 所定の方向から撮像対象物を撮像する撮像手段と、
   前記撮像手段により撮像された前記所定の方向と直交する面内の画像情報に基づいて、前記撮像対象物の基準点の動作軌跡の傾きを算出し、前記動作軌跡の傾きの正負反転の個数に基づいて、前記撮像対象物の所定の動作種別を検出する制御部と、
   を有することを特徴とする画像認識装置。
2. 前記撮像手段は単眼カメラであり、前記所定の方向は前記単眼カメラの光軸方向であることを特徴とする請求項１に記載の画像認識装置。
3. 前記制御部は、前記正負反転の個数が４以上の場合に、前記撮像対象物の所定の動作種別は回転動作であると判定することを特徴とする請求項１又は２に記載の画像認識装置。