JP2018132986A

JP2018132986A - 画像認識装置

Info

Publication number: JP2018132986A
Application number: JP2017026913A
Authority: JP
Inventors: 圭吾多田; Keigo Tada
Original assignee: Tokai Rika Co Ltd
Current assignee: Tokai Rika Co Ltd
Priority date: 2017-02-16
Filing date: 2017-02-16
Publication date: 2018-08-23

Abstract

【課題】手の平の誤検出を抑制することができる画像認識装置を提供する。
【解決手段】画像認識装置１は、例えば、入力する画像情報から得られた距離変換画像２５０の距離変換値２５１が最大となる位置を中心位置Ｃとした手の平候補１２２の半径Ｒと、距離変換画像２５０から求められた指先候補の指先位置Ｐと中心位置Ｃまでの距離Ｌと、が予め定められた条件を満たす場合、手の平候補１２２を求める手の平であると判定し、予め定められた条件を満たさない場合、手の平候補１２２内の距離変換値２５１をゼロとして次の手の平候補を再度抽出させる判定部１５０を備えて概略構成されている。
【選択図】図４

Description

本発明は、画像認識装置に関する。

従来の技術として、赤外線カメラによる撮像画像を２値化処理し、この画像から手の平を検出する画像認識装置が知られている（例えば、特許文献１参照）。

この画像認識装置は、２値化処理及び孤立点除去後の画像に対して、手領域内部の点から輪郭までの最短距離を算出し、この最短距離が最大となる位置を検出し、この位置を手の平の中心位置と認定する。また手の平サイズ検出部は、中心位置から輪郭までの最短距離により距離変換値を算出して、これにより手の平の大きさを認定する。手の平サイズ検出部で得られた手の平半径を示す情報などは、手特徴情報として蓄積部に蓄積され、動作判断部により例えばジェスチャ判断に利用される。

国際公開第２０１５／０３７２７３号

しかし従来の画像認識装置は、２値画像に腕や服の袖が映り込み、かつ、腕の幅や服の袖の幅が手の平よりも太く映った場合、距離変換値が最大となる画素が手の平の中心とは異なり、誤検出となる問題があった。

従って本発明の目的は、手の平の誤検出を抑制することができる画像認識装置を提供することにある。

本発明の一態様は、入力する画像情報から得られた距離変換画像の距離変換値が最大となる位置を中心位置とした手の平候補の半径と、距離変換画像から求められた指先候補の指先位置と中心位置までの距離と、が予め定められた条件を満たす場合、手の平候補を求める手の平であると判定し、予め定められた条件を満たさない場合、手の平候補内の距離変換値をゼロとして次の手の平候補を再度抽出させる判定部を備えた画像認識装置を提供する。

本発明によれば、手の平の誤検出を抑制することができる。

図１（ａ）は、本実施の形態に係る画像認識装置の配置の一例を示す概略図であり、図１（ｂ）は、画像認識装置のブロック図の一例である。図２（ａ）は、本実施の形態に係る画像認識装置のカメラで撮像された手の輝度画像の一例を示す概略図であり、図２（ｂ）は、輝度画像に対して行われた２値化処理により得られた２値画像の一例を示す概略図であり、図２（ｃ）は、２値画像から得られた距離変換画像の一例を示す概略図である。図３（ａ）は、実施の形態に係る画像認識装置の長手方向検出部が行う長手方向の検出方法の一例を説明するための概略図であり、図３（ｂ）は、手の平候補の半径と手の平候補の中心位置から指先位置までの距離とを説明するための概略図であり、図３（ｃ）は、距離変換値がゼロとされた距離変換画像の一例を示す概略図である。図４は、実施の形態に係る画像認識装置の動作の一例を示すフローチャートである。

（実施の形態の要約）
実施の形態に係る画像認識装置は、入力する画像情報から得られた距離変換画像の距離変換値が最大となる位置を中心位置とした手の平候補の半径と、距離変換画像から求められた指先候補と中心位置までの距離と、が予め定められた条件を満たす場合、手の平候補を求める手の平であると判定し、予め定められた条件を満たさない場合、手の平候補内の距離変換値をゼロとして次の手の平候補を再度抽出させる判定部を備えて概略構成されている。

この画像認識装置は、手の平候補が予め定められた条件を満たさない場合、当該手の平候補内の距離変換値をゼロとして再度手の平候補を抽出させるので、この構成を採用しない場合と比べて、手の平の誤検出を抑制することができる。

[実施の形態]
（画像認識装置１の概要）
図１（ａ）は、本実施の形態に係る画像認識装置の配置の一例を示す概略図であり、図１（ｂ）は、画像認識装置のブロック図の一例である。図２（ａ）は、本実施の形態に係る画像認識装置のカメラで撮像された手の輝度画像の一例を示す概略図であり、図２（ｂ）は、輝度画像に対して行われた２値化処理により得られた２値画像の一例を示す概略図であり、図２（ｃ）は、２値画像から得られた距離変換画像の一例を示す概略図である。図３（ａ）は、実施の形態に係る画像認識装置の長手方向検出部が行う長手方向の検出方法の一例を説明するための概略図であり、図３（ｂ）は、手の平候補の半径と手の平候補の中心位置から指先位置までの距離とを説明するための概略図であり、図３（ｃ）は、距離変換値がゼロとされた距離変換画像の一例を示す概略図である。

なお、以下に記載する実施の形態に係る各図において、図形間の比率は、実際の比率とは異なる場合がある。また図１（ｂ）では、主な信号などの流れを矢印で示している。さらに数値範囲を示す「Ａ〜Ｂ」は、Ａ以上Ｂ以下の意味で用いるものとする。

この画像認識装置１は、一例として、車両に搭載された電子機器と電気的に接続されている。この電子機器は、例えば、なされたジェスチャによって操作されるものである。そして画像認識装置１は、このジェスチャを判定するために手の平を認識し、認識した手の平の情報（後述する手の平情報Ｓ_３）を当該電子機器に出力するように構成されている。

画像認識装置１は、例えば、図１（ａ）〜図２（ｃ）に示すように、入力する画像情報から得られた距離変換画像２５０の距離変換値２５１が最大となる位置を中心位置Ｃとした手の平候補１２２の半径Ｒと、距離変換画像２５０から求められた指先候補の指先位置（後述する指先位置Ｐ）と中心位置Ｃまでの距離（後述する距離Ｌ）と、が予め定められた条件を満たす場合、手の平候補１２２を求める手の平であると判定し、予め定められた条件を満たさない場合、手の平候補１２２内の距離変換値２５１をゼロとして次の手の平候補を再度抽出させる判定部１５０を備えて概略構成されている。

この画像認識装置１は、例えば、図１（ｂ）に示すように、手領域検出部１１０と、手の平候補抽出部１２０と、長手方向検出部１３０と、指先位置検出部１４０と、判定部１５０と、を有する制御部１００を備えて概略構成されている。

手領域検出部１１０は、フレーム画像Ｓ_（ｎ）から２値化処理により手領域８１を検出する。手の平候補抽出部１２０は、手領域８１の領域内画素の画素値を領域輪郭との最短距離値に置き換えた距離変換画像２５０を生成し、距離変換画像２５０から求められる距離変換値２５１が最大となる位置を中心位置Ｃとして手の平候補１２２を抽出する。

長手方向検出部１３０は、手領域８１における指先方向を示す長手方向を検出する。指先位置検出部１４０は、手領域８１における指先方向を示す長手方向を検出し、手の平候補１２２の中心位置Ｃから長手方向に最も遠い指先候補の指先位置Ｐを検出する。

この指先位置検出部１４０は、手の平候補１２２の中心位置Ｃと全ての手の輪郭画素との距離を算出し、距離が極大値となる画素を指先候補として抽出し、手の平候補１２２の中心位置Ｃから長手方向に最も遠い指先候補を指先位置Ｐとして検出する。

判定部１５０は、手の平候補１２２の中心位置Ｃから最も遠い指先候補の指先位置までの距離Ｌを手の平候補１２２の半径Ｒで除算した数が予め定められたしきい値Ｔｈ以下である場合、手の平候補１２２を求める手の平であると判定する。判定部１５０は、このしきい値Ｔｈを有している。

図１（ａ）に示すように、画像認識装置１は、取付部５０にカメラ１０が装着されて、略水平方向に撮像する。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。カメラ１０の撮像範囲６０と略同一となる範囲を照明２０が照明する。この照明２０は、例えば、図１（ｂ）に示すように、制御部１００から供給される駆動信号Ｓ_２に基づいて撮像範囲６０を照明する。

なお撮像する光の波長は任意の周波数の光が使用可能であるが、赤外光、近赤外光を使用して照明、撮像するシステムが好ましい。これにより、操作者が撮像時に照明光を見ることがなく、撮像時の違和感を抑制あるいは軽減することができる。

カメラ１０は、所定の方向から操作者の手８０を周期的に撮像し、上述のフレーム画像Ｓ（ｎ）を画像情報として制御部１００へ出力する。Ｓ（ｎ）のｎは、時系列的に付されたフレームの番号を示している。また所定の方向とは、操作者の手の平側を撮像する方向である。なおフレーム画像Ｓ（ｎ）には、一例として、図２（ａ）などに示すように、操作者の手８０以外に袖８２が映り込んでいる。

（制御部１００の構成）
制御部１００は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１００が動作するためのプログラムなどが格納されている。ＲＡＭは、例えば、複数のフレーム画像Ｓ（ｎ）や一時的に演算結果などを格納する記憶領域として用いられる。また制御部１００は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。

（手領域検出部１１０の構成）
手領域検出部１１０は、例えば、図２（ｂ）に示すように、カメラ１０から入力されるフレーム画像Ｓ（ｎ）に対する２値化処理により、手８０の手領域８１を検出するように構成されている。具体的には、手領域検出部１１０は、例えば、入力したフレーム画像Ｓ（ｎ）から背景除去した輝度画像２１０を生成し、明るさが予め定められたしきい値以上の領域を手領域８１として抽出した２値画像２２０を生成する。なお図２（ｂ）に示す２値画像２２０は、一例として、操作者の手８０以外に袖８２が映り込んだ画像とされている。

ここで、例えば、カメラ１０が運転席と助手席の斜め前方に位置するセンターコンソールに配置される場合、乗員がいない際の車内が背景となる。手領域検出部１１０は、例えば、当該背景の画像を記憶し、フレーム画像Ｓ（ｎ）と当該背景の画像の差分を求めて背景除去した輝度画像２１０を生成する。この背景は、一例として、予め記憶されていても良いし、時間や季節などの環境の変化を考慮して撮像された画像とされても良い。

（手の平候補抽出部１２０の構成）
手の平候補抽出部１２０は、例えば、図２（ｃ）に示す距離変換画像２５０から手の平候補１２２を抽出するように構成されている。この手の平候補１２２は、中心位置Ｃを中心とする半径Ｒの円として抽出される。なお半径Ｒは、例えば、性別、年齢、人種などを考慮して実測した値に基づいて定められる。

ここで距離変換画像２５０は、例えば、上述のように、２値画像２２０上の領域内画素の画素値を領域輪郭との最短距離値に置き換えた画像として生成される。距離変換画像２５０は、図２（ｃ）に示すように、距離変換値２５１が大きいほど白くなるように表示されている。図２（ｃ）に示す点Ｃは、最大距離変換値をもつ画素である。

手の平候補抽出部１２０は、この点Ｃを手の平候補１２２の中心位置Ｃとして抽出する。そして手の平候補抽出部１２０は、例えば、図２（ｂ）に示すように、中心位置Ｃを中心とする半径Ｒの円を手の平候補１２２として抽出する。図２（ｂ）に示す例では、服の袖８２が手の平よりも太く映っているため、袖８２の部分の距離変換値２５１が大きくなり、この袖８２の部分を手の平候補１２２として抽出している。

（長手方向検出部１３０の構成）
長手方向検出部１３０は、例えば、図３（ｂ）で示すように、手８０の長手方向の検出を行なう。図３（ｂ）に示す長手方向は、中心位置Ｃから指先位置Ｐに向かう方向、又はその逆方向である。長手方向の検出方法としては、例えば、図３（ａ）に示す慣性主軸を用いた検出方法などが考えられる。

図３（ａ）で示すような領域３００の長手方向（角度θ）は、以下に示す式（１）の解として求まる。
ｔａｎ^２θ＋｛Ｍ（２，０）−Ｍ（０，２）｝／Ｍ（１，１）×ｔａｎθ−１＝０…（１）
ただしモーメントＭ（ｐ，ｑ）＝Σ_（ｉｊ）ｉ^ｐｊ^ｑｆ_ｉｊ
｛ｆ_ｉｊ｝は、図形内で１をとり、図形外で０を取る２値画像とする。
またｉは、図３（ａ）に示す座標系の横軸、ｊは、縦軸である。
長手方向検出部１３０は、上述の式で算出された主軸方向αを長手方向とする。

（指先位置検出部１４０の構成）
指先位置検出部１４０は、図３（ａ）で示した主軸方向α（長手方向）を示す角度θから長手方向を定め、指先方向の推定を行なうように構成されている。なお指先方向は、例えば、図１（ａ）で示すように、カメラ１０の配置と撮影条件から、上向きを指先方向とすることが可能である。

そして指先位置検出部１４０は、手の平候補抽出部１２０で抽出した手の平候補１２２の中心位置Ｃと全ての手の輪郭画素との距離を算出し、距離が極大値となる画素を指先候補、極小値となる画素を指又候補として抽出する。抽出した指先候補のうち、手の平候補１２２の中心位置Ｃから見て指先方向に最も遠い指先候補を指先位置Ｐとして検出する。

図３（ｂ）では、小さい丸印の極大値を指先候補として図示し、また大きい丸印の極小値を指又候補として図示している。指先位置検出部１４０は、例えば、上向きが長手方向なので、図３（ｂ）に◎（二重丸）で示す位置を指先位置Ｐとして推定する。

画像認識装置１は、正確な手の平候補１２２を抽出できた場合、正確な指先と指又を検出することができ、後段の処理による正確なジェスチャの判定に利用される。

（判定部１５０の構成）
判定部１５０は、手の平候補１２２の半径Ｒと、中心位置Ｃから指先位置Ｐまでの距離Ｌと、が予め定められた条件を満たす場合、手の平候補１２２を手の平と判定する。この予め定められた条件とは、以下の条件式（２）である。
距離Ｌ／半径Ｒ≦しきい値Ｔｈ…（２）
しきい値Ｔｈは、一例として、手の平の大きさと手の平の中心から指先までの距離との比を示しており、性別、年齢、人種などを考慮して実測した値に基づいて定められ、およそ３．０〜４．０である。本実施の形態のしきい値Ｔｈは、一例として、３．５である。

判定部１５０は、式（２）が成り立つ場合、中心位置Ｃを有する手の平候補１２２を求める手の平であると判定する。しかし判定部１５０は、式（２）が成り立たない場合、例えば、図３（ｃ）に示すように、成り立たないと判定された手の平候補１２２の範囲に含まれる、つまり中心位置Ｃを中心とする半径Ｒの円内の距離変換値２５１をゼロとする。図３（ｃ）に斜線で示すゼロ領域２５２は、距離変換値２５１がゼロとされた領域を示している。

判定部１５０は、手の平候補１２２が式（２）を満たさない場合、再度手の平候補抽出部１２０に手の平候補１２２を抽出させる。この際、満たさないとされた手の平候補１２２の距離変換値２５１がゼロとされるので、この範囲の距離変換値２５１が抽出されることがない。

図３（ｃ）では、次に距離変換値２５１が大きい位置を中心位置Ｃａとして図示している。手の平候補抽出部１２０は、中心位置Ｃａを中心として半径Ｒの円を新たに手の平候補１２２とする。なお指先位置は、Ｐのままである。

そして判定部１５０は、中心位置Ｃａと指先位置Ｐまでの距離Ｌと半径Ｒとに基づいて式（２）が成り立つか否かを判定する。本実施の形態では、中心位置Ｃａは、図３（ｃ）に示すように、中心位置Ｃよりも指先位置Ｐから遠いので式（２）を満たさない。従って判定部１５０は、中心位置Ｃａを中心とするする半径Ｒの円内の距離変換値２５１をゼロとする。

画像認識装置１は、この動作を繰り返し、式（２）を満たす手の平候補１２２を探索する。本実施の形態では、一例として、図３（ｃ）に示す中心位置Ｃｂが次に手の平候補１２２の中心とされる。判定部１５０は、この中心位置Ｃｂと指先位置Ｐまでの距離Ｌと半径Ｒが式（２）を満たすので、この中心位置Ｃｂを中心とする手の平候補１２２を求める手の平と判定する。この手の平候補１２２は、図３（ａ）に示す手の平であるので、判定部１５０の判定精度が高いことが分かる。

制御部１００は、判定した手の平候補１２２の座標などの情報を含む手の平情報Ｓ_３を生成し、接続された電子機器に出力する。

以下に、本実施の形態の画像認識装置１の動作の一例について図４のフローチャートに従って説明する。

（動作）
画像認識装置１の手領域検出部１１０は、カメラ１０からフレーム画像Ｓ（ｎ）が入力すると、２値化処理を行って手領域８１を検出する（Ｓｔｅｐ１）。

次に手の平候補抽出部１２０は、手領域検出部１１０が検出した手領域８１が含まれる２値画像２２０に基づいて距離変換画像２５０を生成し、この距離変換画像２５０に基づいて手の平候補１２２を抽出する（Ｓｔｅｐ２）。

次に長手方向検出部１３０は、手領域８１における指先方向を示す長手方向を検出する（Ｓｔｅｐ３）。

次に指先位置検出部１４０は、手の平候補１２２の中心位置Ｃから検出された長手方向に最も遠い指先候補を探索し、最も遠い指先候補を指先位置Ｐとする（Ｓｔｅｐ４）。

次に判定部１５０は、手の平候補１２２の中心位置Ｃから指先位置Ｐまでの距離Ｌを手の平候補１２２の半径Ｒで除算した数が予め定められたしきい値Ｔｈ以下であるか否かを確認する。判定部１５０は、距離Ｌ／半径Ｒがしきい値Ｔｈ以下である場合（Ｓｔｅｐ５：Ｙｅｓ）、この手の平候補１２２を求める手の平であると判定する（Ｓｔｅｐ６）。そして制御部１００は、当該手の平候補１２２の座標などの情報を含む手の平情報Ｓ_３を生成して接続された電子機器に出力する。

ここでステップ５において判定部１５０は、距離Ｌ／半径Ｒがしきい値Ｔｈより大きい場合（Ｓｔｅｐ５：Ｎｏ）、この手の平候補１２２内の距離変換値２５１をゼロとする（Ｓｔｅｐ７）。そして判定部１５０は、手の平候補抽出部１２０に指示して次の手の平候補１２２を抽出させ（Ｓｔｅｐ８）、再度ステップ５に進んで新たな手の平候補１２２に対して判定を行う。

（実施の形態の効果）
本実施の形態に係る画像認識装置１は、手の平の誤検出を抑制することができる。具体的には、画像認識装置１は、抽出された手の平候補１２２が予め定められた条件である距離Ｌ／半径Ｒ≦Ｔｈを満たさない場合、当該手の平候補１２２内の距離変換値２５１をゼロとして条件が満たされるまで繰り返し判定を行う。従って画像認識装置１は、この構成を採用しない場合と比べて、フレーム画像Ｓ（ｎ）に映り込んだ腕や服装の形状に依らず、手の平の誤検出を抑制することができる。

画像認識装置１は、条件が満たされない場合、手の平候補１２２内の距離変換値２５１をゼロとするので、この構成を採用しない場合と比べて、当該手の平候補１２２内の点を新たに中心位置Ｃとして抽出することがなく、処理速度が向上する。

画像認識装置１は、手の平の認識精度が高いので、後段に行われるジェスチャの認識精度向上させることができる。

上述の実施の形態及び変形例に係る画像認識装置１は、例えば、用途に応じて、その一部が、コンピュータが実行するプログラム、ＡＳＩＣ（Application Specific Integrated Circuit）及びＦＰＧＡ（Field Programmable Gate Array）などによって実現されても良い。

以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更などを行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均などの範囲に含まれる。

１…画像認識装置、１０…カメラ、２０…照明、５０…取付部、６０…撮像範囲、８０…手、８１…手領域、８２…袖、１００…制御部、１１０…手領域検出部、１２０…手の平候補抽出部、１２２…手の平候補、１３０…長手方向検出部、１４０…指先位置検出部、１５０…判定部、２１０…輝度画像、２２０…２値画像、２５０…距離変換画像、２５１…距離変換値、２５２…ゼロ領域、３００…領域

Claims

入力する画像情報から得られた距離変換画像の距離変換値が最大となる位置を中心位置とした手の平候補の半径と、前記距離変換画像から求められた指先候補の指先位置と前記中心位置までの距離と、が予め定められた条件を満たす場合、前記手の平候補を求める手の平であると判定し、前記予め定められた条件を満たさない場合、前記手の平候補内の前記距離変換値をゼロとして次の手の平候補を再度抽出させる判定部を備えた画像認識装置。
前記画像情報から２値化処理により手領域を検出する手領域検出部と、
前記手領域の領域内画素の画素値を領域輪郭との最短距離値に置き換えた前記距離変換画像を生成し、前記距離変換画像から求められる前記距離変換値が最大となる位置を前記中心位置として前記手の平候補を抽出する手の平候補抽出部と、
前記手領域における指先方向を示す長手方向を検出する長手方向検出部と、
前記手領域における指先方向を示す長手方向を検出し、前記手の平候補の前記中心位置から前記長手方向に最も遠い指先候補の前記指先位置を検出する指先位置検出部と、
を備えた、
請求項１に記載の画像認識装置。
前記指先位置検出部は、前記手の平候補の前記中心位置と全ての手の輪郭画素との距離を算出し、距離が極大値となる画素を指先候補として抽出し、前記手の平候補の前記中心位置から前記長手方向に最も遠い指先候補を指先位置として検出する、
請求項２に記載の画像認識装置。
前記判定部は、前記手の平候補の前記中心位置から前記最も遠い指先候補の前記指先位置までの距離を前記手の平候補の半径で除算した数が予め定められたしきい値以下である場合、前記手の平候補を求める手の平であると判定する、
請求項１乃至３のいずれか１項に記載の画像認識装置。