JP2018088183A - 画像認識装置 - Google Patents

Abstract

【課題】指先の検出能力に優れた画像認識装置を提供する。
【解決手段】手８０の画像情報から２値化処理により手８０の手領域を検出する手領域検出部１１０と、手領域における指先方向を示す長手方向を検出する長手方向検出部１２０と、手領域における手の平の中心位置を検出する中心検出部１３０と、手領域の輪郭部における指先候補又は指又候補を抽出する候補抽出部１４０と、候補抽出部１４０により抽出された指先候補を所定の条件で統合する指先候補統合部１５０と、指先候補統合部１５０により統合された指先候補から手の指先位置を特定する指先位置特定部１６０と、を有して画像認識装置を構成する。
【選択図】図２

Description

本発明は、画像認識装置に関し、特に、操作者の指先検出機能を備えた画像認識装置に関する。

従来の技術として、赤外線カメラによる撮像画像を２値化処理し、この画像から指先位置を検出する画像認識装置が知られている（例えば、特許文献１参照）。

この画像認識装置は、２値化処理及び孤立点除去後の画像に対して、手領域内部の点から輪郭までの最短距離を算出し、この最短距離が最大となる位置を検出し、この位置を手のひらの中心位置と認定する。中心位置から横軸に角度（左９０度から右９０度まで）、縦軸に各角度における（各方向における）輪郭までの距離をとった角度距離曲線図が得られる。極大値は手領域画像の指先の方向（角度）に現れる。指先位置検出部は、極大値を取る方向における輪郭線上の位置を指先位置として、指先位置の座標を得る。また、複数ある極大値の間にある極小値は、指と指の間である指又部分の方向（角度）に現れる。このような手法により、指先位置を求めることができるとされている。

国際公開第２０１５/０３７２７３号

しかし、特許文献１の画像認識装置では、指を伸ばし指と指の隙間を閉じた手の姿勢の場合、カメラに対する手の傾き具合やカメラの解像度によっては、指と指の間に生じるはずの輪郭の凹形状が捉えられなくなり、その結果、指先の凸形状を検出できなくなるという問題があった。

したがって、本発明の目的は、指先の検出能力に優れた画像認識装置を提供することにある。

［１］上記目的を達成するため、手の画像情報から２値化処理により前記手の手領域を検出する手領域検出部と、前記手領域における指先方向を示す長手方向を検出する長手方向検出部と、前記手領域における手の平の中心位置を検出する中心検出部と、前記手領域の輪郭部における指先候補又は指又候補を抽出する候補抽出部と、前記候補抽出部により抽出された指先候補を所定の条件で統合する指先候補統合部と、前記指先候補統合部により統合された指先候補から前記手の指先位置を特定する指先位置特定部と、を有することを特徴とする画像認識装置を提供する。

［２］前記中心検出部は、前記手領域検出部により得られた２値化画像から距離変換画像を作成し、この距離変換画像に基づいて、前記手の平の中心位置を検出することを特徴とする上記［１］に記載の画像認識装置であってもよい。

［３］また、前記候補抽出部は、１又は２以上の基準点から前記輪郭部までの極大値又は極小値により前記指先候補又は指又候補を抽出する、ことを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。

［４］また、前記基準点は、前記手の平の中心位置の点、及び、前記中心位置を通り前記長手方向と交差する前記輪郭部上の点である、ことを特徴とする上記［１］に記載の画像認識装置であってもよい。

［５］また、前記指先候補統合部は、前記指又候補を所定の条件で統合し、前記指又候補に挟まれた複数の指先候補の平均位置を代表位置として統合する、ことを特徴とする上記［１］から［４］までのいずれか１に記載の画像認識装置であってもよい。

［６］また、前記指先位置特定部は、前記指先候補統合部により求められた指先候補のうち、前記手の平の中心位置から指先候補までの距離が大きいものから５つを指先として特定する、ことを特徴とする上記［１］から［５］までのいずれか１に記載の画像認識装置であってもよい。

本発明の画像認識装置によれば、指先の検出能力に優れた画像認識装置を提供することができる。

図１は、本発明の実施の形態に係る画像認識装置の配置の一例を示す側面図である。 図２は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。 図３（ａ）は、撮像された手の輝度画像の一例であり、図３（ｂ）は、この手の画像情報から２値化処理により得られた２値画像図である。 図４は、長手方向の検出を行なうための慣性主軸を用いた検出方法を示す座標図である。 図５（ａ）は、距離変換画像の一例であり、図５（ｂ）は、図５（ａ）から求められた手の平の中心位置を２値画像上に示す２値画像図である。 図６（ａ）は、指先候補又は指又候補を抽出するためのトレースをトレース開始点から開始することを説明する２値画像図であり、図６（ｂ）は、横軸をトレース位置、縦軸を輪郭と手の平中心との距離とした図、図６（ｃ）は、抽出した指先候補、指又候補をそれぞれ×（指先候補）、〇（指又候補）で図示した２値画像図である。 図７（ａ）は、第２基準点を用いて抽出した指先候補、指又候補をそれぞれ×（指先候補）、〇（指又候補）で図示した２値画像図であり、図７（ｂ）は、第３基準点を用いて抽出した指先候補、指又候補をそれぞれ×（指先候補）、〇（指又候補）で図示した２値画像図である。 図８（ａ）は、指又候補の統合を示す図であり、図８（ｂ）は、指先候補の統合を示す図であり、図８（ｃ）は、指先候補の統合を示す図であり、指先候補、指又候補を所定の条件で統合した結果をそれぞれ×（指先候補）、〇（指又候補）で図示した２値画像図である。 図９は、５つの指先候補を抽出して指先位置を確定した結果を×（指先候補）、〇（指又候補）で図示した２値画像図である。 図１０は、従来の方法により指先候補を抽出して指先位置を特定した結果を×（指先候補）、〇（指又候補）で図示した２値画像図である。

（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、手８０の画像情報から２値化処理により手８０の手領域を検出する手領域検出部１１０と、手領域における指先方向を示す長手方向を検出する長手方向検出部１２０と、手領域における手の平の中心位置を検出する中心検出部１３０と、手領域の輪郭部における指先候補又は指又候補を抽出する候補抽出部１４０と、候補抽出部１４０により抽出された指先候補を所定の条件で統合する指先候補統合部１５０と、指先候補統合部１５０により統合された指先候補から手の指先位置を特定する指先位置特定部１６０と、を有して構成されている。

図１は、本発明の実施の形態に係る画像認識装置の配置の一例を示す側面図である。図１に示すように、画像認識装置１は、取付部５０に撮像手段としてのカメラ１０が装着されて、略水平方向に撮像する。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。カメラ１０の撮像範囲６０と略同一となる範囲を照明２０が照明する。なお、撮像する光の波長は任意の周波数の光が使用可能であるが、赤外光、近赤外光を使用して照明、撮像するシステムが好ましい。これにより、操作者が撮像時に照明光を見ることがなく、撮像時の違和感を防止あるいは軽減することができる。

カメラ１０は、所定の方向から操作者の手８０を撮像し、撮像したフレーム画像Ｓ（ｎ）を画像情報として制御部１００へ出力する。本実施の形態では、所定の方向は、操作者の手の平側を撮像する方向とする。

（制御部１００の構成）
図２は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。制御部１００は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１００が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また制御部１００は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。

制御部１００は、手領域検出部１１０、長手方向検出部１２０、中心検出部１３０、候補抽出部１４０、指先候補統合部１５０、及び指先位置特定部１６０を備えている。

（手領域検出）
図３（ａ）は、撮像された手の輝度画像の一例であり、図３（ｂ）は、この手の画像情報から２値化処理により得られた２値画像図である。手領域検出部１１０は、カメラ１０から入力されるフレーム画像Ｓ（ｎ）に基づく手の画像情報から２値化処理により手８０の手領域を検出する。手領域検出部１１０は、例えば、画像情報に基づいて、図３（ａ）に示すような背景除去した輝度画像２１０を生成し、明るさが所定の閾値以上の領域を手領域として抽出した２値画像２２０を生成する。図３（ｂ）は、この手の画像情報から２値化処理により得られた２値画像である。

（長手方向検出）
長手方向検出部１２０は、図３（ｂ）で示す手８０の長手方向の検出を行なう。なお、上向き方向を指先方向とする。長手方向の検出方法としては、例えば、次に示す慣性主軸を用いた検出方法が考えられる。

図４は、長手方向の検出を行なうための慣性主軸を用いた検出方法を示す座標図である。図４で示すような領域３００の長手方向（角度θ）は下式の解として求まる。
ただし、モーメント
は、図形内で１をとり、図形外で０をとる２値画像とする。

（中心検出）
図５（ａ）は、距離変換画像の一例であり、図５（ｂ）は、図５（ａ）から求められた手の平の中心位置を２値画像上に示す２値画像図である。中心検出により、手の平の中心位置の推定を行なう。手領域の中から手の平の中心位置を、例えば次のような手法で推定する。図３（ｂ）で示した２値画像から距離変換画像を図５（ａ）に示すように作成し、図５（ｂ）に示すように、距離変換値が最も大きい画素を手の平の中心位置とする。ここで、距離変換画像とは、２値画像上の領域内画素の画素値を、領域の輪郭からの最短距離に置き換えた画像である。

（候補抽出）
図６（ａ）は、指先候補又は指又候補を抽出するためのトレースをトレース開始点から開始することを説明する２値画像図であり、図６（ｂ）は、横軸をトレース位置、縦軸を輪郭と手の平中心との距離とした図、図６（ｃ）は、抽出した指先候補、指又候補をそれぞれ×（指先候補）、〇（指又候補）で図示した２値画像図である。

第１基準点を、中心検出で求めた図６（ａ）で示す点ＳＰ１とする。手領域の輪郭となる全ての画素と手の平中心である第１基準点（点ＳＰ１）との距離を算出し、距離が極大値となる画素を指先候補、極小値となる画素を指又候補として抽出する。

図６（ａ）に示すように、トレース開始／終了点を時計周りに輪郭に沿って、輪郭画素と第１基準点（ＳＰ１）との距離を算出する。その結果は、横軸をトレース位置、縦軸を輪郭と第１基準点（点ＳＰ１）との距離、とした図６（ｂ）で示すような図となる。算出した距離から極大値／極小値を抽出するとノイズ（小さな山と谷）を多数含むため、移動平均などで距離データを丸めた上で極大値／極小値を抽出する。（ノイズ除去の手法は、特に移動平均に限定はしない。）

図６（ｃ）は、図６（ｂ）の極大値／極小値から抽出した指先候補、指又候補をそれぞれ輪郭上の×（指先候補）、〇（指又候補）で図示した２値画像図である。この２値画像図から、人差し指、薬指、小指を検出していないことがわかる。なお、前処理の距離ノイズ除去を無くす、または、丸めを軽減すると、未検出率は下がるが、ノイズ増加により誤検出率が高まる。

（第２，３基準点による候補抽出）
前ステップでは、基準点を手の平の中心とし、基準点と輪郭画素との距離を用いて指先／指又候補を抽出したが、本ステップでは、次の２つの基準点を用いてさらに指先／指又候補を抽出する。手の平中心から見て指先方向（長手方向）を０°としたとき、直交、すなわち、±９０°方向の手の平の端を第２基準点（ＳＰ２）、第３基準点（ＳＰ３）とする。なお、第２基準点（ＳＰ２）、第３基準点（ＳＰ３）は、長手方向と直交する輪郭部上の点には限られず、±４５°〜１３５°方向の輪郭部上の点であればよい。

図７（ａ）は、第２基準点を用いて抽出した指先候補、指又候補をそれぞれ×（指先候補）、〇（指又候補）で図示した２値画像図であり、図７（ｂ）は、第３基準点を用いて抽出した指先候補、指又候補をそれぞれ×（指先候補）、〇（指又候補）で図示した２値画像図である。手の平中心から見て指先方向（長手方向）と直交する手の平の端の第２基準点（ＳＰ２）、第３基準点（ＳＰ３）を用いて指先候補、指又候補を抽出することにより、第１基準点（ＳＰ１）を用いた抽出で検出できなかった人差し指、薬指、小指が検出できていることがわかる。

（指先候補統合）
図８（ａ）は、指又候補の統合を示す図であり、図８（ｂ）は、指先候補の統合を示す図であり、図８（ｃ）は、指先候補の統合を示す図であり、指先候補、指又候補を所定の条件で統合した結果をそれぞれ×（指先候補）、〇（指又候補）で図示した２値画像図である。第１基準点（ＳＰ１）〜第３基準点（ＳＰ３）を用いて抽出した指又候補に対して、輪郭線上での距離が近いものを同じグループとしてまとめ、代表位置を平均位置とする。

図８（ａ）で示すように、指又候補(○印)が２つある場合、候補間の距離(太線の長さ)が閾値以下なら、２つの候補を同じグループとし、代表位置を輪郭上の平均位置(◇印)とする。

また、図８（ｂ）で示すように、指又候補(◇印)に挟まれた全ての指先候補(△印)を同じグループとし、代表位置を輪郭上の平均位置(×印)とする。

上記示した処理により求めた指先候補、指又候補を統合して示すと、図８（ｃ）のようになる。人差し指、薬指、小指にも指先候補(×印)が抽出できていることが分かる。

（指先位置特定）
図９は、５つの指先候補を抽出して指先位置を確定した結果を×（指先候補）、〇（指又候補）で図示した２値画像図である。すなわち、第１基準点ＳＰ１（手の平中心）と指先候補の距離が閾値以上となる候補を抽出する。抽出した候補のうち、第１基準点ＳＰ１から見た指先方向の距離が遠い（大きい）ものから最大５つまでを指先と確定する。図９に示すように、親指、人差し指、中指、薬指、小指の５つの指先が特定されていることがわかる。一方、図１０は、従来の方法により指先候補を抽出して指先位置を特定した結果を×（指先候補）、〇（指又候補）で図示した２値画像図であるが、人差し指、薬指、小指を検出、特定していないことがわかる。

（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本実施の形態に係る画像認識装置１は、手８０の画像情報から２値化処理により手８０の手領域を検出する手領域検出部１１０と、手領域における指先方向を示す長手方向を検出する長手方向検出部１２０と、手領域における手の平の中心位置を検出する中心検出部１３０と、手領域の輪郭部における指先候補又は指又候補を抽出する候補抽出部１４０と、候補抽出部１４０により抽出された指先候補を所定の条件で統合する指先候補統合部１５０と、指先候補統合部１５０により統合された指先候補から手の指先位置を特定する指先位置特定部１６０と、を有して構成されている。手領域の輪郭部における指先候補又は指又候補を抽出する候補抽出において、第１基準点（ＳＰ１）〜第３基準点（ＳＰ３）を用いて指先候補又は指又候補を抽出するので、従来の方法では検出できなかった指先も検出できるようになり、指先の検出率を向上させることができるようになった。これにより指先の検出能力に優れた画像認識装置を提供することができる。
（２）指先候補又は指又候補を抽出する際に、輪郭画素と基準点との距離を算出した距離から極大値／極小値を抽出するとノイズ（小さな山と谷）を多数含むため、移動平均などで距離データを丸めた上で極大値／極小値を抽出する。しかし、ノイズ除去のために移動平均などにより平滑化処理を行なうと、指先候補、指又候補の検出精度が低下する。本実施の形態に係る画像認識装置１は、第１基準点（ＳＰ１）〜第３基準点（ＳＰ３）を用いて指先候補又は指又候補を抽出する。このため、指先候補、指又候補の抽出処理において平滑化処理によりノイズの影響を低減できると共に、複数の基準点（第１基準点〜第３基準点）を使用して極大値／極小値を抽出するので、指先候補、指又候補の検出率は低下しない。これにより指先の検出能力に優れた画像認識装置を提供することができる。

以上、本発明のいくつかの実施の形態及び変形例を説明したが、これらの実施の形態及び変形例は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態及び変形例は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態及び変形例の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態及び変形例は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…画像認識装置、１０…カメラ、２０…照明、５０…取付部、６０…撮像範囲、８０…手
１００…制御部、１１０…手領域検出部、１２０…長手方向検出部、１３０…中心検出部
１４０…候補抽出部、１５０…指先候補統合部、１６０…指先位置特定部
２１０…輝度画像、２２０…２値画像
３００…領域
θ…角度
ＳＰ１、ＳＰ２、ＳＰ３…第１基準点、第２基準点、第３基準点

Claims (6)

1. 手の画像情報から２値化処理により前記手の手領域を検出する手領域検出部と、
   前記手領域における指先方向を示す長手方向を検出する長手方向検出部と、
   前記手領域における手の平の中心位置を検出する中心検出部と、
   前記手領域の輪郭部における指先候補又は指又候補を抽出する候補抽出部と、
   前記候補抽出部により抽出された指先候補を所定の条件で統合する指先候補統合部と、
   前記指先候補統合部により統合された指先候補から前記手の指先位置を特定する指先位置特定部と、
   を有することを特徴とする画像認識装置。
2. 前記中心検出部は、前記手領域検出部により得られた２値化画像から距離変換画像を作成し、この距離変換画像に基づいて、前記手の平の中心位置を検出することを特徴とする請求項１に記載の画像認識装置。
3. 前記候補抽出部は、１又は２以上の基準点から前記輪郭部までの極大値又は極小値により前記指先候補又は指又候補を抽出する、ことを特徴とする請求項１又は２に記載の画像認識装置。
4. 前記基準点は、前記手の平の中心位置の点、及び、前記中心位置を通り前記長手方向と交差する前記輪郭部上の点である、ことを特徴とする請求項３に記載の画像認識装置。
5. 前記指先候補統合部は、前記指又候補を所定の条件で統合し、前記指又候補に挟まれた複数の指先候補の平均位置を代表位置として統合する、ことを特徴とする請求項１から４のいずれか１項に記載の画像認識装置。
6. 前記指先位置特定部は、前記指先候補統合部により求められた指先候補のうち、前記手の平の中心位置から指先候補までの距離が大きいものから５つを指先として特定する、ことを特徴とする請求項１から５のいずれか１項に記載の画像認識装置。