JP2018185708A - 画像認識装置 - Google Patents

Abstract

【課題】指先の検出能力に優れた画像認識装置を提供する。
【解決手段】画像認識装置１は、制御部１００に、手の画像情報から２値化処理により手領域を検出する手領域検出部１１０と、手領域における手の平の中心位置を検出する中心検出部１２０と、手領域における指先方向を示す長手方向を検出する長手方向検出部１３０と、中心位置及び長手方向に基づいて指先候補の抽出範囲（±θ°の角度範囲内）を設定する範囲設定部１４０と、抽出範囲内において、手領域の輪郭部における指先候補を抽出する指先候補抽出部１５０と、指先候補抽出部１５０により抽出された指先候補から手の指先を判定する指先判定部１６０と、を有する。
【選択図】図２

Description

本発明は、画像認識装置に関し、特に、操作者の指先検出機能を備えた画像認識装置に関する。

従来の技術として、赤外線カメラによる撮像画像を２値化処理し、この画像から指先位置を検出する画像認識装置が知られている（例えば、特許文献１参照）。

この画像認識装置は、２値化処理及び孤立点除去後の画像に対して、手領域内部の点から輪郭までの最短距離を算出し、この最短距離が最大となる位置を検出し、この位置を手のひらの中心位置と認定する。中心位置から横軸に角度（左９０度から右９０度まで）、縦軸に各角度における（各方向における）輪郭までの距離をとった角度距離曲線図が得られる。極大値は手領域画像の指先の方向（角度）に現れる。指先位置検出部は、極大値を取る方向における輪郭線上の位置を指先位置として、指先位置の座標を得る。また、複数ある極大値の間にある極小値は、指と指の間である指又部分の方向（角度）に現れる。このような手法により、指先位置を求めることができるとされている。

国際公開第２０１５／０３７２７３号

しかし、特許文献１の画像認識装置では、指と指の間を大きく広げた場合は指先位置を十分に抽出できない。また、抽出範囲を広げすぎると手首や腕、袖等のノイズを抽出する等の問題があった。

したがって、本発明の目的は、指先の検出能力に優れた画像認識装置を提供することにある。

［１］上記目的を達成するため、手の画像情報から２値化処理により前記手の手領域を検出する手領域検出部と、前記手領域における手の平の中心位置を検出する中心検出部と、前記手領域における指先方向を示す長手方向を検出する長手方向検出部と、前記中心位置及び前記長手方向に基づいて指先候補の抽出範囲を設定する範囲設定部と、前記抽出範囲内において、前記手領域の輪郭部における指先候補を抽出する指先候補抽出部と、前記指先候補抽出部により抽出された指先候補から前記手の指先を判定する指先判定部と、を有することを特徴とする画像認識装置を提供する。

［２］前記指先判定部は、抽出された前記指先候補において、前記手の平の中心位置から指先候補までの距離が大きいものから最大５つを指先と判定する、ことを特徴とする上記［１］に記載の画像認識装置であってもよい。

［３］また、前記範囲設定部は、前記長手方向を基準として前記中心位置から所定の角度範囲に前記抽出範囲を設定する、ことを特徴とする上記［１］又は［２］に記載の画像認識装置であってもよい。

［４］また、前記角度範囲は±１１０°である、ことを特徴とする上記［３］に記載の画像認識装置であってもよい。

本発明の画像認識装置によれば、指先の検出能力に優れた画像認識装置を提供することができる。

図１は、本発明の実施の形態に係る画像認識装置の配置の一例を示す側面図である。 図２は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。 図３（ａ）は、撮像された手の輝度画像の一例であり、図３（ｂ）は、この手の画像情報から２値化処理により得られた２値画像図である。 図４（ａ）は、距離変換画像の一例であり、図４（ｂ）は、図４（ａ）から求められた手の平の中心位置を２値画像上に示す２値画像図である。 図５は、長手方向の検出を行なうための慣性主軸を用いた検出方法を示す座標図である。 図６は、主軸方向を０°として±θ°の抽出範囲（角度範囲）と指先候補を黒点で示す図である。 図７は、±θ°の角度範囲で指先候補を抽出した場合の指先を黒点と各距離ｄｉ（ｉ＝１〜５）で示した図である。 図８（ａ）は、指と指の隙間を大きく広げた状態の手において、各指と手の平の中心の成す角が最大となるのが１３０°（親指と小指のなす角）である場合の手の平の図であり、図８（ｂ）は、θ＝±１３０°とした場合の範囲に腕などのノイズが含まれる場合の図である。 図９（ａ）は、手の平の中心を基準とした指先方向と各指の成す角度のうち、もっとも角度が大きくなる組み合わせは、親指と薬指でこの角度が約１１０°であり、θは最大でも約１１０°あればすべての指を検出可能であることを示す図であり、図９（ｂ）、（ｃ）は、θ＝±１１０°とした場合、±θ°の角度範囲内に手首が含まれず、ノイズ除去も十分に可能となることを示す図である。

（本発明の実施の形態）
本発明の実施の形態に係る画像認識装置１は、手８０の画像情報から２値化処理により手８０の手領域を検出する手領域検出部１１０と、手領域における手の平の中心位置を検出する中心検出部１２０と、手領域における指先方向を示す長手方向を検出する長手方向検出部１３０と、中心位置及び長手方向に基づいて指先候補の抽出範囲（±θ°の角度範囲内）を設定する範囲設定部１４０と、抽出範囲内において、手領域の輪郭部における指先候補を抽出する指先候補抽出部１５０と、指先候補抽出部１５０により抽出された指先候補から手の指先を判定する指先判定部１６０と、を有して構成されている。

図１は、本発明の実施の形態に係る画像認識装置の配置の一例を示す側面図である。図１に示すように、画像認識装置１は、取付部５０に撮像手段としてのカメラ１０が装着されて、略水平方向に撮像する。カメラ１０は、例えば、ＣＣＤ（Charge Coupled Device）、ＣＭＯＳ（Complementary Metal-Oxide Semiconductor）などの半導体撮像素子を備えている。カメラ１０の撮像範囲６０と略同一となる範囲を照明２０が照明する。なお、撮像する光の波長は任意の周波数の光が使用可能であるが、赤外光、近赤外光を使用して照明、撮像するシステムが好ましい。これにより、操作者が撮像時に照明光を見ることがなく、撮像時の違和感を防止あるいは軽減することができる。

カメラ１０は、所定の方向から操作者の手８０を撮像し、撮像したフレーム画像Ｓ（ｎ）を画像情報として制御部１００へ出力する。本実施の形態では、所定の方向は、操作者の手の平側を撮像する方向とする。

（制御部１００の構成）
図２は、本発明の実施の形態に係る画像認識装置のブロック構成図の一例を示している。制御部１００は、例えば、記憶されたプログラムに従って、取得したデータに演算、加工などを行うＣＰＵ（Central Processing Unit）、半導体メモリであるＲＡＭ（Random Access Memory）及びＲＯＭ（Read Only Memory）などから構成されるマイクロコンピュータである。このＲＯＭには、例えば、制御部１００が動作するためのプログラム等が格納されている。ＲＡＭは、例えば、複数の画像情報や一時的に演算結果などを格納する記憶領域として用いられる。また制御部１００は、その内部にクロック信号を生成する手段を有し、このクロック信号に基づいて処理を実行する。

制御部１００は、手領域検出部１１０、中心検出部１２０、長手方向検出部１３０、範囲設定部１４０、指先候補抽出部１５０、及び指先判定部１６０を備えている。

（手領域検出）
図３（ａ）は、撮像された手の輝度画像の一例であり、図３（ｂ）は、この手の画像情報から２値化処理により得られた２値画像図である。手領域検出部１１０は、カメラ１０から入力されるフレーム画像Ｓ（ｎ）に基づく手の画像情報から２値化処理により手８０の手領域を検出する。手領域検出部１１０は、例えば、画像情報に基づいて、図３（ａ）に示すような背景除去した輝度画像２１０を生成し、明るさが所定の閾値以上の領域を手領域として抽出した２値画像２２０を生成する。図３（ｂ）は、この手の画像情報から２値化処理により得られた２値画像である。

（中心検出）
図４（ａ）は、距離変換画像の一例であり、図４（ｂ）は、図４（ａ）から求められた手の平の中心位置を２値画像上に示す２値画像図である。中心検出部１２０は、中心検出により、手の平の中心位置Ｃの推定を行なう。手領域の中から手の平の中心位置Ｃを、例えば次のような手法で推定する。図３（ｂ）で示した２値画像から距離変換画像を図４（ａ）に示すように作成し、図４（ｂ）に示すように、距離変換値が最も大きい画素を手の平の中心位置Ｃとする。ここで、距離変換画像とは、２値画像上の領域内画素の画素値を、領域の輪郭Ｒからの最短距離に置き換えた画像である。

（長手方向検出）
長手方向検出部１３０は、図３（ｂ）で示す手８０の長手方向の検出を行なう。なお、上向き方向を指先方向とする。長手方向の検出方法としては、例えば、次に示す慣性主軸を用いた検出方法が考えられる。

図５は、長手方向の検出を行なうための慣性主軸を用いた検出方法を示す座標図である。図５で示すような領域３００の長手方向（角度φ）は下式の解として求まる。
ただし、モーメント
は、図形内で１をとり、図形外で０を取る２値画像とする。またｉは、図５に示す座標系の横軸、ｊは、縦軸である。長手方向検出部１３０は、上述の式で算出された主軸方向φを長手方向とする。

（指先候補の抽出範囲設定）
範囲設定部１４０は、指先候補の抽出範囲の設定を行なう。図６は、主軸方向を０°として±θ°の抽出範囲（角度範囲）と指先候補を黒点で示す図である。θの決め方としては、次の条件を満たすθとする。すなわち、指と指の隙間を大きく広げた状態ですべての指先が±θ°の範囲内に収まる、また、手首を中心に手を回転させたとき、±θ°の範囲内に手首や腕などのノイズが含まれない、ことを条件とする。

図６に示すように、主軸方向を０°として±θ°の角度範囲を設定すると、抽出範囲内に指先候補が抽出される。また、手首や腕等の一部が抽出されるが、±θ°の範囲外のために指先候補としては排除されることがわかる。

（指先候補抽出）
指先候補抽出部１５０は、±θ°の抽出範囲内において、手領域の輪郭部における指先候補を抽出する。図７に示すように、手の平の中心位置Ｃと手の輪郭Ｒ上の点との距離ｄを算出する。算出された距離ｄiが閾値ｄth以上となるものを指先候補とすることができる。また、算出された距離ｄiが閾値ｄth以上で、輪郭Ｒに沿って極大値をとるものを指先候補とすることができる。

このような抽出方法により、図７示すように、指先候補Ｆ_１〜Ｆ_５が抽出される。各指先候補Ｆ_１〜Ｆ_５と手の平の中心位置Ｃとの距離ｄ１〜ｄ５は、それぞれ閾値ｄth以上である。また、±θ°の抽出範囲外の、指先候補は排除されている。

（指先判定）
指先判定部１６０は、抽出された指先候補から手の指先を判定する。指先候補抽出部１５０による指先候補は、±θ°の抽出範囲内のものであり、手首や腕などのノイズに基づく指先候補は排除されることが期待できる。しかし、指先候補抽出部１５０による指先候補は、５つ（親指から小指までの５つ）とは限られないので、指先判定部１６０により指先を判定する。

指先判定部１６０は、手の平中心Ｃからの距離diが関値以上となる指先候補のうち、距離が遠いものから最大５つの指先候補を指先と判定する。これにより、種々のノイズに基づく指先候補が抽出されても、指の本数だけの指先を判定することができる。

（抽出範囲、角度範囲±θ°の検討）
図８（ａ）は、指と指の隙間を大きく広げた状態の手において、各指と手の平の中心の成す角が最大となるのが１３０°（親指と小指のなす角）である場合の手の平の図であり、図８（ｂ）は、θ＝±１３０°とした場合の範囲に腕などのノイズが含まれる場合の図である。

図８（ａ）に示すように、指と指の隙間を大きく広げた状態の手において、各指と手の平の中心Ｃとの成す角が最大となるのは約１３０°(親指と小指の成す角)であり、θは大きくとも±１３０°あればすべての指を検出可能となる。(仮に指先方向として親指または小指が選択されてもθが±１３０°もあれば小指または親指はこの±１３０°の範囲に収まる。

しかし、図８（ｂ）に示すように、θ＝±１３０°とした場合、この±１３０°の範囲に腕などのノイズが含まれる場合がある。すなわち、図８（ｂ）に示すように、排除しきれない非指先の凸部（指先候補）が含まれる場合がある。

（±θ°の好ましい値）
図９（ａ）は、手の平の中心を基準とした指先方向と各指の成す角度のうち、もっとも角度が大きくなる組み合わせは、親指と薬指でこの角度が約１１０°であり、θは最大でも約１１０°あればすべての指を検出可能であることを示す図であり、図９（ｂ）、（ｃ）は、θ＝±１１０°とした場合、±θ°の角度範囲内に手首が含まれず、ノイズ除去も十分に可能となることを示す図である。

長手方向検出部１３０により長手方向検出を行ない、これを指先方向の基準とする手法を用いた場合、推定される指先方向は概ね人差し指から薬指の間のいずれかの方向となる。このとき、手の平の中心Ｃを基準とした指先方向と各指の成す角度のうち、もっとも角度が大きくなる組み合わせは、親指と薬指になる。図９（ａ）に示すように、この角度が約１１０°であり、θは最大でも±１１０°あればすべての指を検出可能ということになる。

また、θ＝±１１０°とした場合は、手首の角度のよらず、±１１０°の範囲内には手首が含まれず、ノイズ除去も十分に可能となる。すなわち、抽出範囲、角度範囲をθ＝±１１０°に設定することにより、指先の検出率が向上する。

（実施の形態の効果）
本発明の実施の形態によれば、以下のような効果を有する。
（１）本実施の形態に係る画像認識装置１は、手８０の画像情報から２値化処理により手８０の手領域を検出する手領域検出部１１０と、手領域における手の平の中心位置Ｃを検出する中心検出部１２０と、手領域における指先方向を示す長手方向を検出する長手方向検出部１３０と、中心位置Ｃ及び長手方向に基づいて指先候補の抽出範囲（±θ°の角度範囲内）を設定する範囲設定部１４０と、抽出範囲内において、手領域の輪郭部における指先候補を抽出する指先候補抽出部１５０と、指先候補抽出部１５０により抽出された指先候補から手の指先を判定する指先判定部１６０と、を有して構成されている。中心位置Ｃ及び長手方向に基づいて指先候補の抽出範囲（±θ°の角度範囲内）を設定するので、指と指の隙間を大きく広げた状態でもすべての指先が±θ°の範囲内に収まる。また、手首を中心に手を回転させたとき、±θ°の範囲内に手首や腕などのノイズが含まれない。これにより、指先の検出能力に優れた画像認識装置を提供することができる。
（２）抽出範囲±θ°の具体的な値としてθ°＝±１１０°を見出だした。θ°＝±１３０°に設定すると、指と指の隙間を大きく広げた状態の手において、すべての指を検出可能となる。しかし、図８（ｂ）に示したように、腕などのノイズが含まれる場合がある。一方、手の平の中心Ｃを基準とした指先方向と各指の成す角度のうち、もっとも角度が大きくなる組み合わせは、親指と薬指でこの角度が約１１０°であり、θは最大でも約１１０°あればすべての指を検出可能である。また、θ＝±１１０°とした場合は、手首の角度のよらず、±１１０°の範囲内には手首が含まれず、ノイズ除去も十分に可能となる。これにより、θ°の好ましい値としてθ＝±１１０°を設定することにより、確実に指先候補を抽出して判定することが可能になる。

以上、本発明のいくつかの実施の形態を説明したが、これらの実施の形態は、一例に過ぎず、特許請求の範囲に係る発明を限定するものではない。また、これら新規な実施の形態は、その他の様々な形態で実施されることが可能であり、本発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更等を行うことができる。また、これら実施の形態の中で説明した特徴の組合せの全てが発明の課題を解決するための手段に必須であるとは限らない。さらに、これら実施の形態は、発明の範囲及び要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１…画像認識装置、１０…カメラ、２０…照明、５０…取付部、６０…撮像範囲、８０…手、１００…制御部、１１０…手領域検出部、１２０…中心検出部、１３０…長手方向検出部、１４０…範囲設定部、１５０…指先候補抽出部、１６０…指先判定部、２１０ …輝度画像、２２０…２値画像、３００…領域、φ…角度、θ…角度、距離ｄi、閾値ｄth

Claims (4)

1. 手の画像情報から２値化処理により前記手の手領域を検出する手領域検出部と、
   前記手領域における手の平の中心位置を検出する中心検出部と、
   前記手領域における指先方向を示す長手方向を検出する長手方向検出部と、
   前記中心位置及び前記長手方向に基づいて指先候補の抽出範囲を設定する範囲設定部と、
   前記抽出範囲内において、前記手領域の輪郭部における指先候補を抽出する指先候補抽出部と、
   前記指先候補抽出部により抽出された指先候補から前記手の指先を判定する指先判定部と、
   を有することを特徴とする画像認識装置。
2. 前記指先判定部は、抽出された前記指先候補において、前記手の平の中心位置から指先候補までの距離が大きいものから最大５つを指先と判定する、ことを特徴とする請求項１に記載の画像認識装置。
3. 前記範囲設定部は、前記長手方向を基準として前記中心位置から所定の角度範囲に前記抽出範囲を設定する、ことを特徴とする請求項１又は２に記載の画像認識装置。
4. 前記角度範囲は±１１０°である、ことを特徴とする請求項３に記載の画像認識装置。