JP2012160051A

JP2012160051A - 情報端末装置

Info

Publication number: JP2012160051A
Application number: JP2011019710A
Authority: JP
Inventors: Haruhisa Kato; 晴久加藤; Akio Yoneyama; 暁夫米山
Original assignee: KDDI Corp
Current assignee: KDDI Corp
Priority date: 2011-02-01
Filing date: 2011-02-01
Publication date: 2012-08-23
Anticipated expiration: 2031-02-01
Also published as: JP5569973B2

Abstract

【課題】特別なセンサ等を用いることなく、撮像部に対する被写体の空間的な動作によって表示部の情報を制御できる情報端末装置を提供する。
【解決手段】撮影画像より色特徴に基づいて被写体領域を抽出する領域形成部21、被写体領域を包含する第一の外接多角形を形成する第一多角形形成部221、第一の外接多角形の内部より被写体領域を排除した内部背景領域を抽出する内部背景抽出部222、内部背景領域を包含する第二の外接多角形を形成する第二多角形形成部223、第一の外接多角形、内部背景領域及び第二の外接多角形に基づいて、被写体の撮影部1に対する位置及び姿勢を推定する姿勢推定部23及び、推定された位置及び姿勢に基づいて表示部3を制御する制御部4を備えて情報端末装置10を提供する。
【選択図】図1

Description

本発明は、撮影部と表示部とを備えた情報端末装置に関し、特に、被写体の撮影部に対する位置および姿勢に基づいて表示部を制御する情報端末装置に関する。

撮影対象たる被写体との相対的な位置関係に応じて情報を提示する装置は、提示する情報を直感的に変化させることが可能であり、利用者の利便性を向上させることができる。上記を実現する方法としては、以下のような方法が公開されている。

特許文献1では，レーザセンサを使用することで、撮像対象の位置の動きを検出平面において検出することを提案している。

特許文献2では，モーションセンサの検出した移動および傾動の方向および量に応じて、表示される部分をスクロールまたはズームする手法が提案されている。

特許文献3では，入力画像の最も大きい移動したブロックが検出され、その最も大きい移動したブロックは撮像対象の位置として定められる。そして、該ブロックの特徴が分析され、移動した撮像対象の中心座標が追跡される。

特開2010-244480号公報特開2009-003799号公報特開2010-170300号公報

特許文献1および特許文献2に開示された技術では、それぞれレーザセンサやモーションセンサが必要となるため、利用できる装置が限定されるという問題がある。また、特別なセンサ類の搭載は端末のコスト上昇を招くだけでなく、装置の小型化や省電力化が困難になる可能性がある。

特許文献3では、撮像対象の検出に動きの有無が用いられているため、平面的な前後左右の入力にしか対応できないという問題がある。また、中心座標を用いているため、撮像対象の見かけの変化に影響を受けやすいという問題がある。

本発明は、上記従来技術の課題を解決し、特別なセンサ等を用いることなく、情報端末装置に対する被写体の空間的な動作によって、情報端末装置の表示部に表示される情報を制御できる、高速かつ高精度な情報端末装置を提供することを目的とする。

上記の目的を達成するため、本発明は、被写体を連続的に撮影する撮影部と表示部とを含む情報端末装置において、撮影画像より色特徴に基づいて前記被写体の領域を抽出する領域形成部と、前記抽出された被写体の領域を包含する第一の外接多角形を形成する第一多角形形成部と、前記第一の外接多角形の内部より前記被写体の領域を排除した内部背景領域を抽出する内部背景抽出部と、前記内部背景領域を包含する第二の外接多角形を形成する第二多角形形成部と、前記第一の外接多角形、前記内部背景領域及び前記第二の外接多角形に基づいて、前記被写体の前記撮影部に対する位置及び姿勢のうち少なくとも一方を推定する姿勢推定部と、前記推定された位置及び姿勢のうち少なくとも一方に基づいて前記表示部に表示される情報の一部を制御する制御部とを備えることを特徴とする。

本発明によれば、被写体の位置及び姿勢のうち少なくとも一方に基づいて表示部が制御されるので、本発明の情報端末装置を利用するユーザに直感的な操作インタフェースが提供される。また本発明によれば、撮像部で連続的に撮影される被写体の画像に対する簡素な画像処理によって、被写体の位置及び姿勢のうち少なくとも一方が高速かつ高精度に推定されるので、表示部も高速かつ高精度に制御され、本発明の情報端末装置を利用するユーザに使い勝手のよい操作インタフェースが提供される。さらに本発明によれば簡素な画像処理が利用されるのみであって、特別なセンサ等を必要としない。

本発明の情報端末装置の機能ブロック図である。本発明の動作の概要を説明する図である。特徴検出部及び姿勢推定部の処理を説明する図である。姿勢推定部による被写体の形状(指の開閉)の推定を説明する図である。制御部のより詳細な機能ブロック図である。移動制御部による表示情報の一部の移動制御の例を示す図である。被写体(手)の姿勢変化の例として、基準位置から各方向への回転を示す図である。図7の各回転の推定結果に基づいて、回転制御部により表示情報の一部が回転制御される例を示す図である。図7の各回転を姿勢推定部が推定するための、実際にそのような回転があった場合の内部背景領域の形状や基準点の位置などの例を示す図である。図7乃至図9の対応関係を示す図表である。拡大制御部による表示情報の一部の拡大縮小制御の例を示す図である。補助表示部を説明する図である。本発明において利用可能である、手に限定されない一般的な被写体の例を示す図である。

以下に、図面を参照して本発明を詳細に説明する。図1に本発明の情報端末装置の機能ブロック図を示す。情報端末装置10は、撮影部1、推定部2、制御部3及び表示部4を備える。推定部2は領域形成部21、特徴検出部22及び姿勢推定部23を備える。特徴検出部22は第一多角形形成部221、内部背景抽出部222及び第二多角形形成部223を備える。

情報端末装置10には携帯端末を用い、撮影部1として携帯端末に標準装備されるデジタルカメラを用いることができるが、本発明の適用される構成はこれに限定されない。撮像機能を備えるどのような情報端末を利用してもよい。例えば、外付けカメラなどによって撮像機能を備えたパーソナルコンピュータなどでもよい。

図2に本発明の動作の概要を示し、図2を用いて撮影部1、推定部2、制御部3及び表示部4の動作の概要を説明する。(a)に示すような情報端末装置10（ここでは携帯端末でありその表示部4の背面に撮像部1を有するものとする）は、撮像部1により被写体(b)を所定のサンプリング周期で連続的に撮影している。図2に示すように被写体(b)は、本発明の好ましい実施形態において手であり、第三乃至第五指（中指、薬指及び小指）を握り込み、且つ該握り込んだ部分を、間隙を設けて囲むように第一指（親指）及び第二指（人差し指）を構えた格好にある。

握り込んだ第三乃至第五指はそのまま固定して開くことはないが、第一指及び第二指は握り込んだ部分を囲む状態のままであれば動かしてよい。動かすことで第一指の腹と第二指の腹とが接してつまむ状態となってもよいし、図2に示すような離れた状態であってもよい。

撮像部1は被写体である手(b)を、第一指及び第二指の側から撮影する。握り込んだ第三乃至第五指は、第一指及び第二指が概ね形成する面(b1)よりも、撮像部1から見ると奥に位置する。

推定部2は、撮像部1より送られる(d)に示すような手(b)の撮影画像を用いて、手(b)の撮像部1に対する相対的な位置及び姿勢を推定する。図2では当該位置および姿勢を推定するための基準となる空間配置の一例が描かれている。すなわち、撮像部1の撮像面（を広げて描いたもの）を(a1)として示し、手(b)の第一指及び第二指により概ね形成される平面(b1)と平行である状態を示している。また撮像部1の正面に手(b)が位置しているものとする。

なお、当該基準配置は説明の便宜上用いる一例の配置であって、その他の配置を基準としてもよい。

推定部2は、このような既知の空間配置及び既知の被写体(b)における被写体(b)の撮影画像(d)を基準として用いることで、被写体(b)の位置および姿勢などの変化を推定する。推定する位置とは、被写体(b)の面(b1)内でのx軸y軸方向移動(c2)などで定められる空間的位置である。推定する姿勢とは、例えば手首を回したり傾けたりすることによる、手(b)の傾きとして表れる面(b1)の傾きに対応する姿勢であり、回転(c3)や(c4)などにより定められるものである。またそのほか、推定部2は面(a1)と面(b1)との奥行きz軸方向の距離(c1)や、手の形状すなわち第一指及び第二指の開閉なども推定する。

特に、推定部2では撮影画像(d)において、手(b)の領域(d4)を検出し、第一指及び第二指の領域(d2)及び(d1)で囲まれ、(d4)に属さないU字乃至V字状の領域(d5)を検出する。また(d5)より第三指の第二関節を想定した基準点(d30)を検出する。被写体の位置および姿勢が変わるとその見え方すなわち(d4)の位置および形が変わり、これら検出される結果(d4)、(d5)及び(d30)も変わる。推定部2は幾何学的考察に基づきこれらの検出結果から、被写体(b)の変化した位置及び姿勢などを推定する。

制御部3は、推定部2により推定された位置及び姿勢に基づいて表示部4に表示される情報の一部を制御する。例えば、表示部4にポインタがある場合なら、(c2)のxy方向の位置変化の推定結果をそのまま、又は所定倍して表示部4におけるポインタを移動させて、マウスの代理のように機能させることができる。また例えば、表示部4に立体画像が表示されている場合に、(c3)及び(c4)のような回転方向として推定された姿勢の変化に連動させて、当該立体画像をあたかも手(b)に乗っているかのように回転させることができる。また、推定された位置及び姿勢やその他に基づいて他の表示制御を行うこともできる。

なお、本発明の全体において、推定部2では位置(x,y)や姿勢(角度θなど)を推定し、制御部3では当該推定された量の変化である位置の変化(Δx, Δy)や姿勢の変化(角度の変化Δθなど)を利用して制御を行う。また推定部2で推定した距離zを利用して、制御部3はその変化Δzを利用して制御を行う。後述の推定部2で推定した形状については、各時点で推定される形状をそのまま制御部3で利用するが、結果として推定された形状の変化も制御部3で利用することとなる。

図2に概略を示したような本発明により、次の(1)〜(3)のような効果がある。(1)撮像部1と被写体との相対的な位置及び姿勢などを変化させるだけで表示部4での表示情報の一部を制御できる。したがって、ユーザは、撮像部1に対する被写体（特にユーザ自身の手）の相対的な位置及び姿勢などを変化させるという直感的な操作で表示情報の一部を制御できる。

(2)推定部2では被写体の画像に対する簡素な画像処理によって位置及び姿勢などを推定するので、例えばソフトウェアで実現可能であり、特別なセンサ類といったような特別なハードウェアを情報端末装置10に組み込む必要がない。

(3)図2の撮影画像(d)で説明したような処理によって位置及び姿勢などが高速かつ高精度に推定されるので、表示情報の一部を高速かつ高精度に制御できる。

次に、推定部2の各部すなわち領域形成部21、特徴検出部22及び姿勢推定部23の処理の詳細について順次説明する。まず、領域形成部21では、撮像部1から入力される画像から被写体の手の領域である肌色領域を抽出する。肌色領域は、撮像部1から入力される画像における色情報に基づいて抽出できる。例えば、撮像部1から入力される画像がRGB色空間で表現されている場合、肌色領域は、RGBが予め設定した範囲内に収まっている画素を肌色領域として抽出できる。例えば、以下の非特許文献1で紹介される(数1)のような設定範囲を用いて抽出してよい。

（非特許文献1）Vladimir Vezhnevets, Vassili Sazonov, Alla Andreeva, "A Survey on Pixelbased Skin Color Detection Techniques," Pattern Recognition, vol.40, no.3, pp.1106-1122, March 2007.

あるいは、RGB色空間からHSV色空間(明度V，彩度S，色相H)の表現に変換する。RGB色空間の表現からHSV色空間の表現への変換は(数2)で表される。

上記(数2)の色相Hが予め設定した範囲内に収まっている画素を肌色領域としてもよい。

あるいは、YCbCrなど他の色空間を利用してもよい。RGB色空間の表現からYCbCr色空間の表現への変換は(数3)で表される。

上記(数3)の色差Cb、Crが予め設定した範囲内に収まっている画素を肌色領域としてもよい。

あるいは、複数の色空間における肌色領域結果の重み付き平均が予め設定した閾値を超える領域を肌色領域としても良い。各方式にかかる重みは肌色が最も正確に抽出できるように、予め既知の肌色領域を使って設定しておく。情報端末装置10の処理性能に応じて、組み合わせる方式の種類および数を設定してもよい。処理性能に余裕があれば、ガウス混合モデル等の確率モデルに基づく肌色検出方式を組み合わせてもよい。

次に、特徴検出部22の処理を、第一多角形形成部221、内部背景抽出部222及び第二多角形形成部223の順に説明し、さらに続く姿勢推定部23の処理を説明する。またこれらの処理を説明する例となる図を図3に示す。以下のように、特徴検出部22及び姿勢推定部23では図3の(A)〜(E)に例示される処理によって、最終的に矢印(E)の根元の位置として示される、予め設定された基準点に対応する座標(画像中の位置座標)や、その他の情報を検出する。予め設定される基準点は前述の通り、被写体として手を想定している場合であれば、第三指の第二関節であり、以下の処理によって当該関節の位置座標が検出される。そして姿勢推定部23は当該基準点などを用いて姿勢を推定する。

まず、第一多角形形成部221は、領域形成部21により抽出された肌色領域のうち最も大きな肌色領域を選択し、モルフォロジフィルタによって当該肌色領域の部分的な欠損を補う。これにより、(A)に示すような肌色領域が得られる。続いて、第一多角形形成部221は(A)の肌色領域の全体を包含する、(B)のような外接多角形を形成する。

続いて、内部背景抽出部222は、形成された外接多角形(B)の内部に存在する面積最大の非肌色領域を前述の内部背景領域として、斜線部(C)に示すように抽出する。なお、最大の非肌色領域を抽出することで、第一指及び第二指で囲まれる領域以外の、例えば手の甲の側や手首側などに生ずる、肌色領域(A)と外接多角形(B)との間の小さな隙間の領域が内部背景領域から除外される。

続いて、第二多角形形成部223は、抽出された内部背景領域(C)の全体を包含する外接多角形を点線(D)に示すように形成する。図3の例では、第一指及び第二指は離れているため、外接多角形(D)は外接多角形(B)と辺の一部を共有している。もし第一指及び第二指が接しており、当該指同士をつまんだ状態の手であれば外接多角形(D)は外接多角形(B)と辺を共有しない。

なお、外接多角形(B)及び(D)はそれぞれが形成される元となる領域の、肌色領域(A)及び内部背景領域(C)に対して、各種の周知技術を適用することによって凸多角形として形成される。

続いて、姿勢推定部23は、矢印(E)の根元の点として示され、第三関節により形成される角の点に対応する基準点(F)を検出し、その座標を求めるため、次のような処理を行う。すなわち、内部領域(C)の境界上の各点より、形成した外接多角形(D)の辺上の点へ、当該内部領域(C)の内部を通過せずに至る距離のうち、最小距離となるものを求める。そして、当該内部領域(C)の境界上の各点から求められた最小距離のうち、最大距離を与える内部領域(C)の境界上の点を、矢印(E)の根元として示すように、基準点(F)とする。

さらに、姿勢推定部23は、当該求めた基準点(F)若しくは内部領域(C)、若しくは(F)と(C)の相対的な位置関係のうち少なくとも１つを用いて、被写体の位置及び姿勢を推定する。具体的には基準点(F)の座標すなわち画像上の(x,y)位置座標を、被写体の位置として推定する。また、基準点(F)と内部領域(C)の重心との位置関係を用いて、被写体の姿勢を推定する。当該姿勢の推定については後述の制御部3の説明と共に詳述する。

また、姿勢推定部23は、外接多角形(B)と(D)とに共有辺があるか否かに基づいて、被写体である手の形状、すなわち第一指及び第二指が離れて開いているか、接して閉じているか、を推定する。当該形状の推定を図4の例で説明する。すなわち(10)のように第一指及び第二指が離れて開いている場合は、(11)のように外接多角形(B)と(D)とには重なり部分があり、辺（の一部）を共有する。逆に(20)のように第1指及び第2指が接して閉じている場合は、(21)のように外接多角形(B)と(D)とには重なり部分がなく、辺（の一部）を共有しない。このように、外接多角形(B)と(D)との共有辺の有無によって、手の形状すなわち指同士の開閉を推定できる。

そして、制御部3は、当該推定された被写体の位置及び姿勢などに連動させて、表示部4に表示される情報の一部を移動又は回転させるなどする。制御部3は図5に示すように、移動制御部31、回転制御部32、切替制御部33及び倍率制御部34を備え、各制御機能を独立にあるいは互いに連動して担い、いずれもユーザにとって直感的なインタフェースを提供する。以下これらを説明する。

移動制御部31は、推定された被写体の位置の変化に基づいて表示情報の一部を移動させる。当該移動制御の例を図6に示す。すなわち、推定位置(x, y)の変化として定まる基準点(F)の画像(1)上でのピクセル単位での移動(Δx, Δy)をそのまま又は定数a倍して、表示部(2)における表示情報の一部、例えばポインタ、の位置を(Δx, Δy)又は(aΔx, aΔy)だけ移動させる。またこのような定数a倍による表示情報の一部の移動量の調整は、x方向とy方向とで別の定数を用いてもよい。

被写体が図2や図4で説明したような形状に構えた手である場合、推定位置は握り込んだ第三指第二関節の角の位置となる。当該角の位置は第三乃至第五指を握り込んだ手の全体と剛体的に連動して動く位置である。よって、周知のマウスにおいて手の動きがそのままポインタの移動量となるのと同様な、直感的でユーザにとって操作の容易なインタフェースが上記のような移動制御部31によってもたらされる。

回転制御部32は、推定された被写体の姿勢の変化に基づいて表示情報の一部を回転させる。当該回転制御と、そこで必要となる姿勢推定部23による姿勢推定の例を、図7乃至図9を用いて説明する。図7は推定対象となる被写体の実際の姿勢の変化の例として、(1)被写体(手)の各回転の例、を示している。図8は前記(1)被写体の各回転の推定結果に基づいて、回転制御部32が表示部4における(2)表示情報の一部を回転制御する例、を示している。

図9は前記(1)被写体の回転の各場合における、図3で説明したような特徴検出部22及び姿勢推定部23で得られる(3)内部背景領域及び基準点、並びに当該基準点と内部背景領域の重心との位置関係を表す基準点を始点、重心を終点とする基準点・重心ベクトルv、の例を示している。被写体の姿勢(回転)に応じて図9のように内部背景領域の形状や基準点との位置関係が変わるため、姿勢推定部23による姿勢推定が可能となる。姿勢推定部23は前記(3)のうち特に基準点・重心ベクトルを用いて、前記(1)被写体の各回転に対応する姿勢を推定する。以下、図7乃至図9の各図の対応を説明する。

図7には被写体の姿勢変化の例として、(1)被写体(手)の各回転の例が示されている。図7では図2で説明したのと同様の、被写体である手(b)が基準となる位置、姿勢及び形状の状態で平面(b1)上に存在し、その画像が(d)として得られている状態を示す。当該例では軸(c3)として示す腕の軸における上下(up/down)方向と、軸(c4)として示す平面(b1)の左右(left/right)方向との回転を推定される姿勢として、表示情報の一部を制御するが、その他の基準位置と共にその他の回転軸を設定してもよい。

図8では、図7の(1)に対応して、被写体である手を(1)の基準位置から手首方向の軸に相当する(c3)軸の周りに上回転／下回転した場合と、(c4)軸の周りに右回転／左回転した場合に、表示部4に表示される情報が制御される例を示している。制御される表示情報の一部の例として、一面に楕円の模様を有する直方体が描かれている。そして、当該直方体が、(2基準位置)で示す正面を向いた状態から、制御部3の制御によって、前記手の各回転に応じてそれぞれ回転されて表示される例を示している。xyz軸は当該回転の様子の理解を容易とするための便宜として示している。

すなわち図8では前述の(c3)上回転／下回転及び(c4)右回転／左回転のそれぞれの場合に対応して、（2上回転）／(2下回転)、及び（2右回転）／(2左回転)、のように回転されて表示される。当該回転制御は、被写体である手の図7の平面(b1)にあたかも当該直方体が張り付いており、手の回転と連動して同方向に回転されるような制御の例である。

図9には図7で前述した(c3)及び(c4)のそれぞれの場合の回転において、特徴検出部22及び姿勢推定部23で検出される、内部背景領域の形状、基準点及び該基準点を始点として内部背景領域の重心を終点とする基準点・重心ベクトルvの例が示されている。前述と同様に(3基準位置)に対してそれぞれ回転後の例が、（3上回転）／(3下回転)、及び（3右回転）／(3左回転)として示されている。

また、各姿勢での基準点・重心ベクトルvは図9にも示しているように、次の通りである。
(基準位置) v=(−x_ref, 0)
(上回転) v=(−x_up, +y_up)
(下回転) v=(−x_down, −y_down)
(右回転) v=(+x_right, 0)
(左回転) v=(−x_left, 0)

ここで、（3右回転）／(3左回転)と(3基準位置)とでは、次の関係があるので、上記の基準点・重心ベクトルvの各姿勢に対応する値を所定の閾値内で区別することが可能となり、姿勢推定部23はこれら各姿勢を区別して推定することが可能となる。
x_left > x_ref > 0, x_right > 0

また、(3上回転)／(3下回転)と(3基準位置)とでは、次の関係があるので、上記と同様に姿勢推定部23はこれら各姿勢を、上記（3右回転）／(3左回転)との区別も含めて区別して推定することが可能となる。
x_up >0 , y_up > 0, x_down > 0, y_down > 0, x_up≒x_ref, x_down≒x_ref

なおまた、図9では各姿勢での内部背景領域の形状、基準点及び基準点・重心ベクトルと共に、それら各姿勢の間での変化の様子をより容易に把握できるように、このような結果の得られる画像上での同一位置及び同一サイズの矩形領域を点線で表示している。当該点線矩形を目安とした各姿勢での画像対比より明らかなように、本発明では次のような効果がある。すなわち、被写体として第一指及び第二指をつまむような形で平面を形成し、撮像部1から見て当該平面の奥に第三乃至第五指を握り込んだ状態の手を設定していることから、各回転に応じてその見え方が顕著に変化し、上記のような各姿勢での顕著な基準点・重心ベクトルvの変化が得られるため、姿勢推定を高精度に行えるという効果がある。

当該効果は特に、第一指及び第二指と、握り込んだ第三乃至第五指とで段差があることに基づくものである。例えば(3左回転)では(3基準位置)に比べて第一指及び第二指で囲まれる部分が撮像部1から遠ざかるため、内部背景領域はx方向にもy方向にも小さくなり、第三指の凸部も小さくなる。逆に(3右回転)では(3基準位置)に比べて前記囲まれた部分が近づき、内部背景領域はx方向に縮小しy方向に拡大する。また第三指の凸部が拡大強調される。(3右回転)の場合ある程度回転すると、基準点として第三指の第二関節ではなく第四または第五指の第二関節が得られることとなるが、そのような場合はさらに当該凸部の拡大強調が促進されることとなる。

同様の考察で、(3上回転)／(3下回転)の場合にも(3基準位置)と比べて内部背景領域の形状が顕著に変化する。(3上回転)の場合には第一指が撮像部1へ近づき、第二指が遠ざかることによって、同時に握り込んだ第三乃至第五指の見え方も連動して変化することによって、(3基準位置)の概ね上下対称な横向きU字乃至V字状の内部背景領域が、(3上回転)では上側に偏った形状へと変化する。逆に、(3下回転)の場合には第一指が撮像部1から遠ざかり、第二指が近づくことによって、同時に握り込んだ第三乃至第五指の見え方も連動して変化することによって、(3下回転)では下側へ偏った形状へと変化する。

以上の説明のような見え方、形状が顕著に変化するという効果は、前記段差の存在によるものであり、本発明に特有のものである。(3基準位置)のU字乃至V字状の内部背景領域が本発明における手のような立体的な段差の存在する被写体によってではなく、仮に平面的な被写体によって得られたとすると、被写体が回転しても当該内部背景領域はアフィン変換乃至射影変換的な変化をするだけであって、図9のような顕著な形状変化は得られず、姿勢推定を可能にするような顕著な基準点・重心ベクトルの変化も得られない。

以上、図7乃至図9の対応をまとめた図表を図10に示す。図10において、図7で説明した推定姿勢(1)に基づいて図8で説明した表示の回転(2)を行うのが回転制御部32である。上回転であれば被写体の回転量θ_upに対して前述の移動制御部の場合と同様に、所定数a倍して表示情報をaθ_upだけ回転させる。当該定数aは下回転θ_down、右回転θ_right及び左回転θ_leftにおいても用いられているが、別の定数を用いてもよい。

前述の通り、推定姿勢(1)は実際の被写体の姿勢の角度であり、表示情報の回転(2)は当該推定される角度の変化に基づく回転量であるが、表記が煩雑になるため表示情報の回転(2)の欄では変化量を表すΔの表記を省略している。

本発明では被写体が手であることから、手の回転量が90°付近になると図3で説明したような内部背景領域(C)及び基準点(F)が正常に求められなくなり、所望の制御が困難となる。しかし例えばaとしてa>1となる値を設定することで、基準位置からの一度の手の回転動作のみによっても、表示情報の一部を90°以上回転させることも可能となる。

また図10において、図9で説明した基準点・重心ベクトル(3)に基づいて図7で説明した姿勢(1)を推定するのが姿勢推定部23である。回転の上下左右の各方向への割り当ては、所定の閾値を設けていずれか１つのみの方向を割り当ててもよいし、フィッティングなどによって重み付けをして複数の方向を割り当ててもよい。例えば、上回転と右回転との同時の回転を推定してもよい。各方向における回転量の推定は、基準点・重心ベクトルの長さに比例させて行ってもよい。また、各方向における回転量の推定は、回転に伴う内部背景領域の見え方の変化が不均一である場合、回転量の変化が実際の手の回転量に比例して滑らかに推定されるよう補正する対応関係を用いてもよい。

なお、図10のような対応関係は、被写体となる個別の手(指の長さ、太さなどで特徴づけられる)によって姿勢を推定するための具体的な値が異なる。そのような値は各被写体と各基準位置とに対して推定部2に予め設定しておくものとする。またこのような個別の手に対する個別設定値を利用するかわりに、代表的な手の形状と対応する基準位置を想定して、代表設定値を利用してもよい。

以上のような、図7乃至図9及び図10の姿勢推定及び回転制御の応用的実施形態として、第一指及び第二指の開いている幅を広げることにより、内部背景領域自体を大きくして、手の回転に伴う内部背景領域重心の移動量が大きくなることを利用して、表示制御される回転量をユーザ側で調整することができる。すなわち、同じ手の回転量でも、第一指及び第二指が近い場合は表示制御される回転量を小さく、第一指及び第二指が遠い場合は表示制御される回転量を大きくすることができる。

なお、前述の通り図7乃至図9及び図10の姿勢推定及び回転制御は一例であって、その他の回転軸や基準位置を利用することもできる。

切替制御部33は、図4を用いて前述した推定形状が「開」であるか「閉」であるかに基づいて、制御部3での制御方式の切替などを行う。当該切替の各種利用については後述するが、一例としては表示部4に表示される情報の一部がポインタである場合に、周知のマウスポインタにおけるマウスボタンのプレス状態及びリリース状態に相当する状態を、前記推定形状の「閉」及び「開」に対応づけることができる。この場合、第一指及び第二指を、（「開」→）「閉」→「開」と動かすことで、マウスポインタにおけるクリック動作に対応する処理を実現できる。さらに当該ポインタの移動を図6の説明のように移動制御部31に担当させれば、マウスポインタと同様の処理を実現できる。

倍率制御部34は、次に説明する撮像部1と被写体との推定距離の変化に基づいて、表示部4に表示される情報の一部を拡大縮小する。好ましい実施形態として、推定距離が小さいほど拡大表示し、推定距離が大きいほど縮小表示することで、表示情報の一部をあたかも手で取っているように、撮像部1に対する遠近と連動させて遠近表示することができる。すなわち倍率制御部34は好ましい実施形態として、図11に示すように、(1)の被写体である手と、(2)の表示情報の一部の例である直方体とが、手を近づけるほど直方体が拡大され、手を遠ざけるほど直方体が縮小されるような制御を行うことができる。

ここで、倍率制御部34で用いる推定距離は、図2のz軸として示す(c1)の距離に相当し、姿勢推定部23によって推定される。当該距離は、内部背景領域の面積によって推定される。所定の比例定数または対応関係などを用いて、当該面積が大きいほど距離は小さく、当該面積が小さいほど距離は大きいとして推定を行う。

なお、距離推定を行うのは、前記推定形状が「閉」である場合すなわち第一指及び第二指が閉じている場合のみに限定してもよい。この場合、第一指及び第二指はほぼ固定されるので、より確実に内部背景領域の面積から距離を推定でき、手全体の移動によって拡大縮小制御を行うことができる。逆に前記推定形状が「閉」でない場合も距離推定を行うようにすれば、手全体の移動に加えて、第一指及び第二指の開き具合と連動させた拡大縮小制御も行うようにすることができる。

以上のような、制御部3の各部(移動制御部31乃至倍率制御部34)の制御はいずれかのみを個別で利用してもよいし、複数の組み合わせを利用してもよい。組み合わせ利用の実施形態のうち好ましい例を以下に説明する。

例えば、制御される表示情報の一部としてポインタを扱う場合で、当該ポインタを移動制御部31により移動させる場合は、同時に回転制御部32を利用する状況はまれであると考えられるので、回転制御部32を利用しないようにする。このような状態で当該ポインタを移動させて、例えば表示部4に通信販売のウェブサイトが表示され、そのウェブページ内の商品画像にポインタを合わせることを考える。ここで当該商品を回転させて眺めるため、ポインタ移動制御から商品画像の回転制御に切り替えるのに、切替制御部33を利用することができる。

例えばポインタが商品画像上にあって且つ推定形状が「閉」(あるいは逆に「開」でもよい)ならば、制御対象をポインタから商品画像に切り替え、移動制御部31を利用せず回転制御部32を利用するように設定することができ、ポインタ位置を気にせずに商品の回転のみを行うようにすることができる。また制御対象の商品画像に対して回転制御部32による回転に加えて、倍率制御部34による倍率の制御を行うようにしてもよく、両者の利用でより高い現実感と共に当該商品を仮想的に手に取る操作を実現できる。別商品を選ぶ場合は形状を「開」(あるいは逆に「閉」)として別商品にポインタを移動させてから同様にすればよい。

また、前述の図10で例えばa=1と設定して手の回転量と等しい量の回転制御を行うようにしている場合であれば、当該商品を選択後に回転制御に切り替えてある方向へ45°回転させて、一度形状を「開」（あるいは逆に「閉」）に戻して移動制御状態にして手の回転状態を基準位置に戻し、再度形状を「閉」（あるいは逆に「開」）として商品の回転制御を追加継続して行い同様の方向へ45°＋45°＝90°回転させる、といった利用もできる。

また、制御される表示情報の一部が例えばスクロールバーやスクロール式メニューの場合、移動制御部31ではなくて回転制御部32のみを利用するようにしてもよい。この場合も制御対象および制御方式の切り替えに、例えば別のスクロール式メニューをスクロールさせたい場合などに、前述と同様に切替制御部33を利用することができる。

表示部4において補助的に利用可能な補助表示部の例を図12に示す。図12では補助表示部40は表示部4の一部の領域を利用して設けられているが、別のディスプレイを利用して設けてもよい。補助表示部40には、図12に示されているように、撮像部1にて撮影している手などの被写体を含む画像を(撮像部1のサンプリング周期と同様の周期又は荒い周期により)リアルタイムで表示することができる。あるいは、図3で説明したような、被写体の手の画像に対して推定部2での処理を施して得られる肌色領域、外接多角形、基準点、などとして表示してもよい。

補助表示部40の利用によって、図12に示すようにユーザが自身の手を動かして被写体の移動や回転を行い、それに連動させて直方体として例示されている表示情報の一部の移動や回転の制御を行うに際して、ユーザの気づかないうちに被写体が撮影画像から外れてしまい、手を動かしても制御が実施されないような状況になることを防止できるという効果がある。例えば手を移動させすぎて撮影映像内から手が消えてしまうことのないよう、補助表示部40を利用して確認することができる。また例えば手を回転させすぎて内部背景領域が得られなくなり、正常な制御が行えなくなることのないよう、補助表示部40を利用して随時確認することができる。

上記のような補助表示部40の利用意義よりも明らかなように、補助表示部40での表示は、制御部3による制御対象である表示部4の一部の表示情報とは別である。すなわち、原則として補助表示部40は制御部3による表示制御とは独立に、表示を行う。ただし例外として、補助表示部40を利用するか否かの切替に切替制御部33を利用するなどしても構わない。

なお、本発明による表示制御自体を行うか行わないかの切替に、前述の切替制御部33を利用してもよい。例えば撮影画像に手が映っていない状態から、手を基準位置に持ってきて、その状態で例えば前述のクリック動作、あるいは同様にダブルクリック動作などを行うことで、表示制御を開始するようにしてもよい。同様に表示制御を終了するようにしてもよい。このようにすることで基準位置に手を持ってくるまでの動作のような、ユーザが表示制御として意図しない動作の影響を除外することができる。

図13は本発明で利用可能な被写体で、手に限定されない一般的な例を示している。当該被写体は、被写体「手」における第一指及び第二指に対応する一対の半円環状部分A1及びA2と、被写体「手」における握り込んだ第三乃至第五指に対応する、A1及びA2で取り囲まれ且つその奥に位置する凸状部分Bを備える。A1及びA2はU字状又はV字状などであってもよく、「半円環状」とはこのような形状をも含むものとする。

A1及びA2は例えばその根元に位置する蝶番C（回転軸C）によって先端部分が開閉可能となっており、閉じることで円環状部分を形成する。このような一般的な被写体を利用する場合も、領域形成部21において必ずしも肌色ではない当該被写体の色特徴（全体に一様な色であることが好ましい）を利用して、前述の(数1)乃至(数3)などで説明したのと類似の手法により当該一般的な被写体の領域を抽出することができる。

10…情報端末装置、1…撮影部、2…推定部、21…領域形成部、22…特徴検出部、221…第一多角形形成部、222…内部背景抽出部、223…第二多角形形成部、23…姿勢推定部、3…制御部、4…表示部

Claims

被写体を連続的に撮影する撮影部と表示部とを含む情報端末装置において、
撮影画像より色特徴に基づいて前記被写体の領域を抽出する領域形成部と、
前記抽出された被写体の領域を包含する第一の外接多角形を形成する第一多角形形成部と、
前記第一の外接多角形の内部より前記被写体の領域を排除した内部背景領域を抽出する内部背景抽出部と、
前記内部背景領域を包含する第二の外接多角形を形成する第二多角形形成部と、
前記第一の外接多角形、前記内部背景領域及び前記第二の外接多角形に基づいて、前記被写体の前記撮影部に対する位置及び姿勢のうち少なくとも一方を推定する姿勢推定部と、
前記推定された位置及び姿勢のうち少なくとも一方に基づいて前記表示部に表示される情報の一部を制御する制御部とを備えることを特徴とする情報端末装置。
前記被写体が互いに閉じることで円状に変形することが可能な一対の半円環状部分と、該一対の半円環状部分に取り込まれ且つ該一対の半円環状部分の奥に位置する凸状部分とを含み、前記撮影画像が前記被写体を前記一対の半円環状部分の側から撮影した画像であることを特徴とする請求項1に記載の情報端末装置。
前記被写体の撮影画像が、第三乃至第五指を握り込み、該握り込んだ部分を第一及び第二指が取り囲んだ状態の手を、当該第一及び第二指の側から撮影した画像であり、前記領域形成部が肌色の領域を抽出することを特徴とする請求項1に記載の情報端末装置。
前記第一の外接多角形及び第二の外接多角形が凸多角形であることを特徴とする請求項1ないし3のいずれかに記載の情報端末装置。
前記内部背景抽出部が、前記第一の外接多角形の内部より前記被写体の領域を排除した領域のうち最大面積の領域を前記内部背景領域として抽出することを特徴とする請求項1ないし4のいずれかに記載の情報端末装置。
前記姿勢推定部が、前記内部背景領域より該領域の形状に基づいて抽出される基準点に基づいて前記位置を推定することを特徴とする請求項1ないし5のいずれかに記載の情報端末装置。
前記姿勢推定部が、前記内部背景領域の境界上の各点より、該内部背景領域を通過せずに前記第二外接多角形の辺上へと至る最短距離を計算し、該最短距離を最長とするような前記内部背景領域の境界上の点を前記基準点として抽出することを特徴とする請求項6に記載の情報端末装置。
前記姿勢推定部が、前記基準点と前記内部背景領域との位置関係に基づいて前記姿勢を推定することを特徴とする請求項6または7に記載の情報端末装置。
前記姿勢推定部が、前記基準点と前記内部背景領域の重心との位置関係に基づいて前記姿勢を推定することを特徴とする請求項8に記載の情報端末装置。
前記制御部が、前記推定された位置の変化に基づいて前記表示部に表示される情報の一部を移動させる移動制御部と、前記推定された姿勢の変化に基づいて前記表示部に表示される情報の一部を回転させる回転制御部と、前記内部背景領域の面積の変化に基づいて前記表示部に表示される情報の一部を拡大又は縮小する倍率制御部とのうちの少なくとも１つを備えることを特徴とする請求項1ないし9のいずれかに記載の情報端末装置。
前記姿勢推定部がさらに、前記第一の外接多角形の辺と前記第二の外接多角形の辺とで重なる部分があるか否かに基づいて、前記被写体の形状を推定することを特徴とする請求項1ないし10のいずれかに記載の情報端末装置。
前記制御部がさらに、前記推定された形状に基づいて、前記表示部に表示される情報の一部の状態を切り替える切替制御部を備えることを特徴とする請求項11に記載の情報端末装置。
前記表示部がさらに、前記撮影部にて連続的に撮影されている前記撮影画像を、前記制御部による制御とは独立に表示する補助表示部を備えることを特徴とする請求項1ないし12のいずれかに記載の情報端末装置。