JP5464661B2 - 情報端末装置 - Google Patents

Description

本発明は、情報を提示する情報端末装置に関し、特に、撮像部と撮像対象の相対的位置関係の変化によって表示部での表示情報を制御できる情報端末装置に関する。

撮像部に対して撮像対象の位置を変化させ、撮像部と撮像対象の相対的位置に応じて表示情報を制御する装置は、表示情報を直感的に変化させることが可能であり、利用者の利便性を向上させる上で有用である。

これを実現する手法として、特許文献１には、物体の色に近似した色が付され、かつその外形および配置の組み合わせにより識別情報を構成する複数のマーカエレメントで構成されるマーカユニットを物体に配置し、該物体のカメラ画像を解析することによって、現実環境における物体に仮想情報を重畳表示する際の位置あわせを行う複合現実感システムが提案されている。

特許文献２には、位置姿勢センサが配置された現実空間の実写画像に、位置姿勢センサとカメラの計測範囲を重ね合わせた合成画像を生成する画像合成装置が提案されている。

特許文献３には、モーションセンサの検出した移動および傾動の方向および量に応じて、表示される部分をスクロールまたはズームするとともに、キー入力の所定キーを操作することによりスクロールまたはズームを停止する機能を有するポータブル機器が提案されている。

非特許文献１では、カメラで撮像した手の画像から指先を検出し、楕円フィッティングの技術を利用して、検出された手の場所に表示情報を位置合わせする手法が提案されている。これでは、曲率が大きな箇所を手の指先として検出する。

特開２００９−０２０６１４号公報 特開２００７−２３３９７１号公報 特開２００９−００３７９９号公報

T.Lee,et al.,"Handy AR: Markerless Inspection of Augmented Reality Objects Using Fingertip Tracking,"In Proc. IEEE International Symposium on Wearable Computers, pp.83-90, Oct.2007.

特許文献１の複合現実感システムでは、カメラ画像におけるマーカユニットの位置により現実環境に重畳表示される仮想情報の位置が制御されるが、物体に予め人工的な複数のマーカエレメントを配置しておく必要がある。このため、この複合現実感システムでの手法を利用できる場所は限定されるという課題がある。

特許文献２の画像合成装置では、位置姿勢センサを必要としている。また、特許文献３のポータブル機器では、モーションセンサを必要としている。このため、これらにおける手法を利用できる装置が限定されるという課題がある。また、センサ類の搭載は、端末のコスト上昇を招くだけでなく、装置の小型化や省電力化が困難になるという課題もある。

非特許文献１では、特に曲率が大きな箇所を指先として検出するものであるので、指が真っ直ぐに伸びている状態でしか正しく表示できない。自然な手の形状は、指が若干曲がっており、また、指先は動きが大きいので、位置合わせの精度が十分でなく、対応付けが難しいという課題がある。また、指が閉じている場合は指先を正しく検出できないという課題もある。

本発明の目的は、上記課題を解決し、マーカーやセンサを用いることなく、撮像部に対して撮像対象の空間的位置や姿勢を変化させるだけで、表示部での表示情報を確実かつ高精度に制御できる情報端末装置を提供することにある。

上記課題を解決するため、本発明は、手を撮像対象として撮像対象を撮像する撮像部を有する情報端末装置であって、前記撮像部から入力される画像から抽出した特徴点を、基準となる位置および姿勢での撮像対象に予め設定され、撮像対象の全体的な位置および姿勢の変化を示す基準点に対応付けて撮像対象の位置および姿勢の変化を推定する推定部と、情報を表示する表示部と、前記表示部に表示する情報を記憶する記憶部と、前記記憶部から読み出して前記表示部に表示する情報を、前記推定部により推定された撮像対象の位置および姿勢の変化に応じて制御する制御部を備え、前記基準点は、掌の内部もしくは周囲に設定され、前記推定部は、前記撮像部から入力される画像における肌領域から指同士の境界部分、指と掌の境界部分あるいは皺部分を排除してから肌領域内に存在する特徴点を抽出する機能を有する点を基本的特徴としている。

ここで、基準点は、例えば、指の股、関節などの皺の端点、さらには拇指の第２関節の外側の点、掌横方向中央の縦方向ラインに対して拇指の第２関節の外側の点に対応する点に設定することができる。

本発明によれば、撮像部と撮像対象の相対的位置および姿勢を変化させるだけで表示部での表示情報を制御することが可能となる。したがって、利用者は、撮像部に対する撮像対象の相対的位置および姿勢を変化させるという直観的な操作で表示情報を制御できる。

また、表示情報の制御は、撮像部に入力される画像を解析し、撮像部に対する撮像対象の相対的位置および姿勢の変化を基に表示情報の制御を行うので、ソフトウェアで実現可能であり、センサ類の特別なハードウェアを情報端末に組み込む必要がない。

さらに、本発明では、撮像部から入力される画像から抽出した特徴点を、基準となる位置および姿勢での撮像対象に予め設定された基準点に対応付けて撮像対象の位置および姿勢の変化を推定するようにし、基準点を、撮像対象の全体的な位置および姿勢の変化を示す点に設定しているので、撮像対象の位置および姿勢の変化を確実かつ高精度に推定でき、したがって、表示情報を確実かつ高精度に制御できる。

本発明の情報端末装置の一実施形態を示す機能ブロック図である。 推定部での処理手順を示すフローチャートである。 予め設定される基準点の例を示す図である。 画像から抽出された肌領域、該肌領域を包含する外接矩形および特徴点の一例を示す図である。 画像から抽出された肌領域および分離された肌領域の例を示す図である。 本発明による表示例を示す図である。 本発明による他の表示例を示す図である。 本発明による更に他の表示例を示す図である。

以下、図面を参照して本発明を説明する。以下では、情報端末装置として携帯電話を利用した場合について説明する。しかし、本発明の情報端末装置は、携帯電話に限られるものではなく、撮像部を備えたものであればどのような情報端末装置でもよく、例えば、コンピュータなどでもよい。

図１は、本発明の情報端末装置の一実施形態を示す機能ブロック図である。本実施形態の情報端末装置は、撮像部11、推定部12、制御部13、記憶部14及び表示部15を備える。

撮像部11は、所定のサンプリング周期で撮像対象(手)を連続的に撮像し、その画像を推定部12および制御部13へ出力する。撮像部11としては、携帯電話に標準装備されるデジタルカメラを利用することができる。

推定部12には、撮像対象の位置および姿勢の変化の判断基準として既知の位置および姿勢での撮像対象に対して基準点が予め登録されている。ここで、基準点は、撮像対象の全体的な位置および姿勢の変化を示すように設定される。

推定部12は、撮像部11から入力される画像から基準点に対応する特徴点を検出し、該特徴点と基準点との対応を推定する。さらに、推定部12は、対応する特徴点と基準点の座標位置から、予め設定された変換式に基づいて撮像部11に対する撮像対象の相対的位置および姿勢を表す変換係数を推定する。推定部12において変換係数の推定に用いられた変換式および推定された変換係数は、制御部13へ出力される。推定部12での処理の詳細は後述する。

記憶部14は、表示部15に表示する表示情報を予め複数蓄積している。利用者は、制御部13に対する入力操作で、記憶部14に蓄積されている表示情報の中から任意の表示情報を選択して表示部15に表示させることができる。

表示部15での情報表示の際、制御部13は、推定部12から入力された変換式および変換係数を表示情報に適用して表示情報を加工する。これにより、推定部12での推定結果に従って表示部15での表示情報が制御される。

図２は、推定部12での処理手順を示すフローチャートである。推定部12は、領域形成処理S21、特徴検出処理S22および姿勢推定処理S23を所定タイミング間隔で順次繰り返し実行する。

まず、領域形成処理S21では、撮像部11から入力される画像から肌領域を抽出する。肌領域は、撮像部11から入力される画像における色情報に基づいて抽出できる。例えば、撮像部11から入力される画像がＲＧＢ色空間で表現されている場合、それをＨＳＶ色空間(明度Ｖ，彩度Ｓ，色相Ｈ)の表現に変換する。ＲＧＢ色空間の表現からＨＳＶ色空間の表現への変換は、式(1)〜(3)で可能である。肌領域は、色相Ｈが予め設定した範囲内(すなわち、ＨＳＶ色空間上の0°〜360°の色相Ｈの中の肌色の範囲内)に収まっている画素を抽出することで抽出できる。

肌領域の抽出は、色情報のＨＳＶ色空間上での位置を元にした上記手法に限らず、他の手法でも可能である。例えば、ガウス混合モデル(ＧＭＭ)で肌の尤度によって肌領域を判断し、抽出することもできる。ＧＭＭを利用する場合、予め肌および非肌の確率分布が、式(4)で表される複数のガウス分布の和で構成されるように学習しておく。

ここで、ｘおよびＤはそれぞれ、画素の特徴量とその次元数を表し、Ｎは、ガウス分布の数を示す。なお、画素の特徴量は、画素情報そのものでもよい。ガウス分布はそれぞれ重み係数ｗ_ｉを持ち、μ_ｉ、Σ_ｉはそれぞれ、平均値、共分散行列である。ガウス分布のパラメータ決定には、ＥＭアルゴリズムなどの最尤推定法を利用することができる。

肌領域であって特徴量ｘが発生する確率をＰ(ｘ｜ｓｋｉｎ)とし、非肌領域であって特徴量ｘが発生する確率をＰ(ｘ｜¬ｓｋｉｎ)とする。それぞれの確率算出関数のパラメータ、すなわちガウス分布の数Ｎと各ガウス分布の平均値μ_ｉ、共分散行列Σ_ｉ、重み係数ｗ_ｉが学習結果として記録される。

利用者の肌情報を確率分布に反映させるようにしてもよい。この場合、学習データとは別に利用者の肌領域から抽出した画素情報で確率分布を補正する。学習データで学習した肌確率分布をＰｇ(ｘ｜ｓｋｉｎ)、非肌確率分布をＰｇ(ｘ｜¬ｓｋｉｎ)とし、利者の肌で学習した肌確率分布をＰｕ(ｘ｜ｓｋｉｎ)、非肌確率分布をＰｕ(ｘ｜¬ｓｋｉｎ)とすると、利用者の肌情報を反映した肌確率分布Ｐ(ｘ｜ｓｋｉｎ)と非肌確率分布Ｐ(ｘ｜¬ｓｋｉｎ)は、式(5),(6)で与えられる。なお、利用者の肌情報だけを利用した学習で肌確率分布および非肌確率分布を求めることも可能である。

ＧＭＭを利用し、利用者の肌情報を確率分布に反映させたものである場合、領域形成処理S21では、撮像部11から画像が入力されたとき、予め設定した閾値ＴＨ１と学習結果の式(5),(6)を使って、肌確率分布Ｐ(ｘ｜ｓｋｉｎ)と非肌確率分布Ｐ(ｘ｜¬ｓｋｉｎ)比が式(7)を満たす画素を肌領域とする。

次に、特徴検出処理S22では、撮像部11から入力された画像の中から予め設定された基準点に対応する点を特徴点として抽出し、その特徴点の座標を検出する。基準点は、後続する姿勢推定処理S23での姿勢推定が指の曲げや指の開閉に対して頑健になるように、撮像対象(手)の全体的な位置および姿勢の変化を確実に特定できる点に設定する。例えば、指の股など掌の周囲で、互いに離れた複数の点を基準点に設定することが好ましい。また、例えば、拇指の第２関節の外側の点と掌横方向中央の縦方向ラインに対して該点の反対側にある点に基準点を設定することも好ましい。これらの点と指の股を合わせて基準点としてもよい。

図３は、予め設定される基準点の例を示す図である。ここで、(1)は拇指の股に設定される基準点であり、(2)〜(4)は、４指の股に設定される基準点である。また、(5)は、拇指の第２関節の外側に設定される基準点であり、(6)は、掌横方向中央の縦方向ラインに対して基準点(5)の反対側に設定される基準点である。これらの基準点(1)〜(6)全てを設定する必要はなく、最低４つの基準点を選択して設定すればよい。この場合、上述したように、互いに離れた点を選択することが好ましい。

特徴抽出処理S22についてさらに詳細に説明する。特徴抽出処理S22では、領域形成処理S21で抽出された肌領域を整形し、該肌領域内もしくは周囲の特徴点を抽出する。特徴点は基準点に対応する点だけを抽出すればよいが、抽出する際の条件次第では基準点の数より多くの点が抽出される。この場合には、抽出された点の中から基準点と同じ特徴量を持つ点を基準点に対応する特徴点と選択すればよい。

特徴点の抽出の前にモルフォロジフィルタによって肌領域の部分的な欠損を補うことが好ましい。肌領域の部分的な欠損は、手への光の当たり加減などによって生じる。次に、肌領域を包含しかつ面積が最小となる外接矩形を形成する。外接矩形の算出には、主成分分析などを利用することができる。この外接矩形は、後述する指同士の分離に利用される。また、外接矩形は特徴点を抽出する範囲の限定に利用することもできる。

図４は、入力された画像から抽出された肌領域、該肌領域を包含する外接矩形および図３の基準点(1)〜(6)に対応する特徴点の一例を示す図である。

図４に示すように撮像対象である手が閉じられている場合もあるので、特徴抽出処理S22では、また、特徴点の抽出の前に指同士を分離する処理を行う。指同士の分離は、エッジ検出を適用して肌色レベルが低いエッジ部分を検出し、さらに上記外接矩形を利用して、各指間のエッジ部分を排除して非肌領域とすることにより実現できる。

肌領域を包含する外接矩形の長軸方向は、ほぼ指の方向に一致すると仮定できる。そこで、検出されたエッジ部分の中で、肌領域を包含する外接矩形の長軸方向に対するエッジ方向の角度が予め設定した閾値の範囲内に収まるエッジ部分を非肌部分とすることにより指同士を分離できる。

図５は、入力された画像から抽出された肌領域(a)およびエッジ検出技術を適用して分離された肌領域(b)の一例を示す図である。各指の間は、肌色レベルが低いので、非肌領域とされる。

最後に、分離された肌領域の境界で特徴点を抽出する。SIFTやSURFなどの既存方式を利用して基準点と同数の特徴点を抽出する。基準点の数より多くの特徴点候補(端点)を抽出し、その中から、以下のように、所定条件を満たすものを選択して特徴点とするようにしてもよい。

指の股部分の端点は、抽出された端点を含む小領域ごとに肌領域の数と割合を算出し、肌領域が単一かつ肌領域の占める割合が予め設定した閾値の範囲内に収まるので、特徴点として選択される。指の関節部分の非肌領域の端点が特徴点候補として抽出されても、これらの端点では関節の上下方向に２つ肌領域が存在するので、該端点は特徴点として選択されない。また、指先や皺部分の端点などでは、肌領域の占める割合が予め設定した閾値の範囲内に収まらないので、特徴点として選択されない。

拇指の第２関節の外側の特徴点、掌横方向中央の縦方向ラインに対して該特徴点の反対側の特徴点は、肌領域内において外接矩形の短軸と平行な線長が最大となる線分が肌領域境界と交わる２点として抽出される。

姿勢推定処理S23では、抽出された特徴点を予め設定された基準点に対応付け、両者の座標を比較することにより撮像部11に対する撮像対象の相対的位置および姿勢を推定する。

このために、まず、抽出された特徴点を予め設定された基準点(1)〜(6)に対応付ける。掌横方向中央の縦方向ラインに対して拇指の第２関節の外側の特徴点の反対側の特徴点は、複数の特徴点が形成する凸多角形の重心から最も離れた特徴点として判別できる。この特徴点を掌横方向中央の縦方向ラインに対して拇指の第２関節の外側の基準点の反対側の基準点(6)に対応付ける。

拇指の第２関節の外側の特徴点は、上述のようにして判別された特徴点(掌横方向中央の縦方向ラインに対して拇指の第２関節の外側の特徴点の反対側の特徴点)を通り、外接矩形の短軸と平行に延長した線分上あるいは線分近辺に位置する特徴点として判別できる。この特徴点を拇指の第２関節の外側の基準点(5)に対応付ける。

拇指の股の特徴点は、拇指の第２関節の外側に最も近い箇所の特徴点として判別でき、拇指の第２関節の外側の基準点(1)に対応付けることができる。

４指の股の特徴点は、肌領域を包含する外接矩形の短軸方向に各特徴点を射影したときに最も密集している箇所の特徴点として判別でき、拇指の股の特徴点からの距離が近い順に各指間の股の基準点(2)〜(4)に対応付けることができる。

これにより対応付けられたｎ個の特徴点の座標を(ｘ′_ｊ,ｙ′_ｊ) (１≦ｊ≦ｎ)、基準点の座標を(ｘ_ｊ,ｙ_ｊ) (１≦ｊ≦ｎ)とし、予め設定した変換式において両者が一致するような変換係数ａ_ｋ (１≦ｋ≦ｍ，ｍ≦２ｎ)を求める。

式(8),(9)の射影変換を利用する変換式で、ｍ＝２ｎの場合、２ｎ元連立方程式として変換係数ａ_ｋを求めることができる。また、ｍ＜２ｎの場合には最小二乗法で変換係数ａ_ｋを求めることができる。

姿勢推定処理S23で求められた変換係数ａ_ｋは、変換式と共に制御部13へ送られる。制御部13は、推定部12から入力される変換式および変換係数を表示情報に適用して該表示情報を加工する。これにより、推定部12での推定結果に基づいて表示部15での表示が制御される。表示部15での表示制御には、ＣＧ(Computer Graphics)の技術を利用できる。

例えば、画像一覧や地図、Ｗｅｂブラウザなどのアプリケーションあるいはアドレス帳やメニュー項目などの情報が表示部15に表示されている場合に、利用者が撮像部11の撮像面に対して撮像対象(手)を垂直方向や水平方向などに移動させることにより、表示部15での表示情報を撮像対象の位置に連動させて移動させることができる。また、利用者が撮像部11の撮像面に対して撮像対象を奥行き方向に移動させることにより、表示部15での表示情報を撮像対象の見かけ上の大きさに連動させて拡大縮小させることができる。さらに、利用者が撮像対象の姿勢を傾けることにより、撮像対象の傾きに連動させて表示部15での表情報を回転させることもできる。

図６、図７および図８は、本発明による表示例を示す図である。図６は、画像一覧の表示例であり、手に載ったように画像一覧が表示されている。ここで、撮像部に対して手を傾ければ、手に載った状態のまま画像一覧表示を同様に傾けることができ、撮像部に対して手を近づけたり遠ざけたりすれば、手に載った状態のまま画像一覧表示を拡大縮小できる。図７は、３Ｄ ＣＧのアバターで表現されたアドレス帳の表示例である。この場合、手の上でアドレス帳表示を制御することができる。

以上、実施形態を説明したが、本発明は、上記実施形態に限定されるものではない。例えば、手の甲に基準点を設定するようにして表示情報を制御するようにすることもできる。図８は、この場合の表示例を示し、この場合には、実際に指輪を付けているかのような表示を行わせることができる。

また、指と掌の境界や皺の端点に基準点を設定してもよい。この場合、特徴抽出処理S22で検出されたエッジ部分の中で、肌領域を包含する外接矩形の短軸方向に対するエッジ方向の角度が予め設定した閾値の範囲内に収まるエッジ部分を指と掌の境界あるいは指関節など皺部分とし、この部分を非肌部分とすることにより指と掌あるいは各指関節を分離する。その後、分離された肌領域の境界で特徴点を抽出し、各基準点に対応付ける。

また、上記実施形態では、肌領域を包含する外接矩形を形成して特徴点の抽出や特徴点を抽出する範囲の限定に利用しているが、これは外接矩形に限らず、外接多角形でよい。この場合、外接多角形の辺に接する最大非肌領域内部の最大深部(指間のエッジの端点が最も深い部分)に位置する特徴点を拇指の股と判断でき、拇指の股との関係から他の特徴点に対応する基準点を判断できる。

11・・・撮像部、12・・・推定部、13・・・制御部、14・・・記憶部、15・・・表示部

Claims (17)

1. 手を撮像対象として撮像する撮像部を有する情報端末装置であって、
   前記撮像部から入力される画像から抽出した特徴点を、基準となる位置および姿勢での撮像対象に予め設定され、撮像対象の全体的な位置および姿勢の変化を示す基準点に対応付けて撮像対象の位置および姿勢の変化を推定する推定部と、
   情報を表示する表示部と、
   前記表示部に表示する情報を記憶する記憶部と、
   前記記憶部から読み出して前記表示部に表示する情報を、前記推定部により推定された撮像対象の位置および姿勢の変化に応じて制御する制御部を備え、
   前記基準点は、掌の内部もしくは周囲に設定され、前記推定部は、前記撮像部から入力される画像における肌領域から指同士の境界部分、指と掌の境界部分あるいは皺部分を排除してから肌領域内に存在する特徴点を抽出する機能を有することを特徴とする情報端末装置。
2. 前記基準点は、指の股あるいは関節、その他の皺の端点を含むことを特徴とする請求項１に記載の情報端末装置。
3. 前記基準点は、拇指の第２関節の外側の点、掌横方向中央の縦方向ラインに対して拇指の第２関節の外側の点の反対側に設定された点の一方あるいは両方を含むことを特徴とする請求項２に記載の情報端末装置。
4. 前記推定部は、前記撮像部から入力される画像における肌領域を包含する外接多角形を利用して、特徴点を抽出する範囲を限定する機能を有することを特徴とする請求項１に記載の情報端末装置。
5. 前記推定部は、前記撮像部から入力される画像における肌領域を包含する外接矩形を生成し、該外接矩形の長軸方向の画像エッジ部分を肌領域から排除することによって指同士の境界部分を肌領域から排除する機能を有することを特徴とする請求項１に記載の情報端末装置。
6. 前記推定部は、前記撮像部から入力される画像における肌領域を包含する外接矩形を生成し、該外接矩形の短軸方向の画像エッジ部分を肌領域から排除することによって指と掌の境界部分あるいは皺部分を肌領域から排除する機能を有することを特徴とする請求項１に記載の情報端末装置。
7. 前記推定部は、前記撮像部から入力される画像から肌領域を抽出し、該肌領域から予め設定された基準点の数と同数もしくはより多くの点を特徴点候補として抽出する機能を有することを特徴とする請求項１に記載の情報端末装置。
8. 前記推定部は、前記撮像部から入力される画像から抽出された特徴点候補から、基準点に対応付けする上で適合する特徴点候補を特徴点として選択する機能を有することを特徴とする請求項７に記載の情報端末装置。
9. 前記推定部は、基準点に適合する特徴点候補を特徴点として選択するに際し、特徴点候補の点を含む小領域の肌領域の数および肌領域が占める割合を用いることを特徴とする請求項８に記載の情報端末装置。
10. 前記推定部は、特徴点候補の点を含む小領域の肌領域が単一かつ肌領域の占める割合が予め設定した閾値の範囲内に収まる特徴点候補を特徴点として選択することを特徴とする請求項８に記載の情報端末装置。
11. 前記推定部は、前記撮像部から入力される画像における肌領域を包含する外接矩形の短軸と平行かつ肌領域内で長さが最大の線分が肌領域境界と交わる点を特徴点として抽出する機能を有することを特徴とする請求項３に記載の情報端末装置。
12. 前記推定部は、前記撮像部から入力される画像から抽出された特徴点が形成する凸多角形の重心から最も離れた特徴点を、掌横方向中央の縦方向ラインに対して拇指の第２関節の外側に設定された基準点の反対側に設定された基準点に対応付ける機能を有することを特徴とする請求項１に記載の情報端末装置。
13. 前記推定部は、掌横方向中央の縦方向ラインに対して拇指の第２関節の外側に設定された基準点の反対側に設定された基準点に対応する特徴点を通り、肌領域を包含する外接矩形の短軸と平行に延長した線分上あるいは線分近辺に位置する特徴点を、拇指の第２関節の外側に設定された基準点に対応付ける機能を有することを特徴とする請求項１２に記載の情報端末装置。
14. 前記推定部は、前記撮像部から入力される画像から抽出された特徴点を肌領域を包含する外接矩形の短軸方向に射影したとき、最も密集した箇所の特徴点を、４指の股に設定された基準点に対応付ける機能を有することを特徴とする請求項１に記載の情報端末装置。
15. 前記推定部は、前記撮像部から入力される画像から抽出された特徴点を、拇指の股の特徴点からの距離が近い順に４指の股に設定された基準点にそれぞれ対応付けることを特徴とする請求項１４に記載の情報端末装置。
16. 前記推定部は、撮像対象としての手指の位置および姿勢の変化を推定するために、対応付けられた特徴点と基準点が、予め設定された変換式によって一致するような変換係数を求める機能を有することを特徴とする請求項１に記載の情報端末装置。
17. 前記制御部は、前記推定部で推定された撮像対象の位置および姿勢の変化に応じて、前記表示部での表示情報を制御する機能を有することを特徴とする請求項１に記載の情報端末装置。

Images