JP2010079332A - 遠隔操作装置及び遠隔操作方法 - Google Patents

Abstract

【課題】遠隔操作装置の表示面を指で触れずに制御対象機器を操作し、視認性と操作性が良好な遠隔操作装置及び遠隔操作方法を得る。
【解決手段】制御対象機器の遠隔操作用の操作ボタン又はメニューを表示する操作表示手段１１７と、操作表示手段１１７の表示を基に操作する操作者を撮像する撮像手段１１６と、手領域検出手段と、手操作検出手段と、制御手段とを備える。手領域検出手段は、撮像手段１１６で撮影された画像から手の領域を検出する。手操作検出手段は、手領域検出手段で検出された手の領域の形と動きと操作表示手段の表示とを基に操作者による操作を検出する。制御手段は、手操作検出手段で検出された操作の信号を通信手段を用いて制御対象機器に送信する。
【選択図】図１

Description

この発明は、電子機器の遠隔操作を行う遠隔操作装置及び遠隔操作方法に関する。

従来、テレビやＤＶＤレコーダー等の電子機器を遠隔操作する場合、リモートコントローラに固定的に設けられたボタンを押下するといった操作が一般的であった。しかし、電子機器が複雑かつ高機能化しているため、このような機器を遠隔操作するためのリモートコントローラは、操作ボタン数が増加し、所望の操作をするためのボタンを見つけにくい、あるいは、所望の操作を行うためにボタンを押下する回数が増加する等、リモートコントローラの操作が非常に煩わしくなってきている。そのため、高齢者や情報弱者のみならず、日頃上記のような機器に接する機会の多い人にとっても、その操作は困難なものとなっている。そこで、リモートコントローラに表示装置とタッチパネルを備え、表示内容を変更することにより、必要なボタンだけを液晶タッチパネルに表示してボタンを押すリモートコントローラが提案されている（例えば、特許文献１参照。）。

特開２００５−１３６５１８号公報（第９〜１１頁、第４〜７図、 第９図）

従来の遠隔操作システムにおいては、必要なボタンだけを液晶タッチパネルに表示して、ボタンを押すようにしているが、表示面を指で直接触れるために汚れて見づらくなり、視認性の低下に伴い操作性が悪化するという問題があった。

この発明は、上述のような問題点を解決するためになされたもので、遠隔操作装置の表示面を指で触れずに制御対象機器を操作し、視認性と操作性が良好な遠隔操作装置及び遠隔操作方法を得るものである。

この発明に係る遠隔操作装置は、制御対象機器の遠隔操作用の操作ボタン又はメニューを表示する操作表示手段と、操作表示手段の表示を基に操作する操作者を撮像する撮像手段と、手領域検出手段と、手操作検出手段と、制御手段とを備える。手領域検出手段は、撮像手段で撮影された画像から手の領域を検出する。手操作検出手段は、手領域検出手段で検出された手の領域の形と動きと操作表示手段の表示とを基に操作者による操作を検出する。制御手段は、手操作検出手段で検出された操作の信号を通信手段を用いて制御対象機器に送信するものである。

この発明によれば、操作表示手段の表示を基に操作する操作者の手の領域の形と動きから制御対象機器を操作するので、遠隔操作装置の表示面が汚れることが無くなるため、視認性が低下せず、操作性の良好な遠隔操作装置が得られる。

実施の形態１．
図１は、この発明の実施の形態１における表示装置１１２と制御対象機器である記録再生装置１１３と遠隔操作装置１１１とで構成される遠隔操作システムの機器構成図である。テレビなどの表示装置１１２の映像音声入力と、ＤＶＤレコーダーなどの記録再生装置１１３の映像音声出力は、映像音声を伝送するＡＶ（Ａｕｄｉｏ／Ｖｉｓｕａｌ）ケーブルなどの接続ケーブル１１４で接続されている。リモートコントローラなどの遠隔操作装置１１１は、赤外線や無線の伝送信号１１５により、表示装置１１２や、記録再生装置１１３と通信し、これらを遠隔操作する。また、遠隔操作装置１１１は、例えば、撮像手段１１６、液晶タッチパネル部１１７、ハードウエアボタン１１８から構成されている。なお、クレイドル１１９により充電可能としてもよい。

また、図２は、この発明の実施の形態１における遠隔操作装置１１１を構成するブロック図である。操作表示手段１２１は、表示装置１１２や記録再生装置１１３等の制御対象機器の遠隔操作用の仮想の操作ボタンやメニュー等を表示して操作者に操作状況がわかるようにする。撮像手段１２２は、ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）カメラ等を用いて操作者の手等を撮影し、手領域検出手段１２３はこの撮像手段１２２で撮影された画像から手の領域を検出する。手操作検出手段１２４は手領域検出手段１２３により検出された手領域の形と動き等から操作者の操作を検出する。制御手段１２６は、手操作検出手段１２４の検出結果等の情報を基にして操作表示手段１２１に操作状況や操作可能なボタン表示を指令し、通信手段１２５を通じて本体機器との通信を行う。

この機能ブロック図を構成するための具体的な構成例を図３に示す。図３において、
ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１３１は、プログラムコードを格納したＦｌａｓｈ ＲＯＭ（Ｒｅａｄ ｏｎｌｙ ｍｅｍｏｒｙ）や、ＲＡＭ（Ｒａｎｄｏｍ ａｃｃｅｓｓ ｍｅｍｏｒｙ）などのメモリ１３２を用いて各種の処理を行う。液晶パネル１３３は仮想の操作ボタンやメニューなどを表示し、タッチパネル１３４はこの液晶パネル１３３に表示される仮想の操作ボタンやメニューを押下したことを検知する。これらの液晶パネル１３３とタッチパネル１３４は一体化されており、液晶タッチパネル１３５を構成している。信号送受信部１３６は、操作者が液晶タッチパネル１３５で入力操作を行った際に対応する伝送信号１１５を送受信する。発音装置１３７はスピーカ等で構成され、操作者が液晶タッチパネル１３５で入力操作を行った際にビープ音などで操作音を発生させる。撮像部１３８はＣＣＤカメラ等で構成され、操作者の手などを撮像する。

タッチパネル１３４は、仮想の操作ボタンやメニューを表示する液晶パネル１３３上に配置されており、ＣＰＵ１３１は、操作者が指やペンを使用してタッチパネル１３４を押下したときに、その座標を検知することで、液晶パネル１３３上に表示されたどの仮想の操作ボタンやメニューを押下したかを検出することができるように構成されている。

このように構成された遠隔操作装置１１１の基本的な動作について説明する。遠隔操作装置１１１に内蔵されたＣＰＵ１３１は、メモリ１３２に格納されたプログラムコードに従い、液晶タッチパネル１３５に仮想の操作ボタンやメニューを表示する。図４は、遠隔操作装置１１１の液晶表示部を示したもので、遠隔操作装置１１１が有する３つの表示モードと、液晶タッチパネル１３５上に表示される仮想の操作ボタンの一例を示している。

図４（ａ）は、主として表示装置１１２を操作する場合の仮想の操作ボタンを配置したテレビモードで、図４（ｂ）は、主として記録再生装置１１３の再生機能を操作する場合の仮想の操作ボタンを配置した再生モード、図４（ｃ）は、主として記録再生装置１１３の録画予約機能を操作する場合の仮想の操作ボタンを配置した予約モードである。これらの各モードはＣＰＵ１３１が、液晶タッチパネル１３５に表示する仮想の操作ボタンの形状／サイズ／位置／色／文字を適宜変更することで実現している。各モードには、表示モード遷移用の仮想の操作ボタン（テレビモードボタン１４１、予約モードボタン１４２、再生モードボタン１４３）が共通に配置されている。

次に各表示モードの動作について説明をする。図４（ａ）に示すテレビモードでは、液晶タッチパネル１３５に地上波放送や衛星放送などの放送種別を切換えるための仮想の操作ボタン（図中の「放送切換」ボタン）を表示する。操作者によりこの仮想の操作ボタンが選択されると、テレビなどの表示装置１１２の放送種別の切換えが行われる。さらに、選択が可能な受信チャンネルに対応する仮想の操作ボタン（図中１〜１２）を液晶タッチパネル１３５に表示し、操作者により受信チャンネルに相当する仮想の操作ボタンが選択されると、テレビなどの表示装置１１２の受信チャンネルが切替わる。

図４（ｂ）に示す再生モードでは、ＤＶＤレコーダーなどの記録再生装置１１３に備えられた、再生可能な記録媒体名に相当する仮想の操作ボタン（図中「ＨＤＤ」「ＤＶＤ」）を液晶タッチパネル１３５に表示する。また、再生画を早送り・早戻し・停止などを行うための仮想の操作ボタンや、再生リストと呼ばれる録画済み番組リストから再生したい番組を選択するための上下キーに相当する仮想の操作ボタンも表示する。

図４（ｃ）に示す予約モードでは、液晶タッチパネル１３５に電子番組表を操作するための仮想の操作ボタンを表示する。テレビなどの表示装置１１２あるいは、ＤＶＤレコーダーなどの記録再生装置１１３が備えるＥＰＧ（Ｅｌｅｃｔｒｉｃａｌ Ｐｒｏｇｒａｍ Ｇｕｉｄｅ）による番組表を操作するためのものである。また、予約内容の変更のため時間・受信チャンネルの変更操作を可能にする仮想の操作ボタンも表示する。

このように各モードは、操作者の目的の「テレビ番組の視聴」、「録画済み番組の再生」、「番組録画予約」について、それぞれ必要な仮想の操作ボタンを配置している。

次に各表示モードの遷移について説明する。図５（ａ）〜（ｃ）は、遠隔操作装置１１１が有する３つの表示モードの中で、テレビモードから再生モードへ遷移する時の遠隔操作装置１１１（図５（ａ））と表示装置１１２（図５（ｃ））および記録再生装置１１３（図５（ｂ））の動作を示している。遠隔操作装置１１１がテレビモード（図４（ａ））にあるとき、再生モードボタン１４３を選択すると、遠隔操作装置１１１の操作画面は、再生モード（図４（ｂ））に遷移する。

このとき遠隔操作装置１１１は、同時に表示装置１１２に対して、外部入力映像を表示させるための伝送信号１１５を送信し、記録再生装置１１３の出力映像音声を表示させるための準備を行う。また同時に、記録再生装置１１３に対して、再生リストを表示させるための伝送信号１１５を送信し、再生リストを出力させるための準備を行う。

図５（ｄ）は、伝送信号１１５の一例を図示したもので、表示装置１１２を操作するために、テレビ識別コードと入力切換コードを送信し、続いて記録再生装置１１３を操作するために、レコーダー識別コードと再生リスト表示コードを送信している。

これらの一連の動作により、記録再生装置１１３により表示された再生リストの映像音声は、接続ケーブル１１４を経由して、表示装置１１２上に表示される。上述したように、再生モードは、再生リストから番組を選択するのに必要な仮想の操作ボタンを配置しているため、操作者は再生モード遷移後、すぐに再生したい記録済み番組選択操作が可能になり、遠隔操作システムの使い勝手を向上させることができる。

図６（ａ）〜（ｃ）は、テレビモードから予約モードへ遷移する時の遠隔操作装置１１１（図６（ａ））と表示装置１１２（図６（ｃ））および記録再生装置１１３（図６（ｂ））の動作を示している。予約モードボタン１４２を選択すると、予約モードに遷移する。

図６（ｄ）は、伝送信号１１５の一例を図示したもので、表示装置１１２を操作するために、テレビ識別コードと入力切換コードを送信し、続いて記録再生装置１１３を操作するために、レコーダー識別コードと番組表表示コードを送信している。

以上のように、テレビモードから再生モードへの表示モード遷移と、テレビモードから予約モードへの表示モード遷移を例に挙げたが、その他のモードやメニュー階層においても同様に、液晶タッチパネルを利用することで、その時の機器の状態に応じて操作可能なボタンのみを表示し、選択されたボタンに応じて機器を遠隔操作することが可能になり使い勝手を向上させることができる。

さて、ここで、一般的にタッチパネルは抵抗膜方式など各種方式があり、方式により多少感度特性が異なるものの、タッチパネルが押されることを検出するため、タッチパネルに指紋がついたりして汚れるという問題がある。また、図１のようにクレイドル１１９により充電可能とした場合には、わざわざクレイドルから外して手に持って操作しなくても、クレイドルに置いたままで操作できると操作性が向上する。

そこで、撮像手段１２２により操作者の手を撮像し、そのジェスチャー（形や位置等）を検出して操作する遠隔操作装置１１１の動作について説明する。実際にジェスチャー操作するためには、ジェスチャー操作機能の入切操作も必要になる。この入切操作はハードウェアボタン１１８で行っても良いが、本体と双方向通信可能なリモコンの場合には本体の動作状態によりリモコンのジェスチャー操作を入切しても良い。

図７は手のジェスチャーによるボタン操作の一例を示す。図中の上段には撮像部１３８によって撮像された手とその時の手のひらの中心点（白丸）の様子を示し、下段には液晶タッチパネル１３５の表示を示す。ここでは、手を開いているか、握っているか、指を立てているのかと、手のひらの中心位置を検出することにより、手を握っている間の位置移動でフォーカス（ボタンの選択）を移動し、指を立てることでボタンを押す操作としている。つまり、手の形から選択の操作を、手の形と手の中心点の動きから移動の操作を検出する。

図７（ａ）のように手が開いている状態で動かしてもフォーカスは「２」のボタンから移動しない。図７（ｂ）のように手を握るとフォーカスの移動が可能になり、例えば図７（ｃ）のように手を握ったまま平行移動すると中心位置の移動量を検出してフォーカスの位置が例えば「２」から「番組ポーズ」「再生」へと移動して行く。例えば、「再生」ボタンを押す操作をしたい場合はフォーカス位置が「再生」になったところで図６（ｄ）のように指を立てて、再びその位置で手を握ることでボタンを離した時に「再生」ボタン処理が実行され、図７（ｅ）のように液晶の表示が更新され、その後図７（ｆ）のように手を開くと手を動かしてもフォーカスは移動せず１回のボタン操作が完了する。もし、指を立てた時にフォーカスが当たっているボタン操作をキャンセルする場合には、手を握らずに開く操作をするか、そのまま手を移動させればよい。なお、フォーカス位置を示すハイライト表示は手の状態（手を開いているか、握っているか、指を立てているか）により表示を変更することが望ましい。

図８はこのジェスチャー検出処理のフローを示す図である。ジェスチャー検出処理の中心となる手領域検出手段１２３での手領域検出ステップＳ２２０は、ステップ２２１〜２２４で構成され、また、手操作検出手段１２４での手操作検出ステップＳ２３０は、ステップ２３１〜２３３で構成される。手領域検出手段１２３は、２値化補正手段と距離算出手段と中央重点補正手段と手領域判定手段とからなり、また、手操作検出手段１２４は、輪郭方向算出手段と中心輪郭距離算出手段と手操作判定手段からなる。これらの手段は、例えば図３の構成図において、ＣＰＵ１３１とメモリ１３２によって構成さる。また、それぞれの手段において、メモリ１３２の中に格納されたプログラムコードをＣＰＵ１３１において演算することで、手領域検出ステップＳ２２０、２値化補正ステップＳ２２１、距離算出ステップＳ２２２、中央重点補正ステップＳ２２３、手領域判定ステップＳ２２４、手操作検出ステップＳ２３０、輪郭方向算出ステップＳ２３１、中心輪郭距離算出ステップＳ２３２、手操作判定ステップＳ２３３を実行する。

図８のフロー図と、図９〜１１の説明図に基いて、手のジェスチャー検出の方法について説明する。制御手段１２６が制御対象機器の遠隔操作用の操作ボタン又はメニューを操作表示手段１２１に表示する操作表示ステップＳ２００を行った後、撮像手段１２２は、遠隔操作装置１１１の近辺に居て操作表示手段１２１の表示を基に操作する操作者の撮像を開始し、所定時間単位で画像を取得する撮像ステップＳ２１０を実行する。操作者がリモコンに対して手を伸ばした時、このステップで取得される撮像画像は、例えば図９（ア）のような画像である。

手領域検出ステップＳ２２０は、図８に示すように、２値化補正ステップＳ２２１、距離算出ステップＳ２２２、中央重点補正ステップＳ２２３、手領域判定ステップＳ２２４から構成される。なお、それぞれのステップは前述したように対応する手段において実行される。

２値化補正ステップＳ２２１では、まず明るさの影響を少なくするためにＨＳＶ変換（Ｈｕｅ、Ｓａｔｕｒａｔｉｏｎ、Ｖａｌｕｅ：色相、彩度、明度）色空間に変換して、所定の信号を基にした領域、例えば肌色領域を２値化情報として抽出する。この２値化においては、肌色領域内にある穴の領域や突起領域がノイズとして生じる可能性があるが、これらについては、領域の膨張処理や収縮処理によって補正を行う。例えば、検出する色範囲を広く、膨張処理により穴領域を埋める処理を多くすることで、ノイズを少なくし図９（イ）のような２値化画像を得ることができる。

一般的に色情報を基に２値化処理を行った場合に、背景にあたる領域に同様の色領域が存在するとこの部分も抽出しノイズになってしまう問題が発生する。このような場合には、背景画像メモリを準備して常に背景画像を取得する構成とし、この背景画像との差分が所定の信号値以上の領域という条件をつけても良い。また、後で説明するように形状からも手らしさを判定することから、この２値化の段階では多少の誤検出があっても対応可能である。ここではＨＳＶ変換して肌色を抽出する場合について説明したが、輝度情報のみで２値化しても良いし、顔検出で用いられるブースティングを用いて手の領域を検出して２値化しても良い。これらのように、撮像画像から所定の信号を基にして、肌色領域や背景画像との差分領域等を抽出し、ノイズ処理を行って２値化画像を得る。

距離算出ステップＳ２２２では２値化補正ステップＳ２２１で得られた２値化画像領域において各領域内部の点から最短の輪郭までの距離を算出し、この輪郭までの距離が最大となる距離最大点を検出してこの位置を各領域における手の中心候補とする。図９（ウ）において抽出領域内の複数の破線閉曲線は、輪郭までの距離の等しい等距離線であり、各領域内の（＋）点が手の中心候補である。ここで、領域の重心（×）点を手の中心としないのは、例えば図９（ウ）のように袖のない服装で腕の領域がされた場合に腕の領域の影響を受けて手のひらの中心からずれが発生するためである。

中央重点補正ステップＳ２２３では、距離算出ステップＳ２２２で算出した各領域における距離最大点の値に対して、撮像画像の中央が最大で画像の端に行くほど低くなるような補正値を加算する。例えばこの補正値は、画像の中央を頂点とした円錐状や半球状のものが考えられる。このように中央重点補正を行って手の領域を判定するのは、画像の中央には対象となる手が撮影される可能性が高く、画像の端の方には例えば顔のような外乱となる物が撮影される可能性が高いからである。

例えば図９（ウ）のようにほぼ同じ大きさの手と顔の領域を検出して、手の領域の距離最大点の値が例えば「１０」で、顔の領域の距離最大点の値が例えば「１２」の場合には、単純に距離算出ステップＳ２２２の出力で判定すると顔の方を手の候補と判断してしまう場合が起こりうる。これに対して、手の領域の距離最大点は画面中央に近いので中央重点加算値の補正値を例えば「９」、顔の領域の距離最大点は画面の端に近いので補正値を例えば「３」としてこれらを加算することで、手の領域の値が「１９」で顔の領域の値が「１５」となり、中央に近い手の領域を確実に検出することができる。なお、ここでは補正値を加算したが、当然乗算やその他の計算を組合せてもかまわないし、補正値の形状で対応してもかまわない。

手領域判定ステップＳ２２４は、中央重点補正ステップＳ２２３により補正された距離最大点の値が最も大きい点を含む領域が手の領域である可能性が高く、また、この距離最大点の値が最も大きい点を手の領域の中心点である可能性が高いと判断し、この領域について手らしさの判定を行う。手らしさの判定は、例えば図９（エ）に示したように当該領域の手の中心点よりも上の領域を形状判定領域としてこの領域の面積・輪郭長・高さ・幅等を算出してこれらが所定の範囲内にある時に手の領域であると判定する。例えば幅が極端に短く高さの１/５しかなかった場合には手領域ではないと判定される。このように手領域と中心点とを判定し、手領域でないと判定した場合には操作表示手段１２１に表示される画面はそのままにして（ステップＳ２００）、撮像ステップＳ２１０に戻り、画像取得待ちになる。手領域を検出した場合には次の手操作検出ステップＳ２３０へ続く。

手操作検出ステップＳ２３０は、図８に示すように、輪郭方向算出ステップＳ２３１、中心輪郭距離算出ステップＳ２３２及び手操作判定ステップＳ２３３から構成される。なお、それぞれのステップは前述したように対応する手段において実行される。

輪郭方向算出ステップＳ２３１では、例えば図９（エ）に示す領域を手の有効領域として太い線で示した輪郭に沿って画素単位で追跡しながら、例えば、図１０（ア）の方向コードに示したように、例えば中央位置から右斜め上方向が「０」、上方向が「１」、左斜め上方向が「２」というように反時計回りに輪郭方向を「０」から「７」までの８方向にコード化する。図１０（イ）では、手を握った時の輪郭追跡の開始点を（Ｓ）、終了点を（Ｅ）とすると、開始点（Ｓ）付近の方向コードが上方向「１」で、終了点（Ｅ）付近の方向コードが下方向「５」になるまで、ほぼ単調に方向コードが変化していることが判る。

一方、図１０（ウ）では、指を１本立てた時の輪郭追跡の開始点を（Ｓ）、終了点を（Ｅ）とすると、輪郭追跡の開始点（Ｓ）付近以外でも立てた指の位置に相当する箇所で方向コードが「１」になり、終了点（Ｅ）付近以外の箇所でも方向コードが「５」になる。また、図１０（エ）では、手を開いた時の輪郭追跡の開始点を（Ｓ）、終了点を（Ｅ）とすると、相反する方向コード（この場合は方向「１」と「５」及び「２」と「６」）の繰り返しが４箇所存在する。

中心輪郭距離算出ステップＳ２３２では、例えば図９（エ）に示す領域を手の有効領域として太い線で示した輪郭に沿って輪郭方向算出ステップ２３１と同様に画素単位で追跡しながら、例えば図１１の（＋）位置で示した手の領域の中心からの距離を算出する。例えば図１１（ア）のように手を握っている場合は、輪郭追跡開始点（Ｓ）から終了点（Ｅ）までの中心輪郭距離は全体的に小さな値となり、中心輪郭距離の最大値は中心輪郭距離の最小値の２倍（点線）を越えることがない。

一方、図１１（イ）のように指を１本立てている場合の輪郭追跡開始点（Ｓ）から終了点（Ｅ）までの中心輪郭距離は、指先位置で最大値となり、この最大値は中心輪郭距離の最小値の２倍（点線）よりも大きな値になる。また、図１１（ウ）のように手を開いた場合の輪郭追跡開始点（Ｓ）から終了点（Ｅ）までの中心輪郭距離は、開いた指の本数に応じた極大値が得られ、これらの極大値は中心輪郭距離の最小値の２倍（点線）よりも大きな値になる。

手操作判定ステップＳ２３３では、輪郭方向算出ステップＳ２３１や、中心輪郭距離算出ステップＳ２３２で得られた、方向コードと中心輪郭距離情報を用いて、例えば手を開いているか握っているか、或いは指を立てているかを判定する。具体例としては、輪郭追跡を行って、開始点（Ｓ）から終了点（Ｅ）の方向コードの変化がほぼ一様で、中心輪郭距離の最大値が最小値の２倍よりも小さい時は「手を握っている」、方向コード「１」と「５」のような反対方向のコードが１組存在し、中心輪郭距離の最大値が最小値の２倍よりも大きい時は「指を立てている」、方向コード「１」と「５」のような反対方向のコードが複数組存在し、中心輪郭距離の複数の極大値が最小値の２倍よりも大きい時は「手を開いている」と判定する。つまり、手の領域の形から選択の操作を、手の領域の形と手の領域の中心点の動きから移動の操作を検出し判定する。なお、輪郭方向算出ステップＳ２３１と中心輪郭距離算出ステップＳ２３２で得られた結果のどちらか一方を使っても、両方とも使っても良い。どちらか一方を使った場合は計算処理を速く行うことができるし、両方使った場合は手操作の検出精度を上げることができる。

ここで、手操作を検出できないため手操作でないと判定した場合は、操作表示手段１２１に表示される画面はそのままにして（ステップＳ２００）、撮像ステップＳ２１０に戻り、画像取得待ちになる。

手操作であると判定した場合は、操作表示手段１２１に表示されている仮想の操作ボタン又はメニューのハイライト等の表示位置を基にして操作者による操作内容を検出する。つまり、図７の操作のように、例えば手を握って手の位置が移動した時のボタンのフォーカス位置や、指を立ててふたたび握る動作を認識した位置によって、どの仮想の操作ボタン又はメニューの操作内容かを検出する。その後、遠隔操作装置１１１内の制御手段１２６は、通信手段１２５を通じて制御対象機器に操作の信号を送信する通信ステップＳ２４０を実行する。また、制御手段１２６は、検出された操作や操作の状況に応じて、操作ボタン又はメニューの表示をハイライトにする等、操作表示手段で表示する操作表示ステップＳ２００を行う。その後、撮像ステップＳ２１０に戻り、画像取得待ちとなり、ジェスチャー操作が終了するまで繰り返す。ジェスチャー操作の終了は、ハードウェアボタン１１８を用いても良いし、ある特定の動作をすることにより終了としても良い。

上記のように構成された遠隔操作装置及び遠隔操作方法においては、遠隔操作装置１１１に備えられたカメラを用い、この近辺に居て操作表示手段１２１の表示を基に操作する操作者の手の形と動きから、テレビやレコーダー等の制御対象機器を操作するので、遠隔操作装置の表示面に触れて汚れることが無くなるため、視認性が低下せず、操作性の良好な遠隔操作装置が得られる。また、リモコンを持たずに、片手だけで操作できるので、利便性が向上する。

また、カメラがテレビ等の制御対象機器に搭載され、操作者の手の形と動きを判断してこの制御対象機器を操作する構成の場合は、操作者は任意の位置に移動しうるためカメラと操作者の相対位置関係が千差万別となり操作位置を絞れなくなる。その結果、撮影画像における手の大きさが種々変化し、手の動作を検出する精度が劣化する。しかし、カメラをリモコンに搭載することで、操作者はリモコン操作のためにリモコンに近寄るため、想定される操作者とリモコンの位置関係を限定できる。そのため、撮影画像における手の位置と大きさが限定でき、手の動作の認識率が向上し操作の判定が容易となり、操作性が向上する。

実施の形態２．
実施の形態１では、遠隔操作装置１１１を単なるボタン操作によるコマンダーとして使用したが、ここでは、操作状況をテレビ等に表示することによりパソコンにおけるマウスのように利用する場合について説明する。

図１２は、この発明の実施の形態２における表示装置１１２と記録再生装置１１３と遠隔操作装置１１１とで構成される遠隔操作システムの機器構成図である。基本的には図１と同じ構成であり、また、遠隔操作装置の機能ブロック図も図２と同じ、ハードウエア構成も図３と同じであり、ジェスチャー検出処理についても図８から図１１までと同じである。

図７を用いた実施の形態１の説明では、手のジェスチャー操作の状況を遠隔操作装置１１１自身の液晶表示に表示し、フォーカス位置移動とボタン操作により行う例を説明した。しかし、図１２では、遠隔操作装置１１１をマウス操作モードとし、遠隔操作装置１１１から操作と手の動きを制御対象機器で表示するための信号を伝送信号１１５として表示装置１１２や記録再生装置１１３に送信することで、手の動きを表示装置１１２に表示して表示装置１１２に表示されたブラウザ等の画面のマウス操作を可能にする。

具体的には、メニュー又は操作ボタンを操作表示手段１２１に表示してマウス操作モードとする（操作表示ステップＳ２００）。また、これによって操作表示手段１２１の表示を基に処理をするステップにおいては、実施の形態１と異なり遠隔操作装置１１１の表示内容は更新しない。その後、実施の形態１と同様にジェスチャー操作を行って、画像を取得し（ステップＳ２１０）、手領域を検出し（ステップＳ２２０）、手操作を検出する（ステップＳ２３０）。検出された操作と、この操作を制御対象機器で表示するための信号を伝送信号１１５として、通信手段１２５を用いて表示装置１１２や記録再生装置１１３に送信し（通信ステップＳ２４０）、表示装置１１２の画面に表示して、コンピュータのマウス操作のように手の動きで操作する。

図１３に本発明実施例２の伝送信号の送信データ例を示す。リモコンの送信コードは一般的に、機種やメーカーを示すカスタムコードと操作を示すデータコードから構成されるが、図１３に示すように、例えばデータコードを「２ボタンマウスの３バイト転送のフォーマットを指定するコード」＋「３バイトデータ」として、シリアルマウスのデータファーマットに合わせて、例えば手を握った状態で移動させた時にはＸＹ座標位置が移動した、指を１本立てた時には左ボタンが押された、指を１本立てた状態から戻した時には左ボタンが離された、指を２本立てた時には右ボタンが押された、指を２本立てた状態から戻した時には右ボタンが離された、というように変化のあった時に制御対象機器で表示する信号を伝送信号１１５としてテレビやレコーダーに送信する。このようにすることで、パソコンのブラウザ上のマウス操作と同じ操作がテレビやレコーダーのブラウザ上で実現することができる。

近年、インターネット環境が普及し、テレビやレコーダーでもインターネット接続が可能になっているが、一般的にテレビやレコーダー上のブラウザはリモコンの十字キーボタンでフォーカス位置を移動させるだけで、パソコンのマウスのように簡単にポインタを移動してクリックすると言ったことができなかった。しかし、上記のように構成された遠隔操作装置及び遠隔操作方法においては、マウス操作の基本機能であるボタンのオンオフ情報と移動量を手操作検出手段で検出し、表示装置１１２等に送信するので、手の移動速度、移動量がそのままポインタ移動に反映されて表示されるため、パソコンのマウスと同じようにジェスチャーで簡単に操作が可能となり、操作性が向上するという効果を有する。

ここでは、ブラウザが表示装置１１２や記録再生装置１１３に搭載されてジェスチャー操作を伝送する構成としたが、遠隔操作装置１１１自身にブラウザが搭載された場合においても当然ながら簡単にジェスチャー操作が可能になる。

また、この発明の遠隔操作装置及び遠隔操作方法の活用例としては、デジタルテレビ受信機やＨＤＤ内蔵ＤＶＤレコーダーなど、多機能で、リモートコントローラのボタン数が多く、操作が複雑な機器の操作性向上に適応できるといった特徴も有している。

この発明の実施の形態１を示す遠隔操作システムの機器構成図である。 この発明の実施の形態１、２を示す遠隔操作装置の機能ブロック図である。 この発明の実施の形態１、２を示す遠隔操作装置のハードウエア構成図である。 この発明の実施の形態１を示す表示モード遷移の図である。 この発明の実施の形態１を示す表示モード遷移と機器状態遷移の図である。 この発明の実施の形態１を示す表示モード遷移と機器状態遷移の図である。 この発明の実施の形態１を示すジェスチャーによるボタン操作例の図である。 この発明の実施の形態１、２を示すジェスチャー検出処理のフロー図である。 この発明の実施の形態１、２を示すジェスチャー検出処理の領域判定を説明する図である。 この発明の実施の形態１、２を示すジェスチャー検出処理の輪郭方向算出を説明する図である。 この発明の実施の形態１、２を示すジェスチャー検出処理の中心輪郭距離算出を説明する図である。 この発明の実施の形態２を示す遠隔操作システムの機器構成図である。 この発明の実施の形態２を示す送信データ例の図である。

符号の説明

１１１ 遠隔操作装置
１１２ 表示装置
１１３ 記録再生装置
１１４ 接続ケーブル
１１５ 伝送信号
１１６ 撮像手段
１１７ 液晶タッチパネル部
１１８ ハードウェアボタン
１２１ 操作表示手段
１２２ 撮像手段
１２３ 手領域検出手段
１２４ 手操作検出手段
１２５ 通信手段
１２６ 制御手段
１３１ ＣＰＵ
１３２ メモリ
１３３ 液晶パネル
１３４ タッチパネル
１３５ 液晶タッチパネル
１３６ 信号送受信部
１３７ 発音装置
１３８ 撮像手段
１４１ テレビモードボタン
１４２ 予約モードボタン
１４３ 再生モードボタン

Claims (14)

1. 制御対象機器の遠隔操作用の操作ボタン又はメニューを表示する操作表示手段と、
   この操作表示手段の表示を基に操作する操作者を撮像する撮像手段と、
   この撮像手段で撮影された画像から手の領域を検出する手領域検出手段と、
   この手領域検出手段で検出された手の領域の形と動きと前記操作表示手段の表示とを基に前記操作者による操作を検出する手操作検出手段と、
   この手操作検出手段で検出された操作の信号を通信手段を用いて前記制御対象機器に送信する制御手段とを備えた遠隔操作装置。
2. 前記制御手段は、前記検出された操作を前記操作表示手段に表示する請求項１に記載の遠隔操作装置。
3. 前記制御手段は、前記検出された操作を前記制御対象機器で表示するための信号を更に送信する請求項１に記載の遠隔操作装置。
4. 前記手領域検出手段は、
   前記画像から所定の信号を基にした領域を抽出し、ノイズ除去を行って２値化する２値化補正手段と、
   この２値化補正手段で得られた２値化画像領域の内部にあって、この２値化画像領域の輪郭までの距離が最大となる点を算出する距離算出手段と、
   この距離算出手段からの距離最大点に対して、前記画像の中央部に近いほど大きく前記画像の端に近いほど小さい補正値を計算する中央重点補正手段と、
   この中央重点補正手段の計算結果を基に前記手の領域とこの中心点とを判定する手領域判定手段とを備える請求項１に記載の遠隔操作装置。
5. 前記手操作検出手段は、
   前記手の領域の輪郭線に沿って輪郭の方向を求める輪郭方向算出手段と、
   この輪郭方向算出手段で求められた輪郭の方向から手の領域の形を判定し、この形と動きと前記操作表示手段の表示とを基に手の操作を検出する手操作判定手段とを備える請求項１に記載の遠隔操作装置。
6. 前記手操作検出手段は、
   前記手の領域の輪郭線に沿ってこの輪郭と前記手の領域の中心点との距離を算出する中心輪郭距離算出手段と、
   この中心輪郭距離算出手段で算出された距離の極大点と極小点の関係から手の領域の形を判定し、この形と動きと前記操作表示手段の表示とを基に手の操作を検出する手操作判定手段とを備える請求項１に記載の遠隔操作装置。
7. 前記手操作検出手段は、
   前記手の領域の形から選択の操作を、前記手の領域の形と前記手の領域の中心点の動きとから移動の操作とを検出する請求項５又は６のいずれかに記載の遠隔操作装置。
8. 制御対象機器の遠隔操作用の遠隔操作装置において、
   前記遠隔操作用の操作ボタン又はメニューを操作表示手段で表示する操作表示ステップと、
   前記操作表示手段の表示を基に操作する操作者を撮像手段で撮像する撮像ステップと、
   この撮像ステップで撮影された画像から手の領域を検出する手領域検出ステップと、
   この手領域検出ステップで検出された手の領域の形と動きと前記前記操作表示手段の表示とを基に前記操作者による操作を検出する手操作検出ステップと、
   この手操作検出ステップで検出された操作の信号を通信手段を用いて前記制御対象機器に送信する通信ステップとを備えた遠隔操作方法。
9. 前記検出された操作を前記操作表示手段で表示する前記操作表示ステップを更に行う請求項８に記載の遠隔操作方法。
10. 前記通信ステップは、前記検出された操作を前記制御対象機器で表示するための信号を更に送信する請求項８に記載の遠隔操作方法。
11. 前記手領域検出ステップは、
    前記画像から所定の信号を基にした領域を基に抽出し、ノイズ除去を行って２値化する２値化補正ステップと、
    この２値化補正ステップで得られた２値化画像領域の内部にあって、この２値化画像領域の輪郭までの距離が最大となる点を算出する距離算出ステップと、
    この距離算出ステップからの距離最大点に対して、前記画像の中央部に近いほど大きく前記画像の端に近いほど小さい補正値を計算する中央重点補正ステップと、
    この中央重点補正ステップの計算結果を基に前記手の領域とこの中心点とを判定する手領域判定ステップとを備える請求項８に記載の遠隔操作方法。
12. 前記手操作検出ステップは、
    前記手の領域の輪郭線に沿って輪郭の方向を求める輪郭方向算出ステップと、
    この輪郭方向算出ステップで求められた輪郭の方向から手の領域の形を判定し、この形と動きと前記操作表示手段の表示とを基に手の操作を検出する手操作判定ステップとを備える請求項８に記載の遠隔操作方法。
13. 前記手操作検出ステップは、
    前記手の領域の輪郭線に沿ってこの輪郭と前記手の領域の中心点との距離を算出する中心輪郭距離算出ステップと、
    この中心輪郭距離算出ステップで算出された距離の極大点と極小点の関係から手の領域の形を判定し、この形と動きと前記操作表示手段の表示とを基に手の操作を検出する手操作判定ステップとを備える請求項８に記載の遠隔操作方法。
14. 前記手操作検出ステップは、
    前記手の領域の形から選択の操作を、前記手の領域の形と前記手の領域の中心点の動きとから移動の操作とを検出する請求項１２又は１３のいずれかに記載の遠隔操作方法。

Images