JP4491495B2 - ポインティングデバイスに基づくユーザインターフェイスシステム - Google Patents

Description

本発明は、ユーザインターラクションシステムであって、
− 電子装置と、
− 空間領域をポイントする、ユーザが操作可能なポータブルポインティングデバイスと、
− 画像を撮るカメラと、
− 前記画像を受信し処理することができ、前記画像から得られたユーザインターフェイス情報を前記電子装置に送信することができるデジタル信号プロセッサとを有するユーザインターラクションシステムに関する。

本発明は、ユーザインターラクションシステムで使用されるポインティングデバイスにも関する。

本発明は、上記のユーザインターラクションシステムで使用される電子装置にも関する。

上記のシステムは特許文献１で知られている。この文献はユニバーサルリモートコントロールシステムについて記載している。ユーザは認識可能な特徴を表示してディスプレイ上の位置をポインティングデバイス（例えば、赤いスポットを放射するレーザポインタ）でマークし、カメラがそのディスプレイの画像を捉える。ユーザがポイントした位置を計算する。コンピュータやテレビ等の電子装置がユーザのマーキングに対応した動作をする。例えば、レーザポインタを２回点滅してディスプレイ上のアイコンをマークしたとき、対応するコンピュータプログラムがスタートする。

上記のシステムの欠点は、システムが特定のディスプレイに合うように作られていることである。例えば、そのディスプレイはスクリーン上のＬＣＤベースのフロントプロジェクターからの投影であり、ラップトップコンピュータがプロジェクタに接続されている。上記のシステムのカメラは、そのスクリーンの画像を捉えることができるような位置とビューイングアングルを有している。次に、そのカメラからの画像中のエリアであって、ユーザにポイントされたスクリーン上の位置に対応するエリアをＤＳＰが識別する。先行技術ではこれを簡単な方法で行うことができる。第１に、スクリーンの画像にはプロジェクタからの画像が、レーザポインタを照射した状態と照射しない状態の両方で捉えられている。この２つの画像を比較することにより、カメラが見ているように空間内のディスプレイのエリアが取得される。第２に、ディスプレイ上のポイントされた位置と投影された画像中の位置との間の関係を決める透視変換が、ラップトップコンピュータのフレームバッファ中で導き出される。特許文献１は、壁等の仮想ディスプレイへのポインティングも記載している。それには仮想ディスプレイのコーナーを選択する。しかし、このシステムは常に１つのディスプレイに合わせて調整されており、ユーザは他のディスプレイとインターラクトしたくても、システムを再度設定しなければならないか、または第２のシステムを使用しなければならない。
米国特許公報第2001/0030668号

本発明の第１の目的は、冒頭のパラグラフで説明した種類のユーザインターラクションシステムであって、いくつかの利用可能な電子装置、より具体的にはディスプレイと比較的容易にインターラクトできるシステムを提供することである。

本発明の第２の目的は、冒頭のパラグラフで説明した種類のポインティングデバイスであって、いくつかの利用可能な電子装置と比較的容易にインターラクションできるポインティングデバイスを提供することである。

本発明の第３の目的は、上記のユーザインターラクションシステムにおいて使用する電子装置を提供することである。

第１の目的は、カメラをポインティングデバイスに接続し、動作中に、ポイントされた領域の画像を撮ることにより実現される。固定カメラは空間のある領域だけの画像を撮る。既知のユーザインターラクションシステムでは、ユーザのポインティングデバイスやポイントされたオブジェクトは、固定カメラの視界の中に無いことが起こる。例えば、ポイントされた領域に最も近い、ポインティングデバイスの先端に取り付けられたカメラを有するポインティングデバイスの利点は、そのカメラがポイントされた領域の画像を常に実質的に最適に撮ることである。ポイントされるオブジェクトは、一般に、ユーザインターフェイス情報（例えば装置制御データ）が送信される電子装置であるが、DSPにより認識可能な限り、ユーザがいる部屋に有るいかなるオブジェクトでもよい。制御される装置は、例えば、ポイントすることにより特定される。

請求項２による実施形態において、前記ユーザインターフェイス情報は、前記電子装置の動作を制御する装置制御データを有する。リビングルームには、例えば音を出す装置はたくさんある。これらの機器は各々、音のボリュームを上げたり下げたりする制御をすることができる。ポインティングデバイスのカメラを装置に向けてポイントし、「ボリュームアップ」コマンドを実行することにより（例えば、ポインティングデバイス上のボタンを押したり、ポインティングデバイスで特定の動作をすることにより）、ポイントされた機器のボリュームが上昇する。既知のユニバーサルリモートコントロールを使用すると、同一のリモートコントロールコードを使用しているので、ユーザが意図しない装置が反応するという欠点がある。

請求項３に記載したように、前記デジタルシグナルプロセッサは、オブジェクトを特定するオブジェクト特定手段に第１のオブジェクト特徴付けフィーチャ（feature）を供給することにより、前記カメラにより画像化された前記領域の前記画像中にあるオブジェクトまたは前記オブジェクトの一部を特徴付けるオブジェクト特徴付け手段を有し、前記オブジェクト特定手段は、前記ユーザインターフェイス情報が構成されるオブジェクト特定データを出力可能であることは有利である。

異なる電子装置を制御する場合、すべてを自動的に認識しなければならない。DSPは、例えば、前記装置を特徴付けるアルゴリズムを実行する一般的プロセッサでもよいし、ASICでもよい。一般に、オブジェクト特徴付け手段は、装置の画像に画像処理アルゴリズムを適用する。例えば、装置の相対的な大きさを計算し、その装置のボタンの数と位置を分析することができる。オブジェクト特定手段は、例えば、装置テーブル中の情報により、装置をこれらの第１のオブジェクト特徴付けフィーチャと関連付ける。その装置が理解する装置制御データのような、その装置に関する他の情報、例えば「X社が製造したシリアルナンバーYの第１のテレビ」があってもよい。

請求項４に記載のように、前記デジタルシグナルプロセッサは、前記ポインティングデバイスの動き軌跡を評価して、前記動き軌跡の数学的抽象化である第１の動き特徴付けサインを出力する動き軌跡評価手段と、前記第１の動き特徴付けサインを特定し、前記第１の動き特徴付けサインに対応するコマンド特定データを出力するサイン特定手段とを有し、前記コマンド特定データはユーザインターラクションコマンドを表し、前記コマンド特定データから前記ユーザインターフェイス情報が構成されることは有利である。

異なるすべての装置に送信可能な異なるすべてのコマンドのためにポインティングデバイス上に多数のボタンを備える必要を無くし、ユーザインターラクションシステムをよりユーザフレンドリーにするため、ユーザが手に持っているであろうポインティングデバイスの動きに基づいて装置制御データの少なくとも一部を生成すれば有利である。上向きの動きのサインは「ボリュームアップ」を意味してもよい。しかし、標準的なリモートコントロールとは対照的に、本発明によれば、ボリューム変更の大きさは動きの強さにより決まってもよい。例えば、ユーザが腕をゆっくり上げたときボリュームは少しだけ変更され、腕を早く上げたときはボリュームは大きく上昇してもよい。ポインティングデバイスの動きの決定は、変形センサーの質量、ジャイロスコープ、ディファレンシァルGPS等の動き検知手段によりなされる。しかし、カメラがあるので、連続した画像を撮って動き評価アルゴリズムを適用することにより動きを決定することもできる。大域的動き評価は複数のオブジェクトの精密な動き評価よりも簡単なので、カメラは簡単なCMOSベースのカメラであってもよいし、少数の光検知エレメントの２次元アレイであってもよい。

請求項５に記載したように、前記デジタルシグナルプロセッサは、オブジェクト特定データとして表された前記オブジェクトとコマンド特定データとして表されたユーザインターラクションコマンドが、所定のルールに基づきより高い信頼性で特定され、より信頼できるユーザインターフェイス情報を生じる確率をさらに改善することができる特定改善手段を有することは有利である。部屋の条件はよく変化するので、オブジェクトと動きサインの特定は必ずしも完全である必要はないので、識別改善手段を組み込んでもよい。この識別改善手段は、例えば、特定されたオブジェクト特定データとコマンド特定データに人工知能のルールを適用し、あるいは特徴付けフィーチャ、第１のオブジェクト特徴付けフィーチャと第１の動き特徴付けサインも考慮に入れる。例えば、ポイントされた装置を決定するルールには、ポインティングデバイスがある部屋や、１日のうちの時刻も考慮に入れることができる。例えば、ユーザが家に帰ってポインティングデバイスを手に持った時に最初にすることは、一般的に、室内灯をスイッチオンすることである。DSPは室内灯の画像に基づき、ユーザの意図を検証する。

請求項６に記載の通り、前記所定のルールは、アプリオリに知られた情報｛前記ポインティングデバイスがある部屋、ユーザにより前に発行されたコマンド、ユーザが特定のコマンドを発行する統計的頻度と時間｝のうち少なくとも１つを考慮して、｛オブジェクト特定データ、コマンド特定データ｝ペアの尤度の確率的計算を有することはさらに有利である。例えば、コマンドの尤度は、ユーザが通常使用するコマンドの統計的プロファイルおよび事前に発行されたコマンドに基づき計算することができる。また、装置の尤度もポインティングデバイスがある部屋に基づき更新することができる。金曜夜８時に、ユーザは好みのテレビ番組を見たいと思うかも知れない。

請求項７に記載したように、前記デジタルシグナルプロセッサは、前記オブジェクト特定手段にオブジェクト関連付けデータを提供するオブジェクト関連付け手段を有し、前記オブジェクト関連付けデータは、関連付けされたオブジェクト特徴付けフィーチャとオブジェクト関係データであるところのデータエンティティを少なくとも１つ有し、前記オブジェクト関連付けデータは、以下の方法：
− 前記オブジェクトテンプレートデータを、オブジェクト特徴付け手段により出力された第２のオブジェクト特徴付けフィーチャの所定の計算を実行するオブジェクトトレーニング手段から取得する方法、および
− 前記オブジェクトテンプレートデータを、入力されたオブジェクトデータから導き出す方法
のうち少なくとも１つの方法で取得した、オブジェクトメモリ中のオブジェクトテンプレートデータから導き出すことができることは有利である。

ユーザインターラクションシステムは、生産者によって固定数の装置を制御するように事前に構成されているよりも、ユーザが自分の変化する環境に適当させることができれば、より一層用途が広くなる。例えば、ユーザが新しい装置を購入したとき、同じシステムにより制御可能であった方がよい。また、ユーザがカレンダーを購入し、壁に掛け、ポインティングデバイスでポイントしたとき、例えば、PCのカレンダーツールがスタートする方がよい。このため、オブジェクト関連付け手段が必要となる。ユーザは、例えば、新しい装置の画像を少数の異なったアングルで撮る。オブジェクト特徴付け手段上で実行されているいくつかの画像処理アルゴリズムが、このオブジェクトのフィーチャを抽出し、オブジェクトテンプレートとして記憶する。あるいは、その前に変化しない装置特有のフィーチャを計算する。その後、ユーザは、選択ユーザインターフェイスを用いて、どの装置がこのオブジェクトテンプレートに対応するかを選択する。これは、システムのいわゆるトレーニングフェーズである。その後、いわゆるコマンドフェーズでシステムを使用して、特定した装置に装置制御データを送信するとき、オブジェクト特定手段によるオブジェクトの特定は、オブジェクト関連付け手段に記憶されたデータにより支援される。例えば、オブジェクトテンプレートデータに基づき、オブジェクト特徴付け手段が第１のオブジェクト特徴付けフィーチャとして出力するものに対応するいくつかの関連付けられたオブジェクト特徴付けフィーチャがオブジェクト特定手段に送られる。オブジェクト特定手段は比較を行い、正しい特定された装置を選択する。これらのフィーチャは、オブジェクト特定手段にプリロードされることもできる。オブジェクト関連付け手段は、オブジェクト関係データもオブジェクト特定手段に送信できる。そのオブジェクト特定手段は、少なくとも前記装置の識別子を有し、あるいはサポートされたコマンド等のさらに別のデータを有する。別の実施形態において、オブジェクト関連付け手段はそれ自体オブジェクトの特定が可能である。この場合、オブジェクト関係データのみがオブジェクト特定手段に送られる。ユーザが選択ユーザインターフェイスを通して多数の情報を入力しなくてもよいように、オブジェクト関係データをオブジェクトデータ入力を通して、例えば特定され制御されるべき装置から直接、入力できる。この入力を介して、特徴オブジェクトテンプレートデータも入力することができる。例えば、装置の生産者がよく整った画像化環境で撮った画像を提供してもよい。

請求項８に記載したように、前記デジタルシグナルプロセッサは、サイン関連付けデータを前記サイン特定手段に提供するサイン関連付け手段を有し、前記サイン関連付けデータは、関連付けられたサインフィーチャおよびコマンド関係データであるところのデータエンティティを少なくとも１つ有し、前記サイン関連付けデータは、以下の方法：
− 前記サインテンプレートデータを、前記動き軌跡評価手段により出力された第２の動き特徴付けサインの所定の計算を実行するサイントレーニング手段から取得する方法、および
− 前記コマンドテンプレートデータを入力されたコマンドデータから導き出す方法のうち少なくとも１つの方法で取得した、サインメモリ中のサインテンプレートデータから導き出すことができることも有利である。

同様の理由で、サイン関連付け手段を備えて、ユーザによりポインティングデバイスに適用し、サインとして特徴付けられた新しい動き軌跡をトレーニングすることができる。これらの実施形態において、コマンドデータは、例えば自分がサポートしているコマンドのメニューを提供する装置により入力される。

請求項９に記載したように、前記第１の動き特徴付けサインは、それぞれの瞬間に前記カメラで撮られた連続画像に基づき導き出されることも有利である。カメラがポインティングデバイスに取り付けてありその動きを常に画像化しているので、また大きな動きは簡単な動き評価アルゴリズムで評価できるので、連続して撮られた画像を用いて、意図されたユーザインターフェイスコマンドを導き出すことができる。

第２の目的は、請求項１０に記載の、カメラを有し、デジタルシグナルプロセッサに画像を送信することができるポインティングデバイスにより達成することができる。すでに上で説明したように、上記のポインティングデバイスを用いればユーザインターラクションシステムはより機能が豊富になる。

ポインティングデバイスの一実施形態は、請求項１１において、前記ポインティングデバイスが画像を送信することができる前記デジタルシグナルプロセッサは、前記画像に基づき電子装置にユーザインターフェイス情報を送信することができることを特徴とする。

請求項１２の実施形態によれば、前記デジタルシグナルプロセッサは前記ポインティングデバイスに含まれている。本ポインティングデバイスは、ユーザインターラクションシステムとは別に動作する。例えば、ポインティングデバイスをスーパーマーケットに持って行き、撮った画像を処理し、対応する第１のオブジェクト特徴付けフィーチャを記憶することができる。家庭の装置を後で制御することができる。

請求項１３に記載したように、前記ポインティングデバイスの動き軌跡を検知する動き検知手段を有することは有利である。デバイスをオブジェクトを認識するために使用するかどうかにかかわらず、ユーザによる動きに対応する装置制御データを送信するために使用することができる。ポインティングデバイスの上記のアプリケーションにおいて、意図された装置は、例えばボタンを用いて固定したり特定したりすることができる。

請求項１４に記載したように、ポイントされた領域に向けて特徴パターンを光学的に投影する特徴プロジェクタを有することは有利である。ユーザがどの装置または装置の一部をポイントしているかのフィードバックを得ることができれば有利である。さもないと、ユーザは、正しくポイントしていないとき、例えば、装置の間違ったボタンを押してしまうかも知れない。フィードバックの一形式は、ポインティングデバイスのディスプレイ上の、カメラが画像化している領域の中心を示す小さな画像である。ディスプレイの中心の装置または装置上のボタンが意図されたボタンである。フィードバックの他の形式は、例えば白い十字やレーザドット等の特徴パターンの投影である。これらの特徴パターンは装置の意図された部分を照らす。２次元グリッド線のようなより複雑なパターンは、DSPが画像化された装置のジオメトリーを特定する役に立つ。

請求項１５に記載したように、ポインティングデバイスが、プログラマブルユーザインターフェイスコードジェネレータと、コードを前記電子装置に送信する無線トランスミッタとを有することは有利である。例えば、ブルートゥースに基づくワイヤレスホームネットワークによりDSPが装置制御データを装置に送信するのではなく、ポインティングデバイスは、例えば赤外線の照射により、直接適当なリモートコントロールコマンドを送信することができる。従来のユニバーサルリモートコントロールと比較した場合の利点は、DSPが自動的にカメラ画像から装置を特定して、正しいコードを生成することである。

請求項１６に記載したように、ユーザインターフェイス情報のフィードバックをするフィードバック手段を有することは有利である。例えば、ディスプレイが便利である。他のフィードバックとして、質量が動くことによる力フィードバックの種類がある。これは、例えばテレビスクリーンに対するティッピングをシミュレートすることができる。

第３の目的は、サポートされたコマンドに関する情報を請求項１０に記載のポインティングデバイスに送信可能とするインターフェイス手段を有し、前記送信は前記電子装置に対する前記ポインティングデバイスの「サポートされたコマンド特定」コールに基づきなされることにより実現される。DSPまたはDSPの機能の一部が装置に組み込まれていてもよい。その装置はオブジェクト特徴付けフィーチャその他を送信することもできる。

本発明は以下の説明と添付した図面を参照して明らかとなるであろう。添付した図面は、本発明によるユーザインターラクションシステムの構成要素とポインティングデバイスの実施例の概略を示す。

本発明によるユーザインターラクションシステムを設置した部屋を示す概略図である。 本発明によるデジタルシグナルプロセッサを示すブロック図である。 本発明によるポインティングデバイスを示す概略図である。 図４ａ、４ｂは、モーショントラジェクトリおよびそれと対応するサインの例を示す図である。

図１には、ユーザインターフェイス情報Ｉを受信することができる様々な電子装置が設置された部屋が示されている。例えば、電子装置１１０はプラズマディスプレイである。パーソナルビデオレコーダ、電話、洗濯機などを設置し、ユーザ１００がこれらとインターラクトできてもよい。この部屋には様々なオブジェクトが設置されており、電子装置や窓等の単なる物理的なオブジェクトである。オブジェクト１３０はオーディオ装置であり、花瓶１７０や電子装置１１０もある。これらはポインティングデバイス１０１によりポイントできる。

本発明によれば、ポインティングデバイス１０１はカメラ１０２を含み、部屋の領域の画像やこれら領域のオブジェクトの画像をデジタルシグナルプロセッサ（ＤＳＰ）１２０に送信することができる。このデジタルシグナルプロセッサ（ＤＳＰ）は、カメラ１０２により撮られた画像に基づき、領域やオブジェクトを識別できる。カメラはポイントされた領域の画像をよく撮れるようにポインティングデバイス１０１と接続されている。例えば、そのカメラはポインティングデバイス１０１から遠い端にあってもよいし、角度をつけて横に設置してもよい。ユーザは好きなオブジェクトをポイントすることができ、非常にユーザフレンドリーで強力なユーザインターラクションシステムを実現することができる。

ＤＳＰ１２０は、例えば、ホームネットワーク中の装置を制御するホームコンピュータであってもよいし、ポインティングデバイス１０１に組み込まれていてもよい。カメラ１０２はＣＣＤカメラやＣＭＯＳカメラである。カメラ１０２とＤＳＰ１２０は、もし離れていれば、無線で接続されていてもよい。ポインティングデバイス１０１は、オブジェクトの識別のためにＤＳＰ１２０により実行されるアルゴリズムの一部をすでに実行できる。そのため、ほんの少しの機能しか外部のＤＳＰ１２０に送信する必要はない。事実として、機能的に示したＤＳＰ２００は、ポインティングデバイス１０１、部屋、異なる装置等のいくつかの部分に分散していてもよい。

ＤＳＰ１２０は、ユーザインターフェイス情報Ｉ（例えば、装置制御データac）を特定された装置に送信するように設計されている。例えば、ユーザ１００は、室内灯１６０にポインティングデバイス１０１を向けて、ポインティングデバイス１０１上のオンボタンを押す。これにより、DSP１２０がその特定された室内灯１６０にオンコマンドを送信する。特定されるオブジェクトは制御される装置そのものでなくてもよい。例えば、花瓶１７０をポイントするとPC上で特定のプログラムが実行され、その出力がディスプレイ装置１１０に表示されてもよい。オブジェクトの一部をポイントしてもよい。例えば、オブジェクト１３０のボリュームボタン１３４をポイントすると、ボタンを押したりポインティングデバイス１０１を動かしたりという追加的な動作に応じて、このオーディオ装置のボリュームが上がったり下がったりする。チャンネル選択表示１３２ポイントして横方向に動かすとチャンネルが替わる。DSP１２０はオブジェクトの一部の状態を認識することもできる。例えば、カセットローダ１３６が開いていることを認識して、「クローズ」コマンドを発行することができる。その他特定の状況を検知したり監視したりすることもできる。ユーザ１００は家具１４０またはその一部をポイントしてもよい。その家具１４０がカップボードである場合、異なる引き出しをポイントすると異なる動作が行われる。家具１４０がインテリジェント冷蔵庫である場合、それをポイントするとユーザが定義した動作が行われる。例えばインターネット経由でビールを注文することができる。装置制御データacとは別に、他のユーザインターフェイス情報I（例えば、画像データpd）を送信することもできる。例えば、第１の電子絵画１５０と第２の電子絵画１５２が表示する画像を変更できる。これは、電気泳動電子インクディスプレイで実現することができる。ユーザ１００は、第１の電子絵画に表示された画像や壁に掛かっているカレンダーの画像を捉えて、あるいはパースペクティブコレクション等の画像処理ののち、第２の電子絵画１５２に画像データpdとして送信することができる。

図２は、図１に示したデジタルシグナルプロセッサ１２０の実施形態であるところのデジタルシグナルプロセッサ２００の機能的構成要素を示すブロック図である。ここで説明する構成要素のすべてがユーザインターラクションシステムの実施形態に必ずしも含まれるわけではない。DSP２００は一般のプロセッサ、ASIC、回路基板上の個別部品として実現することができる。DSP２００は、例えば動き検知手段３０４から、カメラ入力Cとセンサー入力Sを受信する。DSP２００は、カメラ１０２により画像化されたオブジェクト１３０やその一部の画像を特徴付けるオブジェクト特徴付け部２０２を有する。そのオブジェクト特徴付け部２０２は、オブジェクト特定部２０４に第１のオブジェクト特徴付けフィーチャf1を供給することができる。第１のオブジェクト特徴付けフィーチャf1は、オブジェクト特定部２０４で実施された画像処理アルゴリズム応じた異なる種類であってもよい。一般的に、オブジェクトは最初、画像の残りの部分から分離される。これは例えば画像のエッジおよびカーブ検出により行われる。他のオプションとして、例えば投影グリッドや第２のカメラを用いた、画像化された領域の３次元分析がある。オブジェクトの一部を相関法（correlation technique）に基づき検出し、オブジェクトの残りを検証する。

第２に、第１のオブジェクト特徴付けフィーチャf1を計算する。オブジェクトの輪郭とその構成部分を、曲率対角度特徴（curvature versus angle characteristic）により特徴付けることができる。幅と高さの比を計算してもよい。分離したオブジェクト領域自体を使用してもよいし、または、一般的にパースペクティブコレクションを最初に実施した後のオブジェクト領域を使用してもよい。

オブジェクト特定部２０４は、オブジェクト特徴付け部２０２から受信した第１のオブジェクト特徴付けフィーチャf1に基づいてオブジェクトを特定する。例えば、多次元フィーチャ空間におけるいかなる既知の分類方法を用いてもよい。オブジェクト特定部２０４の出力はオブジェクト特定データoiであり、単純な数字または特定されたオブジェクトについての付加的情報を含むデータ構造である。例えば、DSP２００を含むポインティングデバイスの生産者によってアプリオリに、いくつかの装置を特徴付けるフィーチャや別のデータがオブジェクト特徴メモリ２３０に記憶されてもよい。またはDSP２００がコンピュータであれば、インターネットからプリロードしてもよい。オブジェクトを特定するのではなく、DSPは部屋の領域を特定してもよい。例えば、ポインティングデバイス１０１を天井に向けると、コマンド「室内灯オン」が発行され、床に向けると室内灯がスイッチオフされる。部屋の隅に向けると関連するコマンドが発行される。部屋の隅はそこにあるオブジェクトによって特定してもよい。例えば、左側には植物があり右側にはカップボードがある。

ユーザが花瓶１７０等の新しいオブジェクトを教え込むことができれば、ユーザインターラクションシステムはより一層便利である。それゆえ、オブジェクト関連付け部２１２が含まれていてもよく、このオブジェクト関連付け部２１２はオブジェクト特定部２０４にオブジェクト関連付けデータoadを供給する。オブジェクト関連付けデータoadは、オブジェクトテンプレートに基づく、第１のオブジェクト特徴付けフィーチャf1に類似した、オブジェクトの特徴付けフィーチャfaを有する。オブジェクトテンプレートは、トレーニングフェーズを適用することにより取得できる。新しいオブジェクトは、異なったアングルや照明等のいくつかの条件下でカメラ１０２により画像化される。オブジェクト特徴付け部２０２は、すべての画像について第２のオブジェクト特徴付けフィーチャf2を生成する。オブジェクト関連付け部２１２中のオブジェクトトレーニング部２２１は、オブジェクトメモリ２２０に記憶されているオブジェクトに対応するオブジェクトテンプレートを生成する。テンプレートは、すべての画像の第２のオブジェクト特徴付けフィーチャf2のクラスター、または平均フィーチャ、または可変の第２のオブジェクト特徴付けフィーチャf2に基づいて計算されたいくつかの不変フィーチャである。オブジェクトテンプレートは、オブジェクトデータodとして外部から入来する特徴付けフィーチャに基づきオブジェクトトレーニング部２２１により導き出される。このオブジェクトデータは、例えば、生産者により異なるアングルで撮られた自分の画像を入力する装置のものであってもよい。オブジェクトデータodとオブジェクト関連付けデータoadは、オブジェクト関係データid、すなわちサポートされたコマンドのような装置に関係したすべての種類の情報を有してもよい。

オブジェクト認識を容易にするために、装置１１０等の特定のオブジェクトは特有のパターン１１６を表示してもよい。例えば、ポインティングデバイスの「オブジェクト特定」コールに応じて、異なるオン／オフ間隔で所定回数赤い十字を点滅させてもよい。装置１１０は、本発明によるユーザインターラクションシステムをより便利にするインターフェイス部１９０を有してもよい。例えば、インターネットラジオ等の装置は、ポインティングデバイス１０１と通信する「サービス発見」機能を有し、その機能はポインティングデバイス１０１がサポートしている。これらのコマンドに対応する赤外リモートコントロールシーケンスを送信してもよい。この機能はユーザ１００によるDSP１２０、２００のトレーニングを容易にする。例えば、通信に応じて、ポインティングデバイス１０１のディスプレイ３１６上に所定のアイコンのメニューとしてコマンドが表示される。インターフェイス部１９０は別に実現することもできる。例えば、洗濯機は複雑なリモートコントロール機能は有していないかも知れない。DSP２００から標準コマンドを受信して、装置を簡単な方法でインターフェイスする（例えばスタートする）プラグオンボックスを備えてもよい。

DSP２００は、ユーザ１００によりポインティングデバイス１０１でなされた身振りを分析する構成要素を有してもよい。このために、ポインティングデバイス１０１の図４に示した動き軌跡４００を使用する。この動き軌跡４００は、例えばカメラ１０２の画像に基づいて計算される。図４ａは３次元座標系４０４中の上向き動き軌跡４００を示す。この上向き動き軌跡４００は、その数学的表現であるサイン４０２により要約される。サイン４０２は、例えばコマンドテーブルにより、コマンド特定データciとリンクさせることができる。例えば、この場合、ユーザ１００はこの動きを「ボリュームアップ」コマンドとして確保してもよい。丸い動き軌跡４１０と丸いサイン４１２は、あるユーザにとっては「巻き戻し」を意味するが、他のユーザはこの丸いサイン４１２を「機器オン」コマンドと関係付けるようにDSP２００に教えているかも知れない。ユーザがポインティングデバイス１０１をおおよそ室内灯１６０の方に向けて、「機器オン」の動きをすると、この動きに基づきDSP２００は室内灯１６０をスイッチオンする。あるいは、ユーザ１００は空中のどこかで「機器オン」の動きをしてから、室内灯１６０、テレビ、その他スイッチオンしたいオブジェクトをポイントすることもできる。サイン４０２、４１２をいかなる方法でパラメータ化しても、またいかなる既知の曲線フィッティング方法でマッチングしてもよい。例えば、サイン４０２は、特定長さとセグメント間角度を有するいくつかのラインセグメントとしてサイン４０２をコード化してもよい。

動き軌跡評価部２０６は、動き検知手段３０４またはカメラ１０２からの連続画像に基づき、動き軌跡４００を計算する。例えば、光フローまたはブロックベース動き評価法を２つの連続した画像に適用して、動き軌跡４００の一部４０１を取得することができる。動きベクトル場の発散を用いてオブジェクトに向かう（すなわち、一般的にはポインティングデバイス１０１の軸に沿った）動きを評価することもできる。動き軌跡４００に基づき、サイン生成部２０９は第１の動き特徴付けサインs1を出力する。サイン特定部２０８は、第１の動き特徴付けサインs1を特定し、それをコマンド特定データciとリンクする。このコマンド特定データciは、例えば、ユーザインターラクションコマンドの数値的表現である。第１の動き特徴付けサインs1は、サイン特徴メモリ２３２に記憶された異なるサインのサイン特徴と比較される。例えば、おおよそ丸いか、または元に戻るような動きをすると、丸いサインテンプレートは線形サインテンプレートよりよくマッチする。幾何学的かつ構造的曲線マッチング方法を同様の計算に適用することができる。

DSP２００が新しいオブジェクトを特定することを学習できることが有利であるのと同様に、DSP２００がユーザ１００が好む新しい動きを特定できれば有利である。それゆえ、サイン関連付け部２１４は、サイン関連付けデータSADをサイン特定部２０８に供給してもよい。サイン関連付けデータSADは、関連付けられたサインフィーチャsa（例えば、丸いサイン４１２の数学的表現）および／または（例えば、DSP２００にコマンドデータcdとしてサポートされたコマンドを送信する装置から受信された）コマンド関係データを有していてもよい。サインメモリ２２２中のサインテンプレートは、動き軌跡評価部２０６からの第１の動き特徴付けサインs2に基づきサイントレーニング部２２３から、またはコマンドデータcdから取得することができる。

例えば、１日の内で照明が変化することにより、ユーザの環境は非常に変わりやすいので、オブジェクト１３０またはコマンド（すなわちサイン４０２）の特定は、間違っているときがある。それゆえ、DSP２００は特定改善部２１０を有してもよい。意図されるコマンドは、例えば、ポイントするオブジェクト１３０に依存したり、その前に与えられたコマンドなどに依存することがある。オブジェクトは、ポインティングデバイスがある部屋に無ければ、間違って特定されている。それゆえ、点滅するLED等の部屋認識手段１８５がある。ユーザ１００は、部屋に入った時、ポインティングデバイス１０１で部屋認識手段１８５をスキャンする。カメラ１０２とは別に、部屋認識手段１８５を検知するために、ポインティングデバイス１０１にはフォトダイオードが備えられている。部屋位置限定ビーコン１８０、１８１、１８２があり、DSP２００は、ポインティングデバイス１０１が部屋のどの部分をポイントしているのかを認識できるようにしてもよい。カメラ１０２が認識する場合、ビーコンは光を放射するが、電磁波を放射してもよい。オブジェクトの認識に、部屋にあるオブジェクトを利用してもよい。例えば、花瓶１７０がオブジェクト１３０の隣にあるとき、オブジェクト１３０を認識するときに花瓶１７０の認識を利用できる。ポインティングデバイスの過去の軌跡の分析でも利用することができる。ポインティングデバイスがオブジェクト１３０をポイントし、その後、右に動いたとき、そのポインティングデバイスは装置１１０をポイントしている。これらの情報をすべて考慮して、特定改善部２１０は、例えばベイズ確率を計算したりファジー論理を用いて、オブジェクト１３０や意図されたコマンドのより確かな特定に到達することができる。

DSP２００により出力されるユーザインターラクション情報Iは、一般的に、オブジェクト特定データoiとコマンド特定データciを有する構造であるところの制御装置データac、または、それらに基づき、特定の装置１１０について意図されたコマンドを特定する、新しい識別子を有する。ユーザインターラクション情報Iは画像データpdを有していてもよい。

図３は、本発明によるポインティングデバイス３００（図１に示した実施形態１０１）を示す概略図である。図示したすべてのフィーチャが必要なわけではない。簡単なポインティングデバイスはカメラ３０２と、フィードバックのための例えばディスプレイ３１６を有しているだけでもよい。ボタン３０８等のいくつかのボタンがあってもよい。これにより、ボタンを押すだけでコマンドを与えることができる。ポインティングデバイス３００を同様に動かしても、ボタン３０８を押しながら動かす場合と押さないで動かす場合とで、２つの異なるコマンドとして使用することができる。例えば、ポイントする位置に向けてレーザスポットを投影するための特徴プロジェクタ３２０があってもよい。ポインティングデバイスのカメラは、外部のDSP１２０に画像を送ることができる。こうして、ポインティングデバイスは室外でも使用することができる。ユーザ１００が持ち歩いていないポインティングデバイス１０３は、装置１１０や部屋を監視するために使用することもできる。カメラにより動きを検知するのではなく、ジャイロスコープやディファレンシャルGPS等の他の動き検知手段３０４を有してもよい。装置１１０にコマンドを直接送るために、プログラマブルコードジェネレータ３０９とワイヤレストランスミッタ３１０があってもよい。付加的情報をユーザに提供するため、フィードバック手段があってもよい。例えば、ライト３１２、サウンド発生デバイス３１４、力フィードバック手段３０６、特にディスプレイ３１６が設けられてもよい。力フィードバック手段は、小さな可動質量を有し、装置の振動をシミュレートできる。ディスプレイは、例えば、あるいは画像の中心にグラフィックとして十字を重ね合わせて、ポイントされている領域の中心を表示することができる。これはテレビに表示することもできる。同様に、ライト１６０がライト３１２の替わりにフィードバック用に使用されてもよい。ディスプレイ３１６上のフィードバックは、例えば、動き軌跡４００を示してもよく、動き軌跡トレーニングフェーズ中に、前の動き軌跡とどのくらい類似しているかを示して、ユーザ１００が安定した動きを学習する助けをしてもよい。ディスプレイ３１６は、いくつかの画像処理ステップの後に画像を表示して、DSP２００が見ているもの（例えば、検知したエッジと特定した機器の名前のテキストを含む画像）を表示してもよい。

指紋センサー、パスワード入力、パーソナルスマートカード等である、ユーザ特定手段３３０があってもよい。このように、DSP２００は、ユーザ１００に特化した動作モードに設定することができる。ユーザは自分がいる部屋に応じて異なるコマンドを与えてもよい。ポインティングデバイス３００の動きにより与えられたコマンドを補助するために、音声認識手段３４０が備えられてもよい。現実世界へのインターフェイス機器としてポインティングデバイス１０１を使用することにより、ゲームをすることもできるであろう。

Claims (13)

1. 電子装置を制御するためのユーザインターラクションシステムであって、
   空間領域をポイントする、ユーザが操作可能なポータブルポインティングデバイスと、
   画像を撮るカメラと、
   前記画像に基づいて、前記電子装置を制御するためのユーザインターフェイス情報を構成することができるデジタルシグナルプロセッサとを有し、
   前記カメラは前記ポインティングデバイスに接続され、動作中ポイントされる前記領域の画像を撮り、
   当該ユーザインターラクションシステムはさらに、前記電子装置に関連付けられたパターン生成手段を有し、前記パターン生成手段は、前記電子装置に特有の点滅パターンを表示し、前記パターンは前記カメラで認識されて前記電子装置を認識するために用いられ、
   前記ユーザインターフェイス情報を構成するために、前記ポインティングデバイスの動き若しくは動き軌跡が、それぞれの瞬間に前記カメラで撮られた連続画像に基づいて評価されることを特徴とするシステム。
2. 請求項１に記載のユーザインターラクションシステムであって、電磁放射を発することができる少なくとも一つのビーコンを有し、前記電磁放射は、当該システムによってとらえられることができ、とらえられた電磁放射から得られる情報は、前記ポインティングデバイスがどこをポイントしているかを認識するために前記デジタルシグナルプロセッサによって用いられ、前記デジタルシグナルプロセッサがさらに前記ビーコンに対する前記ポインティングデバイスの方向を認識するシステム。
3. 請求項１又は請求項２に記載のユーザインターラクションシステムであって、前記ポインティングデバイスの動き又は動き軌跡を評価することを可能にする動き検知手段をさらに有するシステム。
4. 請求項１から請求項３のいずれか一項に記載のユーザインターラクションシステムであって、前記ユーザインターフェイス情報が、前記ポインティングデバイスの動き速さ及び動き方向からなるグループから選択される少なくとも１つの特徴を含むシステム。
5. 請求項１から請求項４のいずれか一項に記載のユーザインターラクションシステムであって、前記ユーザインターフェイス情報が、前記ポインティングデバイスの動き軌跡及び前記ポインティングデバイスの前記動き軌跡から導かれる特徴付けサインからなるグループから選択される少なくとも１つの特徴を含むシステム。
6. 請求項１から請求項５のいずれか一項に記載のユーザインターラクションシステムであって、前記ポインティングデバイスが、ユーザに付加的情報を提供するフィードバック手段をさらに有するシステム。
7. 請求項６に記載のユーザインターラクションシステムであって、前記フィードバック手段が、光、音、ディスプレイ及び力フィードバック手段からなるグループから選択されるシステム。
8. 請求項１から請求項７のいずれか一項に記載のユーザインターラクションシステムであって、
   前記ユーザインターフェイス情報は、前記電子装置の動作を制御する装置制御データを有することを特徴とするシステム。
9. 請求項１から請求項８のいずれか一項に記載のユーザインターラクションシステムにおいて使用するポインティングデバイスであって、前記デジタルシグナルプロセッサの一部及び前記カメラを有し、前記画像は前記デジタルシグナルプロセッサに送信されることができるポインティングデバイス。
10. 請求項９に記載のポインティングデバイスであって、
    ポイントされた領域に向けて特徴パターンを光学的に投影する特徴プロジェクタを有することを特徴とするポインティングデバイス。
11. 請求項９又は請求項１０に記載のポインティングデバイスであって、プログラマブルユーザインターフェイスコードジェネレータと、コードを前記電子装置に送信する無線トランスミッタとを有することを特徴とするポインティングデバイス。
12. 請求項１に記載のユーザインターラクションシステムにおいて使用する電子装置であって、
    サポートされたコマンドに関する情報を、空間領域をポイントするユーザが操作可能なポータブルポインティングデバイスに送信可能とするインターフェイス手段を有し、
    前記送信は前記電子装置に対する前記ポータブルポインティングデバイスの「サポートされたコマンド特定」コールに基づきなされることを特徴とする電子装置。
13. 請求項１から請求項８のいずれか一項に記載のユーザインターラクションシステムであって、前記パターンが前記ポインティングデバイスのコールに応じて表示されるシステム。

Images