JP2012014361A - 情報処理装置およびその制御方法 - Google Patents

Abstract

【課題】それぞれの光線が画面上に照射された位置と、その位置に光線を照射したポインティングデバイスとの対応関係を特定する。
【解決手段】光線が照射された画面上の位置２０３を検知する第１検知手段１０６と、所定空間に存在するポインティングデバイス２０２の位置および角度を検知する第２検知手段１０７と、前記第２検知手段で検知された位置および角度に基づいて、前記第１検知手段で検知された位置に光線を照射したポインティングデバイスを特定する特定手段とを備える。
【選択図】図２

Description

本発明は、レーザポインタなどのポインティングデバイスによって指し示された点を特定する技術に関する。

従来、所定の画面上にレーザポインタによって光線を照射するシステムにおいて、その光線が照射された位置を検出する技術が知られている。このような装置は、一般的には１人の操作者によって光線が照射されるため、どのレーザポインタがどの光線を出しているかなどを特定する必要は無い。

通常、画面からレーザポインタまでの距離が遠い場合には、レーザポインタを少し動かすだけで、その光線が照射された点は大きく動く。その一方で、画面からレーザポインタまでの距離が近い場合には、レーザポインタを少し動かすだけでは、その光線が照射された点は殆ど動かない。

特開平９−８０３７２号公報

例えば、複数の操作者が同時にレーザポインタを照射するような場面では、画面上に複数のレーザポインタによって光線が照射されるであろう。このような場合には、それぞれの光線が照射された位置は、どの操作者によって照射された位置か解りにくい。もし、それぞれの照射位置に対して、それぞれの操作者に合った付加画像などを表示させようとした場合には、その表示を行わせる装置自身が、上記照射位置と操作者との関係を適切に知る必要がある。

本発明は上記点に鑑みてなされたものであり、それぞれの光線が画面上に照射された位置と、その位置に光線を照射したポインティングデバイスとの対応関係を特定することを主な目的とする。

上記目的を達成するために、本発明の情報処理装置によれば、光線が照射された画面上の位置を検知する第１検知手段と、所定空間に存在するポインティングデバイスの位置および角度を検知する第２検知手段と、前記第２検知手段で検知された位置および角度に基づいて、前記第１検知手段で検知された位置に光線を照射したポインティングデバイスを特定する特定手段とを備えることを特徴とする。

本発明によれば、それぞれの光線が画面上に照射された位置と、その位置に光線を照射したポインティングデバイスとの対応関係を特定することができる。

情報処理装置のハードウェア構成を示す図 情報処理装置が室内に設置されている場合の外観図 情報処理装置の機能構成を示す図 情報処理装置の動作手順を示すフローチャート 画面上に表示される付加画像の様子を示す図 複数のポインティングデバイスから光線が照射された様子を示す図 付加画像（ガイド表示）を説明する図

［実施形態１］
図１は、本実施形態に適用される情報処理装置のハードウェア構成を示す図である。ＣＰＵ（中央処理装置）１０１は、後述する図３の各機能、および図４の動作手順に相当するプログラムを実行する。ＲＯＭ１０２は、上記プログラムに相当するプログラムコードなどを格納する。ＲＡＭ１０３は、上記プログラムを実行する際のワークエリアとして利用される。記憶装置１０４は、本実施形態で利用される各種データを記憶する装置であって、例えばハードディスクなどに相当する。表示部１０５は、画像を画面上に表示させる。これは、例えば入力された画像データが表す画像を画面上に表示する液晶ディスプレイ、上記画像を外部の物体面上に投影するプロジェクタ、あるいは、上記画像が表すビットマップデータを外部の表示機器に送信して表示させる表示制御機器などに相当する。画面撮影用カメラ１０６は、上記表示部１０５によって画像が表示された画面上を撮影するカメラである。そして、このカメラ１０６は、上記ＣＰＵと協働して、後述するポインティングデバイスによって光線が照射された画面上の位置を検知する。ポインティングデバイス撮影用カメラ１０７は、このカメラが撮影可能な所定空間に存在する各種画像を撮影することができるカメラである。そして、このカメラ１０７は、上記ＣＰＵと協働して、上記所定空間に存在するポインティングデバイスの位置および角度を検知する。なお、上述した情報処理装置１００は、上述したハードウェア構成を、１つの筐体に内蔵しているものとして利用されても良いが、複数の筐体に分離して協働するシステムとして利用されても良い。

図２は、本実施形態に適用される情報処理装置１００が室内に設置されている場合の外観図である。この図では、図１で説明した構成と同じものには同一の符号を付け、その詳細な説明を省略する。この例では、情報処理装置１００は、操作者の頭上に設置されているものとする。表示部１０５は、プロジェクタとして画像を投影するものとして機能する。表示部１０５から投影された画像は、画面２０１上に表示される。画面撮影用カメラ１０６は、その画面２０１を少なくとも撮影範囲に含むように、室内を撮影する。ポインティングデバイス撮影用カメラ１０７は、後述するポインティングデバイス２０２が存在する可能性を有する空間を撮影する。操作者２００は、レーザポインタ等で代表される、所定の光線を照射することによって画面上を指し示すポインティングデバイス２０２を保持している。ポインティングデバイス２０２から発せられた所定の光線は、画面２０１上に照射される。そして画面２０１上に、他の領域よりも極めて高い輝度で反射する点２０３（ポインタ輝点）を形成する。なお、画面撮影用カメラ１０６およびＣＰＵ１０１などが協働して、画面２０１上にポインタ輝点２０３があることを検知する。また、ポインティングデバイス撮影用カメラ１０７およびＣＰＵ１０１などが協働して、ポインティングデバイス２０２の位置と角度を検知する。

図３は、情報処理装置の機能構成を示す図である。上述したように、この図３に示す各機能は、図１のＣＰＵ１０１を中心とした各部の協働処理によって実現されるものとする。しかしながら、本発明はこれに限らず、これから説明する各機能に専用の処理部をハードウェア構成として備え、それぞれの機能を独立して実行するような装置またはシステムに適用しても構わない。画像出力部３０１は、上述した図１の表示部１０５と同様であり、図２に示す画面２０１上に画像を表示する処理部である。画像入力部３０２ａは上述したカメラ１０６に相当し、画像入力部３０２ｂは上述したカメラ１０７に相当する。ポインタ輝点位置検知部３０３は、画像入力部３０２ａから入力された画像に基づいて、図２に示したポインタ輝点２０３の位置、即ち、画面２０１上における座標を検知する処理部である。なお、この検知機能は、画像入力部３０２ａ（カメラ１０６）の内蔵機能として備えていても良いし、画像入力部３０２ａが上記ＣＰＵ１０１と協働して実行しても良い。ポインティングデバイス位置検知部３０４は、画像入力部３０２ｂから入力された画像に基づいて、ポインティングデバイスの位置を検知する処理部である。ポインティングデバイス角度検知部３０５は、画像入力部３０２ｂから入力された画像に基づいて、ポインティングデバイスの角度を検知する処理部である。この角度の検知方法は、後段の処理において、複数のポインタ輝点とポインティングデバイスの対応関係が判別できる方法であれば、特に限定はされない。例えば、「図２に示した画面２０１に正対し、操作者がポインティングデバイス（レーザポインタ）をその画面に向かって照射した角度に対して、左右の何れに何度傾いているか」などを検知すれば良い。なお、上記ポインティングデバイス位置検知部３０４とポインティングデバイス角度検知部３０５の２つの機能は、同じ入力部から入力された画像に基づいてポインティングデバイスの状態を解析するものとして、１つの機能として見なすこともできるであろう。ポインタ識別部３０６は、検知部３０３が検知したポインタ輝点の位置（座標）と、検知部３０４、３０５が検知したポインティングデバイスの位置および角度とに基づき、各ポインタ輝点とそこに光線を照射したポインティングデバイスとの対応関係を特定する。サイズ設定部３０７は、上記特定された対応関係に基づいて、各ポインタ輝点とそれに対応するポインティングデバイスとの距離を求める。なお、この距離は、ポインタ輝点位置検知部３０３が検知したポインタ輝点の位置と、ポインティングデバイス位置検知部３０４が検知したポインティングデバイスの位置から求めることができる。そして、サイズ設定部３０７は、上記距離に基づくサイズの付加画像を生成する。そのサイズは、距離が長いほど大きくなるように設定する。更にサイズ設定部３０７は、サイズが調整された付加画像を、該当するポインタ輝点２０３の位置もしくはその輝点付近に重畳して表示させるよう、画像出力部３０１による画像の表示を制御する。指示判定部３０８は、サイズ設定部３０７で生成され、画像出力部３０１を介して表示された付加画像に対する、操作者２００によるポインティングデバイス２０２を用いた指示の有無を判定する。この判定は、ポインタ輝点位置検知部３０３が、画面２０１上に表示された付加画像に対する、ポインタ輝点２０３の相対移動の様子を検知した結果に基づいて行われる。即ち、上記指示は、操作者２００がポインティングデバイス２０２を動かすこと、それに合わせてポインタ輝点２０３が移動することによって行われる。従って、指示判定部３０８は、ポインタ輝点位置検知部３０３から、ポインタ輝点２０３の位置を示す情報を定期的に受け取り、その位置の変化を認識する。また、指示判定部３０８は、サイズ設定部３０７あるいは画像出力部３０１から、どのような付加画像が表示されているのかを示す情報も定期的に受け取る。その上で、指示判定部３０８は、表示中の付加画像の位置と上記ポインタ輝点２０３の位置との相関関係をリアルタイムに検知する。そして、これらの相関関係が所定の条件を満たした場合には、操作者２００によって、所定の指示コマンドが入力されたものとして判断する。指示実行部３０９は、上記指示コマンドが入力されたことに応答して、その指示コマンドに相当する動作を実行する。

図４は、情報処理装置１００の動作手順を示すフローチャートである。まずステップＳ４０１では、画像入力部３０２ａおよび３０２ｂによって、カメラ１０６、１０７のそれぞれが撮影した画像を入力する。ステップＳ４０２では、ポインタ輝点位置検知部３０３によって、画像入力部３０２ａが入力した撮影画像に基づいて、ポインタ輝点の在るか否かを検知する。その結果、もしポインタ輝点を検知した場合には、ステップＳ４０３に進み、もしポインタ輝点を検知していない場合には、ステップＳ４０１に処理を戻す。なお、ポインタ輝点位置検知部３０３によるポインタ輝点の検知は、撮影画像中に特定の明度、色、形状が在ることを認識することによって行われる。たとえば、ポインティングデバイス２０２として、緑色の光線を用いて小さく丸い領域を照射するようなレーザポインタを想定する場合には、ポインタ輝点位置検知部３０３は、「所定の閾値以上の明度、緑色、丸い形状」の画像部分を検知すれば良い。ここでは、ポインタ輝点が２つ以上検知された場合も想定し、複数のポインタ輝点の候補があった場合には、それぞれをポインタ輝点として、後段の処理を行う。上記ステップＳ４０３では、上記ステップで検知されたポインタ輝点の位置（座標）を検知する。もし複数のポインタ輝点が在る場合には、それぞれの位置を検知し、その位置を示す情報を保持しておく。ステップＳ４０４では、ポインティングデバイス位置検知部３０４によって、カメラ１０７が撮影可能な空間に存在するポインティングデバイスの位置を検知する。これに続いて、ステップＳ４０５では、ポインティングデバイス角度検知部３０５によって、上記ポインティングデバイスが存在する角度を検知する。この角度は、ポインティングデバイスが何れの方角に向けて光線を照射しているかを知るために必要であるので、そのポインティングデバイスの光線が照射されるのが何れの方角であるかを検知する。ここでは、ポインティングデバイスが２つ以上検知された場合も想定し、それぞれのポインティングデバイスの位置と角度を示す情報は組にして保持することとする。ステップＳ４０６では、ポインタ識別部３０６によって、何れのポインタ輝点が何れのポインティングデバイスから照射された光線で形成されたものであるか、その対応関係を特定する。この特定は、ステップＳ４０２で検知されたポインタ輝点と、ステップＳ４０４、Ｓ４０５で検知されたポインティングデバイスの位置および角度に基づいて行われる。例えば、もし、ポインタ輝点が１つ検知され、ポインティングデバイスの位置と角度が１組検知された場合には、それらが対応付けされるであろう。一方、もし、ポインタ輝点が２つ検知され、ポインティングデバイスの位置と角度が２組検知された場合には、位置と角度の組を解析することで、それぞれのポインタ輝点に相応しいポインティングデバイスが対応付けられる。ステップＳ４０７では、サイズ設定部３０７によって、上記特定された対応関係に基づいて、それぞれのポインタ輝点からそれに対応するポインティングデバイスまでの距離を算出する。この距離の更なる具体例としては、ポインタ輝点の重心から、ポインティングデバイスの光線を発射する先端部までの距離などが相当する。更に、サイズ設定部３０７は、上記距離に応じて、それに対応するポインタ輝点、またはその輝点の周囲に表示するべき付加画像のサイズを設定する。なお、上記付加画像の例については後述する。ステップＳ４０８では、サイズ設定部３０７からの命令に基づいて、サイズが設定された付加画像を画像出力部３０１から表示させる。このステップＳ４０８では、何らかの付加画像を単純に表示する例に適用して構わない。その一方で、後述する図５のように、付加画像を表示するべき状態か否かの判定を更に行った後に、必要に応じて付加画像を表示するようにしても良い。

図５は、ステップＳ４０８の段階で、画像や文書などの何らかのオブジェクトを画面２０１上に表示している最中に、ポインティングデバイス（レーザポインタ）が光線を照射し、付加画像を表示させた場合の例を示す図である。この場合、ステップＳ４０２では、「ポインタ輝点があるか否か」だけでなく、「ポインタ輝点２０３が画像や文書などのオブジェクトを指し示している状態であるか」も判断する必要があるであろう。そして、ステップＳ４０２において、「ポインタ輝点が存在し、そのポインタ輝点２０３が画像や文書などのオブジェクトを指し示している状態である場合」に、ステップＳ４０３に進むようにすれば良い。この図５では、画像や文書などの何らかのオブジェクトを表示している際に、それをポインティングデバイスで指し示していることを条件に、付加画像を表示することになる。従って、もしオブジェクトが表示されていない画面２０１をポインティングデバイスで指し示したとしても、ステップＳ４０１とＳ４０２を繰り返すことになる。図５（ａ）と（ｃ）は、ポインタ輝点からそれに対応するポインティングデバイスまでの距離が近い場合の例を示している。図５（ｂ）と（ｄ）は、ポインタ輝点からそれに対応するポインティングデバイスまでの距離が遠い場合の例を示している。図５（ａ）と（ｂ）は、図２に示した室内上部から操作者２００や画面２０１などを撮影した際の様子を示している。また、図５（ｃ）と（ｄ）は、画面２０１に操作者が正対した状態において、操作者によって見える画面２０１の様子を示している。これら図における符号５０１は、ポインティングデバイスの光線を発射する先端部を示しており、符号５０２は、ポインタ輝点の位置を示している。図５（ｃ）と（ｄ）における画面２０１内には、例えば画像や文書などのオブジェクト５０３が予め表示されている。更に、本実施形態では、操作者２００がポインティングデバイスによって各種の操作ができるよう、ガイド表示としての付加画像５０４を表示する。本実施形態で適用される付加画像５０４（ガイド表示）は、図７（ａ）に示されるような画像で構成される。この付加画像５０４は、その中心から８方向に向かって放射線状に辺を備え、それら８辺の各先端部に丸い画像部を備えている。実際には、図５（ｃ）と（ｄ）に示すように、付加画像５０４がオブジェクト５０３に重なって表示される。ここで、図５（ｃ）と（ｄ）を見比べると判るように、「ポインタ輝点からそれに対応するポインティングデバイスまでの距離が近い場合」よりも、「ポインタ輝点からそれに対応するポインティングデバイスまでの距離が遠い場合」のほうが、各８辺の長さは長い。即ち、付加画像５０４の中央部から先端部である丸い画像部までの距離が長い。この理由の１つは、図５（ｂ）のような遠方の操作者２００から見ても、付加画像５０４を見え易くする為である。別の理由の１つは、遠方のポインティングデバイスが少し動いただけで付加画像５０４の中央部から端部まで移動してしまうことにより、操作者２００の意図に反した指示をしてしまう誤りを回避する為である。次に、図５（ｃ）と（ｄ）および図７（ｂ）を参照しながら、ポインタ輝点２０３を移動させることによる操作者の指示例を簡単に説明しておく。まず最初に、操作者２００によって、オブジェクト５０３にポインタ輝点２０３が照射されるようにポインティングデバイスが操作されているものとする。従って、画面２０１上には、この照射されたオブジェクト５０３を中心とした、図示するような付加画像５０４が操作ガイドとして表示されている。本実施形態では、操作者２００が、この状態から、ポインタ輝点２０３を８方向のいずれかに移動させることによって指示を行うものとする。具体的には、ポインタ輝点２０３が、図７（ｂ）に示す領域ＡからＨの何れかに入り、それに続けてオブジェクト５０３上に戻った場合に、所定の処理を行う指示が発生したものと判断する。例えば、ポインタ輝点２０３が一旦領域Ａに入り、それに続けてオブジェクト５０３上に戻った場合には、「オブジェクト５０３に対して処理Ａを行う」という指示が発生したものと判断する。また、ポインタ輝点２０３が一旦領域Ｂに入り、それに続けてオブジェクト５０３上に戻った場合には、「オブジェクト５０３に対して処理Ｂを行う」という指示が発生したものと判断する。他の領域Ｃ〜Ｈについても、ポインタ輝点２０３が入った領域に対応して、処理Ｃ〜Ｈの指示が発生したものとして判断する。なお、この処理Ａは例えば「オブジェクトの一時記憶（コピー）」であり、処理Ｂは「一時記憶しているオブジェクトの貼り付け」である。また、処理Ｃは「オブジェクトの削除」であり、処理Ｄは「オブジェクトの切り取り（表示中のオブジェクトの削除＆一時記憶）」である。

ステップＳ４０９では、指示判定部３０８によって、上記図５で説明したようなオブジェクト５０３に対する指示が発生したか否かを判断する。これは、ポインタ輝点２０３が領域Ａ〜Ｈの何れかに移動した後、オブジェクト５０３上に戻ったことを検知することによって実現される。ここで指示があった場合には、ステップＳ４１０に進む。ステップＳ４１０では、指示判定部３０８によって、図７（ｂ）に示した領域Ａ〜Ｈの何れにポインタ輝点２０３が入ったかに基づいて、その指示が処理ＡからＨの何れであるか決定する。ステップＳ４１１では、指示実行部３０９によって、上記決定が成された処理を、オブジェクト５０３に対する処理として実行する。

図６は、上述した「ポインタ輝点が２つ検知され、ポインティングデバイスの位置と角度が２組検知された場合」の付加画像５０４の表示例である。上述したように、それぞれのポインタ輝点６０３、６０４は、それぞれのポインティングデバイスの位置と角度の組を解析することで、それぞれのポインタ輝点が何れのポインティングデバイスから照射された光線に対応しているか判る。従って、図６のように、複数の操作者から照射される光線が画面２０１に到達する前に交差したとしても、情報処理装置１００は、それぞれの操作者に対応する輝点を特定できている。よって、上記図４の各ステップの動作手順に従えば、ポインタ輝点６０３、６０４に対して、それぞれ適切なサイズの付加画像（ここではそれぞれ６０５、６０６とする）を表示することができる。なお、上述した図４の説明では、説明を簡単にするため、ステップＳ４０９〜４１１の処理について、１つのポインタ輝点に対する説明をした。しかしながら、ポインタ輝点（付加画像）がＮ個表示されることになった場合には、ステップＳ４０９〜４１１はＮ個分が並列して実行される。

本実施形態によれば、それぞれの光線が画面上に照射された位置と、その位置に光線を照射したポインティングデバイスとの対応関係を正確に特定することができる。それによって、例えば、図６のように、複数の操作者から光線が途中で交差するように照射されたとしても、それぞれのポインタ輝点を誤判断なく対応付けることができる。従って、それぞれの操作者にガイド表示として示す付加画像のサイズも、それぞれに適切なものになる。

［変形例］
なお、上記実施形態では、ポインティングデバイス位置検知部３０４は、カメラ１０７によって撮影された画像からポインティングデバイスを検知したが、本発明はこれに限らない。例えば、赤外線を照射してこの反射光を検知するセンサを用い、このセンサが取得した距離情報に基づいてポインティングデバイスの形状や位置や角度などを取得しても良いであろう。

また、カメラ１０６と１０７は別体ではなく、画面２０１とポインティングデバイス２０２の両方を撮影範囲とする単一のカメラを適用しても構わない。

また、上記実施形態で説明した付加画像は一例であり、本発明は別の付加画像にも適用が可能である。例えば、８辺からなる付加画像ではなく、これと同様の考え方に基づいた４辺や１６辺の付加画像をガイド表示として利用しても構わない。更には、ポインタ輝点による指示のためのガイド表示ではなく、ポインタ輝点の周囲に表示するべき付加画像であれば適宜応用できる。

なお、上述した各実施形態は、以下の処理を実行することによっても実現される。即ち、上記実施形態の各工程や機能を実現するソフトウェア（コンピュータプログラム）を、ネットワークや記憶媒体を介してシステムに供給し、そのシステムのコンピュータ（またはＣＰＵ等）が上記プログラムを読み込んで実行する処理である。上記コンピュータプログラムや、それを記憶したコンピュータ可読記憶媒体も本発明の範疇に含まれる。

Claims (7)

1. 光線が照射された画面上の位置を検知する第１検知手段と、
   所定空間に存在するポインティングデバイスの位置および角度を検知する第２検知手段と、
   前記第２検知手段で検知された位置および角度に基づいて、前記第１検知手段で検知された位置に光線を照射したポインティングデバイスを特定する特定手段と
   を備えることを特徴とする情報処理装置。
2. 前記第１検知手段が、光線が照射された画面上の位置として複数の位置を検知し、前記第２検知手段が、所定空間に存在する複数のポインティングデバイスの位置および角度を検知した場合、
   前記特定手段は、前記第２検知手段で検知された複数の位置および角度からなる組に基づいて、それぞれの組が表す位置および角度に対応する、前記第１検知手段で検知された位置を特定することにより、前記第１検知手段で検知された複数の位置のそれぞれに光線を照射したポインティングデバイスを特定することを特徴とする請求項１に記載の情報処理装置。
3. 更に、前記第１検知手段が検知した画面上の位置に、付加画像を表示させる表示制御手段を備えることを特徴とする請求項１に記載の情報処理装置。
4. 更に、前記第１検知手段が検知した位置から、該位置に光線を照射したポインティングデバイスの位置までの距離に応じて、前記付加画像のサイズを設定するサイズ設定手段を備え、
   前記表示制御手段は、前記サイズ設定手段によりサイズが設定された付加画像を、前記画面上に表示させることを特徴とする請求項３に記載の情報処理装置。
5. コンピュータに読み込み込ませ実行させることで、前記コンピュータを請求項１乃至４のいずれか１項に記載の表示制御装置として機能させるコンピュータプログラム。
6. 請求項５に記載のコンピュータプログラムを記憶したことを特徴とするコンピュータ可読記憶媒体。
7. 第１検知手段、第２検知手段、特定手段を含む情報処理装置の制御方法であって、
   前記第１検知手段によって、光線が照射された画面上の位置を検知する第１検知工程と、
   前記第２検知手段によって、所定空間に存在するポインティングデバイスの位置および角度を検知する第２検知工程と、
   前記特定手段によって、前記第２検知工程で検知された位置および角度に基づいて、前記第１検知工程で検知された位置に光線を照射したポインティングデバイスを特定する特定工程
   とを備えることを特徴とする制御方法。

Images