JP2018159774A - 表示制御システム、表示制御方法、及び表示制御プログラム - Google Patents

Abstract

【課題】ポインタ装置と関連付けて表示装置の表示動作を制御する。
【解決手段】表示面に情報を表示する表示装置と、表示装置の表示を制御する制御装置と、光線を照射可能なポインタ装置からの光線を含む、表示装置の画像を取得する画像取得装置とを備える表示制御システムが提案される。制御装置は、画像取得装置から画像を取得する取得部と、画像に含まれる光線の特徴を識別する特徴識別部と、光線の特徴と光線の状態と似基づいて表示装置の表示動作を行う表示制御部とを備える。また、これに対応する表示制御方法及び表示制御プログラムが提案される。
【選択図】図４

Description

本発明は、表示装置の表示動作を制御する表示制御システム、表示制御方法、及び表示制御プログラムに関する。

プロジェクタなどの表示装置を用いたプレゼンテーションでは、表示面を指し示すポインタなどのポインティング装置が一般に用いられる。例えば、特許文献１には、プロジェクタを含む情報表示システムにおいて、複数のポインティング装置を用いて同じ表示面上を指し示す操作をする際、情報処理装置に各ポインティング装置を登録して認証することで、不正な操作を防止する技術が開示されている。

特開２００４−３４８５７７号公報

特許文献１に記載されるシステムでは、各ポインティング装置は、表示面上の任意の位置を指し示すために用いられるが、各ポインティング装置の操作に関連付けてこれ以外の操作、例えば表示面の操作などができれば便利である。

そこで、本発明は、ポインタ装置と関連付けて表示装置の表示動作を制御する表示制御システム、表示制御方法、及び表示制御プログラムを提供することを目的とする。

本発明の一実施形態の表示制御システムは、情報を表示する表示装置と、前記表示装置の表示を制御する制御装置と、光線を照射可能なポインタ装置からの光線を含む、前記表示装置の画像を取得する画像取得装置と、を備える。前記制御装置は、前記画像取得装置から前記画像を取得する取得部と、前記画像に含まれる前記光線の特徴を識別する特徴識別部と、前記光線の状態を特定する状態特定部と、前記光線の特徴と前記光線の状態とに基づいて前記表示装置の表示動作を行う表示制御部と、を備える。

また、本発明の他の実施形態の表示制御方法は、ポインタ装置から照射された光線を含む、表示装置の画像を取得することと、前記画像に含まれる前記光線の特徴を識別することと、前記光線の状態を特定することと、前記光線の特徴と前記光線の状態とに基づいて前記表示装置の表示動作を行うことと、を含む。

本発明のさらなる他の実施形態の表示制御プログラムは、ポインタ装置から照射された光線を含む、表示装置の画像を取得することと、前記画像に含まれる前記光線の特徴を識別することと、前記光線の状態を特定することと、前記光線の特徴と前記光線の状態とに基づいて前記表示装置の表示動作を行うことと、を制御装置に実行させる。

本発明によれば、ポインタ装置と関連付けて表示装置の表示動作を制御する表示制御システム、表示制御方法、及び表示制御プログラムを提供することができる。

図１は、本発明の一実施形態における制御装置を含む投影システム全体の一例を示す図である。 図２は、プロジェクタの一例を示すブロック図である。 図３は、ホイール同期信号の一例を示す図である。 図４は、本発明の一実施形態における制御装置を含む投影システム全体の一例を示すブロック図である。 図５は、本発明の一実施形態における制御装置の操作判定フローの一例を示す図である。 図６は、投影面画像情報、及びポインタの指示情報の一例を示す図である。 図７Ａは、プロジェクタが青色を投影している瞬間に撮影された投影面画像情報、及びポインタの指示情報の一例を示す図である。 図７Ｂは、プロジェクタが赤色を投影している瞬間に撮影された投影面画像情報、及びポインタの指示情報の一例を示す図である。 図７Ｃは、プロジェクタが緑色を投影している瞬間に撮影された投影面画像情報、及びポインタの指示情報の一例を示す図である。

以下、本発明の一実施形態について、図面を参照して説明する。
図１は、本実施形態における制御装置１００を含む投影システム（表示制御システム）１全体の一例を示す図である。制御装置１００は、コントロールボックス、パーソナルコンピュータ、タブレット端末、スマートフォンなどである。以下では、制御装置１００はコントロールボックスであるとして説明する。制御装置１００には、ホストＯＳ（Ｗｉｎｄｏｗｓ（登録商標）、Ａｎｄｒｏｉｄ（登録商標）、Ｌｉｎｕｘ（登録商標）等）が搭載されている。

制御装置１００は、ストレージ媒体２（ＵＳＢメモリ、ＳＤカード等）用のストレージ挿入口１０１を有している。ストレージ媒体２には、ＰＯＷＥＲＰＯＩＮＴ（登録商標）、ＰＤＦファイル、動画ファイルなどのプレゼンテーション資料（プレゼン資料）が格納されている。

投影システム１は、プロジェクタ１０と、表示面としての投影面を含むスクリーン３０とを含む。本実施形態では、プロジェクタ１０は、ＤＬＰ（登録商標）（Ｄｉｇｉｔａｌ Ｌｉｇｈｔ Ｐｒｏｃｅｓｓｉｎｇ）方式のプロジェクタである。プロジェクタ１０は、例えばＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ケーブル３で制御装置１００に有線接続されている。

ストレージ媒体２のプレゼン資料は、制御装置１００のホストＯＳ内の機能により再生されて、ＨＤＭＩケーブル３を経由してプロジェクタ１０にその画像信号や音声信号が出力される。プロジェクタ１０は、画像を表示する装置として、画像信号に応じた投影画像をスクリーン３０に随時投影する。つまり、制御装置１００が表示装置としてのプロジェクタ１０の表示動作を制御する。あるいは、プロジェクタ１０は、画像や音を提示する装置として、上述の投影に加えて、後述するスピーカ部１９から音声信号に応じた音を発することができ、制御装置１００が提示装置としてのプロジェクタ１０の提示動作を制御してもよい。

投影システム１は、１以上のポインタを含むポインタ装置を含む。本実施形態では、投影システム１のポインタ装置は、第１のポインタ４０と、第２のポインタ５０とを含む。第１のポインタ４０及び第２のポインタ５０は、汎用品であってよい。例えば、図１では、プレゼンテーションをする者（発表者）２００が第１のポインタ４０を有しており、また、プレゼンテーションを聞く者（聴講者）３００が第２のポインタ５０を有している。

第１のポインタ４０は、異なる２色の光を照射可能である。第１のポインタ４０には、各光の出力のオン／オフを切り替えるための２つのボタンスイッチ４１、４２が設けられている。例えば、発表者２００が第１のボタンスイッチ４１を押しているあいだ、赤色の光（赤色光線）が照射され、第２のボタンスイッチ４２を押しているあいだ、青色の光（青色光線）が照射される。照射された光線は、スクリーン３０上の投影画像に光点として重畳されて指示に用いられる。なお、第１のポインタ４０は、波長の異なる２種類の光を照射するものであってよい。

第２のポインタ５０は、第１のポインタ４０が照射する光とは異なる色の光を照射可能である。第２のポインタ５０には、光の出力のオン／オフを切り替えるためのボタンスイッチ５１が設けられている。例えば、聴講者３００がボタンスイッチ５１を押しているあいだ、緑色の光（緑色光線）が照射される。照射された光線は、スクリーン３０上の投影画像に光点として重畳されて指示に用いられる。なお、第２のポインタ５０もまた、第１のポインタ４０が照射する光とは波長の異なる光を照射するものであってよい。

第１のポインタ４０及び第２のポインタ５０では、それぞれ、発表者２００又は聴講者３００がボタンスイッチ４１、４２、５１を押す長さ、押し方等に応じて、各色の光を点灯させたり、点滅させたり、ダブル点滅させたりすることが可能である。あるいは、これ以外のボタンスイッチが設けられてその各々を押すことにより、光を点灯、点滅、又はダブル点滅可能な仕様であってもよい。点灯、点滅、ダブル点滅の定義は後述する。

投影システム１は、画像取得装置としてデジタルカメラ６０を含む。デジタルカメラ６０は、スクリーン３０に対してその投影面全体を撮影可能な画角で配置されている。デジタルカメラ６０は、例えばＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ケーブル４で制御装置１００に有線接続されている。

デジタルカメラ６０は、ＵＳＢケーブル４を介して制御装置１００から入力される制御信号により、スクリーン３０の投影面全体、すなわちプロジェクタ１０からの投影画像全体を撮影する。撮影により得られた画像データ（画像信号）は、ＵＳＢケーブル４を介して制御装置１００に送出される。

図２は、ＤＬＰ方式のプロジェクタ１０の一例を示すブロック図である。プロジェクタ１０は、入出力部１１と、投影処理部１２とを有している。入出力部１１は、制御装置１００と接続するためのＨＤＭＩ端子、デジタルカメラ６０と接続するためのＵＳＢ端子などにより構成されている。制御装置１００から入出力部１１を介して入力された画像データは、必要に応じてデジタル化された後に、バス２０を介して投影処理部１２に送出される。投影処理部１２は、入力された画像データを投影に適したフォーマットの画像データに統一し、所定のフレームレート、例えば６０ｆｐｓと色成分の分割数、及び表示階調数を乗算した時分割駆動により、後述するマイクロミラー素子２４を駆動させる。

プロジェクタ１０は、光路においてこの順に、光源２１と、カラーホイール２２と、成形レンズ２３と、マイクロミラー素子２４と、投影レンズ２５とを有している。光源２１は、白色光を照射する光源である。カラーホイール２２は、高速で回転するカラーフィルター円板であり、例えば、１２０度ずつ、青色（Ｂ）、赤色（Ｒ）、緑色（Ｇ）の３つのフィールドに分割されている。マイクロミラー素子２４は、例えば数十万〜数百万のマイクロミラーを２次元配列した表示素子である。各マイクロミラーの鏡面は、鏡面下部に設けられた電極を駆動させることにより、対角線を軸にして傾斜可能である。マイクロミラー素子２４は、例えばＷＸＧＡ（Ｗｉｄｅ ｅＸｔｅｎｄｅｄ Ｇｒａｐｈｉｃ Ａｒｒａｙ）（横１２８０画素×縦８００画素）分のマイクロミラーの各傾斜角度を個々に高速でオン／オフ動作することで、その反射光により像を形成する。

プロジェクタ１０の駆動時には、光源２１が照射した白色光を高速回転しているカラーホイール２２の各色のフィールドに時分割で当てて、成形レンズ２３で成形した光をマイクロミラー素子２４に当てる。例えば、赤色を投影する場合にはカラーホイール２２の赤色のフィールドに光が当たっている瞬間のみ所望のマイクロミラーをオンにし、白色を投影する場合には常に所望のマイクロミラーをオンにする。マイクロミラー素子２４を出た光は、投影レンズ２５から外部に投影される。このように、各色が色時分割で、すなわち、肉眼での残像現象が利用できる時間周期で切り替えられて投影されることにより、ＲＧＢが合成されたカラー画像がスクリーン３０上に投影される。

なお、上述のカラーホイール２２の構成は一例であり、その構成は上述の色の種類、色の数、色の配置に限定されない。また、プロジェクタ１０は、光源２１及びカラーホイール２２に代わって、半導体レーザ光源とＬＥＤ光源とを組み合わせたハイブリッド光源を用いて時分割でカラー画像を合成するものであってよい。

プロジェクタ１０は、同期信号出力部１３を有している。同期信号出力部１３は、カラーホイール２２の各色のフィールドに光が当たっているタイミングに同期したホイール同期信号を、ここでは、青色同期信号（Ｂ信号）、赤色同期信号（Ｒ信号）、緑色同期信号（Ｇ信号）を、例えば入出力部１１のＨＤＭＩ端子からＨＤＭＩケーブル３を介して制御装置１００に出力する。ホイール同期信号の一例が図３に示される。図３に示されるように、例えば１／６０秒に相当する１カラー画像フレームは、青色フィールド、赤色フィールド及び緑色フィールドから構成される。

プロジェクタ１０に含まれる上述の構成の各回路の動作をＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）１４が制御する。ＣＰＵ１４は、メインメモリ１５及びプログラムメモリ１６と直接接続される。メインメモリ１５は、例えばＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）で構成され、ＣＰＵ１４のワークメモリとして機能する。プログラムメモリ１６は、電気的に書換可能な不揮発性メモリで構成され、ＣＰＵ１４が実行する動作プログラムや各種定型データ等を記憶する。ＣＰＵ１４は、メインメモリ１５及びプログラムメモリ１６を用いて、プロジェクタ１０の動作制御を実行する。

プロジェクタ１０は、操作部１７を有している。操作部１７は、プロジェクタ１０の本体に設けられるキー操作部と、プロジェクタ１０の図示しないリモートコントローラからの赤外光を受信する赤外線受光部とを含む。キー操作部又はリモートコントローラで操作した操作信号は、ＣＰＵ１４へ直接出力される。ＣＰＵ１４は、操作部１７からの操作信号に応じて各種投影動作を実行する。

プロジェクタ１０は、音声処理部１８と、スピーカ部１９とを有している。音声処理部１８は、バス２０を介してＣＰＵ１４と接続されている。音声処理部１８は、ＰＣＭ音源等の音源回路を備え、投影動作時に与えられる音声データをアナログ化し、スピーカ部１９を駆動して拡声放音させ、あるいは必要に応じてビープ音等を発生させる。

図４は、制御装置１００を含む投影システム１全体の一例を示すブロック図である。制御装置１００は、ポインタ識別部１１０と、操作判定部１２０と、ＣＰＵ１３０とを有している。ここでは、ポインタ識別部１１０及び操作判定部１２０の各回路は、ＦＰＧＡ（Ｆｉｅｌｄ−Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ Ｓｐｅｃｉｆｉｃ Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ）などのハードウェア回路を想定しているが、ＣＰＵにより構成されることも可能である。

ポインタ識別部１１０は、プロジェクタ１０の同期信号出力部１３からホイール同期信号を受信する。また、ポインタ識別部１１０は、画像を取得する取得部として、デジタルカメラ６０が撮影したスクリーン３０の画像信号を受信する。そして、ポインタ識別部１１０は、特徴識別部及び状態特定部として、ホイール同期信号と画像信号とに基づいて、撮影画像中の第１のポインタ４０及び第２のポインタ５０の光線の光点の有無、色（赤色、青色又は緑色）、光点表示状態（点灯、点滅又はダブル点滅）、位置座標（Ｘ，Ｙ）に関する情報を特定する。

操作判定部１２０は、ポインタ識別部１１０で認識した第１のポインタ４０及び第２のポインタ５０の各種情報に基づいて、プロジェクタ１０を制御するためにＣＰＵ１３０が出力する制御信号を決定する。

ＣＰＵ１３０は、表示制御部として、操作判定部１２０による判定情報に基づいて、プロジェクタ１０から投影されるプレゼン資料の表示動作を制御するための制御信号を出力する。あるいは、提示動作制御部として、操作判定部１２０による判定に基づいて、上述の表示動作の制御に加えて、スピーカ部１９から発する音の音量など、提示動作を制御するための制御信号を出力してもよい。また、ＣＰＵ１３０は、撮影制御部として、デジタルカメラ６０に撮影指示を送出する。

ＣＰＵ１３０は、メインメモリ１３１及びプログラムメモリ１３２と直接接続される。メインメモリ１３１は、例えばＳＲＡＭで構成され、ＣＰＵ１３０のワークメモリとして機能する。プログラムメモリ１３２は、電気的に書換可能な不揮発性メモリで構成され、ＣＰＵ１３０が実行する上述の動作等のプログラムや各種定型データ等を記憶する。ＣＰＵ１３０は、メインメモリ１３１及びプログラムメモリ１３２を用いて、プロジェクタ１０の動作を制御するための各種指令をプロジェクタ１０に送出する。

図５は、本実施形態の制御装置１００における操作判定フローの一例を示す図である。以下の説明では、プロジェクタ１０のカラーホイール２２の回転周期を６０ヘルツとし、カラーホイール２２が回転したときに青色、赤色、緑色の各フィールドにこの順に光源２１から光が照射されるとする。

ポインタ識別部１１０における第１のポインタ４０及び第２のポインタ５０の光点表示状態（点灯、点滅、ダブル点滅）の認定条件は、ポインタの仕様に合わせて予め設定しておくことが可能とする。例えば、以下の通り設定する。
点灯・・・光が１秒以上連続して点いている（１秒以上連続オン）状態
点滅・・・上記点灯状態後、光が０．５秒連続して点いていない（０．５秒オフ）後、再び点灯状態
ダブル点滅・・・上記点灯状態後、光線が０．５秒連続して点いていない（０．５秒オフ）後、０．５秒連続して点いている（０．５秒連続オン）後、０．５秒連続して点いていない（０．５秒オフ）後、再び点灯状態。

プロジェクタ１０から投影される光、第１のポインタ４０及び第２のポインタ５０から照射される光以外の外光の影響はないものとする。

ステップＳ１０１において、制御装置１００のＣＰＵ１３０が、デジタルカメラ６０に撮影指示をする。撮影指示は、例えば、プロジェクタ１０によるプレゼン資料の投影開始と同時にデジタルカメラ６０に送出される。

デジタルカメラ６０は、撮影指示により、プレゼン資料を投影中のスクリーン３０の画像を撮影する。デジタルカメラ６０は、例えばプロジェクタ１０のフレームレートに対応させて毎秒１８０枚のスルー画像を撮影する。このとき、発表者２００が第１のポインタ４０で、聴講者３００が第２のポインタ５０で、あるいはその両方で投影面を指し示していれば、撮影画像にはプロジェクタ１０による投影画像に加えて第１のポインタ４０、第２のポインタ５０の光線に由来する赤色、青色又は緑色光点が含まれている。

ステップＳ１０２において、ポインタ識別部１１０は、デジタルカメラ６０から撮影画像を取得する。デジタルカメラ６０からの画像信号が、ポインタ識別部１１０に送出される。

ステップＳ１０３において、ポインタ識別部１１０は、プロジェクタ１０の同期信号出力部１３からホイール同期信号（図３）を取得する。ポインタ識別部１１０は、ホイール同期信号から、プロジェクタ１０からスクリーン３０にどの色の画素が投影されているかを取得する。

ステップＳ１０４において、ポインタ識別部１１０は、ステップＳ１０２で取得した画像信号とステップＳ１０３で取得したホイール同期信号とに基づいて、投影面の任意の位置を指示している第１のポインタ４０、第２のポインタ５０の光線の光点の有無、特徴（例えば色）、光点表示状態、位置座標（Ｘ，Ｙ）に関する情報を取得する。

図６は、投影面画像情報、及びポインタの指示情報の一例を示す図である。図６には、本実施形態における概念を説明するために、第１のポインタ４０からの青色光点４０Ｂ、赤色光点４０Ｒ、及び第２のポインタ５０からの緑色光点５０Ｇの３つの光点が示されている。また、投影面画像情報として、青色画像１０Ｂ、赤色画像１０Ｒ、及び緑色画像１０Ｇが示されている。図６示される投影面画像情報は、発表者２００あるいは聴講者３００が肉眼で捉えたものの一例である。

図７Ａ乃至図７Ｃは、それぞれ、プロジェクタ１０が青色、赤色、緑色を投影している瞬間にデジタルカメラ６０によって撮影された投影面画像情報、及びポインタの指示情報の一例を示す図である。プロジェクタ１０の同期信号出力部１３が出力するホイール同期信号（図３）から、毎秒１８０枚のスルー画像のうち、（３ｎ−２）枚目はＢ信号のみが出力されているときの画像（図７Ａ）、（３ｎ−１）枚目はＲ信号のみが出力されているときの画像（図７Ｂ）、３ｎ枚目はＧ信号のみが出力されているときの画像（図７Ｃ）である。ここでｎは１から６０までの自然数である。

図７Ａに関して、Ｂ信号出力中の撮影画像に含まれる画素のうち、青色（Ｂ）はプロジェクタ１０からの投影画素である青色画像１０Ｂ又は第１のポインタ４０からの青色光点４０Ｂに由来するものであるが、これらに赤色（Ｒ）、緑色（Ｇ）が含まれていれば、それはプロジェクタ１０からの投影画素に由来するものではなく、第１のポインタ４０からの赤色光点４０Ｒ、第２のポインタ５０からの緑色光点５０Ｇに由来するものである。

同様に、図７Ｂに関して、Ｒ信号出力中の撮影画像に含まれる画素のうち、赤色（Ｒ）はプロジェクタ１０からの投影画素である赤色画像１０Ｒ又は第１のポインタ４０からの赤色光点４０Ｒに由来するものであるが、これらに青色（Ｂ）、緑色（Ｇ）が含まれていれば、それはプロジェクタ１０からの投影画素に由来するものではなく、第１のポインタ４０からの青色光点４０Ｂ、第２のポインタ５０からの緑色光点５０Ｇに由来するものである。

同様に、図７Ｃに関して、Ｇ信号出力中の撮影画像に含まれる画素のうち、緑色（Ｇ）はプロジェクタ１０からの投影画素である緑色画像１０Ｇ又は第２のポインタ５０からの緑色光点５０Ｇに由来するものであるが、これらに青色（Ｂ）、赤色（Ｒ）が含まれていれば、それはプロジェクタ１０からの投影画素に由来するものではなく、第１のポインタ４０からの青色光点４０Ｂ、赤色光点４０Ｒに由来するものである。

上述の概念に基づいて、ポインタ識別部１１０は、デジタルカメラ６０からの画像信号とプロジェクタ１０の同期信号出力部１３からのホイール同期信号とから、投影面の任意の位置を指し示している第１のポインタ４０、第２のポインタ５０の光線の光点の有無、色、光点表示状態、位置座標（Ｘ，Ｙ）に関する情報などを取得する。すなわち、ポインタ識別部１１０は、ポインタ４０、５０からの光線の光点４０Ｂ、４０Ｒ、５０Ｇを含む投影面画像を取得して、その画像中に含まれる光点４０Ｂ、４０Ｒ、５０Ｇの特徴や状態を特定する。

例えば、撮影画像における光点４０Ｂ、４０Ｒ、５０Ｇの有無や色は、上述のようにしてポインタ識別部１１０で識別可能である。光点表示状態は、数秒のスルー画像から、上述の点灯、点滅、又はダブル点滅の設定に基づいてポインタ識別部１１０で識別可能である。位置座標は、撮影画像においてホイール同期信号（例えばＲ信号）の対応する色とは異なる色（例えば青色又は緑色）を抽出してその位置座標を特定することによりポインタ識別部１１０で識別可能である。

ステップＳ１０５以下では、ステップＳ１０４でポインタ識別部１１０が認識した特徴や状態などのポインタ情報に基づいて操作判定部１２０が各種判定を行い、その判定結果に基づいてＣＰＵ１３０がプロジェクタ１０に制御信号を出力する。つまり、ＣＰＵ１３０が、表示制御部として、光点の特徴や状態に対応させてプロジェクタ１０の表示動作を制御する。

ステップＳ１０５において、操作判定部１２０は、ポインタ識別部１１０が赤色光点４０Ｒを認識したかどうかを判定する。操作判定部１２０がポインタ識別部１１０が赤色光点４０Ｒを認識したと判定した場合には（Ｙｅｓ）、処理はステップＳ１０６に進む。

ステップＳ１０６において、操作判定部１２０は、その赤色光点４０Ｒが点灯していたかどうかを判定する。操作判定部１２０が赤色光点４０Ｒが点灯していたと判定した場合には（Ｙｅｓ）、処理はステップＳ１０２に戻る。一方、操作判定部１２０が赤色光点４０Ｒが点灯していなかったと判定した場合には（Ｎｏ）、処理はステップＳ１０７に進む。

ステップＳ１０７において、操作判定部１２０は、その赤色光点４０Ｒが点滅していたかどうかを判定する。操作判定部１２０が赤色光点４０Ｒが点滅していたと判定した場合には（Ｙｅｓ）、処理はステップＳ１０８に進む。

ステップＳ１０８において、ＣＰＵ１３０は、第１のイベントを発行する。これにより、例えば、第１のイベントとして、プレゼン資料の頁送りをするための制御信号がプロジェクタ１０に出力される。このように、例えば、ＣＰＵ１３０が第１のイベントとしてマウスの左クリックに相当するイベントを発行することによって、投影画像においてマウスの左クリック時の動きと同じ動きがマウスレスで実行される。第１のイベントは適宜設定可能である。

ステップＳ１０７において、操作判定部１２０が赤色光点４０Ｒが点滅していなかったと判定した場合には（Ｎｏ）、処理はステップＳ１０９に進む。すなわち、赤色光点４０Ｒが存在し（ステップＳ１０５−Ｙｅｓ）、かつ、赤色光点４０Ｒが点灯も点滅もしていなかった場合には（ステップＳ１０６−Ｎｏ、ステップＳ１０７−Ｎｏ）、操作判定部１２０は赤色光点４０Ｒがダブル点滅していると判定して、処理はステップＳ１０９に進む。

ステップＳ１０９において、ＣＰＵ１３０は、第２のイベントを発行する。これにより、例えば、第２のイベントとして、第１のポインタ４０で指し示している赤色光点４０Ｒの位置座標を中心として投影画像の表示を例えば３０％拡大させるための制御信号がプロジェクタ１０に出力される。このように、例えば、ＣＰＵ１３０が第２のイベントとしてマウスの左ダブルクリックに相当するイベントを発行することによって、投影画像においてマウスの左ダブルクリック時の動きと同じ動きがマウスレスで実行される。第２のイベントもまた適宜設定可能である。

一方、ステップＳ１０５において、操作判定部１２０がポインタ識別部１１０が赤色光点４０Ｒを認識しなかったと判定した場合には（Ｎｏ）、処理はステップＳ１１０に進む。

ステップＳ１１０において、操作判定部１２０は、ポインタ識別部１１０が青色光点４０Ｂを認識したかどうかを判定する。操作判定部１２０がポインタ識別部１１０が青色光点４０Ｂを認識したと判定した場合には（Ｙｅｓ）、処理はステップＳ１１１に進む。

ステップＳ１１１において、操作判定部１２０は、その青色光点４０Ｂが点灯していたかどうかを判定する。操作判定部１２０が青色光点４０Ｂが点灯していたと判定した場合には（Ｙｅｓ）、処理はステップＳ１０２に戻る。一方、操作判定部１２０が青色光点４０Ｂが点灯していなかったと判定した場合には（Ｎｏ）、処理はステップＳ１１２に進む。

ステップＳ１１２において、操作判定部１２０は、その青色光点４０Ｂが点滅していたかどうかを判定する。操作判定部１２０が青色光点４０Ｂが点滅していたと判定した場合には（Ｙｅｓ）、処理はステップＳ１１３に進む。ステップＳ１１３において、ＣＰＵ１３０は、第３のイベントを発行する。第３のイベントもまた、例えばプレゼン資料の頁戻しをするための制御信号をプロジェクタ１０に出力するなど、プロジェクタ１０の表示動作の制御に関して適宜設定可能である。

ステップＳ１１２において、操作判定部１２０が青色光点４０Ｂが点滅していなかったと判定した場合には（Ｎｏ）、処理はステップＳ１１４に進む。すなわち、赤色光点４０Ｒが存在せず（ステップＳ１０５−Ｎｏ）、かつ、青色光点４０Ｂが存在し（ステップＳ１１０−Ｙｅｓ）、かつ、青色光点４０Ｂが点灯も点滅もしていなかった場合には（ステップＳ１１１−Ｎｏ、ステップＳ１１２−Ｎｏ）、操作判定部１２０は、青色光点４０Ｂがダブル点滅していると判定して、処理はステップＳ１１４に進む。ステップＳ１１４において、ＣＰＵ１３０は、第４のイベントを発行する。第４のイベントもまた、例えば拡大表示を元に戻すための制御信号をプロジェクタ１０に出力するなど、プロジェクタ１０の表示動作の制御に関して適宜設定可能である。

一方、ステップＳ１１０において、操作判定部１２０がポインタ識別部１１０が青色光点４０Ｂを認識しなかったと判定した場合には（Ｎｏ）、処理はステップＳ１１５に進む。

ステップＳ１１５において、操作判定部１２０は、ポインタ識別部１１０が緑色光点５０Ｇを認識したかどうかを判定する。操作判定部１２０がポインタ識別部１１０が緑色光点５０Ｇを認識したと判定した場合には（Ｙｅｓ）、処理はステップＳ１１６に進む。

一方、ステップＳ１１５において、操作判定部１２０がポインタ識別部１１０が緑色光点５０Ｇを認識しなかったと判定した場合には（Ｎｏ）、処理はステップＳ１０２に戻る。すなわち、撮影画像中に光点が全く存在しない場合には、ＣＰＵ１３０がプロジェクタ１０を制御するための制御信号を出力することなく、ポインタ識別部１１０が再度カメラ画像取得（ステップＳ１０２）及びホイール同期信号取得（ステップＳ１０３）をする。

ステップＳ１１６において、操作判定部１２０は、その緑色光点５０Ｇが点灯していたかどうかを判定する。操作判定部１２０が緑色光点５０Ｇが点灯していたと判定した場合には（Ｙｅｓ）、処理はステップＳ１０２に戻る。一方、操作判定部１２０が緑色光点５０Ｇが点灯していなかったと判定した場合には（Ｎｏ）、処理はステップＳ１１７に進む。

ステップＳ１１７において、操作判定部１２０は、その緑色光点５０Ｇが点滅していたかどうかを判定する。操作判定部１２０が緑色光点５０Ｇが点滅していたと判定した場合には（Ｙｅｓ）、処理はステップＳ１１８に進む。

ステップＳ１１８において、ＣＰＵ１３０は、第５のイベントを発行する。これにより、例えば、第５のイベントとして、第２のポインタ５０で指し示している緑色光点５０Ｇの位置座標を中心として投影画像の表示を例えば３０％拡大させるための制御信号がプロジェクタ１０に出力される。あるいは、ＣＰＵ１３０は、第５のイベントとして、プロジェクタ１０のスピーカ部１９から発せられる音量を大きくする、あるいは小さくするための制御信号を出力してもよい。

一方、ステップＳ１１７において、操作判定部１２０が緑色光点５０Ｇが点滅していなかったと判定した場合には（Ｎｏ）、処理はステップＳ１１９に進む。すなわち、赤色光点４０Ｒも青色光点４０Ｂも存在せず（ステップＳ１０５−Ｎｏ、ステップＳ１１０−Ｎｏ）、かつ、緑色光点５０Ｇが存在し（ステップＳ１１５−Ｙｅｓ）、かつ、緑色光点５０Ｇが点灯も点滅もしていなかった場合には（ステップＳ１１６−Ｎｏ、ステップＳ１１７−Ｎｏ）、操作判定部１２０は、緑色光点５０Ｇがダブル点滅していると判定して、処理はステップＳ１１９に進む。

ステップＳ１１９において、ＣＰＵ１３０は、第６のイベントを発行する。これにより、例えば、第６のイベントとして、投影画像の拡大表示や音量を元に戻したりさらに小さくしたりするための制御信号がプロジェクタ１０に出力される。

このように、ＣＰＵ１３０は、表示制御部及び出力制御部として、操作判定部１２０の判定結果に基づいてプロジェクタ１０の表示を制御するための制御信号をプロジェクタ１０に出力する。

ステップＳ１０８、Ｓ１０９、Ｓ１１３、Ｓ１１４、Ｓ１１８、Ｓ１１９の後、処理はステップＳ１０２に戻る。したがって、プロジェクタ１０の駆動中、上述の操作判定フローＳ１０２以降が繰り返されることとなる。

なお、上述した第１〜第６のイベントは例示にすぎず、各イベントを適宜入れ替えたりこれ以外の表示動作を設定したりすることが可能である。

以上説明したように、本実施形態によれば、表示面に情報を表示する表示装置としてのプロジェクタ１０と、プロジェクタ１０の表示を制御する制御装置１００と、光線を照射可能なポインタ装置（第１のポインタ４０、第２のポインタ５０）からの光線を含む、表示面の画像を取得する画像取得装置としてのデジタルカメラ６０と、を備える表示制御システムとしての投影システム１が提供される。制御装置１００は、デジタルカメラ６０から画像を取得部で取得して、その画像に含まれる光線の特徴を特徴識別部で識別し、光線の状態を状態特定部で特定し、光線の特徴と状態とに基づいてプロジェクタ１０の表示動作を表示制御部で制御する。

本実施形態では、プロジェクタ１０で投影しているスクリーン３０に対して発表者あるいは聴講者が必要に応じて第１のポインタ４０、第２のポインタ５０で光を当てて、デジタルカメラ６０がそれを含む投影面を撮影する。そして、ポインタ識別部１１０が、プロジェクタ１０が色時分割方式であることを利用して各色を識別することにより、撮影画像に含まれる光点を、プロジェクタ１０から投影された光ではないと識別する。すなわち、ポインタ識別部１１０は、同じ赤色であっても、プロジェクタ１０から投影されている赤色と第１のポインタ４０から照射された赤色とを識別可能である。青色、緑色に関しても同様に識別可能である。

本実施形態によれば、発表者は、自己の有する第１のポインタ４０で投影面上に光線を照射しながらプレゼン操作（頁送り／頁戻し、拡大／縮小、音量調整など）をすることが可能になる。したがって、発表者がプレゼン資料の操作のためにパソコン等の制御装置１００まで出向くことなく、スクリーン３０の傍にいながらにしてスマートにプレゼン操作を行うことができる。すなわち、発表者は、第１のポインタ４０の特徴や状態と関連付けて制御装置１００によるプロジェクタ１０の表示動作を制御させることが可能となる。これにより、プレゼンの途中でプレゼン操作のための中断を余儀なくされることがなくなる。

本実施形態では、制御装置１００は、従前制御装置１００に接続されたマウスが担っていた機能をポインタの特徴、状態等の判定に基づいて自装置で行うことができる。このため、汎用品のポインタを用いてマウスレスで表示動作制御が可能となる。

また、本実施形態では、発表者の有する第１のポインタ４０が異なる２色の光線を発光可能であり、その発光色によって操作可能な権限に差異を持たせている。すなわち、ポインタ識別部１１０が撮影画像に含まれる赤色光点と青色光点とを識別して、各々に応じてプロジェクタ１０の表示を制御するための制御信号をプロジェクタ１０に出力する。したがって、第１のポインタ４０と連動させて制御装置１００によるプロジェクタ１０の表示に関する多様な制御が可能となる。

本実施形態では、聴講者が第２のポインタ５０を有している。聴講者は、プレゼンにおいて興味のある内容に自己の有する第２のポインタ５０の光線を当てることにより、そこを拡大して確認することが可能である。すなわち、聴講者においても、第２のポインタ５０の特徴や状態と関連付けて制御装置１００によるプロジェクタ１０の表示動作を制御させることが可能となる。

また、発表者の持つ第１のポインタ４０と聴講者の持つ第２のポインタ５０との両方の特徴がポインタ識別部１１０で認識された場合に、ＣＰＵ１３０が、ポインタ４０、５０から照射される光線の光点の各々の特徴に対して権限に差異を持たせ、さらに、対応する特徴を有するポインタに対してその権限の優先順位を決定することにより、より適切なプレゼン操作を行うことが可能となる。

例えば、発表者が第１のポインタ４０を駆動させているときに聴講者が第２のポインタ５０を駆動させても、それによりプレゼン資料が操作されることはない。したがって、発表者の意思に反してプレゼン資料が操作されることはない。また、第２のポインタ５０には、例えば、頁送りなどの機能は割り当てず、拡大／縮小機能のみを割り当てれば、発表者の意思に反してプレゼン資料が頁送り／頁戻しされることもない。

以上の説明では、第１のポインタ４０が赤色光線及び青色光線を、第２のポインタ５０が緑色光線を発光可能であるとしたが、各ポインタが発光する光の色はこれに限定されない。デジタルカメラ６０でスクリーン３０を撮影した画像に含まれる各光点がポインタ識別部１１０で識別可能であればよい。例えば、第１のポインタ４０と第２のポインタ５０とが両方とも赤色の光線を発光するものであっても、それらが波長の異なる赤色の光線であって撮影画像から識別可能であれば、本発明の概念が適用可能である。

すなわち、第１のポインタ４０と第２のポインタ５０とが同じ赤色の光を照射するものであってもそれらを識別することができれば、識別した特徴等に応じてクリック操作、拡大・縮小操作などの操作を各ポインタに割り当てることが可能である。複数のポインタが照射する光線の色が同じ場合、例えば、撮影画像の領域に応じてポインタ識別部１１０における識別処理を変えることが考えられる。例えば、撮影画像の右半分領域と左半分領域とで識別処理を変えることにより、２つのポインタに由来する赤色を識別可能である。あるいは、各ポインタの光点が投影面上において指し示す形や大きさが異なっていたり、肉眼では認識できない程度の点滅が入っていたりしても、これらを識別可能である。また、形や大きさなどに特徴があれば、色時分割方式でなくても、例えばパターンマッチング等でこれらを識別可能である。

また、ポインタ装置として、発表者が異なる２色の光線を照射可能な第１のポインタ４０を、聴講者がそれらとは異なる色の１色の光線を照射可能な第２のポインタ５０をそれぞれ有するとして説明したが、光の色の数及びポインタの本数はこれに限定されない。例えば、聴講者がポインタを持たず、発表者のみが複数色あるいは複数の波長の光を照射可能なポインタを持ち、このポインタの特徴や状態に基づいて制御装置１００がプロジェクタ１０に対する表示の制御などの操作を行うものであっても、本発明の概念が適用可能である。

また、制御装置１００がタブレット端末あるいはスマートフォンであり、その端末等からの情報をプロジェクタ１０が投影している場合、上述のマウス操作（クリック等）に対応するのはスライドやフリックなどである。

また、表示装置としてのプロジェクタ１０がＤＬＰ方式のプロジェクタであり、ポインタ識別部１１０がスクリーン上の投影面における各光線の波長又は色を取得するとして説明したが、デジタルカメラ６０によって撮影されたスクリーン上の表示面から各光線の波長又は色を取得可能であれば、ＤＬＰ方式のプロジェクタ以外のプロジェクタからの投影面、あるいは液晶ディスプレイ等の表示装置における表示面（投影面以外の表示面）にも本発明の概念が適用可能である。

本発明は、上記実施形態に限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で種々に変形することが可能である。また、各実施形態は適宜組み合わせて実施してもよく、その場合組み合わせた効果が得られる。更に、上記実施形態には種々の発明が含まれており、開示される複数の構成要件から選択された組み合わせにより種々の発明が抽出され得る。例えば、実施形態に示される全構成要件からいくつかの構成要件が削除されても、課題が解決でき、効果が得られる場合には、この構成要件が削除された構成が発明として抽出され得る。

以下に、本出願の出願当初の特許請求の範囲に記載された発明を付記する。
［１］情報を表示する表示装置と、前記表示装置の表示を制御する制御装置と、光線を照射可能なポインタ装置からの光線を含む、前記表示装置の画像を取得する画像取得装置と、を備え、前記制御装置は、前記画像取得装置から前記画像を取得する取得部と、前記画像に含まれる前記光線の特徴を識別する特徴識別部と、前記光線の状態を特定する状態特定部と、前記光線の特徴と前記光線の状態とに基づいて前記表示装置の表示動作を行う表示制御部と、を備える、表示制御システム。
［２］前記表示制御部は、前記光線の状態に基づいて対応する前記表示装置の表示動作を取得し、該表示動作と前記光線の特徴とに基づいて前記表示装置の表示動作を行うか否かを判断する、［１］に記載の表示制御システム。
［３］前記特徴は、前記光線の波長又は色である、［１］又は［２］に記載の表示制御システム。
［４］前記ポインタ装置は、複数のポインタを含み、前記特徴識別部は、前記複数のポインタからの光線の各々の前記特徴に基づいて対応するポインタを識別する、［１］から［３］の何れか一に記載の表示制御システム。
［５］前記特徴識別部は、前記特徴の各々に基づいて前記対応するポインタの権限を決定し、前記表示制御部は、前記権限に基づいて前記対応するポインタに前記表示動作を割り当てる、［４］に記載の表示制御システム。
［６］前記特徴識別部は、前記複数のポインタに対して前記権限の優先順位を決定し、前記表示制御部は、前記権限が上位の前記ポインタに基づいた前記表示動作を優先して行わせる、［５］に記載の表示制御システム。
［７］前記状態特定部は、前記光線によって表示される光点の表示状態を特定する、［１］から［６］の何れか一に記載の表示制御システム。
［８］前記表示動作は、前記表示装置の表示変更動作である、［１］から［７］の何れか一に記載の表示制御システム。
［９］前記表示装置は、ＤＬＰ方式の投影装置であり、前記画像取得装置は、前記ポインタ装置で前記表示装置の表示に前記光線を照射しているときに前記画像を取得し、前記特徴識別部及び前記状態特定部は、前記画像中に含まれる前記光線の特徴及び状態を色時分割で識別することにより特定する、［１］から［８］の何れか一に記載の表示制御システム。
［１０］ポインタ装置から照射された光線を含む、表示装置の画像を取得することと、前記画像に含まれる前記光線の特徴を識別することと、前記光線の状態を特定することと、前記光線の特徴と前記光線の状態とに基づいて前記表示装置の表示動作を行うことと、を含む、表示制御方法。
［１１］ポインタ装置から照射された光線を含む、表示装置の画像を取得することと、前記画像に含まれる前記光線の特徴を識別することと、前記光線の状態を特定することと、前記光線の特徴と前記光線の状態とに基づいて前記表示装置の表示動作を行うことと、を制御装置に実行させる、表示制御プログラム。

１…投影システム、１０…プロジェクタ、１０Ｂ…青色画像、１０Ｇ…緑色画像、１０Ｒ…赤色画像、１１…入出力部、１２…投影処理部、１３…同期信号出力部、１４…ＣＰＵ、２０…バス、２１…光源、２２…カラーホイール、２３…成形レンズ、２４…マイクロミラー素子、２５…投影レンズ、３０…スクリーン、４０…第１のポインタ、４０Ｂ…青色光点、４０Ｒ…赤色光点、５０…第２のポインタ、５０Ｇ…緑色光点、６０…デジタルカメラ、１００…制御装置、１１０…ポインタ識別部、１２０…操作判定部、１３０…ＣＰＵ。

Claims (11)

1. 情報を表示する表示装置と、
   前記表示装置の表示を制御する制御装置と、
   光線を照射可能なポインタ装置からの光線を含む、前記表示装置の画像を取得する画像取得装置と、を備え、
   前記制御装置は、
   前記画像取得装置から前記画像を取得する取得部と、
   前記画像に含まれる前記光線の特徴を識別する特徴識別部と、
   前記光線の状態を特定する状態特定部と、
   前記光線の特徴と前記光線の状態とに基づいて前記表示装置の表示動作を行う表示制御部と、を備える、表示制御システム。
2. 前記表示制御部は、前記光線の状態に基づいて対応する前記表示装置の表示動作を取得し、該表示動作と前記光線の特徴とに基づいて前記表示装置の表示動作を行うか否かを判断する、請求項１に記載の表示制御システム。
3. 前記特徴は、前記光線の波長又は色である、請求項１又は２に記載の表示制御システム。
4. 前記ポインタ装置は、複数のポインタを含み、
   前記特徴識別部は、前記複数のポインタからの光線の各々の前記特徴に基づいて対応するポインタを識別する、請求項１から３の何れか一項に記載の表示制御システム。
5. 前記特徴識別部は、前記特徴の各々に基づいて前記対応するポインタの権限を決定し、
   前記表示制御部は、前記権限に基づいて前記対応するポインタに前記表示動作を割り当てる、請求項４に記載の表示制御システム。
6. 前記特徴識別部は、前記複数のポインタに対して前記権限の優先順位を決定し、
   前記表示制御部は、前記権限が上位の前記ポインタに基づいた前記表示動作を優先して行わせる、請求項５に記載の表示制御システム。
7. 前記状態特定部は、前記光線によって表示される光点の表示状態を特定する、請求項１から６の何れか一項に記載の表示制御システム。
8. 前記表示動作は、前記表示装置の表示変更動作である、請求項１から７の何れか一項に記載の表示制御システム。
9. 前記表示装置は、ＤＬＰ方式の投影装置であり、
   前記画像取得装置は、前記ポインタ装置で前記表示装置の表示に前記光線を照射しているときに前記画像を取得し、
   前記特徴識別部及び前記状態特定部は、前記画像中に含まれる前記光線の特徴及び状態を色時分割で識別することにより特定する、請求項１から８の何れか一項に記載の表示制御システム。
10. ポインタ装置から照射された光線を含む、表示装置の画像を取得することと、
    前記画像に含まれる前記光線の特徴を識別することと、
    前記光線の状態を特定することと、
    前記光線の特徴と前記光線の状態とに基づいて前記表示装置の表示動作を行うことと、
    を含む、表示制御方法。
11. ポインタ装置から照射された光線を含む、表示装置の画像を取得することと、
    前記画像に含まれる前記光線の特徴を識別することと、
    前記光線の状態を特定することと、
    前記光線の特徴と前記光線の状態とに基づいて前記表示装置の表示動作を行うことと、
    を制御装置に実行させる、表示制御プログラム。