JP2009290488A - 情報処理システム及び情報処理装置 - Google Patents

Abstract

【課題】撮影装置側又は投影装置側においても、注釈画像を簡単な構成で、対象物を含む領域に投影することができる情報処理システム及び情報処理装置を提供する。
【解決手段】入力処理部１０１は、タブレットＰＣ８からアノテーション画像の座標を入力し、投影画像生成部１０５は、アノテーション画像の座標に基づいてアノテーション画像を生成する。そして、検知処理部１０２は、カメラ５で撮影された複数の撮影画像からタブレットＰＣ８の位置及び姿勢を検知し、投影処理部１０６は、投影画像生成部１０５で生成されたアノテーション画像に投影変換を実行しプロジェクタ４に出力する。プロジェクタ４は、投影変換されたアノテーション画像をタブレットＰＣ８上に投影する。
【選択図】図３

Description

本発明は、情報処理システム及び情報処理装置に関する。

従来より、カメラとプロジェクタを使い、ユーザ間でコミュニケーションを行うシステムが知られている（例えば、特許文献１参照）。このシステムは、カメラと、当該カメラと光学的に主点を同位置にしたプロジェクタとがある第１の地点と、第１の地点にあるカメラで撮影した画像に対してアノテーション（注釈）を追記できる端末を有する第２の地点とで構成されている。第２の地点の端末においてアノテーションの追記を指示すると、第１の地点においてそのアノテーションがプロジェクタにより投影される。
特開２００５−３３７５６号公報

しかしながら、上記特許文献１では、第２の地点にいるユーザでなければ、アノテーションの追記ができなかった。特許文献１のシステムは、第１の地点と第２の地点とが離れていてもユーザ間でコミュニケーションを図ることができるが、アノテーションの追記は第２の地点でしか実施ができなかった。

本発明の目的は、撮影装置側又は投影装置側においても、注釈画像を簡単な構成で、対象物を含む領域に投影させることができると共に撮影装置側又は投影装置側のユーザに見やすい注釈画像を提供することができる情報処理システム及び情報処理装置を提供することにある。

上記目的を達成するため、請求項１の情報処理システムは、注釈画像を表示する第１表示手段を備え、当該注釈画像又は指示を入力する入力装置と、当該入力装置を含む領域を撮影する撮影装置と、前記領域に注釈画像を投影する投影装置と、前記撮影装置で撮影された撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、前記注釈画像又は前記指示を受け付けるための第１画像を生成する生成手段、前記検知手段で検出した前記入力装置の位置及び姿勢に基づいて、前記第１画像を前記投影装置用の画像に変換して、前記投影装置に出力する出力手段、前記入力装置に入力された座標情報を入力する第１入力手段、前記座標情報と前記入力装置上に投影された第１画像とに基づいて、注釈画像又は指示内容を決定し、注釈画像が含まれる場合には、前記出力手段にその注釈画像を前記領域に投影される前記投影装置用の画像に変換して前記投影装置に出力させ、指示内容が含まれる場合には、その指示内容に応じた処理を実行させる、実行手段を有する情報処理装置とを備え、前記投影装置は、前記検知される入力装置上に、前記注釈画像又は前記指示内容が反映された画像を投影し、前記第１表示手段が前記注釈画像を表示するときには、前記投影装置は、前記検知される入力装置上に、前記注釈画像を投影しないことを特徴とする。

請求項２の情報処理システムは、請求項１記載の情報処理システムにおいて、前記情報処理装置にネットワークを介して接続される遠隔端末を備え、前記遠隔端末は、前記撮影装置からの撮影画像を表示する第２表示手段と、前記注釈画像又は前記指示を入力する第２入力手段とを備え、前記第２入力手段により入力された注釈画像が、前記第２表示手段に表示される入力装置に重なるときには、重なった部分の注釈画像が前記入力装置に送信され、前記第１表示手段が当該重なった部分の注釈画像を表示することを特徴とする。

請求項３の情報処理システムは、請求項２記載の情報処理システムにおいて、前記第２入力手段により入力された注釈画像から、前記重なる部分の注釈画像を除いた残りの注釈画像は、前記投影装置から投影されることを特徴とする。

請求項４の情報処理システムは、請求項２記載の情報処理システムにおいて、前記第２表示手段は、データをドラグアンドドロップにより前記入力装置に転送するホットスポットエリアを含む画面を表示することを特徴とする。

請求項５の情報処理システムは、請求項２又は３に記載の情報処理システムにおいて、さらに前記入力装置から共有モードの指示が入力され、前記注釈画像の座標が入力された場合には、前記第２表示手段は当該注釈画像を表示し、前記投影装置は当該注釈画像が入力されたときの撮影画像内の入力装置の位置に当該注釈画像を投影することを特徴とする。

請求項６の情報処理システムは、請求項２又は３に記載の情報処理システムにおいて、前記情報処理装置は、前記入力装置が所定時間移動していないか否かを判別する判別手段をさらに備え、前記入力装置が所定時間移動していないと判別された場合に、前記第２表示手段は当該注釈画像を表示し、前記投影装置は当該移動していない入力装置の位置に当該注釈画像を投影することを特徴とする。

請求項７の情報処理システムは、請求項１乃至６のいずれか１つに記載の情報処理システムにおいて、前記情報処理装置は、ユーザの位置を検出するユーザ検知手段を備え、前記検知手段は、前記撮影装置で撮影された撮影画像から前記入力装置の少なくとも１カ所に付されたライン状のマークを検知し、前記実行手段は、前記ユーザ検知手段により検出されたユーザの位置の検出情報に基づいて、前記撮影装置の撮影領域又は前記投影装置の投影領域の４つの辺から１つの辺を選択し、前記出力手段は、前記検知されたライン状のマーク及び前記選択された１つの辺とに基づいて、前記注釈画像に回転処理を実行し、前記投影装置に出力することを特徴とする。

請求項８の情報処理装置は、注釈画像を表示する第１表示手段を備え、当該注釈画像又は指示を入力する入力装置と、当該入力装置を含む領域を撮影する撮影装置と、前記領域に注釈画像を投影する投影装置と接続される情報処理装置であって、前記撮影装置で撮影された撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、前記注釈画像又は前記指示を受け付けるための第１画像を生成する生成手段、前記検知手段で検出した前記入力装置の位置及び姿勢に基づいて、前記第１画像を前記投影装置用の画像に変換して、前記投影装置に出力する出力手段、前記入力装置に入力された座標情報を入力する第１入力手段、前記座標情報と前記入力装置上に投影された第１画像とに基づいて、注釈画像又は指示内容を決定し、注釈画像が含まれる場合には、前記出力手段にその注釈画像を前記領域に投影される前記投影装置用の画像に変換して前記投影装置に出力させ、指示内容が含まれる場合には、その指示内容に応じた処理を実行させる、実行手段を備え、前記投影装置は、前記検知される入力装置上に、前記注釈画像又は前記指示内容が反映された画像を投影し、前記第１表示手段が前記注釈画像を表示するときには、前記投影装置は、前記検知される入力装置上に、前記注釈画像を投影しないことを特徴とする。

請求項１，８の発明によれば、撮影装置側又は投影装置側においても、注釈画像を簡単な構成で、対象物を含む領域に投影させることができる。さらに、注釈画像が、投影装置の解像度によらず、第１表示手段の解像度に従って表示されるので、撮影装置側又は投影装置側のユーザに見やすい注釈画像を提供することができる。

請求項２の発明によれば、遠隔端末で入力された注釈画像のうち、第２表示手段に表示される入力装置に重なる部分は、第１表示手段により表示されるので、投影装置が当該重なる部分の注釈画像を投影する場合と比べて、撮影装置側又は投影装置側のユーザに見やすい注釈画像を提供することができる。また、第２表示手段が液晶表示体である場合でも、撮影装置側又は投影装置側のユーザに見やすい注釈画像提供することができる。

請求項３の発明によれば、第１表示手段及び投影装置により、撮影装置側又は投影装置側のユーザに、遠隔端末で入力された注釈画像の全体を提供することができる。

請求項４の発明によれば、遠隔端末のユーザは、簡単な操作により入力装置に所望のデータを転送することができ、入力装置のユーザ（即ち撮影装置側又は投影装置側のユーザ）とコミュニケーションすることができる。

請求項５の発明によれば、注釈画像を同時に複数のユーザに提供することができる。また、いわゆるポストイットのように、注釈画像を当該注釈画像が入力されたときのタブレットＰＣ８の位置に貼り付けることができる。

請求項６の発明によれば、注釈画像を同時に複数のユーザに提供することができる。また、いわゆるポストイットのように、注釈画像を当該注釈画像が入力されたときのタブレットＰＣ８の位置に貼り付けることができる。

請求項７の発明によれば、ユーザにとって見やすい向きに注釈画像を自動的に回転することができる。

以下、本発明の実施の形態について、図面を参照して説明する。

図１は、本発明の実施の形態に係る情報処理システムの構成を示すブロック図である。

図１の情報処理システムは、ローカル側のシステムとリモート側のシステムとを備えている。ローカル側のシステムは、サーバとして機能するパーソナルコンピュータ（ＰＣ）１（情報処理装置）、プロジェクタ４（投影装置）、カメラ５（撮影装置）、及びタブレットＰＣ８（入力装置）を備えている。ＰＣ１には、プロジェクタ４、カメラ５、及びタブレットＰＣ８が接続されている。さらに、ＰＣ１には、プロジェクタ４側又はカメラ５側のユーザの位置を検出する人感センサ１０（ユーザ検知手段）を備えていてもよい。リモート側のシステムは、クライアントとして機能するＰＣ２（遠隔端末）を備えており、ＰＣ２には、表示装置２１が接続されている。ＰＣ１及びＰＣ２は、ネットワーク３を介して互いに接続されている。ローカル側のシステムは、タブレットＰＣ８に代えて、ディスプレイ付きのタブレットを備えていてもよい。

プロジェクタ４は、ＰＣ１からの制御コマンドに基づいて、対象物６が置かれたテーブル７の領域に対してアノテーション画像（注釈画像）等を投影する。アノテーション画像は、線、文字、記号、図形、色、フォント（書体）等のあらゆる態様の画像を含む。アノテーション画像には、ＰＣ２で入力される又はタブレットＰＣ８で入力される。

カメラ５は、ビデオカメラ又はＰＴＺ（Pan Tilt Zoom）カメラで構成され、テーブル７の領域を撮影し、撮影画像をＰＣ１に出力する。この撮影画像は、表示装置２１で表示される。また、撮影画像の一部は、タブレットＰＣ８がテーブル７上にある場合に、プロジェクタ４を介して当該タブレットＰＣ８上に投影されるようにしてもよい。

タブレットＰＣ８は、形状が四角形で、感圧式のパネルを有している。ユーザがペンを使って当該感圧式のパネルを押下する又はなぞることで、指示又はアノテーション画像を入力する。また、この感圧式のパネルは、表示パネルに重ね合わせて固定されている。タブレットＰＣ８は、入力した指示又はアノテーション画像をＰＣ１に出力する。ローカル側のユーザがタブレットＰＣ８にアノテーション画像を入力すると、当該アノテーション画像はプロジェクタ４を介してテーブル７の領域に投影される、又はタブレットＰＣ８の表示パネルに表示される。また、タブレットＰＣ８は、ＰＣ１に赤外線又はbluetooth（登録商標）等の無線通信で接続されているが、通信ケーブルを使って有線通信でＰＣ１に接続してもよい。

ＰＣ１は、カメラ５により撮影された撮影画像をネットワーク３を介してＰＣ２に出力する。ＰＣ２は、表示部２１に接続されており、表示部２１は、撮影画像の表示領域２３及びユーザインターフェース（ＵＩ）２２を表示する。尚、ＰＣ２は、表示装置２１を備える一体型のパーソナルコンピュータで構成してもよい。

ＵＩ２２は、ペン、テキスト、及び消去などのボタン群と、線種や色種のアイコンと、テキストや画像等のデータ（ファイル）をドラグ＆ドロップによりタブレットＰＣ８に転送することが可能なホットスポットエリア２５を含む。表示領域２３には、カメラ５で撮影された撮影画像が表示される。同図においては、タブレットＰＣ８を含むテーブル７の領域をカメラ５により撮影した撮影画像が表示領域２３に表示されている。例えば、ＵＩ２２のペンボタンが押下されて、表示領域２３内に図形等が記載されると、当該図形の情報はＰＣ２からＰＣ１を介してプロジェクタ４に出力される。プロジェクタ４は当該図形の情報に基づいてテーブル７又はタブレットＰＣ８上に図形を描く。

尚、同図においては、クライアントは、ＰＣ２の１台が記載されているが、複数のクライアント（ＰＣ）を備えていてもよい。また、テーブル７の領域を撮影するカメラも１台に限定するものではなく、複数台あってもよい。さらに、ＰＣ１に接続されるタブレットの数は、１つでも複数でもよい。

図２（Ａ）は、ＰＣ１のハードウエア構成を示すブロック図である。図２（Ｂ）は、ＰＣ２のハードウエア構成を示すブロック図である。

ＰＣ１は、装置全体を制御するＣＰＵ１１、制御プログラムを備えるＲＯＭ１２、ワーキングエリアとして機能するＲＡＭ１３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）１４、他のコンピュータと接続するためのネットワークインターフェース１５、プロジェクタ４及びカメラ５などのＵＳＢ機器と接続するためのＵＳＢ（universal serial bus）インターフェース１６、及びタブレットＰＣ８と有線又は無線の通信を行う通信部１７を備えている。ＣＰＵ１１はシステムバス１８を介してＲＯＭ１２、ＲＡＭ１３、ハードディスクドライブ（ＨＤＤ）１４、ネットワークインターフェース１５、ＵＳＢインターフェース１６、及び通信部１７に接続されている。

ＰＣ２は、装置全体を制御するＣＰＵ３１、制御プログラムを備えるＲＯＭ３２、ワーキングエリアとして機能するＲＡＭ３３、各種の情報やプログラムを備えるハードディスクドライブ（ＨＤＤ）３４、他のコンピュータと接続するためのネットワークインターフェース３５、キーボードやマウスなどの入力機器と接続するためのＵＳＢ（universal serial bus）インターフェース３６、及び表示装置２１を備えている。ＣＰＵ３１はシステムバス３７を介してＲＯＭ３２、ＲＡＭ３３、ハードディスクドライブ（ＨＤＤ）３４、ネットワークインターフェース３５、ＵＳＢインターフェース３６及び表示装置２１に接続されている。

図３は、タブレットＰＣ８の外観図である。

図３に示すように、タブレットＰＣ８は、タッチパネル８１（第１表示手段）を備えている。このタッチパネル８１は、ペン８２を使って入力されたデータや情報を受け付け、さらに、各種のデータや情報を表示する。

図４は、ＰＣ１及びＰＣ２の機能構成を示すブロック図である。

ＰＣ１は、タブレットＰＣ８からの座標情報又は指示入力を取得する入力処理部１０１（第１入力手段）と、タブレットＰＣ８の移動を検知し、これらの位置及び姿勢を算出する検知処理部１０２（検知手段、判別手段）、各種のデータや情報を保存する保存部１０３と、ＰＣ１全体を制御する制御部１０４（実行手段）と、投影画像を生成する投影画像生成部１０５（生成手段）と、投影画像をタブレットＰＣ８上に投影する際に投影対象の画像の変換処理を実行する投影処理部１０６（出力手段）とを備えている。

保存部１０３は、タブレットＰＣ８上に投影される各種のＧＵＩ（Graphical User Interface）を記憶するＧＵＩデータベース１０３ａと、カメラ５で撮影された撮影画像を保存するフレームバッファ領域１０３ｂと、コピーモード実行時にカメラ５で撮影された静止画像（スナップショット）を保存するスナップショット領域１０３ｃと、コピーモード実行時のタブレットＰＣ８の位置情報（即ちタブレットＰＣ８の座標情報）を保存する位置保存領域１０３ｄとを備えている。

制御部１０４及び投影画像生成部１０５は、制御プログラムに従って各種の処理を実行するＣＰＵ２１に相当する。入力処理部１０１は、ＣＰＵ２１及び通信部１７に相当し、検知処理部１０２及び投影処理部１０６は、ＣＰＵ２１及びＵＳＢインターフェース１６に相当し、保存部１０３は、ハードディスクドライブ（ＨＤＤ）１４に相当する。

ＰＣ２は、ＰＣ１全体を制御する制御部２０１と、各種のデータや情報を保存する保存部２０２と、キーボードやマウスなどでデータや指示を入力する入力部２０３（第２入力手段）と、撮影画像を表示する表示部２０４（第２表示手段）とを備えている。制御部２０１は、制御プログラムに従って各種の処理を実行するＣＰＵ３１に相当し、保存部２０２は、ハードディスクドライブ（ＨＤＤ）３４に相当する。入力部２０３は、不図示のキーボードやマウス及びこれらが接続されるＵＳＢインターフェース３６に相当し、表示部２０４は、表示装置２１に相当する。

以下、各機能ブロックが実行する処理を具体的に説明する。

まず、カメラ５がタブレットＰＣ８を含むテーブル７の領域を、継続的に撮影する（例えば、０．５秒毎に撮影する）。撮影画像は、カメラ５から検知処理部１０２に送信される。

検知処理部１０２は、カメラ５からの撮影画像を保存部１０３（フレームバッファ領域１０３ｂ）に保存し、撮影画像のシーケンスからタブレットＰＣ８の形状検出及びテンプレートマッチングによってタブレットＰＣ８を認識する。

具体的には、検知処理部１０２は、前処理として撮影した画像シーケンスに対しノイズ除去や平滑化を行い、公知のCanny法を用いてエッジの検出を行う。次いで、検知処理部１０２は、検出されたエッジから公知のHough変換を用いて、複数の直線の検出を行う。このとき、検知処理部１０２は、タブレットＰＣ８のサイズや平行性を考慮し、タブレットＰＣ８に関係のない線分の除去を行う。その後、検知処理部１０２は、検出された複数の直線の交差点から平行四辺形の検出を行い、検出された平行四辺形をタブレットＰＣ８の候補とする。最後に、検知処理部１０２は、予め撮影されたタブレットＰＣ８の画像と、タブレットＰＣ８の候補とを比較し、タブレットＰＣ８の特徴（例えば、枠の形状、又はタブレットＰＣ８に装着されたボタンなど）を持つ候補をタブレットＰＣ８とする。

検知処理部１０２は、認識したタブレットＰＣ８の位置及び姿勢を特定する座標（ここではタブレットＰＣ８の４つの角の座標）を算出し、制御部１０４、投影画像生成部１０５及び投影処理部１０６に出力する。また、検知処理部１０２は、カメラ５からの撮影画像を制御部１０４に出力する。

投影画像生成部１０５は、タブレットＰＣ８に投影する画像を生成する。即ち、投影画像生成部１０５は、タブレットＰＣ８の位置及び姿勢を特定する座標に基づいて、撮影画像から、タブレットＰＣ８に投影される部分画像を切り出し、当該部分画像を投影処理部１０６に出力する。投影画像生成部１０５により切り出される部分画像は、プロジェクタ４側からテーブル７の領域を見たときに、タブレットＰＣ８が対象物６を含むテーブル７の領域と重なる部分の撮影画像である。従って、投影画像生成部１０５は、タブレットＰＣ８がテーブル７の任意の領域と重なる場合には、当該任意の領域に重なる直前に撮影された撮影画像から当該部分画像を切り出す。

投影処理部１０６は、検知処理部１０２で算出されたタブレットＰＣ８の座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、部分画像の変換（以下、投影変換という）を行う。

投影処理部１０６は、投影変換された画像をプロジェクタ４に出力し、プロジェクタ４が、当該投影変換された画像を全投影内容の一部としてタブレットＰＣ８へ投影する。このとき、プロジェクタ４はタブレットＰＣ８以外の領域には、通常の投影を行っても良い。即ち、プロジェクタ４は、タブレットＰＣ８と、タブレットＰＣ８以外の領域とに同時に異なる内容の画像を投影することができる。投影変換された画像がタブレットＰＣ８上に投影される状態を図５に示す。

タブレットＰＣ８は、ペン８２で入力されたアノテーション画像をタッチパネル８１に表示すると共にペン８２で入力されたアノテーション画像の座標を入力処理部１０１に出力する。入力処理部１０１は、アノテーション画像の座標に対し、上記投影変換の逆変換を行い、投影用画像上における相対座標を算出し、制御部１０４に当該相対座標を出力する。

制御部１０４は、当該相対座標を投影画像生成部１０５に出力し、投影画像生成部１０５は、投影用のアノテーション画像をタブレットＰＣ８に投影する画像上に生成し、投影処理部１０６に出力する。逆投影変換されたアノテーション画像が投影用画像上に形成された状態を図６に示す。投影処理部１０６は、上述したように、推定されたパラメータを用いて、投影変換を行い、投影変換された画像をプロジェクタ４に出力し、プロジェクタ４が、当該投影変換された画像をタブレットＰＣ８へ投影する。

このように、タブレットＰＣ８のペン８２で入力されたアノテーション画像は、タッチパネル８１により表示され、さらにプロジェクタ４からタブレットＰＣ８へ投影させることもできる。また、アノテーション画像がタブレットＰＣ８のペン８２で入力された場合には、タッチパネル８１のみがアノテーション画像を表示し、ＰＣ１は当該アノテーション画像をプロジェクタ４からタブレットＰＣ８へ投影しないような設定もできる。

また、制御部１０４は、検知処理部１０２から、カメラ５からの撮影画像及びタブレットＰＣ８の位置及び姿勢を特定する座標を入力し、ネットワーク３を介してＰＣ２に出力する。これにより、図１に示すように、ローカル側の対象物６及びタブレットＰＣ８が置かれたテーブル７の状況が表示領域２３に再現される。

図７（Ａ）は、表示領域２３に描かれたアノテーション画像がタブレットＰＣ８に表示される例を示す図であり、図７（Ｂ）は、アノテーション画像のファイルがホットスポット２５又は表示領域２３に表示されているタブレットＰＣ８上へドラグ・アンド・ドロップされたときに、当該アノテーション画像がタブレットＰＣ８に表示される例を示す図である。

図８は、表示領域２１に描かれたアノテーション画像が表示領域２３に表示されているタブレットＰＣ８からはみ出ている場合に、ローカル側で当該アノテーション画像の一部がタブレットＰＣ８に表示され、当該アノテーション画像の残りが投影される例を示す図である。

図７（Ａ）に示すように、リモート側のユーザが、表示領域２３に表示されているタブレットＰＣ８上にアノテーション画像４０を描くと、ローカル側のタブレットＰＣ８には、当該アノテーション画像４０が表示される。また、図７（Ｂ）に示すように、リモート側のユーザが、アノテーション画像４０のファイルをホットスポット２５又は表示領域２３に表示されているタブレットＰＣ８上へドラグ・アンド・ドロップすると、ローカル側のタブレットＰＣ８には、当該アノテーション画像４０が表示される。この場合、ドラグ・アンド・ドロップされるファイルは、アノテーション画像のファイルに限定されず、テキスト、静止画像、動画像、又は音声のファイルでもよい。

また、図８に示すように、アノテーション画像として「ＡＢＣ…」のテキストと矢印の画像が表示領域２３に描かれ、当該矢印の画像が表示領域２３に表示されているタブレットＰＣ８からはみ出ている場合、ローカル側では、「ＡＢＣ…」のテキストと矢印の一部の画像がアノテーション画像５１としてタブレットＰＣ８に表示され、矢印の残りの画像がアノテーション画像５２としてプロジェクタ４からテーブル７に投影される。尚、図８のアノテーション画像５２を破線で表示しているが、破線は投影されていることを示す。

図９は、ＰＣ１及びＰＣ２で実行される基本処理を示すフローチャートである。

まず、検知処理部１０２は、カメラ５からの撮影画像を保存部１０３に保存し、撮影画像のシーケンスからタブレットＰＣ８の形状検出及びテンプレートマッチングによってタブレットＰＣ８の位置及び姿勢を特定する座標（ここではタブレットＰＣ８の４つの角の座標）を算出し、制御部１０４、投影画像生成部１０５及び投影処理部１０６に出力する。また、検知処理部１０２は、カメラ５からの撮影画像を制御部１０４に出力する（ステップＳ１）。制御部１０４は、タブレットＰＣ８の位置及び姿勢を特定する座標及びカメラ５からの撮影画像をネットワーク３を介してＰＣ２に出力する（ステップＳ２）。

ＰＣ２の制御部２０１は、ＰＣ１からタブレットＰＣ８の位置及び姿勢を特定する座標及びカメラ５からの撮影画像を受信し、タブレットＰＣ８の位置及び姿勢を特定する座標を保存部２０２に保存し、カメラ５からの撮影画像を表示部２０４に表示する（ステップＳ３）。

次いで、制御部２０１は、入力部２０３から編集操作があるか否かを判別する（ステップＳ４）。ここで、編集操作とは、アノテーション画像の書き込み操作、若しくはファイルをホットスポット２５上又は表示領域２３に表示されているタブレットＰＣ８上へドラグ・アンド・ドロップする操作である。

ステップＳ４でＮＯの場合には、本処理を終了する。ステップＳ４でＹＥＳの場合であり、ドラグ・アンド・ドロップ操作が行われた場合には、ステップＳ６に進む。ステップＳ４でＹＥＳの場合であり、アノテーション画像の書き込み操作が行われた場合には、制御部２０１は、タブレットＰＣ８の位置及び姿勢を特定する座標に基づいて、書き込まれたアノテーション画像が表示領域２３に表示されているタブレットＰＣ８からはみ出ていないか否かを判別する（ステップＳ５）。

ステップＳ５でＹＥＳの場合には、制御部２０１は、当該書き込まれたアノテーション画像の座標又はドラグ・アンド・ドロップ操作が行われたファイルをＰＣ１の制御部１０４に送信する（ステップＳ６）。

制御部１０４は、制御部２０１からのアノテーション画像の座標又はドラグ・アンド・ドロップ操作が行われたファイルを入力処理部１０１を介してタブレットＰＣ８に出力し、タブレットＰＣ８のタッチパネル８１に当該アノテーション画像を表示させる又はタブレットＰＣ８にドラグ・アンド・ドロップ操作が行われたファイルを再生させる（ステップＳ７）。ここで、制御部２０１からのアノテーション画像の座標は、入力処理部１０１によりタブレットＰＣ８用の座標に変換して、タブレットＰＣ８に出力される。

上記ステップＳ５でＮＯの場合には、制御部２０１は、タブレットＰＣ８の位置及び姿勢を特定する座標に基づいて、書き込まれたアノテーション画像を表示領域２３に表示されているタブレットＰＣ８からはみ出ている部分とはみ出ていない部分とに分割する（ステップＳ８）。次いで、制御部２０１は、表示領域２３に表示されているタブレットＰＣ８からはみ出ていないアノテーション画像の座標をＰＣ１の制御部１０４に送信する、即ち、ステップＳ６と同様の処理を実行する。以後、表示領域２３に表示されているタブレットＰＣ８からはみ出ていないアノテーション画像の座標に対して、ステップＳ７の処理が実行される。

制御部２０１は、表示領域２３に表示されているタブレットＰＣ８からはみ出ているアノテーション画像の座標にフラグを付してＰＣ１の制御部１０４に送信する（ステップＳ９）。制御部１０４は、制御部２０１からのフラグ付きのアノテーション画像の座標を投影画像生成部１０５に出力する（ステップＳ１０）。このように、上記フラグは、制御部１０４がアノテーション画像の座標の出力先（即ち、入力処理部１０１又は影画像生成部１０５）を判断するために使用される。

投影画像生成部１０５は、アノテーション画像の座標に基づいて、アノテーション画像を生成し、投影処理部１０６に出力する（ステップＳ１１）。

投影処理部１０６は、投影画像生成部１０５からのアノテーション画像の投影変換を行い、投影変換されたアノテーション画像をプロジェクタ４に出力し（ステップＳ１２）、本処理を終了する。プロジェクタ４は、投影変換されたアノテーション画像を対象物６を含むテーブル７の領域に投影する。

以上説明したように、図９の処理では、表示領域２３に表示されているタブレットＰＣ８上に書き込まれたアノテーション画像は、タブレットＰＣ８のタッチパネル８１に表示され、ホットスポット２５上又は表示領域２３に表示されているタブレットＰＣ８上へドラグ・アンド・ドロップされたファイルは、タブレットＰＣ８で再生される。また、表示領域２３に表示されているタブレットＰＣ８からはみ出たアノテーション画像は、プロジェクタ４を介してテーブル７の領域に投影される。

図１０は、ＧＵＩをタブレットＰＣ８上に投影する処理及びタブレットＰＣ８上で指定されたモードを実行する処理を示すフローチャートである。本処理は、ＰＣ１により実行される。

まず、検知処理部１０２は、カメラ５で撮影された画像シーケンスからタブレットＰＣ８の形状検出及びテンプレートマッチングによってタブレットＰＣ８を認識し、認識したタブレットＰＣ８の位置及び姿勢を特定する座標を算出し、当該タブレットＰＣ８の座標を投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ２１）。

次に、投影画像生成部１０５は、ＧＵＩデータベース１０３ａの各種のＧＵＩの要素に基づいて、タブレットＰＣ８に投影するＧＵＩ画像を生成する（ステップＳ２２）。

投影処理部１０６は、検知処理部１０２で算出されたタブレットＰＣ８の座標と投影画像生成部１０５で生成された投影用のＧＵＩ画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、ＧＵＩ画像の投影変換を行い、投影変換されたＧＵＩ画像をプロジェクタ４に出力する（ステップＳ２３）。プロジェクタ４は、当該投影変換されたＧＵＩ画像を全投影内容の一部としてタブレットＰＣ８へ投影する（ステップＳ２４）。タブレットＰＣ８へ投影されたＧＵＩ画像の一例を図１１に示す。

タブレットＰＣ８は、ペンで入力された座標を入力処理部１０１に出力する（ステップＳ２５）。入力処理部１０１は、ペンで入力された座標に対し、上記投影変換の逆変換を行い、投影画像生成部１０５から取得したＧＵＩ画像上における相対座標を算出し、ペンで入力されたモードを決定する（ステップＳ２６）。

制御部１０４は、入力処理部１０１から決定されたモードの情報を入力し、当該モードの情報に応じた処理を実行し（ステップＳ２７）、本処理を終了する。

モードの情報に応じた処理とは、例えば、入力されたモードが印刷モードの場合は、制御部１０４は、不図示のプリンタドライバに印刷開始の指示を出力する。また、入力されたモードがコピーモードの場合は、制御部１０４は、後述する図１２，１３の処理を開始する指示を検知処理部１０２、投影画像生成部１０５、及び投影処理部１０６に出力する。入力されたモードが共有モードの場合は、制御部１０４は、後述する図１５の処理を開始する指示を検知処理部１０２、投影画像生成部１０５、及び投影処理部１０６に出力する。

図１０の処理によれば、ユーザは、タブレットＰＣ８上に投影されるＧＵＩ画像で規定する複数のモードのうちいずれか１つをタブレットＰＣ８で選択し、当該モードに応じた処理を制御部１０４に実行させることができる。

尚、上記図１０の処理では、ＧＵＩ画像はプロジェクタ４からタブレットＰＣ８上に投影されているが、ＧＵＩ画像がタブレットＰＣ８のタッチパネル８１に表示されてもよい。この場合、上記処理では、ステップＳ２５〜Ｓ２７が実行される。

図１２，１３は、ＰＣ１で実行されるコピーモード及び非コピーモードの処理を示すフローチャートである。

本処理では、カメラ５がタブレットＰＣ８を含むテーブル７の領域を、継続的に撮影しているものとする（例えば、０．５秒毎に撮影する）。

まず、制御部１０４は、入力処理部１０１を介してタブレットＰＣ８からコピーモードの指示が入力されたか否かを判別する（ステップＳ３１）。ここで、コピーモードとは、プロジェクタ４側からテーブル７の領域を見て、タブレットＰＣ８がテーブル７の任意の領域と重なる場合に、その任意の領域に対応する予め撮影された撮影画像が、タブレットＰＣ８の移動によらず、タブレットＰＣ８上に固定的に投影されるモードである。このモードが実行されると、ユーザの目の前にある実物（即ち対象物６を含むテーブル７）の一部の画像が常にタブレットＰＣ８上に固定的に投影される。よって、ユーザは、テーブル７の領域内の撮影したい場所にタブレットＰＣ８を重ねて、コピーモードの指示を入力することで、撮影したい場所の画像をタブレットＰＣ８上に投影することができる。

尚、ステップＳ１１でユーザがタブレットＰＣ８でコピーモードの指示を入力する場合、タブレットＰＣ８に設けられた不図示のボタンを押下する又はプロジェクタ４からタブレットＰＣ８に投影されるＧＵＩ内のコピーモードの位置をタップすることが必要である。

ステップＳ１１でコピーモードの指示が入力されていない場合（ＮＯ）の場合には、検知処理部１０２は、カメラ５からの撮影画像をフレームバッファ領域１０３ｂに保存し、タブレットＰＣ８の位置及び姿勢を特定する座標（ここではタブレットＰＣ８の４つの角の座標）を算出し、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ３２）。

投影画像生成部１０５は、フレームバッファ領域１０３ｂから撮影画像を読み出し、タブレットＰＣ８の位置及び姿勢を特定する座標に基づいて、当該撮影画像から、タブレットＰＣ８に投影される部分画像を切り出し、当該部分画像を投影処理部１０６に出力する（ステップＳ３３）。投影画像生成部１０５により切り出される部分画像は、プロジェクタ４側からテーブル７の領域を見たときに、タブレットＰＣ８が対象物６を含むテーブル７の領域と重なる部分の撮影画像である。従って、投影画像生成部１０５は、タブレットＰＣ８がテーブル７の任意の領域と重なる場合には、当該任意の領域に重なる直前に撮影された撮影画像から当該部分画像を切り出す。図１４（Ａ）は、プロジェクタ４側からテーブル７を見た場合のタブレットＰＣ８と対象物６を含むテーブル７との位置関係を示す図であり、図１４（Ｂ）は、対象物６上を通過するタブレットＰＣ８に投影される部分画像のシーケンスを示す図である。

投影処理部１０６は、検知処理部１０２で算出されたタブレットＰＣ８の座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、投影用の部分画像の投影変換を行い、投影変換された部分画像をプロジェクタ４に出力する（ステップＳ３４）。プロジェクタ４は、当該投影変換された部分画像を全投影内容の一部としてタブレットＰＣ８へ投影し（ステップＳ３５）、ステップＳ３２に戻る。

ステップＳ３２〜Ｓ３５のループ処理により、タブレットＰＣ８の位置及び姿勢が検知されて、タブレットＰＣ８の位置及び姿勢に応じた部分画像がタブレットＰＣ８上に投影される。

ステップＳ１１でコピーモードの指示が入力された場合（ＹＥＳ）の場合には、制御部１０４は、撮影画像のスナップショット（即ち、カメラ５のシャッターを切ったときの画像）の保存指示及びスナップショットの撮影の瞬間のタブレットＰＣ８の位置及び姿勢を特定する座標の保存指示を検知処理部１０２に出力する（ステップＳ３６）。

検知処理部１０２は、撮影画像のスナップショットをスナップショット領域１０３ｃに保存すると共に当該スナップショットの撮影の瞬間のタブレットＰＣ８の位置及び姿勢を特定する座標を位置保存領域１０３ｄに保存する（ステップＳ３７）。

次いで、制御部１０４は、コピーモードの指示及び投影画像の生成の指示を投影画像生成部１０５に出力する（ステップＳ３８）。

投影画像生成部１０５は、位置保存領域１０３ｄに保存されたスナップショットの撮影の瞬間のタブレットＰＣ８の座標に基づいて、スナップショット領域１０３ｃに保存されたスナップショットから投影用の部分画像を切り出し、切り出した部分画像をスナップショット領域１０３ｃに保存すると共に投影処理部１０６に出力する（ステップＳ３９）。

投影処理部１０６は、スナップショットの撮影の瞬間のタブレットＰＣ８の座標と投影画像生成部１０５で生成された投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、投影用の部分画像の投影変換を行い、投影変換された部分画像をプロジェクタ４に出力する（ステップＳ４０）。投影変換では、適宜部分画像の拡大縮小等を実行しても良い。プロジェクタ４は、当該投影変換された部分画像を全投影内容の一部としてタブレットＰＣ８へ投影する（ステップＳ４１）。

その後、検知処理部１０２は、プロジェクタ４で投影された画像を撮影したカメラ５の撮影画像からタブレットＰＣ８の座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ４２）。

投影画像生成部１０５は、入力処理部１０１及び制御部１０４を介してタブレットＰＣ８からアノテーション画像の座標の入力があるか否かを判別する（ステップＳ４３）。

ステップＳ４３でアノテーション画像の座標の入力がない場合（ＮＯ）には、ステップ３９に進み、投影画像生成部１０５は、スナップショット領域１０３ｃに保存された投影用の部分画像を投影処理部１０６に出力する。以降のステップＳ２０の処理では、投影処理部１０６は、スナップショットの撮影の瞬間のタブレットＰＣ８の座標に代えて、ステップＳ４２で検知処理部１０２から出力されるタブレットＰＣ８の座標を利用する。

以上のステップＳ３１でＹＥＳ→ステップＳ４３でＮＯ→ステップＳ３９の一連の処理により、タブレットＰＣ８の移動が検知されて、タブレットＰＣ８の移動位置によらず、スナップショットから切り出された投影用の部分画像がタブレットＰＣ８上に投影される。

ステップＳ４３でアノテーション画像の座標の入力がある場合（ＹＥＳ）には、投影画像生成部１０５は、アノテーション画像の座標に基づいて、アノテーション画像を生成し、投影処理部１０６に出力すると共に、生成されたアノテーション画像をスナップショット領域１０３ｃに保存された投影用の部分画像に付加して、投影処理部１０６に出力する（ステップＳ４４）。

投影処理部１０６は、ステップＳ２２で検知処理部１０２から出力されるタブレットＰＣ８の座標とアノテーション画像付きの投影用の部分画像の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、アノテーション画像付きの投影用の部分画像の投影変換を行い、投影変換された部分画像及びアノテーション画像をプロジェクタ４に出力し（ステップＳ４５）、ステップＳ４１の処理に進む。以降のステップＳ２１の処理では、プロジェクタ４は、投影変換された部分画像をタブレットＰＣ８に投影し、アノテーション画像を対象物６を含むテーブル７の領域に投影する。

以上のステップＳ３１でＹＥＳ→ステップＳ４３でＹＥＳ→ステップＳ４１の一連の処理により、タブレットＰＣ８の移動が検知されて、タブレットＰＣ８の移動位置によらず、アノテーション画像が付加された投影用の部分画像がタブレットＰＣ８上に投影され、さらに、アノテーション画像は単独で実物（即ち、対象物６を含むテーブル７の領域）に投影される。

次に、ＰＣ１で実行される共有モードの処理を説明する。

共有モードとは、複数のユーザが１つのタブレットＰＣ８を共用し、タブレットＰＣ８のタッチパネルに表示される画像と同一の画像をテーブル７の任意の領域に投影するモードである。このとき、タブレットＰＣ８は表示機能を有するので、プロジェクタ４がタブレットＰＣ８上に画像を投影する必要はないが、画像を投影してもよい。また、タブレットＰＣ８にアノテーション画像の入力がある場合には、当該アノテーション画像も上記テーブル７の任意の領域に投影される。

図１５は、ＰＣ１で実行される共有モードの処理を示すフローチャートである。

まず、制御部１０４は、入力処理部１０１を介してタブレットＰＣ８から共有モードの指示が入力されたか否かを判別する（ステップＳ５１）。

尚、ステップＳ３１でユーザがタブレットＰＣ８で共有モードの指示を入力する場合、タブレットＰＣ８に設けられた不図示のボタンを押下する又はプロジェクタ４からタブレットＰＣ８に投影されるＧＵＩ内の共有モードの位置をタップすることが必要である。

ステップＳ５１で共有モードの指示が入力されていない場合（ＮＯ）には、本処理を終了する。一方、ステップＳ５１で共有モードの指示が入力された場合（ＹＥＳ）には、制御部１０４は、撮影画像内のタブレットＰＣ８の位置を特定する座標（以下、このタブレットＰＣ８の座標を共有座標という）の保存指示を検知処理部１０２に出力する（ステップＳ５２）。

検知処理部１０２は、撮影画像から共有座標を算出し、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ５３）。尚、検知処理部１０２は、カメラ５から新たな撮影画像を入力する度にタブレットＰＣ８の座標（共有座標）を算出し、投影画像生成部１０５及び投影処理部１０６に出力する。

投影画像生成部１０５は、制御部１０４を介してアノテーション画像の座標の入力があるか否かを判別する（ステップＳ５４）。アノテーション画像の座標は、タブレットＰＣ８から入力される場合に限らず、ＰＣ２から入力されてもよい。

ステップＳ５４でアノテーション画像の座標の入力がない場合（ＮＯ）には、本判別を繰り返す。

ステップＳ５４でアノテーション画像の座標の入力がある場合（ＹＥＳ）には、投影画像生成部１０５は、アノテーション画像の座標に基づいて、アノテーション画像を生成し、投影処理部１０６に出力する（ステップＳ５５）。

一方、ＰＣ２からアノテーション画像の座標が入力されている場合は、制御部１０４がアノテーション画像の座標を入力処理部１０１を介してタブレットＰＣ８に出力し、タブレットＰＣ８に、このアノテーション画像を表示させる（ステップＳ５６）。タブレットＰＣ８に直接アノテーション画像が入力されている場合は、タブレットＰＣ８がアノテーション画像を表示するので、ステップＳ５６の処理は省略される。

投影処理部１０６は、アノテーション画像の投影変換を行い、投影変換されたアノテーション画像をプロジェクタ４に出力する（ステップＳ５７）。

プロジェクタ４は、アノテーション画像が入力されたときのタブレットＰＣ８の位置に投影変換されたアノテーション画像を投影する（ステップＳ５８）。

その後、検知処理部１０２は、プロジェクタ４で投影された画像を撮影したカメラ５の撮影画像からタブレットＰＣ８の座標（共有座標）を算出し、投影画像生成部１０５及び投影処理部１０６に出力し（ステップＳ５９）、ステップＳ５４に戻る。

図１５の処理によれば、アノテーション画像が検知処理部１０２に検知されるタブレットＰＣ８に表示され、且つアノテーション画像が共有モードの指示が入力されたときの撮影画像内のタブレットＰＣ８の位置に投影されるので、アノテーション画像を同時に複数のユーザに提供することができる。また、いわゆるポストイットのように、アノテーション画像を当該アノテーション画像が入力されたときのタブレットＰＣ８の位置に貼り付けることができる。

また、ステップＳ５４〜Ｓ５９のループにより、アノテーション画像の内容が更新されると、タブレットＰＣ８に表示されるアノテーション画像及び投影されるアノテーション画像も逐次更新される。

上記共有モードでは、投影変換されたアノテーション画像は、タブレットＰＣ８から共有モードの指示が入力されたときの撮影画像内のタブレットＰＣ８の位置を特定する座標（共有座標）に投影されたが、検知処理部１０２が、タブレットＰＣ８が所定時間（例えば、５分）移動していないか否かを判別し、タブレットＰＣ８が所定時間（例えば、５分）移動していない場合には、その移動していないタブレットＰＣ８の位置に投影変換されたアノテーション画像が投影されるようにしてもよい。この場合、タブレットＰＣ８が移動すると、移動中のタブレットＰＣ８がアノテーション画像を表示し、さらに上記移動していないタブレットＰＣ８の位置に、投影変換されたアノテーション画像が投影されるので、アノテーション画像を同時に複数のユーザに提供することができる。

上記共有モードでは、アノテーション画像をスナップショットを撮影したときのタブレットＰＣ８の位置に投影する例を説明したが、図１６（Ａ）に示すようにローカル側のユーザがタブレットＰＣ８の正面に向いていない場合がある。この場合、アノテーション画像が文字を含むと、ユーザは読みにくいという問題がある。そこで、ＰＣ１が、ユーザにとって見やすい向きにアノテーション画像を自動的に回転させる処理を説明する。

図１６（Ａ）は、机７の領域、カメラ５の撮影領域、プロジェクタ４の投影領域、及びタブレットＰＣ８の位置との関係を示す図であり、図１６（Ｂ）は、カメラ５の撮影領域とタブレットＰＣ８の位置との関係を示す図であり、図１６（Ｃ）は、アノテーション画像の回転処理後のプロジェクタ４の投影領域とタブレットＰＣ８の位置との関係を示す図である。

尚、ローカル側のユーザの位置を検出するための人感センサ１０がＰＣ１の制御部１０４に接続されているものとする。また、タブレットＰＣ８には、その底辺を示すライン状のマークが付けられているものとする。

図１７は、ＰＣ１により実行されるアノテーション画像の回転処理を示すフローチャートである。

まず、検知処理部１０２は、カメラ５で撮影された画像シーケンスからタブレットＰＣ８の形状検出及びテンプレートマッチングによってタブレットＰＣ８を認識し、認識したタブレットＰＣ８の位置及び姿勢を特定する座標を算出し、当該タブレットＰＣ８の座標を制御部１０４、投影画像生成部１０５及び投影処理部１０６に出力する（ステップＳ７１）。また、検知処理部１０２は、カメラ５で撮影された画像シーケンスからタブレットＰＣ８の底辺に付されたマークを検出し、投影処理部１０６に出力する（ステップＳ７２）。

次いで、制御部１０４は、不図示の人感センサからのユーザの位置の検出情報に基づいて、撮影領域又は投影領域の４つの辺のうち基準となる１つの辺を選択し、基準となる辺の情報を投影処理部１０６に通知する（ステップＳ７３）。例えば、図１６（Ａ）〜（Ｃ）では、制御部１０４は、撮影領域又は投影領域の右辺を基準となる辺とする。

制御部１０４は、タブレットＰＣ８に表示される又は投影されるアノテーション画像の座標若しくはＰＣ２から受信した、タブレットＰＣ８上に表示されるアノテーション画像の座標を投影画像生成部１０５に出力する（ステップＳ７４）。

投影画像生成部１０５は、アノテーション画像の座標に基づいて投影用のアノテーション画像を生成する（ステップＳ７５）。

投影処理部１０６は、検知処理部１０２で算出されたタブレットＰＣ８の座標と投影用のアノテーション画像を内接するように構成された矩形領域の４つの角の座標とに基づいて投影変換用のパラメータを推定し、この推定されたパラメータを用いて、投影用のアノテーション画像に投影変換を行う（ステップＳ７６）。さらに、投影処理部１０６は、ＰＣ８の底辺に付されたマーク及び基準となる辺の情報に基づいて、投影変換されたアノテーション画像に対して回転処理を実行し、回転処理後のアノテーション画像をプロジェクタ４に出力する（ステップＳ７７）。より具体的には、投影処理部１０６は、ＰＣ８の底辺に付されたマークと基準となる辺との距離が最短になり、且つＰＣ８の底辺に付されたマークと基準となる辺が並行になるように、投影変換されたアノテーション画像を回転する。

プロジェクタ４は、アノテーション画像が入力されたときのタブレットＰＣ８の位置に投影変換されたアノテーション画像を投影し（ステップＳ７８）、本処理を終了する。

上記回転処理よれば、ユーザの位置に基づいて撮影領域又は投影領域の４つの辺のうち基準となる１つの辺が選択され、この辺とＰＣ８の底辺に付されたライン状のマークに基づいて、アノテーション画像に対する回転処理が実行されるので、ユーザにとって見やすい向きにアノテーション画像を自動的に回転することができる。尚、上記の実施例では、タブレットＰＣ８の底辺にマークが付されているが、このマークは、タブレットＰＣ８の上部又は左右の側部に付してもよい。

ＰＣ１，ＰＣ２の機能を実現するためのソフトウェアのプログラムが記録されている記録媒体を、ＰＣ１，ＰＣ２に供給し、ＰＣ１，ＰＣ２のＣＰＵが記憶媒体に格納されたプログラムを読み出し実行することによっても、上記実施の形態と同様の効果を奏する。プログラムを供給するための記憶媒体としては、例えば、ＣＤ−ＲＯＭ、ＤＶＤ、又はＳＤカードなどがある。

また、ＰＣ１のＣＰＵが、ＰＣ１の機能を実現するためのソフトウェアのプログラムを実行することによっても、上記実施の形態と同様の効果を奏する。

なお、本発明は、上述した実施の形態に限定されるものではなく、その要旨を逸脱しない範囲内で種々変形して実施することが可能である。

本発明の実施の形態に係る情報処理システムの構成を示すブロック図である。 （Ａ）は、ＰＣ１のハードウエア構成を示すブロック図であり、（Ｂ）は、ＰＣ２のハードウエア構成を示すブロック図である。 タブレットＰＣ８の外観図である。 ＰＣ１及びＰＣ２の機能構成を示すブロック図である。 投影変換された画像がタブレットＰＣ８上に投影される状態を示す図である。 逆投影変換されたアノテーション画像が投影用画像上に形成された状態を示す図である。 （Ａ）は、表示領域２３に描かれたアノテーション画像がタブレットＰＣ８に表示される例を示す図であり、（Ｂ）は、アノテーション画像のファイルがホットスポット２５又は表示領域２３に表示されているタブレットＰＣ８上へドラグ・アンド・ドロップされたときに、当該アノテーション画像がタブレットＰＣ８に表示される例を示す図である。 図８は、表示領域２１に描かれたアノテーション画像が表示領域２３に表示されているタブレットＰＣ８からはみ出ている場合に、ローカル側で当該アノテーション画像の一部がタブレットＰＣ８に表示され、当該アノテーション画像の残りが投影される例を示す図である。 ＰＣ１及びＰＣ２で実行される基本処理を示すフローチャートである。 ＧＵＩをタブレットＰＣ８上に投影する処理及びタブレットＰＣ８上で指定されたモードを実行する処理を示すフローチャートである。 タブレットＰＣ８へ投影されたＧＵＩ画像の一例を示す図である。 ＰＣ１で実行されるコピーモード及び非コピーモードの処理を示すフローチャートである。 ＰＣ１で実行されるコピーモード及び非コピーモードの処理を示すフローチャートである。 （Ａ）は、プロジェクタ４側からテーブル７を見た場合のタブレットＰＣ８と対象物６を含むテーブル７との位置関係を示す図であり、（Ｂ）は、対象物６上を通過するタブレットＰＣ８に投影される部分画像のシーケンスを示す図である。 ＰＣ１で実行される共有モードの処理を示すフローチャートである。 （Ａ）は、机７の領域、カメラ５の撮影領域、プロジェクタ４の投影領域、及びタブレットＰＣ８の位置との関係を示す図であり、（Ｂ）は、カメラ５の撮影領域とタブレットＰＣ８の位置との関係を示す図であり、（Ｃ）は、アノテーション画像の回転処理後のプロジェクタ４の投影領域とタブレットＰＣ８の位置との関係を示す図である。 ＰＣ１により実行されるアノテーション画像の回転処理を示すフローチャートである。

符号の説明

１，２ ＰＣ
３ ネットワーク
４ プロジェクタ
５ カメラ
７ 机
８ タブレットＰＣ
１０ 人感センサ
１０１ 入力処理部
１０２ 検知処理部
１０３ 保存部
１０４ 制御部
１０５ 投影画像生成部
１０６ 投影処理部
２０１ 制御部
２０２ 保存部
２０３ 入力部
２０４ 表示部

Claims (8)

1. 注釈画像を表示する第１表示手段を備え、当該注釈画像又は指示を入力する入力装置と、
   当該入力装置を含む領域を撮影する撮影装置と、
   前記領域に注釈画像を投影する投影装置と、
   前記撮影装置で撮影された撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、
   前記注釈画像又は前記指示を受け付けるための第１画像を生成する生成手段、
   前記検知手段で検出した前記入力装置の位置及び姿勢に基づいて、前記第１画像を前記投影装置用の画像に変換して、前記投影装置に出力する出力手段、
   前記入力装置に入力された座標情報を入力する第１入力手段、
   前記座標情報と前記入力装置上に投影された第１画像とに基づいて、注釈画像又は指示内容を決定し、注釈画像が含まれる場合には、前記出力手段にその注釈画像を前記領域に投影される前記投影装置用の画像に変換して前記投影装置に出力させ、指示内容が含まれる場合には、その指示内容に応じた処理を実行させる、実行手段を有する情報処理装置とを備え、
   前記投影装置は、前記検知される入力装置上に、前記注釈画像又は前記指示内容が反映された画像を投影し、
   前記第１表示手段が前記注釈画像を表示するときには、前記投影装置は、前記検知される入力装置上に、前記注釈画像を投影しないことを特徴とする情報処理システム。
2. 前記情報処理装置にネットワークを介して接続される遠隔端末を備え、
   前記遠隔端末は、前記撮影装置からの撮影画像を表示する第２表示手段と、前記注釈画像又は前記指示を入力する第２入力手段とを備え、
   前記第２入力手段により入力された注釈画像が、前記第２表示手段に表示される入力装置に重なるときには、重なった部分の注釈画像が前記入力装置に送信され、前記第１表示手段が当該重なった部分の注釈画像を表示することを特徴とする請求項１記載の情報処理システム。
3. 前記第２入力手段により入力された注釈画像から、前記重なる部分の注釈画像を除いた残りの注釈画像は、前記投影装置から投影されることを特徴とする請求項２記載の情報処理システム。
4. 前記第２表示手段は、データをドラグアンドドロップにより前記入力装置に転送するホットスポットエリアを含む画面を表示することを特徴とする請求項２記載の情報処理システム。
5. さらに前記入力装置から共有モードの指示が入力され、前記注釈画像の座標が入力された場合には、前記第２表示手段は当該注釈画像を表示し、前記投影装置は当該注釈画像が入力されたときの撮影画像内の入力装置の位置に当該注釈画像を投影することを特徴とする請求項２又は３に記載の情報処理システム。
6. 前記情報処理装置は、前記入力装置が所定時間移動していないか否かを判別する判別手段をさらに備え、
   前記入力装置が所定時間移動していないと判別された場合に、前記第２表示手段は当該注釈画像を表示し、前記投影装置は当該移動していない入力装置の位置に当該注釈画像を投影することを特徴とする請求項２又は３に記載の情報処理システム。
7. 前記情報処理装置は、ユーザの位置を検出するユーザ検知手段を備え、
   前記検知手段は、前記撮影装置で撮影された撮影画像から前記入力装置の少なくとも１カ所に付されたライン状のマークを検知し、
   前記実行手段は、前記ユーザ検知手段により検出されたユーザの位置の検出情報に基づいて、前記撮影装置の撮影領域又は前記投影装置の投影領域の４つの辺から１つの辺を選択し、
   前記出力手段は、前記検知されたライン状のマーク及び前記選択された１つの辺とに基づいて、前記注釈画像に回転処理を実行し、前記投影装置に出力することを特徴とする請求項１乃至６のいずれか１つに記載の情報処理システム。
8. 注釈画像を表示する第１表示手段を備え、当該注釈画像又は指示を入力する入力装置と、当該入力装置を含む領域を撮影する撮影装置と、前記領域に注釈画像を投影する投影装置と接続される情報処理装置であって、
   前記撮影装置で撮影された撮影画像に基づいて前記入力装置の位置及び姿勢を検知する検知手段、
   前記注釈画像又は前記指示を受け付けるための第１画像を生成する生成手段、
   前記検知手段で検出した前記入力装置の位置及び姿勢に基づいて、前記第１画像を前記投影装置用の画像に変換して、前記投影装置に出力する出力手段、
   前記入力装置に入力された座標情報を入力する第１入力手段、
   前記座標情報と前記入力装置上に投影された第１画像とに基づいて、注釈画像又は指示内容を決定し、注釈画像が含まれる場合には、前記出力手段にその注釈画像を前記領域に投影される前記投影装置用の画像に変換して前記投影装置に出力させ、指示内容が含まれる場合には、その指示内容に応じた処理を実行させる、実行手段を備え、
   前記投影装置は、前記検知される入力装置上に、前記注釈画像又は前記指示内容が反映された画像を投影し、
   前記第１表示手段が前記注釈画像を表示するときには、前記投影装置は、前記検知される入力装置上に、前記注釈画像を投影しないことを特徴とする情報処理装置。

Images