JP2012108771A - 画面操作システム - Google Patents

Abstract

【課題】状況により画面操作が制約されることがなく、かつ画面操作を簡便に行うことができるようにする。
【解決手段】情報処理装置１により制御される画像表示装置２の画面４に対してユーザが指示物６を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を情報処理装置に実行させる画面操作システムであり、画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するディスプレイ８と、情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置５を有し、携帯情報装置のカメラで、画像表示装置の画面上の所要の位置に指示物が重なって映るように撮像し、これにより得られた撮像画像情報に基づいて操作情報を取得する。
【選択図】図１

Description

本発明は、情報処理装置によって画像表示装置に表示された画面をユーザに操作させる画面操作システムに関するものである。

情報処理装置では、所要のプログラムにより画像表示装置に画面を表示させ、その画面上のアイコンなどの操作対象をユーザがマウスなどの入力デバイスを用いて操作することで、情報処理装置で実行されるプログラムに対して所要の指示を行うようにした、いわゆるＧＵＩ（Graphical User Interface）による画面操作システムが広く普及している。

一方、画像表示装置にプロジェクタを用いると、大画面を得ることができるため、多人数を対象にした会議などで都合がよいが、画面操作を行うには、プロジェクタを制御する情報処理装置に接続された入力デバイスを用いる必要があり、複数のユーザが画面操作を行う場合には、ユーザが交代で情報処理装置の入力デバイスを操作することになり、不便である。

このようなプロジェクタの画面を対象にした画面操作システムとして、スクリーン上に投影された画面の前で、ユーザが指先などの指示物を動かすことで、画面操作を行うことができるようにした技術が知られている（特許文献１参照）。この技術は、携帯電話端末にプロジェクタを内蔵した場合には、画面の表示中に携帯電話端末を操作すると、プロジェクタの画面が動いて見難くなる不便を解消するものであるが、装置の入力デバイスを操作することなく、画面操作を行うことができるため、一般的なプロジェクタでも利便性を高めることができるものと考えられる。

特開２００９−６４１０９号公報

さて、前記従来の技術は、プロジェクタに併設されたカメラで、スクリーン上の画面を撮像し、ユーザの手などの指示物が画面に重なるように映った撮像画像を解析して、指示物の操作を検出するものであるが、画面上のアイコンなどの操作対象に重なるように指示物を動かす必要があるため、スクリーンが巨大で画面上の操作対象に指示物が届かない場合には、画面操作を行うことができないという問題があった。また、画面操作を行う者は、スクリーンの前に出て行かなければならず、手軽に画面操作を行うことができないという不便があった。

本発明は、このような従来技術の問題点を解消するべく案出されたものであり、その主な目的は、状況により画面操作が制約されることがなく、かつ画面操作を簡便に行うことができるように構成された画面操作システムを提供することにある。

本発明の画面操作システムは、情報処理装置により制御される画像表示装置の画面に対してユーザが指示物を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を前記情報処理装置に実行させる画面操作システムであって、前記画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するディスプレイと、前記情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置を有し、前記カメラにより、前記画像表示装置の画面上の所要の位置に指示物が重なって映るように撮像して得られた撮像画像情報に基づいて前記操作情報を取得するようにした構成とする。

また、本発明の画面操作システムは、情報処理装置により制御される画像表示装置の画面に対してユーザが指示物を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を前記情報処理装置に実行させる画面操作システムであって、前記画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するとともに画面上での指示物によるタッチ操作を検出するタッチパネルディスプレイと、前記情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置を有し、前記カメラにより前記画像表示装置の画面を撮像して得られた撮像画像情報と、その撮像画像が表示された前記タッチパネルディスプレイ上でのタッチ操作で得られた操作位置情報とに基づいて前記操作情報を取得するようにした構成とする。

本発明によれば、ユーザが所持する携帯情報装置で画像表示装置の画面を撮影して画面操作を行うことから、画像表示装置の画面が見える場所にユーザがいれば画面操作を行うことができる。このため、状況により画面操作が制約されることがなく、例えばスクリーンが巨大であるために画面上のアイコンなどの操作対象に指示物が届かない場合でも、画面操作を行うことができ、高い利便性が得られる。

さらに、画面操作を行う者がスクリーンの前に出て行く必要がなく、自席に着席したまま画面操作を行うことができ、また、各人が所持する携帯情報装置を利用して画面操作を行うため、複数のユーザが画面操作を行う場合に、情報処理装置の入力デバイスを交代で操作する面倒がなく、画面操作を簡便に行うことができる。そして、携帯情報装置は、広く普及しているカメラ付き携帯電話端末などで構成することができ、複数のユーザが画面操作を行う場合に専用の装置を人数分用意する必要がなく、導入コストを削減することができる。

本発明の第１実施形態にかかる画面操作システムを示す全体構成図 携帯情報装置５および情報処理装置１の概略構成図 携帯情報装置５で行われる処理の手順を示すフロー図 本発明の第２実施形態にかかる画面操作システムを示す全体構成図 携帯情報装置３１および情報処理装置１の概略構成図 携帯情報装置３１で行われる処理の手順を示すフロー図 画像の歪みを補正する画像補正処理を説明する図 携帯情報装置５および情報処理装置１の概略構成図である。 本発明における画像表示装置の別例を示す斜視図 本発明の画面操作システムの変形例を示す全体構成図

前記課題を解決するためになされた第１の発明は、情報処理装置により制御される画像表示装置の画面に対してユーザが指示物を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を前記情報処理装置に実行させる画面操作システムであって、前記画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するディスプレイと、前記情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置を有し、前記カメラにより、前記画像表示装置の画面上の所要の位置に指示物が重なって映るように撮像して得られた撮像画像情報に基づいて前記操作情報を取得するようにした構成とする。

また、第２の発明は、情報処理装置により制御される画像表示装置の画面に対してユーザが指示物を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を前記情報処理装置に実行させる画面操作システムであって、前記画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するとともに画面上での指示物によるタッチ操作を検出するタッチパネルディスプレイと、前記情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置を有し、前記カメラにより前記画像表示装置の画面を撮像して得られた撮像画像情報と、その撮像画像が表示された前記タッチパネルディスプレイ上でのタッチ操作で得られた操作位置情報とに基づいて前記操作情報を取得するようにした構成とする。

前記第１および第２の発明によると、ユーザが所持する携帯情報装置で画像表示装置の画面を撮影して画面操作を行うことから、画像表示装置の画面が見える場所にユーザがいれば画面操作を行うことができる。このため、状況により画面操作が制約されることがなく、例えばスクリーンが巨大であるために画面上のアイコンなどの操作対象に指示物が届かない場合でも、画面操作を行うことができ、高い利便性が得られる。

さらに、画面操作を行う者がスクリーンの前に出て行く必要がなく、自席に着席したまま画面操作を行うことができ、また、各人が所持する携帯情報装置を利用して画面操作を行うため、複数のユーザが画面操作を行う場合に、情報処理装置の入力デバイスを交代で操作する面倒がなく、画面操作を簡便に行うことができる。そして、携帯情報装置は、広く普及しているカメラ付き携帯電話端末などで構成することができ、複数のユーザが画面操作を行う場合に専用の装置を人数分用意する必要がなく、導入コストを削減することができる。

また、第３の発明は、前記第１若しくは第２の発明において、前記携帯情報装置および前記情報処理装置の少なくともいずれかが、前記画像表示装置の画面内で前記カメラにより撮像された撮像領域に対する指示物の相対的な位置を求める第１の操作位置取得手段と、前記画像表示装置の画面全体に対する撮像領域の絶対的な位置を求める撮像位置取得手段と、前記第１の操作位置取得手段および前記撮像位置取得手段で得られた情報に基づいて、前記画像表示装置の画面全体に対する指示物の絶対的な位置を求める第２の操作位置取得手段と、を備えた構成とする。

これによると、画面操作を行う際に画像表示装置の画面の一部を携帯情報装置で撮像すればよく、画面操作が容易になる。

また、第４の発明は、前記第１乃至第３の発明において、前記携帯情報装置および前記情報処理装置の少なくともいずれかが、指示物の動きによる操作形態を判別する操作形態判別手段を備えた構成とする。

これによると、指示物の動きで多様な指示を行うことができるため、画面操作が容易になる。この場合、タップ、フリック、およびピンチイン／ピンチアウトなどの各操作形態ごとに、選択、画面のスクロールや頁送り、画面の拡大および縮小などの各処理が割り当てられる。

また、第５の発明は、前記第１乃至第４の発明において、前記携帯情報装置および前記情報処理装置の少なくともいずれかが、前記カメラにより前記画像表示装置の画面を斜めから撮像することにより生じる撮像画像の歪みを補正する画像補正手段を備えた構成とする。

これによると、撮像画像の歪みが補正されることで、撮像画像が見やすくなるため、画面操作が容易になる。

以下、本発明の実施の形態を、図面を参照しながら説明する。

（第１実施形態）
図１は、本発明の第１実施形態にかかる画面操作システムを示す全体構成図である。この画面操作システムは、情報処理装置１により制御されるプロジェクタ（画像表示装置）２でスクリーン３上に投影表示された画面４に対してユーザが行った操作に関する操作情報を取得して、その操作情報に応じた処理を情報処理装置１に実行させるものであり、プロジェクタ２の画面４を操作するために、ユーザが所持する携帯情報装置５が用いられる。

携帯情報装置５は、具体的には携帯電話端末（ＰＨＳ端末を含む）、スマートフォン、およびＰＤＡなどで構成され、プロジェクタ２の画面４を撮像するカメラを備えており、ユーザが携帯情報装置５でプロジェクタ２の画面４を撮像し、その撮像画像が表示されたディスプレイ８の画面を見ながら、ユーザが手や指先あるいは指示棒などの指示物６を、プロジェクタ２の画面４上のアイコンなどの操作対象がある所要の位置に重なるように動かすことで、プロジェクタ２の画面４を操作することができる。

携帯情報装置５では、プロジェクタ２の画面４内でカメラの画角に収まる撮像領域７が指などの指示物６とともに撮像され、撮像領域７上の所要の位置に指などの指示物６が重なって映った撮像画像が得られ、この撮像画像情報に基づいて、プロジェクタ２の画面４に対してユーザが指示物６を用いて行った操作に関する操作情報を取得する。

携帯情報装置５と情報処理装置１とは、無線ＬＡＮなどの無線通信媒体を介して通信を行うことができ、撮像画像情報から操作情報を取得する処理が、携帯情報装置５と情報処理装置１とで分担して行われ、携帯情報装置５から所要の情報が情報処理装置１にリアルタイムに送信される。

図２は、図１に示した携帯情報装置５および情報処理装置１の概略構成図である。携帯情報装置５は、カメラ１１と、入力部１２と、手振れセンサ１３と、動体追尾処理部１４と、画像解析部１５と、指示物検出部１６と、操作形態解析部１７と、座標計算部１８と、通信部１９と、を備えている。

動体追尾処理部１４は、入力部１２から出力される撮像画像情報と、手振れセンサ１３から出力される手振れ情報に基づいて、撮像対象物とカメラ１１との相対動作を検知する。

画像解析部１５は、動体追尾処理部１４で得られた情報に基づいて、スクリーン３を認識し、さらにスクリーン３上の画面４の領域を認識する。この画面領域認識は、画面４上の所定位置に表示される標識画像などに基づいて行われる。この標識画像としては、画面４内で特徴のある画像、例えば画面４の左下に表示されるスタートボタンの画像がある。また、画面領域認識のために特別に画面に表示させたマーカーの画像も可能である。

指示物検出部１６は、入力部１２から出力される撮像画像情報と、動体追尾処理部１４で得られた情報に基づいて、動き認識処理により撮像画像全体と動きの違う部分を検知し、その部分が指示物であるかを形状認識処理により判断する。ここでは、指示物の形状（例えば手、指および爪などの形状）に関する特徴点から指示物を認識する。

操作形態解析部（操作形態判別手段）１７は、指示物検出部１６で得られた情報に基づいて、指示物６の動きによる操作形態を判別する。ここで、操作形態には、タップ（指で軽く叩く操作）、フリック（指で軽くはらう操作）、ピンチイン／ピンチアウト（２本指の間を広げたり縮めたりする操作）などのジェスチャ操作などがあり、例えばタップで選択（マウスのクリックやダブルクリックに相当）、フリックで画面のスクロールや頁送り、ピンチイン／ピンチアウトで画面の拡大および縮小の各動作を指示することができる。

座標計算部（第１の操作位置取得手段）１８は、画像解析部１５と操作形態解析部１７で得られた情報に基づいて、撮像領域７上での指示物６の相対的な位置を求める。ここでは、指示物６による指示位置（指示物６が手と認識された場合、その指先の位置）の座標を算出する。

なお、ディスプレイ８はディスプレイ制御部２０により制御され、このディスプレイ制御部２０には、カメラ１１による撮像画像情報が入力部１２を介して入力されて、ディスプレイ８に撮像画像が表示される。

図３は、携帯情報装置５で行われる処理の手順を示すフロー図である。まず、携帯情報装置５のカメラ１１を起動して、プロジェクタ２でスクリーン３上に投影された画面４の撮像を開始すると（ＳＴ１０１）、手振れ補正および動体追尾処理が動体追尾処理部１４にて開始され（ＳＴ１０２）、またスクリーン３およびスクリーン３上の画面４の領域を認識する処理が画像解析部１５にて行われる（ＳＴ１０３）。

そして、カメラ１１の撮像範囲に指などの指示物６が挿入されると、その指示物を認識する処理が指示物検出部１６にて行われ（ＳＴ１０４）、ついで、タップやフリックなどの操作形態を判別する処理が操作形態解析部１７にて行われ、また操作位置、すなわち撮像領域７上での指示物６の相対的な位置を求める処理が座標計算部１８にて行われ（ＳＴ１０５）、これらの処理で取得した撮像画面に関する情報と操作形態および操作位置に関する情報とが通信部１９から情報処理装置１に送信される（ＳＴ１０６）。

図２に示したように、情報処理装置１は、通信部２１と、画像座標解析部２２と、操作座標解析部２３と、操作処理部２４と、表示制御部２５と、を備えている。

表示制御部２５は、プロジェクタ２の表示動作を制御し、プロジェクタ２で表示中の画面情報を画像座標解析部２２に出力する。

画像座標解析部（撮像位置取得手段）２２は、通信部２１で受信した撮像画像情報と、表示制御部２５から出力される表示中の画面情報とに基づいて、プロジェクタ２の画面４全体に対する撮像領域７の絶対的な位置を求める。ここでは、マッチング処理により、画面４全体に対する撮像領域７の位置を求め、これにより特定された撮像領域７に関して詳細な座標を算出する。

操作座標解析部（第２の操作位置取得手段）２３は、通信部２１で受信した指示物６に関する情報、すなわち撮像領域７上での指示物６の相対的な位置に関する情報に基づいて、プロジェクタ２の画面４全体に対する指示物６の絶対的な位置を求める。そして、この指示物６の位置に関する情報に基づいて、画面４上の操作対象（選択メニューやアイコンなど）を判別し、さらに通信部２１で受信したタップやフリックなどの操作形態に関する情報に基づいて、指示物が画面４上でどのような操作を行ったかを示す操作内容に関する情報（操作情報）を出力する。

操作処理部２４は、操作座標解析部２３で得られた操作内容に関する情報（操作情報）に基づいて、その操作内容に応じた処理を実行する。

なお、ここでは、必要とされる各種の処理を携帯情報装置５と情報処理装置１とに割り振っているが、これらの処理は、携帯情報装置５および情報処理装置１のいずれで行うことも可能である。例えば携帯情報装置５の操作形態解析部１７で、タップやフリックなどの操作形態を判別する処理を行うようにしたが、この操作形態の判別処理を情報処理装置１で行うようにしてもよい。

ただし、携帯情報装置５の通信負荷を軽減し、また複数のユーザが携帯情報装置５を用いて画面操作を行う場合の情報処理装置１の演算負荷を軽減するために、携帯情報装置５の処理能力が許す限り、必要とされる処理をできるだけ携帯情報装置５で行う構成とすることが望ましい。

（第２実施形態）
図４は、本発明の第２実施形態にかかる画面操作システムを示す全体構成図である。この画面操作システムは、第１実施形態と同様に、情報処理装置１と、プロジェクタ（画像表示装置）２と、携帯情報装置３１と、からなっており、プロジェクタ２によりスクリーン３上に投影表示された画面４を、ユーザが所持する携帯情報装置３１を用いて操作するものであるが、特にここでは、携帯情報装置３１が、カメラおよび無線通信機能の他に、タッチパネルディスプレイ３２を備えている。

携帯情報装置３１のタッチパネルディスプレイ３２は、カメラによる撮像画像を表示するとともにその画面上での指先などの指示物６によるタッチ操作を検出するものであり、ユーザがカメラでプロジェクタ２の画面４を撮像しながら、その撮像画面が表示されたタッチパネルディスプレイ３２上で指示物６を動かすことで、プロジェクタ２の画面４を操作することができる。

携帯情報装置３１では、プロジェクタ２の画面４内でカメラの画角に収まる撮像領域７が撮像され、これにより得られた撮像画像情報と、撮像領域７が表示されたタッチパネルディスプレイ３２上での指示物６によるタッチ操作で得られた操作位置情報とに基づいて、プロジェクタ２の画面４に対してユーザが指示物６を用いて行った操作に関する操作情報を取得する。

図５は、図４に示した携帯情報装置３１および情報処理装置１の概略構成図である。なお、図２に示した第１実施形態と同一構成のものには同一の符号を付してその詳細な説明は省略する。

携帯情報装置３１では、タッチパネルディスプレイ３２がディスプレイ制御部３３により制御され、このディスプレイ制御部３３には、カメラ１１による撮像画像情報が入力部１２を介して入力されて、撮像画像がタッチパネルディスプレイ３２に表示される。また、ディスプレイ制御部３３では、タッチパネルディスプレイ３２上で指先などの指示物６で行ったタッチ操作が検出され、タッチ位置に関する情報が出力される。

このタッチ位置に関する情報は操作形態解析部１７に入力され、操作形態解析部１７が、タッチ位置に関する情報に基づいて、指示物６の動きによるタップやフリックなどの操作形態を判別する。また、タッチ位置に関する情報は、操作形態解析部１７を介して座標計算部１８に入力され、座標計算部１８が、タッチ位置に関する情報に基づいて、撮像領域７上での指示物６の相対的な位置を求める。

図６は、携帯情報装置３１で行われる処理の手順を示すフロー図である。ここでは、図３に示した第１実施形態と同様に、プロジェクタ２でスクリーン３上に投影された画面４の撮像が開始されると（ＳＴ２０１）、手振れ補正および動体追尾処理を開始し（ＳＴ２０２）、スクリーン３およびスクリーン３上の画面４の領域を認識する処理が行われる（ＳＴ２０３）。そして、ディスプレイ制御部３３から出力されるタッチ位置に関する情報に基づいて、タップやフリックなどの操作形態を判別する処理、および操作位置を算出する処理が行われ（ＳＴ２０４）、これらの処理で取得した撮像画面に関する情報と操作形態および操作位置に関する情報とが情報処理装置１に送信される（ＳＴ２０５）。

情報処理装置１は、第１実施形態と同一であり、同一の処理が行われる。

以上のように、本発明の第１および第２の各実施形態にかかる画面操作システムでは、ユーザが所持する携帯情報装置５，３１でプロジェクタ２の画面４を撮影して画面操作を行うことから、プロジェクタ２の画面４が見える場所にユーザがいれば画面操作を行うことができる。このため、状況により画面操作が制約されることがなく、例えばスクリーン３が巨大であるために画面上のアイコンなどの操作対象に指示物が届かない場合でも、画面操作を行うことができ、高い利便性が得られる。

さらに、画面操作を行う者がスクリーン３の前に出て行く必要がなく、自席に着席したまま画面操作を行うことができ、また、各人が所持する携帯情報装置５，３１を利用して画面操作を行うため、複数のユーザが画面操作を行う場合に、情報処理装置１の入力デバイスを交代で操作する面倒がなく、画面操作を簡便に行うことができる。そして、携帯情報装置５，３１は、広く普及しているカメラ付き携帯電話端末などで構成することができ、複数のユーザが画面操作を行う場合に専用の装置を人数分用意する必要がなく、導入コストを削減することができる。

特に、プロジェクタ２の画面４内の撮像領域７上での指示物６の相対的な位置を求めるとともに、プロジェクタ２の画面４全体に対する撮像領域７の位置を求めて、プロジェクタ２の画面４全体に対する指示物６の絶対的な位置を求める構成としたため、画面操作を行う際にプロジェクタ２の画面４の一部を携帯情報装置５，３１で撮像すればよく、画面操作が容易になる。

また、指示物６の動きによるタップ、フリック、およびピンチイン／ピンチアウトなどの操作形態を判別する構成としたため、各操作形態ごとに、選択、画面のスクロールや頁送り、画面の拡大および縮小などの各処理を割り当てることで、指示物６の動きで多様な指示を行うことができるため、画面操作が容易になる。

なお、第１および第２の各実施形態では、画像表示装置にプロジェクタを用いたが、本発明における画像表示装置は、プロジェクタに限定されるものではなく、プラズマディスプレイパネルや液晶ディスプレイパネルを用いた画像表示装置も適用可能である。

図７は、携帯情報装置５のディスプレイ８に表示される撮像領域７の画像を示す図であり、（Ａ）に、画像の歪みを補正する画像補正処理を行う前の状態を、（Ｂ）に画像補正処理を行った後の状態を、（Ｃ）に画像を拡大表示した状態を、それぞれ示す。図８は、携帯情報装置５および情報処理装置１の概略構成図である。

なお、図８は、前記の第１実施形態に画像補正処理を適用した例を示しており、画像補正処理にかかる要部のみを図示し、特に言及しないものは前記の第１実施形態と同様である。また、ここで説明する画像補正処理は、第１実施形態および第２実施形態のいずれにも適用することができる。

ユーザがスクリーン３を斜めから見る位置で携帯情報装置５のカメラ１１でスクリーン３上の画面４を撮影すると、図７（Ａ）に示すように、スクリーン３上で矩形をなす撮像領域７が歪んだ４角形に表示され、指などの指示物６による操作が難しくなる。そこでここでは、図７（Ｂ），（Ｃ）に示すように、撮像画像を、スクリーン３を正面から見た状態に補正して表示する。このように撮像画像の歪みを補正すると、撮像画像が見やすくなるため、画面操作が容易になる。

図８に示すように、情報処理装置１には、プロジェクタ（画像表示装置）２の画面を斜めから撮像することにより生じる撮像画像の歪みを補正する画像補正部（画像補正手段）３５が設けられており、携帯情報装置５のカメラ１１から出力される撮像画像情報が情報処理装置１に送信されて、画像補正部３５で撮像画像の歪みが補正され、ここで得られた補正済み撮像画像情報が携帯情報装置５に送信される。

携帯情報装置５では、補正済み撮像画像をそのまま表示すると、図７（Ｂ）に示すように、ディスプレイ８の画面内に補正済み撮像画像が小さく表示されるため、携帯情報装置５の拡大機能を用いて、図７（Ｃ）に示すように、補正済み撮像画像を拡大表示する。

なお、ここでは、画像補正処理の演算負荷が大きいため、情報処理装置１で画像補正処理を行うようにしたが、携帯情報装置５が高い処理能力を備えたものであれば、携帯情報装置５で画像補正処理を行うようにしてもよい。

図９は、本発明における画像表示装置の別例を示す斜視図である。この画像表示装置４１は、携帯型情報処理装置４２に内蔵されるものであり、スクリーン３に画面４を投影するための光学部品が収容された光学エンジンユニット４３と、この光学エンジンユニット４３内の光学部品を制御するための基板などが収容された制御ユニット４４とで構成され、光学エンジンユニット４３は制御ユニット４４に回動自在に支持されている。なお、この画像表示装置４１は、光源に半導体レーザを用いたものである。

携帯型情報処理装置４２の筐体４５におけるキーボード４６の裏面側には、光ディスク装置などの周辺機器が取り替え可能に収容される収容スペース、いわゆるドライブベイが形成されており、このドライブベイに画像表示装置４１の筐体４７が取り付けられ、この筐体４７に対して光学エンジンユニット４３および制御ユニット４４が出し入れ可能に設けられており、使用時には光学エンジンユニット４３および制御ユニット４４を引き出した状態で、光学エンジンユニット４３を回動させて、光学エンジンユニット４３からのレーザ光の投射角度を調整することで、画面４をスクリーン３上に適切に表示させることができる。

この画像表示装置４１は、携帯型情報処理装置４２に内蔵されるため、比較的少人数の会議などで簡便に使用することができ、また携帯型情報処理装置４２のディスプレイ４８より格段に大きな画面４を表示させることができるため、ユーザは自席に着席したまま画面４を見ることができる。この画像表示装置４１を、前記の本発明による画面操作システムと組み合わせて用いると、ユーザは、携帯型情報処理装置４２を交替で操作する面倒がなく、各人が所持する携帯情報装置５，３１を利用して自席に着席したまま、画像表示装置４１の画面操作を行うことができ、高い利便性が得られる。

図１０は、本発明による画面操作システムの変形例を示す全体構成図である。この画面操作システムは、情報処理装置５１により制御される画像表示装置５２で表示される画面と同一の画面を遠隔地や別室にある画像表示装置５３に表示させる遠隔表示システムにおいて、画像表示装置５３の画面を見ているユーザが、携帯情報装置５を用いて情報処理装置５１の出力画面を操作することができるようにしたものである。

この画面操作システムでは、Ａ地点にある情報処理装置５１がネットワークを介してＢ地点にある中継装置５４と接続されて、表示信号が情報処理装置５１から中継装置５４に送信され、中継装置５４が画像表示装置５３を制御して画面を表示する。携帯情報装置５は、前記の第１実施形態で示したものであり、第１実施形態と同様の要領で画面操作を行えばよい。

情報処理装置５１は、第１実施形態で示した情報処理装置１と同一構成のものでよく、携帯情報装置５との間での通信が、ネットワークおよび中継装置５４を介して行われる。中継装置５４と携帯情報装置５とは、無線ＬＡＮなどの無線通信媒体を介して通信を行うことができる。

なお、ここでは、第１実施形態で示した携帯情報装置５を用いた例を示したが、第２実施形態で示した携帯情報装置３１をこの画面操作システムに適用することも可能である。

本発明にかかる画面操作システムは、状況により画面操作が制約されることがなく、かつ画面操作を簡便に行うことができる効果を有し、情報処理装置によって画像表示装置に表示された画面をユーザに操作させる画面操作システムなどとして有用である。

１ 情報処理装置
２ プロジェクタ
３ スクリーン
４ 画面
５，３１ 携帯情報装置
６ 指示物７ 撮像領域
８ ディスプレイ
１１ カメラ
１７ 操作形態解析部（操作形態判別手段）
１８ 座標計算部（第１の操作位置取得手段）
１９ 通信部
２２ 画像座標解析部（撮像位置取得手段）
２３ 操作座標解析部（第２の操作位置取得手段）
３２ タッチパネルディスプレイ
３５ 画像補正部（画像補正手段）

Claims (5)

1. 情報処理装置により制御される画像表示装置の画面に対してユーザが指示物を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を前記情報処理装置に実行させる画面操作システムであって、
   前記画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するディスプレイと、前記情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置を有し、
   前記カメラにより、前記画像表示装置の画面上の所要の位置に指示物が重なって映るように撮像して得られた撮像画像情報に基づいて前記操作情報を取得するようにしたことを特徴とする画面操作システム。
2. 情報処理装置により制御される画像表示装置の画面に対してユーザが指示物を用いて行った操作に関する操作情報を取得して、その操作情報に応じた処理を前記情報処理装置に実行させる画面操作システムであって、
   前記画像表示装置の画面を撮像するカメラと、このカメラによる撮像画像を表示するとともに画面上での指示物によるタッチ操作を検出するタッチパネルディスプレイと、前記情報処理装置との間で情報を通信する通信部と、を備えた携帯情報装置を有し、
   前記カメラにより前記画像表示装置の画面を撮像して得られた撮像画像情報と、その撮像画像が表示された前記タッチパネルディスプレイ上でのタッチ操作で得られた操作位置情報とに基づいて前記操作情報を取得するようにしたことを特徴とする画面操作システム。
3. 前記携帯情報装置および前記情報処理装置の少なくともいずれかが、
   前記画像表示装置の画面内で前記カメラにより撮像された撮像領域に対する指示物の相対的な位置を求める第１の操作位置取得手段と、
   前記画像表示装置の画面全体に対する撮像領域の絶対的な位置を求める撮像位置取得手段と、
   前記第１の操作位置取得手段および前記撮像位置取得手段で得られた情報に基づいて、前記画像表示装置の画面全体に対する指示物の絶対的な位置を求める第２の操作位置取得手段と、を備えたことを特徴とする請求項１若しくは請求項２に記載の画面操作システム。
4. 前記携帯情報装置および前記情報処理装置の少なくともいずれかが、
   指示物の動きによる操作形態を判別する操作形態判別手段を備えたことを特徴とする請求項１乃至請求項３のいずれかに記載の画面操作システム。
5. 前記携帯情報装置および前記情報処理装置の少なくともいずれかが、
   前記カメラにより前記画像表示装置の画面を斜めから撮像することにより生じる撮像画像の歪みを補正する画像補正手段を備えたことを特徴とする請求項１乃至請求項４のいずれかに記載の画面操作システム。

Images