JP2005038008A

JP2005038008A - 画像処理方法、画像処理装置

Info

Publication number: JP2005038008A
Application number: JP2003197267A
Authority: JP
Inventors: Hideo Noro; 英生野呂; Yasuhiro Okuno; 泰弘奥野
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-07-15
Filing date: 2003-07-15
Publication date: 2005-02-10

Abstract

【課題】観察者の興味に応じて仮想物体に関する情報の表示制御を行う技術を提供すること。
【解決手段】仮想空間画像生成部３０２はＨＭＤの位置姿勢に応じた仮想オブジェクトの画像を生成する。アノテーションデータ表示制御部３０３は注視している仮想オブジェクトのＩＤを特定し、仮想オブジェクトが注視され続けている時間ｔをカウントする。ｔ≧Ｔ１の場合、仮想空間画像生成部３０２は上記ＩＤに対応するアノテーションデータを用いて、アノテーションの画像を生成し、仮想オブジェクトの位置から若干ずれた位置に位置させる。合成部３０５は、入力した現実空間の画像と仮想空間の画像（生成した仮想オブジェクトの画像、ｔ≧Ｔ１の場合には更に、生成したアノテーションの画像）との合成画像を生成する。
【選択図】図３

Description

【０００１】
【発明の属する技術分野】
本発明は、頭部装着型表示装置を介して見える仮想物体に関する情報を頭部装着型表示装置を装着する観察者に対して提示する技術に関するものである。
【０００２】
【従来の技術】
近年、複合現実感技術（ＭＲ技術）に関する研究が盛んに行われている。複合現実感技術とは、現実空間と仮想空間とを融合した空間（複合現実空間）を観察者に対して提供するための技術である。観察者に対して複合現実空間を提供する方法としては一般には、観察者の頭部に装着されたＨＭＤ（ヘッドマウントディスプレイ）に備わっている表示画面上に複合現実空間を表す画像を表示するという方法がある。
【０００３】
ＭＲ技術の応用としては例えば、現実空間における空き地に仮想物体としてＣＧ（ＣｏｍｐｕｔｅｒＧｒａｐｈｉｃｓ）で表現されたビルを建てたり、観察者の周囲に仮想物体としてＣＧで表現された魚を泳がせたりといったことができる。
【０００４】
ＣＧのビルにしても、ＣＧの魚にしても、観察者はＣＧで表示されたそれら物体に関する情報を知りたいと思うことがある。魚の場合であれば、俗称や学名、食餌、体長や主な生息地等である。よってその場合には、物体に関する情報をアノテーションとして観察者に提示する必要があるので、ＨＭＤの表示画面上において、物体のＣＧ近傍にアノテーションのデータを表示させ、観察者に物体の情報を提示する。
【０００５】
このアノテーションを表示する際に、背景色に対してアノテーションが目立つように色調整する技術が従来から開示されている（例えば特許文献１を参照）。この技術として例えば、
・色変更が所定値以上の場合は、表示位置を変更する。
【０００６】
・テキストの色を設定するために、テキスト情報を囲むバウンダリーボックス領域内の現実画像の色の平均値を求め、その補色をテキスト色として設定する。
がある。
【０００７】
【特許文献１】
特開２００２−１６３６７０号公報
【０００８】
【発明が解決しようとする課題】
しかしながら、ＨＭＤの表示画面上に多数の物体が表示されると、それに伴って夫々の物体に対するアノテーションも同時に表示されることになるので、ＨＭＤの表示画面はアノテーションが込み入って表示されることになり、この表示画面を見る観察者に不快感を与える。また、臨場感やＭＲ特有の感覚である現実との融合感が著しく損なわれることにもなる。
【０００９】
また、情報提示をする物体の数を絞り、夫々の物体のＣＧとアノテーションを一定時間間隔やあるコンテンツ制作者の定めるシナリオやストーリーに沿った順で表示する場合も考えられるが、この場合、コンテンツ制作者は制作にあたって情報提示のタイミングを考慮しなければならず、更に観察者にとっては必ずしも自分が知りたい物体の情報が提示されているわけではないので、フラストレーションがたまる、という問題がある。
【００１０】
本発明は以上の問題に鑑みてなされたものであり、その目的は、観察者の興味に応じて仮想物体に関する情報の表示制御を行う技術を提供することにある。
【００１１】
【課題を解決するための手段】
本発明の目的を達成するために、例えば本発明の画像処理方法は以下の構成を備える。
【００１２】
すなわち、頭部装着型表示装置と接続しており、外部の計測装置によって計測された前記頭部装着型表示装置の位置姿勢に応じた仮想空間画像を生成して前記頭部装着型表示装置の表示部に出力する画像処理装置が行う画像処理方法であって、
前記計測装置によって計測された位置姿勢情報を参照して、前記仮想空間内に設定されたオブジェクトのうち、注視されているオブジェクトを特定する特定工程と、
当該特定工程で特定したオブジェクトが、第１の時間以上注視されている場合、当該オブジェクトに関する情報を前記表示部上に表示する表示制御工程と
を備えることを特徴とする。
【００１３】
本発明の目的を達成するために、例えば本発明の画像処理装置は以下の構成を備える。
【００１４】
すなわち、頭部装着型表示装置と接続しており、外部の計測装置によって計測された前記頭部装着型表示装置の位置姿勢に応じた仮想空間画像を生成して前記頭部装着型表示装置の表示部に出力する画像処理装置であって、
前記計測装置によって計測された位置姿勢情報を参照して、前記仮想空間内に設定されたオブジェクトのうち、注視されているオブジェクトを特定する特定手段と、
当該特定手段が特定したオブジェクトが、第１の時間以上注視されている場合、当該オブジェクトに関する情報を前記表示部上に表示する表示制御手段とを備えることを特徴とする。
【００１５】
【発明の実施の形態】
以下添付図面を参照して、本発明を好適な実施形態に従って詳細に説明する。
【００１６】
［第１の実施形態］
図１は観察者に対して複合現実空間を体感させると共に、観察者の興味に応じた仮想オブジェクトに関する情報を観察者に提示するシステムの模式図である。
【００１７】
同図において１００は観察者で、頭部装着型表示装置としてのＨＭＤ１１０を介して現実空間と仮想空間とが融合された複合現実空間を体感する。同図では１６０が仮想オブジェクトの配置可能な領域であるので、観察者１００はこの空間１６０内での複合現実空間を体感することになる。１７０は現実物体である。１１０はＨＭＤで、図２に示す構成を備える。
【００１８】
図２は本実施形態で用いるＨＭＤ１１０の構成を示す図である。ＨＭＤ１１０は、ＬＣＤ等の小型表示装置１１２と、小型ビデオカメラ１１１、及びプリズム１１４、１１５で構成される。
【００１９】
小型ビデオカメラ１１１は観察者の頭部が向いている方向の現実空間を撮像し、撮像した現実空間の画像をコンピュータ１４０に出力する。小型表示装置１１２は位置姿勢センサ１１３、トランスミッタ１３０、本体１３１の夫々によって求められるＨＭＤ１１０の位置姿勢に応じた合成画像（後述のコンピュータ１４０により生成される、小型ビデオカメラ１１１により撮像された現実空間の画像と、仮想空間の画像との合成画像）を表示する。小型表示装置１１２は観察者１００の眼前に常に位置しているので、観察者１００は自分の頭部の向いている方向に応じた合成画像を小型表示装置１１２の表示画面上に見ることができる。
【００２０】
位置姿勢センサ１１３はＨＭＤ１１０に固定して取り付けられており、トランスミッタ１３０が発生する交流磁界を検知し、検知結果に応じた信号を本体（位置姿勢計測部）１３１に出力する。本実施形態では位置姿勢センサ１１３として、米国Ｐｏｌｈｅｍｕｓ社製ＦＡＳＴＲＡＫ（登録商標）を用いる。
【００２１】
トランスミッタ１３０は本体１３１による制御に基づいて交流磁界を発生させる。本体（位置姿勢計測部）１３１は位置姿勢センサ１１３が検知した磁界の変化を求め、求めた変化に基づいて、ＨＭＤ１１０の（厳密には位置姿勢センサ１１３の）位置姿勢を求め、求めた位置姿勢情報をコンピュータ１４０に出力する。
【００２２】
上記位置姿勢センサ１１３、トランスミッタ１３０、及び本体１３１を用いた位置姿勢の計測方法については周知の技術であるので、これ以上の詳細な説明は省略する。
【００２３】
コンピュータ１４０は一般にはＰＣ（パーソナルコンピュータ）やワークステーションなどにより構成されるものであって、本体１３１から出力されたＨＭＤ１１０の位置姿勢情報を用いて、この位置姿勢に応じた仮想空間の画像を生成し、生成した仮想空間の画像と、ＨＭＤ１１０の小型ビデオカメラ１１１から出力された現実空間の画像とを合成した合成画像を生成してＨＭＤ１１０の小型表示装置１１２に出力する処理を行う。
【００２４】
なお、コンピュータ１４０は合成画像を生成する際、各仮想オブジェクトの画像と現実物体１７０との前後関係を考慮し、適切な隠れ処理を行ったオブジェクト画像を現実空間画像に合成する。これにより、観察者１００はあたかも現実空間内に仮想オブジェクトが存在するかのような映像を観察することになる。コンピュータ１４０が行う処理の詳細については後述する。
【００２５】
図３はコンピュータ１４０の機能構成示す図である。なお同図において、仮想オブジェクトデータＤＢ（データベース）３０１、アノテーションデータＤＢ３０４は本実施形態では夫々のデータを保持するハードディスクやＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭなどの記憶媒体を含む記憶装置である。また、仮想空間画像生成部３０２、アノテーションデータ表示制御部３０３、合成部３０５は本実施形態ではプログラムにより構成され、コンピュータ１４０のＣＰＵにより実行されることで、各部の機能を実現する。なお、上述の各部の実現形態はこれに限定されるものではない。
【００２６】
同図において３０１は仮想オブジェクトデータＤＢ３０１で、仮想空間における各仮想オブジェクト毎のオブジェクトデータを保持する。オブジェクトデータには、仮想オブジェクトの形状データやテクスチャデータ等の仮想オブジェクトの画像を生成するために必要なデータや、仮想オブジェクトの仮想空間における位置データ（仮想空間において定位置に静止しているものであればその定位置のデータ、仮想空間において位置を常に／もしくは適当な時間間隔で変化させるものであれば、移動する各位置のデータ）等がこれに含まれる。なお、仮想オブジェクトの移動を仮想空間画像生成部３０２が制御する場合には、位置データは初期位置のデータのみとなる。
【００２７】
また、各仮想オブジェクトのオブジェクトデータには固有のＩＤが付けられており、例えばＩＤ＝５の仮想オブジェクトは現在仮想空間のどの位置に位置するのかといったように、各オブジェクトを管理することができる。図６は、仮想オブジェクトデータＤＢ３０１に保持されている、各オブジェクトデータを示す図である。
【００２８】
上述の通り、各オブジェクトデータにはＩＤが付けられおり、「ＩＤ＝２の仮想オブジェクトのオブジェクトデータはオブジェクトデータ２」というように、各オブジェクトデータを管理している。
【００２９】
仮想空間画像生成部３０２は、本体１３１から出力されたＨＭＤ１１０の位置姿勢情報に応じた仮想空間の画像を生成する処理を行う。この「仮想空間の画像」は基本的には、仮想オブジェクトの画像により構成されているのであるが、この仮想オブジェクトが所定時間以上注視され続けている場合にはこの仮想オブジェクトに係る説明文が記載された仮想物体（アノテーション）の画像が含まれる。
【００３０】
「仮想オブジェクトの画像」の生成については、本体１３１から出力されたＨＭＤ１１０の位置姿勢と、上記仮想オブジェクトデータＤＢ３０１が保持するオブジェクトデータを用いて、この位置姿勢に応じた仮想オブジェクトの画像（ＨＭＤ１１０の位置を視点位置、ＨＭＤ１１０の姿勢を視線方向とした場合に、この視点位置からこの視線方向に、予め決まった画角などで決まる視界内に見える仮想オブジェクトの画像）を生成する。なお、所定の視点位置から見た３次元仮想物体の画像の生成方法については周知の技術であるので、ここでの説明は省略する。
【００３１】
なお、仮想オブジェクトが仮想空間において位置を常に／もしくは適当な時間間隔で変化させるものであれば、その移動の制御も行う。また、予めストーリーデータがコンピュータ１４０に保持されている場合には、仮想空間画像生成部３０２は、ストーリーの進行に伴い、逐次仮想オブジェクトの登場のタイミング制御や形状、色の変化制御なども行う。
【００３２】
一方、「アノテーションの画像」の生成については、本体１３１から出力されたＨＭＤ１１０の位置姿勢と、後述のアノテーションデータＤＢ３０４が保持するアノテーションデータ（上記夫々の仮想オブジェクトに対する説明文が記載された仮想物体のデータ）のうち、後述のアノテーションデータ表示制御部３０３が指示したアノテーションデータとを用いて、ＨＭＤ１１０の位置姿勢から説明文が見えるように、アノテーションデータ表示制御部３０３が後述の処理により特定した「注視されている仮想オブジェクト」に対する説明文が記載された仮想物体（アノテーション）を生成する。なお、このアノテーションも上記仮想オブジェクトと同様に３次元仮想物体であるので、アノテーションの画像の生成方法についても仮想オブジェクトと同様の処理により行われる。
【００３３】
アノテーションデータＤＢ３０４は、上記夫々の仮想オブジェクトに対する説明文が記載された仮想物体のデータ（アノテーションデータ）を保持している。アノテーションデータとしては、例えば上記夫々の仮想オブジェクトに対する説明文が記載されたテクスチャのデータ、そしてこのテクスチャデータを貼り付ける対象（小型表示装置１１２の表示画面上に表示されるアノテーション）の形状データにより構成される。
【００３４】
また、夫々のアノテーションデータには、それがどの仮想オブジェクトに対する説明文が記載されたものであるかを示すために、対応する仮想オブジェクトのＩＤが付けられている。図７は、アノテーションデータＤＢ３０４に保持されている各アノテーションデータを示す図である。
【００３５】
上述の通り、各アノテーションデータには対応する仮想オブジェクトのＩＤが付けられており、例えばアノテーションデータ２はＩＤ＝２の仮想オブジェクトに対するアノテーションのデータである。
【００３６】
アノテーションデータ表示制御部３０３は、本体１３１から出力されたＨＭＤ１１０の位置姿勢情報と、仮想オブジェクトデータＤＢ３０１に保持されている各仮想オブジェクトの位置情報（仮想オブジェクトの移動制御を仮想空間画像生成部３０２が行う場合には、その仮想空間画像生成部３０２から得られる仮想オブジェクトの位置情報）を用いて、注視されている仮想オブジェクトを特定する。
【００３７】
注視されている仮想オブジェクトの特定方法は特には限定しないがその一例について以下に説明する。アノテーションデータ表示制御部３０３は、本体１３１から出力されたＨＭＤ１１０の位置姿勢情報を参照し、ＨＭＤ１１０の位置を視点位置、ＨＭＤ１１０の姿勢成分を方向ベクトルとするベクトルが示す方向を視線方向とした場合に、視点位置から視線方向に延長した直線（視線直線）と交差する仮想オブジェクトを、注視されている仮想オブジェクトとして特定する。視線直線と交差する仮想オブジェクトが複数存在した場合には、視点位置に最も近い仮想オブジェクトを注視されているオブジェクトとして特定する。
【００３８】
上述の通り、各仮想オブジェクトの位置情報は仮想オブジェクトデータＤＢ３０１に保持されたオブジェクトデータから（仮想オブジェクトの移動制御を仮想空間画像生成部３０２が行う場合には、その仮想空間画像生成部３０２から）得ることができるので、どの仮想オブジェクトが視線直線と交差するのかは算術的に求めることができる（ただし実際には仮想オブジェクトの位置と視線直線が交差することは希であるので、例えば仮想オブジェクトの位置を中心とした所定サイズの球を仮想的に設定し、視線直線がどの仮想オブジェクトの球と交差するのかを求めても良い）。
【００３９】
また各オブジェクトデータにはＩＤが付けられているので、視線直線と交差する仮想オブジェクトのＩＤも同時に得ることができる。よって、アノテーションデータ表示制御部３０３はこのＩＤに対応するアノテーションデータをアノテーションデータＤＢ３０４から取得することで、注視している仮想オブジェクトのアノテーションデータを特定することができる。
【００４０】
ここで、アノテーションデータ表示制御部３０３は、注視されている仮想オブジェクトとして特定された仮想オブジェクトが、注視され続けている時間をカウントする。ここで、アノテーションデータ表示制御部３０３は、注視されている仮想オブジェクトを常に特定する処理を行っているが、前回特定した仮想オブジェクトのＩＤと今回特定した仮想オブジェクトのＩＤとが異なってしまった場合（他の仮想オブジェクトが注視されているとされた場合、もしくは注視している仮想オブジェクトが視界から消えてしまった場合など）にはこのカウントを０にリセットする。
【００４１】
一方、カウントした時間が所定時間以上（例えばＴ１以上）になった場合には、この仮想オブジェクトに対するアノテーションデータに従ったアノテーションの画像をＨＭＤ１１０の小型表示装置１１２に表示すべきと判断し、仮想空間画像生成部３０２に、この仮想オブジェクトのアノテーションデータ、及びこの仮想オブジェクトの位置情報（上述の通り、各仮想オブジェクトの位置情報は仮想オブジェクトデータＤＢ３０１に保持されたオブジェクトデータから（仮想オブジェクトの移動制御を仮想空間画像生成部３０２が行う場合には、その仮想空間画像生成部３０２から）得ることができる）を出力する。即ち、仮想空間画像生成部３０２に、この仮想オブジェクトのアノテーションの画像を生成するよう、指示する。
【００４２】
仮想空間画像生成部３０２はアノテーションデータ表示制御部３０３によりアノテーションの画像の生成の指示を受けると、受けたアノテーションデータを用いて、上記仮想オブジェクトの画像の生成と同様の処理を行い、アノテーションの画像を生成する。
【００４３】
また、このアノテーションの仮想空間における位置は仮想オブジェクトの近傍であることが好ましいので、仮想空間画像生成部３０２は、アノテーションデータ表示制御部３０３から受けた仮想オブジェクトの位置のデータを用いて、この位置から若干ずれた位置（但し、アノテーションに対する焦点を仮想オブジェクトに対する焦点と略一致させるため、視点位置からアノテーションまでの奥行きが、視点位置から仮想オブジェクトまでの奥行きとほぼ同じであることが条件である）にアノテーションを位置させる。
【００４４】
仮想空間画像生成部３０２は以上の処理により、各仮想オブジェクトの画像と、アノテーションの画像とを生成することができ、これにより、仮想空間の画像を生成することができる。
【００４５】
合成部３０５は仮想空間画像生成部３０２から出力された仮想空間の画像と、ＨＭＤ１１０の小型ビデオカメラ１１１から出力された現実空間の画像とを合成した合成画像を生成、ＨＭＤ１１０の小型表示装置１１２に出力する。
【００４６】
これより、ＨＭＤ１１０の小型表示装置１１２には、時間Ｔ１以上注視続けた仮想オブジェクトに対するアノテーションの画像を表示させることができる。図８は仮想オブジェクトを魚や岩などに適用した場合に、ＨＭＤ１１０の小型表示装置１１２に表示された、時間Ｔ１以上注視続けた仮想オブジェクト（魚）に対するアノテーションの表示例を示す図である。
【００４７】
同図において８００は小型表示装置１１２の表示画面で、８０１は時間Ｔ１以上注視続けた仮想オブジェクトの画像、８０２は仮想オブジェクト８０１に対するアノテーションの画像を示す。なお、説明文の表示形態はこれに限定されるものではなく、他の表示形態であっても良い。また、同図では仮想オブジェクトの適用対象は魚や岩などであったが、これに限定されるものではない。
【００４８】
図４は、コンピュータ１４０が行う上述の処理のフローチャートである。各ステップにおける処理については上述の通りであるので、ここでは簡単に説明する。まず、仮想空間画像生成部３０２は、本体１３１から出力されたＨＭＤ１１０の位置姿勢情報を入力する（ステップＳ４０１）。次に、合成部３０５は、ＨＭＤ１１０の小型ビデオカメラ１１１から、現実空間の画像を入力する（ステップＳ４０２）。ステップＳ４０１，Ｓ４０２の各ステップにおける処理の順序はこれに限定されるものではない。
【００４９】
次に、仮想空間画像生成部３０２は、本体１３１から出力されたＨＭＤ１１０の位置姿勢情報を用いて、この位置姿勢に応じた仮想オブジェクトの画像（ＨＭＤ１１０の位置を視点位置、ＨＭＤ１１０の姿勢成分を方向ベクトルとするベクトルが示す方向を視線方向とした場合に、この視点位置からこの視線方向に、予め決まった画角などで決まる視界内に見える仮想オブジェクトの画像）を生成する（ステップＳ４０３）。
【００５０】
次に、アノテーションデータ表示制御部３０３は、注視している仮想オブジェクトのＩＤを特定する（ステップＳ４０４）。ここで、アノテーションデータ表示制御部３０３は、注視されている仮想オブジェクトが、注視され続けている時間ｔをカウントする（ステップＳ４０５）。そしてｔ≧Ｔ１となった場合、処理をステップＳ４０６に進め、アノテーションデータ表示制御部３０３はステップＳ４０４で特定したＩＤに対応するアノテーションデータをアノテーションデータＤＢ３０４から特定し、特定したアノテーションデータを、注視されている仮想オブジェクトの位置情報と共に仮想空間画像生成部３０２に出力する（ステップＳ４０６）。
【００５１】
仮想空間画像生成部３０２はアノテーションデータ表示制御部３０３によりアノテーションの生成の指示を受けると、受けたアノテーションデータを用いて、上記仮想オブジェクトの画像の生成と同様の処理を行い、アノテーションの画像を生成し、更に、アノテーションデータ表示制御部３０３から受けた仮想オブジェクトの位置のデータを用いて、この位置から若干ずれた位置にアノテーションを位置させる（ステップＳ４０７）。
【００５２】
そして、合成部３０５は、ステップＳ４０２で入力した現実空間の画像と、仮想空間の画像（ステップＳ４０３で生成した仮想オブジェクトの画像、そしてｔ≧Ｔ１の場合には更に、ステップＳ４０７で生成したアノテーションの画像）との合成画像を生成する（ステップＳ４０８）。そしてこの合成画像は小型表示装置１１２に出力される（ステップＳ４０９）。
【００５３】
以上の処理によって、小型表示装置１１２の表示画面上に多数の仮想オブジェクトが表示されていても、観察者の所望の仮想オブジェクトのみの説明を表示させることができ、見やすい表示画面を実現させることができる。これにより、観察者に不要な不快感を与えず、更には、臨場感や現実との融合感も損なわずに済む。
【００５４】
また、簡単なアクション（所望の仮想オブジェクトを所定時間以上注視し続ける）により、説明文が見たい仮想オブジェクトを指示することができる。
またアノテーション提示のタイミングは観察者が決定することになるため、コンテンツ制作者がシナリオやストーリーの制作にあたって仮想オブジェクトのアノテーション提示タイミングを考慮する手間を省くことができる。観察者にとっては注視している仮想オブジェクトは、多くの場合詳細を知りたい仮想オブジェクトであるため、結果として、詳細を知りたい仮想オブジェクトのアノテーションが提示されることになり、アノテーション提示によるフラストレーションがたまる、という問題は軽減できる。
【００５５】
なお上記説明では触れなかったが、注視している仮想オブジェクトに対するアノテーションの画像が表示されている状態で、この仮想オブジェクトに対する注視をやめた場合、その時点から、若しくは所定時間後このアノテーションの画像の表示をやめる。しかし再度、この仮想オブジェクトに対してＴ１以上の時間注視し続けた場合には、再びこの仮想物体に対するアノテーションの画像が表示される。
【００５６】
なお本実施形態では、注視している仮想オブジェクトを特定する場合などには、各仮想オブジェクト固有に付けられたＩＤを用いていたが、特定方法はこれに限定されるものではない。
【００５７】
また本実施形態では、位置姿勢センサ１１３として、米国Ｐｏｌｈｅｍｕｓ社製ＦＡＳＴＲＡＫ（登録商標）を用いていたが、これに限定されるものではない。
【００５８】
また本実施形態ではビデオシースルータイプのＨＭＤを用いていたが、光学シースルータイプのものを用いても良い。その場合、合成部３０５は、仮想オブジェクトの画像のみによる仮想空間の画像を出力、もしくは、仮想オブジェクトの画像とアノテーションの画像とを含む仮想空間の画像を出力することになる。
【００５９】
また、本実施形態におけるアノテーションは、仮想オブジェクトに関する情報として、仮想オブジェクトに対する説明文が記載された仮想物体としたが、これに限定されるものではなく、例えば仮想オブジェクトのＣＧに関する説明文が記載された仮想物体としても良い。
【００６０】
［第２の実施形態］
第１の実施形態では、仮想オブジェクトを所定時間Ｔ１以上注視し続けると、この仮想物体に対するアノテーションの画像が小型表示装置１１２の表示画面上に表示されていた。本実施形態では、更に注視続けると、「観察者はこの仮想物体に対する更に詳細な説明を要求している」と解釈して、より詳細な説明文が記載されたアノテーションの画像に切り替えて表示する。
【００６１】
本実施形態は基本的には第１の実施形態と同じであるが、アノテーションデータ表示制御部３０３が行う処理が異なり、更に、アノテーションデータＤＢ３０４に保持されるアノテーションデータも異なる。図９は、本実施形態に係るアノテーションデータＤＢ３０４に保持されている各アノテーションデータを示す図である。
【００６２】
本実施形態では、各仮想オブジェクトに対する説明文が記載された仮想物体のデータ（アノテーションデータ）は２種類あり、第１のアノテーションデータは第１の実施形態におけるアノテーションデータと同様のもので、第２のアノテーションデータは、第１のアノテーションデータよりも詳細な説明文が記載された仮想物体のデータである。第１のアノテーションデータ、第２のアノテーションデータには、それがどの仮想オブジェクトに対する説明文であるかを示すために、対応する仮想オブジェクトのＩＤが付けられている。
【００６３】
例えばアノテーションデータ_２ ^１はＩＤ＝２の仮想オブジェクトに対する第１のアノテーションデータ、アノテーションデータ_０ ^２はＩＤ＝０の仮想オブジェクトに対する第２のアノテーションデータを示す。
【００６４】
図５は、コンピュータ１４０が行う本実施形態に係る処理のフローチャートである。ステップＳ５０１からステップＳ５０４までの各ステップにおける処理は夫々、ステップＳ４０１からステップＳ４０４までの各ステップにおける処理と同じであるので説明を省略する。
【００６５】
そしてアノテーションデータ表示制御部３０３は、注視されている仮想オブジェクトが、注視され続けている時間ｔをカウントする。そしてｔ≧Ｔ２（＞Ｔ１）となった場合（ステップＳ５０６）、処理をステップＳ５０７に進め、アノテーションデータ表示制御部３０３はステップＳ５０４で特定したＩＤに対応する第２のアノテーションデータをアノテーションデータＤＢ３０４から特定し、特定したアノテーションデータを、注視されている仮想オブジェクトの位置情報と共に仮想空間画像生成部３０２に出力する（ステップＳ５０７）。
【００６６】
また、時間ｔがｔ＜Ｔ２である場合には処理をステップＳ５０６からステップＳ５０８に移行し、ｔ≧Ｔ１である場合、処理をステップＳ５０９に進め、アノテーションデータ表示制御部３０３はステップＳ５０４で特定したＩＤに対応する第１のアノテーションデータをアノテーションデータＤＢ３０４から特定し、特定したアノテーションデータを、注視されている仮想オブジェクトの位置情報と共に仮想空間画像生成部３０２に出力する（ステップＳ５０９）。
【００６７】
仮想空間画像生成部３０２はアノテーションデータ表示制御部３０３によりアノテーションの生成の指示を受けると、受けた第１のアノテーションデータ若しくは第２のアノテーションデータを用いて、上記仮想オブジェクトの画像の生成と同様の処理を行い、アノテーションの画像を生成し、更に、アノテーションデータ表示制御部３０３から受けた仮想オブジェクトの位置のデータを用いて、この位置から若干ずれた位置にアノテーションを位置させる（ステップＳ５１０）。
【００６８】
そして、合成部３０５は、ステップＳ５０２で入力した現実空間の画像と、仮想空間の画像（ステップＳ５０３で生成した仮想オブジェクトの画像、そしてｔ≧Ｔ１もしくはｔ≧Ｔ２の場合には更に、ステップＳ５０７もしくはステップＳ５０９で生成したアノテーションの画像）との合成画像を生成する（ステップＳ５１１）。そしてこの合成画像は小型表示装置１１２に出力される（ステップＳ５１２）。
【００６９】
図１０は図８に示した仮想オブジェクト８０１を時間Ｔ２以上注視し続けた場合に、ＨＭＤ１１０の小型表示装置１１２に表示された、この仮想オブジェクト８０１に対するより詳細な説明が記載されたアノテーションの画像（第２のアノテーションデータに従った画像）の表示例を示す図である。図８と同じ部分については同じ番号を付けており、その説明を省略する。
【００７０】
同図において１００１は第２のアノテーションデータに従ったアノテーションの画像であって、図８に示した画像８０２に記載された内容よりもより詳細な説明文が記載されたアノテーションの画像となっている。なお、説明文の表示形態はこれに限定されるものではなく、他の表示形態であっても良い。また、同図では仮想オブジェクトの適用対象は魚や岩などであったが、これに限定されるものではない。
【００７１】
以上の処理によって、簡単なアクション（所望の仮想オブジェクトを所定時間以上注視し続ける）により、第１の実施形態に加えてより詳細な説明文が見たい仮想オブジェクトを指示することができる。
【００７２】
また、観察者が一定時間以上特定の仮想オブジェクトを注視し続けた場合にこの仮想オブジェクトに関する簡易な情報を提示し、さらに一定時間以上この仮想オブジェクトを注視し続けた場合に、この仮想オブジェクトに関する詳細な情報を提示することにより、簡易な情報を知りたいにも関わらず詳細な情報が表示されたり、その逆に詳細な情報を知りたいにも関わらず簡易な情報しか表示されないことによる、観察者が感じるフラストレーションをさらに軽減することができる。
【００７３】
なお上記説明では触れなかったが、注視している仮想オブジェクトに対するアノテーションの画像が表示されている状態で、この仮想オブジェクトに対する注視をやめた場合、その時点から、若しくは所定時間後このアノテーションの画像の表示をやめる。しかし再度、この仮想オブジェクトに対してＴ１以上の時間注視し続けた場合には、再びこの仮想物体に対するアノテーションの画像が表示される。
【００７４】
よって本実施形態では、より長い時間注視していればより詳細な説明を順次表示することが出来、この時点で注視をやめれば、やめた時間から時間の経過に従って順次簡単な説明の表示となる。
【００７５】
［その他の実施形態］
本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記録媒体（または記憶媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。この場合、記録媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記録した記録媒体は本発明を構成することになる。
【００７６】
また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７７】
さらに、記録媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００７８】
本発明を上記記録媒体に適用する場合、その記録媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００７９】
【発明の効果】
以上の説明により、本発明によって、観察者の興味に応じて仮想物体に関する情報の表示制御を行うことができる。
【図面の簡単な説明】
【図１】観察者に対して複合現実空間を体感させると共に、観察者の興味に応じた仮想オブジェクトに関する情報を観察者に提示するシステムの模式図である。
【図２】本発明の第１の実施形態で用いるＨＭＤ１１０の構成を示す図である。
【図３】コンピュータ１４０の機能構成示す図である。
【図４】コンピュータ１４０が行う第１の実施形態に係る処理のフローチャートである。
【図５】コンピュータ１４０が行う第２の実施形態に係る処理のフローチャートである。
【図６】仮想オブジェクトデータＤＢ３０１に保持されている、各オブジェクトデータを示す図である。
【図７】アノテーションデータＤＢ３０４に保持されている各アノテーションデータを示す図である。
【図８】仮想オブジェクトを魚や岩などに適用した場合に、ＨＭＤ１１０の小型表示装置１１２に表示された、時間Ｔ１以上注視続けた仮想オブジェクト（魚）に対する説明文が記載されたアノテーションの画像の表示例を示す図である。
【図９】本発明の第２の実施形態に係るアノテーションデータＤＢ３０４に保持されている各アノテーションデータを示す図である。
【図１０】図８に示した仮想オブジェクト８０１を時間Ｔ２以上注視し続けた場合に、ＨＭＤ１１０の小型表示装置１１２に表示された、この仮想オブジェクト８０１に対するより詳細な説明文が記載されたアノテーションの画像（第２のアノテーションデータに従った画像）の表示例を示す図である。

Claims

頭部装着型表示装置と接続しており、外部の計測装置によって計測された前記頭部装着型表示装置の位置姿勢に応じた仮想空間画像を生成して前記頭部装着型表示装置の表示部に出力する画像処理装置が行う画像処理方法であって、
前記計測装置によって計測された位置姿勢情報を参照して、前記仮想空間内に設定されたオブジェクトのうち、注視されているオブジェクトを特定する特定工程と、
当該特定工程で特定したオブジェクトが、第１の時間以上注視されている場合、当該オブジェクトに関する情報を前記表示部上に表示する表示制御工程とを備えることを特徴とする画像処理方法。
前記特定工程で特定したオブジェクトが、前記第１の時間よりも長い第２の時間以上注視されている場合、
前記表示制御工程では、前記表示部上に表示されている前記オブジェクトに関する第１の情報を、より詳細な第２の情報に切り替えて表示することを特徴とする請求項１に記載の画像処理方法。
前記計測装置によって計測された頭部装着型表示装置の位置を視点位置、前記計測装置によって計測された頭部装着型表示装置の姿勢を視線方向とした場合に、
前記特定工程では、前記視点位置から前記視線方向に延長した直線と交差するオブジェクトのうち、最も前記視点位置に近いオブジェクトを、注視されているオブジェクトとして特定することを特徴とする請求項１又は２に記載の画像処理方法。
頭部装着型表示装置と接続しており、外部の計測装置によって計測された前記頭部装着型表示装置の位置姿勢に応じた仮想空間画像を生成して前記頭部装着型表示装置の表示部に出力する画像処理装置であって、
前記計測装置によって計測された位置姿勢情報を参照して、前記仮想空間内に設定されたオブジェクトのうち、注視されているオブジェクトを特定する特定手段と、
当該特定手段が特定したオブジェクトが、第１の時間以上注視されている場合、当該オブジェクトに関する情報を前記表示部上に表示する表示制御手段とを備えることを特徴とする画像処理装置。
コンピュータを請求項４に記載の画像処理装置として機能させることを特徴とするプログラム。
コンピュータに請求項１乃至３の何れか１項に記載の画像処理方法を実行させることを特徴とするプログラム。
請求項５又は６に記載のプログラムを格納することを特徴とするコンピュータ読み取り可能な記憶媒体。