JP2025028130A - 表示制御装置、表示制御方法、及びプログラム - Google Patents

Abstract

【課題】 ユーザが仮想空間上の仮想視点の注視点の位置を容易に把握する技術を提供する。
【解決手段】 表示制御装置１３０は、複数の撮像装置１１０の撮像により得られた複数の撮像画像に基づいて生成される仮想視点画像に対応する第一仮想視点の注視点の位置を示す情報を取得し、注視点を示す注視点オブジェクト６０２と、注視点の投影面上の位置を示す投影注視点オブジェクト６０３と、を含む画像６００を表示させる。
【選択図】 図６

Description

本開示は、表示制御装置、表示制御装置の制御方法、及びプログラムに関する。

近年、複数の物理カメラを異なる位置に設置して同期撮影し、撮影により得られた複数の画像を用いて、仮想的なカメラ視点から仮に撮影したとした場合の仮想視点画像を生成する技術が注目されている。特許文献１では、被写体を取り囲むように複数のカメラを配置して被写体を撮影した画像を用いて、仮想視点画像を生成する技術が開示されている。
また、特許文献１には、ユーザにより仮想的なカメラの位置や仮想的なカメラからどこを注視しているかを示す注視点の位置が指定されることが開示されている。

特開２０１４－２１５８２８号公報

特許文献１では、例えば、仮想カメラが被写体の視点に設定される場合には、ユーザが、仮想空間上の注視点の位置を直感的に把握しにくいという課題があった。

そこで本開示は、上記の問題点を鑑み、ユーザにより仮想空間上の仮想視点の注視点の位置の把握を容易にする技術を提供することを目的とする。

本開示の表示制御装置の一態様は、複数の撮像装置の撮像により得られた複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想視点の注視点の位置を示す情報を取得する取得手段と、前記注視点を示す注視点オブジェクトと、前記注視点の投影面上の位置を示す投影注視点オブジェクトと、を含む画像を表示させる表示制御手段と、を有する。

本開示によれば、ユーザが仮想空間上の仮想視点の注視点の位置を容易に把握することができる。

画像処理システムを示す図である。 撮像装置の設置例を示す図である。 表示制御装置のハードウェア構成を示す図である。 実施形態１における表示制御装置の機能構成を示す図である。 実施形態１における表示制御装置の動作フローを示す図である。 実施形態１における画面表示例を示す図である。 実施形態２における表示制御装置の機能構成を示す図である。 実施形態２における表示制御装置の動作フローを示す図である。 実施形態２における画面表示例を示す図である。 実施形態３における表示制御装置の機能構成を示す図である。 実施形態３における第二仮想視点の位置補正を説明する図である。 実施形態３における画面表示例を示す図である。 実施形態３における第二仮想視点の位置補正を説明する図である。 実施形態３における画面表示例を示す図である。 実施形態３における第二仮想視点の位置補正を説明する図である。 実施形態３における表示制御装置の動作フローを示す図である。 実施形態４における表示制御装置の機能構成を示す図である。 実施形態４における表示制御装置の動作フローを示す図である。 実施形態４における画面表示例を示す図である。

以下、本開示の実施形態について、図面を参照しながら説明する。なお、以下の実施形態に記載される構成要素は、実施の形態の一例を示すものであり、本開示をそれらのみに限定するものではない。また、実施形態で説明されている特徴の組み合わせの全てが解決手段に必須のものとは限らない。

仮想視点画像とは、ユーザ及び／又は専任のオペレータ等が自由に仮想カメラの位置及び姿勢を操作することによって生成される画像であり、自由視点画像や任意視点画像などとも呼ばれる。また、本開示では仮想視点の指定がユーザ操作により行われる場合を中心に説明するが、仮想視点の指定が画像解析の結果等に基づいて自動で行われてもよい。また、特に断りが無い限り、画像という文言が動画と静止画の両方の概念を含むものとして説明する。

仮想カメラとは、撮像領域の周囲に実際に設置された複数の撮像装置とは異なる仮想的なカメラであって、仮想視点画像の生成に係る仮想視点を便宜的に説明するための概念である。すなわち、仮想視点画像は、撮像領域に関連付けられる仮想空間内に設定された仮想視点から撮像した画像であるとみなすことができる。そして、仮想的な当該撮像における視点の位置及び向きは仮想カメラの位置及び向きとして表すことができる。言い換えれば、仮想視点画像は、空間内に設定された仮想視点の位置にカメラが存在するものと仮定した場合に、そのカメラにより得られる撮像画像を模擬した画像であると言える。また本実施形態では、経時的な仮想視点の変遷の内容を、仮想カメラパスと表記する。ただし、本実施形態の構成を実現するために仮想カメラの概念を用いることは必須ではない。すなわち、少なくとも空間内における特定の位置を表す情報と向きを表す情報とが設定され、設定された情報に応じて仮想視点画像が生成されればよい。

撮像装置は、物理カメラを有していればよい。また、撮像装置は、物理カメラの他、様々な画像処理を行う機能を有していてもよい。例えば、撮像装置は、前景背景分離処理を行う処理部を有していてもよい。また、撮像装置は、撮像画像のうち、一部の領域の画像を伝送する伝送制御を行う制御部を有していてもよい。また、撮像装置は、複数の物理カメラを有していてもよい。

＜実施形態１＞
図１は、本実施形態に係る画像処理システム１００を示す図である。画像処理システム１００は、複数の撮像装置１１０と、画像生成装置１２０と、表示制御装置１３０と、ディスプレイ１４０と、を有している。各撮像装置１１０と画像生成装置１２０と表示制御装置１３０とは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）ケーブル等の通信ケーブルを介して接続している。なお、本実施形態においては、通信ケーブルはＬＡＮケーブルであるものとするが、通信ケーブルは実施形態に限定されるものではない。また、画像生成装置１２０とディスプレイ１４０とは、ビデオ信号伝送ケーブルを介して接続している。

撮像装置１１０は、例えば画像（静止画及び動画）を撮影可能なデジタルカメラである。図２は、撮像装置１１０の設置例を示す図である。各撮像装置１１０は、スタジアムなどで特定の領域を取り囲むように設置され、領域内の被写体の画像（映像）を撮影する。
撮影された画像は、撮像装置１１０から画像生成装置１２０に送信される。撮像された画像の一部の領域（例えば被写体の領域）の対応する画像のみが送信されるようにしてもよい。

画像生成装置１２０は、例えば、サーバ装置であり、データベース機能や、画像処理機能を備えている。画像生成装置１２０は、競技場内の被写体撮影開始前など予め被写体が存在しない状態の場面を撮影した画像を背景画像として蓄積する。また、画像生成装置１２０は、撮像装置１１０により得られた撮像画像を蓄積する。また、画像生成装置１２０は、表示制御装置１３０のユーザ操作により、仮想視点情報と再生時刻情報（例えばタイムコード）とを受信すると、蓄積された撮像画像に基づいて、仮想視点画像を生成する。
ここで、仮想視点情報は、仮想空間における仮想的な視点（仮想視点）の三次元的な位置と角度と注視点位置等を示す情報である。仮想視点情報は、撮影した競技場内の中央など所定の原点位置に対する相対的な位置、つまり原点位置に対する前後、左右、上下の位置情報、その所定位置からの向き、つまり前後、左右、上下を軸とする角度の方向情報とを少なくとも含むものとする。また仮想視点情報は、仮想視点位置からどこの三次元位置を注目しているかを示す注視点位置情報と、注視点位置から仮想視点位置までの距離情報を含むものとする。

また再生時刻情報とは、時、分、秒、１秒間当たりのフレーム数などからなる撮像画像の撮影時の時刻情報であり、その再生時刻を指定することで録画された時刻のシーンが仮想視点として生成されることになる。なお、例えば１秒間当たりのフレーム数は６０フレームなどとする。不図示のタイムサーバに基づいて、複数の撮像装置１１０は同期撮影を行っており、撮影時の時刻情報は、複数の撮像装置１１０において撮影のタイミングを示す。

また、画像処理装置１２０は、被写体の存在するシーンでは、被写体となる特定のオブジェクト等の前景を特定オブジェクト画像として画像処理により分離処理してもよい。なお、特定オブジェクトは、人物だけでなくボールなど用具の画像パターンが予め定められている物体であってもよい。

仮想視点情報に対応した仮想視点画像は、データベースで管理された背景画像と特定オブジェクト画像とから生成されるものとする。仮想視点画像の生成方式として、例えばモデルベースレンダリング（Ｍｏｄｅｌ－Ｂａｓｅｄ Ｒｅｎｄｅｒｉｎｇ：ＭＢＲ）が用いられる。ＭＢＲとは、被写体を複数の方向から撮影した複数の撮像画像に基づいて生成される三次元形状を用いて仮想視点画像を生成する方式である。具体的には、視体積交差法、Ｍｕｌｔｉ－Ｖｉｅｗ－Ｓｔｅｒｅｏ（ＭＶＳ）などの三次元形状復元手法により得られた対象シーンの三次元形状（モデル）を利用し、仮想視点からのシーンの見えを画像として生成する技術である。なお、仮想視点画像の生成方法は、ＭＢＲ以外のレンダリング手法を用いてもよい。生成された仮想視点画像は、ビデオ信号伝送ケーブルを介して、ディスプレイ１４０に伝送される。

表示制御装置１３０は、例えば、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）やタブレットである。視点コントローラ１３１は、仮想カメラの位置及び姿勢などのパラメータの設定を行うためのデバイスである。例えば視点コントローラ１３１は、マウス、キーボード、ジョイスティック、６軸コントローラ、タッチパネル、ゲームコントローラである。時刻コントローラ１３２は、再生時刻を設定するためのデバイスであり、例えば回転盤をそなえた操作デバイスである。視点コントローラ１３１と時刻コントローラ１３２をユーザが操作する。表示制御装置１３０は、視点コントローラ１３１と時刻コントローラ１３２からのユーザ操作の情報を受信する。そして、表示制御装置１３０は、その操作量等に応じて、仮想カメラの位置や姿勢を示す仮想視点情報や再生時刻情報に変換し、画像生成装置１２０に送信する。

なお、操作デバイスを用いた表示制御装置１３０からの出力により、連続的な移動に限らず、仮想空間上の被写体の正面位置、背面位置、上から見下ろす位置などあらかじめ設定された所定仮想視点への移動も可能である。また、再生時刻を予め設定しておくことで瞬時にその時刻へ、仮想視点が移動することも可能とするものである。また表示制御装置１３０は、後述する制御プログラム実行により表示部３０５に表示されるアプリケーションを介してユーザ操作に基づく三次元空間上のオブジェクトなどを画面表示する。

図３は、表示制御装置１３０のハードウェア構成を示す図である。表示制御装置１３０は、ＣＰＵ３０１と、ＲＯＭ３０２と、ＲＡＭ３０３と、ＨＤＤ３０４と、表示部３０５と、入力部３０６と、通信部３０７とを有している。ＣＰＵ３０１は、ＲＯＭ３０２やＲＡＭ３０３に記憶された制御プログラムやデータを用いて表示制御装置１３０の全体を制御する。なお、表示制御装置１３０がＣＰＵ３０１とは異なる１又は複数の専用のハードウェアを有し、ＣＰＵ３０１による処理の少なくとも一部を専用のハードウェアが実行してもよい。そのような専用のハードウェアの例としては、ＡＳＩＣ（特定用途向け集積回路）、ＦＰＧＡ（フィールドプログラマブルゲートアレイ）、およびＤＳＰ（デジタルシグナルプロセッサ）などがある。

ＲＯＭ３０２は、変更を必要としないプログラムなどを格納する。ＲＡＭ３０３は、ＨＤＤ３０４から供給されるプログラムやデータ、及び通信部３０７を介して外部から供給されるデータなどを一時記憶する。また、ＲＡＭ３０３は、ＣＰＵ３０１の主メモリ、ワークエリア等の一時記憶領域として用いられる。ＨＤＤ３０４は、各種データや各種プログラム等を記憶する。

表示部３０５は、例えば液晶ディスプレイやＬＥＤ等で構成され、各種情報を表示する。入力部３０６は、キーボード、マウス、６軸コントローラなどを接続可能であり、ユーザによる各種操作を受け付ける。通信部３０７は、ネットワークを介して外部装置との通信処理を行う。なお、ネットワークとしては、イーサネット（登録商標）が挙げられる。
また、他の例としては、通信部３０７は、無線により外部装置との通信を行ってもよい。
システムバス３０８は、表示制御装置１３０の各部をつないで情報を伝達する。

なお、後述する表示制御装置１３０の機能や処理は、ＣＰＵ３０１がＲＯＭ３０２又はＨＤＤ３０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。また、画像生成装置１２０のハードウェア構成は、表示制御装置１３０のハードウェア構成と同様である。

図４は、表示制御装置１３０の機能構成を示す図である。コントローラ操作取得部１３３は、視点コントローラ１３１や時刻コントローラ１３２を介して取得された仮想視点に対する操作情報を周期的に取得する。

コントローラ操作取得部１３３は、仮想視点に対する操作情報を、仮想視点移動量情報と再生時刻移動量情報に変換し第一仮想視点情報決定部１３４に出力する。仮想視点移動量は、現在の仮想視点の位置や仮想視点からの視線方向に対する移動量である。また、再生時刻移動量は、現在の再生時刻に対する移動量である。これらの情報は、視点コントローラ１３１や時刻コントローラ１３２に対して入力されたユーザ操作の操作量に対して、設定された変換係数により決まる。

第一仮想視点情報決定部１３４は、入力された仮想視点移動量情報に基づいて、ユーザ操作により指定された仮想視点の位置や仮想視点からの視線方向に対応する仮想視点情報を決定する。そして、第一仮想視点情報決定部１３４は、仮想視点情報を第一仮想視点情報として仮想視点オブジェクト生成部１３６へ出力する。第一仮想視点情報決定部１３４は、同様に、第一仮想視点情報を、注視点オブジェクト生成部１３７、投影注視点オブジェクト生成部１３８、第二仮想視点情報決定部１４２、仮想視点情報送信部１４４へ出力する。なお、仮想空間座標系は、各撮像装置１１０の座標系と同じである。例えばスタジアムなどの中心を座標系の中心としてもよいし、ユーザにより適宜設定するようにしてもよい。仮想視点情報は、この座標系において三次元方向の位置で表現される。

タイムコード決定部１３５は、入力された再生時刻移動量に基づいて、ユーザ操作により指定された再生時刻情報を決定し、再生時刻情報を仮想視点情報送信部１４４へ出力する。なお、再生時刻は各撮像装置１１０で撮影開始した日時を基準とする。また、再生時刻は撮影時刻そのものでもよいし、撮影開始時刻を０として撮影開始時刻からの経過した時間で表現されてもよい。

仮想視点オブジェクト生成部１３６は、第一仮想視点情報決定部１３４から第一仮想視点情報を取得する。また、仮想視点オブジェクト生成部１３６は、後述するオブジェクト情報保持部１３９より仮想視点オブジェクト情報を取得する。仮想視点オブジェクト生成部１３６は、第一仮想視点情報と仮想視点オブジェクト情報とに基づき仮想空間上におけるユーザ操作による仮想視点の位置と仮想視点からの視線方向とがユーザに認識可能とする仮想視点オブジェクトを生成する。仮想視点オブジェクトには仮想視点オブジェクトを表現するための形状などのデータ、その空間上の位置の情報が含まれる。また、仮想視点オブジェクト生成部１３６は、仮想視点オブジェクトを第二仮想視点情報決定部１４２へ出力する。

注視点オブジェクト生成部１３７は、第一仮想視点情報決定部１３４より第一仮想視点情報を取得する。また、注視点オブジェクト生成部１３７は、オブジェクト情報保持部１３０より注視点オブジェクト情報を取得する。注視点オブジェクト生成部１３７は、第一仮想視点情報に含まれる注視点位置情報と、注視点オブジェクト情報とに基づいて、仮想空間上におけるユーザ操作による仮想視点の注視点の位置がユーザに認識可能とする注視点オブジェクトを生成する。注視点オブジェクトには注視点オブジェクトを表現するための形状などのデータ、その空間上の位置の情報が含まれる。また、注視点オブジェクト生成部１３７は、注視点オブジェクトを第二仮想視点情報決定部１４２へ出力する。

投影注視点オブジェクト生成部１３８は、第一仮想視点情報決定部１３４より第一仮想視点情報を取得する。また、投影注視点オブジェクト生成部１３８は、オブジェクト情報保持部１３９より投影注視点オブジェクト情報を取得する。また投影注視点オブジェクト生成部１３８は、後述する面位置設定部１４０より投影面位置情報を取得する。投影注視点オブジェクト生成部１３８は、取得した情報に基づいて、仮想空間上の注視点の位置を投影面位置に投影した投影注視点の位置に対し、ユーザが認識可能とする投影注視点オブジェクトを生成する。投影注視点オブジェクトには投影注視点オブジェクトを表現するための形状などのデータ、その空間上の位置の情報が含まれる。また、投影注視点オブジェクト生成部１３８は、投影注視点オブジェクトを第二仮想視点情報決定部１４２へ出力する。

オブジェクト情報保持部１３９は、仮想視点オブジェクト情報、注視点オブジェクト情報、投影注視点オブジェクト情報などのオブジェクト情報をあらかじめ保持し、対応したオブジェクト情報を出力する。すなわち、オブジェクト情報保持部１３９は、仮想視点オブジェクト情報を仮想視点オブジェクト生成部１３６へ出力する。また、オブジェクト情報保持部１３９は、注視点オブジェクト情報を注視点オブジェクト生成部１３７へ出力する。また、オブジェクト情報保持部１３９は、投影注視点オブジェクト情報を投影注視点オブジェクト生成部１３８へ出力する。ここで、オブジェクト情報とは、三次元モデルであり専用ソフトなどで作成された三次元の座標を持つデータであり、三次元の座標（頂点）を複数つなぐことで立体的な形状を示すデータである。また複数の頂点をつなげた面に対して色情報やテクスチャ画像を対応付け保持しておくことでユーザに認識可能なオブジェクトとなるものとする。例えば、オブジェクト情報は、複数のポリゴンで構成されるメッシュデータでもよい。

面位置設定部１４０は、後述する面情報保持部１４１から設定された面情報に基づいて、投影する面を決定する。具体例として、スタジアムなどの高さが一定の床面（高さを０とする）位置が投影面位置として設定されるものとする。面位置設定部１４０は、設定された投影面位置情報を投影注視点オブジェクト生成部１３８へ出力する。投影面位置は、これに限られず、適宜ユーザにより指定されてもよい。例えば投影面は、構造物を構成する壁でもよいし、天井でもよい。

面情報保持部１４１は、三次元空間上の平面をあらかじめ保持しておき、対応した面情報を出力する。すなわち、面情報保持部１４１は、面情報を面位置設定部１４０へ出力する。ここで、面情報とはオブジェクト情報同様に、三次元モデルであり専用ソフトなどで作成された三次元の座標を持つデータであり、三次元の座標（頂点）を複数つなぐことで平面などを示すデータである。例えば、面情報は、複数のポリゴンで構成されるメッシュデータでもよい。本実施形態では、スタジアムなどの一定の床面（高さを０とする）として説明するものとする。複数の頂点をつなげた面に対して色情報やテクスチャ画像を対応付け保持しておくことでユーザに認識可能な床面となるものとする。なお、面情報とは平面の床面に限らず、複数の頂点を組み合わせることによる立体面であってもよいものとする。

第二仮想視点情報決定部１４２は、仮想視点オブジェクト生成部１３６より仮想視点オブジェクトを取得し、注視点オブジェクト生成部１３７より注視点オブジェクトを取得し、投影注視点オブジェクト生成部１３８より投影注視点オブジェクトを取得する。また、第二仮想視点情報決定部１４２は、第一仮想視点情報決定部１３４より第一仮想視点情報を取得する。第二仮想視点情報決定部１４２は、第一仮想視点情報に基づいて、仮想視点オブジェクトと、注視点オブジェクトと、投影注視点オブジェクトとが表示可能な第二仮想視点情報を決定する。第二仮想視点情報を表示制御部１４３へ出力する。具体的には、第二仮想視点情報は、ユーザが操作する仮想視点とは別の仮想視点の位置及び仮想視点からの視線方向を示す情報である。例えば、第二仮想視点情報で示される仮想視点の位置は、第一仮想視点情報により示される第一仮想視点（ユーザが操作する仮想視点）よりも後方にあり、投影注視点オブジェクトが表示可能な位置であってもよい。また、第二仮想視点情報で示される第二仮想視点からの視線方向は、投影注視点オブジェクトが表示可能な向きであってもよい。また、第二仮想視点の位置及び仮想視点からの視線方向は、仮想視点オブジェクトを表示可能な位置及び向きであってもよい。後方とは、直線上に結ばれることを指すのではなく、第二仮想視点の位置が、第一仮想視点の位置に対して、注視点側とは反対側にあることをいう。また、第一仮想視点情報により特定される第一仮想視点の視野には、第二仮想視点の位置は含まれない。一方、第二仮想視点の視野には、第一仮想視点の位置と、注視点の位置と、投影注視点の位置が含まれる。

なお、表示可能とは、表示装置において、第二仮想視点情報に基づいて生成される仮想視点画像において表示可能であることを意味する。なお、この仮想視点画像において、仮想視点オブジェクトや注視点オブジェクト、投影注視点オブジェクトが同時に表示されなくてもよい。例えば、注視点オブジェクトと投影注視点オブジェクトが表示され、仮想視点オブジェクトが表示されなくてもよい。あるいは、例えばユーザの表示指示によりいずれかのオブジェクトが非表示とされてもよい。また、これらのオブジェクトは半透明で表示されてもよい。この場合、これらのオブジェクトにより互いのオブジェクトを遮蔽されることが抑制され、ユーザがオブジェクトを認識することが容易になる。また、仮想視点画像上において被写体がいる場合には、この被写体を遮蔽されることが抑制され、ユーザが被写体を認識することが容易になる。

表示制御部１４３は、第二仮想視点情報決定部１４２から第二仮想視点情報を取得する。表示制御部１４３は、第二仮想視点からみた仮想視点オブジェクト、注視点オブジェクト、投影注視点オブジェクトを二次元画像上に表示する。すなわち、表示制御装置１３０の表示部３０５へ表示することでユーザの仮想視点操作に基づく仮想カメラ（第一仮想視点）の位置とその注視点、また床面に投影された注視点の影の表示を行う。この表示は、第二仮想視点情報に基づいて生成される仮想視点画像において行われる。この仮想視点画像は、撮像装置１１０に基づいて生成されてもよいし、予め画像生成装置１２０に保存されたスタジアムなどの背景モデルに基づいて生成されてもよい。この仮想視点画像は、表示制御部１４３により生成されてもよい。

仮想視点情報送信部１４４は、第一仮想視点情報決定部１３４より入力された第一仮想視点情報と、タイムコード決定部１３５より入力された再生時刻情報とを、画像生成装置１２０へ送信する。なお、仮想視点情報と再生時刻情報に基づいて画像生成装置１２０で生成された仮想視点画像はディスプレイ１４０へ出力、表示されるものとする。画像生成装置１２０で生成された仮想視点画像は、第一仮想視点からみた仮想視点画像であり、第二仮想視点から見た仮想視点画像とは異なる。

次に、表示制御装置１３０の動作について説明する。図５は、本実施形態に係る表示制御装置１３０の動作を示すフローチャートである。ＣＰＵ３０１がＲＯＭ３０２またはＨＤＤ３０４に記憶されたプログラムを読み出して実行することにより、以下の処理が行われる。

ステップＳ５０１で、まず、コントローラ操作取得部１３３は、視点コントローラ１３１から、ジョイスティックなど６軸コントローラのレバーの移動量情報を取得する。また、コントローラ操作取得部１３３は、時刻コントローラ１３２から、例えばユーザが回した回転盤の移動量情報を取得する。次に、コントローラ操作取得部１３３は、視点コントローラ１３１と時刻コントローラ１３２それぞれから取得した移動量情報を、仮想視点移動量情報と再生時刻移動量情報に変換し、第一仮想視点情報決定部１３４に出力する。

ステップＳ５０２で、第一仮想視点情報決定部１３４は、入力された仮想視点移動量情報に基づいて、第一仮想視点情報を決定する。そして、第一仮想視点情報決定部１３４は、仮想視点オブジェクト生成部１３６、注視点オブジェクト生成部１３７、投影注視点オブジェクト生成部１３８へ出力する。第一仮想視点は、ユーザの操作対象である仮想視点であり、ディスプレイ１４０に表示される仮想視点画像に対応する仮想視点である。

ステップＳ５０３で、仮想視点オブジェクト生成部１３６は、仮想視点オブジェクトを生成する具体的には、仮想視点オブジェクト生成部１３６は、第一仮想視点情報決定部１３４より仮想視点情報を取得する。また仮想視点オブジェクト生成部１３６は、オブジェクト情報保持部１３９より仮想視点オブジェクト情報を取得する。仮想視点オブジェクト生成部１３６は、仮想視点情報と仮想視点オブジェクト情報とに基づき、仮想空間上における第一仮想視点の位置と第一仮想視点からの視線方向とがユーザに認識可能とする仮想視点オブジェクトを生成する。例えば、仮想視点オブジェクトは、カメラの形状を有していてもよいし、他の形状を有していてもよい。

ステップＳ５０４で、注視点オブジェクト生成部１３７は、注視点オブジェクトを生成する。具体的には、注視点オブジェクト生成部１３７は、第一仮想視点情報決定部１３４より仮想視点情報を取得する。また、注視点オブジェクト生成部１３７は、オブジェクト情報保持部１３０より注視点オブジェクト情報を取得する。注視点オブジェクト生成部１３７は、仮想視点情報に含まれる注視点位置情報と、注視点オブジェクト情報とに基づいて、仮想空間上における第一仮想視点の注視点の位置がユーザに認識可能とする注視点オブジェクトを生成する。例えば、注視点オブジェクトは、球の形状を有していてもよいし、四角柱の形状を有していてもよい。

ステップＳ５０５で、投影注視点オブジェクト生成部１３８は、投影注視点オブジェクトを生成する。具体的には、投影注視点オブジェクト生成部１３８は、第一仮想視点情報決定部１３４より仮想視点情報を取得する。また、投影注視点オブジェクト生成部１３８は、オブジェクト情報保持部１３９より投影注視点オブジェクト情報を取得する。また、投影注視点オブジェクト生成部１３８は、面位置設定部１４０より投影面位置情報を取得する。投影注視点オブジェクト生成部１３８は、取得した情報に基づいて、仮想空間上の第一仮想視点の注視点の位置を面位置に投影した位置に対し、ユーザが認識可能とする投影注視点オブジェクトを生成する。例えば、投影注視点オブジェクトは、円の形状を有していてもよい、四角形の形状を有していてもよい。また、投影注視点オブジェクトは、注視点の投影面上の位置を示す。投影注視点オブジェクトは、注視点オブジェクトを投影面に投影することで生成してもよい。この場合、投影注視点オブジェクト生成部１３８は、注視点オブジェクト生成部１３７から注視点オブジェクトを取得してもよい。

ステップＳ５０６で、第二仮想視点情報決定部１４２は、第二仮想視点情報を決定する。具体的には、第二仮想視点情報決定部１４２は、第一仮想視点情報決定部１３４より第一仮想視点情報を取得する。また、第二仮想視点情報決定部１４２は、仮想視点オブジェクトと、注視点オブジェクトと、投影注視点オブジェクトとを取得する。第二仮想視点情報決定部１４２は、取得した情報に基づいて第二仮想視点情報を決定する。第二仮想視点情報は、仮想視点オブジェクトと、注視点オブジェクトと、投影注視点オブジェクトとが、仮想的に撮影することが可能な第二仮想視点の情報を示す。より具体的には、第二仮想視点の位置は第一仮想視点の後方の位置であり、第二仮想視点からの視線方向は投影注視点オブジェクトを仮想的に撮影することが可能な方向となるように、第二仮想視点情報が決定される。第二仮想視点情報決定部１４２は、第二仮想視点情報を表示制御部１４３へ出力する。

ステップＳ５０７で、表示制御部１４３は、第二仮想視点情報決定部１４２から第二仮想視点情報を取得する。表示制御部１４３は、第二仮想視点からみた仮想視点オブジェクト、注視点オブジェクト、投影注視点オブジェクトを含む二次元画像（仮想視点画像）を生成し、出力する。すなわち、表示制御部１４３は、仮想視点オブジェクト、注視点オブジェクト、投影注視点オブジェクトを含む二次元画像を表示制御装置１３０の表示部３０５に表示する。これによりユーザの仮想視点操作に基づく第一仮想視点やその注視点、投影注視点の仮想空間上の位置の表示が行われる。これにより注視点の仮想空間上の位置をユーザが容易に把握することが可能となる。

図６は、表示制御装置１３０の表示部３０５に表示される画面の例である。画面６００には、仮想視点オブジェクト６０１と、注視点オブジェクト６０２と、投影注視点オブジェクト６０３が表示されている。

仮想視点オブジェクト６０１は、カメラの形状を有している。このカメラの位置は、第一仮想視点の位置を示し、カメラの向きは第一仮想視点からの視線方向を表している。注視点オブジェクト６０２は球形状を有している。この注視点オブジェクト６０２の位置は、仮想空間上で第一仮想視点の注視点の３次元位置を示している。この注視点オブジェクト６０２だけでは、仮想空間上のどの高さに位置するのか、ユーザが直感的に把握しづらい。そのため、投影注視点オブジェクト６０３を表示する。投影注視点オブジェクト６０３は、注視点オブジェクト６０２を投影面（例えば床面）に投影したオブジェクトで、楕円形状を有している。

例えば、投影注視点オブジェクト６０３は、注視点オブジェクト６０２を投影面に垂直な方向で投影面と注視点オブジェクト６０２とを結ぶ線上に仮想的に点光源を設置した場合の、注視点オブジェクト６０２の影に相当する。投影注視点オブジェクト６０３の形状は、投影面に合わせた形状であってもよい。例えば、投影面に凹凸があれば、投影注視点オブジェクト６０３の形状は、その凹凸に合わせた形状で表示されてもよい。この場合、ユーザが容易に注視点の位置を把握しやすくなる。

投影注視点オブジェクト６０３は、注視点オブジェクト６０２を投影面に投影した形状に忠実に再現しなくてもよい。投影注視点オブジェクト６０３の形状を強調させて、例えア、投影注視点オブジェクト６０３の直径が注視点オブジェクト６０２の直径よりも大きくなってもよい。この場合、ユーザがより容易に注視点の位置を把握しやすくなる。また、投影注視点オブジェクト６０３を点滅するなど、他の強調手法を用いてもよい。なお、注視点オブジェクト６０２を点滅してもよい。

以上、本実施形態によると、注視点の位置に基づく投影注視点オブジェクトを表示することにより床面上に影などが認識され、ユーザに直感的に注視点位置が把握しやすくなる。

なお、本実施形態では、投影注視点オブジェクト６０３として投影面に影の表示例を示したが、これに限らず、注視点の位置と投影注視点の位置とを結合した矢印や棒形状などの投影注視点オブジェクトを生成、表示してもよい。これにより注視点と投影注視点とが離れた場合でも位置関係をより認識しやすくなる。

＜実施形態２＞
図７は、実施形態２に係る表示制御装置７００の機能構成を示す図である。なお、表示制御装置７００は図４を参照しつつ説明した、実施形態１に係る表示制御装置１３０の構成に加えて以下の機能部を有している。すなわち、表示制御装置７００は、表示制御装置１３０に対して、投影注視点オブジェクト色決定部７０１をさらに有している。それ以外の機能部は表示制御装置１３０と同じであるため、説明を省略する。

投影注視点オブジェクト色決定部７０１は、面情報保持部１４１より面情報を取得する。また、投影注視点オブジェクト色決定部７０１は、投影注視点オブオブジェクト生成部１３８より投影注視点の位置情報と投影注視点オブジェクト情報を取得する。投影注視点オブジェクト色決定部７０１は、投影注視点の位置情報と面情報とに基づいて、投影注視点の位置に対応する面位置の色情報である投影面色情報を特定する。また、投影注視点オブジェクト色決定部７０１は、投影注視点オブジェクトに含まれる色情報と、特定された投影面色情報とを比較する。比較された投影注視点オブジェクトの色情報が所定の範囲内にある場合、投影注視点オブジェクトの色情報を変更し変更した色情報を投影注視点オブジェクト生成部１３８へ出力する。

図８は、本実施形態に係る表示制御装置７００の動作を示すフローチャートである。なお、ステップＳ５０１からステップＳ５０４、ステップＳ５０５からステップＳ５０７までは図５の説明と同一であるため説明は省略する。

ステップＳ８０１で、投影注視点オブジェクト色決定部７０１は、投影注視点オブジェクトの色を決定する。具体的には、投影注視点オブジェクト色決定部７０１は、投影注視点の位置情報と面情報とに基づいて投影注視点の位置に対応する面位置の色情報である投影面色情報を特定する。そして、投影注視点オブジェクト色決定部７０１は、投影注視点オブジェクトに含まれる色情報と、特定された投影面色情報とを比較する。投影注視点オブジェクトの色情報が投影面色情報に対して所定の範囲内にある場合、投影注視点オブジェクト色決定部７０１は、投影注視点オブジェクトの色情報を変更し、変更した色情報を投影注視点オブジェクト生成部１３８へ出力する。一方、投影注視点オブジェクト色決定部７０１は、投影注視点オブジェクトの色情報が投影面色情報に対する所定の範囲を超える場合には、投影注視点オブジェクトの色情報を変更しない。この場合、投影注視点オブジェクト色決定部７０１は、変更しないことを投影注視点オブジェクト生成部１３８に通知する。あるいは変更しない場合であっても、投影注視点オブジェクト生成部１３８は、決定した色情報を投影注視点オブジェクト生成部１３８に出力するようにしてもよい。

具体的には、投影注視点の位置に対する床面の色情報の明度が１から１０段階のうち１であるとし、投影注視点オブジェクト情報の色情報基づく明度も同様に１であるとする。
この場合、床面における投影注視点の位置の明るさと投影注視点オブジェクトの明るさが同じとなってしまい、ユーザからの投影注視点位置の認識が困難となってしまうため、投影注視点オブジェクトの明度について高くする。すなわち、投影注視点オブジェクトの明度の１から１０段階のうち例えば５となる色情報に変更し変更した色情報を投影注視点オブジェクト生成部１３８へ出力する。また、床面の明度によっては、投影注視点オブジェクトの明度を床面の明度よりも低くしてもよい。

図９は本実施形態に係る表示制御装置７００の表示部３０５に表示される画面の例である。画面６００に仮想視点オブジェクト６０１と、注視点オブジェクト６０２と、床面の明度が１から１０段階のうち１である低明度の床面となっている低明度床面９０１と、投影注視点オブジェクト９０２が表示されている。投影注視点が低明度床面９０１上に移動した場合、投影注視点オブジェクト９０２の明度を高くする。たとえば投影注視点オブジェクト９０２の色情報に基づく明度が１から１０段階のうち１である場合、５となる色情報に変更した色情報で投影注視点オブジェクトを表示する。これによりユーザから投影注視点位置の認識が可能となる。

床面の位置に応じて変化する明度の場合、投影注視点オブジェクト９０２の明度も位置に応じで変化する例を示したが、これに限らない。例えば、投影注視点オブジェクト色決定部７０１は、床面の位置に応じて変化する明度の値を全領域で取得することにより、全領域の明度の値とは異なる明度で投影注視点オブジェクト９０２の色情報を決めてもよい。この場合、注視点の位置に応じて、投影注視点オブジェクト９０２の色情報を変更しなくてもよいので、表示制御装置７００の処理負荷を軽減することができる。

また、床面の位置に応じて明度が変化する例を説明したが、床面が同じ位置でも時間的に明度が変化する場合には、投影注視点オブジェクト色決定部７０１は、投影注視点オブジェクト９０２の色情報を時間的に変更するようにしてもよい。

なお、本実施形態では、投影注視点オブジェクトの色情報に基づく明度の変更を例に説明したが、これに限らず色情報に基づく彩度や色相を変更するとしてもよいものとする。

＜実施形態３＞
図１０は、本実施形態に係る表示制御装置１０００の機能構成を示す図である。なお、表示制御装置１０００は、図４を参照しつつ説明した、実施形態１に係る表示制御装置１３に加えて、以下の機能部を有している。すなわち、また、表示制御装置１０００は、第二仮想視点情報補正部１００１を有している。

第二仮想視点情報補正部１００１は、仮想視点オブジェクト生成部１３６より仮想視点オブジェクトを取得し、注視点オブジェクト生成部１３７より注視点オブジェクトを取得し、投影注視点オブジェクト生成部１３８より投影注視点オブジェクトを取得する。また、第二仮想視点情報補正部１００１は、第二仮想視点情報決定部１４２より第二仮想視点情報を取得する。第二仮想視点情報補正部１００１は、仮想視点オブジェクトと、注視点オブジェクトと、投影注視点オブジェクトとに基づいて、第二仮想視点情報を補正する。
具体的には、第二仮想視点情報決定部１４２より決定された第二仮想視点の位置では、注視点オブジェクトと投影注視点オブジェクトの少なくとも一方が、仮想視点オブジェクトにより遮蔽されてしまう場合がある。その場合、第二仮想視点情報補正部１００１は、各オブジェクトを同時に表示可能な位置となるように第二仮想視点の位置を補正する。第二仮想視点情報補正部１００１は、位置が補正された第二仮想視点の第二仮想視点情報を表示制御部１４３へ出力する。なお、第二仮想視点情報補正部１００１は、第二仮想視点の位置ではなく第二仮想視点からの視線方向を補正してもよいし、第二仮想視点の位置と第二仮想視点からの視線方向の両方を補正してもよい。

また、第二仮想視点情報補正部１００１は、注視点オブジェクトが仮想視点オブジェクトにより遮蔽される場合に、注視点オブジェクトが仮想視点オブジェクトにより遮蔽されないように第二仮想視点情報を補正してもよい。また、第二仮想視点情報補正部１００１は、投影注視点オブジェクトが仮想視点オブジェクトにより遮蔽される場合に、投影注視点オブジェクトが仮想視点オブジェクトにより遮蔽されないように第二仮想視点情報を補正してもよい。また、第二仮想視点情報補正部１００１は、注視点オブジェクトと注視点オブジェクトとが仮想視点オブジェクトにより遮蔽されないように第二仮想視点情報を補正してもよい。

第二仮想視点情報補正部１００１の第二仮想視点の位置の決定手法について、以下で説明する。図１１で示すように、例えば、第二仮想視点情報決定部１４２は、仮想視点オブジェクト６０１から所定の距離１８０１だけ後方（Ｙ軸の正の方向）に位置し、仮想視点オブジェクト６０１のＺ軸位置と同一の高さに第二仮想視点１７０１の位置を決定する。
これにより、仮想視点オブジェクト６０１と注視点オブジェクト６０２が重ならないように第二仮想視点１７０１で撮像することが可能である。しかしながら、この決定方法の場合、仮想視点オブジェクト６０１と注視点オブジェクト６０２のＺ軸位置が同一の高さである場合には、第二仮想視点位置１７０１から見て注視点オブジェクト６０２が仮想視点オブジェクト６０１に遮蔽されてしまう。そのため、第二仮想視点情報補正部１００１は、第二仮想視点１７０１の位置を補正する。すなわち、仮想視点オブジェクト６０１、注視点オブジェクト６０２が仮想空間上に存在する場合、これらの位置によって第二仮想視点１７０１の位置が決定される。具体的には、まず第二仮想視点情報補正部１００１は、第二仮想視点１７０１が、注視点オブジェクト６０２と仮想視点オブジェクト６０１を結ぶ直線１７０２上に存在するか否かを判定する。第二仮想視点１７０１が直線１７０２上に存在する場合は、第二仮想視点１７０１が撮像する場合の表示は、図１２で示すとおり、注視点オブジェクト６０２が仮想視点オブジェクト６０１に隠れる表示となってしまう。これを回避するため、第二仮想視点情報補正部１００１は、第二仮想視点１７０１をＺ軸方向に所定の距離だけ上昇させる。図１３の例では、Ｚ軸方向に距離１７０３だけ、第二仮想視点１７０１を移動することによりその位置を補正する。なお、本実施形態において、距離１７０３の値は予め定められたものとするが、それに限定されなくてもよい。例えば、この距離１７０３は、カメラオブジェクト６０１の移動速度、移動方向に応じて動的に決定されてもよい。これにより、仮想視点オブジェクト６０１、注視点オブジェクト６０２の両方が、第二仮想視点１７０１の位置から視認できるようになる。すなわち第二仮想視点１７０１から仮に撮像する場合の画像は、図１４のように、仮想視点オブジェクト６０１と注視点オブジェクト６０２が遮蔽されることなく表示される。なお、第二仮想視点１７０１の位置は、Ｚ軸方向に限らずＸ軸方向に移動されてもよい。また、第二仮想視点１７０１の位置は、Ｚ軸の正の方向に移動されてもよいし、負の方向に移動されてもよい。また、第二仮想視点１７０１の位置は、Ｘ軸の正の方向に移動されてもよいし、負の方向に移動されてもよい。

なお、注視点オブジェクト６０２が仮想視点オブジェクト６０１により遮蔽されないように、第二仮想視点１７０１を補正する例を示したが、本実施形態はこれに限定されない。例えば、なお、第二仮想視点情報補正部１００１は、投影注視点オブジェクト６０３が仮想視点オブジェクト６０１により遮蔽されないように、第二仮想視点１７０１を補正するようにしてもよい。また、注視点オブジェクト６０２及び投影注視点オブジェクト６０３が仮想視点オブジェクト６０１によって遮蔽される場合にも本実施形態を適用することができる。図１５は、注視点オブジェクト６０２及び投影注視点オブジェクト６０３が仮想視点オブジェクト６０１によって遮蔽されないように第二仮想視点１７０１の位置を補正する例を示す。

第二仮想視点情報補正部１００１は、まず、第二仮想視点１７０１が注視点オブジェクト６０２と仮想視点オブジェクト６０１を結ぶ直線１９０３上に存在するか否かを判定する。第二仮想視点１７０１が直線１９０３上に存在する場合、第二仮想視点１７０１をＺ軸方向に所定の距離１９０１だけ上昇させることにより第１の補正（第１の修正）を行う。次に、投影注視点オブジェクト６０３と仮想視点オブジェクト６０１を結ぶ直線１９０４上に、補正後の第二仮想視点１７０１が存在するか否かを判定する。第二仮想視点１７０１が直線１９０４上に存在する場合、第１の補正後の第二仮想視点１７０１をＺ軸方向に所定の距離１９０２だけさらに上昇させることで第２の補正（第２の修正）を行う。これにより、注視点オブジェクト６０２及び投影注視点オブジェクト６０３が仮想視点オブジェクト６０１によって遮蔽される表示となることが避けられる。なお、第１の補正と第２の補正は同時に行われてもよい。

図１６は、本実施形態に係る表示制御装置１０００の動作を示すフローチャートである。なお、ステップＳ５０１からステップＳ５０６までは図５の説明と同一のため説明は省略する。ＣＰＵ３０１がＲＯＭ３０２またはＨＤＤ３０４に記憶されたプログラムを読み出して実行することにより、以下の処理が行われる。

ステップＳ１１０１で第二仮想視点情報補正部１００１は、入力された第二仮想視点情報で示される第二仮想視点の位置から見て、注視点オブジェクトと仮想視点オブジェクトが遮蔽されるか否か（重なるか否か）を判定する。仮想視点オブジェクトに注視点オブジェクトが遮蔽されてしまう場合（Ｓ１１０１のＹｅｓ）、ステップＳ１１０２へ進み、それ以外の場合はステップＳ１１０３へ進む。なお、この判定について、上述した通りであるため説明を省略する。ステップＳ１１０２で、仮想視点オブジェクト６０１と注視点オブジェクト６０２が同時に表示可能な位置となる第二仮想視点へ移動するように位置を補正する。補正の具体的な手法も上述した通りである。

ステップＳ１１０３で、第二仮想視点情報補正部１００１は、入力された第二仮想視点情報で示される第二仮想視点の位置から見て、注視点オブジェクトと投影注視点オブジェクトが遮蔽されるか否か（重なるか否か）を判定する。仮想視点オブジェクトに投影注視点オブジェクトが遮蔽されてしまう場合（Ｓ１１０３のＹｅｓ）、ステップＳ１１０４へ進み、それ以外の場合はステップＳ５０７へ進む。なおこの判定について、上述した通りであるため説明を省略する。ステップＳ１１０４で、仮想視点オブジェクト６０１、注視点オブジェクト６０２及び投影注視点オブジェクト６０３が同時に表示可能な位置となる第二仮想視点へ移動するように第二仮想視点情報を補正する。なお、の具体的な手法も上述した通りである。補正された第二仮想視点に基づく第二仮想視点情報を表示制御部１４３へ出力する。

ステップＳ５０７で、入力された第二仮想視点位置からみた仮想視点オブジェクト、注視点オブジェクト、投影注視点オブジェクトを二次元画像上に表示する。すなわち、表示制御装置１３０の表示部へ表示することでユーザの仮想視点操作に基づく仮想カメラ位置の表示をする。

以上、本実施形態によると、第二仮想視点を仮想視点オブジェクトと同じ高さで後方に置くことで、仮想カメラの移動の操作を操作者に直感的にわかりやすく表示することができる。さらに、仮想視点オブジェクトに注視点位置が重なる場合に、第二仮想視点位置を補正することで、常に注視点位置が把握しやすくなる。

なお、本実施形態では、仮想視点オブジェクトと注視点オブジェクトと投影注視点オブジェクトが表示される際、各オブジェクト形状の全部が表示されるに限らず、各オブジェクト形状の一部分のみが表示されているとしてもよい。

また、本実施形態において図１５では、仮想視点オブジェクトと、注視点オブジェクトと投影注視点オブジェクトの両方とが仮想視点オブジェクトに遮蔽されている場合に第二仮想視点を移動する例を説明したが、これに限定されなくてもよい。例えば、注視点オブジェクトと投影注視点オブジェクトの片方のみが仮想視点オブジェクトにより遮蔽されている場合も本実施形態を適用可能である。例えば、図１６において、投影注視点オブジェクトが重なる場合に第二仮想視点の補正（第２の補正、Ｓ１１０４）を行うフローとしたが、Ｓ１１０３及びＳ１１１０４の処理を省略してもよい。同様に、Ｓ１１０１及びＳ１１０２の処理（第１の補正）を省略してもよい。このように第１の補正あるいは第２の補正を行わなくてもよい。

また、第二仮想視点への移動については上記に限定されない。例えば、図１５において、距離１９０１だけ上昇させた後に投影注視点オブジェクトとの重なりが検知された場合、第２の補正として上昇させる前の位置から下方に距離１９０１だけ下降させてもよい。
また、注視点オブジェクトを中心とする長さが注視点オブジェクトと仮想視点オブジェクトの距離と直線１９０３の長さを加えた半径とする曲線や球面上に移動してもよい。同様に仮想視点６０１の大きさを考慮して、水平方向に移動してもよい。

また、本実施形態の表示制御装置１０００が第二仮想視点情報補正部１００１を有する構成を説明したが、これに限らない。例えば、第二仮想視点１４２が、仮想視点オブジェクトと、注視点オブジェクトと投影注視点オブジェクトの少なくとも一方と、重ならないように、第二仮想視点の位置を決定してもよい。この場合には第二仮想視点情報補正部１００１が本実施形態の表示制御装置１０００の機能部としてなくてもよい。

＜実施形態４＞
本実施形態は、第一仮想視点オブジェクトの表示様態を変更する形態である。図１７は、本実施形態に係る表示制御装置１４００の機能構成を示す図である。なお、表示制御装置１４００は図４を参照しつつ説明した、実施形態１に係る表示制御装置１３０の構成に加えて以下の機能部を有する。

表示様態制御部１４０１は、第二仮想視点情報決定部１４２より第二仮想視点情報を取得する。また、表示様態制御部１４０１は、第二仮想視点情報決定部１４２を介して、仮想視点オブジェクト、注視点オ注視点オブジェクト、投影注視点オブジェクトを取得する。また表示様態制御部１４０１は、第二仮想視点情報に基づく仮想視点位置から見て仮想視点オブジェクトが、注視点オブジェクトと、投影注視点オブジェクトのいずれかを遮蔽するか否かを判定する。表示様態制御部１４０１は、仮想視点オブジェクトに少なくとも一方のオブジェクトが遮蔽される場合、仮想視点オブジェクトを半透過させるように表示様態を変更することを決定する。そして、表示様態制御部１４０１は、仮想視点オブジェクトを半透過させ第二仮想視点位置から仮に撮影した画像を表示制御部１４３へ出力する。仮想視点オブジェクトが半透過されることでユーザから注視点オブジェクトと投影注視点オブジェクトや投影注視点オブジェクトが認識可能となる。

図１８は、実施形態４に係る表示制御装置１４００の動作を示すフローチャートである。なお、ステップＳ５０１からステップＳ５０６までは図５の説明と同一のため説明は省略する。ＣＰＵ３０１がＲＯＭ３０２またはＨＤＤ３０４に記憶されたプログラムを読み出して実行することにより、以下の処理が行われる。

ステップＳ１５０１では、表示様態制御部１４０１は、入力された第二仮想視点情報で示される第二仮想視点の位置から見て、注視点オブジェクトと投影注視点オブジェクトと仮想視点オブジェクトが遮蔽されるか否か判定する。仮想視点オブジェクトに注視点オブジェクトと投影注視点オブジェクトまたは投影注視点オブジェクトが遮蔽されてしまう場合（Ｓ１５０１のＹｅｓ）、ステップＳ１５０２へ進む。また、表示様態制御部１４０１は、仮想視点オブジェクトに、注視点オブジェクトと投影注視点オブジェクトとが遮蔽されず表示可能である場合（Ｓ１５０１のＮｏ）、ステップＳ５０７へ進む。

ステップＳ１５０２では、表示様態制御部１４０１は、仮想視点オブジェクトを半透過させるように表示様態を変更する。また、表示様態制御部１４０１は、第二仮想視点に基づく第二仮想視点情報を表示制御部１４３へ出力する。

ステップＳ５０７で、入力された第二仮想視点位置からみた半透過の仮想視点オブジェクト、注視点オブジェクト、投影注視点オブジェクトを含む画像が表示される。すなわち、表示制御装置１３０の表示部へ表示する画像として、仮想視点オブジェクトを半透過表示とすることで、ユーザに、仮想視点オブジェクトと、注視点オブジェクト、投影注視点オブジェクトを認識させることができる。

図１９は、表示制御装置１４００の画面表示例である。第二仮想視点情報に基づいた位置から見た画像を、表示制御装置１０００の表示視点画面６００に表示している。半透過された仮想視点オブジェクト１６０１により注視点オブジェクト６０２と投影注視点オブジェクト６０３とがユーザから認識可能となっている。

以上、実施形態４によると、仮想視点オブジェクトに注視点位置が重なる場合に、半透過された仮想視点オブジェクトとすることで、注視点位置が把握しやすくなる。なお、本実施形態では、仮想視点オブジェクトに注視点オブジェクトと投影注視点オブジェクトとが遮蔽される際を例に説明したが、これに限らず、各オブジェクト形状のいずれかが遮蔽される場合に、遮蔽するオブジェクトを半透過するとしてもよいものとする。また、本実施形態では、表示形態として半透過で説明したが、例えば、仮想視点オブジェクトの大きさを、注視点オブジェクトや投影注視点オブジェクトを視認できるように、縮小してもよい。

＜その他の実施形態＞
本開示は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

＜その他＞
上述した実施形態の開示は、以下の構成、方法、及びプログラムを含む。

（構成１）
複数の撮像装置の撮像により得られた複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想視点の注視点の位置を示す情報を取得する取得手段と、
前記注視点を示す注視点オブジェクトと、前記注視点の投影面上の位置を示す投影注視点オブジェクトと、を含む画像を表示させる表示制御手段と、
を有する表示制御装置。

（構成２）
前記投影注視点オブジェクトは、前記注視点の前記投影面への投影に基づいて生成される構成１に記載の表示制御装置。

（構成３）
前記画像は、前記仮想視点とは異なる他の仮想視点に対応する仮想視点画像である構成１又は２に記載の表示制御装置。

（構成４）
前記画像は、前記仮想視点を示す仮想視点オブジェクトを含むこと構成１乃至３のいずれか１項に記載の表示制御装置。

（構成５）
前記注視点オブジェクトと、前記投影注視点オブジェクトと、前記仮想視点オブジェクトを含む画像に対応する他の仮想視点であって、前記仮想視点とは異なる他の仮想視点を決定する決定手段を有する構成４に記載の表示制御装置。

（構成６）
前記画像において、前記仮想視点オブジェクトは、前記注視点オブジェクトと重ならない位置にある構成４又は５に記載の表示制御装置。

（構成７）
前記画像において、前記仮想視点オブジェクトは、前記投影注視点オブジェクトと重ならない位置にある構成４乃至６のいずれか１項に記載の表示制御装置。

（構成８）
前記仮想視点オブジェクトは、前記注視点オブジェクト及び前記投影注視点オブジェクトと重ならない位置にある構成４乃至７のいずれか１項に記載の表示制御装置。

（構成９）
前記仮想オブジェクトは、半透過で表示される構成４乃至８のいずれか１項に記載の表示制御装置。

（構成１０）
前記投影注視点オブジェクトは、前記注視点オブジェクトと離れている構成１乃至９のいずれか１項に記載の表示制御装置。

（方法）
複数の撮像装置の撮像により得られた複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想視点の注視点の位置を示す情報を取得する取得工程と、
前記注視点を示す注視点オブジェクトと、前記注視点の投影面上の位置を示す投影注視点オブジェクトと、を含む画像を表示させる表示制御工程と、
を有する表示制御方法。

（プログラム）
コンピュータに、上記方法に記載の表示制御方法を実行させるためのプログラム。

１１０ 撮像装置
１３０、７００、１０００、１４００ 表示制御装置

Claims (12)

1. 複数の撮像装置の撮像により得られた複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想視点の注視点の位置を示す情報を取得する取得手段と、
   前記注視点を示す注視点オブジェクトと、前記注視点の投影面上の位置を示す投影注視点オブジェクトと、を含む画像を表示させる表示制御手段と、
   を有する表示制御装置。
2. 前記投影注視点オブジェクトは、前記注視点の前記投影面への投影に基づいて生成される請求項１に記載の表示制御装置。
3. 前記画像は、前記仮想視点とは異なる他の仮想視点に対応する仮想視点画像である請求項１に記載の表示制御装置。
4. 前記画像は、前記仮想視点を示す仮想視点オブジェクトを含むこと請求項１乃至３のいずれか１項に記載の表示制御装置。
5. 前記注視点オブジェクトと、前記投影注視点オブジェクトと、前記仮想視点オブジェクトを含む画像に対応する他の仮想視点であって、前記仮想視点とは異なる他の仮想視点を決定する決定手段を有する請求項４に記載の表示制御装置。
6. 前記画像において、前記仮想視点オブジェクトは、前記注視点オブジェクトと重ならない位置にある請求項４に記載の表示制御装置。
7. 前記画像において、前記仮想視点オブジェクトは、前記投影注視点オブジェクトと重ならない位置にある請求項４に記載の表示制御装置。
8. 前記仮想視点オブジェクトは、前記注視点オブジェクト及び前記投影注視点オブジェクトと重ならない位置にある請求項４に記載の表示制御装置。
9. 前記仮想視点オブジェクトは、半透過で表示される請求項４に記載の表示制御装置。
10. 前記投影注視点オブジェクトは、前記注視点オブジェクトと離れている請求項１に記載の表示制御装置。
11. 複数の撮像装置の撮像により得られた複数の撮像画像に基づいて生成される仮想視点画像に対応する仮想視点の注視点の位置を示す情報を取得する取得工程と、
    前記注視点を示す注視点オブジェクトと、前記注視点の投影面上の位置を示す投影注視点オブジェクトと、を含む画像を表示させる表示制御工程と、
    を有する表示制御方法。
12. コンピュータに、請求項１１に記載の表示制御方法を実行させるためのプログラム。

Images