JP7282887B2 - 仮想カメラパスを決定するシステム及び方法 - Google Patents

Description

関連出願への言及
本出願は、その全体の開示が参照により本明細書に組み込まれている、２０１８年１２月２７日に出願された米国特許出願第１６／２０１８１２号の出願日の３５Ｕ．Ｓ．Ｃ．§１１９の下での利益を主張するものである。

本発明は、仮想カメラパスを決定するためのシステム及び方法に関し、特に仮想カメラパステンプレートを仮想環境に挿入し、仮想環境から仮想カメラパステンプレートを抽出するためのシステム及び方法に関する。また、本発明は、仮想カメラパスを決定するためのコンピュータ可読媒体及び装置にも関する。

仮想カメラの実時間ナビゲーションは困難であり、技術的な課題を提示し得る。仮想カメラを制御するユーザは、通常、ズーム設定も変更しながら、６自由度で仮想カメラを移動させることができる。一部のアプリケーションでは、ユーザは、対象物を追跡するか、仮想カメラによってキャプチャされたシーン内のイベントに焦点を合わせる必要がある場合もある。対象物は、例えばスポーツ・アプリケーション内のフィールド上で走るプレーヤであってもよい。仮想カメラを制御するユーザは、視覚的に説得力のあるイベントの記録を生成するために、カメラナビゲーションに習熟する必要がある。視覚的に魅力のあるイベントのビデオ録画を作成することに習熟するには、カメラナビゲーション制御システムのトレーニングと知識、及び仮想カメラをどこにいつ配置するかを理解する創造性が必要である。

放送業界、特にスポーツの生放送においては、イベントのリプレイを生成し、可能な限り短時間でリプレイを実現することが典型的な目的である。リプレイを迅速に生成するための要件は、リプレイを生成するタスクを担当するユーザ （オペレータ） に高い要求を課す。その結果、要求された時間内にリプレイタスクを実行するために必要なカメラナビゲーションのスキルを有する個人の数は限られてしまう可能性がある。いくつかの既知のシステムは、既存の仮想カメラパスを使用することによって必要とされるオペレータスキルのレベルを低減しようとする。しかし、シーンとイベントの間の変動のために、既存のカメラパスをシーンに挿入しても、通常、イベントが所望の方法で撮影されることはない。

カメラパスの挿入に関する１つの難点は、カメラパスがイベントを正確かつ美的に撮影するためには、仮想カメラの視野（つまり、仮想カメラの位置、方向、焦点距離）とシーン内の対象物の位置との間の適切な関係が必要になることである。適切な関係により、対象物はカメラの視野内になる。リプレイイベントが同一であることはほとんど無く、各イベントには異なる対象物があり、異なる方向に移動し、異なるアクションを実行し、シーンの異なる部分に存在する。さらに、異なる固有のイベントを撮影するために、異なる仮想カメラパスが生成される。あるイベントを撮影したカメラパスを別のイベントを撮影するために挿入すると、シーンで必要なイベントを撮影できない場合がある。

いくつかの既知の方法は、既存のカメラパスを使用して仮想カメラ記録を生成する効率に対処しようとする。１つの方法は、まずユーザが仮想カメラにポーズを設定し、次にカメラの動作を指定する複数のパラメータを定義することである。パラメータの１つは、カメラの移動タイプ（例えば左右の動き、クレーンの動き）を定義する。指定したカメラの動きのタイプは、最初の仮想カメラの姿勢に対するカメラの動きに影響する。この方法では、ユーザが対象物に対してカメラの姿勢をとることができるが、イベントの進行に伴って対象物が補足されることを保証することに関する制御はほとんどない。

他の公知の方法は、ステージと呼ばれる機構を利用する。ステージは事前に生成された環境であり、事前に設定された色、テクスチャ、ライティング、カメラパス、ドロップゾーンが含まれている。ドロップゾーンは、読み込まれたオブジェクトが配置されるステージ内のどこかに配置される３Ｄボリュームである。シーンにカメラパスを挿入する代わりに、カメラパスは、ドロップゾーンに挿入されたオブジェクトとその周囲のライティングが最もよく見えるように設定される。ステージを使用する方法は、既存のカメラパス（パスは既に段階的に構成されているため）を迅速に利用するのに効率的であるが、この方法は、ライブイベント放送のコンテキストには適していない。

本発明の目的は、現在の構成の少なくとも1つの欠点を実質的に克服するか又は少なくとも改善することである。

本開示の情報処理装置は、仮想視点の位置の変化パターンと前記仮想視点が向けられる対象位置の第１移動経路とを表す複数の異なるテンプレートの中から、ユーザ入力に基づいてテンプレートを決定する決定手段と、３次元空間におけるシーン内において、ユーザ入力に基づいて仮想視点が向けられる対象位置の第２移動経路を特定する特定手段と、前記決定手段によって決定されたテンプレートに対応する前記第１移動経路上の所定の数の点と前記第２移動経路上の所定の数の点とを一致させて修正させた第１移動経路と、前記決定手段により決定されたテンプレートにより表される仮想視点の位置の変化パターンとに基づいて、前記第２移動経路に対応する仮想視点の位置の変化パターンを設定する設定手段とを有する。

本発明の1つ以上の実施形態を、以下の図面を参照して説明する。

競技場内の複数の位置及び方向から仮想カメラの視点を生成するシステムと通信して、競技場のシーンを取り囲むネットワーク化されたビデオカメラのシステムを示す。 仮想カメラのパスを決定する方法のフローチャートである。 カメラパステンプレートの図を示す。 仮想環境でのアクションパスの図を示す。 選択用の複数のカメラパステンプレートを表示する例示的なグラフィカルユーザインターフェースの一例を示す。 仮想環境に挿入されたパステンプレートの一例を示す。 仮想環境の参照による修正後のカメラパステンプレートを示す。 カメラパステンプレートを生成する方法を示す。 抽出されたカメラパスの図を示す。 抽出されたカメラパスの図を示す。 カメラパステンプレートを生成するアプリケーションの図を示す。 記載された構成を実行することができる電子デバイスの概略的なブロック図表現をまとめて示す。 記載された構成を実行することができる電子デバイスの概略的なブロック図表現をまとめて示す。

添付図面のいずれか1つ又は複数において、同一の参照番号を有するステップ及び／又は特徴が参照されている場合、それらのステップ及び／又は特徴は、反対の意図が表示されない限り、本説明の目的のために、同一の機能又は動作を有する。

本構成は、仮想環境に仮想カメラパステンプレートを挿入し、仮想環境から仮想カメラパステンプレートを抽出するアプリケーション及び方法に関する。ここで説明する構成は、コンピュータ生成環境ではなく実際の環境に関連するビデオデータの構成に関するものである。ビデオデータは、仮想カメラを用いて仮想環境を生成するものとして説明することができるが、生成された仮想環境は、実際のイベントのビデオデータを表す。本開示の文脈において、ビデオデータは、１つ以上のビデオフレームを用いて生成された三次元シーンを表すデータに関連し、各フレームは特定の時間に取り込まれる。

上述のように、仮想カメラ制御システムは、時間を節約するために既存の仮想カメラパスを挿入する能力を有するユーザから利益を得る。既存のカメラパスを挿入することで、熟練していないユーザや訓練を受けていないユーザでも、より熟練したユーザによって作成されたカメラパスを利用できる。

しかしながら、単純に既存のカメラパスをシーンに挿入しても、意図した結果が得られない可能性がある。例えば、多くの場合、既存のカメラパスをシーンに挿入すると、パスは既定の位置と方向に従って挿入される。場合によっては、既定の挿入位置と方向がシーンの原点に対応することがある。他の例では、既定の挿入位置と方向は、カメラパスが抽出された元のシーンの元の空間座標に対応できる。どちらの場合も、ユーザはカメラパスのプロパティ（位置、向き、スケール、タイミング）をさらに変換して、新しいシーンのイベントを撮影するためにパスを適応させる必要があり、時間を要する。

さらに、ユーザは、仮想カメラがシーン内を移動する際に必要な対象物を確実に撮影するように、カメラパスのプロパティをさらに調整する必要がある。事実上、既知の技法は、一般に、速度、タイミング、及び対象物の移動に合わせてカメラパスを適応させる方法を考慮していない。カメラパスの空間位置又はプロパティをさらに変換するために要する時間は、各再生記録を生成するための時間を追加し、その結果、カメラパスを挿入することによって得られる時間を短縮する。

ここで説明する構成は、図１に例示するように、スポーツ又は同様のパフォーマンスフィールドの状況において用いることを目的とする。シーン又はアリーナであるフィールド１１０は、略矩形、楕円形又は円形の競技フィールドの中央に位置し、フィールドがカメラ１２０Ａ～１２０Ｘの１以上のカメラネットワーク（リング）１２０によって囲まれることを可能とするものである。図１の例においてシーンはフィールド１１０である。しかし、他の構成では、シーンは音楽ステージ、劇場、公共又は民間の会場であってもよい。図１の例では、フィールドはオブジェクト１４０などのオブジェクトを含む。オブジェクト１４０は、人物、ボール、車両、又は性能に関連する任意の構造体であってもよい。通常、シーンにはさまざまなオブジェクトが含まれている。カメラ１２０Ａ～１２０Ｘは、フィールド１１０上のすべてのポイントが非常に多くのビューポイントから同時に撮影されるように、時間内で同時にフレームを取得するように同期化される。ある変形例では、カメラのリング全体が用いられずに全外周のいくつかのサブセットが用いられる。
カメラ１２０Ａ～１２０Ｘによって撮影されたビデオフレームは、ネットワーク接続１１２１を介して、プロセッサとも呼ばれる演算ビデオ処理部１１０５に利用可能にされる前に、カメラの近くで処理及び一時的に記憶される。演算ビデオ処理部１１０５は、制御装置１８０からの制御入力を受け取り、制御入力は、フィールド１１０内の仮想カメラ１５０に対する位置、向き、ズーム、及び場合によっては他のシミュレートされたカメラ特徴を特定する。演算ビデオ処理部１１０５の役割は、フィールド１１０を取り囲むカメラ１２０Ａ～１２０Ｘから利用可能なビデオストリームに基づいて、特定の仮想カメラパースペクティブ１９０を合成することである。「仮想カメラ」は、物理カメラ間の補間などの方法によって、又はシーンを取り囲む多くのカメラからのデータを使用して構築されたモデル化された三次元シーンから、単に単一の物理カメラの出力ではなくレンダリングすることによって、その機能性が計算上導出されるので、仮想カメラと呼ばれる。

仮想カメラの位置特定入力は、人間の仮想カメラのオペレータによって生成され、ジョイスティック、マウス、又は複数の入力コンポーネントを備えた専用コントローラを含む同様のコントローラなどのユーザインターフェースデバイスによって受け付けられた入力に基づいてもよい。コントローラ１８０は、いくつかの実施例では、ユーザインターフェース装置を提供することができる。代替的に、仮想カメラの位置は、フィールド１１０における試合競技の解析に基づいて完全に自動的に生成されてもよい。ハイブリッド制御構成もまた可能であるため、仮想カメラの位置決めについてのある態様は、人間のオペレータ又は自動化アルゴリズムによる他のものによって指示される。ハイブリッドコントローラの例は、コースの位置決めが人間のオペレータによって実行され、安定化及びパスの円滑化を含む精密な位置決めは自動化アルゴリズムによって実行される場合を含む。

演算ビデオ処理部１１０５は、本技術分野において自由ビューポイント生成のための周知の方法の１つを用いてフレーム合成を実現する。方法の第１のクラスは、シーン１１０の完全三次元（３Ｄ）幾何学形状を再構築するモデルによる方法に関する。第２のクラスは、深度推定を用い、画像及び深度データから自由ビューポイントビデオを生成する深度による方法に関する。第３のクラスは、自由ビューポイントビデオを直接形成するように画像データのある種の補間を用いる画像による方法に関する。３Ｄ幾何学形状を生成するのに用いられる技術は、運動による構造、シルエットによる形状、視覚的外郭再構築、焦点合致又はピンボケによる形状、立体による構造、及び深度／差異推定アルゴリズムを含む。画像によるレンダリング方法は、既知の幾何学的配置構成のカメラセットからの画素データのサンプリング、及びこの情報の合成フレームへの組合せに基づく。演算ビデオ処理部は、要求されるフレームのサンプルによるレンダリングに加えて、要求されるサンプリング欠陥を隠すこと及び高品質の視覚的外観のフレーム作成として領域の合成、３Ｄモデリング、インペインティング又は補間も実行し得る。演算ビデオ処理部１１０５によって生成された視点ト１９０からのビデオストリームは、続いて、ビデオストリーム１９０がともに編集されて放送ビデオを形成可能な制作デスク（図示せず）に提供され得る。

カメラ１２０Ａ～１２０Ｘは、仮想カメラ映像を合成可能なビデオフレームを撮影するのに適した撮像装置であってもよく、接続部１１２１を介して映像を送信することができる。例えば、カメラ１２０Ａ～１２０Ｘは、デジタルビデオカメラであってもよい。

図１１Ａ及び１１Ｂは、組み込まれた構成要素を含む汎用の電子デバイス１１０１の概略的ブロック図をまとめて形成し、それにより説明する方法が所望のように実践される。電子デバイス１１０１は、好適には、タブレットなどのビデオ映像を鑑賞及び編集するのに適したデバイスである。電子デバイス１１０１はまた、例えば、処理リソースが制限された携帯電話、又はポータブルメディアプレーヤであってもよい。それにもかかわらず、説明する方法はまた、デスクトップコンピュータ、サーバコンピュータ、及び非常に大きな処理リソースを有する他のそのようなデバイスなどのよりハイレベルのデバイス上でも実行され得る。

図１１Ａに示すように、電子デバイス１１０１は組み込まれたコントローラ１１０２を備える。したがって、電子デバイス１１０１は、「組込みデバイス」と称される。本例では、コントローラ１１０２は、内部ストレージモジュール１１０９に双方向連結された処理部（プロセッサ）１１０５を有する。内部ストレージモジュール１１０９は、図１１Ｂに示すように、不揮発性半導体読み出し専用メモリ（ＲＯＭ）１１６０及び半導体ランダムアクセスメモリ（ＲＡＭ）１１７０から構成され得る。ＲＡＭ１１７０は、揮発性メモリ、不揮発性メモリ、又は揮発性と不揮発性メモリの組合せであってもよい。

電子デバイス１１０１は、ディスプレイコントローラ１１０７を含み、それは液晶ディスプレイ（ＬＣＤ）パネルなどのようなビデオディスプレイ１１１４に接続される。ディスプレイコントローラ１１０７は、ディスプレイコントローラ１１０７が接続される組み込まれたコントローラ１１０２から受信された命令に従ってビデオディスプレイ１１１４上にグラフィック画像を表示するように構成される。
電子デバイス１１０１はまた、キー、キーパッド又は同様の制御装置によって通常構成されるユーザ入力デバイス１１１３も含む。ある実施例では、ユーザ入力デバイス１１１３は、タッチスクリーンをまとめて構成するようにディスプレイ１１１４に物理的に関連付けられたタッチ感知パネルを含み得る。したがって、そのようなタッチスクリーンは、プロンプトの対語としてのグラフィカルユーザインターフェース（ＧＵＩ）、又はキーパッド－ディスプレイとともに通常用いられるメニュー駆動ＧＵＩの一方の形式として動作し得る。音声コマンドのためのマイク（図示せず）又はメニューについてのナビゲーションを容易にするためのジョイスティック／サムホイール、又はゲームパッド（図示せず）などの、他の形式のユーザ入力デバイスも用いられ得る。仮想カメラを制御するためのユーザ入力は、ユーザ入力デバイス１１１３を介して、通常、電子デバイス１１０１がタブレットコンピュータの場合にはタッチスクリーン１１１４を介して受信され得る。

図１１Ａに示すように、電子デバイス１１０１は可搬メモリインターフェース１１０６も備え、それは接続１１１９を介してプロセッサ１１０５に連結される。可搬メモリインターフェース１１０６によって、可搬記憶媒体１１２５は、データの送信元若しくは宛先として作用するように、又は内部ストレージモジュール１１０９を補足するように電子デバイス１１０１に連結されることが可能となる。そのようなインターフェースの例は、ユニバーサルシリアルバス（ＵＳＢ）メモリデバイス、セキュアデジタル（ＳＤ）カード、パーソナルコンピュータメモリカード国際協会（ＰＣＭＩＡ）カード、光ディスク及び磁気ディスクなどの可搬メモリデバイスとの結合を可能とする。

電子デバイス１１０１はまた、接続１１２１を介するコンピュータ又は通信ネットワーク１１２０への電子デバイス１１０１の連結を可能とする通信インターフェース１１０８も有する。接続１１２１は、有線でも無線であってもよい。例えば、接続１１２１は無線周波数又は光学的であってもよい。有線接続の例は、イーサネット（登録商標）を含む。さらに、無線接続の例は、Ｂｌｕｅｔｏｏｔｈ（登録商標）タイプのローカル相互接続、Ｗｉ－Ｆｉ（ＩＥＥＥ８０２．１１ファミリーの規格に基づくプロトコルを含む）、赤外線通信協会（ＩｒＤａ）などを含む。

通常、電子デバイス１１０１は、ある特殊機能を実行するように構成される。組み込まれたコントローラ１１０２は、おそらくさらに特殊な機能の構成要素１１１０とともにその特殊な機能を実行するように設けられる。例えば、電子デバイス１１０１はタブレットである場合には、構成要素１１１０は圧力パッド又はタッチスクリーンに関連する他の機能を示し得る。特殊な機能の構成要素１１１０は、組み込まれたコントローラ１１０２に接続される。他の例として、電子デバイス１１０１は、携帯電話機のハンドセットであってもよい。この実例では、構成要素１１１０は、セルラ電話機環境における通信に必要とされるそれらの構成要素を示し得る。電子デバイス１１０１は可搬デバイスであり、特殊な機能の構成要素１１１０は、ジョイントフォトグラフィックエクスパーツグループ（ＪＰＥＧ）、ムービングピクチャエクスパーツグループ（ＭＰＥＧ）、ＭＰＥＧ－１オーディオレイヤ３（ＭＰ３）などを含むタイプの多数のエンコーダ及びデコーダを示し得る。

これ以降で説明する方法は組み込まれたコントローラ１１０２を用いて実施されてもよく、図６～１２及び図１４の工程が、組み込まれたコントローラ１１０２内で実行可能な１以上のソフトウェア・アプリケーションプログラム１１３３として実施され得る。図１１Ａの電子デバイス１１０１は、説明する方法を実施する。特に、図１１Ｂを参照すると、説明する方法のステップは、コントローラ１１０２内で実行されるソフトウェア１１３３における命令によって達成される。ソフトウェアの命令は、各々が１以上の特定のタスクを実行するための１以上のコードモジュールとして構成され得る。ソフトウェアはまた、２つの分離した部分に分割されてもよく、第１の部分と対応するコードモジュールは説明する方法を実行し、第２の部分と対応するコードモジュールは第１の部分とユーザの間のユーザインターフェースを管理する。

組み込まれたコントローラ１１０２のソフトウェア１１３３は、通常、内部ストレージモジュール１１０９の不揮発性ＲＯＭ１１６０に記憶される。ＲＯＭ１１６０に記憶されたソフトウェア１１３３は、コンピュータ可読媒体から要求された場合に更新可能である。ソフトウェア１１３３は、プロセッサ１１０５に読み込まれるとともにそれによって実行可能である。ある実例では、プロセッサ１１０５は、ＲＡＭ１１７０に配置されたソフトウェアの命令を実行し得る。ソフトウェアの命令は、プロセッサ１１０５によってＲＡＭ１１７０に読み込まれて、ＲＯＭ１１６０からＲＡＭ１１７０への１以上のコードモジュールのコピーを開始し得る。代替的に、１以上のコードモジュールについてのソフトウェアの命令は、製造業者によってＲＡＭ１１７０の不揮発性領域に事前にインストールされてもよい。１以上のコードモジュールがＲＡＭ１１７０に配置された後に、プロセッサ１１０５は１以上のコードモジュールについてのソフトウェアの命令を実行し得る。

アプリケーションプログラム１１３３は、通常、電子デバイス１１０１の分配よりも前に、製造業者によってＲＯＭ１１６０に事前にインストール及び記憶される。しかしながら、ある実例では、アプリケーションプログラム１１３３は、１以上のＣＤ－ＲＯＭ（図示せず）上で符号化されてユーザに供給され、内部ストレージモジュール１１０９又は可搬記憶媒体１１２５における記憶よりも前に、図１１Ａの可搬メモリインターフェース１１０６を介して読み出され得る。他の代替例では、ソフトウェア・アプリケーションプログラム１１３３は、プロセッサ１１０５によってコンピュータ又は通信ネットワーク１１２０から読み出され、又は他のコンピュータ可読媒体からコントローラ１１０２若しくは可搬記憶媒体１１２５に読み込まれ得る。コンピュータ可読記憶媒体とは、実行及び／又は処理のためにコントローラ１１０２に命令及び／又はデータの提供に際して関与する任意の非一時的タンジブル記憶媒体のことをいう。そのような記憶媒体の例は、それらのデバイスが電子デバイス１１０１の内部又は外部に有るか否かにかかわらず、フロッピーディスク、磁気テープ、ＣＤ－ＲＯＭ、ハードディスクドライブ、ＲＯＭ若しくは集積回路、ＵＳＢメモリ、光磁気ディスク、フラッシュメモリ、又はＰＣＭＣＩＡカードなどのコンピュータ可読カードなどを含む。ソフトウェア、アプリケーションプログラム、命令及び／又はデータの電子デバイス１１０１への提供の際にも関与し得る一時的又は非タンジブルコンピュータ可読伝送媒体の例は、無線又は赤外線伝送チャネルと、さらに他のコンピュータ又はネットワーク化されたデバイスへのネットワーク接続、並びにウェブサイト上などに記録されたｅメールの送信及び情報を含む単数又は複数のインターネットとを含む。それに記録されたそのようなソフトウェア又はコンピュータプログラムを有するコンピュータ可読媒体は、コンピュータプログラム製品である。

上記のアプリケーションプログラム１１３３の第２の部分と対応するコードモジュールは、１以上のグラフィカルユーザインターフェース（ＧＵＩ）を実施するように実行されて、図１１Ａのビデオディスプレイ１１１４にレンダリングあるいは表現され得る。ユーザ入力デバイス１１１３（又は、タッチスクリーン）の操作を通じて、電子デバイス１１０１及びアプリケーションプログラム１１３３のユーザは、機能上適合可能なようにインターフェースを操作し、制御コマンド及び／又は入力をＧＵＩに関連付けられたアプリケーションに提供し得る。拡声器（図示せず）を介して出力される言語プロンプトを利用するオーディオインターフェース及びマイク（図示せず）を介して入力されるユーザの音声コマンドなどの、他の形式の機能上適合可能なユーザインターフェースも実施され得る。

図１１Ｂは、アプリケーションプログラム１１３３及び内部ストレージモジュール１１０９を実行するためのプロセッサ１１０５を有する組み込まれたコントローラ１１０２を詳細に示す。内部ストレージモジュール１１０９は、読み出し専用メモリ（ＲＯＭ）１１６０及びランダムアクセスメモリ（ＲＡＭ）１１７０を備える。プロセッサ１１０５は、接続されたメモリ１１６０及び１１７０の一方又は双方に記憶されたアプリケーションプログラム１１３３を実行可能である。電子デバイス１１０１が最初に電源投入されると、ＲＯＭ１１６０にあるシステムプログラムが実行される。ＲＯＭ１１６０に恒久的に記憶されたアプリケーションプログラム１１３３を「ファームウェア」ともいう。プロセッサ１１０５によるファームウェアの実行によって、プロセッサの管理、メモリの管理、デバイスの管理、ストレージの管理及びユーザインターフェースを含む種々の機能が充足され得る。

プロセッサ１１０５は、通常、制御部（ＣＵ）１１５１、算術論理演算装置（ＡＬＵ）１１５２、デジタル信号プロセッサ（ＤＳＰ）１１５３、及び内部バッファ又はキャッシュメモリ１１５５とともに通常原子データ要素１１５６、１１５７を含むレジスタ１１５４のセットを備えるローカルメモリ又は内部メモリを含む、多数の機能性モジュールを含む。１以上の内部バス１１５９は、これらの機能性モジュールを相互接続する。通常、プロセッサ１１０５はまた、接続１１６１を用いてシステムバス１１８１を介して外部デバイスと通信するために１以上のインターフェース１１５８も有する。

アプリケーションプログラム１１３３は、条件付き分岐及びループ命令を含み得る一連の命令１１６２から１１６３を含む。アプリケーションプログラム１１３３はデータを含んでいてもよく、それはアプリケーションプログラム１１３３の実行に用いられる。このデータは、命令の一部として、又はＲＯＭ１１６０若しくはＲＡＭ１１７０内の別個の位置１１６４に記憶され得る。

一般的に、プロセッサ１１０５にはそこで実行される命令のセットが与えられる。命令のこのセットは、具体的なタスクを実行又は電子デバイス１１０１において生じる具体的なイベントを取り扱うブロックにまとめられる。通常、アプリケーションプログラム１１３３は、イベントを待ち受け、続いてそのイベントに関連付けられたコードのブロックを実行する。イベントは、プロセッサ１１０５によって検出されるように、図１１Ａのユーザ入力デバイス１１１３を介したユーザからの入力に応じてトリガされ得る。イベントはまた、電子デバイス１１０１における他のセンサ及びインターフェースに応じてもトリガされ得る。

命令のセットの実行は、読み出されて修正される数値変数を要求し得る。そのような数値変数は、メモリ（ＲＡＭ）１１７０に記憶される。開示する方法は、メモリ１１７０における既知の位置１１７２、１１７３に記憶された入力変数１１７１を用いる。入力変数１１７１は、メモリ１１７０における既知の位置１１７８、１１７９に記憶された出力変数１１７７を生成するように処理される。中間変数１１７４は、メモリ１１７０の位置１１７５、１１７６における追加的メモリ位置に記憶され得る。代替的に、プロセッサ１１０５のレジスタ１１５４にのみ存在し得る中間変数もある。

一連の命令の実行は、フェッチ実行サイクルの反復アプリケーションによってプロセッサ１１０５において実現される。プロセッサ１１０５の制御部１１５１はプログラムカウンタといわれるレジスタを維持し、それは実行される次の命令のＲＯＭ１１６０又はＲＡＭ１１７０にアドレスを含む。フェッチ実行サイクルの開始時に、プログラムカウンタによってインデックス付けされたメモリアドレスのコンテンツが、制御部１１５１に読み込まれる。したがって、読み込まれた命令はプロセッサ１１０５の後続の動作を制御することにより、例えば、データがＲＯＭ１１６０からプロセッサのレジスタ１１５４に読み込まれ、レジスタのコンテンツが他のレジスタのコンテンツと算術的に組み合わされ、レジスタのコンテンツが他のレジスタに記憶された位置に書き込まれるなどとなる。フェッチ実行サイクルの終了時には、プログラムカウンタはシステムプログラムコードにおける次の命令を指し示すように更新される。これは、ちょうど実行された命令に応じて、分岐動作を実現するために、プログラムカウンタに含まれたアドレスを増分すること又は新たなアドレスによるプログラムカウンタを読み込むことを含み得る。

説明した構成において、ユーザは、典型的には、仮想カメラパスの決定に関連する機能を実行し、入力１１１３を使用して仮想カメラを制御する。あるいは、ユーザは、モジュール１１０１と同様の方法で動作するコントローラ１８０を使用して、仮想カメラ１５０を制御してもよい。

記載された構成のアプローチは、仮想環境のイベントに関連してカメラパスの時間を位置決めし、方向付けし、スケーリングし、調整するためのユーザ要求を単純化することによって、仮想環境にカメラパスを挿入する効率に対処するように動作する。上述したように、挿入されたカメラパスの位置、向き、及びスケールをユーザが調整することは問題である。しかしながら、本明細書に記載の構成を使用する場合、ユーザは、仮想環境を介してアクションパスを構成し、挿入するカメラパステンプレートを選択するだけでよい。一連のステップを通して、アプリケーション１１３３は、カメラパステンプレートのカメラパスを修正してアクションパスを位置合わせする。

図２は、仮想カメラパスを決定する方法２００を示す。方法２００は、典型的には、アプリケーション１１３３の一つ以上のモジュールとして実装され、メモリ１１０９に格納され、プロセッサ１１０５の実行下で制御される。

方法２００は、決定ステップ２０１から開始する。ステップ２０１は、シーンの三次元ビデオデータにおけるアクションパスを決定するために実行される。ステップ２０１の一実施形態では、モジュール１１０１は、シーン１１０のビデオ映像をディスプレイ、例えばディスプレイ１１１４上に再生する。この実施では、ユーザは仮想環境を介してアクションパスを設定する必要がある。アクションパスは、例えば、入力１１１３又はタッチスクリーン１１１４のいずれかを操作することによって、ビデオデータ内の三次元点又は位置のユーザ選択を受信するビデオ映像の表示に関連するグラフィカルユーザインターフェースによって構築することができる。アクションパスは、カメラ１２０Ａ～１２０Ｘで撮像された画像データを用いて合成された仮想環境を通る直線である。アクションパスは、ユーザが仮想カメラ１５０で記録しようとするイベントの軌跡やタイミングを示す。ユーザは仮想環境における対象物の空間的及び時間的な動きを考慮し、フィールド上でアクションが発生した中心軸を通るアクションパスを構築する。ある構成では、ユーザは、ビデオデータ内に２つ（三次元）の点を定義することによってアクションパスを設定する。

ユーザによって定義された各点は、シーンのビデオデータにおける空間基準点及び時間基準点を特定する。ユーザによって定義される第１の点は、（シーン内の）三次元の空間的な位置及びイベントの開始に関連する時間的な基準をマークする。定義された第２の点は、（シーン内の）三次元の空間的な位置及びユーザの視点から見たイベントの終了に関連する時間的な基準をマークする。ステップ２０１では、アクションパスを定義するために２つの点を使用することにより、ユーザ側の労力を低減することを要求する。点を定義するタスクを実行するために、ユーザは、空間座標を指定することができるユーザ入力手段と、シーンのタイムラインをナビゲートする手段とを必要とする。ユーザがこれらのタスクを実行するためには、ハードウェア制御又はソフトウェア制御のいずれかが使用され得る。記載された構成では、ユーザは点を定義するために異なるタイプの入力装置を使用できる。例えば、各点は、オブジェクト又はシーン内の位置を示すタッチスクリーン１１１４の位置を選択することによって、又はゲームパッドなどの入力を使用して位置を選択することによって、グラフィカルユーザインターフェースと対話するユーザによって定義され得る。

ステップ２０１でアクションパスを定義する別の方法は、ユーザが、記録されるイベントのタイムスパン中に、ビデオデータ内の複数の三次元点を定義することを可能にする。ユーザは、例えば、少なくとも２つの異なる時間値について、シーン内の対象物の位置をマークできる。各ポイント（時間的・空間的位置のマーキング）は、記録されるイベントに参加する重要な対象物の位置に相関する。選択された（定義された）複数のポイントを使用して、アプリケーション１１３３は、仮想環境を介して対象物の速度特性を決定できる。速度特性は、対象物が通常一定速度で移動しないことを認識するのに役立つ。オブジェクトの速度を決定することは、アプリケーション１１３３に、オブジェクトが軌道に沿ってどこに位置し、シーン内のどこで仮想カメラが撮影すべきかを指示する。ユーザが複数の点を指定した後、アプリケーション１１３３は、その複数の点を使用して、すべての点の間で最も適合した線を生成する。生成された最も適合する線がアクションパスになる。記載された構成において、アクションパスは直線を含む。他の実装では、アクションパスは、複数の点の間で三次スプラインを補間することによって生成される曲率を有する開曲線を形成する線を含むことができる。

ステップでアクションパスを定義する別の代替方法は、追跡アルゴリズムを使用することを含む。追跡アルゴリズムは、１つ以上のソースから得られたデータに基づくことができる。供給源は直接的であっても間接的であってもよい。直接的なデータソースには、シーン内の対象物（関心がある物体）によって物理的に装着されたデバイスによって取得されたデータが含まれる。これらのデバイスは通常、全地球測位システム（ＧＰＳ）又は無線周波数識別（ＲＦＩＤ）技術を使用してデータを送信し、環境内の対象物の位置を明らかにする。間接的なデータソースは、ビデオデータを分析する画像ベースのトラッキング方法から得られたデータを含む。例示的な画像ベースの追跡方法は、シーン１１０を撮影する物理カメラ１２０Ａ～１２０Ｘの映像を分析し、対象となる可能性がある物体を識別するために物体認識を実行する。潜在的な対象物が識別されると、潜在的な対象物の位置が、オブジェクトを含む各物理カメラによって撮影された各フレームに記録される。他の物理カメラからのビューを使用することで、三次元の空間位置がアプリケーション１１３３の実行によって決定され得る。追跡アルゴリズムがどの対象物を追跡するかを指示された後、環境内で移動するオブジェクトの位置とタイミングを定義する一連の点が生成される。したがって、トラッキングアルゴリズムの実行は、少なくとも２つの異なる時間値について、シーン内の対象物の位置を決定する。アプリケーション１１３３３は、複数の点を使用して、すべての点の間で最も適合する線を生成する。生成された最も適合する線がアクションパスとして使用される。

アクションパスの設定は、環境１１０内のどのオブジェクト又はエリアを仮想カメラで撮影すべきかについての空間的及び時間的な情報を供給するように動作する。

方法２００は、ステップ２０１から選択ステップ２０２に続く。ステップ２０２において、ユーザは、仮想環境に挿入するカメラパステンプレートを選択する。装置１１０１は、例えば、ビデオ映像を再生するグラフィカルユーザインターフェースを介してユーザ選択を受信することができる。図３は、例示的なカメラパステンプレート３００を示す。テンプレートカメラパス３００は、関連するテンプレートフォーカスパスに対するテンプレートカメラパスを定義する情報を含む。図３に示すように、カメラパステンプレート３００は、仮想カメラパス３０１及びフォーカスパス３０２を含む。カメラパス３０１は、仮想カメラ（１５０）が移動する経路である。カメラパス３０１は、一連のカメラ位置値（Ｘ、Ｙ、Ｚ）、カメラ方向座標（パン、チルト、ロール、ズーム）、及びカメラ時間座標によって定義される。時間座標値を位置値と組み合わせて、カメラ速度値を得ることができる。カメラパス３０１上の仮想カメラは、開始位置３０３と終了位置３０４とを有する。仮想カメラは、カメラパス３０１に沿って一定速度で移動する必要はない。

フォーカスパス３０２は、カメラパス３０１に関連する線である。フォーカスパスは、始点３０５と終点３０６を有する。フォーカスパス３０２とカメラパス３０１との関連付けは、カメラパステンプレート３００の作成者によって作成される。記載された構成の文脈において、フォーカスパスは、仮想カメラの幾何学的焦点領域を表し、焦点領域は時間とともに移動する。フォーカスパスは、効果的に、座標のセットと、シーン内の対象物（ターゲット）の動きを追跡する最良適合を表す関連方向とを含む。フォーカスパスは、対象物がカメラパスに関連していると予想される位置に相関するように生成される。テンプレートカメラパスは、テンプレートカメラパスに従う仮想カメラがフォーカスパス上の位置を撮影する視野を有するように構成されるという点で、フォーカスパスに関連付けられる。

フォーカスパスは、対象物がフォーカスパスに沿って移動するときのフォーカス領域の速度を定義する速度特性を含むこともできる。フォーカスパスの速度特性は、カメラパスに沿ったカメラパスの速度特性と相関する。例示テンプレート３００は、カメラパス３０１の中心を通るフォーカスパス３０２を示す。しかしながら、フォーカスパス３０２は、対象物がシーン内に撮影される可能性が高いカメラパス３０１に対して、任意の空間的及び時間的関係を有することができる。

方法２００は、ステップ２０２から挿入ステップ２０３に続く。ステップ２０３の実行時に、アプリケーション１１３３は、選択されたカメラパステンプレートを仮想環境に挿入する。最初に、アプリケーション１１３３はカメラパステンプレートを既定位置に挿入する。既定位置の例としては、仮想環境の原点がある。

方法２００は、ステップ２０３から変換ステップ２０４に続く。ステップ２０４は、仮想カメラパスを決定するために、テンプレートフォーカスパスとアクションパスとの間の位置合わせに基づいてテンプレートカメラパスを変換（２０４）するように効果的に動作する。ステップ２０４の実行において、アプリケーション１１３３は、カメラパステンプレート３００のフォーカスパス構成要素３０２を変換して、フォーカスパスを構成されたアクションパスと位置合わせする。アプリケーション１１３３は、フォーカスパスを変形する際に、フォーカスパス３０２の始点及び終点がアクションパス３０１の始点及び終点と一致するように、始点及び終点（３０５及び３０６）の位置及び時間値を変更する。したがって、ステップ２０４の動作は、両方のパス３０１及び３０２の位置、向き、スケール及びタイムスパンを整合させる。ステップ２０４は、さらに、変換された仮想カメラパスからシーンを撮影するビデオフレームを合成（生成）し、撮影されたビデオをディスプレイ１１１４上に再生する。生成されたビデオは、変換された仮想カメラパスに沿った仮想カメラビューに対応する。

アクションパスへのテンプレートフォーカスパスの整列は、カメラパスを拡大又は縮小するなど、カメラパスを合せるように動作することができる。同様に、アクションパスに対するテンプレートフォーカスパスの位置合わせは、仮想カメラの向きを修正するように動作することができる。アクションパスに速度特性が関連付けられている場合、その調整は、フォーカスパスの速度特性を対応して修正することができる。カメラパス３０１は、フォーカスパス３０２に対する修正がカメラパスの位置、向き、及びスケール値に等しく影響するので、フォーカスパス３０２と固定された関係を有する。

アクションパスが複数の定義された点を利用する方法によって定義される実装において、アクションパスに沿った対象物の速度特性が決定される。また、アプリケーション１１３３は、アクションパスの速度特性に整合してフォーカスパスの速度特性を修正するように実行することもできる。これに応じて、カメラパスに沿った仮想カメラ１５０のタイミングが調整される。

アクションパスに合わせてフォーカスパスを修正した結果、カメラパスは、アクションパスを作成するユーザによって最初に指示されたイベントを適切に撮影するように過剰に修正される場合がある。イベントの対象物を撮影するために仮想カメラの向きをより良くするために、アプリケーション１１３３は、仮想カメラを再配向することによって、カメラの位置とは独立してカメラの向きを修正することができる。カメラを再配向するために、アプリケーション１１３３は、一連の複数の定義された点を参照し、時間の経過に伴う対象物の位置をマークする。アプリケーション１１３３が、決定されたフォーカスパスとアクションパスとのマッチングに基づいてカメラパス上のカメラの位置移動を修正する間、仮想カメラの向きは、複数の定義された点（対象物の位置を示す）及び点間の中間位置を撮影するように修正される。

アクションパスが曲線に関連する場合、アプリケーション１１３３は、フォーカスパスの始点を曲線の始点に、フォーカスパスの終点を曲線の終点に一致させるように実行する。さらに、テンプレートフォーカスパスの中間点は、曲線の中間点に一致する。さらに、又は代替的に、テンプレートフォーカスパスの所定の数の位置又は点を、曲線上の対応する数の点に一致させることができる。

ステップ２０４の実行後、方法２００は終了する。

次に、方法２００について、例示的なシナリオを参照して説明する。図４は、仮想環境４００の一例を示す。仮想環境４００は、ディスプレイ１１１４上に再現されるシーン１１０の一部を表す。ステップ２０１の実行において、ユーザは環境４００内にアクションパスを設定する。図４の例では、仮想環境４００はサッカーゲームのシーンである。ユーザが撮影しようとするイベント４０１は、ゴール４０７に向かってボールをドリブルするプレーヤのイベントである。説明の目的で、プレイヤーの動きの全軌跡を読者に伝えるために、プレイヤーとボールの位置を示すイラスト４４０が繰り返されている。

イベント４０１を撮影するために、ユーザはステップ２０１に従ってアクションパス４０２を作成する。ユーザは、入力装置（例えば入力１１１３）を使用して、グラフィカルユーザインターフェース（図示せず）を介して、イベントの開始時点までシーンのタイムラインをナビゲートする。ユーザは、始点４０３を指定し、イベント４０１の開始位置をマークする。ユーザは、イベント４０１の終わりまでタイムラインをナビゲートする。ユーザは、終点４０４を指定し、イベント４０１の終了位置をマークする。始点４０３及び終点４０４を指定することにより、アクションパス４０２が定義される。アクションパス４０２を定義した後、ユーザは、ステップ２０２の一部として、仮想環境に挿入するカメラパステンプレートを選択する。

図５は、選択用の複数のカメラパステンプレートを有するユーザインターフェースの一例を示す。ユーザには、３つの異なるカメラパステンプレートＡ５０１、Ｂ５０２及びＣ５０３を示すＧＵＩウィンドウ５００が提示される。各テンプレート５０１、５０２及び５０３は、実線で示すフォーカスパスと、破線で示すカメラパスとを含む。本明細書に記載する例では、ユーザは、仮想環境に挿入するテンプレートＢ５０２を選択する。

図６は、アプリケーションが選択されたカメラパステンプレート６０１（テンプレート５０２に対応）を、仮想環境６００（環境４００に対応）に挿入するステップ２０３の動作を示す。 ステップ２０４は、アプリケーション１１３３がフォーカスパス６０２を変換して、ステップ２０１で設定されたアクションパス６０３と位置合わせするように実行される。アクションパス６０３は、アクションパス４０２に対応する。アプリケーション１１３３は、選択されたカメラパステンプレート６０１を既定位置、例えばユーザから受信したインタラクションの最初又は最後の位置で仮想環境６００に挿入するように実行する。アプリケーション１１３３は、ステップ２０４を実行して、カメラパステンプレート６０１のフォーカスパス６０２をアクションパス６０３に位置合わせするように変換する。フォーカスパス６０２をアクションパス６０４と位置合わせするために、アプリケーションは、フォーカスパス６０２の始点６０５の位置及び時間値を、アクションパス６０３の開始点６０７の位置及び時間値と同じになるように変更する。アプリケーション１１３３は、フォーカスパス６０２の終点６０６の位置及び時刻値を、アクションパス６０３の終点６０８の位置及び時刻値と同一にする修正を実行する。

図７は、ステップ２０４の実行結果及び方法２００の対応する結果を示す。図７のシーン７００は、図６のシーン６００に対応する。変換されたテンプレート７０１は、ステップ２０４の実行後のテンプレート６０１に対応する。アプリケーションがカメラテンプレート６０１を変形し、フォーカスパス６０２の値を変更した結果、修正されたカメラパス７０１が生成され、それによって仮想カメラ１５０は（イベント４０１に対応する）イベント７０２を撮影することができる。

図８は、図２の方法２００の一部として使用するためのカメラパステンプレートを生成する方法８００を示す。方法８００は、典型的には、アプリケーション１１３３の一つ以上のモジュールとして実装され、メモリ１１０９に格納され、プロセッサ１１０５の実行下で制御される。

図９Ａ、図９Ｂ、図１０及び図１１は、方法８００のステップの動作の一例を提供する。方法８００は、アクセスステップ８０１で開始する。ステップ８０４は、カメラパスを定義するカメラ座標へのアクセスを実行する。アプリケーション１１３３は、ユーザが仮想カメラパスを生成した以前のイベントの履歴データにアクセスすることにより、カメラ座標にアクセスする。カメラ座標は、例えば、イベント又は仮想カメラに関連して記憶され得る。アプリケーション１１３３は、追加的に又は代替的に、他のソースからカメラ座標にアクセスすることができる。例えば、アプリケーションは、Ａｕｔｏｄｅｓｋ ３ＤＳ ＭＡＸなどのカメラパス・オーサリング・ソフトウェア・アプリケーションによって生成されたカメラ座標にアクセスできる。

図９Ａは、例示的な仮想環境９００の図である。仮想環境９００は、カメラ１２０Ａ～１２０Ｘによって収集された三次元ビデオデータから合成される。仮想環境９００は、抽出される既存のカメラパス９０１を含む。カメラパス９０１は、経時的な一連のカメラ座標を含む。

方法８００は、ステップ８０１から分離ステップ８０２に進む。ステップ８０２の実行において、カメラ座標の一部が抽出（分離）され、カメラパステンプレートのカメラパスとなる。ステップ８０２は、図２のステップ２０１でアクションパスを定義するために説明したものと同様の方法を使用することができる。カメラ座標の分離では、ユーザはカメラパスの開始値と終了値を手動で定義できる。あるいは、アプリケーション１１３３は、カメラパスの開始値及び終了値を定義するために実行することができる。一例では、ユーザは、例えばイベントに関連する点を選択することによって、ＧＵＩを使用してカメラパスの開始値及び終了値を手動で定義する。別の例では、アプリケーション１１３３は、カメラパスが最初に記録されたイベントの分析及びイベントを撮影するカメラ座標の決定に基づいて、カメラパスの始点又は終点を定義することができる。例えば、オブジェクトに関連付けられた追跡データと追跡アルゴリズムを使用して、開始時間と終了時間を決定できる。アプリケーション１１３３は、追加的に又は代替的に、トレーニングされた分類器を使用して、ゴールを決める、ボールをパスする等のイベントの発生を検出することができる。図９Ａにおいて、抽出（分離）されるべきカメラパス９０１の部分は、始点９０２及び終点９０３によって定義される。

方法８００は、ステップ８０２から設定ステップ８０３に進む。ステップ８０３の実行において、分離されたカメラパスに関連してフォーカスパスが設定される。ユーザ又はアプリケーション１１３３は、フォーカスパスを定義する。一例では、ユーザは、仮想カメラの視野のイベント及び動きを観察し、フォーカスパスの位置及び方向を手動で決定する。例えば、ユーザは、ステップ８０３において、グラフィカルユーザインターフェース（図示せず）を操作して、フォーカスパスの位置及び向きを選択することができる。次いで、ユーザは、図９Ｂに示すように、フォーカスパスの始点９０７、続いてフォーカスパスの終点９０８を指定することによってフォーカスパスを設定する。いくつかの実施例では、ユーザは、始点９０７と終点９０８との間にいくつかの点を提供することができる。別の例では、アプリケーション１１３３は、フォーカスパスの決定を実行する。ある実装例では、ステップ８０３は、ステップ２０１に関連して説明した追跡アルゴリズムを実行して、アクションパスを決定する。追跡アルゴリズムは、フォーカスパスとして、又はフォーカスパスを決定するために使用される。

図９Ｂにおいて、フォーカスパス９０４は、フォーカスパス９０７の開始のタイミング値がカメラパス９０２の開始と同じであるカメラパス９０５の一部によって撮影されたイベント９０６に関連して定義される。同様に、フォーカスパス９０８が終了するタイミングは、カメラパス９０３の終了と同じである。

方法８００は、ステップ８０３から抽出ステップ８０４に進む。ステップ８０4の実行では、カメラパス及びフォーカスパスがカメラパステンプレートとして抽出される。図１０は、アプリケーション１１３３がカメラパス１００１及びフォーカスパス１００２を一般化されたカメラパステンプレート１０００に抽出することを示す。一般化されたカメラテンプレートは、ＧＵＩウィンドウ１０５０の表示に追加されたメモリ１１０９に格納される。ＧＵＩウィンドウ１０５０は、図５に示されるテンプレート５０２及び５０３を含む。

ここで説明する構成は、画像処理の産業、特にビデオ撮影及びリプレイの産業に適用できる。

フォーカスパスを使用すると、関心のある物体を含むビデオを取り込み可能にするように、シーンの複数のパラメータを要約することができる。フォーカスパスをアクションパスに位置合わせすると、カメラパスの変換が改善され、イベントに関連付けられたパラメータやイベントが異なっていてもテンプレートを再利用できる。したがって、記載された構成におけるフォーカスパスの使用は、テンプレートを使用してイベント又は対象物を適切に撮影する可能性を改善する。フォーカスパスをアクションパスと位置合わせすることにより、上述の構成は、仮想カメラを操作するユーザが仮想カメラの構成又は案内の専門家である必要がないという解決策をさらに提供する。さらに、イベントの適切なリプレイを生成するために必要な時間を短縮することができる。

上記では本発明のいくつかの実施形態のみを説明するものであり、それに対して本発明の範囲及び趣旨から逸脱することなく変形及び／又は変更が可能であり、実施形態は例示的なものであり限定的ではない。

Claims (15)

1. 仮想視点の位置の変化パターンと前記仮想視点が向けられる対象位置の第１移動経路とを表す複数の異なるテンプレートの中から、ユーザ入力に基づいてテンプレートを決定する決定手段と、
   ３次元空間におけるシーン内において、ユーザ入力に基づいて仮想視点が向けられる対象位置の第２移動経路を特定する特定手段と、
   前記決定手段によって決定されたテンプレートに対応する前記第１移動経路上の所定の数の点と前記第２移動経路上の所定の数の点とを一致させて修正させた第１移動経路と、前記決定手段により決定されたテンプレートにより表される仮想視点の位置の変化パターンとに基づいて、前記第２移動経路に対応する仮想視点の位置の変化パターンを設定する設定手段と
   を有することを特徴とする情報処理装置。
2. 前記第２移動経路は、少なくとも２つの異なる時刻における前記シーン内の位置によって決定されることを特徴とする請求項１に記載の情報処理装置。
3. 前記第２移動経路は、前記シーン内の特定のオブジェクトの移動経路に基づいて決定されることを特徴とする請求項１又は２に記載の情報処理装置。
4. 前記仮想視点からの視線方向は、前記特定のオブジェクトに向けられるように設定されることを特徴とする請求項３に記載の情報処理装置。
5. 前記第２移動経路は、直線または曲線であることを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記テンプレートは、前記仮想視点からの視線方向の変化パターンをさらに表すことを特徴とする請求項１乃至５のいずれか１項に記載の情報処理装置。
7. 前記第２移動経路は、前記シーンにおける位置と時刻とを有する２つ以上の点によって定義されることを特徴とする請求項１乃至６のいずれか１項に記載の情報処理装置。
8. 前記２以上の点に基づいて特定される速度特性と、前記テンプレートの速度特性とが合うように、前記決定手段により決定されたテンプレートの速度特性が決定されることを特徴とする請求項７に記載の情報処理装置。
9. 前記仮想視点の位置の変化は、前記テンプレートの前記速度特性に応じて調整されることを特徴とする請求項８に記載の情報処理装置。
10. 前記第１移動経路に対する修正が前記テンプレートに対応して適用されるように、前記テンプレートと前記第１移動経路とが関連付けられることを特徴とする請求項１乃至９のいずれか１項に記載の情報処理装置。
11. 前記テンプレートは、複数の異なるテンプレートカメラパスの中からユーザ入力に基づいて選択されることにより決定されることを特徴とする請求項１乃至１０のいずれか１項に記載の情報処理装置。
12. 前記設定手段により設定された前記仮想視点の位置及び前記仮想視点からの視線方向に基づくビデオデータが生成されることを特徴とする請求項１乃至１１のいずれか１項に記載の情報処理装置。
13. 前記シーンは、複数の撮影装置により撮影されるイベントにおけるシーンであることを特徴とする請求項１乃至１２のいずれか１項に記載の情報処理装置。
14. 仮想視点の位置の変化パターンと前記仮想視点が向けられる対象位置の第１移動経路とを表す複数の異なるテンプレートの中から、ユーザ入力に基づいてテンプレートを決定する決定工程と、
    ３次元空間におけるシーン内において、ユーザ入力に基づいて仮想視点が向けられる対象位置の第２移動経路を特定する特定工程と、
    前記決定工程によって決定されたテンプレートに対応する前記第１移動経路上の所定の数の点と前記第２移動経路上の所定の数の点とを一致させて修正させた第１移動経路と、前記決定工程により決定されたテンプレートにより表される仮想視点の位置の変化パターンとに基づいて、前記第２移動経路に対応する仮想視点の位置の変化パターンを設定する設定工程と
    を有することを特徴とする情報処理方法。
15. コンピュータを、請求項１乃至１３のいずれか１項に記載の情報処理装置として機能させるためのプログラム。

Images