JP2020010300A - 映像生成装置、映像生成装置の制御方法及びプログラム - Google Patents

Abstract

【課題】ユーザにとって違和感が少ない仮想視点コンテンツを提供する。【解決手段】複数のカメラにより撮影された画像群に基づいて動画仮想視点コンテンツを生成可能な映像生成装置であって、複数のカメラにより撮影された画像群の各画像と関連付けられた各データに基づいて、各画像に異常があるか否かを判定する判定部と、異常の有無に基づいて、動画仮想視点コンテンツを含む複数種類のコンテンツのうち、生成すべき種類のコンテンツを判定する手法判定部とを備える。【選択図】 図２

Description

本発明は、映像生成装置、映像生成装置の制御方法及びプログラムに関するものである。

近年、複数のカメラを異なる位置に設置して同期撮影し、当該撮影により得られた複数視点画像を用いて仮想視点コンテンツを生成する技術が注目されている。この技術によれば、例えば、サッカーやバスケットボールのハイライトシーンを様々な視点から視聴することができるため、ユーザに高臨場感を与えることができる。

特許文献１では、ユーザからの要求に応じて画像コンテンツの生成方法を切り替える技術が開示されている。例えば、自由操作要求、ライブリプレイ映像の配信要求に応じて、自由視点映像（仮想視点コンテンツ）を生成したり、ライブリプレイ映像（撮影直後のリアルタイム映像及び過去に撮影されたリプレイ映像）を生成したりしている。

ここで、仮想視点コンテンツをライブ配信する場合、複数視点の同期撮影と同時に仮想視点コンテンツの生成が実施される。特に、動画の仮想視点コンテンツをライブ配信する場合は、複数視点の同期撮影と仮想視点コンテンツの生成とを同時に実施するため、撮影画像は、仮想視点コンテンツ生成を実施する機器が必要とする時刻に到着している必要がある。

特開２０１５−２２５５２９号公報

しかしながら、特許文献１に記載の技術では、伝送路の破綻や機器の故障による様々な障害により、仮想視点コンテンツを生成する時刻に必要な画像が到着しない場合や、画像の欠損が生じる場合がある。その結果、ユーザに配信する画像コンテンツが生成できない時刻が生じるため、画像の連続性を保つことができず、ユーザに違和感のある画像が提供されてしまうという課題がある。

本発明は、上記の課題に鑑みてなされたものであり、ユーザにとって違和感が少ない仮想視点コンテンツを提供するための技術を提供する。

上記の目的を達成する本発明に係る映像生成装置は、
複数のカメラにより撮影された画像群に基づいて動画仮想視点コンテンツを生成可能な映像生成装置であって、
前記複数のカメラにより撮影された前記画像群の各画像と関連付けられた各データに基づいて、各画像に異常があるか否かを判定する判定手段と、
前記異常の有無に基づいて、前記動画仮想視点コンテンツを含む複数種類のコンテンツのうち、生成すべき種類のコンテンツを判定する手法判定手段と、
を備えることを特徴とする。

本発明によれば、ユーザにとって違和感が少ない仮想視点コンテンツを提供することが可能となる。

本発明の一実施形態に係る映像生成システムの構成例を示す図。 本発明の一実施形態に係る映像生成装置が実施する処理の手順を示すフローチャート。 本発明の一実施形態に係るカメラ設置例及び仮想視点座標の動き（仮想カメラパス）の例を示す図。 第一の実施例に係る生成手法の判定結果（動画仮想視点コンテンツ）とデータのグラフ。 第二の実施例に係る生成手法の判定結果（静止画仮想視点コンテンツ）とデータのグラフ。 第三の実施例に係る生成手法の判定結果（スロー再生画像）とデータのグラフ。 第四の実施例に係る生成手法の判定結果（通常画像）とデータのグラフ。 第五の実施例に係る生成手法の判定結果（静止画像）とデータのグラフ。

以下、図面を参照しながら実施形態を説明する。なお、以下の実施形態において示す構成は一例に過ぎず、本発明は図示された構成に限定されるものではない。

[概要]
本実施形態では、複数のカメラが撮影した各画像についてデータ欠損や冗長及び時刻不整合の障害（データ異常）を確認し、データ異常の有無に応じて動画仮想視点コンテンツを含む複数種類のコンテンツのうち、生成すべきコンテンツを判定する例を説明する。

本実施形態では、５つの種別の画像生成手法を設ける。それは、動画仮想視点コンテンツ生成、静止画仮想視点コンテンツ生成、通常画像生成、静止画像生成、スロー再生画像生成である。動画仮想視点コンテンツ生成は、動画仮想視点コンテンツを生成する手法である。動画仮想視点コンテンツとは、複数のカメラが一定の期間に撮影した画像から、時刻毎に仮想視点座標及び仮想視点画像の両方を切り替えて生成する仮想視点コンテンツである。静止画仮想視点コンテンツ生成は、静止画仮想視点コンテンツを生成する手法である。静止画仮想視点コンテンツとは、複数のカメラが一時刻に撮影した画像を用いて、仮想カメラパスに沿って仮想視点画像を切り替えて生成する仮想視点コンテンツである。また、通常画像生成は、複数のカメラのうち１つのカメラを選択し、該選択したカメラの動画像を生成する手法である。静止画像生成は、仮想視点での一時刻の静止画像を生成する手法である。本実施形態における静止画像とは、複数のカメラが一時刻に撮影した画像から生成した１つの仮想視点画像である。

なお、静止画仮想視点コンテンツは、特定の時刻における、仮想カメラパスを構成する各仮想視点の仮想視点画像を、時間の経過と共に視点ごとに切り替えて表示するコンテンツである。特定時刻の仮想視点画像を、時間経過と共にカメラパスを移動しながら視点ごとに切り替えて表示することで、動画のようなコンテンツを生成することができるため、ユーザに違和感の少ない画像を提供することができる。これに対して、静止画像は、特定の時刻における、１つの仮想視点での仮想視点画像を時間経過と共に表示し続けるコンテンツである。

そして、スロー再生画像生成は、動画仮想視点コンテンツを通常の速度より遅い速度で再生する手法である。具体的には、生成したコンテンツを、次のコンテンツを生成する時刻まで連続して再生する手法である。

[システム構成及び装置構成]
図１は、本発明の一実施形態に係る映像生成システムの構成例を示す図である。である。映像生成システムは、カメラ群１００、映像生成装置１００、カメラ群１０１、映像配信装置１０２を含む。

映像生成装置１００は、カメラ群１０１が同期撮影した複数視点の画像群を連続して受け取り、仮想視点座標に基づいて仮想視点コンテンツや静止画像を生成して映像配信装置１０２に送信する。カメラ群１０１は、複数のカメラから構成されており、複数視点の画像に、タイムコードやデータ欠損及び冗長、誤りに関する情報、カメラ番号を含むメタデータを紐付けて映像生成装置１００に送信する。

次に、映像生成装置１００の内部にある機能ブロックの動作を説明する。映像生成装置１００は、カメラ画像受信部１１０、カメラ画像蓄積部１１１、メタデータ取得部１１２、カメラ画像取得部１１３、仮想視点生成部１１４、生成手法判定部１１５、生成手法選択部１１６、コンテンツ生成部１１７、及び出力部１２３を備える。各処理部の動作は、不図示のＣＰＵが不図示のメモリに格納されたコンピュータプログラムを読み出して実行することにより制御される。

カメラ画像受信部１１０、カメラ画像蓄積部１１１、及びカメラ画像取得部１１３は、画像を取得及び伝送する。また、メタデータ取得部１１２、仮想視点生成部１１４、及び生成手法判定部１１５は、画像に紐付く（関連付けられた）情報を処理する。そして、生成手法選択部１１６、コンテンツ生成部１１７、及び出力部１２３は、画像と、画像に紐付く情報との両方を処理する。

コンテンツ生成部１１７は、動画仮想視点コンテンツ生成部１１８、静止画仮想視点コンテンツ生成部１１９、通常画像生成部１２０、静止画像生成部１２１、及びスロー再生画像生成部１２２を備える。

カメラ画像受信部１１０は、カメラ群１０１から時刻毎の撮影された画像及び該画像に紐付く情報を受け取り、カメラ画像蓄積部１１１に伝送する。

カメラ画像蓄積部１１１は、カメラ画像受信部１１０から画像及び該画像に紐付く情報を受け取り、カメラ画像蓄積部１１１の内部にある記憶装置に記憶する。そして、カメラ画像取得部１１３の要求に応じて画像及び該画像に紐付く情報を伝送する。カメラ画像取得部１１３が要求する画像の時刻情報と、記憶装置に記憶する時刻とが近接している場合は、該記憶装置に記憶せずに伝送するか、該記憶装置に記憶すると同時にカメラ画像取得部１１３に伝送してもよい。

カメラ画像取得部１１３は、カメラ画像蓄積部１１１に対して、必要な画像を要求して取得する。また、画像と共に、該画像に紐付く情報を取得する。必要な画像を要求するための情報は、仮想視点生成部１１４から受け取る仮想視点座標に紐付く時刻情報である。つまり、該時刻の画像を全て受け取る。但し、使用する画像が決定している場合は、該当する画像のみを受け取っても良い。そして、画像と該画像に紐付く情報とを分離した後、画像を生成手法選択部１１６に伝送し、該画像に紐付く情報をメタデータ取得部１１２に伝送する。

メタデータ取得部１１２は、カメラ画像取得部１１３から取得した情報から、画像が正常か異常かを判断する。カメラ画像取得部１１３から取得した情報とは、画像の時刻情報、データ異常かどうかを示す情報、仮想視点座標を含む。データ異常は、データ欠損、冗長、及び誤りを含む。時刻不整合を含めてデータ異常としてもよい。上記、データ異常かどうかを示す情報から画像が正しいかどうかの判断を行い、その判断結果を生成手法判定部１１５に伝送する。

仮想視点生成部１１４は、映像生成装置１００の操作者の要求に基づいて、仮想視点座標を生成する。仮想視点座標とは、カメラ群１０１を設置する位置に関係なく操作者が要求する視点座標である。また、仮想視点座標は時刻毎に存在するが、座標は前の時刻と同じであってもよい。そして、生成した仮想視点座標を、生成手法判定部１１５及びカメラ画像取得部１１３に伝送する。なお、カメラ画像取得部１１３へは、生成手法判定部１１５から伝送してもよい。

生成手法判定部１１５は、仮想視点生成部１１４から取得した仮想視点座標と、メタデータ取得部１１２から取得した画像に紐付く情報とに基づいて、仮想視点コンテンツの生成手法を判定する。そして、該判定結果を、生成手法選択部１１６に伝送する。生成手法の判定手法については後述する。

生成手法選択部１１６は、カメラ画像取得部１１３から画像を受け取り、生成手法判定部１１５から仮想視点コンテンツの生成手法に関する判定結果と画像に紐付く情報とを受け取る。そして、コンテンツ生成部１１７を構成する各生成部のうち何れかを動作するように制御する。なお、カメラ画像取得部１１３から画像を受け取るのではなく、生成手法判定部１１５から画像を受け取るように構成してもよい。

コンテンツ生成部１１７は、生成手法選択部１１６から画像、該画像に紐付く情報、及びコンテンツの生成手法に関する判定結果を取得し、コンテンツの生成を行う。そして、生成したコンテンツを出力部１２３に伝送する。

動画仮想視点コンテンツ生成部１１８は、生成手法選択部１１６からの動作指示に基づいて、動画仮想視点コンテンツの生成を行う。静止画仮想視点コンテンツ生成部１１９は、生成手法選択部１１６からの動作指示に基づいて、静止画仮想視点コンテンツの生成を行う。

通常画像生成部１２０は、生成手法選択部１１６からの動作指示に基づいて、選択した画像の出力を行う。画像の選択手法については後述する。静止画像生成部１２１は、生成手法選択部１１６からの動作指示に基づいて、前の時刻に出力した画像を伝送する。スロー再生画像生成部１２２は、生成手法選択部１１６から動作指示を受け、前の時刻に出力した仮想視点コンテンツまたは現時刻に生成した仮想視点コンテンツの何れかを出力する。

出力部１２３は、コンテンツ生成部１１７が生成したコンテンツを受け取り、映像配信装置１０２に出力する。ユーザは映像配信装置１０２を介して表示される映像を視聴することができる。

[処理]
続いて、図２のフローチャートを参照して、本発明の一実施形態に係る映像生成装置が実施する処理の手順を説明する。以下では処理の全体の流れを先に説明し、各種類のコンテンツの具体的な生成例については各実施例において詳述する。

ステップＳ２００において、生成手法判定部１１５は、仮想視点生成部１１４から仮想視点座標を取得する。ステップＳ２０１において、生成手法判定部１１５は、メタデータ取得部１１２から時刻情報と、画像に紐づく情報を取得する。ステップＳ２０２において、生成手法判定部１１５は、メタデータ取得部１１２から取得した画像に紐づく情報に基づいて、画像のデータ異常（例えばデータ欠損、冗長、誤り等）を確認する。

ステップＳ２０３において、生成手法判定部１１５は、ステップＳ２０２での確認結果に基づいて、画像にデータ異常があるか否かを判定する。データ異常がある場合は、ステップＳ２０５へ進む。一方、画像にデータ異常が無い場合は、ステップＳ２０４へ進む。

ステップＳ２０４において、生成手法判定部１１５は、コンテンツ生成部１１７が有する動画仮想視点コンテンツ生成部１１８を用いてコンテンツを生成すると判定する。そして、ステップＳ２１８へ進む。

ステップＳ２０５において、生成手法判定部１１５は、操作者の設定に基づいて、動画仮想視点コンテンツを生成するために必要な画像を特定するか否かを判定する。操作者は、画像にデータ異常がある場合に動画仮想視点コンテンツを生成するために必要な画像を特定するか否かを処理開始前に予め設定しておく。或いは、このタイミングで操作者から設定の入力を受け付け、受け付けた設定に基づいて判定するようにしてもよい。また、別のタイミングであってもよい。操作者は不図示の操作部を操作して映像生成装置１００に指示を入力することができる。或いは、映像配信装置１０２などの他の装置を介して設定の指示を入力し、その情報を映像生成装置１００へ送信して設定を反映するように構成してもよい。以降、他の操作者の設定についても同様である。画像を特定する場合、ステップＳ２０６へ進む。一方、画像を特定しない場合、ステップＳ２１４へ進む。

ステップＳ２０６において、生成手法判定部１１５は、動画仮想視点コンテンツ生成に必要な画像を特定する。画像の特定は、ステップＳ２００で取得された仮想視点座標を用いて行う。

ステップＳ２０７において、生成手法判定部１１５は、ステップＳ２０６で特定された画像が、ステップＳ２０２で確認されたデータ異常に該当するかを確認する。すなわち、対象とする画像が正常であるか否かを判定する。対象とする画像が正常である場合、ステップＳ２０４へ進む。一方、対象とする画像が正常ではない場合、ステップＳ２０８へ進む。

ステップＳ２０８において、生成手法判定部１１５は、操作者の設定に基づいて、データ異常に該当する画像に対して他のデータ異常に該当しない画像を用いて代替画像を生成するか否かを判定する。すなわち、対象とする画像以外の画像を用いるか否かを判定する。操作者は、データ異常に該当する画像に対して他のデータ異常に該当しない画像を用いて代替画像を生成するか否かを処理開始前に予め設定しておく。或いは、このタイミングで操作者から設定の入力を受け付け、受け付けた設定に基づいて判定するようにしてもよい。また、別のタイミングであってもよい。代替画像を生成する場合、すなわち対象とする画像以外の画像を用いる場合、ステップＳ２０９へ進む。一方、代替画像を生成しない場合、すなわち対象とする画像以外の画像を用いない場合、ステップＳ２１４へ進む。

ステップＳ２０９において、生成手法判定部１１５は、ステップＳ２０７でデータ異常に該当した画像の代替画像を他のデータ異常に該当しない画像から生成できるか否かを判定する。すなわち、対象ではない画像を用いて代替可能か否かを判定する。生成手法判定部１１５は、カメラの外部パラメータ及び内部パラメータに含まれる座標や画角、フォーカス情報に基づいて当該判定を行う。代替画像を生成可能である場合、ステップＳ２０４へ進む。一方、代替画像を生成可能ではない場合、ステップＳ２１０へ進む。

ステップＳ２１０において、生成手法判定部１１５は、現時刻の１つ前の時刻の画像におけるデータ異常を確認する。すなわち、生成手法判定部１１５は、対象とする画像の前時刻の画像が正常であるか否かを判定する。前時刻の画像が正常である場合、ステップＳ２１１へ進む。一方、前時刻の画像が正常ではない場合、ステップＳ２１４へ進む。

ステップＳ２１１において、生成手法判定部１１５は、現時刻の１つ後の時刻の画像におけるデータ異常を確認する。すなわち、生成手法判定部１１５は、対象とする画像の次時刻の画像が正常であるか否かを判定する。次時刻の画像が正常である場合、ステップＳ２１３へ進む。一方、次時刻の画像が正常ではない場合、ステップＳ２１２へ進む。なお、ステップＳ２１１の処理では、カメラ群１０１の撮影時刻と、仮想視点生成部１１４が生成する仮想視点座標に紐付くタイムコードとが近接する場合は、一意的にステップＳ２１２へ進むように判定してもよい。

ステップＳ２１２において、生成手法判定部１１５は、コンテンツ生成部１１７が有する静止画仮想視点コンテンツ生成部１１９を用いてコンテンツを生成すると判定する。そして、ステップＳ２１８へ進む。ステップＳ２１３において、生成手法判定部１１５は、コンテンツ生成部１１７が有するスロー再生画像生成部１２２を用いてコンテンツを生成すると判定する。そして、ステップＳ２１８へ進む。

ステップＳ２１４において、生成手法判定部１１５は、通常画像に切り替えるか否かを判定する。例えば、操作者の設定に基づいて判定してもよいし、データ異常の頻度に基づいて判定してもよい。操作者は、通常画像に切り替えるか否かを予め設定しておく。或いは、操作者から設定の入力を受け付け、受け付けた設定に基づいて判定するようにしてもよい。通常画像に切り替える場合、ステップＳ２１５へ進む。一方、通常画像に切り替えない場合、ステップＳ２１６へ進む。

ステップＳ２１５において、生成手法判定部１１５は、通常画像を生成すると判定する。そして、ステップＳ２１７へ進む。ステップＳ２１６において、生成手法判定部１１５は、静止画像を生成すると判定する。そして、ステップＳ２１８へ進む。

ステップＳ２１７において、生成手法判定部１１５は、使用するカメラを１つ選択する。選択基準は、例えば仮想視点座標に一番近い座標を撮影するカメラとする。また、他の選択基準であってもよい。そして、ステップＳ２１８へ進む。

ステップＳ２１８において、生成手法判定部１１５は、ステップＳ２０４、Ｓ２１２、Ｓ２１３、Ｓ２１５、Ｓ２１６の何れかの判定結果と、仮想視点生成部１１４から取得した仮想視点座標とを、生成手法選択部１１６に伝送する。なお、ステップＳ２１５で通常画像生成と判定された場合には、当該判定結果、仮想視点生成部１１４から取得した仮想視点座標、及び選択したカメラ情報を伝送する。また、ステップＳ２１６で静止画像生成と判定された場合には、当該判定結果、仮想視点生成部１１４から取得した仮想視点座標、及び１つ前の時刻に伝送した画像を現時刻も伝送するように伝える情報を伝送する。以上で図２の一連の処理が終了する。

以上説明したように、本実施形態によれば、同期撮影する複数視点の画像を確認する。これにより、画像にデータ異常が生じても、動画仮想視点コンテンツの生成に不要な画像のデータ異常であれば動画仮想視点コンテンツを生成することができる。あるいは、動画仮想視点コンテンツの生成に必要な画像にデータ異常があっても、代替画像を利用可能であれば、仮想視点画像を補間することで動画仮想視点コンテンツの生成が可能になる。

また、画像にデータ異常が生じても、動画仮想視点コンテンツに代わる代替の仮想視点コンテンツ手法（静止画仮想視点コンテンツ生成、スロー再生画像生成、通常画像生成、静止画像生成）を選択できる。そのため、データ異常が生じてもユーザに違和感の少ない画像を提供することが可能となる。

＜実施例１＞
[動画仮想コンテンツ視点生成の処理の流れ]
ここで、図２のフローチャートにおいて、ステップＳ２０３でデータ異常が無い場合は、図４を参照して後述するようにステップＳ２０４で動画仮想視点コンテンツを生成すると判定される。或いは、データ異常がある場合でも、動画仮想視点コンテンツ生成に必要な画像を仮想視点座標から特定し、対象とする画像が正常である場合には、ステップＳ２０４で動画仮想視点コンテンツを生成すると判定される。そして、対象とする画像が正常でなくても代替画像で代用可能である場合にはステップＳ２０４で動画仮想視点コンテンツを生成すると判定される。なお、動画仮想視点コンテンツ生成に必要な画像を仮想視点座標から特定するかどうかは操作者の設定に基づいて決定すればよい。

[動画仮想コンテンツ視点生成の処理結果]
ここで、図４は、データ異常が無く、動画仮想視点コンテンツを生成する場合の判定結果、仮想カメラパス、画像のタイムコードを時刻毎に記したグラフの一例である。

横軸は時刻を示す。時刻はＴを頭文字とし、Ｔ０〜ＴＬ〜ＴＭ〜ＴＮと進む。仮想カメラパスはＣＰを頭文字とし、ＣＰ０〜ＣＰＬ〜ＣＰＭ〜ＣＰＮと進む。画像のタイムコードはＴＣを頭文字とし、ＴＣ０〜ＴＣＬ〜ＴＣＭ〜ＴＣＮと進む。

図示の例はデータ異常が無しの場合であり、時刻Ｔ０〜ＴＮにおいて、全ての判定結果が動画仮想視点コンテンツ生成であるため、仮想カメラパスは、画像のタイムコードに紐付いた仮想視点座標から構成する。例えば、時刻ＴＬ−２からＴＬ−１において、仮想視点座標ＣＰＬ−２と同じ時刻の画像のタイムコードはＴＣＬ−２である。

例えば、ＴＬ−２〜ＴＬ−１において、仮想カメラパスＣＰＬ−２におけるタイムコードＴＣＬ−２の画像が表示される。そして、ＴＬ−２〜ＴＬにおいて、仮想カメラパスＣＰＬ−２１におけるタイムコードＴＣＬ−１の画像が表示される。その他も同様であり、仮想カメラパスを時間経過と共に移動しながら各時刻の動画像が表示される。

なお、データ異常が有る場合であっても、動画仮想視点コンテンツの生成に必要が無いカメラの画像にデータ異常があり、必要な画像にデータ異常がない場合にも、図４と同様に全期間を通じて動画仮想視点コンテンツが生成される。さらに、複数視点画像の伝送遅れが生じていても、既に保持している画像から動画仮想視点コンテンツを生成できる場合がある。

また、動画仮想視点コンテンツの生成に必要なカメラの画像にデータ異常があるものの、代替画像で代用可能である場合にも、図４と同様に全期間を通じて動画仮想視点コンテンツが生成される。

以上説明したように、本実施例によれば、複数視点画像の伝送遅れやデータ欠損による障害が起きた場合でも、動画仮想視点コンテンツを生成できる可能性があるため、ユーザに違和感が少ない画像を提供できる可能性が高くなる。

＜第二の実施例＞
第二の実施例では、複数のカメラが撮影した画像にデータ欠損や冗長及び時刻不整合の障害が生じた場合に画像生成手法の判定を行い、静止画仮想視点コンテンツを生成する動作について説明する。

[カメラ設置例、及び、仮想視点座標による仮想カメラパス]
ここで、図３は、本発明の一実施形態に係る競技場でのカメラの設置例である。競技場３００は、スタンド３０１、フィールド３０２、及び実況室３０３を含む。また、カメラ３１０〜３２７はスタンド３０１に設置するカメラであり、カメラ群１０１はカメラ３１０〜３２７から構成されている。カメラ３３０は仮想視点座標の始点であり、カメラ３３１は仮想視点座標の終点である。仮想カメラパス３３２は、競技場３００での始点から終点までの仮想カメラパスの一例を示す。

[静止画仮想視点コンテンツの処理の流れ]
図２のフローチャートを参照して説明したステップＳ２０７の動作で、使用するカメラ画像を特定する場合について、仮想カメラパス３３２の仮想視点座標の始点であるカメラ３３０を用いて説明する。カメラ３３０の仮想視点座標を生成する仮想視点コンテンツは、カメラ３１４、カメラ３１５、カメラ３１６、カメラ３１７の画像を用いて生成する。その場合、カメラ３２６の画像にデータ異常を検出した場合であっても、カメラ３２６の画像は生成するために必要な画像ではないため、対象画像は正常と判定され、ステップＳ２０４へ進む。

一方、カメラ３１５の画像にデータ異常を検出した場合は、対象画像は正常ではないと判定され、ステップＳ２０８へ進む。さらに、対象外画像から代替画像を生成できない場合には（ステップＳ２０８でＹｅｓ、Ｓ２０９でＮｏ）、対象画像の前時刻の画像を用いて静止画仮想視点コンテンツを生成する（ステップＳ２１０〜Ｓ２１２）。

[静止画仮想視点コンテンツ生成の処理結果]
図５は、静止画仮想視点コンテンツを生成する場合の判定結果、仮想カメラパス、画像のタイムコードを時刻毎に記したグラフの一例である。

図示の例では、時刻ＴＬ〜ＴＭにおいて、上記で説明した動作に基づき静止画仮想視点コンテンツ生成と判定している。その結果、仮想カメラパスはデータ異常が無い時と同一のデータを使用するが、画像のタイムコードは時刻ＴＬ−１〜ＴＬで使用したものと同一である。ＴＬ〜ＴＬ＋１において、仮想カメラパスＣＰＬの仮想視点での仮想視点画像（タイムコードＴＣＬ−１に対応する画像）が表示される。そして、ＴＬ＋１〜ＴＬ＋２において、仮想カメラパスＣＰＬ＋１の仮想視点での仮想視点画像（タイムコードＴＣＬ−１に対応する画像）が表示される。以降同様である。

その結果、同じ時刻に撮影した画像を用いて仮想視点座標を更新するため、動画のような静止画仮想視点コンテンツが生成される。そして、時刻ＴＭ〜ＴＮにおいて、データ異常から正常な状態に移行し、画像のタイムコードは時刻に同期したものが使用される。

以上説明したように、本実施形態では、動画仮想視点コンテンツを生成中にデータ異常を発見した時刻において、該時刻の１つ前の時刻の画像が正常であれば、当該１つ前の時刻から連続して動画のような静止画仮想視点コンテンツを生成するように切り替える。これにより、ユーザに違和感の少ない画像を提供することが可能となる。

＜第三の実施例＞
第三の実施例では、複数のカメラが撮影した画像にデータ欠損や冗長及び時刻不整合の障害が生じた場合に画像生成手法の判定を行い、スロー再生画像を生成する動作について説明する。

[スロー再生画像生成の処理の流れ]
図２のステップＳ２１０までは第二の実施例で説明した静止画仮想視点コンテンツの処理の流れと同様である。対象外画像から代替画像を生成できない場合には（ステップＳ２０８でＹｅｓ、Ｓ２０９でＮｏ）、対象画像の前時刻の画像及び次時刻の画像を用いてスロー再生画像を生成する（ステップＳ２１０、Ｓ２１１でＹｅｓ、Ｓ２１３）。

[スロー再生画像生成の処理結果]
図６は、スロー再生画像を生成する場合の判定結果、仮想カメラパス、画像のタイムコードを時刻毎に記したグラフの一例である。

図示の例では、時刻ＴＬ〜ＴＭにおいて、時刻ＴＬ〜ＴＬＡ、ＴＬＢ〜ＴＬＣ、ＴＬＥ〜ＴＭでデータ異常を確認したため、現時刻の前後の時刻における画像にデータ異常があるかを確認してスロー再生画像生成と判定している。

スロー再生画像生成の処理では、仮想視点座標の更新速度と、使用する画像のタイムコードを更新する時刻とが異なる場合がある。例えば、時刻ＴＬ〜ＴＬＡ及び時刻ＴＬＢ〜ＴＬＣの動作が該当する。また、仮想視点座標の更新速度と、使用する画像のタイムコードを更新する時刻とは同期しているが、時刻毎に更新しない場合がある。例えば、時刻ＴＬＣ〜ＴＬＥの動作が該当する。

また、スロー再生画像生成と判定し移行した後は、データ異常が無い時刻が一定以上連続することを条件に他のコンテンツ生成に移行する。このように構成する理由は、スロー再生画像への移行は、データ異常が散発的に生じる場合であること、データ異常が収束したことを確認する期間を必要とすること、スロー再生は一時刻では構成できないこと等が挙げられる。

以上説明したように、本実施形態によれば、動画仮想視点コンテンツを生成中にデータ異常を発見した時刻において、該時刻の前後の時刻におけるデータ異常も考慮しながら、ユーザに連続した画像を提供することができる。これにより、ユーザは違和感の少ない画像を閲覧することが可能となる。

＜第四の実施例＞
第四の実施例では、複数のカメラが撮影した画像にデータ欠損や冗長及び時刻不整合の障害が生じた場合に画像生成手法の判定を行い、通常画像（複数のカメラのうち１つのカメラによる動画像）を生成する動作について説明する。

[通常画像生成の処理の流れ]
図２のフローチャートにおいて、ステップＳ２０５で動画仮想視点コンテンツを生成するのに必要な対象画像を特定しないと判定された場合、ステップＳ２１４へ進む。また、ステップＳ２０８で対象外画像を用いないと判定された場合、ステップＳ２１４へ進む。或いは、ステップＳ２１０で対象画像の前時刻の画像が正常ではないと判定された場合、ステップＳ２１４へ進む。そして、ステップＳ２１４において仮想視点画像ではない任意のカメラによる通常画像に切り替えるか否かを操作者の設定に基づいて判定し、切り替える場合にはステップＳ２１５で通常画像を生成すると判定する。さらに、ステップＳ２１７で対象となるカメラを１つ選択する。カメラは、仮想視点から最も近い位置のカメラとしてもよいし、仮想視点の映像と方向が最も近い方向を向いたカメラ（仮想視点の映像と最も近い構図を撮影するカメラ）としてもよい。これにより、違和感を低減した画像をユーザに提供することができる。

[通常画像生成の処理結果]
図７は、通常画像を生成する場合の判定結果、仮想カメラパス、画像のタイムコードを時刻毎に記したグラフの一例である。

図示の例では、時刻ＴＬ〜ＴＭにおいて画像のデータ異常を確認し、通常画像生成と判定している。その場合、タイムコードはデータ異常が無い場合と同一であるが、仮想カメラパスは使用しない。代替の情報として選択したカメラの情報を使用する。カメラの情報はＩＤでもよいし、座標でもよい。その結果、時刻ＴＬ〜ＴＭにおいては選択したカメラの画像を伝送する。

以上説明したように、本実施形態によれば、仮想視点コンテンツを生成しない場合に、特定のカメラ（例えば、これまで画像生成していた仮想視点に最も近い位置にあるカメラ、仮想視点の映像と最も近い構図を撮影するカメラ）の画像に切り替える。これにより、ユーザは違和感の少ない画像を閲覧することが可能となる。

＜第五の実施例＞
第五の実施例では、複数のカメラが撮影した画像にデータ欠損や冗長及び時刻不整合の障害が生じた場合に画像生成手法の判定を行い、静止画像（ある時刻における１つの仮想視点での静止画像）を生成する動作について説明する。

[静止画像生成の処理の流れ]
図２のステップＳ２１４までは第四の実施例で説明した通常画像の処理の流れと同様である。通常画像に切り替えない場合には（ステップＳ２１４でＮｏ）、ステップＳ２１６で静止画像を生成すると判定される。

[静止画像生成の処理結果]
図８は、静止画像を生成する場合の判定結果、仮想カメラパス、画像のタイムコードを時刻毎に記したグラフの一例である。

図示の例では、時刻ＴＬ〜ＴＭにおいて画像のデータ異常を確認し、静止画像生成と判定している。その場合、画像のタイムコード及び仮想カメラパスは１つ前の時刻と同一の仮想視点を使用し、且つ、１つ前の時刻の画像を伝送し続けるため、静止画像が出力される。

以上説明したように、本実施形態によれば、ユーザは違和感の少ない画像を閲覧することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００：映像生成装置、１０１：カメラ、１０２：映像配信装置、１１０：カメラ画像受信部、１１１：カメラ画像蓄積部、１１２：メタデータ取得部、１１３：カメラ画像取得部、１１４：仮想視点生成部、１１５：生成手法判定部、１１６：生成手法選択部、１１７：コンテンツ生成部、１１８：動画仮想視点コンテンツ生成部、１１９：静止画仮想視点コンテンツ生成部、１２０：通常画像生成部、１２１：静止画像生成部、１２２：スロー再生画像生成部、１２３：出力部

Claims (11)

1. 複数のカメラにより撮影された画像群に基づいて動画仮想視点コンテンツを生成可能な映像生成装置であって、
   前記複数のカメラにより撮影された前記画像群の各画像と関連付けられた各データに基づいて、各画像に異常があるか否かを判定する判定手段と、
   前記異常の有無に基づいて、前記動画仮想視点コンテンツを含む複数種類のコンテンツのうち、生成すべき種類のコンテンツを判定する手法判定手段と、
   を備えることを特徴とする映像生成装置。
2. 仮想視点座標を取得する取得手段と、
   前記仮想視点座標に基づいて、前記動画仮想視点コンテンツを生成するために必要な画像を特定する特定手段と、をさらに備え、
   前記判定手段は、前記特定手段により特定された対象となる画像が正常であるか否かを判定し、
   前記手法判定手段は、前記対象となる画像が正常である場合、前記動画仮想視点コンテンツを生成すると判定することを特徴とする請求項１に記載の映像生成装置。
3. 前記手法判定手段は、前記対象となる画像が正常ではない場合、前記対象となる画像が前記対象ではない画像を用いて代替可能かをさらに判定し、代替可能である場合に前記動画仮想視点コンテンツを生成すると判定することを特徴とする請求項２に記載の映像生成装置。
4. 前記手法判定手段は、前記対象となる画像が前記対象ではない画像を用いて代替可能ではない場合、前記対象とする画像の前時刻の画像が正常であるか否かをさらに判定し、前記前時刻の画像が正常である場合に前記対象とする画像の次時刻の画像が正常であるか否かをさらに判定し、前記次時刻の画像が正常である場合に仮想視点でのスロー再生画像を生成すると判定することを特徴とする請求項３に記載の映像生成装置。
5. 前記手法判定手段は、前記次時刻の画像が正常ではない場合、静止画仮想視点コンテンツを生成すると判定することを特徴とする請求項４に記載の映像生成装置。
6. 前記手法判定手段は、前記判定手段により異常がある画像が存在すると判定された場合であって且つ前記動画仮想視点コンテンツを生成するために必要な画像を特定しない場合、操作者の設定に基づいて、前記複数のカメラのうちの１つのカメラによる動画像を生成すると判定し、或いは、一時刻における１つの仮想視点での静止画像を生成すると判定することをと特徴とする請求項１乃至５の何れか１項に記載の映像生成装置。
7. 前記異常とは、データの欠損、冗長、及び誤りを含むことを特徴とする請求項１乃至６の何れか１項に記載の映像生成装置。
8. 前記判定された種類のコンテンツの生成手法によりコンテンツを生成する生成手段をさらに備えることを特徴とする請求項１乃至７の何れか１項に記載の映像生成装置。
9. 前記生成手段により生成された前記コンテンツを映像配信装置へ出力する出力手段をさらに備えることを特徴とする請求項８に記載の映像生成装置。
10. 複数のカメラにより撮影された画像群に基づいて動画仮想視点コンテンツを生成可能な映像生成装置の制御方法であって、
    前記複数のカメラにより撮影された前記画像群の各画像と関連付けられた各データに基づいて、各画像に異常があるか否かを判定する工程と、
    前記異常の有無に基づいて、前記動画仮想視点コンテンツを含む複数種類のコンテンツのうち、生成すべき種類のコンテンツを判定する工程と、
    を有することを特徴とする映像生成装置の制御方法。
11. コンピュータを、請求項１乃至９の何れか１項に記載の映像生成装置の各手段として機能させるためのプログラム。

Images