JP5138031B2 - 深度関連情報を処理する方法、装置及びシステム - Google Patents

Description

本発明は、第１の深度関連情報を対応する第２の深度関連情報上にマッピングするステップを有する、画像シーケンスと関連付けられた第１の深度関連情報を処理する方法、第１の深度関連情報を対応する第２の深度関連情報上にマッピングすることを有する、画像シーケンスと関連付けられた第１の深度関連情報を処理する装置及びシステム、画像シーケンスと関連付けられた第１の深度関連情報を有する信号、並びにコンピュータ装置によりロードされるべきであり、第１の深度関連情報を対応する第２の深度関連情報上にマッピングするステップを有する、画像シーケンスと関連付けられた第１の深度関連情報を処理する命令を有するコンピュータプログラムに関する。

自動立体ディスプレイの進歩につれて、特別なヘッドギア又は眼鏡を必要としない３次元画像のレンダリングは、現実のものとなった。現在、自動立体ディスプレイは、既に異なる技術を使用することができ、これらの技術は、例えば、いわゆるレンチキュラレンズフォイルを取りつけられたフラットパネルディスプレイ及びいわゆる視差バリアを取りつけられたフラットパネルディスプレイを含む。

自動立体ディスプレイは、異なる視角に対する異なるビューの生成の機能を提供する。典型的には、自動立体ディスプレイは、観察者の左目に対する左画像及び観察者の右目に対する右画像を生成するように構成される。適切な画像、すなわちそれぞれ左目及び右目の視点から適切な画像を表示することにより、前記観察者に３次元表現の印象を与えることが可能である。

様々な技術が、このような自動立体ディスプレイに対する画像を作成及び／又は生成するのに使用されることができる。例えば、複数の画像が、複数のカメラを使用して記録されることができ、前記複数のカメラの位置は、前記自動立体ディスプレイに対するビューのそれぞれの視点に対応する。代わりに、画像は、３次元コンピュータモデルを使用して、それぞれのビューの各々に対してコンピュータ生成されることができる。

しかしながら、後方互換性を維持し、帯域幅使用に関して改良するために、従来の画像シーケンスと同様の画像シーケンス及び付随の深度マップシーケンスを有する自動立体ディスプレイに対する入力フォーマットを使用することが好ましい。前記自動立体ディスプレイは、この場合、前記画像シーケンス及び前記対応する深度マップからの画像を使用して、必要とされるそれぞれの画像を生成する。

深度マップは、典型的には、前記画像内に描かれた対象と（場合により仮想的な）カメラ位置との間の距離を示す複数の値を有する。深度マップは、画素ベースであることができ、すなわち前記深度マップ内の画素は、前記画像内の画素の深度を示す。代わりに、深度情報は、対象ベースであることができ、すなわち深度値は、画素のグループの距離を示す。

例えば立体カメラを使用して得られた立体画像から深度マップを算出することは既知である。ここで、点の深度は、一般に、前記画像の画素（のグループ）内にあらわされる対象と、前記点を通り、前記カメラの光軸に垂直な平面との間の距離を示す。立体カメラのビューの各々の間の視点の差は、深度情報を確立するのに使用されることができる。１つの画像内の画素（のグループ）の深度値は、他の画像内の対応する画素（のグループ）の位置の平行移動の量から決定されることができる。

事実、前記画像が点投影により得られる場合、前記平行移動は、前記カメラの変位の量に比例し、前記画素（のグループ）の深度に反比例する。立体カメラの両方のビューを使用して、いずれかの画像内の画素（のグループ）の平行移動又は変位を示すいわゆる視差マップが、生成されることができる。この文章を通して、深度関連情報は、深度情報及び視差情報の両方を有すると理解されるべきである。

立体画像を視差データに変換するために、窓ベースのマッチングアプローチが、平行移動の測定値を確立するのに使用されることができる。したがって、前記カメラの第１の向きを持つ第１の画像内の画素の周りの窓内の画素値が、第２の向きを持つ第２の画像内の画素の周りの窓内の画素値と比較される。マッチングは、ここで、典型的には、マッチング窓内の画素の画素値間の差の集合を決定することを含む。

立体画像対を使用して深度マップを決定する方法は、Proc. of European Workshop on combined Real and Synthetic Image Processing for Broadcast and Video Production、ハンブルク、１９９４年１１月において刊行された、 L. Falkenhagenによる"Depth Estimation from Stereoscopic Image Pairs Assuming Piecewise Continuous Surface"に開示されている。

画像シーケンス及び関連付けられた第１の深度関連情報が、自動立体ディスプレイに対する入力として使用される場合、複数のビューが、前記自動立体ディスプレイ又は前記自動立体ディスプレイに対する入力を提供する装置のいずれかにより生成されなければならない。しかしながら、３次元表示技術は、技術固有の必要条件を持つ傾向にある。例えば、最大の許容可能な平行移動、すなわち自動立体ディスプレイ上の画素の視差は、シャッタ眼鏡に対するものより大幅に制限される。これは、自動立体ディスプレイ内のそれぞれのビュー間のクロストークの量が、シャッタ眼鏡のそれぞれのビューに対するものより大幅に高いという事実に起因する。結果として、このような技術固有の必要条件に適合することができる形で深度関連情報を提供する必要性が存在する。

本発明の目的は、従来技術を改良し、ディスプレイ間のこのような差を考慮に入れることができる、第１の深度関連情報を対応する第２の深度関連情報上にマッピングするステップを有する、画像シーケンスと関連付けられた第１の深度関連情報を処理する方法を提供することである。

この目的は、画像シーケンスと関連付けられた第１の深度関連情報を処理する方法であって、前記方法が、前記画像シーケンスのショットのそれぞれの画像の第１の深度関連情報を対応する第２の深度関連情報上に、前記ショットからの少なくとも１つの画像と関連付けられた深度関連情報の分布の特性の第１の推定値を使用して、マッピングするステップを有し、前記マッピングが、前記第１の推定値により少なくとも部分的に規定された第１の深度関連情報の関心範囲のダイナミックレンジを拡張することにより前記第１の深度関連情報を適応させ、前記ショット内の時間的に近接したそれぞれの画像に対する前記マッピングの変動の量が制限される、前記方法を用いて達成される。

ショット内の差を考慮に入れることなしに画像シーケンスと関連付けられた視差情報又は深度情報を変換することは可能であるが、これは、特に前記深度関連情報が前記画像シーケンス全体の深度関連情報値範囲全体に及ばないショットにおいて自動立体ディスプレイにおける不満足な深度認識を生じうる。

上記のことを改良するために、本発明は、ショットごとに基づいて第２の深度関連情報に対する第１の深度関連情報のマッピングを実行することを提案し、これにより前記第１の深度関連情報の関心範囲のダイナミックレンジは拡張される。前記関心範囲は、前記ショットからの少なくとも１つの画像と関連付けられた第１の深度関連情報の分布の特性の第１の推定値により少なくとも部分的に規定される。

このようにして、本発明は、前記ショット自体における前記第１の深度関連情報の分布の特性に基づいて、入力範囲の他の部分に関連した関心範囲のダイナミックレンジを拡大するのに使用されることができる。前記ショット内の時間的に近接したそれぞれの画像間の変動の量を制限することにより、本発明は、更に、前記ショットを通して前記マッピングの連続性を維持する。

ショット内の画像間のマッピングの連続性がショット間のものより関連度が高いことは、本発明者の洞察である。これによって、本発明者は、前記ショット内の時間的に近接したそれぞれの画像に対するマッピングの変動を制限することを提案し、これにより前記ショット内の連続性を維持する。

上記のようにして、本発明は、第１の深度関連情報の関心範囲の拡張を可能にし、したがって本発明が例えば自動立体ディスプレイの比較的狭い視差範囲のより効率的な使用を提供するのに使用されることを可能にし、これにより自動立体ディスプレイの必要条件に適合する。

一実施例において、前記第２の深度関連情報は、第１の深度情報であり、前記第１の深度関連情報の関心範囲のダイナミックレンジを拡張することは、前記深度関連情報と前記画像内の対象の深度との間の関係によるものより大きな第１の深度範囲の部分を前記関心範囲割り当てることを有する。

一実施例において、前記第２の深度関連情報は、第１の視差情報であり、前記第１の深度関連情報の関心範囲のダイナミックレンジを拡張することは、前記深度関連情報と前記画像内の対象の視差との間の関係によるものより大きな第１の視差範囲の部分を前記関心範囲に割り当てることを有する。

一実施例において、前記第１の深度関連情報は、第２の視差情報である。前記第２の視差情報は、例えば、立体カメラからの画像の分析により得られることができる。他の実施例において、前記第１の深度関連情報は、例えばレーザー測距器を使用して得られることができる第２の深度情報である。他の実施例において、前記第１の深度関連情報は、ピンホールカメラモデルを使用して、視差情報を処理することにより前記視差情報から得られる他の深度情報である。いずれの場合にも、前記第１の深度関連情報は、後で本発明によって第２の深度関連情報上にマッピングされる。

一実施例において、隣接した画像に対して使用される前記それぞれのマッピングの変動の最大量は、所定の閾値により上限を設けられる。ショット内の時間的に近接したそれぞれの画像の異なるマッピング間の許容変動量は、様々な形で定量化及び制限されることができる。一実施例において、それぞれのマッピング間の差は、前記第１の深度関連値範囲全体にわたるそれぞれの第２の深度関連情報値間の絶対差の積分として記述されることができる。

所定の閾値を使用して、隣接した画像間の変動の量を制限する場合、前記それぞれのマッピング間の一部の変動が許容される。これは、ショット内の漸進的な変化の追跡を可能にする。代わりに、前記所定の閾値は、ゼロにセットされることができ、これにより前記ショット内の第１の深度関連情報のマッピングにおける連続性を保証するが、漸進的な変化に適応する能力を阻む。ゼロの閾値は、前記第１の深度関連情報分布における実質的な変動を用いて同等なショットを拡張するのに使用されることができるが、これは、クリッピング無しで常に可能であるとは限らない。結果的に、このようなショットに対するダイナミックレンジの拡大は、低いかもしれない。このようにして、前記閾値の選択は、より動的なショットに対するダイナミックレンジ拡張と連続性との間のトレードオフを可能にする。

前記第１の深度関連情報値の分布において制限された変動を持つショットにおいて、前記ショットの単一の画像からの情報を使用することは前記第１の推定値を確立するのに十分である。しかしながら、前記第１の推定値の精度は、特により動的なショットに対して、前記ショット内の複数の画像、好ましくは前記ショットからの最初及び最後の画像からの寄与を使用することにより、又は代わりに前記ショット内の全ての画像を使用することにより改良されることができる。

他の実施例において、前記第１の推定値は、前記ショットからの時間的にフィルタリングされた第１の深度関連情報に基づく。このようにして、ノイズ及び過渡関連収差（transient related aberrations）が減少されることができる。

一実施例において、前記第１の推定値は、重みづけされた第１の深度関連情報に基づき、重みづけ係数は、信頼性情報に基づき、前記信頼性情報は、前記第１の深度関連情報の信頼性を示す。特に２次元−３次元変換処理を使用して既存の２次元コンテンツに対して第１の深度関連情報を生成する場合、前記第１の深度関連情報の信頼性は、ショット内の全ての画像にわたり一様ではないかもしれない。例えば、始動効果及び／又はエラー伝搬の結果として、信頼性は、前記ショットの初期／終了時に低いことがありうる。このような状況において、前記深度関連情報値に関する信頼性情報を使用して、前記第１の推定値に対して深度関連情報値の寄与を重みづけすることは、特に有利である。

他の実施例において、分類情報は、前記ショットに対して得られ、前記分類情報に基づいて、前記ショットのそれぞれの画像に対して前記マッピングを適応させるのに後で使用される。分類情報は、この情報がショットへの前記画像シーケンスの分割を可能にするので、しばしば、自動化されたショット−カット（shot-cut）検出技術の副産物である。この分類情報は、前記マッピングを前記ショットタイプに調整するのに使用されることができ、これにより例えばズームタイプショットのようなショットにおいて第１の深度関連情報の変動の追跡を可能にする。

分類情報は、実質的に静的なショットと組み合わせて使用されることもできる。前記分類情報は、静的なショットに対する変動の量を更に制限するためにインジケータとして使用されることができる。ショットタイプの先験的情報は、前記第１の推定値のより効率的な決定を可能にすることもできる。前記第１の深度関連情報分布において制限された変動のみを持つ実質的に静的なショットの場合、前記第１の推定値は、前記ショットの単一の画像と関連付けられた第１の深度関連情報に基づくことができる。

他の実施例において、前記第１の推定値は、第１の画像領域内に位置する第１の深度関連情報値に基づき、前記ショットからの少なくとも１つの画像と関連付けられた深度関連情報の分布の特性の第２の推定値は、第２の画像領域内に位置にする第１の深度関連情報値に基づき、前記第２の画像領域は、前記画像の境界近くに位置する。この実施例における前記第２の推定値は、近隣にある前記画像境界の近くに対象が存在するかどうかを検出するのに使用されることができる。この情報は、いわゆる窓違反（window violations）を減少させる又は防止することに関連する。

窓違反は、典型的には、前記観察者に比較的近い対象が前記ディスプレイの境界近くに位置する場合に生じる。例えば自動立体ディスプレイで使用する複数のビューを生成する場合、近隣の対象の変位は、前記対象を前記ディスプレイ境界上に及び／又は前記境界を越えて配置することができる。結果として、前記対象が前記ビューの一方において見えるが、他方において（全体的に）見えない状況が生じうる。深度値が、前記対象が前記ディスプレイ境界の"後ろ"に配置されるような値である対象に対して、前記ディスプレイ境界による前記対象の閉鎖は、自然であると認識される。しかしながら、深度値が、前記対象が前記ディスプレイ境界の"前"に配置されるような値である対象に対して、この閉鎖現象は、人工的に見える。後者の状況は、窓違反と称される。

前記第２の推定値は、このような状況を検出するのに使用されることができる。前記第２の推定値は、近隣の対象、すなわち深度値が実際のディスプレイの前にある対象の深度値に対する対象が、空間的に画像境界の認識に前記ディスプレイに表示される場合を確立するのに使用されることができる。結果的に、このような状況の検出の際に、窓違反は、ショット内の全ての対象をより"離れた"第２の深度関連情報値に移動し、前記ディスプレイ境界による閉鎖が自然であると認識されるために前記ディスプレイ境界の後ろで全ての対象をユーザから効率的に離すことにより防止されることができる。このプロセスにおいて、窓違反を引き起こさない残りの第２の深度関連値範囲は、前記第１の推定値により示される前記関心範囲を拡張するのに使用されることができる。このようにして、前記第２の推定値の使用は、窓違反の確率を減少される又は防ぐことさえできる。

本発明の他の目的は、画像シーケンスと関連付けられた第１の深度関連情報を処理する装置及びシステムであって、前記画像シーケンスの第１の深度関連情報を対応する第２の深度関連情報上にマッピングすることを含み、異なるタイプの３次元ディスプレイ間の差を適合することができる装置及びシステムを提供することである。

この目的は、請求項１３及び１４にそれぞれ記載の装置及びシステムを使用して達成される。

本発明は、更にこのようなシステムにおいて使用する信号、及び本発明による方法を実施するソフトウェアに関する。

本発明のこれら及び他の有利な態様は、以下の図面を使用してより詳細に記載される。

本発明の一実施例のフローチャートを示す。 ショット分類のステップを含む本発明の一実施例のフローチャートを示す。 第２の推定値を得るステップを含む本発明の一実施例のフローチャートを示す。 ２つのそれぞれの深度値における対象に対する２つのビュー円錐のトップダウン図を示す。 窓違反の発生を示す。 ディスプレイ上の様々な領域を示す。 幾つかの非線形マッピングを示す。 第１の深度関連情報の時間的サブサンプリング及び重みづけを示す。 第１の深度関連情報の空間的サブサンプリング及び重みづけを示す。 最大視差エンベロープの使用を示すグラフを示す。 ズームアウトタイプのショットに適合するためのショット分類の使用を示すグラフを示す。 本発明による装置を示す。 本発明による他の装置を示す。 本発明によるシステム及び信号を示す。

図面は正しい縮尺で描かれていない。一般に、同一の構成要素は、図面において同じ参照番号により示される。

本発明は、自動立体ディスプレイに対する深度関連情報を処理するのに有利な形で使用されることができるが、本発明は、これに限定されず、画像シーケンスと関連付けられた第１の深度関連情報の処理を含む他のアプリケーションに応用されることもできる。

図１Ａは、本発明による方法のフローチャートを示す。この方法において、画像シーケンス１０５と関連付けられた第１の深度関連情報１１０は、画像シーケンス１０５と関連付けられた対応する第２の深度関連情報１５０上にマッピングされる。

第１のステップ１２０において、画像シーケンス１０５から複数の順次的画像をショットとして分類するショット情報１２５が得られる。ここで、動詞"得る"は、前記画像シーケンス及び／又は前記関連付けられた深度情報を使用してショット情報１２５を決定すること並びに例えば前記画像シーケンスに沿って提供されるメタデータの形式でこのようなショット情報１２５（破線矢印により示される）を受信することを含むと理解されるべきである。このようなメタデータは、自動的に生成されることができるが、前記画像シーケンスの手動注釈に起因してもよい。前記情報のソースが、ショット情報１２５がショットの開始及び終了を正確に区切るかどうかより関心が薄いことは、当業者に明らかである。

ショット情報１２５を決定するプロセスは、当技術分野において周知である。参照によりここに組み込まれると見なされる、同出願人の名義である"Shot-cut detection"と題された米国特許出願ＵＳ２００６／０２６８１８１が参照される。ここで提示されるショット−カット検出法は、自動ショット−カット検出を可能にすることを意図され、本発明と有利に組み合わせられることできる。他に、Proceedings of the 13^th International Conference on Image Analysis and Processing (ICIAP 2005)において刊行され、参照によりここに含まれると見なされるGiovanni Tardini他による論文"Shot Detection and Motion Analysis for Automatic MPEG-7 Annotation of Sports Videos"が参照される。この論文は、ショットカット検出及び注釈を実行する自動プロセスを開示している。

他のステップ１３０において、前記ショットからの少なくとも１つの画像と関連付けられた第１の深度関連情報１１０値の分布の特性の第１の推定値１３５が得られる。第１の推定値１３５は、前記ショットからの少なくとも１つの画像と関連付けられた前記第１の深度関連情報を使用して決定されることができ、代替的には、先験的決定プロセスに起因するメタデータとして提供されることができる。

第１の推定値１３５は、前記ショットの少なくとも１つの画像の前記第１の深度関連情報の分布に関連する情報を提供する。図示された実施例の１つの変形例において、前記第１の推定値は、前記ショットの少なくとも１つの画像と関連付けられた第１の深度関連情報値の分布の平均値を表す。前記第１の推定値は、前記第１の深度関連情報のいずれの値が関心範囲内にあると分類されるべきか、及びいずれの値が外れ値として分類されるべきかを決定するのに使用されることができる。

例として、前記第１の推定値は、前記画像シーケンスの画像内の前記第１の深度関連情報値の平均値であってもよい。この値は、前記ショット内の第１の深度関連情報値の平均値の推定値として認識されることができ、これに関連して、前記平均値の周りでバランスのとれた形で前記関心範囲の境界を規定するのに使用されることができる。例えば、前記関心範囲は、前記平均値の周りでバランスのとれた前記第１の深度関連情報の最大範囲の６０％であると規定されることができる。［０，９９］の範囲内の４０の平均値の場合、これは、［１０，７０］の関心範囲に帰着する。

図１Ａに示される実施例の最終段階において、前記ショット内の画像と関連付けられた第１の深度関連情報値は、ステップ１４０において前記第１の推定値により少なくとも部分的に規定される第１の深度関連情報の関心範囲のダイナミックレンジを拡張することにより第２の深度関連情報値上にマッピングされる。このようにして、本発明は、前記関心範囲の外側の範囲と比較して前記関心範囲に第２の深度関連情報値の利用可能な範囲のより大きな部分を割り当てることにより、前記マッピングにおける前記第１の深度関連情報の前記関心範囲の表現を好み、前記関心範囲は、少なくとも部分的に第１の推定値１３５に基づく。

本発明は、前記画像シーケンスと併せて使用するために深度情報に対して画像シーケンスの視差情報をマッピングするのに使用されることができるが、本発明は、第１の深度情報を第２の深度情報にマッピングするのに使用されることもでき、これによりマッピングプロセスにおける前記第１の深度情報の前記関心範囲を好む。実際に、本発明は、
−深度情報を拡張深度情報上に、
−深度情報を拡張視差情報上に、
−視差情報を拡張視差情報上に、又は
−視差情報を拡張深度情報上に、
マッピングするのに使用されることができる。

上記の実施例の変形例において、前記関心範囲は、前記ショットからの最初の及び最後の画像の第１の深度関連情報値の分布のガウス分布モデルの平均値μ及び分散σである２つのパラメータを有する第１の推定値１３５を使用して規定されることができる。この特定の場合において、第１の推定値１３５は、範囲＜μ−２σ，μ＋２σ＞における前記第１の深度関連情報値であるように前記関心範囲を確立するのに使用されることができる。

他の変形例において、第１の推定値１３５は、前記ショットからの前記少なくとも１つの画像と関連付けられた第１の深度関連情報値のヒストグラムである。前記ショットが、静的ショット、すなわち第１の深度関連情報値の分布においてほとんど変動を持たないショットである場合、単一の画像、すなわち前記ショット内からの画像に基づいてヒストグラムを確立するのに十分である。オプションとして、前記ヒストグラムは、前記ショットにおける前記画像のいずれかからの第１の深度関連情報値のサブセットに基づくことさえできる。しかしながら、第１の深度関連情報値のサブセットを使用することにより、計算負荷は、精度を犠牲にして減少されることができる。前記第１の深度関連情報の一部を捨てることにより、前記推定値は、もはや正しい拡張を可能にするのに十分に高い精度で第１の深度関連情報値の分布を反映することができない。

代替的には、前記ショットが、パン又はズームのようなより動的な性質を持つ場合、前記ヒストグラムは、前記ショットからの複数の画像からの第１の深度関連情報値に及ぶ必要がありうる。好ましくは、前記ヒストグラムは、前記ショット内の最初及び最後の画像に基づくが、オプションとして、より多くの画像からの情報さえ、使用されうる。ロバストな解を提供するために、前記ヒストグラムは、前記ショット内の全ての画像からの寄与に基づくことができる。

深度関連情報は、一般にガウス分布を持たないので、ヒストグラムの使用は、本発明と組み合わせて特に有利である。ショット内の対象は、散乱され、すなわち高度に不規則な形で分配されることができ、例えばガウス分布に基づくモデルの代わりのヒストグラムの使用は、このような分布をより正確に反映することができる。

前記ヒストグラムは、例えば使用される値の最高の１０％及び最低の１０％を除外することにより前記関心範囲を規定するように使用されることができる。代替的には、前記ヒストグラムが高度に非対称である場合、正規化平均

は、よりバランスのとれたカットオフを得るために使用されることができる。この場合、前記外れ値は、例えば使用される前記第１の深度関連情報値の最大範囲の値の下側

及び上側

として規定されることができる。前記ショット内の第１の深度関連情報値の前記関心範囲を確立するために分布を特徴付ける他のタイプの統計及び／又は数学モデル及びパラメータを使用する多くの変形例が想定されることができることは、当業者に明らかである。

本発明は、有利な形で視差情報を拡張深度情報に変換するのに使用されることができるが、視差情報を拡張視差情報に、深度情報を拡張深度情報に、及び深度情報を拡張視差情報に変換するのに使用されることもできる。典型的には、用語"拡張"は、ここでは、前記第１の深度関連情報と前記第２の深度関連情報との間の実際の関係に基づくより大きな部分の第２の深度関連情報範囲を前記関心範囲に割り当てることにより前記第１の深度関連情報における関心範囲のダイナミックレンジを拡張することに関する。

図１Ｂは、ショット分類のステップ１８０を有する本発明による方法のフローチャートを示す。ショットカット検出及び分類に対する技術は、当業者に既知である。同出願人名義であり、参照によりここに含まれる"Background motion vector detection"と題された米国特許出願ＵＳ２００６／００７２７９０が参照される。この特許出願は、ショット分類において使用されることができる大域的動きベクトルを確立する方法を開示している。加えて、Proceedings of the 13^th International Conference on Image Analysis and Processing (ICIAP 2005)において刊行され、参照によりここに含まれると見なされるGiovanni Tardini他による論文"Shot Detection and Motion Analysis for Automatic MPEG-7 Annotation of Sports Videos"が参照され、前記論文は、本発明と有利に組み合わせられることができるショットカット分析及びショット注釈を実行する自動プロセスを開示している。

図１Ｂの実施例は、例えば前記ショットが実質的に静的であるか又は実質的に動的であるかを決定することにより、すなわち前記ショット内の前記第１の深度関連情報において実質的な変動が存在するか否かに基づいて、どのようにショット検出ステップ１２０の結果が、関心のあるショットを分類する他のステップ１８０において使用されることができるかを示す。自動ショット検出に対する多くの方法が実際にそれぞれの画像を特定のショットに属すると分類するために画像シーケンス内の画像を分析することは、当業者に明らかである。この分析は、例えばズームイン、ズームアウト、左へのパン、右へのパン、上へのパン及び下へのパンのような特定のショットタイプを示すこともできる。代替的には、他のパラメータが確立されてもよい。図１Ｂにおいて提示されたステップ１２０及び１８０が、実際に単一のショットカット検出及び分類ステップに有利に組み合わせられることができることは、上記から明らかである。

一度分類情報が利用可能になると、これに応じて前記ショットを処理するように使用されることができる。例えば一人だけの乗り手が水平線に向かって去ると、カメラが前記一人だけの乗り手の顔からズームアウトするショットを考慮する。このショットは、前記ショットの開始時における関心範囲が、前記ショットの終了時におけるものと異なる点で動的ショットとして分類する。

このような動的ショットは、静止ショットと実質的に同じように、すなわち前記ショットの１以上の画像と関連付けられた前記第１の深度関連情報の分布の正確な第１の推定値１３５を確立し、後でこれを本発明によってマッピングすることにより処理されることができる。しかしながら、動的ショットは、典型的には、静止ショットのものより広い比較的広い範囲の第１の深度関連情報値を有するので、改良の可能性は、静止ショットより限定的である。

しかしながら、前記分類情報を使用することにより、本発明は、前記分類情報に基づいて、前記ショット内の後続する画像に対するマッピングを漸進的に適応させるように更に改善されることができる。このようにして、トレードオフは、マッピングにおける連続性と深度拡張との間で可能である。

本発明者は、ショット内の画像のマッピングプロセス内の連続性が重要であることに気付いた。しかしながら、連続性は、ショット内の全ての画像に対する単一のマッピングの使用を必ずしも必要としない。代わりに、時間的に近接した画像のそれぞれのマッピングの漸進的な変動を制限することは、それぞれの画像間のマッピングの漸進的な変動を許容し、結果として実質的に連続的な拡張プロセスを生じる。幾らかの変動を許容するプロセスは、固定のゼロ変動閾値に対応する、前記ショット全体に対する単一のマッピングを使用するアプローチに対して改良された拡張を可能にする。

漸進的な変動は、全てのショットタイプに対して固定された所定の閾値を用いて制限されることができるが、分類情報の利用可能性は、改善された閾値選択プロセスを可能にする。結果的に、実質的に静的なショットは、比較的小さな又はゼロ閾値から益を得ることができるのに対し、ズームのようなより動的なショットタイプは、より高い閾値から益を得ることができ、前記ショット内のより大きな変動の追跡を可能にする。

図６は、本発明による第２の深度関連情報に対する第１の深度関連情報の４つのマッピングのグラフを示す。ｘ軸上には前記第１の深度関連値が表され、ｙ軸上には対応する第２の深度関連値が表されている。曲線６１０、６２０及び６３０は、前記カメラがズームするショットの理想化されたシナリオを反映する。曲線６１０は、前記ショットの最初の画像に対するマッピングを表し、曲線６２０は、前記ショットの途中の画像に対するマッピングを表し、曲線６３０は、前記ショットの最後の画像に対するマッピングを表す。

このショットにおいて、部分範囲６１１により示される前記最初の画像内の関心範囲は、部分範囲６３１により示される前記ショット内の最後の画像に対する関心範囲より実質的に小さい。本発明によると、前記関心範囲のダイナミックレンジは、拡張され、この場合、前記関心範囲は、前記第２の深度関連情報値の最大出力範囲をカバーするように引き延ばされ、前記関心範囲の外側の第１の深度関連値は、０又は１０にクリッピングされる。

前記ショットに対応する前記分類情報は、前記関心範囲における実質的な変動が予期される示度を提供する。更に、前記ショットが、ズームアウトとして分類されるので、最後の画像内の前記関心範囲が、最初の画像より実質的に大きい可能性が高いことは、明らかである。この情報は、前記ショットの単一の画像のみが前記第１の推定値を確立するのに使用される場合でさえ使用されることができる。前記最初の画像が使用される場合、前記関心範囲は、増大する可能性が高いが、前記最後の画像が使用される場合、前記関心範囲は、増大した可能性が高い。前記ショットから２つの画像、好ましくは最初の及び最後のショットを使用することにより、更に良好な予測が行われることができる。

このショットが静止ショットとして処理され、前記ショットの最初及び最後の画像の両方からの情報が、第１の深度関連値のヒストグラムの形式で第１の推定値を確立するのに使用される場合でさえ、これが、結果として曲線６４０に沿ったマッピングを生じることができることに注意する。これが結果として分類情報を使用する実施例と同じ改良を生じないという事実にもかかわらず、結果の第２の深度関連情報が自動立体ディスプレイに対する入力として使用される場合に、前記第１の深度関連情報が入力として使用される状況と比較して、深度認識の改良を提供する。

図１Ｃは、窓違反を防ぐために第２の推定値を得るステップを含む本発明の一実施例のフローチャートを示す。図２Ａ及び２Ｂは、窓違反の発生を示す。２つのカメラ２１０Ｌ及び２１０Ｒが、シーンを観察する。カメラ２１０Ｌ及び２１０Ｒは、ビュー円錐（view cones）２２０Ｌ及び２２０Ｒ内に見えるものをそれぞれ登録する。時間ｔ１において、Ｏ（ｔ１）により示される対象は、Ｄ１により示される距離に配置される。前記カメラにより登録される結果として生じる画像は、それぞれカメラ２１０Ｌ及び２１０Ｒに対する２３０及び２４０として図２Ｂに示される。時間ｔ２において、Ｏ（ｔ２）により示される対象は、距離Ｄ２、すなわち前記カメラ配置に大幅に近くに配置される。前記カメラにより登録される結果として生じる画像は、図２Ｂにおいてそれぞれ２５０及び２６０として示される。

カメラ２１０Ｌにより観察される前記対象は、両方の左目画像２３０及び２５０において見える。画像２５０において、前記対象は、より近い近接によりサイズが増大したが、加えて前記画像境界に向かって左に移動した。カメラ２１０Ｒにより観察される右目ビュー２４０及び２６０に対する状況は、わずかに異なる。対象Ｏ（ｔ１）は、画像２４０内で見え、左の画像境界の近くに配置される。カメラ２１０Ｌに対する状況と同様に、対象Ｏ（ｔ２）は、より近い近接の結果としてサイズが増大し、更に左に移動した。しかしながら、対象Ｏ（ｔ２）が実質的により近いという事実の結果として、前記対象は、カメラ２１０Ｒのビュー円錐の外に移動するほど左に移動し、結果として、右目ビュー２６０から外れる。

同様の状況は、自動立体ディスプレイが、画像シーケンス、例えば図２Ｂの左目カメラの画像シーケンス及び関連付けられた深度情報に基づいて画像をレンダリングする場合に生じうる。前記画像シーケンス及び深度データに基づくビューの生成は、効果的に視差情報からの深度の確立の逆である。この生成プロセスは、前記カメラに対する位置によって前記画像内で対象を平行移動することを含む。破線２００が、前記自動立体ディスプレイの位置に対応するゼロ視差面であると仮定する。Ｏ（ｔ２）に対する右目ビューを生成する場合、Ｏ（ｔ２）に対する左目ビューにおいて見られる対象が、深度及び相対的なカメラ位置の両方によって平行移動されなければならない。しかしながら、前記右目ビューに対して、前記対象は、右目ビュー２６０の画像境界を越えて平行移動されなければならず、これは可能ではなく、前記対象は、前記ディスプレイと前記カメラとの間に配置されると認識されるので、窓違反が生じるといわれる。

窓違反は、対応する深度の結果として対象が前記ディスプレイ領域と前記（仮想的な）カメラとの間に配置され、画像境界に近すぎる場合に生じる。結果として、前記対象の平行移動値又は視差は、前記平行移動された対象が、ディスプレイ境界と部分的に重なる又は前記ディスプレイ領域の完全に外側に配置されるようなものであることができる。画像の境界の近くで第１の深度関連値の分布を注意深く監視することにより、このような状況は、注意を与えられることができる。このような状況が生じる場合に、前記ショット内の対象の深度情報が、典型的には、前記ショット内の全ての対象に対する平行移動／視差の量を減少させることにより適応されることができる。

例として、対象が前記画像境界に比較的近い場合、前記対象が正しく表されることを許容する当該深度において対象に対して許容される最大視差値を決定することが可能である。このようにして、結果として生じるマッピングが窓違反を引き起こさない及び／又は窓違反の確率が減少されるように前記画像シーケンスと関連付けられた前記深度又は視差情報をスケールすることが可能である。

窓違反を防ぐために、前記第２の深度関連情報と使用される前記自動立体ディスプレイ上で結果として生じる視差との間の正確な関係は、既知でなければならない。この関係は、前記カメラから更に離れるように前記ショット内の前記対象を"移動"する場合に考慮に入れられることができる。前記確率を減少させることで十分である場合、前記正確な関係が既知であるという必要条件は、緩和されることができる。

図１Ｃに示される実施例において、前記第１の推定値は、図２Ｃに示される第１の画像領域２８０内に配置された第１の深度関連情報に基づく。第１の画像領域２８０は、ここで、例として、前記画像全体を有する。図１Ｃの実施例において、第２の推定値は、ステップ１９０において得られ、前記第２の推定値は、前記ショットからの少なくとも１つの画像と関連付けられた第１の深度関連情報の分布の特性の推定値であり、前記第２の推定値を確立するのに使用される前記第１の深度関連情報は、図２Ｃに示されるように画像境界の近くの第２の画像領域２８５内に配置される。

ステップ１９０における"取得"は、前記第２の推定値を生成することを含み、代替実施例において、前記第２の推定値は、前記画像シーケンスに添付するメタデータとして受信されてもよい。このシナリオにおいて、前記メタデータは、前の生成プロセスを用いて前記画像シーケンス及び前記第１の深度関連情報に基づいて生成された。

前記第２の推定値を使用することにより、第２の画像領域２８５から発生する水平窓違反を検出することが可能である。代替的には、前記第２の画像領域は、図２Ｃに示されるように、画像領域２９０を更に有することができ、これにより必要であれば縦窓違反の検出をも可能にする。

図３は、ｘ軸が第１の深度関連情報値を表し、ｙ軸が第２の深度関連情報値を表すグラフを示す。前記グラフ内に、３つの曲線３１０、３２０及び３３０が示され、各曲線は、第１の深度関連情報から第２の深度関連情報へのマッピングを表す。前記曲線の各々に対して、前記マッピングの根底にある関心範囲３１１、３２１及び３３１が示される。

曲線３１０は、前記第２の深度関連情報範囲の最大範囲に対する前記関心範囲の一様な伸長を示す。曲線３２０は、前記関心範囲が前記第２の深度関連情報範囲の相対的に最大の部分に割り当てられ、前記深度情報の一部が前記関心範囲の外側の領域に対して維持される区分線形マッピングを示す。最後に、曲線３３０は、前記関心範囲に対する前記曲線の一次導関数が１より大きく、前記関心範囲の外側に対して１より小さく、これにより前記関心範囲がもう一度前記第２の深度関連情報値の範囲のより大きな部分に割り当てられるという事実を示す連続的な曲線を示す。

図３は、それぞれのマッピング間の変動の量を定量化する単純な態様をも描く。曲線３１０と３２０との間の網掛け領域は、両方のマッピング間の差の測定値の示度を効果的に提供する。この差測定値は、ショット内の隣接した画像のそれぞれのマッピング間の変動の量を制限するのに使用されることができる。

この差測定値は、前記曲線間の差を確立するが、前記マッピングにおいてそれぞれの差により影響を受ける深度値の数を考慮に入れていない。隣接した画像間のマッピングを比較する場合に使用されることができる代替的な差測定値は、対応する第１の深度関連情報値を持つ画素の部分で前記２つの曲線間の差を重みづけする。前記第１の推定値が前記第１の深度関連情報の分布のヒストグラムである場合、このヒストグラムは、重みづけプロセスにおいて使用されることができる。結果として生じる差測定値は、もう一度、前記それぞれの画像間の差の示度を提供する。

図４Ａは、ショット４２０から一つおきの画像のみが前記第１の推定値を確立する１３０のに使用される状況を図式的に示す。例えば、画像４１１と関連付けられた第１の深度関連情報値が使用されるのに対し、画像４１２と関連付けられたものは使用されない。更に、前記ショット内の異なる画像からの寄与は、前記ショットに対応するそれぞれの第１の深度関連情報の信頼性情報ρ１、ρ２、ρ３及びρ４を使用して重みづけされる。前記信頼性情報は、第１の深度関連情報生成プロセスにおいて生成されることができるか、又は手動注釈の結果であってもよい。

図４Ｂは、空間的なサブサンプリングを使用する他の改善を図式的に示し、ここでそれぞれの画像において格子縞パターンにより示される前記それぞれの画像における前記画素のサブセットのみが第１の推定値１３０を生成するプロセスにおいて使用される。

ショット内で、第１の深度関連情報値の変動は、前記カメラ位置及びセッティングが安定である場合でさえ、例えば前記カメラのビューの内外に移動する対象の結果として生じうる。このような変動は、前記ショットに関連してもよい。しかしながら、一時的性質の短い変動は、前記マッピングを適応させることに対して関心がないかもしれない。過剰適応を防ぐために、時間的フィルタリングが使用されることができ、前記第１の深度関連情報値は、好ましくは、前記第１の深度関連情報値が前記第１の推定値を確立するのに使用される前に時間に対して低域通過フィルタリングされる。

他のアプローチは、図５に提示されるアプローチのような時間的変動を処理するのに使用されることができる。図５は、前記第１の深度関連情報が視差情報である例を示すグラフを示す。前記グラフのｘ軸において、ショット内の画像と対応する時間の離散的な瞬間が表される。ｙ軸において、それぞれの画像における最大視差値が表される。

前記最大視差値は、前記第１の深度関連情報の関心範囲を確立する際に使用されることができる。例として、前記関心範囲は、前記ショット内の前記第１の深度関連情報値の最小及び最大視差値をカバーするように規定されることができる。前記関心範囲の拡張は、前記関心範囲を前記第２の深度関連情報値の最大範囲上にマッピングすることを含むことができる。

時間的に後の瞬間に対する図５に示される最大視差値は、それぞれ５、１０、６、５、９、７、４及び６である。この例において、時間的に後の瞬間の間の最大視差の変動は、２の最大値に制限される。前記最大視差値を制限することにより、前記第１の推定値の変動が制限される。結果的に、前記第１の推定値の変動を制限することにより、結果として生じるマッピングの変動も、制限されることができる。

図５において使用されるアプローチは、ここで点５１１、５１２及び５１３を通る点線５２０により示される前記視差値の範囲に対する極大視差値を含むエンベロープを規定することからなる。この線上の点は、そのまま維持される。この後に、時間的に他の瞬間における最大視差値は、前記極大値から実際の最大視差値に向けて開始し、その間に最大差閾値を順守するように決定される。これは、それぞれ８、１０、８、６、７、９、７、５及び６の最大視差値を通る曲線５３０上のひし形を使用して示される視差値に帰着する。

図５において提示されるアプローチは、ショット内のそれぞれの画像に対して使用されるマッピング間の変動が、この場合、前記ショット内のそれぞれの画像に対して第１の推定値を再計算し、前記第１の推定値における隣接したショット間の変動を制限することにより、間接的に制限されることができることを示す。

図７Ａ及び７Ｂは、各々、本発明による装置を示す。重要な違いは、図７Ａの装置７４０が、信号７０５の形式で画像シーケンス１０５及び添付の第１の深度関連情報１１０を受信するのに対し、図７Ｂの装置が、第１の深度関連情報１１０及びショットからの少なくとも１つの画像と関連付けられた第１の深度関連情報の分布の特性を受信することである。

装置７４０は、信号７０５を受信し、信号７０５に含まれる画像シーケンス１０５をショットカット検出器７１０に提供する。前記ショットカット検出器は、ショット情報７２５を処理手段７２０に提供する。処理手段７２０は、この情報を使用して、ショットからの少なくとも１つの画像と関連付けられた第１の深度関連情報の分布の特性の第１の推定値１３５を確立するために信号７０５に含まれる前記第１の深度関連情報を処理する。

第１の推定値１３５は、前記ショットのそれぞれの画像の第１の深度関連情報１１０を対応する第２の深度関連情報１５０上にマッピングするのに処理手段７３０により使用され、前記マッピングは、前記第１の推定値により少なくとも部分的に規定される第１の深度関連情報の関心範囲のダイナミックレンジを拡張することにより前記第１の深度関連情報を適応させ、前記ショット内の時間的に近接したそれぞれの画像に対する前記マッピングの変動の量は、制限される。

対照的に、図７Ｂに描かれる装置７４５は、画像ごとに対する第１の推定値１３５及び第１の深度関連情報１１０の形式で２つの入力信号を効果的に受信する。図７Ｂに示される実施例の変形例において、装置７４５は、更に、処理手段７３０により使用されるショット情報を受信する。ショットの画像の深度関連情報１１０をマッピングする全ての画像固有のパラメータが画像ごとに装置７４５に対するメタデータとして提供される変形例のような更に他の変形例が、本発明の範囲内で構築されることができることは、当業者に明らかである。処理手段７３０は、この後に、本発明によって第１の深度関連情報１１０を対応する第２の深度関連情報１５０上にマッピングする。

上記の装置において使用される処理手段７２０、７３０が、汎用プロセッサ、アプリケーション固有命令プロセッサ又は専用集積回路のいずれか１つを有しうることは、当業者に明らかである。更に、このハードウェアは、プログラム可能である限りにおいて、適切なソフトウェアで補われるべきである。

処理手段に対する分割における変形例は、本発明の範囲内で良好であると想定される。例えば、前記ショットカット検出、前記第１の推定値決定、及び前記第２の深度関連情報に対する前記第１の深度関連情報の実際のマッピングは、本発明の範囲から逸脱することなしに単一の汎用プロセッサ上で実施されることができる。

図８は、本発明によるシステム８００及び信号８２５を示す。システム８００は、画像シーケンス及び関連付けられた第１の深度関連情報１１０を有する信号７０５を処理するように構成される。信号７０５を処理することは、前記画像シーケンスのショットのそれぞれの画像の第１の深度関連情報１１０を対応する第２の深度関連情報１５０上にマッピングすることを含む。

前記システムは、信号７０５を入力として使用し、信号８２５を出力として送信する第１の装置８０５を有し、信号８２５は、第１の深度関連情報１１０、ショット情報１２５及び前記ショットからの少なくとも１つの画像と関連付けられた深度関連情報の分布の特性の第１の推定値１３５を有する。

信号８２５を送信するために、第１の装置８０５は、第１の装置８０５が前記情報を有線又は無線ネットワーク８５０上に送信することを可能にする送信器手段８１５を有する。このようなネットワークは、例えばＩＥＥＥ１３９４ネットワーク、無線ＬＡＮ（ＩＥＥＥ８０２．１１）、インターネット、ＨＤＭＩ接続、又は他のタイプのデジタル送信媒体を含むことができる。

逆に、第２の装置８１０は、信号８２５を受信するように構成された受信器手段８２０を有する。図８において、第１の深度関連情報１１０、ショット情報１２５及び第１の推定値１３５は、単一のチャネル内にグループ分けされるが、それぞれの経路間の同期が前記受信器手段により再確立されることができるという条件で、これらの信号が、異なる物理及び／又は論理チャネルを使用して輸送されることができることは、当業者に明らかである。

第２の装置８１０は、本発明による実際のマッピングを実行するように構成される処理手段７３０を更に有する。

図７Ａ、７Ｂ及び８の実施例により示されるように、本発明は、システム上で分散されるか又は全体的に装置内に含まれるかのいずれかであるように実施されることができる。更に、本発明による装置は、例えば自動立体ディスプレイ又は自動立体ディスプレイに対して入力信号を提供するように構成されたセットトップボックスに有利に組み込まれることもできる。

代替的には、本発明は、オフライン３次元コンテンツ作成の分野に応用されることもでき、本発明は、第１の深度関連情報及び／又は画像シーケンスと併せて使用するメタデータを生成するのに使用される。代替的には、このメタデータは、このコンテンツが図７Ｂに示される装置７４５を取りつけられた自動立体ディスプレイ上でレンダリングされる場合に改良された深度認識を可能にするために前記画像シーケンス及び前記関連付けられた第１の深度関連情報と一緒にデータキャリア上に記憶されることができる。

本発明は、主に自動立体ディスプレイに関して説明されるが、本発明は、画像圧縮及び／又は画像検査のように深度マップ及び視差マップを使用する他のアプリケーションにおいて使用されることもできる。上に示されたように、これは、前記コンテンツのレンダリング中に使用されることができるコンテンツに対するメタデータの生成を含む。

上述の実施例が、本発明を限定するのではなく説明し、当業者が、添付の請求項の範囲から逸脱することなしに多くの代替実施例を設計することができることに注意すべきである。

請求項において、括弧間に配置された参照符号は、請求項を限定するように解釈されるべきでない。

本発明の枠組み内で多くの変形例が可能であることは、明らかである。本発明が、特に図示され、上に記載されたものにより限定されないことは、当業者により理解される。本発明は、あらゆる新規の特徴的フィーチャ及び特徴的フィーチャのあらゆる組み合わせにある。請求項内の参照番号は、保護範囲を限定しない。

動詞"有する"及びその活用形の使用は、請求項に記載された要素以外の要素の存在を除外しない。要素に先行する冠詞"１つの"（"a" or "an"）の使用は、複数のこのような要素の存在を除外しない。

Claims (15)

1. 画像シーケンスと関連付けられた第１の深度関連情報を処理する方法において、前記方法が、前記画像シーケンスのショットのそれぞれの画像の第１の深度関連情報を対応する第２の深度関連情報上に、前記ショットからの少なくとも１つの画像と関連付けられた第１の深度関連情報の分布の特性の第１の推定値を使用して、マッピングするステップを有し、前記マッピングが、前記第１の推定値により少なくとも部分的に規定される第１の深度関連情報の関心範囲のダイナミックレンジを拡張することにより前記第１の深度関連情報を適応させ、前記ショット内の時間的に近接したそれぞれの画像に対する前記マッピングの変動の量が制限される、方法。
2. 前記第２の深度関連情報が、第１の深度情報であり、前記第１の深度関連情報の関心範囲のダイナミックレンジを拡張することが、前記画像内の対象の深度と前記第１の深度関連情報との間の関係によるものより大きな部分の第１の深度範囲を前記関心範囲に割り当てることを含む、請求項１に記載の方法。
3. 前記第２の深度関連情報が、第１の視差情報であり、前記第１の深度関連情報の関心範囲のダイナミックレンジを拡張することが、前記画像内の対象の視差と前記第１の深度関連情報との間の関係によるものより大きな部分の第１の視差範囲を前記関心範囲に割り当てることを含む、請求項１に記載の方法。
4. 前記第１の深度関連情報が、第２の視差情報及び第２の深度情報の一方である、請求項１に記載の方法。
5. 前記ショット内の隣接した画像に対して使用されるそれぞれのマッピングの変動の最大量が、所定の閾値により上限を設けられる、請求項１に記載の方法。
6. 前記所定の閾値がゼロである、請求項５に記載の方法。
7. 前記第１の推定値が、前記ショット内の全ての画像に対する第１の深度関連情報の分布の特性の推定値を表す、請求項１に記載の方法。
8. 前記第１の推定値が、前記ショットからの少なくとも１つの画像と関連付けられた時間的にフィルタリングされた第１の深度関連情報に基づく、請求項１に記載の方法。
9. 前記第１の推定値が、前記ショットからの少なくとも１つの画像と関連付けられた重みづけされた第１の深度関連情報に基づき、重みづけ係数が、前記第１の深度関連情報の信頼性を示す信頼性情報に基づく、請求項１に記載の方法。
10. 前記方法が、
    前記ショットに対する分類情報を得るステップと、
    前記分類情報に基づいて前記ショットのそれぞれの画像に対する前記マッピングを適応させるステップと、
    を更に有する、請求項１に記載の方法。
11. 前記第１の推定値を決定するのに使用される前記第１の深度関連情報が、第１の画像領域内に配置され、前記方法が、第２の推定値を使用して窓違反の確率を減少させるステップを更に有し、前記第２の推定値が、前記ショットからの少なくとも１つの画像と関連付けられた第１の深度関連情報の分布の特性の推定値であり、前記第１の深度関連情報が、画像境界の近くの第２の画像領域内に配置された前記第２の推定値を決定するのに使用される、請求項１に記載の方法。
12. 前記窓違反の確率を減少させるステップが、前記マッピングにより生成された前記第２の深度関連情報の範囲を縮小させるステップを含む、請求項１１に記載の方法。
13. 画像シーケンスと関連付けられた第１の深度関連情報を処理する装置において、前記処理が、前記画像シーケンスのショットのそれぞれの画像の第１の深度関連情報を対応する第２の深度関連情報上にマッピングすることを含み、前記装置が、
    前記画像シーケンスのショットのそれぞれの画像の前記第１の深度関連情報を前記対応する第２の深度関連情報上に、前記ショットからの少なくとも１つの画像と関連付けられた第１の深度関連情報の分布の特性の第１の推定値を使用して、マッピングする処理手段であって、前記マッピングが、前記第１の推定値により少なくとも部分的に規定された第１の深度関連情報の関心範囲のダイナミックレンジを拡張することにより前記第１の深度関連情報を適応させ、前記ショット内の時間的に近接したそれぞれの画像に対する前記マッピングの変動の量が制限される、前記処理手段、
    を有する装置。
14. 画像シーケンスと関連付けられた第１の深度関連情報を処理するシステムにおいて、前記処理が、前記画像シーケンスのショットのそれぞれの画像の第１の深度関連情報を対応する第２の深度関連情報上にマッピングすることを含み、前記システムが、
    第１の装置であって、
    前記画像シーケンスからの複数の順次的画像をショットとして分類するショット情報を得る取得手段、
    前記ショットからの少なくとも１つの画像と関連付けられた第１の深度関連情報の分布の特性の第１の推定値を得る取得手段、及び
    ネットワーク上に前記ショット情報及び前記第１の推定値を送信する送信器手段、
    を有する前記第１の装置と、
    第２の装置であって、
    ネットワークから前記ショット情報及び前記第１の推定値を受信する受信器手段、及び
    前記第１の推定値を使用して前記ショットのそれぞれの画像の前記第１の深度関連情報を前記対応する第２の深度関連情報上にマッピングする処理手段であって、前記マッピングが、前記第１の推定値により少なくとも部分的に規定される第１の深度関連情報関心範囲のダイナミックレンジを拡張することにより前記第１の深度関連情報を適応させ、前記ショット内の時間的に近接したそれぞれの画像に対する前記マッピングの変動の量が制限される、前記処理手段、
    を有する前記第２の装置と、
    を有するシステム。
15. 画像シーケンスと関連付けられた第１の深度関連情報を処理する命令を有する、コンピュータ装置によりロードされるべきコンピュータプログラムにおいて、前記コンピュータ装置上で実行される場合に、請求項１ないし１２のいずれか一項に記載の方法のように、前記処理が、前記画像シーケンスのショットのそれぞれの画像の第１の深度関連情報を対応する深度関連情報上にマッピングすることを含む、コンピュータプログラム。

Images