JP2012530998A - 相対的奥行きを持たせた立体画像への３ｄオブジェクトの組み入れ - Google Patents

Abstract

少なくとも１つのオブジェクトを、表示装置の立体画像中にレンダリングする技術を提供する。オブジェクトに対する視聴者の距離の関数としての知覚される奥行きデータを受け取る。この知覚される奥行きデータは正規化することができる。特定の表示装置に対するピクセル分離オフセットは、知覚される奥行きデータから計算する。オブジェクトの左右の目からの画像を、ピクセル分離オフセットと共に立体画像に挿入する。具体的に実施の形態において、オブジェクトとして、挿入すべきキャプション付けが含まれる。
【選択図】図１

Description

関連出願との相互参照
本願は、２００９年６月２４日に出願され、その全体が本願明細書において参照により援用されている米国特許仮出願第６１／２２０，００７号に基づく優先権を主張する。
本発明は、３次元（３Ｄ）画像化に関し、特に、奥行きを知覚できるようなオブジェクトの処理に関する。

２次元（２Ｄ）表示について、キャプション付け（例えば、字幕付け、クローズドキャプション付け、等）は、ビデオ再生装置、又は画像合成ソフトウェアにより適宜レンダリングすることができる。挿入した２Ｄキャプション付けは、オクルージョンにより、すでに存在する画像のフィーチャより前又は後ろにあるように見える。キャプション付けと共に与えられる補助データにより、単純な２Ｄ配置とスタイルを特定することができる。例えば、番組放送からのキャプション付け補助データは、ロールアップ、ポップアップ又はペイントオンのいずれかを指定することができる。ロールアップキャプション付けは、一般にスクリーンの下部に現れ、ポップアップキャプション付けは、スクリーンのどこにでも現れる。ペイントオンキャプション付けは、スクリーンの所定の固定ブロックを用いる。
これらの従来からある技術は、すでに存在する３Ｄ画像に適した技術ではない。３Ｄ空間におけるキャプション付けを勝手にレンダリングすることにより、バックグラウンド（例えば、すでに存在するフィーチャの後ろ）にキャプション付けが生じ、フォアグラウンド（例えば、すでに存在するフィーチャの前）にレンダリングされる結果となるか、又は、逆にフォアグラウンドにキャプション付けが生じ、バックグラウンドにレンダリングされる結果となる。言い換えれば、キャプション付けは、オクルージョンによりフィーチャの前に現れる一方、両目同士の視差により同じフィーチャの後ろに現れることがある。この矛盾により、３Ｄ画像における奥行の像を壊すと共に、視聴者に眼精疲労をもたらす。
このような落とし穴は、製造後工程で各３Ｄキャプション付けの挿入について目視分析を人為的に手作業で行うことにより回避することができる。これは、挿入したものそれぞれについて、人がその適正を確認するものであるといえる。容易に想像できるであろうが、この工程は時間がかかり、コスト高となり、人為的エラーを伴いがちである。人為的な目視分析は、記録済みのコンテントに対しては現実的でなく、生放送に対しては不可能である。
さらに、人為的な目視分析は具体的に大きさの決まった表示装置に対して行われ、しばしば、異なる表示装置に対して予期せぬ結果を生じることがある。知覚される奥行きはピクセル視差を伴って非線形であり、ピクセル視差は、ピクセル分離オフセット及び各表示装置ピクセル分解能の両方の関数となる。従って、同じピクセル分離オフセットを用いた場合であっても、挿入したキャプション付けが好ましくない位置に現れることがある。例えば、異なる表示装置上では、視聴者の目から逸脱してしまう無限遠を超えたところに、キャプション付けが現れることがある。左右の目に映る画像間のピクセル視差が、一般に大人では６５ミリメータである、視聴者の眼間距離より大きいとき無限遠を超えてキャプション付けが現れる。予期せぬ結果として、視聴者の後ろのような、表示を行うことができない禁止位置が含まれる。
上記のとおり、自動的な及び／又は表示装置と独立した位置への、３Ｄキャプション付け、及び一般的な３Ｄオブジェクトの挿入は、従来の２Ｄ及び３Ｄ技術に多大な利益をもたらすことが分かる。

少なくとも１つのオブジェクトを表示装置に立体画像としてレンダリングする方法及び装置を提供する。立体画像は、別々に操作した又は１つに合成した２つの画像（右目画像及び左目画像）を含むことができる。１つの実施の形態において、この方法は、オブジェクトについて、視聴者の距離に対する割合として知覚される奥行きデータを受け取るステップを含む。特定の表示装置に対するピクセル分離オフセットがこの知覚される奥行きを用いて計算される。オブジェクトの（右目画像及び左目画像のような）第１及び第２の画像を、それぞれピクセル分離オフセットと共に立体画像に挿入する。
本発明の他の実施の形態において、少なくともキャプション部分について、視聴者の距離に対する割合としての奥行きデータを提供する。この奥行きデータは、好ましい知覚される奥行きを十分得るためにキャプションの第１の画像と第２の画像との間の適切なピクセル分離オフセットを定めるために用いられる。キャプションの第１の画像と第２の画像とを、定めたピクセル分離オフセットと共に、立体画像又は画像ビットストリームに挿入する。具体的な実施の形態において、与えられた奥行きデータを、表示する表示装置にあわせて正規化する（例えば、ミリメートルあたり１ピクセルの分解能、１メータの幅）。
本発明のさらに他の実施の形態において、立体画像にオブジェクトを挿入する方法を提供する。立体画像は（モバイルフォン、コンピュータ、テレビジョン、映写機等のような）第１の再生装置に直接又は間接に伝送される。少なくとも１つのオブジェクトについて、視聴者の距離に対する割合としての知覚される奥行きデータもこの第１の再生装置に伝送される。第１の再生装置は、知覚される奥行きデータから第１のピクセル分離オフセットを計算することができる。立体画像及び知覚される奥行きデータは、第２の再生装置に直接又は間接に伝送される。この第２の再生装置は、知覚される奥行きデータから第２の分離オフセットを計算することができる。第１の再生装置と第２の再生装置とが異なるスクリーン幅の寸法又はピクセル分離能を持つ場合、第１のピクセル分離オフセットは、第２のピクセル分離オフセットと等しくならない。
本発明の他の実施の形態における方法では、３Ｄ立体画像中にオブジェクトをレンダリングするために正規化された奥行きデータを生成する。この方法は、立体画像内のフィーチャを、例えば、区分化することにより識別することを含む。立体画像における（ピクセル分離オフセットのような）空間的オフセットはフィーチャに対して定められる。複数の空間的オフセットは、任意的に立体画像の視差マップを形成するために用いることができる。空間的オフセットは知覚される奥行きと相関関係があり、従って、３Ｄ空間におけるフィーチャの位置と占有する量を定めることができる。この方法はさらに、立体画像に挿入する立体的なオブジェクト画像のジオメトリを定めるステップを含む。１以上のオブジェクトの空間的オフセットを、占有された量部分を酒、及び、他の配置制限を満たすと共に、立体的なオブジェクト画像を３Ｄ空間に配置するために計算する。計算した１以上のオブジェクトの空間的オフセットの各々は、表示装置とは独立に正規化することができ、視聴者の距離に対する割合として、対応する知覚される奥行きとして表される。各知覚される奥行きのデータストリームを出力することができる。個別の実施の形態において、立体画像の奥行きマップは、さらに、知覚される奥行き、それに伴い、フィーチャの位置及び占有量をより正確に調整するために用いられる。
本発明の他の実施の形態において、出力信号を生成するための装置は、入力端子、出力端子、及び、この入力端子と出力端子とに接続された信号処理回路とを含んでいる。信号処理回路は、少なくとも１つのオブジェクトについて、視聴者の距離に対する割合として、知覚される奥行きのデータを受け取るように構成されている。信号処理回路は、少なくとも１つのオブジェクトの左目オブジェクト画像と右目オブジェクト画像とをそれぞれ立体画像の左目画像と右目画像に挿入する。左目オブジェクト画像と右目オブジェクト画像とはピクセル分離オフセット分だけずらされている。
本発明の他の実施の形態において、オブジェクトレンダリングのために奥行きのデータを生成するための装置は、入力端子、出力端子、及び、この入力端子と出力端子とに接続された信号処理回路とを含んでいる。信号処理回路は立体画像内のフィーチャを識別し、フィーチャの空間的オフセットを定めるように構成されている。空間的オフセットは、任意的に、信号処理回路によって視差マップを形成するために用いることができる。信号処理回路は、さらに、立体画像に挿入する立体的なオブジェクト画像のジオメトリを定め、占有する量及び他の配置制限を避ける一方で、３Ｄ空間における立体的なオブジェクト画像を配置するために１以上のオブジェクト空間的オフセットを計算するよう構成されている。計算した１以上のオブジェクトの空間的オフセットの各々は、表示装置とは独立に正規化することができ、視聴者の距離に対する割合として、対応する知覚される奥行きとして表される。各知覚される奥行きのデータストリームは、出力端子を通して出力することができる。
本発明の他の実施の形態として、命令のプログラムを記録する記憶媒体を提供する。プログラムは、出力を生成する方法を実施するために、表示装置により実行することができる。この方法は、少なくとも１つのオブジェクトについて、視聴者の距離に対する割合として、正規化された知覚される奥行きデータを受け取るステップを含んでいる。正規化された知覚される奥行きデータと表示寸法から表示装置に対するピクセル分離オフセットを計算する。少なくとも１つのオブジェクトの第１のオブジェクト画像と第２のオブジェクト画像とが立体画像の第１の画像と第２の画像とに挿入される。第１のオブジェクト画像と第２のオブジェクト画像とはピクセル分離オフセット分だけずらされる。表示装置は挿入されたオブジェクトと共に視覚的に立体画像を出力する。
本発明の種々の対象、特徴、及び利点は、以下の詳細な説明及び添付図により十分理解できるであろう。

本発明及びそれに伴う利点が容易に十分把握できると共に、添付図に関連させて以下の詳細な説明を参照することにより、本発明がよく理解できる。
本発明の実施の形態による３Ｄ位置調整レイアウトを示す。 画像視差、及び眼間距離の関係を一例として、三角法で示す。 本発明の実施の形態による、典型例として７メートル幅の表示に対するピクセル視差の関数として知覚される奥行きを示す。 本発明の実施の形態による正規化したスクリーンにたいする３Ｄ位置調整レイアウトを示す。 本発明の実施の形態による３Ｄオブジェクトの配置の簡単化したフロー線図である。 本発明の実施の形態による３Ｄオブジェクトの配置の簡単化したフロー線図での典型的な結果出力を示す。 本発明の実施の形態による３Ｄオブジェクトの配置の簡単化したフロー線図での典型的な結果出力を示す。 本発明の実施の形態による３Ｄオブジェクトの配置の簡単化したフロー線図での典型的な結果出力を示す。 本発明の実施の形態による３Ｄオブジェクトの配置の簡単化したフロー線図での典型的な結果出力を示す。 本発明の実施の形態による３Ｄオブジェクトの配置の簡単化したフロー線図での典型的な結果出力を示す。 本発明の実施の形態による３Ｄオブジェクトの配置の簡単化したフロー線図での典型的な結果出力を示す。 奥行きマップと、区分化した視差マップとの関連を示す。 奥行きマップと、区分化した視差マップとの関連を示す。 本発明の実施の形態による３Ｄプロジェクタシステムの簡単化したフロー線図を示す。

以下の説明と図面は本発明の説明のためのものであり、本発明を限定するものとして解釈すべきでない。多くの具体例を本発明を十分な理解のために記載する。しかし、いくつかの事例において、本発明の記載を不明確にすることを避けるために、よく知られた又は従来からあるものについては記載していない。本明細書中での１つの実施の形態を言及することは、必ずしも、その実施の形態だけを言及することではなく、いくつかあるうちの少なくとも１つであることを意味する。
図１は、本発明の実施の形態による３Ｄ位置調整システム１００を示す。位置データは、オブジェクトを目的の３Ｄ画像にレンダリングするときにそのオブジェクトをどこに配置するかを定めるために用いられる。オブジェクトには、サブタイトルテキストクローズドキャプショニング、オンスクリーンインフォメーションバー、スクロールニュースティッカー、テレビジョンプログラムガイド、スコアボード、オンスクリーン再生装置制御（任意的に表示されたタッチスクリーンコントロール）、チャンネルロゴオーバーレイ、警告（ｈｅａｄｓ−ｕｐ）表示（ＨＵＤ）情報又は他の図形オブジェクト。再生中に装置に依存させないために、パーセンテージ位置システムを用いる。３Ｄ空間における位置は、スクリーン幅（ｘ軸）、スクリーン高さ（ｙ軸）、及びスクリーンから視聴者までの距離（ｚ軸）のパーセンテージとして表される。
例えば、２０４８ピクセル幅の画像中の、ｘ軸上での左右の目の画像間での１９ピクセルの正の視差を持つ立体的なオブジェクトは、画像幅の約０．９２７％（１９／２０４８）を表す。その結果、例えば、立体的なオブジェクトはスクリーン平面の前に、視聴者とスクリーンとの中間に（例えば、スクリーン平面から視聴者までの距離の５０％の所に）に現れる。従って、７メートル幅のスクリーンの場合、立体的なオブジェクトは、本発明の実施の形態において、スクリーン幅の０．９２７％、６４．９４ミリメータ（７メートル×０．９２７％）、即ち約２７ピクセル（１９９８ピクセル水平幅と仮定）だけ分離することができる。この場合もやはり、結果として、図２Ａの三角法的関係と図２Ｂ中の点２０１とで具体化される、視聴者とスクリーンとのほぼ中程に生じる立体的なオブジェクトとなる。一方、スクリーン幅の０．９５１％（１９／１９９８）を意味する、７メートル幅のスクリーン上での正の１９ピクセル視差では、図２Ｂ中の点２０３に示すような明らかにスクリーン平面により近いように奥行きが知覚されるような結果となる。
上記例示から分かるように、比率位置調整では、異なる装置に対して奥行きの割合が保持されたが、絶対ピクセル視差による調整では保持されなかった。表示装置の大きさとは無関係にｚ軸上での知覚される奥行きは一定に維持されることが望ましい。言い換えれば、異なる再生装置で見るときも、ピクセル視差が変わるかも知れないが、３Ｄ画像は一定にすべきである。実際には、１つの再生装置と他の再生装置とでは、ピクセル視差の変化は一般に非線形となる。
３Ｄ位置調整システム１００において視聴者の距離が大きく変化するので、奥行きの知覚が再生装置に依存しないことは好都合なことである。例えば、視聴者の距離は、携帯用デバイス（例えば、携帯電話、携帯端末（ＰＤＡ）、携帯メディアプレーヤー、アップルのビデオｉＰｏｄ、その他）に対して約１５センチメートルから１メートルの範囲で変化する。視聴者の距離は、ラップトップコンピュータ、デスクトップコンピュータ、テレビジョン、及びアーケードゲームのディスプレーに対して約０．５メートルから約５メートルの範囲で変化する。公共の場において、映写機、スタジアムディスプレー、及び広告用掲示板に対して、視聴者の距離は、約３メートルから約１００メートル又はそれ以上の範囲で変化する。再生装置は、必然的に、対象となる視聴者の距離に応じて表示サイズが大きく異なる。他の再生装置と比べて１つのスクリーン幅は、５倍、１０倍、あるいは１００倍以上になることがある。
本発明の１つの実施の形態によれば、ｚ軸の位置調整値（奥行き）は、スクリーン平面からの視聴者の距離のパーセンテージＺ_ｐｖとして定めることができる。このように、奥行き調整値は、デバイスと無関係とすることができる。例えば、図１に戻って、＋５０％（点１０１）における第１のオブジェクトは、常に、スクリーン平面と視聴者との間の中間位置にて知覚される。０％（点１０３）及び−５０％（点１０５）の第２及び第３のオブジェクトは、常に、第１のオブジェクトの距離のそれぞれ２倍の位置（スクリーン平面上）及び３倍の位置（スクリーン平面の後方）になる。他の再生装置と比較して別の再生装置に対しては、視聴者がスクリーン平面に近づくにつれて、オブジェクトは、絶対値で視聴者に近づくように見える。スクリーン平面から視聴者が遠ざかるにつれて、オブジェクトは、遠ざかるように見える。しかし、重要なことは、オブジェクトは視聴者の距離に対して、同じ割合の位置に見えることである。
特別な実施の形態において、Ｚ_ｐｖを再生装置で用いることのできる値に変換するために、奥行き配置のために用いられる想定される表示装置の物理的なスクリーン幅ｗ_ｓは既知であるか又は伝達されてくる。言い換えれば、再生装置は、少なくともｘ、ｙ、Ｚ_ｐｖ、及びｗ_ｓの値として位置データを受け取る。受け取った情報に基づき、再生装置は、奥行きＺ_ｐｖを知覚できるように、それ自体の寸法に対するｘ軸上の適切なピクセル視差を計算する。
他の実施の形態において、ピクセル分離能が１ミリメートルとなる１０００ピクセル幅のスクリーンのような、正規化した１メートルのスクリーン幅が用いられる。正規化することにより、オブジェクトに適切に奥行きを持たせるために再生装置はスクリーン幅を知るだけでよく、組み立てソフトウェアは（例えば、オブジェクトの奥行きを定めるために用いる物理的なスクリーンではなく）正規化したスクリーン幅を用いて実質的に変換させることができるという利点をもたらす。つまり、w_s値は、アプリオリに知られているので伝達する必要がない。
当然のことながら、Ｚ_ｐｖのこの数値表現では、特定の再生装置、基本的には小さく分解能の低い古い装置の能力を超える値が生み出されることがある。例えば、携帯電話のビデオ表示は２６ミリメートル幅（又はそれ以下）の小ささとなることがあり、したがって、最大奥行きが＋２９％に制限される。最新の再生装置は、はるかに改善され、深い奥行きにレンダリングする能力があるが、このような装置でも視聴者の距離の＋１００％を達成することはできない。＋１００％の奥行きはほとんど求められることはないので、この制限は実質的に障害とはならない。視聴者に非常に近い場所のオブジェクトのピクセル視差では、視聴者がオブジェクトに焦点をあわせ１つに収束させることが難しくなる。
加えて、Ｚ_ｐｖの数値表現、つまり視聴者の距離に対するパーセンテージでは、無限遠平面又はその向こう側での奥行きを適切に表現することができない。幸いにして視聴者の視線軸が平行になったときオブジェクトは無限遠にあるように見えるので、この欠点は解消される。したがって、無限遠平面は、ほぼ眼間距離を負にした値（大人で約−６５ミリメートル）に定めることができる。正規化した１ピクセル／ミリメートのスクリーンでは、約−６５ピクセルのピクセル分離オフセットを持たせることで無限遠平面を確立することができる。
図３に示すように正規化したスクリーンに３Ｄ位置調整レイアウト３００を用いることで、再生装置でも合成装置でも、スクリーン幅に対するパーセントとしてのｘ、スクリーン高さに対するパーセントとしてのｙ、知覚する正規化した奥行きに対するパーセントとしてのｚを与えることにより、キャプション付けのようなオブジェクトを３Ｄ画像に適切に挿入することができる。そして、正規化したピクセル分離オフセットＳ_ｐを、制限なしに、少なくとも以下のようにして計算することができる。

正規化したピクセル分離オフセットにより、表示サイズ又は視聴者の距離とは独立に、視聴者の知覚される奥行き関して３Ｄ空間におけるオブジェクト位置調整が可能となる。再送装置は受け取った正規化したピクセル分離オフセット（Ｓ_ｐ）を例えばビットストリーム中のメタデータとして用いることができ、それ自身のピクセルピッチの要素に合わせて調整することで装置のピクセル分離オフセット（Ｓ_ｄ）を計算することができる。再送装置のピクセルピッチが、正規化したスクリーンの１ミリメートルではなく０．５ミリメートルであるならば、この場合、Ｓ_ｄ＝Ｓ_ｐ／０．５となる。
図４は、例えば、本発明実施の形態による合成装置による、３Ｄオブジェクトの配置の簡単化したフロー線図４００を示す。ステップ４０１で、すでに存在する立体画像、すなわちターゲット画像を受け取る。ステップ４０３で、例えば、各立体画像ペア（例えば左目画像及び右目画像）について区分化による解析を組み込むことができ、画像のフィーチャの位置と範囲が特定される。区分化による解析では、各フィーチャ（例えば、画像中にすでに存在するオブジェクト）を色で分割し、区分化したマップを形成するためにはっきりと異なる各領域の境界を定める。
次に、ステップ４０５で、このフィーチャの空間的オフセットを決定する。これは、左目画像の区分化したマップを右目画像と比較することにより行うことができる。左目画像及び右目画像の区分化したマップは類似しており、したがってフィーチャすなわちこのペアの内の１つのマップ中の区分化した形は、当然のことながらそれに対応するフィーチャの形と位置に必然的に関連している。ペアとなったマップは、比較され、ペア中のお互いに対応するフィーチャ同士のｘ軸空間的オフセットを定める。
このような空間的オフセットは任意的ステップ４０７で用いられ、リーガルマップに展開する。リーガルマップにより、オブジェクトの配置のために使用可能な３Ｄの量が定まる。すなわち、リーガルマップは、フィーチャにより占有されない量を示す。このリーガルマップは、ターゲット画像に配置すべきオブジェクトの残留期間全体にわたって動的に更新することができる。
ステップ４０９及び４１１で、配置すべきオブジェクトを受け取り境界を定めるジオメトリを決定する。簡単な場合は、以下に図５Ｆについて説明するように、オブジェクトジオメトリは、必要な間隔（例えば、ターゲット画像におけるオブジェクトとフィーチャとの間の最低距離）を持たせて全体のオブジェクトの周りの簡単なバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）で定めることができる。複雑な場合は、オブジェクトジオメトリは１つのバウンディングボックスより細かい定義を必要とすることがある。例えば、オブジェクトジオメトリは、以下に図５Ｅについて説明するように、各文字ごとにバウンディングボックスにより特徴付けることができる。
次に、図４のステップ４１３で、オブジェクトは簡単な配置規則に従い３Ｄ量に配置され、配置規則は人の視覚系で眼精疲労を最小限にするよう設計することが望ましい。簡単な配置規則は、一般に以下の特性の内の１以上を有する。すなわち、元の画像におけるフィーチャとの衝突がないこと、オブジェクトは常に前方にあること（代替的にオブジェクトは常に後方にあること）、オブジェクトジオメトリは簡単であること、テキスト又はオブジェクトサイズであること、奥行きの最大値及び最小値であること、及び、静的な配置であることである。
簡単な配置規則は、基点と階層的選択肢のセットとすることができる。例えばオブジェクトをスクリーン平面の中央スクリーンにする簡単な配置規則は、
基点： ０：ｘ＝０ ｙ＝０ ｚ＝０
選択肢： １：ｘ＝−２０
２：ｘ＝＋２０
３：ｘ＜０
４：ｘ＞０
５：０＜ｚ≦５０
５ａ：ｘ＜０
５ｂ：ｘ＞０
６：エラー（Ｅｒｒｏｒ）
位置ｘ＝０，ｙ＝０、ｚ＝０が不可能なら、２０％左が望ましく、２０％右、左の任意位置、右の任意位置、最大５０％までの前方の任意位置がそれに続き、次いで、左に進み、そして最後に右に進む。このうちのどの位置も不可能である場合はエラーが返される。
ステップ４１５で、ステップ４１３に代わって、又は４１３に加えて、任意的に複合的配置規則が続く。複合的配置規則は、元の画像におけるフィーチャの動きに基づいて動かす動的な変化を伴うことができる。複合的配置規則では、一般に、単純なバウンディングボックス（ｂｏｕｎｄｉｎｇ ｂｏｘ）より厳密な定義が必要であり、従って複雑なオブジェクトジオメトリがしばしば用いられる。実際には、複合的配置において、オブジェクトジオメトリは、以下に説明するように図５Ｆに示したような複合的配置での優先傾向を満足するためにオブジェクトのモーフィングのために元のジオメトリとは異なることがある。
複合的配置は、以下の特性、すなわち動的規則、元の画像におけるオブジェクトの許容される衝突、許容されるオクルージョン、複雑なオブジェクトジオメトリ、および動的配置、の内の１つ以上を有するものとして一般化することができる。複合的配置は、（ｉ）元の画像中のフィーチャの後ろから（ii）フィーチャの前にあちこち移動し視聴者に近づいてくるように見える動的なグラフィックオブジェクトである。この例では、動的なグラフィックオブジェクトは、動的な拡大縮小、回転、および移動を行い、オブジェクトジオメトリも動的となる。これはまず、その場面における元のフィーチャと衝突し、オクルードされ、元のフィーチャを避けオクルードする。
最後に、図４のステップ４１７で、オブジェクトの配置を反映する位置値を出力することができる。位置値はスクリーン幅に対するパーセント、スクリーン高さに対するパーセント、知覚される奥行きに対するパーセントで表される。知覚される奥行きに対するパーセントは、上演する表示装置にあわせて正規化することができる。特別な実施の形態において、上演する表示装置は、ピクセルあたり１ミリメートルの幅の分解能を持つ、１０００ピクセル幅で正規化したスクリーンで特徴付けられる。
当然のことながら、ここに記載したフロー線図４００は概説のためのものであり、したがって、種々の修正又は変更が当業者から提案されるであろう。代替的実施の形態において、フロー線図４００に記載したステップ図４とは異なる順序とすることができ、ステップを追加することができ、及び／又はいくつかのステップを省略することができる。例えば、ステップ４０１及び４０９は、実際には、実質的に同時に、又は、逆の順序で実行することができる。このような修正及び変更は本明細書の範囲に含まれるものとする。
図５Ａ〜５Ｆは、本発明の実施の形態による３Ｄオブジェクトの配置についての簡単化した上記フロー線図４００の典型的な結果を示す。図５Ａはステップ４０１で受け取ることができるすでに存在する立体画像の左目からの画像と右目からの画像を示す。ステップ４０３に記載した区分化したマップは図５Ｂに示され、二つの画像の分離視差を示すため図５Ｃで重ね合わせた。単純なジオメトリを用いる場合のステップ４１１に対応する、単純な境界線、１つのボックスとともに「テキストオブジェクト」を図５Ｄに示す。比較のために図５Ｅに、複合的オブジェクトジオメトリによる「テキストオブジェクト」を示し、ここでは、境界線が各文字について厳格に定義されている。ステップ４１５について、複合的配置と複合的ジオメトリの両方を用いた場合、図５Ｆに示すように、「テキストオブジェクト」を変形し、動き特性を表すことができる。
フロー線図４００には示されていないが、合成装置による３Ｄオブジェクトの配置では、例えば、本発明の実施の形態に従い奥行きマップをさらに用いることができる。奥行きマップは、空間的オフセット分析によってオブジェクトの３Ｄ形状を正確に定めるので、特に複数視点の３Ｄ画像（例えば、ポリスコーピック（ｐｏｌｙｓｃｏｐｉｃ）画像）に対して、すでに存在する画像におけるフィーチャの奥行きを奥行きマップによって精緻に決定することができる。図６Ａは、図４Ａの立体画像ペアの奥行きマップ６００の一例である。奥行きマップ６００はモノクロームであり奥行きが輝度で表されている。輝度が高いところは、視聴者に近づいてくる正のｚであり、輝度が低いところは、視聴者から離れてゆく負のｚである。奥行きマップは、画像の各部における測定した奥行きの精度を定める対応する「信頼度」値を含んでいる。奥行きマップ６００はそれだけで、元の画像中に挿入したオブジェクトと元の画像中のフィーチャとの間の衝突を避ける可能性を改善するために、その信頼度値をオブジェクトの規則の要因とさせる。
図６Ｂは、奥行きマップによる区分分析を組み合わせて使用したものを示す。上述のように、奥行きマップ６００では、改善された３Ｄ形状の決定をおこなう。しかし、区分視差マップにより、元の画像のフィーチャの知覚される奥行きがより正確に定まる。したがって、元の３Ｄ画像の品質の高い分析のために区分視差マップ及び区分奥行きマップの両方を組み合わせることは、好都合なことである。結果として、区分化された境界の内側に、奥行きマップにより形状が定められる。奥行きマップの信頼値が効率的に飛躍的に改善される。
本発明の他の実施の形態において、正規化した奥行きの技法は再生装置又は合成装置に適用され、快適な視覚奥行き範囲に、既存の立体画像を調整する。言い換えれば、スクリーン平面の前方及び後方へ可能な奥行きは、個々の好み（例えば、立体芸術家の好み、又は再生装置の最終ユーザーの好み）によるのみならず表示サイズに対して調整することが可能である。快適な視覚奥行き範囲が個々の好みによるにもかかわらず、合理的で概略的な規則が以下のように続く。
（ｉ）非常に大きなスクリーン（例えば、シネマ／アイマックス）。前方のすべての奥行きが利用可能であり、無限遠がスクリーン平面となり正の最大奥行きが視聴者の距離の６０％となる。
（ii）大きなスクリーン（例えば、シネマ）。スクリーン平面の前方の利用可能な奥行きが後方より大きい（例えば前方は約２／３の奥行き、後方は１／３奥行き）。
（iii）小さなスクリーン（例えば、テレビジョン、ホームシアター）。スクリーン平面の後方の利用可能な奥行きが前方より大きい（例えば前方は約１／３の奥行き、後方は２／３奥行き）。
（iv）非常に小さなスクリーン（例えば、携帯電話の表示、又は携帯テレビジョン）。スクリーンの前方には利用可能な正方向奥行きはなく、スクリーン平面のはるか後方に無限遠がある。
上記規則を説明するための一例として、元の立体画像が無限遠点Ｚ_ｎｉ＝−１００を持っていて、最大正方向の奥行きがＺ_ｎ＝−４０（そのシーンでのトータル奥行きはＺ＝｜Ｚ_ｎ−Ｚ_ｎｉ｜＝６０となる）であると仮定すると、無限遠点での修正した奥行き位置、Ｚ_ｃｉは以下のようになる。
（ｉ）非常に大きなスクリーン。Ｚ_ｃｉ＝Ｚ_ｎｉ＋１００、無限遠がスクリーン平面となり、最大でオブジェクトは視聴者の距離の６０％までスクリーンから飛び出す。
（ii）大きなスクリーン。Ｚ_ｃｉ＝Ｚ_ｎｉ＋８０、無限遠がスクリーン平面の後方２０％となり、最大でオブジェクトは視聴者の距離の４０％までスクリーンから飛び出す。
（iii）小さなスクリーンＺ_ｃｉ＝Ｚ_ｎｉ＋６０、無限遠がスクリーン平面の後方４０％となり、最大でオブジェクトは視聴者の距離の２０％までスクリーンから飛び出す。
（iv）非常に小さなスクリーン。Ｚ_ｃｉ＝Ｚ_ｎｉ＋４０、無限遠がスクリーン平面の後方６０％となり、オブジェクトはスクリーンから飛び出すことはない。
立体画像を調整する装置は、メタデータ中の正規化した奥行き値、画像を調整すべきであると表示したフラグ、及び、複数のあらかじめ定めたサイズ表示についての好ましいシフト調整について記述したメタデータの内の１つ以上を用いることができる。これらのあらかじめ定めたサイズに含まれない表示サイズについては、装置は最も近いあらかじめ定めたサイズを用いて中間的な調整シフト値を補間（例えば、重み付け比例配分、平均化、平均化と端数切捨て、又は、メタデータで特定した特別な重み付け）するか、あるいは、単純にもっとも近いあらかじめ定めたサイズに関連する値を用いることができる。このような調整技術を用いるとき、走査した左目画像及び右目画像の全体が提示されなければならない。走査を行うことは、調整するシフト値の極端な２つの点でシフト値を調整することができる（例えば、意図する再生装置の最大スクリーンと最小スクリーン）。
加えて、既存の立体画像の上述の調整は、立体画像キャプチャーにおける欠陥を修正するために用いることができる。例えば、収束型の撮影の場合、２つのカメラの画像化平面に相互に角度をもたせ、カメラを対象となるオブジェクトに収束させる。したがって収束点は、入力カメラの物理的な配置に依存するが、再生する場合のオブジェクトの視聴者からの距離は、スクリーン間での距離に依存する。収束は、相互に左右の画像を水平にシフトすることで、ポストプロダクションにおいて調整することができる。
本発明の他の実施の形態として、命令プログラムを記録した記憶媒体が提供される。この記憶媒体は、ランダムアクセスメモリー（ＲＡＭ）、ＳＤＲＡＭ、リードオンリーメモリー（ＲＯＭ）、プログラマブルリードオンリーメモリー（ＰＲＯＭ）、電気的消去可能プログラマブルリードオンリーメモリー（ＥＥＰＲＯＭ）、フラッシュメモリー、光ディスク（例えば、ＣＤ−ＲＯＭ、ＣＤ−ＲＷ、ＤＶＤ、ＤＶＤ−ＲＷ、ブルーレイディスク、ウルトラデンシティーオプティカル（ＵＤＯ）ディスク、コンパクトディスク、その他）、磁気媒体（例えば、磁気テープ、フロッピィーディスク、ハードディスク、その他）、紙テープ（例えば、パンチカード）、ホログラフィックストレージ、及び分子メモリーの内の少なくとも１つとすることができる。プログラムは、表示装置で実行することができ、視覚的出力を生じさせる方法を実施する。この方法には、少なくとも１つのオブジェクトに対する視聴者の距離の部分として知覚される正規化した奥行きデータを受け取るステップが含まれる。ピクセル分離オフセットは、正規化した奥行きデータから、表示装置寸法に応じて計算する。この少なくとも１つのオブジェクトの１番目と２番目のオブジェクト画像は、立体画像の１番目と２番目の画像中に挿入される。この１番目と２番目のオブジェクト画像は、ピクセル分離オフセット分だけずらされる。表示装置は、挿入したオブジェクトと一緒に立体画像を視覚的に出力する。
図７は、本発明の実施の形態による、２台映写機システム７００の概略図を示す。システム７００による立体的な映写技術には、以下のいずれかを含むことができる。
（ｉ）アナグリフ・・・左右の目のチャンネル画像分離が、２色、一般に一方の目には赤、他方の目にはシアン、のフィルターにて行われる。一方の目には第１のフィルター（例えば、赤色フィルター）、他方の目には第２のフィルター（例えば、シアンフィルター）を有するメガネ類が必要となる。
（ii）直線偏光・・・左右の目のチャンネル画像分離が、映写機で、垂直方向の直線偏光板を介して映写機で一方の目の画像をフィルターすることにより、水平方向の直線偏光板を介して他方の目の画像をフィルターすることにより行われる。一方の目には垂直方向の直線偏光板を、他方の目には水平方向の直線偏光板を有するメガネ類が必要となる。
（iii）円偏光・・・左右の目のチャンネル画像分離が、映写機で、垂直方向の左旋円偏光板を介して映写機で一方の目の画像をフィルターすることにより、水平方向の右旋円偏光板を介して他方の目の画像をフィルターすることにより行われる。一方の目には左旋円偏光板を、他方の目には右旋円偏光板を有するメガネ類が必要となる。
（iv）シャッターグラス・・・左右の目のチャンネル画像分離が、画像を時間多重化することにより行われる。映写機のフレームレートに同期させてレンズを電子的に開閉するシャッターグラスを有するメガネ類が必要となる。一般に、このシャッターグラスのタイミングを整えるために、無線信号又は赤外線信号が用いられる。
（v）スペクトル分離・・・左右の目のチャンネル画像分離が、映写機で、スペクトル的にフィルターすることにより行われる。左右の目の画像へのフィルターで、各々、赤、緑、及び青のスペクトル部分を通り、フルカラー画像となる。左目フィルターの帯域通過スペクトルは、右目フィルターの帯域通過スペクトルを補完するものとなる。映写機で用いられるものと同じ一般的スペクトル特性を持つフィルターを有するメガネ類が必要となる。
システム７００において、ディスクドライブ７０１中に記録された（又は適切なネットワークから受け取った、又は、送信を受け取った）データから、左右の目のチャンネル画像をサーバー７０３により抽出、又はデコード、又は検索、又は再構築する。同様に、左右の目のチャンネル画像に挿入する立体的なオブジェクトと、それに対応する比例的な位置の値とは、ディスクドライブ７０１中に記録する（又は適切なネットワークから受け取る、又は、送信を受け取る）ことができる。サーバー７０３は、受け取った正規化された奥行きのような、１以上の比例的な位置の値に基づきオブジェクトのピクセル分離オフセットを計算し、そのようなオフセットを持たせてチャンネル画像にオブジェクトに挿入する。
挿入の後、左目及び右目のチャンネル画像は、左右のチャンネル映写機７０５及び７０７からスクリーン７０９に映写され、３Ｄグラス７１１を介して見られる。３Ｄ映写機システム７００が、左右の目のチャンネルを分離するために直線偏光又は円偏光を用いる場合は、スクリーン７０９は偏光を保持する。スクリーン７０９として有効な偏光を保持するタイプのスクリーンは、その特徴的な色合いから、一般に「シルバースクリーン」と呼ばれている。
上記システム７００は、は２つの映写機システム（一方は左目そして他方は右目に対応）として記載したが、単一のＤシネマ映写機（例えば、ディジタル映写機）を用いることもできる。代替的な単一のＤシネマ映写機システムにおいて、左右の目のチャンネル画像は時間多重化される。映写フィルターを必要としないシャッターグラスの場合を除いて、このことは、映写フィルターは左右で多重化周波数を変更しなければならないことを意味する。これは、多重化周波数と同期させたＤシネマ映写機のフィルターホイール、又は、電子的な切り替えフィルターにより行うことができる。
当然のことながら、ディスクドライブ７０１、適切なネットワーク（例えば、インターネット、ＷＡＮ、ＬＡＮ、ＷｉＦｉ、ファイバー、ビデオケーブル、衛星放送、その他）、又は、複数の適切なネットワークにより、比例的な位置の値のような同じデータを、連続的に、又は同時に、又は要求に応じて、複数の再生装置に送ることができる。再生装置の表示寸法は変更することができ、本発明の実施の形態により著しく変化することがある。例えば、はるかに大きい家庭のテレビジョンセットと同じ画像及びオブジェクト挿入データを表示装置を組み込んだ携帯電話は、受け取ることができ、大きさの差にかかわらす、ピクセル分離オフセットを適切に調整することにより、同じ表示結果を達成することができる。
本発明は、ここに記載した構成要素（本発明の種々の部品又は特徴）及び均等物を、適切に具備、することができる。
さらに、ここに概説した発明は、明示的に記載されているかどうかにかかわらず、構成要素の一部が欠けていても実施することができる。この記載に照らして、本発明について多くの修正又は変更が可能である。したがって、添付の特許請求の範囲内で、ここに具体的に記載したものとは異なるように実施することができることは理解されよう。

Claims (15)

1. 少なくとも１つのオブジェクトを表示装置に立体画像としてレンダリングする方法であって、
   前記少なくとも１つのオブジェクトについて視聴者の距離に対する割合として知覚される奥行きデータを受け取るステップと、
   前記知覚される奥行きデータから、前記表示装置に対するピクセル分離オフセットを計算するステップと、
   前記少なくとも１つのオブジェクトの第１のオブジェクト画像を前記立体画像の第１の画像に挿入するステップと、
   前記少なくとも１つのオブジェクトの第２のオブジェクト画像を前記立体画像の第２の画像に挿入するステップと、
   を具備し、
   前記第１のオブジェクト画像と前記第２のオブジェクト画像とは、前記ピクセル分離オフセット分だけずれていることを特徴とする、
   方法。
2. 前記少なくとも１つのオブジェクトはキャプション付けテキストであることを特徴とする請求項１に記載の方法。
3. 前記第１のオブジェクト画像と前記第１の画像は左目画像であり、前記第２のオブジェクト画像と前記第２の画像は右目画像であることを特徴とする請求項１に記載の方法。
4. 前記挿入するステップの後、データストリーム中に前記第１の画像及び前記第２の画像を出力するステップをさらに具備することを特徴とする請求項１に記載の方法。
5. 前記知覚される奥行きデータは、ミリメートル幅あたり１ピクセルに正規化されることを特徴とする請求項１に記載の方法。
6. 前記表示装置は、携帯電話、携帯メディアプレーヤー、テレビジョン、コンピュータモニタ、及び映写機の内の少なくとも１つであることを特徴とする請求項１に記載の方法。
7. 少なくとも１つのオブジェクトを表示装置に立体画像としてレンダリングする方法であって、
   前記少なくとも１つのオブジェクトまでの視聴者の距離に対する割合として正規化した知覚される奥行きデータを受け取るステップと、
   前記正規化した知覚される奥行きデータ及び表示寸法から、前記表示装置に対するピクセル分離オフセットを計算するステップと、
   前記少なくとも１つのオブジェクトの、第１のオブジェクト画像及び第２のオブジェクト画像を前記立体画像に挿入するステップと、
   を具備し、
   前記第１のオブジェクト画像と前記第２のオブジェクト画像とは、前記ピクセル分離オフセット分だけずれていることを特徴とする、
   方法。
8. 立体画像にオブジェクトを挿入する方法であって、
   前記立体画像を第１の再生装置に伝送するステップと、
   少なくとも１つのオブジェクトまでの視聴者の距離に対する割合として知覚される奥行きデータを前記第１の再生装置に伝送するステップであって、該第１の再生装置は、該知覚される奥行きデータから、第１のピクセル分離オフセットを計算する能力があることを特徴とするステップと、
   前記立体画像を第２の再生装置に伝送するステップと、
   割合として知覚される奥行きデータを前記第２の再生装置に伝送するステップであって、前記第２の再生装置は、該知覚される奥行きデータから、第２のピクセル分離オフセットを計算する能力があることを特徴とするステップと、
   を具備し、
   前記第１のピクセル分離オフセットは、前記第２のピクセル分離オフセットとは等しくないことを特徴とする、
   方法。
9. 前記第１の再生装置のスクリーン幅は、前記第２の再生装置のスクリーン幅の５分の１以下であることを特徴とする、請求項８に記載の方法。
10. 前記第１の再生装置は、携帯用デバイスであることを特徴とする、請求項９に記載の方法。
11. 前記第２の再生装置は、２つの映写機を具備することを特徴とする、請求項８に記載の方法。
12. ３次元（３Ｄ)画像にオブジェクトをレンダリングするための正規化した奥行きデータを生成する方法であって、
    第１の画像及び第２の画像を含む立体画像を受け取るステップと、
    前記第１の画像及び前記第２の画像内の少なくとも１つのフィーチャを特定するステップと、
    ３Ｄ空間内の位置を定めるために第１の画像及び第２の画像間の少なくとの１つのフィーチャの空間的オフセットを計算するステップと、
    ３Ｄ空間中に前記少なくとも１つのフィーチャが占有する量を定めるステップと、
    第１のオブジェクト画像及び第２のオブジェクト画像を含む立体的なオブジェクトを受け取るステップと、
    前記立体的なオブジェクトのジオメトリを定めるステップと、
    前記占有する量を避けながら、３Ｄ空間における立体的なオブジェクト画像を配置するために少なくとも１つのオブジェクト空間的オフセットを計算するステップと、
    前記少なくとも１つのオブジェクト空間的オフセットにより定められた知覚される奥行きを正規化するステップと、
    前記少なくとも１つのオブジェクト空間的オフセットのディジタルデータを出力するステップと、
    を具備することを特徴とする方法。
13. 前記立体画像の奥行きマップを受け取るステップをさらに具備することを特徴とする請求項１２に記載の方法。
14. 出力信号を生成する装置であって、
    （ａ）入力端子と、
    （ｂ）出力端子と、
    （ｃ）前記入力端子及び前記出力端子に接続された信号処理回路であって、
    該信号処理回路は、
    少なくとも１つのオブジェクトまでの視聴者の距離に対する割合として知覚される奥行きデータを受け取り、
    前記知覚される奥行きデータを用いてピクセル分離オフセットを計算し、そして、
    前記少なくとも１つのオブジェクトの左目オブジェクト画像及び右目オブジェクト画像を、それぞれ立体画像の左目画像及び右目画像に挿入するよう作られていて、
    前記左目オブジェクト画像及び前記右目オブジェクト画像は、前記ピクセル分離オフセット分だけずれていることを特徴とする、
    信号処理回路と、
    を具備することを特徴とする装置。
15. 出力信号を生成するための方法を行うための、表示装置により実行可能な命令プログラムを記録する記憶媒体であって、該出力信号を生成するための方法は、
    前記少なくとも１つのオブジェクトまでの視聴者の距離に対する割合として正規化した知覚される奥行きデータを受け取るステップと、
    前記正規化した知覚される奥行きデータ及び表示寸法から、前記表示装置に対するピクセル分離オフセットを計算するステップと、
    前記少なくとも１つのオブジェクトの第１のオブジェクト画像を前記立体画像の第１の画像に挿入するステップと、
    前記少なくとも１つのオブジェクトの第２のオブジェクト画像を前記立体画像の第２の画像に挿入するステップと、
    を具備し、
    前記第１のオブジェクト画像と前記第２のオブジェクト画像とは、前記ピクセル分離オフセット分だけずれていることを特徴とする、
    方法であることを特徴とする記憶媒体。

Images