WO2012011525A1

WO2012011525A1 - 三次元ビデオストリームへの映像変換方法

Info

Publication number: WO2012011525A1
Application number: PCT/JP2011/066552
Authority: WO
Inventors: 衛齊藤
Original assignee: PLANNET ASSOCIATE Co Ltd
Current assignee: PLANNET ASSOCIATE Co Ltd
Priority date: 2010-07-21
Filing date: 2011-07-21
Publication date: 2012-01-26
Anticipated expiration: 2013-01-21
Also published as: US20130127992A1

Abstract

　時間的同期をとって記録されたＭＰＥＧ４－ＡＶＣ規格に準拠した左眼用動画像ファイル及び右眼用動画像ファイルのそれぞれの多重化を解除する第１の処理ステップと、前記多重化が解除された左眼用動画像ファイル及び右眼用動画像ファイルのデータを、少なくとも符号化することなく、ＭＰＥＧ４－ＭＶＣ規格に準拠した一つのエレメンタリストリームデータに多重化する第２の処理ステップと、を有し、前記第１の処理ステップによって多重化が解除された左眼用動画像ファイル及び右眼用動画像ファイルのうちの一方の画像データ及び音声データを前記エレメンタリストリームデータのベースビューとし、他方の画像データを前記エレメンタリストリームデータのディペンデントビューとして多重化を実行する。

Description

三次元ビデオストリームへの映像変換方法

　第１の発明は、二次元ビデオストリームを三次元ビデオストリームへ変換する方法及びプログラムに関する。また、第２の発明は、映画やカメラで撮影した動画などのコンテンツをダウンロードしながら再生するプログレッシブダウンロード再生（擬似ストリーミング再生）を実行するための方法及びプログラムに関する。

　二次元ビデオストリームを三次元ビデオストリームへ変換する方法として、特許文献１に開示されたものが知られている。この方法では、左右一対の撮像カメラで撮像された左眼動画像と右眼動画像との少なくとも一方を圧縮する一方で、左右一対の撮像カメラでそれぞれ撮像された各フレーム画像（左眼画像、右眼画像）間の見え方の違い（視差）を表す物理量（視差ベクトル＝視差方向および視差量）を抽出し、この抽出された視差ベクトルの大きさを用いて、３次元映像生成に必要な左眼画像および右眼画像の奥行きに関する奥行き情報を算出する。そして、この奥行き情報を、ＤＶＤビデオフォーマットに準拠するＭＰＥＧ圧縮符号化処理されたＭＰＥＧビデオストリームのユーザデータ領域に格納する。

　一方、Ｂｌｕ－ｒａｙ　Ｄｉｓｃの拡張規格であるＢＤ－ＬＩＶＥにおいて、動画などのコンテンツをダウンロードしながら再生する、プログレッシブダウンロード再生が実用化されている（特許文献２）。

特開２００６－１９１３５７号公報特許第４４４４３５８号公報

　ところで、上述した特許文献１の変換方法では、左眼動画像及び右眼動画像の視差ベクトルの抽出乃至奥行き情報の演算処理は、撮像カメラでそれぞれ撮像された各フレーム画像の圧縮前のデータを用いる必要があるため、圧縮データを用いる場合には復号化処理が必要となる。そのため、演算処理に時間がかかり、また演算プログラムが複雑化するという問題がある。

　第１の発明が解決しようとする課題は、二次元ビデオストリームから三次元ビデオストリームへの変換処理の負荷を低減することである。

　第１の発明は、時間的同期をとって記録されたＭＰＥＧ４－ＡＶＣ規格に準拠した左眼用動画ファイル及び右眼用動画ファイルのそれぞれの多重化を解除したのち、この多重化が解除された左眼用動画像ファイル及び右眼用動画像ファイルのデータを、少なくとも符号化することなく、且つディペンデントビューの画像データはベースビューの画像データとの差分を抽出する処理を行わずそのままの画像データをディペンデントビューとしてＭＰＥＧ４－ＭＶＣ規格に準拠した一つのエレメンタリストリームデータに多重化することによって、上記課題を解決する。

　第１の発明によれば、多重化が解除された左眼動画像及び右眼動画像を符号化することなく、且つ一方の動画像データを復号化→差分抽出→符号化といった処理を行わずに多重化して、二次元ビデオストリームを三次元ビデオストリームへ変換するので、変換処理の負荷を低減することができる。

　一方、上述した特許文献２などのプログレッシブダウンロード再生においては、コンテンツのＡＶストリームファイルをダウンロードする前に、これらに対応するＣｌｉｐＩｎｆｏＦｉｌｅ（以下、クリップインフォファイル）を全てダウンロードしておく必要があり、クリップインフォファイルのファイル数は、クリップインフォファイルの区切り間隔及びコンテンツの再生時間の長さによることとなる。

　たとえば、再生時間が２時間のコンテンツに対してクリップインフォファイルの区切り間隔を１０秒に設定すると、クリップインフォファイルのファイル数は２時間（７２００秒）÷１０秒＝７２０個にもなる。このようにクリップインフォファイル数が多いとコンテンツの再生までに要するダウンロード時間がそのぶん増加するといった問題がある。また、再生機によってはダウンロードしたクリップインフォファイルを再生前に解析処理する場合もあり、こうした場合には再生起動までに要する時間がさらに増加する。

　尤も、クリップインフォファイル数を少なく設定すれば、上述した再生前のダウンロード時間を短縮することは可能である。しかしながら、クリップインフォファイルの区切り間隔（時間）は、早送りなどのトリックプレーやチャプタージャンプを行う際の状態遷移応答時間に影響するため、このレスポンス性を向上させるためには１つのクリップインフォファイルの区切り間隔は短いほうが望ましい。

　第２の発明が解決しようとする課題は、クリップインフォファイルの区切り時間を長くすることなく、再生前のダウンロード時間などの前処理時間を短縮することである。

　第２の発明は、クリップインフォファイルのファイル数をストリームファイルのファイル数未満に設定した状態で当該クリップインフォファイルをダウンロードし、プログレッシブダウンロード再生を終了したストリームファイルに対応するクリップインフォファイルを、対応するクリップインフォファイルが存在しないストリームファイルに対応するように順次書き換え、プログレッシブダウンロード再生を継続することによって、上記課題を解決する。

　第２の発明によれば、プログレッシブダウンロード再生を開始する前にダウンロードするクリップインフォファイルのファイル数をストリームファイルのファイル数未満に設定しているので、そのぶんだけダウンロード時間やファイル解析の時間を短縮することができる。また、一つのクリップインフォファイルの区切り間隔を長くすることなくファイル数を少なくできるので、再生時の応答性の低下も抑制できる。

第１の発明の一実施の形態に係る変換方法を説明するための図である。三次元動画像のビデオプレーンを示す構成図である。ブルーレイ規格の三次元動画像対応のディスク構成を示す図である。三次元動画像対応のエレメンタリストリームのデータ構成を示す図である。三次元動画像対応のＳＳＩＦのデータ構成を示す図である。第２の発明の一実施の形態を適用したコンテンツの配信システムを示すブロック図である。図６のコンテンツの配信システムで用いられるプレイリストファイル、クリップインフォファイル及びストリームファイルを示すデータ構造図である。図７のクリップインフォファイルに設定されたデータ量と実際にダウンロードされたストリームファイルのデータ量を示す図である。図６の容量調整部で実行されるデータ量の調整を説明するためのデータ構造図である。図６の再生装置で実行されるＩピクチャのデータ量の調整を説明するためのデータ構造図である。図６の再生装置で実行されるクリップインフォファイルの書換処理を説明するための図である。

　以下、本発明の実施形態を図面に基づいて説明する。
《第１の発明》

　最初にブルーレイの三次元画像に関する規格を概説する。Ｂｌｕ－ｒａｙ　Ｄｉｓｃ　Ａｓｓｏｃｉａｔｉｏｎ（ＢＤＡ，ブルーレイディスク協会）が定めたブルーレイ規格では、三次元画像を記録・再生することに対応したProfile５が策定されている。ブルーレイ規格のProfile定義には、ＢＤ－ＡＶ，ＢＤ－ＭＶ、ＢＤ－Ｊに対応したProfile１や、このProfile１に加えてＢＤ－ＬＩＶＥにも対応したProfile２が策定されているが、Profile５は、Profile２に加えて三次元画像にも対応した規格である。

　ブルーレイ規格の三次元ビデオには、ＭＰＥＧ４－ＭＶＣ規格が使用される。ＭＶＣはマルチビュー・ビデオ・コーディングMulti-view Video Codingの略称である。ＭＰＥＧ４－ＭＶＣは、ＭＰＥＧ４－ＡＶＣ（Ｈ．２６４）の拡張規格として位置づけられ、ＭＰＥＧ４－ＡＶＣをベースに策定されたものであるため、ＭＰＥＧ４－ＡＶＣとの互換性が確保されている。

　ＭＰＥＧ４－ＭＶＣ規格に準拠する三次元画像は、左眼用と右眼用のそれぞれ独立したストリーム（ビューViewと称される）を有し、メインストリームを構成するベースビューと、サブストリームを構成するディペンデントビューとで構成されている。ベースビューはＭＰＥＧ４－ＡＶＣとの互換性を有し、二次元画像再生装置ではこのベースビューのみを用いて二次元画像の再生が行われる。これに対し、ディペンデントビューもＭＰＥＧ４－ＡＶＣとの互換性を有するが、ベースビューとの差分のみで構成されている。なお、左眼用及び右眼用のストリームのいずれをベースビューとし、いずれをディペンデントビューとするかは任意に指定することができる。

　図２は三次元動画像のビデオプレーンを示す構成図であり、上述したベースビューとディペンデントビューのそれぞれを左眼用ストリーム及び右眼用ストリームのビデオプレーンに割り当て、さらにメニューやボタン等の画像に対応するインターラクティブグラフィックと、字幕に対応するプレゼンテーショングラフィックの右眼用及び左眼用プレーンを上書きすることで、最終的な三次元動画像を得ることができる。そして、三次元動画像のベースビューとディペンデントビューのそれぞれを復号化し、フレームシーケンシャル方式で再生処理することで三次元動画像を観賞することができる。

　ブルーレイ規格の三次元ビデオを再生する場合に、従来の二次元ビデオの再生に使用されているエレメンタリストリームを使用する方式がある。エレメンタリストリームは、上述したベースビューとディペンデントビューとを１本のｍ２ｔｓファイルに多重化して構成され、このｍ２ｔｓファイルに対応するプレイリストファイルとクリップインフォメーションファイルが存在し、プレイアイテムで指定されたクリップインフォメーションファイルを用いて再生制御が実行される。

　三次元動画像対応のエレメンタリストリームでは、プレイリストファイル及びクリップインフォメーションファイルのそれぞれに、二次元動画像対応の制御ファイルに三次元動画像用の拡張ファイルが追加されている。図３にブルーレイ規格の三次元動画像対応のディスク構成を示す。同図に示すように、プレイリストフォルダPLAYLISTには、二次元動画像用のプレイリストファイルPlaylistの他に三次元動画像用の拡張データファイルExtension Dataが追加され、同様にクリップインフォメーションフォルダCLIPINFには、二次元動画像用のクリップインフォclipinfo等の他に拡張データファイルExtension Dataが追加されている。三次元動画像を再生する場合には、これらプレイリストフォルダ及びクリップインフォメーションフォルダの拡張データファイルを参照する。

　図４は三次元動画像対応のエレメンタリストリームのデータ構成を示す図であり、上述したとおりエレメンタリストリームは、ベースビューＶＢ１～ＶＢ４、ディペンデントビューＶＤ１～ＶＤ４、音声データＡ１～Ａ４、メニューやボタン等の画像に対応するインターラクティブグラフィック、および字幕に対応するプレゼンテーショングラフィックを１本のストリームとして多重化して構成されている。したがって、多重化されたエレメンタリストリームファイルを再生する場合は、このファイルを復号化すればよい。

　さて、二次元動画像を三次元動画像に変換して、当該三次元動画像を観賞する場合に、従来の変換方法では、視差ベクトルの抽出乃至奥行き情報の演算処理に時間がかかり、また演算プログラムが複雑化するという問題がある。

　しかしながら、ブルーレイ規格の三次元動画像は、上述したようにＭＰＥＧ４－ＡＶＣ規格に準拠した左眼用動画ファイル及び右眼用動画ファイル（ｍ２ｔｓファイル）をＭＰＥＧ４－ＭＶＣ規格に準拠した１本のエレメンタリストリームに変換し、再生制御用ファイルであるプレイリストファイルとクリップインフォメーションファイルを三次元動画像対応に変換すれば、動画像の圧縮処理や奥行き情報の演算処理を実行しなくても、短時間かつ簡素なプログラムで変換処理を実行することができる。特に本例では、多重化を解除した左眼用及び右眼用動画像ファイルを少なくとも符号化することなく、そのままＭＰＥＧ４－ＭＶＣのエレメンタリストリームに再多重化することにより、演算負荷を軽減する。以下、本発明の一実施の形態を適用した変換方法及び変換プログラムを説明する。

　図１は本例の変換方法及びデータ構成を示す図である。本例で用いられる二次元動画像は、所定の視差をもって撮像された左眼用動画像ファイルと右眼用動画像ファイルであり、たとえば三次元動画像を撮像するデジタルビデオカメラを用いて取得することができる。これら左眼用動画像ファイル及び右眼用動画像ファイルは、ブルーレイ規格のＭＰＥＧ４－ＡＶＣに準拠したｍ２ｔｓファイルとして多重化され、互いに時間的同期をとってＢＤ媒体等に記録されている。三次元動画像に変換する場合は、ＢＤ媒体からこれらの動画像ファイルを読み出して変換するほか、ＢＤ以外のＳＤカード等の媒体から読み出して変換したり、又はインターネット等の電気通信回線を介して変換装置にダウンロードして変換したりすることもできる。

　図１の例では、左眼用動画像ファイルと音声データとが多重化されたＬｅｆｔ．ｍ２ｔｓファイルと、右眼用動画像ファイルのみが多重化されたＲｉｇｈｔ．ｍ２ｔｓファイルとが互いに時間的同期をとって記録されているものとする。同図のＶＬ１，ＶＬ２，ＶＬ３，ＶＬ４が左眼用動画像データ、Ａ１，Ａ２，Ａ３，Ａ４が音声データ、ＶＲ１，ＶＲ２，ＶＲ３，ＶＲ４が右眼用動画像データを示す。また、左眼用動画像ファイル及び右眼用動画像ファイルのそれぞれにあるＰＳＩ（Program Specific Information）は、各ストリームに含まれるパケットＩＤ（ＰＩＤ）の一覧等を格納したテーブルデータである。

　本例の変換処理方法では、ＭＰＥＧ４－ＡＶＣ規格に準拠した左眼用動画像ファイル及び右眼用動画像ファイルのそれぞれの多重化を解除し、この多重化が解除された左眼用動画像ファイル及び右眼用動画像ファイルの動画像データ及び音声データを、ＭＰＥＧ４－ＭＶＣ規格に準拠した一つのエレメンタリストリームデータに再多重化する。

　図１の下図に再多重化された１本のエレメンタリストリームを示す。同図の例では、左眼用動画像ファイルの画像データと音声データをエレメンタリストリームデータのベースビューとして多重化が解除されたデータから抽出し、右眼用動画像ファイルの画像データをエレメンタリストリームデータのディペンデントビューとして多重化が解除されたデータから抽出し、これら抽出されたデータの再多重化を実行する。

　このとき、ディペンデントビューの画像データはベースビューの画像データとの差分とする抽出処理を行わず、そのまま右眼用動画像ファイルの画像データをＭＰＥＧ４－ＭＶＣのディペンデントビューとして多重化する。本例では、右眼用動画像ファイルの画像データを復号化→差分抽出→符号化といった処理を行わずに多重化するため、ストリーム容量は増加するものの演算負荷が軽減され、変換時間を短縮することができる。また、変換プログラムも簡素化することができる。

　なお、左眼用動画像ファイルと右眼用動画像ファイルのいずれをベースビューとするかは任意に設定できるので、右眼用動画像をベースビューとし左眼用動画像をディペンデントビューに割り付けてもよい。

　ＭＰＥＧ４－ＭＶＣ規格に準拠したエレメンタリストリームへの再多重化に際し、作成されたエレメンタリストリーム（ｍ２ｔｓファイル）のプログラムヘッダ情報ＰＳＩのプログラムマップテーブルに記録された、ディペンデントビューに相当するストリームのストリーム形式を、ＭＰＥＧ４－ＡＶＣ規格に準拠する０×１Ｂから、ＭＰＥＧ４－ＭＶＣ規格に準拠する０×２０に変更する。

　また、図３に示す、エレメンタリストリームデータの再生制御用ムービープレイリストファイルには、ベースビューのプレイリストファイル情報を登録する。さらに、同図のエレメンタリストリームデータの再生制御用ムービープレイリストファイルに、三次元ビデオストリームデータの再生制御用ムービープレイリスト拡張ファイルExtension Dataを追加し、当該拡張ファイルのSTN table SSファイルにディペンデントビューのプレイリストファイル情報を登録する。

　また、図３に示す、エレメンタリストリームデータの再生制御用クリップインフォメーションファイルに、ベースビューのクリップインフォメーションファイル情報を登録する。さらに、エレメンタリストリームデータの再生制御用クリップインフォメーションファイルに、三次元ビデオストリームデータの再生制御用クリップインフォメーション拡張ファイルExtension Dataを追加し、当該拡張ファイルのProgram Infoファイル及びCPI SSファイルのそれぞれにディペンデントビューのクリップインフォメーションファイル情報を登録する。

　以上の変換処理により、左眼用動画像データと右眼用動画像データと音声データとが多重化された１本のエレメンタリストリームデータと、三次元動画像の再生制御に対応した再生制御用ファイルとが得られ、これらをＢＤ－Ｒ又はＢＤ－ＲＥ媒体にブルーレイＢＤＡＶ形式で記録する。そして、これを再生装置にて復号化することにより三次元動画像を観賞することができる。

　なお、ナビゲーション機能を備えたブルーレイＨＤＭＶ形式又はＢＤ－Ｊ形式による、インターラクティブグラフィックやプレゼンテーショングラフィックを用いてメニュー等のユーザインターフェースを追加することもできる。さらに、ＢＤ－ＬＩＶＥなどの機能を付加することもできる。また、こうしたディスクイメージをＢＤ－ＲＯＭを作製する際のイメージ情報として用いることもできる。

　上述したとおり、本例の変換方法及び変換プログラムによれば、ＭＰＥＧ４－ＭＶＣフォーマットへの変換処理に際し、ディペンデントビューの差分抽出処理を実行せずにそのままのデータを多重化するので、短時間かつ簡素なプログラムで変換処理を実行することができ、簡易的な三次元動画像作成装置に適用することができる。

　［他の実施の形態］
　さて、ブルーレイ規格の三次元ビデオを再生する場合に、上述したエレメンタリストリームを使用する方式以外に、ＳＳＩＦ（Stereoscopic Interleaved File）を使用する方式がある。ＳＳＩＦは三次元映像用に、互いに独立したベースビューのストリームとディペンデントビューのストリームとを繋ぎ合わせたファイルである。

　ＳＳＩＦは、ベースビューをメインＴＳ、ディペンデントビューをサブＴＳとし、これら双方を１本のストリームとしたｓｓｉｆファイルを図３に示すストリームフォルダSTREAMのＳＳＩＦフォルダSSIFに配置することで、三次元動画像として再生することができる。なお、ＳＳＩＦフォルダSSIFはｓｓｉｆファイルが存在する場合のみ配置すればよく、ブルーレイ規格のProfile５の再生装置としては必須機能であるものの、ディスク構成としてはｓｓｉｆファイルが存在しない場合はなくてもよい。

　ＳＳＩＦのストリームは、ベースビューとディペンデントビューとがそれぞれ独立して多重化されたストリーム構成とされ、それぞれのストリームを任意サイズごとに交互に繋ぎ合わせて作成される。この様子を図５に示す。そして、ＳＳＩＦファイル内のベースビューストリームとディペンデントビューストリームとの振り分けは、図３に示すクリップインフォメーションファイルのExtent Start Pointファイルにて指定される。また、同図のプレイリストフォルダPLAYLISTのプレイリストファイルにおいてディペンデントビューストリームがサブパス（Sub Path Extension）で指定され、クリップインフォメーションファイルはベースビュー及びディペンデントビューもそれぞれ独立して作成される。

　ところで、ＳＳＩＦフォルダSSIF及びｓｓｉｆファイルによる三次元動画像の再生は、ディスクからのみ再生可能であり、ＢＤ－ＬＩＶＥのようなダウンロードによる再生はできない。このため本例では、図５に示すベースビューのｍ２ｔｓファイルとディペンデントビューのｍ２ｔｓファイルとに基づいてＢＤ－ＬＩＶＥによる再生を実行する場合は、ベースビューのｍ２ｔｓファイルの多重化と、ディペンデントビューのｍ２ｔｓファイルの多重化をそれぞれ解除し、解除されたベースビューの画像データ、ディペンデントビューの画像データ及び音声データを、１本のエレメンタリストリームに再多重化する。

　なお、これらベースビューのｍ２ｔｓファイルの多重化解除と、ディペンデントビューのｍ２ｔｓファイルの多重化解除、ならびに１本のエレメンタリストリームへの再多重化の手順は上述した実施形態と同様に行うことができる。また、再多重化に際し、対応するムービープレイリストファイル及びクリップインフォメーションファイルの書き換え処理も上述した実施形態と同様に行うことができる。

　そして、再多重化されたエレメンタリストリームをダウンロードすることでＢＤ－ＬＩＶＥによる三次元動画像の再生が可能となる。
《第２の発明》

　本実施形態の再生装置１は、ＢＤ－ＬＩＶＥ規格に対応した再生装置であって、インターネット５などの通信回線を介して配信サーバ４に接続し、映画やビデオカメラで撮影した動画などの所望のコンテンツをダウンロードしつつダウンロード中に再生を開始する、いわゆるプログレッシブダウンロード再生を行うものである。このプログレッシブダウンロード再生は、ブルーレイディスク媒体ＢＤのフォーマットにおいて記録及び実行可能なＪａｖａ（登録商標）プログラムなどのプログラムによって行われる。

　図６に示す再生装置１は、ＢＤフォーマットの情報が再生可能な装置であって、ＢＤドライブとしての入力部、情報処理用ＣＰＵ、表示装置２としての出力部を備える。同図に示す再生装置１は、当該装置の入力部にＪａｖａ（登録商標）プログラムを記録したＢＤをセットして情報処理用ＣＰＵにプログラムの内容が展開された状態の機能ブロックを示す。なお、Ｊａｖａ（登録商標）プログラムは予めＢＤに記録しておくほか配信サーバ４からダウンロードしてもよい。

　同図に示すように、再生装置１にＢＤに記録されたプログラムが読み込まれると、入出力部１１、復号部１２、管理ファイル記憶部１３、ストリームファイル記憶部１４、ファイル書換部１５、容量調整部１６および再生制御部１７といった各種機能が展開される。

　入出力部１１は、配信サーバ４に対して所定のコンテンツのダウンロード要求を出力するとともに、ダウンロードしたコンテンツを入力する。コンテンツのダウンロード要求は、たとえば配信サーバのダウンロード画面に「ダウンロード」と「プログレッシブダウンロード再生」の選択肢が用意され、「ダウンロード」をクリックすると通常のダウンロードが実行されて再生装置１の図示しないメモリに記録される。一方、「プログレッシブダウンロード再生」をクリックするとプログレッシブダウンロード再生が実行される。通常のダウンロードについては説明を省略し、以下においてはプログレッシブダウンロード再生について説明する。

　ここで、図７を参照して本実施形態にて取り扱われるコンテンツのデータ構造を説明すると、一つのコンテンツ（たとえば一つの映画）は、プレイリストファイルと、クリップインフォファイルと、ストリームファイルとからなる。

　プレイリストファイルは、ＡＶストリーム再生を行うための情報を保持するファイルであり、一つのコンテンツに対して一つのファイルで構成されている。そして、複数のプレイアイテム１，２，…ｎを有し、分割されたストリームファイル１，２，…ｎに対応するクリップインフォファイルのために対応するプレイアイテムを指定する。

　クリップインフォファイルは、プレイリストファイルのプレイアイテムのそれぞれに対応して複数のクリップインフォファイル１，２，…ｎが存在し、ストリームファイルのサイズ（データ量）や再生時間等の情報を保持するファイルである。ただし、本実施形態では、配信サーバ４に格納されるクリップインフォファイルはストリームファイルのファイル数ｎ未満のファイル数に設定され、これを使い回すことでプレイアイテム及びストリームファイルの数と同数にする。特に限定されないが、以下の説明ではクリップインフォファイルのファイル数を６とする。

　ストリームファイルは、たとえば動画圧縮規格Ｈ．２６４／ＭＰＥＧ－４　ＡＶＣ形式で保存された動画ファイルであるｍ２ｔｓなどの再生用ＡＶストリームファイルであり、上述したプレイアイテム毎に一つのファイルが存在し、プレイアイテムと同じ数だけ存在する。そして、これらプレイリストに対応した一つのクリップインフォファイル（６つのクリップインフォファイルを使い回す）と一つのストリームファイルが存在することにより再生が可能となる。

　図６に戻り、復号部１２は、配信サーバ４にて暗号化されたクリップインフォファイルを複合化するものである。すなわち、クリップインフォファイルのダウンロード時間を短縮するために、配信サーバ４側でクリップインフォファイルを一定のアルゴリズムを用いて暗号化（圧縮）し、復号部１２は、この圧縮されたクリップインフォファイルを所定のアルゴリズムを用いて復号化（解凍）する。ただし、本実施形態のようにクリップインフォファイルのファイル数が少数で、その送信時間が所定時間未満（換言すればクリップインフォファイルのデータ量が所定量未満）の場合は、配信サーバ４にてクリップインフォファイルの暗号化を実施せず、復号部１２による複合化処理も行わなくてもよい。

　管理ファイル記憶部１３は、バッファメモリであり、配信サーバ４からダウンロードしたプレイリストファイルとクリップインフォファイルを一時的に記憶し、コンテンツの再生処理が終了したら消去する。ただし、消去しないでそのまま保持することもでき、保持した場合は、同じコンテンツを再度視聴する場合に保持したプレイリストファイルとクリップインフォファイルを用いることができるのでダウンロード時間を短縮することができる。

　ストリームファイル記憶部１４も、バッファメモリであり、配信サーバ４からダウンロードしたストリームファイルを一時的に記憶し、コンテンツの再生処理が終了したら消去する。すなわち、本実施形態のストリームファイルは複数に分割され、各ストリームファイルが順次ダウンロードされるが、図７に示すようにダウンロードされたストリームファイルは、ストリームファイル記憶部１４（バッファメモリ）に順次保存され、再生が終了したら消去される。

　ファイル書換部１５は、６つのクリップインフォファイルをループ形式で使い回すために、再生を終了したストリームファイルに対応したクリップインフォファイルを、次に待機するストリームファイルに対応したクリップインフォファイルに書き換える処理を実行する。こうすることで、６つのクリップインフォファイルでｎ個のストリームファイルのそれぞれに対応することができ、プログレッシブダウンロード再生が可能となる。詳細は後述する。

　容量調整部１６は、ダウンロードされたストリームファイルのデータ量（サイズ）を、対応するクリップインフォファイルに規定されたデータ量に調整する処理を実行する。クリップインフォファイルは、対応するストリームファイルのデータ量を保持し、再生時にプレイリストファイルとともにこれらの情報を用いて再生処理を実行するが、クリップインフォファイルに規定されたデータ量とストリームファイルの実際のデータ量が異なると再生処理を実行することができない。

　特に本実施形態の場合は、プレイリストファイルとクリップインフォファイルはダウンロードの当初に管理ファイル記憶部１３にダウンロードされ、これに対し、詳細は後述するが、各ストリームファイルの再生時間は同一値に設定されているものの、ストリームＶＢＲであるため各ストリームファイルのデータ量（サイズ）は可変とされている。したがって、クリップインフォファイルに予め設定されたストリームファイルのデータ量と、実際にダウンロードされたストリームファイルのデータ量が異なる場合がある。

　すなわち図８に示すように、本例ではクリップインフォファイルに想定し得るデータ量の最大値（フルサイズ）を設定するが、例１や例２のようにこれより小さい容量のストリームファイルをダウンロードした場合は、クリップインフォファイルに設定されたデータ量と異なることになる。

　そして、データ量が異なるストリームファイルをダウンロードした場合は、このストリームファイルのデータ量を、クリップインフォファイルに設定された最大データ量に調整するために、パディングデータ(Padding data)を付加する。具体的には、図９に示すようにNull Packと称される空データを最大容量のストリームファイルとのデータ量の差だけそのストリームファイルに付加する。Null Packはデータ量を調整するためのデータであって、再生処理の際、再生制御部１７はNull Packを無視する。なお、ダウンロードされたストリームファイルのデータ量がフルサイズである場合はパディングデータを付加しない。

　再生制御部１７は、容量調整部１６で調整されたストリームファイルを、プレイリストファイル及びクリップインフォファイルに基づいて再生処理を実行し、表示装置２に出力する。これにより、表示装置２にダウンロードしたコンテンツがプログレッシブダウンロード再生されることになる。

　配信サーバ４は、ビデオカメラなどの撮像装置３からのライブ映像や再生装置１からの要求信号を入力するとともに、コンテンツ記憶部４３に格納されたコンテンツを出力する入出力部４１と、撮像装置３から入力したライブ映像をＢＤ－ＬＩＶＥ規格のデジタルデータを生成するコンテンツ生成部４２と、このコンテンツ生成部４２で生成したコンテンツを格納するコンテンツ記憶部４３とを備える。

　コンテンツ記憶部４３には、一つのコンテンツに対して一つのストリームファイルが格納されている。ストリームファイルは、図１０に示すように、他のピクチャと切り離して画像生成の復号化処理が可能なＩピクチャ(Intra Picture)と、過去、未来両方のフレームから予測したデータとの差分を符号化したＢピクチャと、過去のフレームから予測したデータとの差分をエンコードしたＰピクチャとで構成されているが、早送りまたは早戻しする際は画像生成が可能なＩピクチャのみを再生装置１へ送出し、これを受けた再生装置１は、容量調整部１５においてＩピクチャと次のＩピクチャとの間に、本来存在したＢピクチャとＰピクチャのデータ量に相当するデータ量のパディングデータを付加する。これにより、早送りまたは早戻し操作をクリップインフォファイルに基づいて実行することができる。

　コンテンツ生成部４２は、複数のクリップインフォファイルの送信時間が所定時間以上であるように、複数のクリップインフォファイルのデータ量が所定量以上の場合は、複数のクリップインフォファイルを一定のアルゴリズムを用いて暗号化（圧縮）する。ただし、本実施形態のようにクリップインフォファイルのファイル数が少数で、その送信時間が所定時間未満（換言すればクリップインフォファイルのデータ量が所定量未満）の場合は、コンテンツ生成部４２にてクリップインフォファイルの暗号化を行わなくてもよい。

　また、コンテンツ生成部４２は、再生装置１から早送りまたは早戻しの要求信号が入力されたら、生成したコンテンツのストリームファイルに含まれるＩピクチャのみを抽出し、これをコンテンツ記憶部４３に格納したのち入出力部４１を介して再生装置１へ送出する。

　ところで、発明が解決しようとする課題の項で述べたとおり、プログレッシブダウンロード再生においては、コンテンツのＡＶストリームファイルをダウンロードする前に、これに対応する一つのプレイリストファイルとＡＶストリームファイルと同数のクリップインフォファイルを全てダウンロードしておく必要がある。

　クリップインフォファイルのファイル数は、クリップインフォファイルの区切り間隔（時間）及びコンテンツの再生時間の長さに依存するが、クリップインフォファイルの区切り間隔は、早送りなどのトリックプレーやチャプタージャンプを行う際の状態遷移応答時間に影響する。つまり、クリップインフォファイルの区切り間隔を短くすると状態遷移応答性は向上するがダウンロード時間が長くなるので再生起動までの待ち時間が長くなる。

　この相反した課題を解決するために、本例のプレイリストファイル及びクリップインフォファイルは以下の構成とする。

　プレイリストファイルの全てのプレイアイテムのIN timeとOUT timeは同じ値に設定し、connection conditionは最初のプレイアイテムのみ１（Not seamless）、その他は５（Seamless and PTS Reset）に設定する。ただし、プレイアイテムのIN/OUT時間を同じ値に設定することには限定されず、異なる値に設定することもできる。また、１～６の６つのクリップインフォファイルを最大プレイアイテム数である９９９まで繰り返す。

　６つのクリップインフォファイルをループ式に使い回すために、クリップインフォファイルのEP MAP（ストリームサイズ）上のＧＯＰ再生時間（ＧＯＰ　ＰＴＳ，ＳＰＮ）は同じ値に設定する。このとき、ストリームサイズは想定される最大値に設定し、実際にダウンロードされたデータ量との差分はパディングデータを付加することで調整する。ただし、ＧＯＰ再生時間を同じ値に設定することには限定されず、異なる値に設定することもできる。

　本例の再生方法によるプログレッシブダウンロード再生の手順を、図１１を参照しながら説明する。

　たとえば配信サーバ４のコンテンツ記憶部４３に格納された映画などのコンテンツをプログレッシブダウンロード再生する場合は、再生装置１からプログレッシブダウンロード再生の要求を配信サーバ４に送出する。これを受けた配信サーバ４は、コンテンツ記憶部４３に格納されたコンテンツのうち、コンテンツに対応した一つのプレイリストファイルと６つのクリップインフォファイルを、インターネット５を介して再生装置１の入出力部１１に出力し、再生装置１は管理ファイル記憶部１３に格納する。プレイリストファイルとクリップインフォファイルをダウンロードしたら、次に複数のＡＶストリームファイルを順次ダウンロードする。

　図１１は、ダウンロードされた６つのクリップインフォファイル01001.clipi…01006.clipiと、順次ダウンロードされるＡＶストリームファイル01001.m2ts…01006.m2tsを示し、クリップインフォファイル01001.clipiを用いてＡＶストリームファイル01001.m2tsが再生され、クリップインフォファイル01002.clipiを用いてＡＶストリームファイル01002.m2tsが再生され、同様にクリップインフォファイル01006.clipiを用いてＡＶストリームファイル01006.m2tsが再生される。

　このとき、クリップインフォファイルのストリームサイズと実際にダウンロードしたＡＶストリームファイルのサイズとの差分を検出し、図９に示すように差分に相当するパディングデータをストリームファイルに付加処理する。

　最初のＡＶストリームファイル01001.m2tsの再生が終了すると、これに対応するクリップインフォファイル01001.clipiは不要となるので、これを、対応するクリップインフォファイルが存在しない７個目のＡＶストリームファイル01001.m2tsのクリップインフォファイル01001.clipiに書き換える。このループ処理はプレイリストファイルに記述しておく。同様に、２個目のＡＶストリームファイル01002.m2tsの再生が終了すると、これに対応するクリップインフォファイル01002.clipiは不要となるので、これを、対応するクリップインフォファイルが存在しない８個目のＡＶストリームファイル01002.m2tsのクリップインフォファイル01002.clipiに書き換える。このようにして最後のＡＶストリームファイルに対応するクリップインフォファイルを書換処理することで生成する。

　このように本例では不要となったクリップインフォファイルを使い回すことで少数のクリップインフォファイルを用いてＡＶストリームファイルを再生する。したがって、理論的には２つのクリップインフォファイルが存在すればこれを順次使い回して再生が可能になるが、ＡＶストリームファイルのダウンロード時間やクリップインフォファイルの書換処理時間を考慮すると４つ以上のクリップインフォファイルであることがより好ましい。逆に、再生処理前のクリップインフォファイルのダウンロード時間を短縮するためには、より少ないファイル数であることが望ましいが、この数量は再生待機時間との関係で適宜決定される。

　このように、本例の再生方法では、プログレッシブダウンロード再生を開始する前にダウンロードするクリップインフォファイルのファイル数をストリームファイルのファイル数に比べて極端に少数に設定しているので、そのぶんだけダウンロード時間やファイル解析の時間を短縮することができる。

　また、一つのクリップインフォファイルの区切り間隔を長くすることなくファイル数を少なくできるので、再生時の応答性の低下も抑制できる。

　なお、図６に示す撮像装置３により、たとえば運動会などのイベント会場で撮影したライブ映像や店舗等の監視カメラのライブ映像を、インターネット５を介して配信サーバ４へ送信し、配信サーバ４ではこのライブ映像に基づいてコンテンツを生成する一方で、撮像カメラの設置場所から離れた場所にある再生装置１を配信サーバ４に接続すれば、運動会や監視カメラのライブ映像を離れた場所でリアルタイムに観賞又は監視することができる。このとき、プレイリストファイルにて設定されるクリップインフォファイルの最大数は９９９であるが、９９９に達したら再度１に戻るように予めプレイリストファイルに記述しておくことで、無限時間の映像を再生することができる。

　なお、以上説明した実施形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記の実施形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。

Claims

　二次元ビデオストリームデータを三次元ビデオストリームデータに変換する方法であって、
　時間的同期をとって記録されたＭＰＥＧ４－ＡＶＣ規格に準拠した左眼用動画像ファイル及び右眼用動画像ファイルのそれぞれの多重化を解除する第１の処理ステップと、
　前記多重化が解除された左眼用動画像ファイル及び右眼用動画像ファイルのデータを、少なくとも符号化することなく、ＭＰＥＧ４－ＭＶＣ規格に準拠した一つのエレメンタリストリームデータに多重化する第２の処理ステップと、を有し、
　前記第２の処理ステップは、
　　前記第１の処理ステップによって多重化が解除された左眼用動画像ファイル及び右眼用動画像ファイルのうちの一方の画像データ及び音声データを前記エレメンタリストリームデータのベースビューとし、
　　他方の画像データを前記エレメンタリストリームデータのディペンデントビューとし、
　　前記ディペンデントビューの画像データは前記ベースビューの画像データとの差分を抽出する処理を行わず、そのままの画像データをディペンデントビューとして多重化を実行する変換方法。
請求項１に記載の変換方法において、
　前記第２の処理ステップは、
　　前記多重化されたエレメンタリストリームデータのプログラムヘッダ情報のストリーム形式をＭＰＥＧ４－ＡＶＣ規格に準拠する形式からＭＰＥＧ４－ＭＶＣ規格に準拠する形式に変更する処理と、
　　前記エレメンタリストリームデータの再生制御用ムービープレイリストファイルに前記ベースビューのプレイリストファイル情報を登録する処理と、
　　前記エレメンタリストリームデータの再生制御用ムービープレイリストファイルに、三次元ビデオストリームデータの再生制御用ムービープレイリスト拡張ファイルを追加し、当該拡張ファイルに前記ディペンデントビューのプレイリストファイル情報を登録する処理と、
　　前記エレメンタリストリームデータの再生制御用クリップインフォメーションファイルに前記ベースビューのクリップインフォメーションファイル情報を登録する処理と、
　　前記エレメンタリストリームデータの再生制御用クリップインフォメーションファイルに、三次元ビデオストリームデータの再生制御用クリップインフォメーション拡張ファイルを追加し、当該拡張ファイルに前記ディペンデントビューのクリップインフォメーションファイル情報を登録する処理と、を含む変換方法。
請求項１又は２に記載の変換方法において、
　前記第１の処理ステップは、電気通信回線を介して前記左眼用動画ファイル及び右眼用動画ファイルをダウンロードする処理を含む変換方法。
　二次元ビデオストリームデータを三次元ビデオストリームデータに変換するステップをコンピュータに実行させるための変換処理プログラムであって、
　時間的同期をとって記録されたＭＰＥＧ４－ＡＶＣ規格に準拠した左眼用動画ファイル及び右眼用動画ファイルのそれぞれの多重化を解除する第１のステップと、
　前記多重化が解除された左眼用動画ファイル及び右眼用動画ファイルのデータを、少なくとも符号化することなく、ＭＰＥＧ４－ＭＶＣ規格に準拠した一つのエレメンタリストリームデータに多重化する第２のステップと、を有し、
　前記第２のステップは、
　　前記第１の処理によって解除された左眼用動画ファイル及び右眼用動画ファイルのうちの一方の映像データ及び音声データを前記エレメンタリストリームデータのベースビューとし、
　　他方の映像データ及び音声データを前記エレメンタリストリームデータのディペンデントビューとし、
　　前記ディペンデントビューの画像データは前記ベースビューの画像データとの差分を抽出する処理を行わず、そのままの画像データをディペンデントビューとして多重化を実行するステップを含む変換処理プログラム。
請求項４に記載の変換処理プログラムにおいて、
　前記第２のステップは、
　　前記多重化されたエレメンタリストリームデータのプログラムヘッダ情報のストリームタイプをＭＰＥＧ４－ＡＶＣ規格に準拠するタイプからＭＰＥＧ４－ＭＶＣ規格に準拠するタイプに変更するステップと、
　　前記エレメンタリストリームデータの再生制御用ムービープレイリストファイルに前記ベースビューのプレイリストファイル情報を登録するステップと、
　　前記エレメンタリストリームデータの再生制御用ムービープレイリストファイルに、三次元ビデオストリームデータの再生制御用ムービープレイリスト拡張ファイルを追加し、当該拡張ファイルに前記ディペンデントビューのプレイリストファイル情報を登録するステップと、
　　前記エレメンタリストリームデータの再生制御用クリップインフォメーションファイルに前記ベースビューのクリップインフォメーションファイル情報を登録するステップと、
　　前記エレメンタリストリームデータの再生制御用クリップインフォメーションファイルに、三次元ビデオストリームデータの再生制御用クリップインフォメーション拡張ファイルを追加し、当該拡張ファイルに前記ディペンデントビューのクリップインフォメーションファイル情報を登録するステップと、を含む変換処理プログラム。
請求項４又は５に記載の変換処理プログラムにおいて、
　前記第１のステップは、電気通信回線を介して前記左眼用動画ファイル及び右眼用動画ファイルをダウンロードするステップを含む変換処理プログラム。
　ＳＳＩＦ方式による三次元動画像の再生処理に用いられるベースビューストリームファイル及びディペンデントビューストリームファイルのそれぞれの多重化を解除する第１の処理ステップと、
　前記多重化が解除されたベースビューストリームファイル及びディペンデントビューストリームファイルのデータを、少なくとも符号化することなく、ＭＰＥＧ４－ＭＶＣ規格に準拠した一つのエレメンタリストリームデータに多重化する第２の処理ステップと、を備え、
　前記第２の処理ステップは、前記ディペンデントビューストリームファイルの画像データは前記ベースビューストリームファイルの画像データとの差分を抽出する処理を行わず、そのままの画像データを前記エレメンタリストリームデータのディペンデントビューとして多重化する三次元動画像への変換方法。
　ＳＳＩＦ方式による三次元動画像の再生処理に用いられるベースビューストリームファイル及びディペンデントビューストリームファイルのそれぞれの多重化を解除する第１の処理ステップと、
　前記多重化が解除されたベースビューストリームファイル及びディペンデントビューストリームファイルのデータを、少なくとも符号化することなく、ＭＰＥＧ４－ＭＶＣ規格に準拠した一つのエレメンタリストリームデータに多重化する第２の処理ステップと、
　前記第２の処理ステップにて得られたエレメンタリストリームデータの再生処理を実行する第３の処理ステップと、を備え、
　前記第２の処理ステップは、前記ディペンデントビューストリームファイルの画像データは前記ベースビューストリームファイルの画像データとの差分を抽出する処理を行わず、そのままの画像データを前記エレメンタリストリームデータのディペンデントビューとして多重化する三次元動画像の再生方法。
請求項８に記載の再生方法において、
　前記第３の処理ステップは、前記第２の処理ステップにて得られたエレメンタリストリームデータを、電気通信回線を介して送信し、ＢＤ－ＬＩＶＥによる再生処理を実行する三次元動画像の再生方法。
請求項８に記載の再生方法において、
　前記第３の処理ステップは、前記第２の処理ステップにて得られたエレメンタリストリームデータを媒体に記録し、前記媒体から再生処理を実行する三次元動画像の再生方法。
　複数のストリームファイルと、
　各ストリームファイルに対応し、当該各ストリームファイルのサイズ情報と再生時間情報がそれぞれ書き込まれ、そのファイル数が当該ファイルの区切り間隔とコンテンツの再生時間の長さとに依存するクリップインフォファイルと、
　一つのプレイリストファイルと、を含むコンテンツを、配信サーバから通信回線を介してダウンロードし、前記ストリームファイルのダウンロード中にコンテンツの再生を開始するプログレッシブダウンロード再生方法において、
　前記配信サーバに格納され、ファイル数が２以上で前記ストリームファイルのファイル数未満に設定されたクリップインフォファイルの全てと、前記プレイリストファイルとを前記プログレッシブダウンロード再生の開始前にダウンロードし、
　ダウンロードされたプレイリストファイル及び各クリップインフォファイルを用いて、前記プログレッシブダウンロード再生を開始し、
　前記プログレッシブダウンロード再生を終了したストリームファイルに対応するクリップインフォファイルを、対応するクリップインフォファイルが存在しないストリームファイルのサイズと再生時間に対応するように、当該クリップインフォファイルのサイズ情報と再生時間情報を順次書き換え、
　当該書き換えられたクリップインフォファイルと前記プレイリストファイルとを用いて前記プログレッシブダウンロード再生を継続することを特徴とするプログレッシブダウンロード再生方法。
　請求項１１に記載のプログレッシブダウンロード再生方法において、
　前記各クリップインフォファイルに書き込まれるストリームファイルの再生時間情報及びサイズ情報は、同一の数値に設定され、
　前記各ストリームファイルのＧＯＰ再生時間は、同一の数値に設定されていることを特徴とするプログレッシブダウンロード再生方法。
　請求項１２に記載のプログレッシブダウンロード再生方法において、
　前記各クリップインフォファイルに書き込まれるストリームファイルのサイズ情報は前記ストリームファイルにおいて想定される最大値に設定され、
　前記クリップインフォファイルに対応するストリームファイルのサイズが当該クリップインフォファイルのサイズ情報より小さい場合には、当該ストリームファイルにパディングデータを付加して前記ストリームファイルのサイズを前記クリップインフォファイルのサイズ情報に一致させることを特徴とするプログレッシブダウンロード再生方法。
　請求項１１に記載のプログレッシブダウンロード再生方法において、
　前記プレイリストファイルのプレイアイテム数が設定された数値に達した場合に、当該プレイアイテムを１に戻すことを特徴とするプログレッシブダウンロード再生方法。
　複数のストリームファイルと、
　各ストリームファイルに対応し、当該各ストリームファイルのサイズ情報と再生時間情報がそれぞれ書き込まれ、そのファイル数が当該ファイルの区切り間隔とコンテンツの再生時間の長さとに依存するクリップインフォファイルと、
　一つのプレイリストファイルと、を含むコンテンツを、配信サーバから通信回線を介してダウンロードし、前記ストリームファイルのダウンロード中に前記コンテンツのプログレッシブダウンロード再生を開始する再生装置に、
　前記配信サーバに格納され、ファイル数が２以上で前記ストリームファイルのファイル数未満に設定されたクリップインフォファイルの全てと、前記プレイリストファイルとを前記プログレッシブダウンロード再生の開始前にダウンロードするステップと、
　ダウンロードされたプレイリストファイル及び各クリップインフォファイルを用いて、前記プログレッシブダウンロード再生を開始するステップと、
　前記プログレッシブダウンロード再生を終了したストリームファイルに対応するクリップインフォファイルを、対応するクリップインフォファイルが存在しないストリームファイルのサイズと再生時間に対応するように、当該クリップインフォファイルのサイズ情報と再生時間情報を順次書き換えるステップと、
　当該書き換えられたクリップインフォファイルと前記プレイリストファイルとを用いて前記プログレッシブダウンロード再生を継続するステップと、
を実行させるためのプログレッシブダウンロード再生用プログラム。
　請求項１５に記載のプログレッシブダウンロード再生用プログラムにおいて、
　前記各クリップインフォファイルに書き込まれるストリームファイルの再生時間情報及びサイズ情報は、同一の数値に設定され、
　前記各ストリームファイルのＧＯＰ再生時間は、同一の数値に設定されていることを特徴とするプログレッシブダウンロード再生用プログラム。
　請求項１６に記載のプログレッシブダウンロード再生用プログラムにおいて、
　前記各クリップインフォファイルに書き込まれるストリームファイルのサイズ情報は前記ストリームファイルにおいて想定される最大値に設定され、
　前記クリップインフォファイルに対応するストリームファイルのサイズが当該クリップインフォファイルのサイズ情報より小さい場合には、当該ストリームファイルにパディングデータを付加して前記ストリームファイルのサイズを前記クリップインフォファイルのサイズ情報に一致させるステップを含むことを特徴とするプログレッシブダウンロード再生用プログラム。
　請求項１５に記載のプログレッシブダウンロード再生用プログラムにおいて、
　前記プレイリストファイルのプレイアイテム数が設定された数値に達した場合に、当該プレイアイテムを１に戻すステップを含むことを特徴とするプログレッシブダウンロード再生用プログラム。