JP2008167061A

JP2008167061A - 符号化装置及び符号化方法

Info

Publication number: JP2008167061A
Application number: JP2006353184A
Authority: JP
Inventors: Emi Maruyama; 恵美丸山; Minoru Outa; 実巨田
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2006-12-27
Filing date: 2006-12-27
Publication date: 2008-07-17
Also published as: US20080159636A1

Abstract

【課題】再生時に不具合を起こさない、複数の再生経路を有する映像コンテンツを作成すること。
【解決手段】エンコーダ５０２のＧＯＶＵ構成決定部５０４は、映像データ中の複数の選択可能なコンテンツの各々に含まれる複数のグループ・オブ・ビデオ・アクセス・ユニットのうち、最後から２番目のグループ・オブ・ビデオ・アクセス・ユニットに含まれるピクチャの数を調整することで、最後のグループ・オブ・ビデオ・アクセス・ユニットが所定の数のピクチャを含むように、映像データのＧＯＶＵ構成を決定する。符号化部５０６は、ＧＯＶＵ構成決定部５０４によって決定されたＧＯＶＵ構成に基づいて、映像データを符号化する。
【選択図】図５

Description

本発明は一般に、符号化装置及び符号化方法に関し、特に、映像コンテンツの符号化装置及び符号化方法に関する。

ＤＶＤ等の光ディスクに１本の映画を記録する場合、その映画の複数のバージョンが光ディスクに記録される場合がある。例えば、ある映画の本編（メインストーリー）に加えて、複数のサイドストーリーが光ディスクに記録され得る。このような機能は、マルチストーリー機能と呼ばれている。サイドストーリーの例としては、暴力シーン等の子供に不適当なシーンを含まないサイドストーリー、劇場版には採用されなかったシーンを含むサイドストーリー、国別に用意されるサイドストーリーなどがある。また、例えば、ある映画の劇場公開版、完全版、及びディレクターズカットを含む非公開版の３つのバージョンが、必要シーンをマルチストーリーとすることで、光ディスクに記録されることもあり得る。

このように映画の複数のバージョンが記録された光ディスクを再生する際、ユーザは、複数のバージョンのうちの１つを、例えばメニューからリモコンを操作して選択することができる。いずれのバージョンが選択された場合でも、異なるデータを結合し、映像及び音声をシームレスに再生する必要がある。

従来、異なるデータを結合する種々の技術が提案されている。例えば、入力されたトランスポートストリーム内の各符号化映像データストリームをそれぞれ元のエレメンタリーストリームに分解して記憶手段に記憶し、その複数のエレメンタリーストリームのうち連結対象のストリームの発生符号量を解析し、その解析結果に基づいて連結対象のストリームを連結すると共に連結点に所望量のデータを挿入することにより結合映像データストリームを生成する技術がある（例えば、特許文献１参照）。
特開平１１−２６１９５８号公報

ところで、ＤＶＤ規格は映像圧縮規格の一つとしてＭＰＥＧ２を採用している。ＭＰＥＧ２では、映像ビットストリームが複数のＧＯＰ（ＧｒｏｕｐｏｆＰｉｃｔｕｒｅｓ）で構成される。このＧＯＰは、複数のピクチャ（アクセス・ユニット）で構成される。構成されるピクチャは、Ｉピクチャと呼ばれる画面内予測でエンコードされるピクチャ、Ｐピクチャと呼ばれる順方向画面間予測（過去のＩまたはＰピクチャ1枚からの予測）でエンコードされるピクチャ、Ｂピクチャと呼ばれる双方向画面間予測（過去のＩまたはＰピクチャ1枚と未来のＩまたはＰピクチャ1枚からの予測）でエンコードされるピクチャの３種類である。多くの場合、ＧＯＰのピクチャ数は特異点以外では変動せず、エンコーダ仕様で決められた数が継続する。代表的な特異点は、ＤＶＤのチャプタ点である。チャプタとは、再生する全編を複数に区切った単位をいい、チャプタ点とはその開始点を示す。チャプタ点に望まれることは、ランダムアクセス性である。チャプタ点をＩピクチャとすることにより、前後のピクチャのデコードをすることなくＩピクチャから再生を開始することができる。ＭＰＥＧ２では、映像コンテンツがマルチストーリーを有する場合、各メインストーリー及びサイドストーリーの最後のＧＯＰのピクチャの数を同一とする必要がない。従って、エンコードするピクチャ数が１ＧＯＰとして決められたピクチャ数の倍数でない場合の残余のピクチャには、何の特別な考慮もなく、各サイドストーリーの最後のＧＯＰに割り当てられる場合が多い。

一方、ＨＤＤＶＤ規格及びＢｌｕ−Ｒａｙ規格は、映像符号化方式としてＭＰＥＧ４ＡＶＣ／Ｈ．２６４（以下、「ＭＰＥＧ４ＡＶＣ」と略記する）を採用している。ＨＤＤＶＤ規格では、ＭＰＥＧ４ＡＶＣによる映像ビットストリームがグループ・オブ・ビデオ・アクセス・ユニット（ＧｒｏｕｐｏｆＶｉｄｅｏＡｃｃｅｓｓＵｎｉｔ）（以下、「ＧＯＶＵ」と称する）と呼ばれるＨＤＤＶＤ規格で定義された単位で、構成されるように規定されている。１ＧＯＶＵは１バイト以上のＮＡＬ（ＮｅｔｗｏｒｋＡｂｓｔｒａｃｔｉｏｎＬａｙｅｒ）ユニットと呼ばれる一種のパケットで構成される。ＧＯＶＵの先頭ピクチャは、ピクチャデータの前にヘッダとしてＡｃｃｅｓｓＵｎｉｔＤｅｌｉｍｉｔｅｒ、ＳＰＳ（ＳｅｑｕｅｎｃｅＰａｒａｍｅｔｅｒＳｅｔ）、ＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ）（１）、ＰＰＳ（ＰｉｃｔｕｒｅＰａｒａｍｅｔｅｒＳｅｔ）、ＳＥＩ（２）の順にデータが存在する。２番目以降の各ピクチャは、ＡｃｃｅｓｓＵｎｉｔＤｅｌｉｍｉｔｅｒ、ＰＰＳ、ＳＥＩ（３）、ピクチャデータの順にデータが存在する。先頭ピクチャのＳＥＩ（２）には、バッファリング期間ＳＥＩ（ＢｕｆｆｅｒｉｎｇＰｅｒｉｏｄＳＥＩ）などがあり、ＳＥＩ（２）にはピクチャタイミングＳＥＩ（ＰｉｃｔｕｒｅＴｉｍｉｎｇＳＥＩ）などがある。２番目以降のピクチャのＳＥＩ（３）にはピクチャタイミングＳＥＩはあるが、バッファリング期間ＳＥＩはない。バッファリング期間ＳＥＩ、ピクチャタイミングＳＥＩ共に、バッファ管理のための付加情報を伝送するために存在する。ＭＰＥＧ４ＡＶＣでは、画面内予測でエンコードされるＩピクチャ、順方向画面間予測でエンコードされるＰピクチャ、ＭＰＥＧ２とは違い過去、未来を問わずに２枚のピクチャからの予測でエンコードされるＢピクチャがあるのに加えて、ＩＤＲピクチャがある。ＩＤＲピクチャはＭＰＥＧ２におけるＩピクチャの役割を果たす。実は、ＭＰＥＧ４ＡＶＣではＩピクチャより過去のピクチャから予測してもよく、これではＩピクチャからデコード開始しても正しく再生できない可能性がある。ＩＤＲピクチャがある場合、ＩＤＲより過去のピクチャを予測として使用できない。実際、チャプタ点などランダムアクセスすべきピクチャでは、ＩＤＲピクチャとなっている。他ピクチャをエンコードする際に、予測として使用されるピクチャを参照ピクチャと呼び、予測として使用されないピクチャを非参照ピクチャと呼ぶ。ＭＰＥＧ４ＡＶＣでは１ＧＯＶＵに含まれるピクチャの数は、当該ＧＯＶＵの全表示時間が０．６００６秒以下になるように規定されているので、当然、映画など映像コンテンツは複数ＧＯＶＵで構成される。このＧＯＶＵは、ＧＯＰと同様、複数のピクチャ（アクセス・ユニット）で構成されるように規定されている。ＭＰＥＧ４ＡＶＣにおいては、先行するＧＯＶＵのピクチャの数の情報を、次のＧＯＶＵの先頭のピクチャのバッファ管理情報エリア（cpb_removal_delay）に書き込むことができ、ＨＤＤＶＤ規格においてはこれを必須としている。従って、ＨＤＤＶＤ規格の映像コンテンツがマルチストーリーを有し、これらの各メインストーリー及びサイドストーリーが、例えば１つのメインストーリーに合流する場合、各メインストーリー及びサイドストーリーの最後のＧＯＶＵのピクチャの数を同一にしないと、Ｈ．２６４規格違反となる上、シームレスな再生が困難になる等、再生時に不具合を起こす可能性がある。特許文献１に記載された技術では、記憶手段内のデータ量を調整しているが、上述した問題に対応することはできない。

そこで、本発明は、再生時に不具合を起こさない、複数の再生経路を有する映像コンテンツを作成できる符号化装置及び符号化方法を提供することを目的とする。

上記課題を解決するために、本発明の一つの面によれば、ＭＰＥＧ４ＡＶＣに準拠した、映像データの符号化を行う符号化装置であって、前記映像データ中の、複数の選択可能なコンテンツの各々に含まれる複数のグループ・オブ・ビデオ・アクセス・ユニットのうち、最後から２番目のグループ・オブ・ビデオ・アクセス・ユニットに含まれるピクチャの数を調整することで、最後のグループ・オブ・ビデオ・アクセス・ユニットが所定の数のピクチャを含むように、前記映像データのグループ・オブ・ビデオ・アクセス・ユニット構成を決定するＧＯＶＵ構成決定部と、前記ＧＯＶＵ構成決定部によって決定されたグループ・オブ・ビデオ・アクセス・ユニット構成に基づいて、前記映像データを符号化する符号化部とを具備することを特徴とする符号化装置が提供される。

また、本発明の別の面によれば、ＭＰＥＧ４ＡＶＣに準拠した、映像データの符号化を行う符号化方法であって、前記映像データ中の、複数の選択可能なコンテンツの各々に含まれる複数のグループ・オブ・ビデオ・アクセス・ユニットのうち、最後から２番目のグループ・オブ・ビデオ・アクセス・ユニットに含まれるピクチャの数を調整することで、最後のグループ・オブ・ビデオ・アクセス・ユニットが所定の数のピクチャを含むように、前記映像データのグループ・オブ・ビデオ・アクセス・ユニット構成を決定するステップと、前記グループ・オブ・ビデオ・アクセス・ユニット構成に基づいて、前記映像データを符号化するステップとを具備することを特徴とする符号化方法が提供される。

本発明によれば、再生時に不具合を起こさない、複数の再生経路を有する映像コンテンツを作成できる符号化装置及び符号化方法を提供することができる。

以下、本発明の実施形態について図面を参照しながら説明する。

まず、図１を参照しつつ、ＭＰＥＧ４ＡＶＣにおける仮想デコーダモデルについて説明する。

ＭＰＥＧ４ＡＶＣでは、仮想デコーダモデルを規定している。仮想デコーダモデルとは、デコーダの動作（バッファの状態）を仮想的にモデル化したものである。エンコーダは、仮想デコーダモデルを破綻させないようにビットストリームを生成する必要がある。また、デコーダ（例えば、ＨＤＤＶＤプレイヤのデコード回路）は、仮想デコーダモデルに準拠する必要がある。

仮想デコーダモデルは、２つのバッファ、即ち、符号化ピクチャバッファ（ＣｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ：ＣＰＢ）及び復号ピクチャバッファ（ＤｅｃｏｄｅｄＰｉｃｔｕｒｅＢｕｆｆｅｒ：ＤＰＢ）を含む。符号化ピクチャバッファは、デコーダに入力される前のビットストリームを格納する。復号ピクチャバッファは、デコーダがデコードしたピクチャを格納する。

図１は、ＭＰＥＧ４ＡＶＣ標準が規定する仮想デコーダモデルの処理を説明するためのフローチャートである。まず、ビットストリームは、仮想ストリームスケジューラ（ＨｙｐｏｔｈｅｔｉｃａｌＳｔｒｅａｍＳｃｈｅｄｕｌｅｒ：ＨＳＳ）によって、規定の到着時刻に符号化ピクチャバッファに入力される（ステップＳ１０２）。入力されたビットストリームは、一定の時間（cpb_removal_delay）後に符号化ピクチャバッファから瞬時に引き抜かれる（ステップＳ１０４）。引き抜かれたビットストリームは、仮想デコーダによって瞬時にデコードされる（ステップＳ１０６）。デコードされたデータ（ピクチャ）は参照ピクチャか否かが判定される（ステップＳ１０８）。

デコードされたピクチャが参照ピクチャである場合（ステップＳ１０８でＹＥＳ）、デコードされたピクチャは復号ピクチャバッファに入力される（ステップＳ１１０）。入力されたピクチャは、一定時間の経過（dpb_output_delay）後、復号ピクチャバッファから引き抜かれ、クロッピング処理後に出力される（ステップＳ１１２）。また、復号ピクチャバッファに格納されている参照ピクチャは、後から入力されるピクチャをデコードするために利用される（ステップＳ１１０からステップＳ１０６へ）。一方、デコードされたピクチャが非参照ピクチャの場合（ステップＳ１０８でＮＯ）、当該ピクチャはデコード後に瞬時に利用される。即ち、ピクチャはクロッピング処理後に出力される（ステップＳ１１２）。

なお、クロッピング処理とは、出力する画像の形態に合わせて、上下左右の画素を取り除く処理をいう。また、cpb_removal_delay及びdpb_output_delayは、ピクチャタイミングＳＥＩ（ＳｕｐｐｌｅｍｅｎｔａｌＥｎｈａｎｃｅｍｅｎｔＩｎｆｏｒｍａｔｉｏｎ)に記述されている。

次に、図２及び図３を参照しつつ、上記cpb_removal_delayについて、具体例を伴い説明する。

図２は、入力映像データがビデオ（インタレース）の場合におけるcpb_removal_delayを説明するための概略図である。図２中、最上段の数字（０、２、４、…）は、ＧＯＶＵの先頭ピクチャ（図２に示す例では、Ｉ_３又はＩ_１８）が符号化ピクチャバッファに入力されたタイミングを基準（０）として、そこから経過した時間を表し、その単位はＣｌｏｃｋＴｉｃｋ（ＣＴ）である。このＣＴはＶＵＩ（ＶｉｄｅｏＵｓａｂｉｌｉｔｙＩｎｆｏｒｍａｔｉｏｎ、ビデオ表示情報）パラメータ中に記載されているnum_units_in_tick及びtime_scaleを用いて、num_units_in_tick／time_caleを計算することで求められる。例えば、出力時のフレームレートがＮＴＳＣインタレースの標準である２９．９７Ｈｚ（フィールド周波数が５９．９４Ｈｚ）である場合、ＣＴ＝１００１／６００００＝１６．６８ｍｓとなる。

上から２段目のアルファベットと数字の組合せ（Ｉ_３、Ｂ_１、Ｂ_２、…）は、符号化順でのピクチャの並びの一例で、Ｉ_ＸはＩピクチャ、P_ＸはＰピクチャ、B_ＸはＢピクチャを示す。なお、Ｉ_３からＢ_１４までが１ＧＯＶＵに相当する。

上から３段目の数字（３０、２、４、…）は、cpb_removal_delayを表す。ＭＰＥＧ４ＡＶＣにおいて、cpb_removal_delayとは、バッファリング期間ＳＥＩ（ＢｕｆｆｅｒｉｎｇＰｅｒｉｏｄＳＥＩ）で指定されるピクチャが符号化ピクチャバッファから引き抜かれる時刻を基準に、現在のピクチャが符号化ピクチャバッファから引き抜かれるまでの時間差をいう。ＨＤＤＶＤ規格において、ＧＯＶＵの先頭ピクチャ（図２の例では、Ｉ_３又はＩ_１８）は、バッファリング期間ＳＥＩを必ず含んでいる。

上から４段目の数字（６、０、０、…）は、各ピクチャのdpb_output_delayを表す。dpb_output_delayとは、図１を参照しつつ説明したように、ピクチャが復号ピクチャバッファに入力されてから引き抜かれるまでの時間であり、単位はＣＴである。

最下段の数字（３、３、３、…）は、pic_structを表す。pic_structは、ピクチャタイミングＳＥＩ（Picture Timing SEI）に記述されており、デコード後に表示されるフィールド構成を示す。例えば、「３」はフィールド順がトップ−ボトムであることを表す。入力データと表示出力データ（例えば、モニタ、テレビ等）共にインタレース方式であるので、フィールド数の増減はない。

図３は、入力データが映画の場合におけるcpb_removal_delayを説明するための概略図である。また、図３においても、図２と同様に、最上段は、ＧＯＶＵの先頭ピクチャ（図３に示す例では、Ｉ_３又はＩ_１５）が符号化ピクチャバッファに入力されたタイミングを基準（０）として、そこから経過した時間を表す。また、上から２段目のアルファベットと数字の組合せ（Ｉ_３、Ｂ_１、Ｂ_２、…）は、符号化順でのピクチャの並びを表し、上から３段目の数字（３０、３、５、…）は、cpb_removal_delayを表す。更に、上から４段目の数字（８、０、０、…）は、各ピクチャのdpb_output_delayを表し、最下段の数字（４、３、５、…）は、pic_structを表す。なお、「４」、「５」及び「６」は、それぞれフィールド順が「ボトム−トップ」、「トップ−ボトム−トップ」、及び「ボトム−トップ−ボトム」であることを表す。

図３中の最下段を見れば分かるように、映画の場合、ビデオとは異なり、「トップ−ボトム−トップ」及び「ボトム−トップ−ボトム」といったフィールド組合せが存在する。ビデオは、３０フレーム／秒で記録されるのに対して、映画は２４フレーム／秒で記録される。従って、映画のフレーム周期は、ビデオのフレーム周期の４／５となる。このため、映画のデータを符号化する場合、符号化するピクチャの枚数をビデオの枚数と同じにする処理（２４フレーム／秒から３０フレーム／秒にする）が必要になる。これを３：２プルダウン処理と呼ぶ。

図２及び図３を参照すると、各ＧＯＶＵの先頭ピクチャ（図２ではＩ_１８、図３ではＩ_１５）のバッファリング期間ＳＥＩにおいて指定されるcpb_removal_delayは、「３０」である。つまり、先行するＧＯＶＵの先頭ピクチャ（バッファリング期間ＳＥＩで指定されるピクチャ、図２及び図３においてＩ_３）が符号化ピクチャバッファに入力されてから、続くＧＯＶＵの先頭ピクチャが符号化ピクチャバッファに入力されるまで、表示時間で３０ＣＴの遅延があることになる。入力データがインタレース方式のビデオである場合、ＧＯＶＵ内のピクチャの数（例えば、１５）×２×ＣＴという計算式が成り立つ。一方、入力データが映画である場合、３：２プルダウン処理が発生するために、ＧＯＶＵ内のピクチャの数（例えば、１２）×２×５／４×ＣＴという計算式が成り立つ。入力データがビデオと映画のいずれであっても、バッファリング期間ＳＥＩで指定されるピクチャのcpb_removal_delayには、先行するＧＯＶＵのピクチャの数の情報が必要となる。

次に、図４を参照しつつ、具体的な映像コンテンツの例に対するデコード処理について説明する。

図４は、複数の再生経路（複数の選択可能なコンテンツ）を有する映像コンテンツ（映像データ、ビデオソース）の構成を説明するための概略図である。なお、本明細書において、複数の選択可能なコンテンツとは、同一のコンテンツに結合される複数の選択可能なコンテンツをいう。図４においては、本編Ｙ、サイドストーリーＡ、サイドストーリーＢ、及びサイドストーリーＣが、複数の選択可能なコンテンツに相当し、これらのコンテンツは同一のコンテンツ、即ち、本編Ｚに結合される。

図４に示される映像コンテンツは、本編（メインストーリー）Ｘを再生した後、本編Ｙ、サイドストーリーＡ、サイドストーリーＢ、及びサイドストーリーＣのうちのいずれか１つのコンテンツを選択して再生することができる。選択されたコンテンツを再生した後は、図４中のポイントＰから本編Ｚの再生に進む。なお、いずれのコンテンツが選択された場合も、そのコンテンツの再生後に本編Ｚの再生に進む。例えば、ユーザは、「劇場公開版」を選択する代わりに、「完全版」を選択することで、再生機では「劇場公開版」の本編Ｘ→本編Ｙ→本編Ｚという再生順序を、「完全版」の本編Ｘ→サイドストーリーＢ→本編Ｚという再生順序に変更することができる。また、図４に示されるように、本編Ｙ、サイドストーリーＡ、サイドストーリーＢ、及びサイドストーリーＣの各々の長さ（ピクチャの数）は、異なり得る。

上述したように、ＭＰＥＧ４ＡＶＣにおいては、先行するＧＯＶＵのピクチャの数の情報を、続くＧＯＶＵの先頭のピクチャのcpb_removal_delayに書き込む必要がある。従って、図４に示される映像コンテンツの場合、本編Ｚの先頭のＧＯＶＵから見て先行するＧＯＶＵ、即ち、本編Ｙの最後のＧＯＶＵ、サイドストーリーＡの最後のＧＯＶＵ、サイドストーリーＢの最後のＧＯＶＵ、及びサイドストーリーＣの最後のＧＯＶＵ、のピクチャの数の情報を、本編Ｚの先頭のＧＯＶＵの先頭のcpb_removal_delayに記述することになる。このため、本編Ｙの最後のＧＯＶＵ、サイドストーリーＡの最後のＧＯＶＵ、サイドストーリーＢの最後のＧＯＶＵ、及びサイドストーリーＣの最後のＧＯＶＵの各々のピクチャの数を同一にする必要がある。換言すれば、本編Ｙの最後のＧＯＶＵ、サイドストーリーＡの最後のＧＯＶＵ、サイドストーリーＢの最後のＧＯＶＵ、及びサイドストーリーＣの最後のＧＯＶＵの各々のピクチャの数を、本編Ｚの先頭のＧＯＶＵの先頭のピクチャのcpb_removal_delayに記述されるピクチャの数と等しくする処理を行う必要がある。以下、説明の都合上、このような処理をＧＯＶＵ長さ調整処理と称する。

図５、図６、及び図７を参照しつつ、本発明の一実施形態に係る、ＧＯＶＵ長さ調整処理を実現するための符号化装置について説明する。

図５は、本発明の一実施形態に係る符号化装置の構成を、概略的に示すブロック図である。この符号化装置は、エンコーダ５０２として実現されている。エンコーダ５０２は、映像データ（ビデオソース）の圧縮処理を行う装置である。エンコーダ５０２は、ＧＯＶＵ構成決定部５０４と符号化部５０６とを備える。

ＧＯＶＵ構成決定部５０４は、ユーザにより設定されるパラメータ（例えば、解像度、フレームレート等）、チャプタ点情報、及びＩピクチャ挿入箇所等の各種情報を受け取る。ＧＯＶＵ構成決定部５０４は、受け取った情報に基づいて、映像データのＧＯＶＵ構成を決定し、決定されたＧＯＶＵ構成の情報を符号化部５０６に供給する。より具体的には、ＧＯＶＵ構成決定部５０４は、映像データ中の、複数の選択可能なコンテンツ（例えば、図４に示す本編Ｙ、サイドストーリーＡ、Ｂ、及びＣ）の各々に含まれる複数のグループ・オブ・ビデオ・アクセス・ユニットのうち、最後から２番目のグループ・オブ・ビデオ・アクセス・ユニットに含まれるピクチャの数を調整することで、最後のグループ・オブ・ビデオ・アクセス・ユニットが所定の数のピクチャを含むように、映像データのＧＯＶＵ構成を決定する。決定されたＧＯＶＵ構成は、ＧＯＶＵ構成決定部５０４から符号化部５０６に供給される。

符号化部５０６は、ＧＯＶＵ構成決定部５０４によって決定されたＧＯＶＵ構成に基づいて、映像データ（ビデオソース）を符号化する。より具体的には、ＧＯＶＵ構成決定部５０４から供給されたＧＯＶＵ構成に基づいて映像データの圧縮処理を行い、映像ビットストリーム及びログファイルを出力する。このとき、先行するＧＯＶＵのピクチャの数の情報を、次のＧＯＶＵの先頭ピクチャのcpb_removal_delayに挿入して符号化を行う。なお、ＤＶＤ、ＨＤＤＶＤ等の媒体に映像データを記録する際に行われる圧縮処理では、デジタル放送における圧縮処理とは異なり、可変ビットレート方式が採用される。可変ビットレート方式では、処理対象の映像データの難易度に応じて、ビットレートの割り当てが行われる。このような処理方法は２パスエンコード方式と呼ばれる。更に、一般には、圧縮処理の結果生成された映像ビットストリームを再生し、画質評価を行う。画質評価を行った後、圧縮歪みがあるシーンに対してパラメータ及びビットレート等の再調整を行い、再度圧縮処理が行われる。この再圧縮処理において、最後から２番目のＧＯＶＵに含まれるピクチャの数を剰余分と同じくするのではなく、最後及び最後から２番目のＧＯＶＵ以外のＧＯＶＵに含まれるピクチャ数を剰余分とすることも可能である。

図６及び図７を参照しつつ、図５に示されるＧＯＶＵ構成決定部５０４について、より詳細に説明する。

図６は、ＧＯＶＵ構成決定部５０４の構成を概略的に示すブロック図である。図７は、ＧＯＶＵ構成決定部５０４によって決定された、各サイドストーリーのＧＯＶＵ構成を説明するための概略図である。

図６に示されるように、ＧＯＶＵ構成決定部５０４は、第１の算出部（＃１）６０１と第２の算出部（＃２）６０２と、設定部６０４とを備える。第１の算出部６０１ではユーザによって設定されたパラメータ及びチャプタ点情報/Ｉピクチャ挿入箇所の情報から、必要な情報を算出する。ＭＰＥＧ２と同様に、ＧＯＶＵのピクチャ数はチャプタ点やユーザが指定したＩピクチャ挿入箇所などで変更される。最寄りのＧＯＶＵ位相の変更位置とは、これらの点を示す。第２の算出部６０２は、最寄りのＧＯＶＵの位相の変更位置（Ａ）の情報と、コンテンツの終了位置（Ｂ）の情報と、１つのＧＯＶＵに含まれるべき所定のピクチャの数（Ｃ）の情報とを受け取る。第２の算出部６０２は、受け取った情報に基づいて、コンテンツの終了位置（Ｂ）と最寄りのＧＯＶＵ位相の変更位置（Ａ）との差を、所定のピクチャの数（Ｃ）で除算する。即ち、（Ｂ−Ａ）／Ｃの値を算出する。算出の結果、商及び剰余が得られる。算出の結果得られた商は、コンテンツに含まれるＧＯＶＵの数を表す。一方、算出の結果得られた剰余は、残りのピクチャの数を表す。なお、言うまでもなく、この残りのピクチャの数は、所定のピクチャの数（Ｃ）よりも小さい。第２の算出部６０２は、これらの商及び剰余の情報を設定部６０４に出力する。なお、コンテンツ（例えば、サイドストーリーＡ）について、（Ｂ−Ａ）／Ｃの値を算出した結果、剰余が得られなかった場合は、当該コンテンツの全てのＧＯＶＵが所定の数のピクチャを含むこととなる。従って、この場合、再生時に問題は発生しない。

設定部６０４は、第２の算出部６０２から供給された商及び剰余の情報に基づいて、複数の選択可能なコンテンツの各々について、最後から２番目のＧＯＶＵに含まれるピクチャの数を、第２の算出部６０２から出力された剰余に対応する数に設定する。即ち、最後から２番目のＧＯＶＵに含まれるピクチャの数は、剰余分のピクチャの数と一致する。従って、各コンテンツにおいて、最後から２番目以外のＧＯＶＵの各々は、同一数のピクチャ（所定の数のピクチャ（Ｃ））を含むことになる。従って、複数のコンテンツの各々において、最後のＧＯＶＵに含まれるピクチャの数は、互いに同一となる。

図７を参照しつつ、設定部６０４が行う処理を、より詳細に説明する。

図７は、ＧＯＶＵ構成決定部５０４の設定部６０４によって決定された、各コンテンツのＧＯＶＵ構成を説明するための概略図である。図７は、映像コンテンツが複数の再生経路（選択可能なコンテンツ）、即ち、メインストーリー、サイドストーリーＡ、Ｂ、及びＣを有する場合を想定している。また、図７を見れば分かるように、メインストーリー、サイドストーリーＡ、Ｂ、及びＣは、それぞれ異なる長さ（ピクチャの数）を有する。図７中、２つの菱形の間の実線は、１つのＧＯＶＵを表し、２つの菱形の間の点線は、長さ調整が行われたＧＯＶＵを表している。

まず、メインストーリーＹのＧＯＶＵ構成について説明する。設定部６０４は、第２の算出部６０２から供給される、メインストーリーＹのＧＯＶＵ数（商）及び残りのピクチャの数（剰余）の情報に基づき、メインストーリーＹの最後から２番目のＧＯＶＵ（Ｙ_Ｌ−１）のピクチャの数を、残りのピクチャの数に設定する。換言すれば、メインストーリーＹの最後から２番目のＧＯＶＵのピクチャの数は、第２の算出部６０２による算出の結果得られた剰余に対応する数である。従って、メインストーリーＹの最後のＧＯＶＵ（Ｙ_Ｌ）は、メインストーリーＹの最後から２番目のＧＯＶＵ（Ｙ_Ｌ−１）を除く全てのＧＯＶＵと同じ数のピクチャを含み、最後から２番目のＧＯＶＵ（Ｙ_Ｌ−１）は、その他のＧＯＶＵとは異なる数のピクチャを含む。

サイドストーリーＡのＧＯＶＵ構成について説明する。設定部６０４は、第２の算出部６０２から供給される、サイドストーリーＡのＧＯＶＵ数（商）及び残りのピクチャの数（剰余）の情報に基づき、サイドストーリーＡの最後から２番目のＧＯＶＵ（Ａ_Ｌ−１）のピクチャの数を、残りのピクチャの数に設定する。換言すれば、サイドストーリーＡの最後から２番目のＧＯＶＵのピクチャの数は、第２の算出部６０２による算出の結果得られた剰余に対応する数である。従って、サイドストーリーＡの最後のＧＯＶＵ（Ａ_Ｌ）は、サイドストーリーＡの最後から２番目のＧＯＶＵ（Ａ_Ｌ−１）を除く全てのＧＯＶＵと同じ数のピクチャを含み、最後から２番目のＧＯＶＵ（Ａ_Ｌ−１）は、その他のＧＯＶＵとは異なる数のピクチャを含む。

同様に、設定部６０４は、第２の算出部６０２から供給される、サイドストーリーＢのＧＯＶＵ数（商）及び残りのピクチャの数（剰余）の情報に基づき、サイドストーリーＢの最後から２番目のＧＯＶＵ（Ｂ_Ｌ−１）のピクチャの数を、残りのピクチャの数に設定する。従って、サイドストーリーＢの最後のＧＯＶＵ（Ｂ_Ｌ）は、サイドストーリーＢの最後から２番目のＧＯＶＵ（Ｂ_Ｌ−１）を除く全てのＧＯＶＵと同じ数のピクチャを含み、最後から２番目のＧＯＶＵ（Ｂ_Ｌ−１）は、その他のＧＯＶＵとは異なる数のピクチャを含む。

また、設定部６０４は、第２の算出部６０２から供給される、サイドストーリーＣのＧＯＶＵ数（商）及び残りのピクチャの数（剰余）の情報に基づき、サイドストーリーＣの最後から２番目のＧＯＶＵ（Ｃ_Ｌ−１）のピクチャの数を、残りのピクチャの数に設定する。従って、サイドストーリーＣの最後のＧＯＶＵ（Ｃ_Ｌ）は、サイドストーリーＣの最後から２番目のＧＯＶＵ（Ｃ_Ｌ−１）を除く全てのＧＯＶＵと同じ数のピクチャを含み、最後から２番目のＧＯＶＵ（Ｃ_Ｌ−１）は、その他のＧＯＶＵとは異なる数のピクチャを含む。

従って、メインストーリーＹの最後のＧＯＶＵ（Ｙ_Ｌ）のピクチャの数、サイドストーリーＡの最後のＧＯＶＵ（Ａ_Ｌ）のピクチャの数、サイドストーリーＢの最後のＧＯＶＵ（Ｂ_Ｌ）のピクチャの数、及びサイドストーリーＣの最後のＧＯＶＵ（Ｃ_Ｌ）のピクチャの数は、同一となるように設定部６０４によって制御される。一方で、メインストーリーＹの最後から２番目のＧＯＶＵ（Ｙ_Ｌ−1）のピクチャの数、サイドストーリーＡの最後から２番目のＧＯＶＵ（Ａ_Ｌ−１）のピクチャの数、サイドストーリーＢの最後から２番目のＧＯＶＵ（Ｂ_Ｌ−１）のピクチャの数、及びサイドストーリーＣの最後から２番目のＧＯＶＵ（Ｃ_Ｌ−１）のピクチャの数は、互いに異なっていても構わない。これは、次のコンテンツ（例えば、図４に示す本編Ｚ）の先頭のＧＯＶＵの先頭のピクチャのバッファ管理エリアに格納されるのは、その先頭のＧＯＶＵに先行するＧＯＶＵ、即ち、先行するコンテンツ（例えば、図４に示すサイドストーリーＡ）の最後のＧＯＶＵに含まれるピクチャの数の情報であり、最後から２番目のＧＯＶＵに含まれるピクチャの数の情報ではないためである。

以上の説明から分かるように、エンコーダ５０２は、本編Ｘ、Ｙ、及びＺ、並びにサイドストーリーＡ、Ｂ、及びＣ（図４を参照）の各々に対して２パスエンコードを行う際には、本編Ｙ並びにサイドストーリーＡ、Ｂ、及びＣの各々の、最後のＧＯＶＵの長さ（ピクチャの数）が所定の長さ（所定のピクチャの数）となるように、最後から２番目のＧＯＶＵの長さを調整する処理を行う。従って、映像コンテンツが複数の再生経路（選択可能なコンテンツ）を有する場合、各サイドストーリーの最後のＧＯＶＵのピクチャの数を同一となるように制御することができる。このため、複数の再生経路のうちのいずれ（例えば、サイドストーリーＡ）が選択された場合であっても、続くコンテンツ（例えば、本編Ｚ）の再生時に不具合を起こさず、シームレスに再生することができる。

次に、図８を参照しつつ、本発明の一実施形態に係る符号化方法について説明する。

図８は、本発明の一実施形態に係る、符号化方法を説明するためのフローチャートである。この符号化方法は、映像データを符号化する機能を有する任意の装置に適用することができる。以下、説明の都合上、本実施形態に係る符号化方法を、上述したエンコーダ５０２に適用した場合を例に説明する。

まず、映像データの、最寄りのＧＯＶＵ位相の変更位置（Ａ）の情報、コンテンツの終了位置（Ｂ）の情報、及び１つのＧＯＶＵに含まれるべき所定のピクチャの数（Ｃ）の情報をエンコーダ５０２（より具体的には、ＧＯＶＵ構成決定部５０４）に入力する（ステップＳ８０２）。次いで、コンテンツの終了位置（Ｂ）と最寄りのＧＯＶＵ位相の変更位置（Ａ）との差を、所定のピクチャの数（Ｃ）で除算し、即ち、「（Ｂ−Ａ）／Ｃ」をエンコーダ５０２（より具体的には、第２の算出部６０２）によって算出し、その商及び剰余を得る（ステップＳ８０４）。なお、ステップＳ８０４において剰余が発生しない場合は、商のみを求めればよい。剰余が得られなかった場合は、コンテンツの全てのＧＯＶＵが所定の数のピクチャを含むこととなり、再生時に問題は発生しないためである。

エンコーダ５０２（より具体的には、設定部６０４）は、映像データ中の複数コンテンツの各々に含まれる複数のＧＯＶＵのうち、最後から２番目のＧＯＶＵに含まれるピクチャの数を、上記剰余に対応する数に設定する（ステップＳ８０６）。即ち、コンテンツの最後から２番目のＧＯＶＵの長さ（ピクチャの数）を調整する処理を行う。より詳細には、エンコーダ５０２（より具体的には、設定部６０４）は、映像コンテンツが有する複数の再生経路（選択可能なコンテンツ）の各々について、最後から２番目のＧＯＶＵの長さを調整する処理を行い、最後のＧＯＶＵに含まれるピクチャの数が複数の再生経路間で同一となるように制御する。

つまり、ステップＳ８０２、Ｓ８０４、及びＳ８０６の処理では、映像データ中の、複数の選択可能なコンテンツの各々に含まれる複数のＧＯＶＵのうち、最後から２番目のＧＯＶＵに含まれるピクチャの数を調整することで、最後のＧＯＶＵが所定の数のピクチャを含むように、映像データのＧＯＶＵ構成が決定される。

ステップＳ８０６の処理の後、決定されたＧＯＶＵ構成に基づいて、映像データが符号化される（ステップＳ８０８）。

上述した符号化方法によれば、映像コンテンツが複数の再生経路（選択可能なコンテンツ）を有する場合、各再生経路の最後のＧＯＶＵのピクチャの数を同一となるように制御することができる。このため、複数の再生経路のうちのいずれ（例えば、サイドストーリーＡ）が選択された場合であっても、続くコンテンツ（例えば、本編Ｚ）の再生時に不具合を起こさず、シームレスに再生することができる。

なお、上述した符号化方法は、コンピュータによって実行可能なプログラムとしても実現できる。この場合も、上記の符号化方法を用いた場合と同様の機能及び効果を得ることができる。

なお、本発明は、上記実施形態そのままに限定されるものではない。本発明は、実施段階では、その要旨を逸脱しない範囲で構成要素を変更して具現化できる。

また、上記実施形態に開示されている複数の構成要素を適宜に組み合わせることで、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。更に、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。

ＭＰＥＧ４ＡＶＣ標準が規定する仮想デコーダの処理を説明するためのフローチャートである。入力映像データがビデオの場合におけるcpb_removal_delayを説明するための概略図である。入力映像データが映画の場合におけるcpb_removal_delayを説明するための概略図である。複数の再生経路を有する映像コンテンツの構成を説明するための概略図である。本発明の一実施形態に係る符号化装置の構成を概略的に示すブロック図である。図５に示すＧＯＶＵ構成決定部の構成を概略的に示すブロック図である。ＧＯＶＵ構成決定部の設定部によって決定された、各サイドストーリーのＧＯＶＵ構成を説明するための概略図である。本発明の一実施形態に係る符号化方法を説明するためのフローチャートである。

符号の説明

５０２…エンコーダ、５０４…ＧＯＶＵ構成決定部、５０６…符号化部、６０１…第１の算出部、６０２…第２の算出部、６０４…設定部。

Claims

ＭＰＥＧ４ＡＶＣに準拠した、映像データの符号化を行う符号化装置であって、
前記映像データ中の、複数の選択可能なコンテンツの各々に含まれる複数のグループ・オブ・ビデオ・アクセス・ユニットのうち、最後から２番目のグループ・オブ・ビデオ・アクセス・ユニットに含まれるピクチャの数を調整することで、最後のグループ・オブ・ビデオ・アクセス・ユニットが所定の数のピクチャを含むように、前記映像データのグループ・オブ・ビデオ・アクセス・ユニット構成を決定するＧＯＶＵ構成決定部と、
前記ＧＯＶＵ構成決定部によって決定されたグループ・オブ・ビデオ・アクセス・ユニット構成に基づいて、前記映像データを符号化する符号化部と
を具備することを特徴とする、符号化装置。
前記ＧＯＶＵ構成決定部は、
最寄りのグループ・オブ・ビデオ・アクセス・ユニット位相の変更位置（Ａ）の情報と、コンテンツの終了位置（Ｂ）の情報と、１つのグループ・オブ・ビデオ・アクセス・ユニットに含まれるべき所定のピクチャの数（Ｃ）の情報とを受け取り、前記コンテンツの終了位置（Ｂ）と前記最寄りのグループ・オブ・ビデオ・アクセス・ユニット位相の変更位置（Ａ）との差を、前記所定のピクチャの数（Ｃ）で除算し、その商及び剰余を出力する算出部と、
前記最後から２番目のグループ・オブ・ビデオ・アクセス・ユニットに含まれるピクチャの数を、前記算出部から出力された前記剰余に対応する数に設定する設定部と
を具備することを特徴とする、請求項１記載の符号化装置。
前記符号化部は、先行するグループ・オブ・ビデオ・アクセス・ユニットに含まれるピクチャの数の情報を、次のグループ・オブ・ビデオ・アクセス・ユニットの先頭のピクチャのバッファ管理情報エリアに書き込み、前記映像データを符号化することを特徴とする、請求項１記載の符号化装置。
ＭＰＥＧ４ＡＶＣに準拠した、映像データの符号化を行う符号化方法であって、
前記映像データ中の、複数の選択可能なコンテンツの各々に含まれる複数のグループ・オブ・ビデオ・アクセス・ユニットのうち、最後から２番目のグループ・オブ・ビデオ・アクセス・ユニットに含まれるピクチャの数を調整することで、最後のグループ・オブ・ビデオ・アクセス・ユニットが所定の数のピクチャを含むように、前記映像データのグループ・オブ・ビデオ・アクセス・ユニット構成を決定するステップと、
前記グループ・オブ・ビデオ・アクセス・ユニット構成に基づいて、前記映像データを符号化するステップと
を具備することを特徴とする、符号化方法。
前記グループ・オブ・ビデオ・アクセス・ユニット構成を決定するステップは、
最寄りのグループ・オブ・ビデオ・アクセス・ユニット位相の変更位置（Ａ）の情報と、コンテンツの終了位置（Ｂ）の情報と、１つのグループ・オブ・ビデオ・アクセス・ユニットに含まれるべき所定のピクチャの数（Ｃ）の情報とを受け取るステップと、
前記コンテンツの終了位置（Ｂ）と前記最寄りのグループ・オブ・ビデオ・アクセス・ユニット位相の変更位置（Ａ）との差を、前記所定のピクチャの数（Ｃ）で除算し、その商及び剰余を得るステップと、
前記最後から２番目のグループ・オブ・ビデオ・アクセス・ユニットに含まれるピクチャの数を、前記剰余に対応する数に設定するステップと
含むことを特徴とする、請求項４記載の符号化方法。
前記符号化を行うステップは、先行するグループ・オブ・ビデオ・アクセス・ユニットに含まれるピクチャの数の情報を、次のグループ・オブ・ビデオ・アクセス・ユニットの先頭のピクチャのバッファ管理情報エリアに書き込んで、前記映像データを符号化するステップを含むことを特徴とする、請求項４記載の符号化方法。