[go: up one dir, main page]

JP3186775B2 - Vopの時刻復号化方法 - Google Patents

Vopの時刻復号化方法

Info

Publication number
JP3186775B2
JP3186775B2 JP50504698A JP50504698A JP3186775B2 JP 3186775 B2 JP3186775 B2 JP 3186775B2 JP 50504698 A JP50504698 A JP 50504698A JP 50504698 A JP50504698 A JP 50504698A JP 3186775 B2 JP3186775 B2 JP 3186775B2
Authority
JP
Japan
Prior art keywords
vop
time
time reference
modulo
increment
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP50504698A
Other languages
English (en)
Other versions
JPH11513222A (ja
Inventor
タン,ティオ・ケン
シェン,シェン・メイ
リー,チャク・ジュー
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Publication of JPH11513222A publication Critical patent/JPH11513222A/ja
Application granted granted Critical
Publication of JP3186775B2 publication Critical patent/JP3186775B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/439Processing of audio elementary streams
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • H04N19/31Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability in the temporal domain
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46Embedding additional information in the video signal during the compression process
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/573Motion compensation with multiple frame prediction using two or more reference frames in a given prediction direction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51Motion estimation or motion compensation
    • H04N19/577Motion compensation with bidirectional frame interpolation, i.e. using B-pictures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H04N21/234318Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements by decomposing into objects, e.g. MPEG-4 objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/242Synchronization processes, e.g. processing of PCR [Program Clock References]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302Content synchronisation processes, e.g. decoder synchronisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8547Content authoring involving timestamps for synchronizing content
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/24Systems for the transmission of television signals using pulse code modulation
    • H04N7/52Systems for transmission of a pulse code modulated video signal with one or more other pulse code modulated signals, e.g. an audio signal or a synchronizing signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Synchronisation In Digital Transmission Systems (AREA)

Description

【発明の詳細な説明】 技術分野 本発明は、独立して符号化された複数のオーディオビ
ジュアル対象をプレゼンテーションのために同期させる
ことが必要なディジタルオーディオビジュアルマテリア
ルの符号化に有効である。本発明は、オーディオビジュ
アルマテリアルの時間的サンプリングが同一でない場合
に特に役立つものである。
背景技術 MPEG1およびMPEG2において、入力ビデオは、規則的な
時間間隔でサンプリングされた画像フレームからなる。
これは、その入力ビデオのもっとも緻密な時間解像度を
表現する。図1は、画像フレームが規則的な間隔でサン
プリングされる一定のフレームレートによるビデオシー
ケンスを示す。MPEG1規格およびMPEG2規格を用いたビデ
オシーケンスの符号化表現においては、復号化されたフ
レームの表示順序は参照時刻(temporal reference)に
よって表される。このパラメータは、ビットストリーム
シンタックスのピクチャーヘッダーに記述される。この
パラメータの値は、表示順序を検査するときにそれぞれ
の復号化されるフレームごとに1つだけインクリメント
される。
H.263規格においては、フレームをスキップしてもよ
く、したがって、可変フレームレートビデオシーケンス
を復号化することができる。しかしながら、フレームの
サンプリングは不変のままである。このように、MPEG1
およびMPEG2において用いられる時刻参照方法は依然と
して適切なものであり、1だけインクリメントするので
はなく(1+入力フレームレートにおける非転送ピクチ
ャー数)だけインクリメントするような修正が必要なだ
けである。
現在、多重ビデオ対象画においてビデオを独立した対
象として符号化する研究開発がなされている。これは、
それぞれのビデオ対象の復号化と同期とにおける新しい
概念を表現するものである。これらの個々のビデオ対象
画は、複数のソースから発生してもよく、また、まった
く異なるフレームレートを有してもよいことが期待され
ている。対象のあるものは、ほぼ連続的な時間的サンプ
リングレートを有してもよい。これらのビデオ対象画
は、組み合わせられ、表示される際には、合成画像とな
る。したがって、この合成のためにはある種の同期が必
要となる。表示フレームレートは、どのビデオ対象画の
フレームレートとも異なっていてもよい。図2は、互い
に異なったフレームレートを有する2つのビデオ対象画
の例を示す。たとえ2つのビデオ対象画の間の共通のフ
レームレートを捜し出すことができたとしても、必然的
にそのフレームレートが合成処理装置の出力フレームレ
ートと同じものになることはない。
以下、ビデオの領域における問題について述べるが、
同様の本発明の原理は、オーディオの領域にも拡張する
ことができ、また、この2つを組み合わせた領域にも拡
張することができる。
この技術分野における現在の状況は、ビデオ対象画の
同期に関する要求を満たしていないことは上述したこと
から明らかである。また、この技術分野における現在の
状況は、異なったビデオ対象画が互いの倍数ではない異
なったフレームレートを有する場合に、共通の参照時刻
を提供しない。
第1の問題は、共通のローカル時刻基準メカニズムを
それぞれのビデオ対象画にどのように提供するかであ
る。この時刻基準は、非常に緻密な時間的粒度(tempor
al granularity)を提供することができるとともに、ビ
デオ対象画の2つの連続する時点(instance)の間に非
常に長い間隔があり得ることにも対処することができな
ければならない。
第2の問題は、異なったフレームレートを有するビデ
オ対象画を同期させるためのメカニズムをどのようにし
て提供するかである。
発明の開示 上述の問題は、すべてのローカル時刻基準に対して使
用される共通の時間解像度を導入することによって解決
することができる。広い範囲にわたる時間的粒度を提供
するために、ローカル時刻基準は2つの異なった部分に
分割される。第1の部分は、短い時刻基準を提供する緻
密な粒度を有する時間解像度を含む。第2の部分は、長
い時刻基準を提供する粗な粒度を有する時間解像度を含
む。短い時刻基準は、それぞれのビデオ対象画に含ま
れ、ビデオ対象画の時点に参照時刻を提供する。そし
て、この短い時刻基準が、すべてのビデオ対象画に共通
の長い時刻基準に同期させられる。この長い時刻基準
は、すべての様々なビデオ対象画を、マスタークロック
によって提供される共通の時刻基準に同期させるのに使
用される。
本発明は、圧縮データに含まれるVOPの時刻を復号化
する方法であって、 前記圧縮データは、1秒単位の増分を表すモジュロ時
刻基準増分と、1秒より短い増分を表すVOP時刻基準増
分とを含んでおり、 前記VOPの前記モジュロ時刻基準増分を復号化し、 前記VOPの前記VOP時刻基準増分を復号化し、 前記VOPの直前に復号化されたVOPの1秒単位の時刻
に、前記復号化されたモジュロ時刻基準増分と前記復号
化されたVOP時刻基準増分とを加算した結果を前記VOPの
時刻とするVOPの時刻復号化方法である。
図面の簡単な説明 以下の詳細な説明と添付の図面とから本発明をより良
く理解することができる。
図1は、ビデオシーケンスのフレームが一定間隔でサ
ンプリングされる従来技術による時間的なサンプリング
を説明する図である。
図2は、ビデオ対象画の概念およびその互いの関係を
説明する図である。ビデオ対象画のサンプリングは不規
則であってもよく、また、サンプリング周期は急激に変
化してもよい。
図3Aは、ビデオ対象画の参照時刻がモジュロ時刻基準
とVOP時刻増分とによって表される本発明を説明する図
である。この説明では、I−VOPおよびP−VOPだけが使
用されている。
図3Bは、ビデオ対象画の参照時刻がモジュロ時刻基準
とVOP時刻増分とによって表される本発明を説明する図
である。この説明では、I−VOP、P−VOP、および、B
−VOPが使用されている。
図4Aは、B−ビデオ対象画のためにプレゼンテーショ
ン順序および符号化順序が異なる場合に発生することが
ある曖昧さの例を説明する図である。
図4Bは、B−ビデオ対象画のためにプレゼンテーショ
ン順序および符号化順序が異なる場合に発生することが
ある曖昧さの例を説明する図である。
図4Cは、B−ビデオ対象画のためにプレゼンテーショ
ン順序および符号化順序が異なる場合に発生することが
ある曖昧さの例を説明する図である。
図4Dは、B−ビデオ対象画のためにプレゼンテーショ
ン順序および符号化順序が異なる場合に発生することが
ある曖昧さの例を説明する図である。
図5Aは、絶対時刻基準および相対時刻基準を用いるこ
とによって曖昧さを解決することを説明する図である。
図5Bは、絶対時刻基準および相対時刻基準を用いるこ
とによって曖昧さを解決することを説明する図である。
図6は、2つのVOPの組み合わせと、VOP時刻オフセッ
トを用いることによってそれらを共通時刻基準に同期さ
せることを説明する図である。
図7は、時刻基準の符号化を説明するフローチャート
である。
図8は、複数のビデオ対象画の多重化を説明するフロ
ーチャートである。
図9は、複数のビデオ対象画の多重分離を説明するフ
ローチャートである。
図10は、プレゼンテーションタイムスタンプの再生を
説明するフローチャートである。
図11は、時刻基準を符号化するためのビットストリー
ム符号器の動作を説明するブロック構成図である。
図12は、時刻基準を復号化するためのビットストリー
ム復号器の動作を説明するブロック構成図である。
図13は、ビットストリームデータの形成を説明するタ
イムチャートである。
発明の好ましい実施例 本発明は2つの時刻表示形式を用いることにより動作
する。その第1の時刻表示形式は、ビデオ対象画に付加
される短い時刻基準である。以下、この時刻基準をVOP
(Video Object Planeすなわちビデオ対象画)時刻増分
と呼ぶ。このVOP時刻増分は、復号化され互いに合成さ
れるビデオ対象画のグループに付加される長い時刻基準
と関連してビデオ対象画に用いられるタイミングとして
作用する。この長い時刻基準をモジュロ時刻基準と呼
ぶ。そして、これらのVOP時刻増分とモジュロ時刻基準
とが連係して使用され、ビデオ対象画を表示のための最
終的な合成シーケンスに合成するのに使用するための実
際の時刻基準を決定する。
ビットストリームを編集し、異なったソースからの異
なったビデオ対象画を新しいグループのビデオ対象画に
合成するのを容易にするためには、共通時刻基準から個
々のビデオ対象画のローカル時刻基準までの一定のオフ
セット値を提供する第3の成分が必要となる。以下で
は、このオフセットはVOP時刻オフセットと呼ばれる。
これは、異なった対象画がモジュロ時刻基準の間隔に等
しい粒度で同期しなければならないことを防止する。こ
の成分は、一緒に多重化されるビデオ対象画が属するグ
ループの中のそれぞれのビデオ対象画に対して不変のも
のであるべきである。
まず最初に、モジュロ時刻基準について説明する。
モジュロ時刻基準は、ローカル時刻基準の粗な解像度
を表現する。それは、VOP時刻増分のような値を有する
ものではない。実際には、それは、VOP時刻増分をビデ
オ対象画のローカル時刻基準に同期させるためのより重
要な同期メカニズムである。それは符号化されたビット
ストリームにマーカーとして配置され、それに続くビデ
オ対象画のVOP時刻増分がリセットされなければならな
いことを表し、また、ローカル時刻基準の参照は1つか
またはそれ以上のモジュロ時刻基準の間隔の単位でイン
クリメントされなければならないことを表す。図3A、図
3B、図4、図5、および、図6において、モジュロ時刻
基準は、ビットストリームヘッダーにおいて、VOP時刻
増分の前に挿入された連続する“1"とそれに続く“0"で
表される。連続する“1"の数は、ゼロかそれ以上であ
る。ビットストリームに挿入される“1"の数は、最後の
I−VOPまたはP−VOPから経過したモジュロ時刻基準の
単位数に依存する。符号器および復号器では、モジュロ
時刻基準のカウンターは、“1"を検出するたびに1だけ
インクリメントされる。モジュロ時刻基準のカウンター
は長さが有限であり、したがって、実際のシステムで
は、モジュロ時刻基準は、その最大値を越えた場合には
0にリセットされる。典型的なビデオシーケンスにおい
ては、ビデオ対象画はVOPのグループを形成する。した
がって、モジュロ時刻基準は、通常、このVOPグループ
の開始点でリセットされる。
つぎに、VOP時刻増分についても説明する。
VOP時刻増分は、ビデオ対象画のもっとも短い時間的
サンプリングを利用することのできる単位によるもので
なければならない。それは、対象画に用いられる負の時
刻基準であってもよい。したがって、それは、要求され
るもっとも緻密な時間解像度の粒度あるいは利用するこ
とのできるもっとも緻密な時間解像度の粒度を表現す
る。
そして、VOP時刻増分は、グローバル時刻基準の間隔
/ローカル時刻基準の解像度の比よりも大きいかまたは
等しい有限長の数によって表されてもよい。図3Aは、I
およびP−ビデオ対象画に用いられるVOP時刻増分およ
びモジュロ時刻基準の参照の例を示す。絶対時刻基準が
使用される。VOP時刻増分は、モジュロ時刻基準が検出
されるたびに毎回リセットされる。図3Bは、I、P、お
よび、B−ビデオ対象画を用いたもう1つの例を示す。
B−ビデオ対象画においてモジュロ時刻基準が同じよう
に繰り返されることを除けば動作は同じである。もしB
−ビデオ対象画においてモジュロ時刻基準が同じように
繰り返されなければ、復号化およびプレゼンテーション
の順序の相違による曖昧さが発生する。このことは以下
で詳述される。
VOP時刻増分はプレゼンテーション時刻基準に対応す
るので、符号化の順序がプレゼンテーションの順序と異
なる場合に潜在的な問題が発生する。これは、B−ビデ
オ対象画によって発生する。MPEG−1およびMPEG−2の
B−ピクチャーと同じように、B−ビデオ対象画は、た
とえそれらのプレゼンテーション順序が参照I−ビデオ
対象画および参照P−ビデオ対象画より前であったとし
ても、それらの参照ビデオ対象画の後に符号化される。
VOP時刻増分は有限でありかつモジュロ時刻基準に基づ
く相対的なものなので、モジュロ時刻基準が検出された
場合にはVOP時刻増分はリセットされる。しかしなが
ら、B−ビデオ対象画に対する符号化の順序は遅れたま
まである。図4は起こり得る曖昧さを示す。いつVOP時
刻増分がリセットされるべきかを判定することはできな
い。実際に、図4Aに示されるような符号化されるイベン
トのシーケンスが与えられた場合、それが、図4B、図4
C、および、図4Dのどのタイミング位置を表現しようと
しているのかを知ることはできない。この問題は、異な
った符号化の順序とプレゼンテーションの順序とが混在
するすべての異なったタイプのビデオ対象画に共有され
る1つのモジュロ時刻基準を使用するために起こるので
ある。符号化の順序に対してなすことができることはな
にもない。なぜなら、この参照情報はB−ビデオ対象画
が必要とするからである。また、異なった予測形態のそ
れぞれが、独自のモジュロ時刻基準を有することは好ま
しくない。
つぎに、VOP時刻オフセットについて説明する。
上述したことに加えて、モジュロ時刻基準はすべての
ビデオ対象画の間で共有される。これは、異なったビデ
オ対象画間の同期がモジュロ時刻基準の間隔に等しい粒
度を有することを意味する。これは、異なったグループ
からのビデオ対象画が組み合わせられてビデオ対象画の
新しいグループを形成する場合には特に受け入れること
ができない。図6は、互いにずれた2つの異なるローカ
ル時刻基準によって符号化された2つの異なるビデオ対
象画の例を示す。このように、これらのビデオ対象画が
多重化される場合、ビデオ対象画の同期もまたずれたも
のとなる。個々のビデオ対象画のそれぞれにVOP時刻オ
フセットを持たせることによってより緻密な粒度が達成
される。このことは、ビデオ対象画が操作され多重化さ
れる場合に、この値だけが変更されることを意味する。
VOP時刻増分を変更する必要がないだけでなく、粗な粒
度を有するタイミング差を用いることなく異なったビデ
オ対象画を多重化することができる。図6は、この時刻
基準オフセットの使用を説明する。
本発明の好ましい実施例は、個々のビデオ対象画ビッ
トストリームのそれぞれに用いられる時刻基準を符号化
する方法と、異なったビデオ対象画を多重化して共通の
時刻基準にする方法と、多重化されたビットストリーム
を成分に多重分離する方法と、成分ビットストリームか
ら時刻基準を再生する方法とを含む。
つぎに、時刻基準の符号化を説明する。
時刻基準を符号化する実施例のフローチャートが図7
に示される。符号器においては、ステップ1において、
まずローカル時刻基準がローカル開始時刻に初期化され
る。処理はステップ2に移り、そこで、符号器がローカ
ル時刻基準の現在の値を判定する。ステップ3におい
て、得られたローカル時刻基準があらかじめ符号化され
たモジュロ時刻基準と比較され、その間隔がモジュロ時
刻基準の間隔を越えているかどうかを検査する。もしそ
の間隔を越えていれば、制御はステップ4に移り、そこ
で、必要な数のモジュロ時刻基準がビットストリームに
挿入される。もしその間隔を越えていなければ、特別の
処理は必要とされない。そして、処理はステップ5に進
み、そこで、VOP時刻増分がビットストリームに挿入さ
れる。つぎに、ステップ6において、対象画が符号化さ
れてビットストリームに挿入される。そして、符号器
は、ステップ7において、符号化されるべきさらなる対
象画があるかどうかを判定するための検査を行う。もし
符号化されるべき対象画があれば、処理はステップ2に
戻り、そこで、ローカル時刻基準を得る。もし符号化さ
れるべき対象画がなければ、処理は終了する。
I/P−ビデオ対象画およびB−ビデオ対象画のそれぞ
れに対する絶対および相対のVOP時刻増分を決定するた
めに、以下の式が使用される。
tGTBn=n×tGTBI+tGTBO (n=0,1,2,3,..) (1) tAVTI=tETBI/P−tGTBn (2) tRVTI=tETBB−tETBI/P (3) ここで、 tGTBnは、n番目の符号化されたモジュロ時刻基準に
よって表される符号器時刻基準である。
tGTBIは、予め定められたモジュロ時刻基準の間隔で
ある。
tGTBOは、符号器時刻基準の開始時刻である。
tAVTIは、IまたはP−ビデオ対象画に対する絶対VOP
時刻増分である。
ETBI/Pは、IまたはP−ビデオ対象画の符号化の開
始点での符号器時刻基準である。
tRVTIは、B−ビデオ対象画に対する相対VOP時刻増分
である。
tETBBは、B−ビデオ対象画の符号化の開始点での符
号器時刻基準である。つぎに、複数のビデオ対象画の多
重化について説明する。
複数のビデオ対象画が1つに多重化される場合、多重
化装置は、多重ビデオ対象画のビットストリームを検査
して同期だけでなく多重化の順序をも判定する。これに
含まれる動作が図8に示される。ステップ11において、
多重化されるべきそれぞれのビデオ対象画に対するVOP
時刻オフセットがビットストリームに挿入される。つぎ
に、ステップ12において、多重化されるべきビデオ対象
画のすべてのビットストリームが検査され、すべてのビ
デオ対象画がそれらのそれぞれのモジュロ時刻基準であ
るかどうかを判定する。もしそうであれば、処理はステ
ップ13に進み、そこで、共通モジュロ時刻基準が、多重
化されたビットストリームに挿入される。もしそうでな
ければ、処理はステップ14に進み、そこで、次の符号化
されたビデオ対象画が、多重化されたビットストリーム
に挿入される。ステップ15において、多重化されるべき
ビデオ対象画のビットストリームが、多重化されるべき
さらなるビデオ対象画があるかどうかを再度検査され
る。もしあれば、制御は再びステップ12に進む。もしな
ければ、この処理を終了する。
つぎに、複数のビデオ対象画を含むビットストリーム
の多重分離について説明する。
多重ビデオ対象画を含むビットストリームの多重分離
が図9に示される。この処理はステップ21から始まり、
そこで、VOP時刻オフセットが復号化され、同期に用い
るために復号器に送られる。そして、ステップ22におい
て、多重化されたビットストリームが検査され、モジュ
ロ時刻基準が検出されたかどうかを判定する。もしモジ
ュロ時刻基準が検出されたならば、処理はステップ23に
進み、そこで、モジュロ時刻基準がすべてのビデオ対象
画ビットストリームに挿入される。もしモジュロ時刻基
準が検出されなければ、処理はステップ24に進み、そこ
で、次のビデオ対象画が検査されて適切なビデオ対象画
ビットストリームに挿入される。最後に、多重化された
ビットストリームが再度検査され、多重分離すべきさら
なるビデオ対象画があるかどうかを判定する。もしあれ
ば、処理は再びステップ22に進む。もしなければ、この
処理は終了する。
つぎに、時刻基準の再生について説明する。
時刻基準を再生する実施例が図10に示される。ローカ
ル時刻基準を再生するとき、処理はステップ31から始ま
り、そこで、多重分離装置によって復号化されたVOP時
刻オフセットを考慮してローカル時刻基準が初期化され
る。そして、処理はステップ32に進み、そこで、ビット
ストリームを検査してモジュロ時刻基準が復号化された
かどうかを判定する。もしモジュロ時刻基準が復号化さ
れていれば、処理はステップ33に進み、そこで、ローカ
ル時刻基準がモジュロ時刻基準の増分だけインクリメン
トされる。そして、処理はステップ37に進む。もしモジ
ュロ時刻基準が復号化されていなければ、処理はステッ
プ34に進み、そこで、ビデオ対象画が検査され、それが
B−ビデオ対象画かどうかが判定される。もしB−ビデ
オ対象画であれば、処理はステップ35に進み、そこで、
式(6)に基づいてB−ビデオ対象画の復号化時刻基準
が計算される。そして、処理はステップ37に進む。もし
ステップ34の結果がB−ビデオ対象画でなければ、処理
はステップ36に進み、そこで、式(5)に基づいて復号
化時刻基準が計算される。そして、処理はステップ37に
進む。ステップ37において、ビットストリームが検査さ
れ、復号化すべきさらなるビデオ対象画があるかどうか
が判定される。もしあれば、処理は再びステップ32に進
む。もしなければ、この処理は終了する。
ビデオ対象画のプレゼンテーションタイムスタンプを
判定するために、以下の式が使用される。
tGTBn=n×tGTBI+tGTBO (n=0,1,2,3,..) (4) tDTBI/P=tAVTI+tGTBn (5) tDTBB=tRVTI+tDTBI/P (6) ここで、 tGTBnは、n番目の復号化されたモジュロ時刻基準に
よって表される復号化時刻基準である。
tGTBIは、予め定められたモジュロ時刻基準の間隔で
ある。
tGTBOは、復号化時刻基準の開始時刻である。
DTBI/Pは、IまたはP−ビデオ対象画の復号化の開
始点での復号化時刻基準である。
tAVTIは、IまたはP−ビデオ対象画に対する復号化
された絶対VOP時刻増分である。
tDTBBは、B−ビデオ対象画の復号化の開始点での復
号化時刻基準である。
tRVTIは、B−ビデオ対象画に対する復号化された相
対VOP時刻増分である。
つぎに、ビットストリーム符号器の実施例について説
明する。
図11は、モジュロ時刻基準およびVOP時刻増分を符号
化するためのビットストリーム符号器の実施例を説明す
るブロック構成図である。この説明のために、図3Bに示
される例が使用される。双方向予測が使用されるので、
符号化の順序は、図3Bに示されるプレゼンテーションの
順序とは異なる。符号化の順序は、B−VOPよりも前
に、I−VOPとそれに続くP−VOPから開始される。これ
を以下の3つの段落で説明する。
処理はイニシャライザイであるステップ41から始ま
り、そこで、ビットストリーム符号器は、ローカル時刻
基準レジスタを時刻符号の初期値に初期化することから
始める。これと同じ時刻符号の値がビットストリームの
中に符号化される。次のI−VOPの符号化の開始点にお
いて、時刻符号比較器であるステップ42が、I−VOPの
プレゼンテーション時刻をローカル時刻基準レジスタと
比較する。その結果がモジュロ時刻基準符号器であるス
テップ43に送られる。モジュロ時刻基準符号器は、経過
したモジュロ時刻基準増分の数に等しい必要な数の“1"
をビットストリームに挿入する。そして、モジュロ時刻
基準符号の終わりを示すためにこれにシンボル“0"が続
く。ローカル時刻基準レジスタが現在のモジュロ時刻基
準に更新される。そして、処理は、VOP時刻基準増分符
号器であるステップ44に進み、そこで、I−VOPのプレ
ゼンテーション時刻符号の残りの部分が符号化される。
この処理が、P−VOPである次に符号化されるビデオ
対象画に反復される。時刻符号比較器であるステップ42
は、P−VOPのプレゼンテーション時刻をローカル時刻
基準レジスタと比較する。この結果がモジュロ時刻基準
符号器であるステップ43に送られる。モジュロ時刻基準
符号器は、経過したモジュロ時刻基準増分の数に等しい
必要な数の“1"を挿入する。そして、モジュロ時刻基準
符号の終わりを示すためにこれにシンボル“0"が続く。
B−VOP時刻基準レジスタがローカル時刻基準レジスタ
の値にセットされ、ローカル時刻基準レジスタは現在の
モジュロ時刻基準に更新される。そして、処理はVOP時
刻基準増分符号器であるステップ44に進み、そこで、P
−VOPのプレゼンテーション時刻符号の残りの部分が符
号化される。
そして、この処理が、B−VOPである次に符号化され
るビデオ対象画に反復される。時刻符号比較器であるス
テップ42は、B−VOPのプレゼンテーション時刻をB−V
OP時刻基準レジスタと比較する。その結果がモジュロ時
刻基準符号器であるステップ43に送られる。モジュロ時
刻基準符号器は、経過したモジュロ時刻基準増分の数に
等しい必要な数の“1"を挿入する。そして、モジュロ時
刻基準符号の終わりを示すためにこれにシンボル“0"が
続く。B−VOP時刻基準レジスタとローカル時刻基準レ
ジスタのいずれもが、B−VOPの処理の後では変更され
ない。そして、処理はVOP時刻基準増分符号器であるス
テップ44に進み、そこで、B−VOPのプレゼンテーショ
ン時刻符号の残りの部分が符号化される。
ローカル時刻基準レジスタは、次のVOPグループの始
まりを表す次のI−VOPでリセットされる。
つぎに、ビットストリーム復号器の実施例について説
明する。
図12は、プレゼンテーションタイムスタンプを再生す
るためにモジュロ時刻基準およびVOP時刻増分に用いら
れる復号器の実施例を説明するブロック構成図である。
符号器の実施例のときと同じように、図3Bに示される例
が使用される。復号化の順序は符号化の順序と同じであ
り、B−VOPよりも前に、I−VOPとそれに続くP−VOP
が復号化される。これが以下の段落で説明される。
処理はイニシャライザであるステップ51から始まり、
そこで、ローカル時刻基準レジスタが、ビットストリー
ムから復号化された時刻符号の値にセットされる。そし
て、処理はモジュロ時刻基準復号器であるステップ52に
進み、そこで、モジュロ時刻基準増分が復号化される。
復号化されるモジュロ時刻基準増分の総数は、シンボル
“0"の前に復号化される“1"の数によって与えられる。
次に、VOP時刻基準増分が、VOP時刻基準増分復号器であ
るステップ53において復号化される。時刻基準計算器で
あるステップ54において、I−VOPのプレゼンテーショ
ン時刻が再生される。復号化されたモジュロ時刻基準増
分の合計値がローカル時刻基準レジスタに加算される。
そして、VOP時刻基準増分が、ローカル時刻基準レジス
タに加算され、I−VOPのプレゼンテーション時刻が得
られる。そして、処理はビデオ対象画復号器であるステ
ップ55に進み、そこで、ビデオ対象画が復号化される。
B−VOPに対しては、モジュロ時刻基準復号器である
ステップ52において処理が反復され、そこで、モジュロ
時刻基準増分が復号化される。復号化されるモジュロ時
刻基準増分の総数は、シンボル“0"の前に復号化される
“1"の数によって与えられる。次に、VOP時刻基準増分
が、VOP時刻基準増分復号器であるステップ53において
復号化される。時刻基準計算器であるステップ54におい
て、P−VOPのプレゼンテーション時刻が再生される。
B−VOPモジュロ時刻基準レジスタが、ローカル時刻基
準レジスタの値にセットされる。復号化されたモジュロ
時刻基準増分の合計値がローカル時刻基準レジスタに加
算される。そして、VOP時刻基準増分が、ローカル時刻
基準レジスタに加算され、P−VOPのプレゼンテーショ
ン時刻が得られる。処理はビデオ対象画復号器に進み、
そこで、ビデオ対象画が復号化される。
P−VOPに対しては、モジュロ時刻基準復号器である
ステップ52において処理が反復され、そこで、モジュロ
時刻基準増分が復号化される。復号化されるモジュロ時
刻基準増分の総数は、シンボル“0"の前に復号化される
“1"の数によって与えられる。次に、VOP時刻基準増分
が、VOP時刻基準増分復号器であるステップ53において
復号化される。時刻基準計算器であるステップ54におい
て、B−VOPのプレゼンテーション時刻が再生される。
復号化されたモジュロ時刻基準増分の合計値とVOP時刻
基準増分とが、B−VOP時刻基準レジスタに加算され、
B−VOPのプレゼンテーション時刻が得られる。B−VOP
時刻基準レジスタとローカル時刻基準レジスタのいずれ
もが変更されないままである。そして、処理はビデオ対
象画復号器に進み、そこで、ビデオ対象画が復号化され
る。
ローカル時刻基準レジスタは、次のVOPグループの始
まりを表す次のI−VOPでリセットされる。
つぎに、具体的な例を説明する。
図13を参照すると、圧縮されたデータをビットストリ
ームデータに符号化するステップの例が示される。図13
の上側の行に示されるように、圧縮されたビデオデータ
VOPは、表示順に、I1、B1、B2、P1、B3、P2の順序で一
列に並べられ、GOP(グループオブピクチャー)ヘッダ
ーがVOPグループの開始点に挿入される。表示されると
ともに、その表示が実行されるローカル時刻が、ローカ
ル時刻クロックを用いてそれぞれのVOPに関して判定さ
れる。例えば、第1のVOP(I1−VOP)は、ビデオデータ
のまさに開始点からカウントされる1時23分45秒350ミ
リ秒(1:23:45:350)に表示され、第2のVOP(B1−VO
P)は、1:23:45:750に表示され、また、第3のVOP(B2
−VOP)は、1:23:46:150に表示され、以下も同様であ
る。
VOPを符号化するためには、それぞれのVOPに表示時刻
データを挿入することが必要である。もし、時、分、
秒、およびミリ秒を含む完全な形で時刻データを挿入す
るとすれば、それぞれのVOPのヘッダー部分にかなりの
データ領域が必要である。本発明の目的は、そのような
データ領域を減少させることであり、また、それぞれの
VOPに挿入されるべき時刻データを単純化することであ
る。
図13の1番上の横列に示されるVOPのそれぞれは、ミ
リ秒からなる表示時刻データをVOP時刻増分領域に記憶
する。また、1番上の横列にあるVOPのそれぞれは、一
時的に、時、分、秒からなる表示時刻データも記憶す
る。GOPヘッダーは、第1のVOP(I1−VOP)に用いられ
る時、分、秒からなる表示データを記憶する。
図13の2番目の横列に示されるように、VOPは、バッ
ファー(図示せず)を用いて予め定められた時間だけ遅
延させられる。双方向予測方式によれば、バッファーか
らVOPが生成されるときにVOPの順序が変わるので、双方
向のVOPすなわちB−VOPは、そのB−VOPが参照するP
−VOPの後に位置すべきである。したがって、VOPは、I
1、P1、B1、B2、P2、B3の順序で一列に並べられる。
図13の3番目の横列に示されるように、時刻T1におい
て、すなわち、GOPヘッダーがまさに符号化されるとき
に、GOPヘッダーに記憶された時、分、秒のデータがそ
のままローカル時刻基準レジスタに記憶される。図13に
示される例では、ローカル時刻基準レジスタは、1:23:4
5を記憶する。そして、時刻T2よりも前において、GOPヘ
ッダーに対応するビットストリームデータが得られ、図
13の下側に示されるように時、分、秒のデータが挿入さ
れる。
そして、時刻T2において、第1のVOP(I1−VOP)が取
り込まれる。時刻符号比較器が、ローカル時刻基準レジ
スタに記憶された時刻(時、分、秒)を第1のVOP(I1
−VOP)に一時的に記憶された時刻(時、分、秒)と比
較する。この例によれば、比較結果は同じとなる。した
がって、比較器は、第1のVOP(I1−VOP)がローカル時
刻基準レジスタに保持されている秒と同じ秒において発
生したことを表す“0"を生成する。比較器によって生成
された“0"がそのまま第1のVOP(I1−VOP)のモジュロ
時刻基準領域に付与される。それと同時に、第1のVOP
(I1−VOP)に一時的に記憶された時、分、秒のデータ
は除去される。したがって、時刻T3よりも前において、
第1のVOP(I1−VOP)に対応するビットストリームデー
タが得られ、“0"がモジュロ時刻基準領域に挿入され、
“350"がVOP時刻増分領域に挿入される。
次に、時刻T3において、第2のVOP(P1−VOP)が取り
込まれる。時刻符号比較器が、ローカル時刻基準レジス
タに記憶された時刻(時、分、秒)を第2のVOP(P1−V
OP)に一時的に記憶された時刻(時、分、秒)と比較す
る。この例によれば、比較の結果は、第2のVOP(P1−V
OP)に一時的に記憶された時刻は、ローカル時刻基準レ
ジスタに記憶された時刻よりも1秒だけ大きいこととな
る。したがって、比較器は、第2のVOP(P1−VOP)がロ
ーカル時刻基準レジスタに保持されている秒の次の1秒
において発生したことを表す“10"を生成する。もし第
2のVOP(P1−VOP)が、ローカル時刻基準レジスタに保
持されている秒の次のさらにその次の秒において発生す
れば、比較器は“110"を生成する。
時刻T3よりも後において、B−VOP時刻基準レジスタ
は、時刻T3の直前にローカル時刻基準レジスタに保持さ
れている時刻と等しい時刻がセットされる。この例で
は、B−VOP時刻基準レジスタには、1:23:45がセットさ
れる。また、時刻T3よりも後において、ローカル時刻基
準レジスタは、第2のVOP(P1−VOP)に一時的に記憶さ
れている時刻に等しい時刻にインクリメントされる。し
たがって、この例においては、ローカル時刻基準レジス
タは、1:23:46にインクリメントされる。
比較器によって生成された結果として得られた“10"
がそのまま第2のVOP(P1−VOP)のモジュロ時刻基準領
域に付与される。それと同時に、第2のVOP(P1−VOP)
に一時的に記憶された時、分、秒のデータが除去され
る。したがって、時刻T4よりも前において、第2のVOP
(P1−VOP)に対応するビットストリームデータが得ら
れ、“10"がモジュロ時刻基準領域に挿入され、“550"
がVOP時刻増分領域に挿入される。
そして、時刻T4において、第3のVOP(B1−VOP)が取
り込まれる。時刻符号比較器が、B−VOP時刻基準レジ
スタに記憶された時刻(時、分、秒)を第3のVOP(B1
−VOP)に一時的に記憶された時刻(時、分、秒)と比
較する。この例によれば、比較の結果は同じとなる。し
たがって、比較器は、第3のVOP(B1−VOP)がB−VOP
時刻基準レジスタに保持されている秒と同じ秒において
発生したことを表す“0"を生成する。比較器によって生
成された結果として得られた“0"がそのまま第3のVOP
(B1−VOP)のモジュロ時刻基準領域に付与される。そ
れと同時に、第1のVOP(I1−VOP)に一時的に記憶され
た時、分、秒のデータが除去される。したがって、時刻
T5よりも前において、第3のVOP(B1−VOP)に対応する
ビットストリームデータが得られ、“0"がモジュロ時刻
基準領域に挿入され、“750"がVOP時刻増分領域に挿入
され。
そして、時刻T5において、第4のVOP(B2−VOP)が取
り込まれる。時刻符号比較器が、B−VOP時刻基準レジ
スタに記憶された時刻(時、分、秒)を第4のVOP(B2
−VOP)に一時的に記憶された時刻(時、分、秒)と比
較する。この例によれば、比較の結果は、第4のVOP(B
2−VOP)に一時的に記憶された時刻がB−VOP時刻基準
レジスタに記憶された時刻よりも1秒だけ大きいことに
なる。したがって、比較器は、第4のVOP(B2−VOP)が
B−VOP時刻基準レジスタに保持されている秒の次の1
秒において発生したことを表す“10"を生成する。
BタイプのVOPを処理している間には、どのような結
果を比較器が生成しようともそれに関係なく、ローカル
時刻基準レジスタもB−VOP時刻基準レジスタもインク
リメントされることはない。
比較器によって生成された結果として得られた“10"
がそのまま第4のVOP(B2−VOP)のモジュロ時刻基準領
域に付与される。それと同時に、第4のVOP(B2−VOP)
に一時的に記憶された時、分、秒のデータが除去され
る。したがって、時刻T6よりも前において、第4のVOP
(B2−VOP)に対応するビットストリームデータが得ら
れ、“10"がモジュロ時刻基準領域に挿入され、“150"
がVOP時刻増分領域に挿入される。
そして、時刻T6において、第5のVOP(P2−VOP)が取
り込まれる。時刻符号比較器が、ローカル時刻基準レジ
スタに記憶された時刻(時、分、秒)を第5のVOP(P2
−VOP)に一時的に記憶された時刻(時、分、秒)と比
較する。この例によれば、比較の結果は、第5のVOP(P
2−VOP)に一時的に記憶された時刻がローカル時刻基準
レジスタに記憶された時刻よりも1秒だけ大きいことに
なる。したがって、比較器は、第5のVOP(P2−VOP)が
ローカル時刻基準レジスタに保持されている秒の次の1
秒において発生したことを表す“10"を生成する。
時刻T6よりも後において、B−VOP時刻基準レジスタ
は、時刻T6の直前にローカル時刻基準レジスタに保持さ
れている時刻と等しい時刻にインクリメントされる。こ
の例においては、B−VOP時刻基準レジスタは、1:23:46
にインクリメントされる。さらに、時刻T6よりも後にお
いて、ローカル時刻基準レジスタは、第5のVOP(P2−V
OP)に一時的に記憶された時刻と等しい時刻にインクリ
メントされる。したがって、この例では、ローカル時刻
基準レジスタは、1:23:47にインクリメントされる。
比較器によって生成された結果として得られた“10"
がそのまま第5のVOP(P2−VOP)のモジュロ時刻基準領
域に付与される。それと同時に、第5のVOP(P2−VOP)
に一時的に記憶された時、分、秒のデータが除去され
る。したがって、時刻T7よりも前において、第5のVOP
(P2−VOP)に対応するビットストリームデータが得ら
れ、“10"がモジュロ時刻基準領域に挿入され、“350"
がVOP時刻増分領域に挿入される。
その後、同様の処理が実行され、それ以降のVOPに対
するビットストリームデータが形成される。
このビットストリームデータを復号化するために、上
述の処理とは逆の処理が実行される。まず最初に、GOP
ヘッダーに保持される時刻(時、分、秒)が読み込まれ
る。読み込まれた時刻は、ローカル時刻基準レジスタに
記憶される。
IタイプまたはPタイプのVOPすなわちBタイプ以外
のVOPを受けた場合、モジュロ時刻基準領域に記憶され
たデータが読み込まれる。もし読み込まれたデータが
“0"であれば、すなわち、0の前に1がなければ、ロー
カル時刻基準レジスタは変更されることはない。また、
B−VOP時刻基準レジスタも変更されることはない。も
し読み込まれたデータが“10"であれば、ローカル時刻
基準レジスタに記憶された時刻が1秒だけインクリメン
トされる。もし読み込まれたデータが“110"であれば、
ローカル時刻基準レジスタに記憶された時刻が2秒だけ
インクリメントされる。このように、インクリメントさ
れるべき秒数は、0の前に挿入された1の数によって決
定される。また、読み込まれたデータが“10"または“1
10"の場合には、メモリーであるB−VOP時刻基準レジス
タは、ローカル時刻基準レジスタがインクリメント直前
に保持していた時刻をコピーする。そして、ローカル時
刻基準レジスタに保持された時刻(時、分、秒)がVOP
時刻増分領域に保持された時刻(ミリ秒)と組み合わさ
れ、IタイプまたはPタイプのVOPが生成されるべき時
刻が確定される。
BタイプのVOPを受けた場合は、モジュロ時刻基準領
域に記憶されたデータが読み込まれる。もし読み込まれ
たデータが“0"であれば、B−VOP時刻基準レジスタに
保持された時刻(時、分、秒)がVOP時刻増分領域に保
持された時刻(ミリ秒)と組み合わされ、BタイプのVO
Pが生成されるべき時刻が確定される。もし読み込まれ
たデータが“10"であれば、B−VOP時刻基準レジスタに
保持された時刻(時、分、秒)は1秒が加算され、この
加算されて得られた時刻がVOP時刻増分領域に保持され
た時刻(ミリ秒)と組み合わされ、BタイプのVOPが生
成されるべき時刻が確定される。もし読み込まれたデー
タが“110"であれば、B−VOP時刻基準レジスタに保持
された時刻(時、分、秒)に2秒加算され、この加算さ
れて得られた時刻がVOP時刻増分領域に保持された時刻
(ミリ秒)と組み合わされ、BタイプのVOPが生成され
るべき時刻が確定される。
本発明の効果は、異なった符号器によって符号化され
たビデオ対象画を多重化することができることである。
さらに、本発明は、異なったソースから得られる圧縮デ
ータを対象画に基づいて操作して新しいビットストリー
ムを生成することを容易にする。本発明は、オーディオ
ビジュアル対象画を同期させる方法を提供する。
このように本発明が説明されたが、上述されたものは
様々な形態に変更することができる。そのような変形は
本発明の精神および範囲を逸脱するものではなく、この
分野に通常の知識を有する者には明白なように、そのよ
うな変更のすべては請求の範囲に包含されるものであ
る。
フロントページの続き (72)発明者 リー,チャク・ジュー シンガポール449287シンガポール、ラグ ナ・パーク、マリン・パレード・ロード 15−13番、ブロック5000ディ (58)調査した分野(Int.Cl.7,DB名) H04N 7/24 - 7/68

Claims (1)

    (57)【特許請求の範囲】
  1. 【請求項1】圧縮データに含まれるVOPの時刻を復号化
    する方法であって、 前記圧縮データは、1秒単位の増分を表すモジュロ時刻
    基準増分と、1秒より短い増分を表すVOP時刻基準増分
    とを含んでおり、 前記VOPの前記モジュロ時刻基準増分を復号化し、 前記VOPの前記VOP時刻基準増分を復号化し、 前記VOPの直前に復号化されたVOPの1秒単位の時刻に、
    前記復号化されたモジュロ時刻基準増分と前記復号化さ
    れたVOP時刻基準増分とを加算した結果を前記VOPの時刻
    とするVOPの時刻復号化方法。
JP50504698A 1996-07-05 1997-07-03 Vopの時刻復号化方法 Expired - Lifetime JP3186775B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP8/176430 1996-07-05
JP8-176430 1996-07-05
JP17643096 1996-07-05
PCT/JP1997/002319 WO1998002003A1 (en) 1996-07-05 1997-07-03 Method for display time stamping and synchronization of multiple video object planes

Related Child Applications (3)

Application Number Title Priority Date Filing Date
JP2000305131A Division JP3174042B6 (ja) 1996-07-05 1997-07-03 B−vopの時刻復号化方法
JP2001036898A Division JP3197264B6 (ja) 1996-07-05 1997-07-03 Vopの時刻復号化方法
JP2000305134A Division JP3769457B2 (ja) 1996-07-05 2000-10-04 ローカル時刻符号化方法

Publications (2)

Publication Number Publication Date
JPH11513222A JPH11513222A (ja) 1999-11-09
JP3186775B2 true JP3186775B2 (ja) 2001-07-11

Family

ID=16013573

Family Applications (1)

Application Number Title Priority Date Filing Date
JP50504698A Expired - Lifetime JP3186775B2 (ja) 1996-07-05 1997-07-03 Vopの時刻復号化方法

Country Status (10)

Country Link
US (6) USRE39115E1 (ja)
EP (6) EP1073278B1 (ja)
JP (1) JP3186775B2 (ja)
KR (1) KR100274434B1 (ja)
CN (5) CN1184821C (ja)
DE (5) DE69719828T2 (ja)
ES (5) ES2194801T3 (ja)
SG (1) SG90765A1 (ja)
TW (1) TW359918B (ja)
WO (1) WO1998002003A1 (ja)

Families Citing this family (61)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL167288A (en) 1997-04-01 2012-03-29 Sony Corp Image encryption device, image encryption method, image decryption device, image decryption method, and appropriate medium
WO1999021367A1 (en) * 1997-10-20 1999-04-29 Mitsubishi Denki Kabushiki Kaisha Image encoder and image decoder
DE19746611A1 (de) * 1997-10-22 1999-04-29 Bosch Gmbh Robert Verfahren zur Verbesserung der Konturcodierung von Bildsequenzen sowie Anwendung
JP2000013790A (ja) * 1998-06-19 2000-01-14 Sony Corp 画像符号化装置および画像符号化方法、画像復号装置および画像復号方法、並びに提供媒体
JP4109772B2 (ja) * 1998-12-03 2008-07-02 キヤノン株式会社 データ処理方法及びその装置
ID24586A (id) * 1998-12-21 2000-07-27 Matsushita Electric Industrial Co Ltd Perangkat dan metode penyelarasan waktu dengan menggunakan modul basis waktu dan resolusi peningkatan waktu
US6299998B1 (en) * 1999-03-15 2001-10-09 Reveo, Inc. Movable anode fuel cell battery
US6633339B1 (en) * 1999-03-31 2003-10-14 Matsushita Electric Industrial Co., Ltd. Method and device for seamless-decoding video stream including streams having different frame rates
WO2002008948A2 (en) 2000-07-24 2002-01-31 Vivcom, Inc. System and method for indexing, searching, identifying, and editing portions of electronic multimedia files
US7024097B2 (en) * 2000-08-15 2006-04-04 Microsoft Corporation Methods, systems and data structures for timecoding media samples
WO2002015591A1 (en) * 2000-08-16 2002-02-21 Koninklijke Philips Electronics N.V. Method of playing multimedia data
JP2004507172A (ja) * 2000-08-16 2004-03-04 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ マルチメディアアプリケーションを再生する方法
JP4208398B2 (ja) * 2000-10-05 2009-01-14 株式会社東芝 動画像復号再生装置、動画像復号再生方法及びマルチメディア情報受信装置
US20020089602A1 (en) * 2000-10-18 2002-07-11 Sullivan Gary J. Compressed timing indicators for media samples
US6970506B2 (en) * 2001-03-05 2005-11-29 Intervideo, Inc. Systems and methods for reducing frame rates in a video data stream
US20020145622A1 (en) * 2001-04-09 2002-10-10 International Business Machines Corporation Proxy content editing system
US7280738B2 (en) * 2001-04-09 2007-10-09 International Business Machines Corporation Method and system for specifying a selection of content segments stored in different formats
US6870887B2 (en) * 2001-04-09 2005-03-22 International Business Machines Corporation Method and system for synchronization between different content encoding formats
US6662176B2 (en) * 2001-05-07 2003-12-09 Hewlett-Packard Development Company, L.P. Database indexing and rolling storage method for time-stamped normalized event data
US20050075929A1 (en) * 2002-10-17 2005-04-07 Wolinsky Robert I. System and method for partitioning airtime for distribution and display of content
US7614065B2 (en) * 2001-12-17 2009-11-03 Automated Media Services, Inc. System and method for verifying content displayed on an electronic visual display
US20030229549A1 (en) 2001-10-17 2003-12-11 Automated Media Services, Inc. System and method for providing for out-of-home advertising utilizing a satellite network
EP1328127A1 (de) * 2002-01-09 2003-07-16 Beta Research GmbH Simultaneinspeisung und Synchronisation von Audio und Videodaten
EP1468567B1 (en) * 2002-01-22 2006-12-13 Microsoft Corporation Methods for start code emulation prevention and data stuffing
US7149247B2 (en) 2002-01-22 2006-12-12 Microsoft Corporation Methods and systems for encoding and decoding video data to enable random access and splicing
US7248740B2 (en) * 2002-04-19 2007-07-24 Microsoft Corporation Methods and systems for preventing start code emulation at locations that include non-byte aligned and/or bit-shifted positions
US7088776B2 (en) * 2002-07-15 2006-08-08 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
AU2013204743B2 (en) * 2002-07-15 2016-05-19 Apple Inc Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding
AU2008201106C1 (en) * 2002-07-15 2011-06-09 Apple Inc. Method and bitstream for variable accuracy inter-picture timing specification for digital video encoding
US6728315B2 (en) 2002-07-24 2004-04-27 Apple Computer, Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US8254461B2 (en) 2002-07-24 2012-08-28 Apple Inc. Method and apparatus for variable accuracy inter-picture timing specification for digital video encoding with reduced requirements for division operations
US7613630B2 (en) * 2002-10-17 2009-11-03 Automated Media Services, Inc. System and method for editing existing footage to generate and distribute advertising content to retail locations
EP1487214A1 (en) * 2003-06-11 2004-12-15 Digital Multimedia Technologies S.P.A. A method and a system for synchronizing MHP applications in a data packet stream
US20050002459A1 (en) * 2003-07-04 2005-01-06 Protocom Technology Corporation Method for determining display order of VOPs in decoder end of MPEG image system and device for executing the same
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7839930B2 (en) * 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US7609762B2 (en) 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
CN100551038C (zh) * 2004-04-15 2009-10-14 松下电器产业株式会社 内容生成装置以及方法
ATE376330T1 (de) * 2004-07-22 2007-11-15 Harman Becker Automotive Sys Datenübertragungssynchronisationsschema
US8228956B2 (en) * 2005-04-19 2012-07-24 Alcatel Lucent Time stamp offset in data packet bundling
US8315308B2 (en) * 2006-01-11 2012-11-20 Qualcomm Incorporated Video coding with fine granularity spatial scalability
WO2007112447A2 (en) * 2006-03-28 2007-10-04 Motionbox, Inc. A system for individual and group editing of networked time-based media
US9812169B2 (en) * 2006-03-28 2017-11-07 Hewlett-Packard Development Company, L.P. Operational system and architectural model for improved manipulation of video and time media data from networked time-based media
US8443276B2 (en) * 2006-03-28 2013-05-14 Hewlett-Packard Development Company, L.P. System and data model for shared viewing and editing of time-based media
CA2647617A1 (en) * 2006-03-28 2007-11-08 Motionbox, Inc. System and method for enabling social browsing of networked time-based media
WO2008060655A2 (en) * 2006-03-29 2008-05-22 Motionbox, Inc. A system, method, and apparatus for visual browsing, deep tagging, and synchronized commenting
EP1855402A1 (en) * 2006-05-11 2007-11-14 Koninklijke Philips Electronics N.V. Transmission, reception and synchronisation of two data streams
JP4607856B2 (ja) * 2006-12-26 2011-01-05 富士通株式会社 符号化復号システム及び符号化復号方法
US7765315B2 (en) * 2007-01-08 2010-07-27 Apple Inc. Time synchronization of multiple time-based data streams with independent clocks
MX2009006990A (es) * 2007-03-08 2009-08-13 Ericsson Telefon Ab L M Busqueda y sincronizacion usando tiempo de escena global.
US20100274820A1 (en) * 2007-03-28 2010-10-28 O'brien Christopher J System and method for autogeneration of long term media data from networked time-based media
KR101372418B1 (ko) * 2007-10-19 2014-03-12 (주)휴맥스 비트스트림 디코딩 장치 및 방법
US20090204479A1 (en) * 2008-02-08 2009-08-13 Automated Media Services, Inc. System and method for creating an in-store media network using traditional media metrics
US9060201B2 (en) * 2008-10-28 2015-06-16 Cisco Technology, Inc. Stream synchronization for live video encoding
US20100225811A1 (en) * 2009-03-05 2010-09-09 Nokia Corporation Synchronization of Content from Multiple Content Sources
JP6605789B2 (ja) 2013-06-18 2019-11-13 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカ 送信方法、受信方法、送信装置、および、受信装置
US10779057B2 (en) 2015-06-08 2020-09-15 Qualcomm Incorporated Broadcast content redistribution and ad insertion
US10271069B2 (en) 2016-08-31 2019-04-23 Microsoft Technology Licensing, Llc Selective use of start code emulation prevention
US10694227B2 (en) * 2017-01-13 2020-06-23 Panasonic Intellectual Property Management Co., Ltd. Video transmission system and video transmission method

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3364281B2 (ja) 1993-07-16 2003-01-08 パイオニア株式会社 時分割ビデオ及びオーディオ信号の同期方式
US5467139A (en) 1993-09-30 1995-11-14 Thomson Consumer Electronics, Inc. Muting apparatus for a compressed audio/video signal receiver
US5430485A (en) 1993-09-30 1995-07-04 Thomson Consumer Electronics, Inc. Audio/video synchronization in a digital transmission system
GB9424429D0 (en) 1994-12-02 1995-01-18 Philips Electronics Uk Ltd Audio/video timing discrepancy management
US5953073A (en) * 1996-07-29 1999-09-14 International Business Machines Corp. Method for relating indexing information associated with at least two indexing schemes to facilitate the play-back of user-specified digital video data and a video client incorporating the same
US5784422A (en) * 1996-08-05 1998-07-21 Transcrypt International, Inc. Apparatus and method for accurate synchronization with inbound data packets at relatively low sampling rates

Also Published As

Publication number Publication date
DE69719828T2 (de) 2003-12-24
USRE38875E1 (en) 2005-11-15
HK1060463A1 (en) 2004-08-06
ES2158570T3 (es) 2001-09-01
HK1016390A1 (en) 1999-10-29
EP0864228B1 (en) 2001-04-04
HK1016392A1 (en) 1999-10-29
DE69704481T2 (de) 2001-10-31
ES2291563T3 (es) 2008-03-01
EP1073278A1 (en) 2001-01-31
US6075576A (en) 2000-06-13
CN1197579A (zh) 1998-10-28
CN1292598C (zh) 2006-12-27
KR19990044406A (ko) 1999-06-25
DE69707720T2 (de) 2002-08-08
ES2166746T3 (es) 2002-05-01
ES2194801T3 (es) 2003-12-01
CN1152579C (zh) 2004-06-02
EP1073278B1 (en) 2001-10-31
EP1343330B1 (en) 2007-08-15
EP1073277A1 (en) 2001-01-31
USRE38923E1 (en) 2005-12-20
USRE40664E1 (en) 2009-03-17
JPH11513222A (ja) 1999-11-09
CN1148971C (zh) 2004-05-05
DE69738035D1 (de) 2007-09-27
DE69707929T2 (de) 2002-06-20
EP0864228A1 (en) 1998-09-16
EP1343330A2 (en) 2003-09-10
CN1184821C (zh) 2005-01-12
USRE39344E1 (en) 2006-10-17
WO1998002003A1 (en) 1998-01-15
TW359918B (en) 1999-06-01
DE69738035T2 (de) 2008-04-30
SG90765A1 (en) 2002-08-20
KR100274434B1 (ko) 2000-12-15
CN1364032A (zh) 2002-08-14
DE69704481D1 (de) 2001-05-10
EP1343330A3 (en) 2006-05-10
DE69707929D1 (de) 2001-12-06
CN1620149A (zh) 2005-05-25
ES2169019T3 (es) 2002-07-01
EP1111933B1 (en) 2003-03-12
CN1347251A (zh) 2002-05-01
EP1111933A1 (en) 2001-06-27
DE69719828D1 (de) 2003-04-17
HK1075345A1 (en) 2005-12-09
CN1107418C (zh) 2003-04-30
DE69707720D1 (de) 2001-11-29
USRE39115E1 (en) 2006-06-06
EP1111934A1 (en) 2001-06-27
EP1111934B1 (en) 2001-10-24
CN1347250A (zh) 2002-05-01

Similar Documents

Publication Publication Date Title
JP3186775B2 (ja) Vopの時刻復号化方法
JP4700762B2 (ja) メディアサンプルを処理する方法
EP1443770A2 (en) Encoder and method for encoding
JP3174042B2 (ja) B−vopの時刻復号化方法
JP3769457B2 (ja) ローカル時刻符号化方法
JP3197264B2 (ja) Vopの時刻復号化方法
JP3197264B6 (ja) Vopの時刻復号化方法
JP3174042B6 (ja) B−vopの時刻復号化方法
JP3401505B2 (ja) Vopの時刻符号化方法
JP3421024B2 (ja) Vopの時刻復号化方法
KR20030082117A (ko) 디지털 방송 수신기에서의 오디오/비디오 립 싱크 제어 방법
HK1016390B (en) Method for display time stamping and synchronization of multiple video object planes
HK1016392B (en) Method for display time stamping and synchronization of multiple video object planes
HK1060463B (en) Method for display time stamping and synchronization of multiple video object planes
KR20080111439A (ko) 스틸 이미지 변환 방법 및 시스템
MXPA00004884A (en) Apparatus and method for time stamping using modulo time base and time increment resolution

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090511

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100511

Year of fee payment: 9

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110511

Year of fee payment: 10

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120511

Year of fee payment: 11

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 12

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130511

Year of fee payment: 12

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

EXPY Cancellation because of completion of term