JP2001094941A

JP2001094941A - 圧縮画像処理装置及び圧縮画像処理方法

Info

Publication number: JP2001094941A
Application number: JP27240899A
Authority: JP
Inventors: Chun Woei Teo; Yang Kum Yuen Ronnie
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1999-09-27
Filing date: 1999-09-27
Publication date: 2001-04-06

Abstract

(57)【要約】【課題】あらゆる異なる順序のビットストリームピク
チャ配列を正しく取り扱え、かつ使用するフレームメモ
リ数を最小限に抑えることができる圧縮画像処理装置及
び方法を提供する。【解決手段】３つのフレームメモリを備え、Ｉピクチ
ャ又はＰピクチャは第１又は第２のフレームメモリに格
納し、Ｂピクチャは第３のフレームメモリに格納し、Ｂ
ピクチャは最優先で出力する。第３のフレームメモリに
Ｂピクチャが格納されていない場合には、第１又は第２
のフレームメモリに格納されている最古の未出力のＩ又
はＰピクチャを出力する。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、Ｉピクチャ・Ｐピ
クチャ・Ｂピクチャの各圧縮データを前方・後方・両方
向の各予測マクロブロックの復号時に参照されるピクチ
ャが時間的に先行するように配列したビットストリーム
から各ピクチャの画像データを復号して表示順に出力す
る装置及び方法に関する。

【０００２】そして、本発明は、メモリが高価な資源で
ある場合や画像の再生が急に開始される場合に特に有用
である。

【０００３】

【従来の技術】画像圧縮規格である、ＭＰＥＧ（Ｍovin
g Ｐicture Ｅxpert Ｇroup）１及びＭＰＥＧ２は３タ
イプのピクチャから構成される。各ピクチャタイプは異
なる目的に供せられ、異なる圧縮率で符号化される。

【０００４】Ｉピクチャ（intra-coded picture）は、
他のピクチャを参照することなしに符号化されるもので
ある。すなわち、動き補償予測を使わずに、１画面内で
閉じた情報による符号化のみで行うものである。そのた
め、最も低い圧縮率である一方、他のピクチャタイプの
画像と比べて最良の画質を有する。

【０００５】Ｐピクチャ(predictive-coded picture)
は、過去のＩピクチャあるいはＰピクチャからの一方向
の動き補償予測を用いるものである。

【０００６】また、Ｂピクチャ(bi-directionally pict
ure)は、過去及び未来のピクチャを用いた双方向予測を
用いるものである。なお、Ｂピクチャは最も少ない情報
でコード化されているため、最も画質が悪い。

【０００７】画像シーケンスは、通常、Ｉピクチャ、Ｐ
ピクチャ及びＢピクチャが混在している。そして、圧縮
率と、Ｉピクチャ、Ｐピクチャ及びＢピクチャの配列と
が、要望されるデータ圧縮量と同様に画像の内容に依存
している。

【０００８】符号化された画像データファイルに格納さ
れた個々のピクチャはビットストリーム配列とされる。
この配列は、画像デコーダが符号化された画像データを
受けて処理する配列である。

【０００９】画像シーケンスがＩピクチャとＰピクチャ
のみから構成されている場合、デコーダは各々のピクチ
ャを処理して、ファーストイン・ファーストアウトの形
式で出力デバイスに復元されたピクチャとして伝送す
る。

【００１０】時として、ビットストリーム配列が表示配
列と異なる場合がある。これは、Ｂピクチャが存在して
いるときである。Ｂピクチャは過去及び未来の比較ピク
チャからの情報を要求するため、比較する未来ピクチャ
はＢピクチャが復元可能となる前にデコーダに第一に到
着しなければならない。

【００１１】しかしながら、Ｂピクチャは比較すべき未
来ピクチャより前に表示されるので、画像デコーダによ
り受けたピクチャデータは正しい表示配列に再配列され
なければならない。比較する未来ピクチャは、全ての連
続したＢピクチャがデコードされて初めて出力デバイス
に出力されることになる。

【００１２】次に、ビットストリーム配列から表示配列
への典型的な変換を示す。

【００１３】以下は、ピクチャの到着順序を示してい
る。

【００１４】ビットストリームピクチャ順序：Ｉ1Ｐ2Ｂ
3Ｂ4Ｐ5Ｂ6Ｂ7Ｐ8Ｂ9…表示ピクチャ順序：Ｉ1Ｂ3Ｂ4Ｐ
2Ｂ6Ｂ7Ｐ5Ｂ9…ピクチャ表示配列はピクチャ層の暫定
的な比較フィールドから得られる。

【００１５】１０ビット（１０２４）整数が表示配列と
なるように順番にピクチャに割り当てられる。暫定的な
比較は、ピクチャグループの最初のピクチャで０にリセ
ットされる。

【００１６】こうして、表示されなければならない配列
が定義される。画像は表示配列ではなく、デコーダがデ
コードするのに必要な配列で伝送される方が有用であ
る。

【００１７】ピクチャの暫定的な比較とは無関係に表示
配列を発生させる方法がいくつかある。

【００１８】第１の方法は、米国特許第5,621,464号に
示されるようなもので、暫定的な比較フィールドを使わ
ずにピクチャの再配列を行うやり方である。

【００１９】図１では、画像シーケンスのビットストリ
ーム配列がＩ1Ｐ2Ｂ3Ｂ4Ｐ5Ｂ6Ｂ7Ｐ8の場合を示してい
る。４つのフレームメモリを使い、各フレームメモリは
十分に復号化されたピクチャを蓄積できるメモリブロッ
クである。最初の２つのメモリはＩピクチャかＰピクチ
ャかを蓄積し、他方、残りの２つのメモリはＢピクチャ
のみを蓄積する。しかしながら、この場合、最初のピク
チャが出力デバイスに送られる前に３つのピクチャ表示
期間分の遅延が発生してしまう。

【００２０】第２の方法は、米国特許第5,398,072号に
示されるものである。しかし、その中では、ピクチャの
再構成及び再配列には３つのフレームメモリだけを使う
ことが述べられているにすぎない。

【００２１】第３の方法は、別のピクチャを再配列する
方法として、３つのフレームメモリだけを用いて、最初
のピクチャが表示デバイスに送られるまでの遅延時間を
短くするやり方がある。この方法は、米国特許第5,621,
464号に記述されている。

【００２２】具体的には、入ってくるピクチャを蓄積す
るために選択されるフレームメモリ、また再配列された
ピクチャを出力するために選択されるフレームメモリを
決定する異なるアルゴリズムを使っている。ただし、こ
の方法では、前述した方法と異なり、各フレームメモリ
は保持するピクチャタイプについては何ら制限がない。

【００２３】符号化された画像シーケンスがＩピクチャ
のみ、あるいはＩピクチャとＰピクチャから構成される
場合は、ビットストリームシーケンスは表示配列と同じ
であるため、再配列の必要はない。

【００２４】図２にはＩ1Ｐ2Ｐ3Ｐ4Ｉ5Ｐ6Ｐ7Ｐ8の画像
シーケンスの場合が示されている。３つのフレームメモ
リはファーストイン・ファーストアウト・バッファとし
て、まとまって機能する。受け取った最初のピクチャは
フレームメモリ１に書き込まれ、同時に表示デバイスに
よりフレームメモリ２から空データが読み出される。Ｉ
ピクチャとＰピクチャとは平等に取扱われる。次のピク
チャ期間では、第２の入力ピクチャがフレームメモリ２
に置かれ、フレームメモリ３からは空データが読み出さ
れる。

【００２５】そして、画像シーケンス全体でこのような
巡回動作が継続される。最初のピクチャが出力デバイス
に送られるまでに２ピクチャ期間の遅延が発生する。

【００２６】すなわち、各ピクチャは読み出されるまで
の２ピクチャ期間の間、各フレームメモリに止まってい
ることになる。

【００２７】次に入ってくるピクチャデータを３つのフ
レームメモリのうちどのフレームメモリで受けとるかの
判断基準は、ピクチャを一度読み出された有効データを
各フレームメモリがもはや保持していないか否かに基づ
く。保持していないフレームメモリは、次に入ってくる
ピクチャを蓄積する候補のフレームメモリとなる。他
方、出力デバイスが次のピクチャを獲得すべきフレーム
メモリを選択することはファーストイン・ファーストア
ウトに基づく。従って、読み出されていないフレームメ
モリの中の最も古いピクチャが次に表示されることにな
る。

【００２８】この方法は、Ｂピクチャを含む画像シーケ
ンスも処理することができる。

【００２９】Ｂピクチャは過去及び未来の比較ピクチャ
から情報を引き出すため、使用される再配列のやり方は
異なるものとなる。そのやり方は、ＩピクチャとＰピク
チャ（過去のピクチャと比較するだけのＰピクチャ）と
のみを含む画像シーケンスとは対照的である。

【００３０】Ｂピクチャが再構成されるより前に、その
過去及び未来の比較ピクチャは既にそのほかのフレーム
メモリに存在しなければならない。それゆえ、過去及び
未来の比較ピクチャはビットストリームピクチャ配列で
先行していなければならない。しかし、Ｂピクチャは比
較未来ピクチャより前に表示デバイスに送られるもので
ある。

【００３１】図３は、Ｉピクチャ、Ｐピクチャ及びＢピ
クチャが混合した典型的な画像シーケンスに対して、再
配列するメカニズムを示したものである。ビットストリ
ームピクチャ配列は、Ｉ1Ｐ2Ｂ3Ｂ4Ｐ5Ｂ6Ｂ7Ｐ8であ
る。

【００３２】最初の２つ、ＩピクチャとＰピクチャは前
述と同様に取扱われる。次にＢピクチャが配される予定
のフレームメモリは、タグが付けられる。このタグはこ
の特殊なフレームメモリの中のＢピクチャが次のピクチ
ャ期間に読み出されることを示すのに使われる。例え
ば、その次に入ってくるピクチャもまたＢピクチャタイ
プである場合、そのピクチャを保持する予定のフレーム
メモリもまたタグが付けられる。そして、最初のＢピク
チャが読み出された後に出力デバイスに送られる。この
方法を用いたピクチャ再配列の例を図４に示す。用いら
れている画像シーケンスはＩ1Ｐ2Ｂ3Ｐ4Ｂ5Ｐ6Ｂ7Ｐ8で
ある。

【００３３】入ってくるピクチャを蓄積するためのフレ
ームメモリを選択するのは、Ｂピクチャがなければ画像
シーケンスに使われているものと同じである。Ｂピクチ
ャは常にフレームメモリに蓄積されて１ピクチャ期間後
読み出される。

【００３４】従って、Ｂピクチャは１ピクチャ期間だけ
フレームメモリに保持されることになる。続いて入って
くるピクチャがＩタイプまたはＰタイプであれば、Ｂピ
クチャが読み出された後にフレームメモリ内の最も古い
未読み出しのＩ又はＰピクチャが表示のために選ばれる
ことになる。

【００３５】しかし、この方法では、ビットストリーム
の中にＢピクチャが最大２連続を越えるＢピクチャの場
合については開示されていない。それ故、この再配列の
やり方は、最大２連続のＢピクチャを想定して用いられ
るロジックであり、Ｂピクチャが２連続を越える場合は
うまくいかないことが予想される。

【００３６】

【発明が解決しようとする課題】Ｉ又はＰピクチャのみ
を含む符号化された画像ビットストリームは、ビットス
トリーム内で構成されるピクチャの順序はピクチャが表
示される順序と同じであるので、ピクチャの再配列を必
要としない。

【００３７】しかし、Ｂピクチャが有れば、ビットスト
リームピクチャ配列と異なる表示配列となる。これは、
Ｂピクチャが再構成されるより前に、過去と未来両方の
比較ピクチャを必要とするためである。

【００３８】そのため、たとえＢピクチャが画像再生中
に最初に現れるときであっても、符号化されたビットス
トリーム内のＢピクチャより先行してＢピクチャの未来
比較ピクチャが必要とされるのである。

【００３９】ピクチャ再配列の現在の解決策として、４
つのメモリブロックが利用されている。各ブロックは１
つの復号化されたピクチャを十分蓄積することができる
ものである。１ブロックあたりに割り当てられるメモリ
量は復号化されるピクチャのサイズにより決められる。
なお、メモリが貴重なリソースであるような場合は、メ
モリの分配及び使用を最適にする必要がある。

【００４０】ピクチャを再配列するために現在使われて
いる前述の方法では、復号化の着手から、最初に再構成
されたピクチャが出力デバイスに送られるまでに２〜４
ピクチャ期間の長い遅延を生んでしまうことになる。再
配列のやり方はこのように遅延に直接的に影響するので
ある。

【００４１】また、これらの再配列方法では、あらゆる
異なる順序のビットストリームピクチャ配列を正しく取
り扱えないものもあり、異なるタイプのビットストリー
ムシーケンスを取り扱うには不十分である。特に、ビッ
トストリーム内に２つ以上連続するＢピクチャが存在す
るときは、うまくいかないものがある。

【００４２】そこで、本発明は、あらゆる異なる順序の
ビットストリームピクチャ配列を正しく取り扱え、かつ
使用するフレームメモリ数を最小限に抑えることができ
る圧縮画像処理装置及び圧縮画像処理方法を提供するこ
とを目的とする。

【００４３】

【課題を解決するための手段】上記課題を解決するため
に、本発明の圧縮画像処理装置は、Ｉピクチャ・Ｐピク
チャ・Ｂピクチャの各圧縮データを前方・後方・両方向
の各予測マクロブロックの復号時に参照されるピクチャ
が時間的に先行するように配列したビットストリームか
ら各ピクチャの画像データを復号して表示順に出力する
装置であって、Ｉピクチャ又はＰピクチャを格納する第
１及び第２フレームメモリと、Ｂピクチャを格納する第
３のフレームメモリとを有する。そして、Ｉピクチャ又
はＰピクチャを前記第１のフレームメモリ、前記第２の
フレームメモリのいずれかに交互に格納し、最も古く格
納され未出力のＩピクチャ又はＰピクチャを前記第１又
は第２のフレームメモリから出力する。

【００４４】前記第３のフレームメモリに格納されてい
るＢピクチャは、前記第１又は第２のフレームメモリに
格納されたＩ又はＰピクチャに比べて、優先して出力す
る。

【００４５】また、前記第３のフレームメモリに未出力
のＢピクチャが存在しないときに限り、最も古く格納さ
れ未出力のＩピクチャ又はＰピクチャを前記第１または
第２のフレームメモリから出力する。

【００４６】上記手段によって、復号化の開始から完全
に復号化されたピクチャが出力デバイスで利用可能にな
るまで１ピクチャ期間の遅延に抑えることができる。

【００４７】

【発明の実施の形態】以下、本発明の一実施の形態につ
いて説明する。

【００４８】本発明は、Ｉピクチャ、Ｐピクチャ、Ｂピ
クチャのあらゆる種類のピクチャタイプを取り扱うこと
ができる万能なピクチャ再配列アルゴリズムである。

【００４９】そして、第１のピクチャ期間が終われば、
すぐ第１のピクチャを利用可能であり、かつ３つのフレ
ームメモリしか必要としない。

【００５０】３つのフレームメモリはFrame０，Frame
１、Frame２で示されている。Ｉピクチャだけ、又はＩ
ピクチャとＰピクチャとだけで構成される画像シーケン
スの場合、Frame０とFrame１だけが使われる。Frame２
はＢピクチャのためだけに確保されている。

【００５１】以下に、２つの画像シーケンスの例を示
す。

【００５２】ビットストリームピクチャシーケンス１：Ｉ1Ｉ2Ｉ3Ｉ4Ｉ5 表示ピクチャシーケンス１：Ｉ1Ｉ2Ｉ3Ｉ4Ｉ5 ビットストリームピクチャシーケンス２：Ｉ1Ｐ2Ｐ3Ｐ4Ｐ5 表示ピクチャシーケンス２：Ｉ1Ｐ2Ｐ3Ｐ4Ｐ5 ビットストリームシーケンス１の第１のピクチャＩ1はF
rame０に蓄積され、他方第２のピクチャはFrame１に蓄
積される。このとき、Frame０のピクチャＩ１が最古の
未送ピクチャであり、それ故、出力デバイスに配送され
る。Frame０はその時点で終了したデータを含むので、
第３のピクチャＩ３はFrame０に送られる。

【００５３】次に入ってくる複数のＩピクチャはFrame
０とFrame１に交互に保存される。再配列されたピクチ
ャデータが一方のフレームメモリに保存され、同時に他
方のフレームメモリのピクチャデータが読み出される。
そのアルゴリズムはＩピクチャとＰピクチャとを等しく
取り扱う。

【００５４】従って、画像シーケンス２のピクチャの扱
い方は、画像シーケンス１と同様となる。そして、ピク
チャの再配列が実際に行われることはなく、表示配列は
ビットストリーム配列と同じである。

【００５５】Frame２はＢピクチャを蓄積するために唯
一存在する。Ｂピクチャを含む画像シーケンスにより使
われる。そして、そのアルゴリズムはいくつ連続したＢ
ピクチャの画像シーケンスであっても、正しく取り扱う
ものである。以下に３つの画像シーケンスを示す。

【００５６】ビットストリームピクチャシーケンス３：Ｉ0Ｐ1Ｂ2Ｂ3Ｐ4Ｂ5Ｂ6 表示ピクチャシーケンス３：Ｉ0Ｂ2Ｂ3Ｐ1Ｂ5Ｂ6Ｐ4 ビットストリームピクチャシーケンス４：Ｉ0Ｂ1Ｂ2Ｐ3Ｂ4Ｂ5Ｐ6 表示ピクチャシーケンス４：Ｂ1Ｂ2Ｉ0Ｂ4Ｂ5Ｐ3Ｂ7 ビットストリームピクチャシーケンス５：Ｉ0Ｐ1Ｂ2Ｂ3Ｂ4Ｂ5Ｂ6 表示ピクチャシーケンス５：Ｉ0Ｂ2Ｂ3Ｂ5Ｐ1Ｂ7 Frame０とFrame1にＩピクチャとＰピクチャを割り当て
る方法は上述したものと同様である。再構成されたＢピ
クチャは常にFrame２に蓄積される。それらＢピクチャ
がFrame０とFrame１の過去と未来の比較ピクチャから情
報を得るからである。

【００５７】再配列した後、Ｂピクチャは同じピクチャ
期間内にただちに出力デバイスに送られる。続くピクチ
ャ期間においてFrame２を次のＢピクチャが占めること
を許しているのである。連続するＢピクチャの最後のＢ
ピクチャは読み出された後、Frame０又はFrame１の最古
の未読み出しのＩピクチャ又はＰピクチャが出力デバイ
スに送られる。

【００５８】すなわち、最初のピクチャはその最初のピ
クチャ期間後に出力できるようになっている。このピク
チャ再配列のやり方を示すブロック図を図５に示す。

【００５９】この方法は、あらゆるピクチャを正しく再
配列する上で、シンプルかつ効果的である。

【００６０】（実施例）次に図５〜図７を用いて本発明
の具体的な実施例を説明する。

【００６１】図５はピクチャ再配列のメカニズムを示す
ブロック図、図６はフレーム選択の詳細を説明するため
の図、図７は再配列の詳細を示すフローチャートであ
る。

【００６２】各ピクチャ期間の終わりに、フレームメモ
リ１１は、再配列される次のピクチャを保持するべく選
択される。他のフレームメモリ１１もまた出力デバイス
にピクチャデータを解放するように選ばれる。

【００６３】このフレームメモリ選択のメカニズム１３
は入ってくるピクチャタイプにより駆動される。Ｉピク
チャ、Ｐピクチャ、Ｂピクチャのいかなる組み合わせも
取り扱うことができるものである。

【００６４】以下に、ＩピクチャとＰピクチャのみを含
む画像シーケンスに適用した例を示す。

【００６５】最初に入ってきたＩピクチャを受けたと
き、ＩＰ入力選択器２６はフレーム０（２０）のポイン
トにつながれる。これはフレーム０（２０）がＩピクチ
ャを蓄積するメモリフレームであることを示す。一方
で、ＩＰＢ出力選択器２７はフレーム１（２１）のポイ
ントにつながれる。こうして、フレーム１（２１）内の
データが出力デバイスに送られることになる。

【００６６】ピクチャ期間が移り変わるときに、入って
くるピクチャタイプが調べられる。もし、続くピクチャ
がＩピクチャ又はＰピクチャであれば、ＩＰ入力選択器
２６の位置はフレーム１（２１）のポイントにつながれ
る。

【００６７】こうして、２番目のピクチャがフレーム１
（２１）に運ばれる。同時に、ＩＰＢ出力選択器２７は
フレーム０（２０）に切り替えられる。このようにし
て、最初のＩピクチャが出力デバイスに送られる。復号
化の開始から最初のＩピクチャの表示デバイスへの到達
に要する時間はたった１ピクチャ期間である。

【００６８】フレーム０とフレーム１におけるＩピクチ
ャとＰピクチャの入出力のフレーム選択を行うロジック
は波形２４，２５とインバータ２３で表現される。

【００６９】波形２４は入ってくるＩピクチャ又はＰピ
クチャが蓄積されるべきフレーム番号を示し、波形２５
によってピクチャデータを送り出すフレーム番号が示さ
れる。入力と出力に選択されるフレームは、Ｉピクチャ
とＰピクチャのみからなる画像シーケンスでは常に相反
している。このロジックはインバータ２３により表現さ
れる。従って、ＩＰ入力選択器２６はフレーム０（２
０）とフレーム１（２１）の間で切り替えられ、ＩＰＢ
出力選択器２７はフレーム１（２１）とフレーム０（２
０）との間で切り替えられる。その再配列のメカニズム
は表１及び表２に示す通りである。

【００７０】

【表１】

【００７１】

【表２】

【００７２】続いて、Ｉピクチャ、Ｐピクチャ、及びＢ
ピクチャが混在している画像シーケンスへの適用例につ
いて説明する。Ｂピクチャが存在するとき、フレーム２
（２２）は再配列されるＢピクチャを蓄積するために用
意される。ＩピクチャとＰピクチャと違って、Ｂピクチ
ャには入力選択器はない。全てのＢピクチャは自動的に
フレーム２（２２）に切り替えられる。フレーム０とフ
レーム１はＢピクチャの発生のために必要な過去と未来
の比較ピクチャを含んでいる。ピクチャ期間の終わり
に、ＩＰＢ出力選択器はフレーム２（２２）に切り替え
られ、フレーム２（２２）は出力へ選択される。

【００７３】例えば、画像シーケンスI0P1B2B3P4を使う
場合、ＩＰ入力選択器２６により示されるように、遭遇
した最初のＩ０ピクチャはフレーム０（２０）に蓄積さ
れる。同時に出力データを送るためにフレーム１（２
１）はＩＰＢ出力選択器２７により選択される。続くＰ
１ピクチャが受け入れられたとき、フレームメモリの入
力選択器２６と出力選択器２７はインバータロジック２
３により交換される。このことにより、Ｐ１ピクチャは
フレーム１（２１）に配され、フレーム０（２０）内の
最初のＩ０ピクチャは送り出される。

【００７４】次のＢ２ピクチャはＩＰ入力選択器２６を
無効にし、ＩＰＢ出力選択器２７をフレーム２（２２）
の位置に切り替える。Ｂ２ピクチャは自動的にフレーム
２（２２）に蓄積され、同じピクチャ期間で送り出され
る。

【００７５】次のＢ３ピクチャが受け入れられたとき、
フレーム２（２２）はＢ３ピクチャを蓄積し、送り出す
ために再度使われる。

【００７６】次のＰ４ピクチャはＩＰ入力選択器２６を
再開させる。ＩＰ入力選択器２６は、一連のＢピクチャ
の到着より先に送られたデータを保持するフレームメモ
リであって、使用済みのデータを有するフレームメモリ
につなぐ。従って、フレーム１（２１）内のＰ１ピクチ
ャが出力デバイスに送られている間に、フレーム０（２
０）はＰ４ピクチャを受け取ることになる。ＩＰＢ出力
選択器２７は常にＩＰ入力選択器２６に関して相反する
フレームメモリにつながるのである。

【００７７】上記記載は、ビットストリーム画像シーケ
ンスをI0P1B2B3P4から表示配列I0B2B3P1B5に変換する再
配列プロセスを説明するものである。

【００７８】（表３）から（表５）はＢピクチャを含む
他のビットストリームシーケンスにおける再配列メカニ
ズムを示している。

【００７９】

【表３】

【００８０】

【表４】

【００８１】

【表５】

【００８２】その再配列プロセスはまた、図７に示すよ
うにフローチャートを用いて表現され得る。

【００８３】変数Ｘはフレーム番号を示すのに用いられ
る。フレーム０とフレーム１をそれぞれ示すために、０
と１の値を用いている。変数Ｘは、ピクチャ再配列プロ
セスが開始（４０）したら、０に初期化される（４
１）。各々入ってくるピクチャのタイプを確認するため
に各ピクチャの始めにＢピクチャか否かのチェックがな
される（４２）。

【００８４】ピクチャがタイプＩやタイプＰであると
き、Ｘはピクチャを蓄積するフレームメモリを決めるの
に使われる（４３）。また、Ｘはピクチャ出力４５のた
めのフレーム番号を含むために反転される（４４）。出
力デバイスは反転されたＸにより特定されるフレーム番
号からピクチャを得ることになる（４５）。すなわち、
Ｘが０であれば、１に反転される。

【００８５】フローチャートの左側の流れはＢピクチャ
のために実行される。Ｂピクチャは常にフレーム２で蓄
積され（４６）、同じピクチャ期間で出力デバイスに引
き渡す（４７）。

【００８６】再配列のアルゴリズムは画像シーケンスに
おける次のピクチャタイプをチェックすることを繰り返
して行われる。そのプロセスは、ビットストリームの終
わりが来たら（４８）、終了する（４９）。

【００８７】

【発明の効果】本発明はビットストリームシーケンスピ
クチャを表示順序に再配列するプロセスを改善したもの
であり、３つのピクチャを蓄積するのに必要なメモリを
必要とするだけであり、その格納及び出力を一定のルー
ルで制御することを特徴とする。なお、ピクチャ毎に配
されるメモリは復号化されるピクチャのサイズに依存す
る。もし、ピクチャシーケンスがＩピクチャとＰピクチ
ャのみであれば、３つではなくて２つのフレームメモリ
だけで十分である。

【００８８】このメモリの有効な使い方は、より小さい
メモリを用いるハードウェアベースの画像復号器の設
計、生産を可能にする。もし、復号のためのロジックと
メモリが同一ウエハに配されるならば、より小さなチッ
プは実現されることができる。

【００８９】これらの効果はまた、画像復号器の低消費
電力化にもつながる。ポータブル画像復号器には最大の
利益をもたらす。結果としてウエハと他の原料を使うの
が少ないので、生産コストが縮小する。

【００９０】入ってくるピクチャの順序にかかわらず、
復号化の開始から表示デバイスへの最初のピクチャの到
着までの遅延は１ピクチャ期間であり、この短い遅延は
画像復号器の応答性に優れた操作を実現する。

【００９１】また、ピクチャの再配列の実現に必要なロ
ジックはシンプルで、かつ効果的なものである。

【図面の簡単な説明】

【図１】従来の４つのフレームメモリを用いてＩ1Ｐ2Ｂ
3Ｂ4Ｐ5Ｂ6Ｂ7Ｐ8のピクチャシーケンスを扱う再配列方
法を示す説明図

【図２】従来の３つのフレームメモリを用いてＩ1Ｐ2Ｐ
3Ｐ4Ｉ5Ｐ6Ｐ7Ｐ8のピクチャシーケンスを扱う再配列方
法を示す説明図

【図３】従来の３つのフレームメモリを用いてＩ1Ｐ2Ｂ
3Ｂ4Ｐ5Ｂ6Ｂ7Ｐ8のピクチャシーケンスを扱う再配列方
法を示す説明図

【図４】従来の３つのフレームメモリを用いてＩ1Ｐ2Ｂ
3Ｐ4Ｂ5Ｐ6Ｂ7Ｐ8のピクチャシーケンスを扱う再配列方
法を示す説明図

【図５】ピクチャ再配列のメカニズムを示すブロック図

【図６】フレーム選択の詳細を説明するための図

【図７】再配列の詳細を示すフローチャート

【符号の説明】

１３フレームメモリ選択のメカニズム（制御手段）２０フレーム０（第１のフレーム）２１フレーム１（第２のフレーム）２２フレーム２（第３のフレーム）

───────────────────────────────────────────────────── フロントページの続きＦターム(参考） 5C053 FA27 GB08 GB38 KA04 KA08 5C059 KK08 MA00 MA05 PP05 PP06 PP07 UA05 UA35

Claims

【特許請求の範囲】

【請求項１】Ｉピクチャ・Ｐピクチャ・Ｂピクチャの各
圧縮データを前方・後方・両方向の各予測マクロブロッ
クの復号時に参照されるピクチャが時間的に先行するよ
うに配列したビットストリームから各ピクチャの画像デ
ータを復号して表示順に出力する装置であって、Ｉピクチャ又はＰピクチャを格納する第１及び第２フレ
ームメモリと、Ｂピクチャを格納する第３のフレームメモリとを有する
圧縮画像処理装置。
【請求項２】ピクチャタイプを識別するビットストリー
ム構文復号器を備える請求項１記載の圧縮画像処理装
置。
【請求項３】Ｉピクチャ又はＰピクチャを前記第１のフ
レームメモリ、前記第２のフレームメモリのいずれかに
交互に格納する制御手段を有する請求項１記載の圧縮画
像処理装置。
【請求項４】最も古く格納され未出力のＩピクチャ又は
Ｐピクチャを前記第１又は第２のフレームメモリから出
力する制御手段を有する請求項３記載の圧縮画像処理装
置。
【請求項５】前記第３のフレームメモリに格納されてい
るＢピクチャを、前記第１又は第２のフレームメモリに
格納されたＩ又はＰピクチャに比べて、優先して出力す
る制御手段を有する請求項１記載の圧縮画像処理装置。
【請求項６】前記第３のフレームメモリに未出力のＢピ
クチャが存在しないときに限り、最も古く格納され未出
力のＩピクチャ又はＰピクチャを前記第１または第２の
フレームメモリから出力する制御手段を有する請求項３
記載の圧縮画像処理装置。
【請求項７】Ｉピクチャ又はＰピクチャを格納する第１
及び第２フレームメモリと、Ｂピクチャを格納する第３
のフレームメモリとを用いて、Ｉピクチャ・Ｐピクチャ
・Ｂピクチャの各圧縮データを前方・後方・両方向の各
予測マクロブロックの復号時に参照されるピクチャが時
間的に先行するように配列したビットストリームから各
ピクチャの画像データを復号して表示順に出力する方法
であって、Ｉピクチャ又はＰピクチャを前記第１のフレ
ームメモリ、前記第２のフレームメモリのいずれかに交
互に格納する圧縮画像処理方法。
【請求項８】最も古く格納され未出力のＩピクチャ又は
Ｐピクチャを前記第１又は第２のフレームメモリから出
力する請求項７記載の圧縮画像処理方法。
【請求項９】前記第３のフレームメモリに格納されてい
るＢピクチャを、前記第１又は第２のフレームメモリに
格納されたＩ又はＰピクチャに比べて、優先して出力す
る請求項７記載の圧縮画像処理方法。
【請求項１０】前記第３のフレームメモリに未出力のＢ
ピクチャが存在しないときに限り、最も古く格納され未
出力のＩピクチャ又はＰピクチャを前記第１または第２
のフレームメモリから出力する請求項７記載の圧縮画像
処理方法。