WO2004049727A1

WO2004049727A1 - 動画像の符号化方法および復号化方法

Info

Publication number: WO2004049727A1
Application number: PCT/JP2003/013679
Authority: WO
Inventors: Kiyofumi Abe; Shinya Kadono; Satoshi Kondo
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 2002-11-25
Filing date: 2003-10-27
Publication date: 2004-06-10
Anticipated expiration: 2005-05-25
Also published as: US20110096843A1; BR0307119A; US20120163454A1; US9712841B2; BRPI0318759A8; US20170280152A1; US7881375B2; CA2473898A1; US20190020890A1; US20170272772A1; US20130272382A1; US9998751B2; US20050041742A1; ES2368908T3; TWI290802B; TW200711481A; US20150326855A1; MY139318A; EP1569459A4; BRPI0318759A2

Abstract

ブロック単位でフレーム符号化とフィールド符号化とを切り替えてピクチャを符号化する動画像符号化方法であって、フレーム符号化時に参照するフレームを指定するフレーム符号化用参照インデックスの最大個数を用いて、フィールド符号化時に参照するフィールドを指定するフィールド符号化用参照インデックスの最大個数を決定し、決定された最大個数の範囲内で、フレーム符号化時に参照するフレームを指定するフレーム符号化用参照インデックスを用いて、フィールド符号化時に参照するフィールドを指定するフィールド符号化用参照インデックスをフィールドに割り当てる。

Description

明細書動画像の符号化方法および復号化方法技術分野

本発明は、動画像の符号化方法およぴ復号化方法に関するものであり、特に既に符号化済みのピクチャを参照して画像間予測を行う符号化方法および復号化方法に関するものである。背景技術

近年、マルチメディアアプリケーションの発展に伴い、画像 * 音声 ■ 亍キストなど、あらゆるメディアの情報を統一的に扱うことが一般的になってきた。ディジタル化された画像は膨大なデータ量を持っため、蓄積 ' 伝送のためには、画像の情報圧縮技術が不可欠である。圧縮した画像データを相互運用するためには、圧縮技術の標準化も重要である。画像圧縮技術の標準規格としては、 I T U — T (国際電気通信連合電気通信標準化部門）の H . 2 6 1 、 H . 2 6 3 、 I S O (国際標準化機構）の M P E G — 1 、 M P E G — 2 、 M P E G— 4などがある。また、 I T Uでは、現在、最新の画像符号化規格として H . 2 6 しが標準化中である。

一般に動画像の符号化では、時間方向および空間方向の冗長性を削減することによって情報量の圧縮を行う。そこで時間的な冗長性の削減を目的とするピクチャ間予測符号化では、前方または後方のピクチャを参照してブロック単位で動きの検出および予測画像の作成を行い、得られた予測画像と現在のピクチャとの差分値に対して符号化を行う。ここで、ピクチャとは、 1 枚の画像を表す用語であり、プログレッシブ画像ではフレームを意味し、ィンターレース画像ではフレームもしくはフィールドを意味する。ここで、インタ一レース画像とは、 1 つのフレームが時刻の異なる 2つのフィールドから構成される画像である。インタ一レース画像の符号化や復号化処理においては、 1 つのフレームをフレームのまま処理したり、 2つのフィールドとして処理したり、フレーム内のブロック毎にフレーム構造またはフィールド構造として処理したりすることができる。

なお、以下で示すピクチャはプログレッシブ画像でのフレームの意味で説明するが、インタ一レース画像でのフレームもしくはフィ —ルドであっても同様に説明することができる。

図 3 5はピクチャの種類とその参照関係を説明するための図である。

ピクチャ I 1 のように参照ピクチャを持たずピクチャ内予測符号化を行うものを I ピクチャと呼ぶ。また、ピクチャ P 1 0のように 1 枚のピクチャのみを参照しピクチャ間予測符号化を行うものを P ピクチャと呼ぷ。また、同時に 2枚のピクチャを参照してピクチャ間予測符号化を行うことのできるものを B ピクチヤと呼ぶ。 B ピクチヤはピクチャ B 6 、 B 1 2 、 B 1 8のように時間的に任意の方向にある 2枚のピクチャを参照することが可能である。参照ピクチャは動き検出の単位であるブロックごとに指定することができるが、符号化を行った符号列中に先に記述される方の参照ピクチャを第 1 参照ピクチャ、後に記述される方を第 2参照ピクチャとして区別する。ただし、これらのピクチャを符号化およぴ復号化する場合の条件として、参照するピクチャが既に符号化および復号化されている必要がある。図 3 6 Aおよぴ図 3 6 Bは B ピクチヤを符号化および復号化する場ム口の順番の例である。図 3 6 Aは表不される順、図

3 6 Bは図 3 6 Aを符号化および復号化する順番に並び替えたものである。ヒクチャ B 3 、 B 6によつて参照されるピクチャは全て先

口

に符号化および復化されているよラに並び替えられているのが分かる。

次に、参 /昭"、ピクチャを指定するための参照ィン亍ックスについて図 3 7、図 3 8 を用いて説明する 0 こでは簡単化のために、夫ポのピクチャを識別する番号をピクチャ番号、画面間予測において参照するピクチャを指 E 9 る際に使用する番号を参昭ィンデックスと呼ぶ。その、第 1 参照ピクチャを示すものを第 1 参昭ィン丁ックス、第 2参昭、、ピクチャを示すものを第 2参照イン丁ヅクスとす ¾) 。参照インデックスは初期状態として図 3 7のような丁フオル卜値が割リ当てられているが、コマンド、によつて割リ当てを変更することが可能となている

図 3 7 は口

、フレ ―ム符号化におけるピクチャ番に対する 2つの参照インデックスの初期状態における割リ当て結果を示すものであリ、図 3 8 はコマンドを用いて図 3 7の参照ィン丁ックスの割り当てを更新したのである。図のような符号化される順に並ベられたピクチャ列があたとき、メモ内に保持されているピクチャに対してピクチヤ番号は符化の順に割リ振られている o ィン丁ックスをピクチャ番号に割当てるためのコマンドはピクチャをさらに分割した符号化単位であるスラィスのヘッダに記述され、 1 つのスラィスを符号化する毎に割リ当て方を更新することが可能でめる。

B'J記コマンドとして、兀のピクチャ番号と更新後のピクチャ番号の差分値を使用し、任意の個数のコマンドをコマンド列として符号化することが可能である 0 3マンド列の先頭のコマンド、は、符号化対象のピクチャのピクチャ番号に適用され、参照インデックス番号 0 に対応するピクチャ番号を示す。コマンド列の 2番目のコマンドは、参照インデックス番号 0に対応するピクチャ番号に適用され、参照インデックス番号 1 に対応するピクチャ番号を示す。 3番目のコマンドは、参照インデックス番号 1 に対応するピクチャ番号に適用され、参照インデックス番号 2に対応するピクチャ番号を示す。 4番目以降のコマンドも同様である。図 3 8の第 1 参照インデックスの例を用いると、まずコマンドとして"一 2 "が与えられたので、参照インデックス番号 0には、符号化対象ピクチャのピクチャ番号 1 3 に一 2 を足すことによって、 1 1 番のピクチャが割り当てられる。次にコマンドとして " + 1 "が与えられたので、参照インデックス番号 1 には、参照インデックス番号 0に対応するピクチャの番号 1 1 に + 1 を足すことによって、 1 2番のピクチャが割り当てられている。以下同様の処理によって各ピクチャ番号の割り当てが行われる。第 2参照インデックスの場合も同様である。

図 3 9は、上記の符号化を行ったときの符号列の例を示す模式図である。図に示すように符号列のピクチャ共通情報に第 1 参照インデックス（ r e f 1 ) 用の参照インデックスの最大個数 M a x— ί d χ 1 と、第 1 参照インデックス（ r e f 2 ) 用の参照インデックスの最大個数 M a X _ i d x 2が記述され、スライスヘッダには r e f 1 用と r e f 2用の参照インデックス割り当てコマンド列 i d x— c m d 1 および i d x _ c m d 2が記述されている。

かかる先行技術に関する文献として次のものがある。

ITU-T Eec. H.264 | ISO/IEC 14496-10 AVC

Joint Final Committee Draft of Joint Video Specincation

(2002-8-10) (P. 54 8.3.6.3 D efault index orders I P.56 8. 3.6.4 Changing the default index orders)

ところで、インタ一レース画像を符号化する方法として、フレーム符号化とフィ一ルド符号化を 1 つの画像の中でマクロブ口ックごとに切り替えて使用することが可能とされている。これを "マクロブロック単位フレームフィールド切り替え符号化（ M B A F F ： MacroBlocks Adaptive Fr ame/Field coding) " と D乎， S、ことにする。この方法では、図 4 0に示すように、縦方向に並ぶ 2つのマクロブロックを 1 つのペアとして、このペアごとに切り替えることが可能となる。フレーム符号化の場合は両方ともフレームで符号化し、フィ一ルド符号化の場合は奇数ラインのみからなるマク口プロックと偶数ラインのみからでなるマクロブロックとに分けて符号化を行う。

マクロブロック単位フレームフィールド切り替え符号化では、図 4 1 Aおよび図 4 1 Bに示すように、マクロブロックペアの符号化方法に応じて、参照ピクチャをフレーム構造およびフィールド構造にその都度切り替えて参照に用いる。図 4 1 Aのように符号化対象のマクロブロックペアをフレームとして符号化する場合、参照ピクチヤを P 1 から P 3のようにフレームとして参照する。また、図 4 1 Bのように符号化対象のマクロブロックペアをフィールドとして符号化する場合、参照ピクチャを P 1 Tから P 3 Bのように各ピクチヤをトップフィールドとボトムフィールドとに分けてフィールドとして参照する。このとき、参照ピクチャの枚数はフィールド単位で数えるとフレームの場合の 2倍となる。

しかしながら、それぞれのピクチャに参照インデックスを割り当てる際に使用する、参照インデックスの最大個数（m a x _ i d x 1 および m a x i d x 2、図 3 9参照）および割り当て更新のためのコマンド列（ i d x— c m d l および i d x — c m d 2、図 3 9参照）は、フレームとフィールドの両方に同時に対応することができないため、マクロブロック単位フレームフィールド切り替え符号化を行う場合に、参照インデックスの最大個数および割り当てめためのコマンドをうまく判別できないという問題がある。発明の開示

そこで本発明は、マクロブロック単位フレームフィールド切リ替え符号化の場合に参照インデックスをフレーム符号化、フィールド符号化の何れであっても適切に活用する画像符号化方法、画像復号化方法を提供することを目的とする。

そしてこの目的を達成するために、本発明の符号化方法は、ピクチヤ内でプロック単位にフレーム符号化とフィールド符号化とを切リ替えて符号化を行う動画像符号化方法であって、フレーム符号化時に参照するフレームを指定するフレーム符号化用参照インデックスを用いて、フィ一ルド符号化時に参照するフィ一ルドを指定するフィールド符号化用参照インデックスをフィールドに割り当てる。

この構成によれば、フィ一ルド符号化用参照ィンデックスの割り当てに、フレーム符号化用参照インデックスを利用することができる。言い換えれば、フレーム符号化用参照インデックスを、フレーム符号化だけでなくフィ一ルド符号化にも適切に活用することができる。

ここで、前記動画像符号化方法は、フレーム符号化用参照インデックスにより指定されるフレームを構成する 2つのフィールドを特定する特定ステップと、特定された 2つのフィールドのうち、符号化対象のブロックと同じパリティを持つフィールドに対しては前記フレ― 口

ム符化用参照インデックスの値を 2倍した値をフィールド符号化用参照ィンデックスとして割リ当て、符号化対象のブロックと異なるパティを持つフィールドに対しては前記フレ — A符号化用参 '昭"、ィン丁ックスの値を 2倍して 1 加算した値をフィールド符号化用参昭ィン丁ックスとして割リ当てる割当ステップとを有する構成としてもよいこの構成によれぱ、フィ一ルド符号化用参照ィン丁ックスは、フィ―ルドのパティに応じてフレーム符号化用参照ィンデックスの

2倍と 2倍 + 1 の値に割リ当てられるので、フレーム符号化用参照ィン丁ックスを利用してフィ一ルド符号化用参照イン丁ックスを極めて簡単に割当てることができる。こで、前記動画像符号化方法は、さらに、フィールド符号化用参照ィンデックスの最大個数を、フレーム符号化用参 "昭«、イン丁ックスの大個数の 2倍の値に決定する決定ステツプを有し、前記割当ステップにおいて、決定された最大個数内でフレーム符号化用参照

— «

ィン丁ックスを割り当てる構成としてもよい。

この構成によれば、フィールド符号化用参照インデックスは、フレ一ム符号化用参照インデックスの最大個数の 2倍の個数を割リ当て可能なので、フレーム符号化用参照インデックスを S大限有効に活用することができる。

こで、前記動画像符号化方法は、フレ —ム符号化用参照インデックスによ指定されるフレームを構成する 2つのフィールドを特定する特定ステップと、特定された 2つのフィールドのうち、卜ップフィ一ルに対しては前記フレーム符号化用参照ィンデックスの値を 2倍した値をフィールド符号化用参照ィンデックスとして割リ当て、ポト厶フィールドに対しては前記フレーム符号化参照インデックスの値を 2倍して 1 加算した値をフィールド符号化用参照インデックスとして割り当てる割当ステップとを有する構成としてもよい。

また、前記動画像符号化方法は、フレーム符号化用参照インデックスにより指定されるフレームを構成する 2つのフィールドを特定する特定ステップと、特定した 2つのフィールドのうち、符号化対象のブロックと同じパリティを持つフィールドに対してのみ前記フレーム符号化用参照インデックスと同じ値をフィールド符号化用参照インデックスとして割り当てる割当ステップと有する構成としてもよい。

ここで、前記動画像符号化方法は、さらに、フレーム符号化用参照インデックスの割り当て方法を示すコマンド列と、フィールド符号化用参照インデックスの割り当て方法を示すコマンド列とをそれぞれ独立に生成し、前記 2組のコマンド列を符号化し符号化信号に付加する付加ステップを有する構成としてもよい。

また、前記動画像符号化方法は、さらに、フレーム符号化用参照インデックスの割り当て方法を示すコマンド列と、トップフィ一ルド符号化用参照インデックスの割り当て方法を示すコマンド列と、ポトムフィ一ルド符号化用参照インデックスの割り当て方法を示すコマンド列とをそれぞれ独立に生成し、前記 3組のコマンド列を符号化し符号化信号に付加する付加ステップを有する構成としてもよい。

また、前記動画像符号化方法は、フィールド符号化用参照インデックスの最大個数を決定する決定ステップと、決定された最大個数の範囲内で、フレーム符号化時に参照するフレームを指定するフレーム符号化用参照インデックスを用いて、フィールド符号化時に参昭するフィ一ルドを指定するフィ一ルド符号化用参照ィン丁ックスをフィ一ルドに割リ当てる割当ス亍ップとを有する構成として ¾よ

I \

レ \

< で、前記決定ス -f ップにおいて、フィールド符化用参照ィン丁ックスの最大個数を、フレーム符号化用参照イン丁ックスの最大個数の 2倍に決定する構成としてもよい。

の構成によれぱ、フィ一ルド符号化用参照インデクスは、フレ ―ム符化用参照ィン丁ックスの最大個数の 2倍の to囲内の個数で、フレ ―厶符号化用参照ィン丁ックスを最大限有効に活用することがでぎる

こで、前記決定ステップにおいて、フィールド符化用参照ィン丁ックスの最大個数を、フレー厶符号化用参照イン一

丁ックスの最大個数と同じ値に決定する構成としてよい

この構成によれば、フィールド符化用参' ィンデックスは、フレ一ム符号化用参照インデックスの取大個数と同じ個数の範囲内で、フレーム符号化用参照インデックスを大限有効に活用することができる

こで、前記動画像符号化方法は、さらに、フレー厶符号化用参昭ィンデックスの最大個数とフィール符号化用参照インデックスの最大個数とをそれぞれ独立に決定し、前記 2つの最大個数を符号化し符号化信号に付加する付加する付加ステップを有する構成としてもよい。

この構成によれば、フィールド符号化用参照インデックスの最大個数は、フレーム符号化用参照インデックスの最大個数に依存することなく独立に決定することができ、符号化信号を介して復号化装置において当該最大個数を通知することができる。ここで刖 id動画像符号化方法は、さらに、フレ一厶符号化用参照ィンテックスの最大個数とトップフィールド用の大個数とポトムフィールド用の最大個数をそれぞれ独立に決定し、前記 3つの最大個数を符号化し符号化信号に付加する付加ステツプを有する構成としてもよい。

以上説明してさたように本発明における符号化方法によれば、マク Pブロック単位フレームフィールド切り替え符号化を行う場合に元はフレーム用の参照インデックス、そのの最大個数及びフレーム用のコマンドをフレーム符号化だけでなく、フィ一ルド符号化に対しても適切に活用することができる。

また、本発明の動画像復号化方法、動画像符号化装置、動画像復化装置およぴプログラムについても上記と同様の構成、作用、効果を有する。図面の簡単な説明

図 1 は、本発明の実施の形態 1 における符号化装の構成を示すブ □ック図である

図 2は、 M Bをフレーム符号化する場合のピクチャ番号と第 1 第 2参照インデックスの対応関係の一例を示す説明図である。

図 3 は、第 1 第 2参照インデックスとコマンドとピクチャ番号との対応関係の ―例を示す図である。

図 4は、 M Bをフィールド符号化する場合のフィ ―ルドのピクチャ番号に第 1 第 2参照インデックスを割り当てた一例を示す説明図でめ。

図 5は、符号化装置の参照インデックス · ピクチャ番号変換部における参照イン丁ックスおよびコマンド割り当て処理を示すフローチャ一卜図である。

図 6は、フィ一ルド用参照インデックスをフィールドに割リ当てる処理を示すフ Π―チャ一ト図である。

図 7 は、本発明の実施の形態 1 における復号化装置の構成を示すブ P ツク図であ Ό

図 8は、本発明の実施の形態 2における符号化装置の構成を示すブ P ック図であ

図 9は、 Μ Βをフィ―ルド符号化する場合のフィールドのピクチコ

ャ ¾· ^に第 1 、第 2 インデックスを割リ当てた例を示す説明図でめ ^>

図 1 0は、符号化装置の参照ィンデックス ■ ピクチャ番号変換部におけるンデックス割り当て処理を示すフローチヤ一ト図である。

図 1 1 は、本発明の実施の形態 2における復号化装置の構成を示すブ口ク図でめ ^>

図 1 2は、本発明の実施の形態 3 における符号化装置の構成を示すブ口ク図でめ Ό

図 1 3は、 M Bをフィ一ルド符号化する場合のフィールドのピクチャ番に第 1 、第 2参照インデックスを割リ当てた例を示す説明図である

図 1 4は、本発明の実施の形態 3 における復号化装置の構成を示すブ口ック図でめる

図 1 5は、本発明の実施の形態 4における符号化装置の構成を示すブ口ク図である

図 Ί 6は、 M Bをフィ —ルド符号化する場合のフィールドのピクチャ番号に第 1 、第 2参照インデックスを割り当てた例を示す説明図である。

図 1 7 は、本発明の実施の形態 5における符号化装置の構成を示すブロック図である。

図 1 8 は、 M Bをフィールド符号化する場合のフィールドのピクチヤ番号に第 1 、第 2参照インデックスを割り当てた例を示す説明図である。

図 1 9は、符号化装置の参照インデックス ■ ピクチャ番号変換部における参照インデックス割り当て処理を示すフローチャート図である。

図 2 0は、本発明の実施の形態 5における復号化装置の構成を示すブロック図である。

図 2 1 は、本発明の実施の形態 6における符号列のデータ構成を示す図ある。

図 2 2は、 M Bをフィールド符号化する場合のフィールドのピクチヤ番号に第 1 、第 2参照インデックスを割り当てた例を示す説明図である。

図 2 3 は、本発明の実施の形態 7 における符号化装置の構成を示すブロック図である。

図 2 4は、符号列のデータ構成例を示す図である。

図 2 5は、 M Bをフィールド符号化する場合のフィールドのピクチヤ番号に第 1 、第 2参照インデックスを割り当てた例を示す説明図である。

図 2 6は、フィールド符号化におけるトップフィールド、ボトムフィールド個別の参照インデックス、コマンド及びフィールドのピクチャ番号の対応関係の一例を示す図である。

図 2 7 は、フレーム符号、フィールド符号が混在する場合の参照 3 013679

インデックス及ぴコマンドの割り当て処理を示すフローチヤ一トである。

図 2 8 は、本発明の実施の形態 7 における復号化装置の構成を示すブロック図である。

図 2 9 は、符号列のデータ構成の他の例を示す図である。

図 3 0 A〜 3 0 Cは、各実施の形能の動画像の符号化方法および復号化方法をコンピュータシステムによ y実現するためのプロダラムを格納するための記録媒体についての説明図である。

図 3 1 は、コンテンッ供給システムの全体構成を示すプロック図である。

図 3 2は、携帯電話の外観図である

図 3 3は、携帯電話の構成を示すブ P ック図である。

図 3 4は、ディジタル放送用シス亍ムの例を示す図である。

図 3 5は、従来例のピクチャの参照関係を説明するた.めの模式図である。

図 3 6 A、 3 6 Bは、従来例のピクチャの並び替えを説明するための模式図である。

図 3 7 は、従来例の参照ィンデックスにピクチャ番号を割り振る方法を説明するための模式図である

図 3 8は、従来例の図 3 7の割り当てをコマンドを用いて更新した例を示すための模式図である。

図 3 9は、従来例の符号列の構成を説明するための模式図である。図 4 0は、フレーム符号化とフィールド符号化の場合におけるマクロブ口ックペアの説明図である。

図 4 1 A、 4 1 Bは、フレーム符号化における参照フレームとフィールド符号化における参照フィールドとを示す説明図である。発明を実施するための最良の形態

(実施の形態 1 )

<符号化装置及び復号化装置の概要 >

まず、本実施の形態における符号化装置及び復号化装置の概要について説明する o

本実施の形態における符号化装置及び復号化装置は、マク αブ口ック単位フレームフィ —ルド切り替え符号化を行い、その、インデックスの IS大個数及びコマンド列について次の（ 1 . 1 ) 、 ( 1 -

2 ) のように取扱う。ここで、参照インデックス及ぴコマンドは図 3 8 に、参照ィン丁ックスの最大個数は図 3 9に示したのと同様である。

( 1 . 1 ) 参昭ィンデックスの最大個数について、符化装置口

はフィールド符化とフレーム符号化が混在する場合に、伝送される符号中にはフレーム用の参照ィンデックスの最大個数を記述しておく。符号化装置は、フレーム符号化の場合には、当該最大個数を使用可能な参照ィン丁ックスの個数として扱う。一方、フィ一ルド符号化の場合には、当該最大個数が示す 2倍の値をフィ―ルド用の参照インデックスの個数とみなす。例えば、フレーム用の参照ィンデックスが 0から 2まで割り当てられた場合は、フレーム用の参照

曰

インデックスの大個数は 3である。フレーム符号化の場は、当然そのままそのちのを意味する。フィールド符号化の ··¾口には、フレーム符号化用参照ィンデックスの最大個数の 2倍した 6をフィ一ルド符号化用参 "昭、、ィンデックスの最大個数であるとみなす o 復号化装置においても同様でめる。

( 1 . 2 ) =1マンド列については、符号化装置は、伝送される符号中にフレーム用のコマンドを記述しておく。符号化装置は、フレ 1=1

—厶符化に P不して、図 3 8で説明したようにフレーム用の参照ィン丁ックスの割リ当てを行う o , お、コマンド列を符号化しない場口' Ic 、図 3 7で明したように、デフォル卜の割当て方法によて参照ィンデックスが対応付けられる o

さらに、フィ ―ルド符号化に際しては、割リ当ての行われたフレ

―厶用の参照ィン丁ックスを前提にして、フィールド、符号化用に参昭インデックスの割当てを更新^ "S3。

すなわち、 1 つのフレームを構成する 2つのフィ ―ルドのうち、符号化対象のマク Ρブロックと同じ/ リ亍ィのフィ一ルドに対して当該フレ ―厶用参昭ィン丁ックスの値を 2倍した値を、符号化対象のマクロブックと異なるパリティのフィ -ルドに対して、当該参昭インデックスの値を 2倍して 1 を加算した値（ 2倍 + 1 ) を、フ

一、、

ィールド用参照ィン丁ックスとしてそれぞれ割リ当てる（図 4参照）。ここで、パリティとはフィールドの偶奇性 (奇数ラィンからなる卜ップフィ一ルドと偶数ラインからなポ卜厶フィ一ルドの区別）をいフ 0

曰い換えれば、符号化対象のマク □ブロックが卜ップフィ一ルドに属するは上記 2つのフィ一ルのうちの卜ップフィールドに対して当該フレーム用参照ィンデ Vクスの値を 2倍した値を割り当て、上記 2 つのフィールドのうちのボ卜ムフィ一ルドに対して ( 2

ΊΡ + 1 ) を割リ当てる。符号化対象のマクロブ口ックがボトムフィ

―ルに属する場合は上記 2つのフィールドのうちのボ卜ムフィ― ルド、に対して当該フレーム用ィン丁ックスの値を 2倍した値を割 y 当て、上記 2つのフィールドのラちのトップフィールドに対して ( 2倍 + 1 ) を割り当てる ο 復号化装置は、伝送される符号中に含まれるフレーム用の参照インデックスの最大個数および割り当てコマンドを復号化し、それらを用いて符号化装置と全く同様の方法により参照ピクチャと参照インデックスの割り当てを行う。

<符号化装置の構成 >

次に、符号化装置の構成について説明する

図 1 は、本発明の実施の形態 1 における動画像符号化装置の構成を示すブロック図である。同図を用いて（ 1 ) 符号化の概要、（ 2 ) フレーム用の参照インデックス及びコマンド、フィ一ルド用の参照インデックスの割り当て方法の順で説明する

( 1 ) 符号化の概要

ここでは、符号化対象がフレーム又はフィ ―ルドの何れかを意味するピクチャであるとし、フレーム符号化とフィールド符号化とで共通する符号化の概要について説明する。

符号化対象となる動画像は表示を行う順にピクチャ単位でピクチヤメモリ 1 0 1 に入力され、符号化を行う順にピクチャの並び替えを行う。図 3 6 A、 3 6 Bは並び替えの例を示した図である。図 3

6 Aは表示される順に並べられたピクチャであリ、図 3 6 Bは符号化を行う順に並び替えたピクチャの例であるここでの B 3 、 B 6 は時間的に前方および後方の両方を参照しているため、これらのピクチャを符号化する前に参照の対象となるピクチヤを先に符号化する必要があることから、図 3 6 Bでは P 4 、 P 7が先に符号化されるように並ぴ替えられている。さらに各々のピクチャはマクロブ口ックと呼ばれる例えば水平 1 6 垂直 1 6画素のブロックに分割されブロック単位で以降の処理が行われる。

ピクチャメモリ 1 0 1 から読み出された入力画像信号は差分演算

検の応ょめにらとン

部 1 1 0に入力され、動き補償符号化部 1 0 7の出力である予測画像信号との差分を取ることによって得られる差分画像信号を予測残差符号化部 1 0 2に出力する。予測残差符号化部 1 0 2では周波数変換、量子化等の画像符号化処理を行い残差符号化信号を出力する。残差符号化信号は予測残差復号化部 1 0 4に入力され、逆量子化、逆周波数変換等の画像復号化処理を行い残差復号化信号を出力する加算演算部 1 1 1 では前記残差復号化信号と予測画像信号との加算を行い再構成画像信号を生成し、得られた再構成画像信号の中で以降の画像間予測で参照される可能性がある信号をピクチャメモ U 1 0 5 に格納する。

一方、ピクチャメモリ 1 0 1 かり S5Cみ出されたマクロブロック単位の入力画像信号は動きべク卜ル検出部 1 0 6 にも入力される o こでは、ピクチャメモリ 1 0 5に格納されている再構成画像信を索対象とし、最も入力画像信に近い画像領域を検出することにつてその位置を指し示す動さベクトルを決定する。動きべク卜ル出はマクロブロックをさらに分割したブロック単位で行われれた動きべクトルは動きべク卜レ mi 1%部 1 0 8 に格納される o とき、現在標準化中の H . 2 6 Lでは複数のピクチャを参照対象して使用することができるため、ク "、、するピクチヤを指定するたの識別番号がプロックごとに必要となる。その識別番号を参昭ィ

一 ·》

デックスと呼び、参照ィン丁ックス - ピクチャ番号変換部 1 0 9 おいて、ピクチヤメモリ中のピクチャの持つピクチャ番号との対を取ることによリ参昭ピクチャを指定することを可能にしている ο 動き補償符号化部 1 0 7 では、上記処理によつて検出された動さベク卜ルおよび参照ィン丁ックスを用いて、ピクチヤメモリ 1 0 5 格納されている再構成画像信号から予測画像に最適な画像領域を取り出す。その際に、マク Pブ P ックごとにフレー厶単位で予測を行う方法とフィールド単位で予測を行う方法のどちらが効率が良いかを判定し、選択された方法を用いて符号化を行う。上記の一連の処理によつて出力された参照ィンデックス、動きべクトル、残差符号化信号等の符化情報に対して符号列生成部 1 0 3において可変長符号化を施す ■一とにより、の符号化装置が出力する符号列が得られる。

以上の処理の流れは画像間予測符号化を行つた場口の作であつたが、スィツチ 1 1 2 およびスィッチ 1 1 3 によつて画像内予測符口

号化との切リ替えがなされる。画像内符化を行うは動き補償による予測画像の生成は行わず、同一画像内の符号化済み領域から符号化対象領域の予測画像を生成し差分を取ることによって差分画像信号を生成する。差分画像信号は画像間予測符号化の場合と同様に、予測残差符号化部 1 0 2において残差符号化信号に変換され、符号列生成部 1 0 3において可変長符号化を施されることによリ出力される符号列が ί られ。

( 2 ) 参照インデックス割り当て方法

<参照ィンデックスの割リ当て例 >

まず、フレーム用の参照インデックスとフィ一ルド用の参照インデックスの割リ当て例を図 2〜図 4に示す

図 2は、符号化対象のピクチャのブ Ρ ックがフレ ―ム符号化を行う場合のデフオル卜の参照インデックスの割当ての例であリ、ピクチャ番号の値の大さい方から順にィン丁ックスが割リ当てられている。割り当てコマンドを符号化しない口は常にこのような割リ当てが行われる。また図 3は、図 2の丁フォルトの参照インデックスに対して、割り当てコマンドによる参昭ィン丁ックスの更新を行つた場合の例である。まずコマンドとして"一 2 "が与えられたので、

0番の参照ィン丁ックスに対しては、符号化対象ピクチャの番号 1

3 に一 2を足すとによて 1 1 といぅピクチャ番号のピクチャが割当てられる次にコマンド、として " + 1 "が与えられ、参照イン

口

デックス番号 1 番にピクチャ番 1 2のピクチャが割リ当てられている。以下同様の処理によつて各ピクチヤ番号の割り当てが行われる o 第 2参照ィン丁ックスの l=l |pj様 foる。以下では、デフォル卜の割リ当てを行た図 2 を 7Cに明するが、 =1マンドによって割当てが変更されているム全 < 同様に扱うとが可能である。なお、上記のコマン Kは一例であ、これ以外の割り当て方法を持つ =1マンドによてン丁ックスを更新した場合全く同様に极ぅことが可能である

図 4は、上記の ( 1 1 ) ( ： 1 2 ) に従って、図 2に示したフレ

—ム用の第 1 、第 2参照インデックスに対してトップフィールド用、ボトムフィールド fflそれぞれの第 1 、第 2参照インデックスを対応付けた結果を示す説明図である。図 4では、符号化対象のマクロブロックと同じパリティのフィールドには、フレーム用の参照インデックスの 2倍、異なるパリティのフィールドには、フレーム用の参照インデックスの値の 2倍 + 1 の値が割り当てられていることがわかる。

本実施の形態では、フィールド符号化とフレーム符号化とが 1 つのピクチャの中に混在する場合、フィールド符号化を行うときは参照インデックスの最大個数をフレーム符号化を行うときの 2倍の値として扱うため、図 2ではインデックスの個数が 3つであつたが、図 4ではインデックスの個数が 6つとなっている。

<参照インデックスの割り当て処理 > 図 5は、符号化装置の参照インデックス ' ピクチャ番号変換部における参照インデックス割り当て処理を示すフローチャート図である。

Ραインデックス ■ ピクチャ番号変換部 1 0 9は、マクロブ □ ク単位フレームフィールド切り替え符号化を行う場合には、スラィス毎に参照インデックス割り当て処理を行ラ o ここで、スラィスとは、 1 つのピクチャを 1 つもしくは複数の域に分けたときの各領域のことを示す。参照インデックス■ピクチャ番号変換部 1 0 9は、参昭ィンデックスの変更がない場合（デフォル卜の場合）は全ての同図の処理を省略する。

同図に示すように参照インデックス ■ ピクチャ番号変換部 1 0 9 は、まず、フレーム用参照インデックス及び =3マンドをフレ一ムに対して割り当てる処理を行う（ S 1 1 )。この処理は、既に説明した図 3 7 と同様であるので省略する。次に参 "昭、、ィン丁ックス - ピクチャ番変換部 1 0 9は、当該スライスにフレ一ム符号化とフィ ―ル口

ド符化が混在するか否かを判定し（ S 1 2 )、混在する場合には、フィ ―ルド用参照インデックス割り当て処理を行う（ S 1 3 )。図 6は、フレーム用の参照インデックスにフィ一ルド用参照ィン丁ックスを対応付けて、フィールドに割リ当てる処理を示すフ P― チャ ―卜図である。同図では、変数 j は B ピクチャの場合は j = 1

2であリ、 P ピクチャの場合は j = 1 であ、 m a x― I d X j はフレ ―ム用の第 j 参照インデックスの最大個数を、 I d X j ( i ) はフレ —ム用の i 番目の第 j 参照インデックスの値を表す。ル一プ

2は B ピクチャの場合と P ピクチャの場合とで共通に適用でさるよラにしてある。ループ 1 はフレーム用の参昭、ィンデックスの IS大個数 ( m a x i d x j ) 回のループであり、 1 回あたり 2個のフィ —ルド用参昭ィンテックスを割リ当てている。

以下、ル ―プ 1 のループ 1 回分、つまり 1 個のフレーム用のィンデックスについて 2つのフィ一ルド用参照ィンデックスを割リ当てる処理について説明す Ό o 参昭ィンデックス ■ ピクチャ番号変換部 1 0 9は、図 5の S 1 1 で割 u 当てられたフレーム用の i 番目の第 j 参照ィンデックスの値 i d X j ( i ) を読み出し（ S 2 3 )、符号化対象のマクロブ□ ックが卜ップフィールドに属するか否かを判定する（ S 2 6 ) 。

卜ップフィ ―ルドに属すると判定された場合は、フレーム用の当該参照ィン丁ックス ί d X j ( 1 ) を 2倍した値（ S 2 7 ) を、 s

2 5で特定された 2つのフィ一ルド、のうちトップフィールドに割リ当て（ S 2 8 )、 i d X j ( i ) を 2倍して 1 加算した値 ( S ： 2 9 ) を、 S 2 5で特定された 2つのフィ一ルドのうちポ卜ムフィ一ルドに割リ当てる ( S 3 0 ) 。

また、ボトムフィールドと判定された場合は、フレーム用の当該参照インデックス i d X j ( i ) を 2倍した値（ S 3 1 ) を、 S 2 5で特定された 2つのフィールドのうちボトムフィールドに割り当て（ S 3 2 )、 i d x j ( ί ) を 2倍して 1 加算した値（ S 3 3 ) を、 S 2 5で特定された 2つのフィ一ルドのうちトップフィールドに割リ当てる（ S 3 4 ) 。

このようにフレーム用の参照インデックスに対して 2倍した値と ( 2倍 + 1 ) とがフィールド用の参照インデックスに割り当てられる。これにより、図 4に示したように、フィールド用の参照インデックスの最大個数は、フレーム用の参照インデックスの最大個数（m a X _ i d x j ) の 2倍が割り当てられることになる。

マクロブロックの符号化に際して、フィールド符号化されたマク Pブ口ックにおける参照フィールドとして使用されたフィ一ルド用の参昭ィン丁ックスは r e f 1 r e f 2 (図 3 9参照 ) として符口

中に設定される。一方、フレーム符化されたマク口ブ P ックにおける参昭フレームとして使用されたフレ一ム用の参照ィン丁ックスは r e f 1 r e f 2 (図 3 9参照）として符号中に設定され。

図 2の例では、フレーム用参照イン丁ックスは 3個であ、図 4 の例では、フィ一ルド用の参照インデックスは 6個になる

なお、図 6では、フィールド符号化される符号化対象の個々のピクチャにフィールド用の参照ィンデックスを割リ当てる処理を示したが刖'にテ一ブルを作成するようにしてもよい。すなわち、フレ一厶用のィンデックスとフレームのピクチヤ番号との対応テ一ブルを =1マンドに従って作成し、さらに、図 6 と同様にして卜ップフィ一ルド用とボトムフィールド用に参照インデックスを割リ当てて、卜ップフィ―ルド用の参照インデックスとフィ一ルドのピクチャ番号との対応テ一ブルと、ポトム用の参照ィンデックスとフィ一ルドのピクチャ番号との対応テ一ブルとを作成する構成とすればよいよたのテ一ブル作成は、ピクチャを符号化および復号化する際に始めに 1 度だけ行なっておけば、その後は、参照イン丁ックスについて、このテーブルを参照すれば、参照ピクチャを決定するができる

<復号化装置の構成 >

図 7 は ^発明の実施の形態 1 における復号化装置の構成を示すブ口ック図である。同図を用いて（ 1 ) 復号化の概要、（ 2 ) 参照ィンデックス変換処理の順で説明する。ここで、本復号化装置には、

口

図 1 の符化装置からの符号が伝送されてくるものとする

口

( 1 ) 復の概まず入力された符号列から符号列解析部 2 0 1 によて、ピクチャ共通情報領域から参照ィン丁ックスの最大個数がスラィスへッダ領域から参照インデックス割リ当て用コマンド列が、さらにプロック符号化情報領域から参照インデックスおよび動さク卜ル情報おょぴ予測残差符号化信等の各種の情報が抽出される

白

符号列解析部 2 0 1 で出された参照イン丁ックスの大個数および参照ィンデックス割 y 当て用コンド列は参照ィン丁ックス · ピクチャ番号変換部 2 0 6に、参照ィンデックスは動さ補 f貝復号化部 2 0 4に、動きべクトル情報は動さベクトル記部 2 0 5に、予測残差符号化信号は予測残差復号化部 2 0 2にそれぞれ出力される。

予測残差復号化部 2 0 2では入力された残差符号化信号に対して、逆量子化、逆周波数変換等の画像復号化処理を施し残差復号化信号を出力する。加算演算部 2 0 7 では前記残差復号化信号と動き補償復号化部 2 0 4から出力される予測画像信号との加算を行い再構成画像信号を生成し、得られた再構成画像信号は以降の画面間予測での参照に使用するため、および表示用に出力するためにピクチヤメモリ 2 0 3 に格納される

動き補償復号化部 2 0 4では、動きベクトル記憶部 2 0 5から入力される動きべクトルおよび符号列解析部 2 0 1 から入力される参照インデックスを用いて、ピクチャメモリ 2 0 3に格納されている再構成画像信号から予測画像に最適な画像領域を取り出す。このとさ、参照インデックスピクチャ番号変換部 2 0 6において、与えられた参照インデックスとピクチャ番号との対応を取ることによりピクチャメモリ 2 0 3 中の参照ピクチャを指定する。その際、フィ一ルド符号化が混在する場合には、フレーム用の参照インデックスをフィールド用の参照ィンデックスに変換してから参照フィールドを指定する。

さらに、得られた画像領域の画素値に対して動き補償復号化部 2 0 4において線形予測による補間処理等の画素値変換処理を施すことによって最終的な予測画像を作成する。上記の一連の処理によつて生成された復号化画像はピクチャメモリ 2 0 3に格納され、表示されるタイミングに従って表示用画像信号として出力される。

以上の処理の流れは画面間予測復号化を行った場合の動作であつたが、スィツチ 2 0 8によって画面内予測復号化との切り替えがなされる。画面内復号化を行う場合は、動き補償による予測画像の生成は行わず、同一画面内の復号化済み領域から復号化対象領域の予測画像を生成し加算を行うことによって復号化画像を生成する。復号化画像は画面間予測復号化の場合と同様に、ピクチャメモリ 2 0 3 に格納され、表示されるタイミングに従って表示用國像信号として出力される。

( 2 ) 参照インデックス変換処理

参照インデックス ■ ピクチャ番号変換部 2 0 6では、入力された参照ィンデックスの最大個数および参照ィンデックス割り当てコマンドを使用して、ピクチャ番号と参照インデックスの割り当てを行う。割り当て方法は符号化装置の場合と全く同様である。本実施の形態では、フレーム符号化用参照インデックスの最大個数の 2倍の値をフィールド符号化用参照インデックスの最大個数としている。そのため、フレーム符号化において図 2のような割り当てが行われた場合は、フィールド符号化では図 4のようになる。

以上説明してきたように本実施の形態における符号化装置及び復号化装置によれば、マクロブロック単位フレームフィールド切リ替え符号化を行う場合に、参照インデックスの最大個数および割り当てコマンドをフレーム符号化用のもののみを符号化だけで、フレーム符号化のみならずフィ ―ルド符号化においても適切に適用することができる。また、フィールド用の参照ィン于ックスの最大個数は、フレーム用の 2倍にしているので、符号化よび復号化に際してメモリ中に保持されているフィ一ルドの全てを有効に活用することができる。

(実施の形態 2 )

<符号化装置及び復号化装置の概要 >

まず、本実施の形態における符号化装置及び復号化装置の概要について説明する。

本実施の形態における符号化装置及ぴ復号化装置は、マクロブロック単位フレームフィ一ルド切り替え符号化を行い、その際、参照インデックスの最大個数及びコマンド列について次の（ 2 . 1 )、（ 2 .

2 ) のように取り扱う。

( 2 . 1 ) 参照イン丁ックスの最大個数については、実施の形態 1 冒頭で説明した（ 1 1 ) と同じなので説明を省略する。

( 2 . 2 ) コマンド列については、符号化装置は、伝送される符号中にフレーム用のコマンドを記述しておく符号化装置は、フレーム符号化に際して、図 3 7 、図 3 8で説明したようにフレーム用の参照ィンデックスの割リ当てを行う。なお、コマンド列を符号化しない場合は、図 3 7で説明したように、丁フオル卜の割り当て方法によって参照インデ Vクスが対応付けられる

口

さらに、フィールド符化に際しては、割リ当ての行われたフレー厶用の参照インデックスを前提にして、フィ一ルド符号化用に参照インデックスの割リ当てを更新"^ 。

本実施の形態では、実施の形態 1 とは異なリ符号化対象マク口ブロックがトップであってもボトムであっても、 1 つのフレームを構成する 2つのフィールドのうち、トップフィールドに対して当該フレーム用参照インデックスの値を 2倍した値を、ポトムフィ一ルドに対して、当該参照インデックスの値を 2倍して 1 加算した値（ 2 倍 + 1 ) を、フィールド用参照インデックスとしてそれぞれ割り当てる（図 9参照）。

<符号化装置の構成 >

図 8は、本発明の実施の形態 2における符号化装置の構成を示すブロック図である。同図の符号化装置は、図 1 と比較して、参照ィンデックス ■ ピクチャ番号変換部 1 0 9の代わりに参照インデックス ' ピクチャ番号変換部 1 0 9 a を備える点が異なっている。図 1 と同じ点は説明を省略して、主に異なる点について説明する。参照インデックス - ピクチャ番号変換部 1 0 9 a は、（ 1 . 2 ) のマツピング (参照インデックスの割り当て）ではなく ( 2 . 2 ) のマツピングを行う点のみ図 1 と異なっている。

<参照インデックスの割り当て例 >

図 9は、上記の（ 2 . 1 ) ( 2 . 2 ) に従って、図 2に示したフレーム用の第 1 、第 2参照インデックスに対してフィールド用の第 1 、第 2参照インデックスを対応付けた結果を示す図である。図 9のように、本実施の形態における参照インデックス ■ ピクチャ番号変換部 1 0 9 a によるマッピングは、トップフィールド用とボトムフィ一ルド用とに別個に参照インデックスを割り当てるのではなく、卜ップとボトムとに共通の参照インデックスを割り当てるようになつている。

本実施の形態では、フィールド符号化とフレーム符号化とが 1 つのピクチャの中に混在する場合、フィールド符号化を行うときは参照ィンデックスの最大個数をフレーム符号化を行うときの 2倍の値として极うため、図 2ではインデックスの個数が 3 つであつたが、図 9ではインデックスの個数が 6つとなっている。

<参照インデックス割り当て処理 >

図 1 0は、符号化装置の参照インデックス ' ピクチャ番号変換部における参照インデックス割リ当て処理を示すフローチャ一卜図である。

同図は、図 6のフ口一チヤ — 卜とじ処理には同じステップ番号を付与してあり、また、図 6のフロ ―チヤ一卜と比べて、図 6の S

2 6 、 S 3 1 〜 S 3 4が削除された占と、 s 2 3の次に S 2 7 を実行する点とが異なる。この相違によ、フレ —ム用の参昭イン丁ッ一、、

クス数の 2倍のフィ —ルド用の参照ィン丁ックスを割当てるとともに、図 9 に示したように、トップフィールド用とボ卜ムフィ一ルド用とに共通のフィ —ルド用の参照ィン丁ックスを割し j 当てている

<復号化装置の構成 >

図 1 1 は、本発明の実施の形態 2における復号化装置の構成を示すブロック図である。同図の復号化装置は、図 7 と比車父して、、卷 "昭》、インデックス - ピクチヤ番号変換部 2 0 6の代わリに参昭イン丁ックス ■ ピクチャ番変換部 2 0 6 a を備える点が異なている。参照インデックス ■ ピクチャ番号変換部 2 0 6 a は、 ( 1 2 ) のマツピングではなく（ 2 . 2 ) のマッピングに対応する参昭ィン丁ックス変換処理を行う点のみ図 7 と異なている

<参照ィンデックス変換処理 >

参照インデックス • ピクチャ番号変換部 2 0 6 a では、入力された参照インデックスの最大個数および参照ィン丁ックス割リ当てコマンドを使用して、ピクチャ番号と参照ィン丁ックスの割リ当てを行う。割り当て方法は符号化装置の場合と全く同様である。本実施の形態では、フレーム符号化用参照インデックスの最大個数の 2倍の値をフィールド符号化用参照ィンデックスの最大個数としている。そのため、フレーム符号化において図 2のような割り当てが行われた場合は、フィールド符号化では図 9のようになる。

(実施の形態 3 )

<符号化装置及び復号化装置の概要 >

本実施の形態における符号化装置及び復号化装は、マクロブロック単位フレームフィールド切り替え符号化を行い、その際、参照ィン亍ックスの最大個数及びコマンド列について次の ( 3 . 1 ) 、（ 3 .

2 ) のよラに取リ极ラ。

( 3 . 1 ) 参照ィンデックスの最大個数について、符号化装置はフィ―ルド符号化とフレーム符号化が混在する口に、伝送される符号中にはフレム用の参照ィンデックスの最大個数を記述して

口

お < 。符化装置は、フレーム符号化の場合は当該 as大個数を使用可能な参昭イン丁ヅクスの個数として扱い、フィ ―ルド符号化の場口で、フレーム用と同数をフィ一ルド符号化用参照インデックスの個数として扱う例えば、フレーム用の参照ィン丁ックスの最大個数が 3であれぱ、フィールド用の参照インデックスの最大個数も

3 と扱う

( 3 . 2 ) コマンド列については、実施の形 1 冒頭で説明した ( 1 . 2 ) と同じなので説明を省略する。ただし、（ 3 . 1 ) によて与えられた参照ィンデックスの最大個数が、フレーム符号化用とフィルド符号化用とで同じ値を用いるため、フィルド符号化の場合でも図 2 と同じ個数しか割り当てることができない（図 1 3

<符号化装置の構成 >

図 1 2は、本発明の実施の形態 3 における符号化装置の構成を示すブロック図である。同図の符号化装置は、図 1 と比較して、参照インデックス - ピクチャ番号変換部 1 0 9の代わりに参照インデックス ' ピクチャ番号変換部 1 0 9 b を備える点が異なっている。参照インデックス ■ ピクチャ番号変換部 1 0 9 bは、（ 1 . 1 ) ではな

< ( 3 . 1 ) のに従って参照インデックスの個数を扱う点のみ図 1 と異なっている

<参照インデックスの割り当て例 >

図 1 3は、上記の（ 3 . 1 ) ( 3 . 2 ) に従って、図 2に示したフレーム用の第 1 、第 2参照インデックスに対してフィールド用の第

1 、第 2参照インデックスを対応付けた結果を示す図である。図 1 3のように、本実施の形態における参照インデックス ■ ピクチャ番号変換部 1 0 9 b によるマッピングは、実施の形態 1 と同様に、トップフィールド用とボトムフィールド用とに別個に参照インデックスを割り当てるが、フィールド用の参照インデックスの最大数がフレーム用の参照インデックスの最大数と同数である点が異なっている。

ぐ復号化装置の構成 >

図 1 4は、本発明の実施の形態 3 における復号化装置の構成を示すブロック図である。同図の復号化装置は、図 7 と比較して、参照インデックス ■ ピクチャ番号変換部 2 0 6の代わりに参照インデックス ■ ピクチャ番号変換部 2 0 6 b を備える点が異なっている。参照インデックス ■ ピクチャ番号変換部 2 0 6 bは、（ 1 . 1 ) の最大数ではなく（ 3 . 2 ) の最大数に対応する参照インデックス変換処理を行う点のみ図 7 と異なっている。

(実施の形態 4 )

<符号化装置及ぴ復号化装置の概要 >

本実施の形態における符号化装置及ぴ復号化装置は、マクロプロック単位フレームフィールド切り替え符号化を行い、その際、参照インデックスの最大個数及びコマンド列について次の（ 4 . 1 )、（ 4 . 2 ) のように取り扱う。

( 4 . 1 ) 参照インデックスの最大個数については、実施の形態 3 冒頭で説明した（ 3 . 1 ) と同じなので説明を省略する。

( 4 . 2 ) 実施の形態 2冒頭で説明した（ 2 . 2 ) と同じなので説明を省略する。ただし、（ 4 . 1 ) によって与えられた参照インデックスの最大個数が、フレーム符号化用とフィールド符号化用とで同じ値を用いるため、フィ一ルド符号化の場合でも図 2 と同じ個数しか割り当てることができない（図 1 6参照）。

ぐ符号化装置の構成 >

図 1 5 は、本発明の実施の形態 4 における符号化装置の構成を示すブロック図である。同図の符号化装置は、図 8 と比較して、参照インデックス . ピクチャ番号変換部 1 0 9 a の代わりに参照インデックス ■ ピクチャ番号変換部 1 0 9 c を備える点が異なっている。参照インデックス ' ピクチャ番号変換部 1 0 9 cは、（ 2 . 1 ) ではなく（ 4 . 1 ) に従って参照インデックスの最大個数を扱う点のみ図 8 と異なってしゝる。

<参照インデックスの割り当て例 > 図 1 6は上記の ( 4 . 1 ) ( 4 . 2 ) に従つて図 2に示したフレ一ム用の第 1 第 2参昭ン丁ックスに対してフィルド用の第

1 、第 2參昭ィン丁ックスを対応付けた結果 ¾:示す図である。図 1

6のよラに本実施の形能におけるン丁ックスピクチャ番変換部 1 0 9 b によるマッピングは、実施の形 SE 2 と同様に、符口

化対象ク口ブ P ックのトップとポ卜ムとで共通の参照インデックスを割当てるが、フィールド用の参照ィンデックスの最大数がフレ厶用のィン丁ックスの最大数と同数である点が異なっている。

<復号化装置の構成 >

本実施形能における復号化装置は、実施の形態 2における復号化

一■»

装置とじでよい o ただし、フィ一ルド用のィン丁ックスの最大個数がフレ -厶用の最大数の 2倍ではな < 、同数であると扱う点のみ異なる。

(実施の形態 5 )

<符号化装置及ぴ復号化装置の概要 >

まず、本実施の形能における符号化装置及び復号化装置の概要について説明する

本実施の形態における符号化装置及び復号化装置は、マクロブロック単位フレムフィールド切り替え符号化を行い、その Ife、麥照ィン丁ックスの大個数及びコマンド列について次の（ 5 . 1 )、（ 5 .

2 ) のよラに取リ极ラ o

( 5 . 1 ) ィン丁ックスの最大個数については、実施の形冒頭で説明した ( 3 . 1 ) と同じなので説明を省略する

( 5 . 2 ) コマンド列については、符号化装置は、伝送される符号中にフレ一ム用のコマンド ¾: しておく。符号化装置は、フレーム符号化に際して、図 3 7、図 3 8で IR明したようにフレーム用の参照インデックスの割リ当てを行う。なお、コマンド列を符号化しない場合は、図 3 7で説明したように、于フオル卜の割り当て方法によって参照インデックスが対応付けられる

さらに、フィールド符号化に際しては、割当ての行われたフレーム用の参照インデックスを前提にして、フィ ―ルド符号化用に参照インデックスの割り当てを更新する。

本実施の形態では、実施の形態 1 とは異な、 1 つのフレームを構成する 2つのフィールドのうち、符号化対象のマクロブロックと同じパリティのフィールドに対してのみ当該フレーム用参照インデックスの値をフィールド用参照ィンデックスとしてそのまま割り当て、異なるノリティのフィ一ルドには割り当てない（図 1 8参照）。言い換えれば、符号化対象のマクロブ P ックがトップフィールドに属する場合は上記 2つのフィールドのラちの卜ップフィールドに対して当該フレーム用参照ィンデックスの値を、フィールド用の参照インデックスとしてを割リ当てる。符号化対象のマクロブロックがボトムフィ一ルドに属する場合は上記 2 のフィ一ルドのうちのボトムフィールドに対して当該フレーム用参昭ィンデックスの値を、フィールド用の参照インデックスとしてを割当てる。

一方、復号化装置は、伝送される符号中に含まれるフレーム用の参照インデックスの最大個数および割り当て =1 ンドを復号化し、それらを用いて符号化装置と全く同様の方法によリ参照ピクチャと参照インデックスの割り当てを行う。

<符号化装置の構成 >

図 1 7 は、本発明の実施の形態 5 における符号化装置の構成を示すブロック図である。上記 ( 5 . 1 ) ( 5 . 2 ) に対応するために図 1 における参照インデックス ■ ピクチャ番号変換部 1 0 9 を参照ィンデックス■ピクチャ番号変換部 1 0 9 d とした点が異なっている。 <参照インデックスの割り当て例 >

図 1 8は、上記の（ 5 . 1 ) ( 5 . 2 ) に従つて、図 2にポしたフレ一ム用の第 1 、第 2参照インデックスに対してフィ ―ルド用の第

1 、第 2参照インデックスを対応付けた結果を示す図であ ¾) o 図 1

8のように、符号化対象のマクロブ P ックと fpj じパリティのフィ一ルに対して当該フレ —ム用参照ン丁 Vクスの値をフィ一ルド用参照インデックスとして割り当て、異なるパティのフィ ―ルドには割リ当てないようにしている。

<参照インデックス割リ当て処理 >

図 1 9は、符号化装置の参照ィン丁ックスピクチャ番号変換部における参照'ィンデックス割り当て処理を示すフローチャ - ト図でる。同図は図 6 と比ベて、図 6の S 2 7 S 3 0の代わリに S 8

1 を設けている点と、 S 3 1 〜 S 3 4の代わリに S 8 2を設けている点とがことなる。

<復号化装置の構成 >

図 2 0は、本発明の実施の形態 5 における復号化装 Λの構成示すブロック図である。同図は図 7 と比べて参昭インデックス · ピクチャ番号変換部 2 0 6の代わりに参照ィン丁ックス - ピ so. 口

クチャ ■ 変換部 2 0 6 d を備える点が異なつている o

参照インデックス - ピクチャ番号変換部 2 0 6 d は、フィ一ルド用のインデックスを（ 5 . 2 ) のマッヒング同様の操作によつて、復対象がトップであればトップのフィ一ルのみを、復号対象がポ卜ムあればポトムのフィールドのみをマッピングする o

(実施の形態 6 ) <符号化装置及び復号化装置の概要 >

本実施の形態における符号化装置及び復号化装置は、マクロブ口ック単位フレームフィールド切り替え符号化を行い、その際、参照インデックスの最大個数及びコマンド列について次の（ 6 . 1 )、 ( 6 .

2 ) のように取り扱う。ここで、参照インデックス及びコマンドは図 3 7で、参照ィンデックスの最大個数は図 3 9 に示したものと同様である。

( 6 . 1 ) 參照ィンデックスの最大個数について、符号化装置はフィールド符号化とフレーム符号化が混在する場合に、伝送される符号中にはフレーム用の参照インデックスの最大個数を記述しておくだけでなく、卜ップフィールド用の参照インデックスの IS大個数とポ卜ムフィ一ルド用の参照ィンデックスの最大個数をも記述しておく。

復号化装置は、符号中に記述されたトップフィールド用の参昭ィンデックスの最大個数とボトムフィールド用の参照イン丁ックスの最大個数に従う。

( 6 . 2 ) コマンド列については、（ 1 . 2 ) と同様であるので説明を省略する。ただし、トップフィールド用の参照インデックスは、符号中に記述された最大個数を超えないように取リ扱う o ボトムフィ一ルド用の参照ィンデックスについても同様である。

—方、復号化装置は、伝送される符号中に含まれるフレーム用およびトップフィ一ルド用およびボトムフィ一ルド用の参照ィンデックスの最大個数および割り当てコマンドを復号化し、それらを用いて符号化装置と全く同様の方法により参照ピクチャと参照インデックスの割り当てを行う。

口

<符化装置及び復号化装置の構成 >

本実施形態における符号化装置及び is. 化装置は、実施の形態 1 における符号化装置及ぴ復号化装置と同じでよい。ただし、トップフィ一ルド用の参照インデックスの大個数とボトムフィ一ルド用の参照ィン丁ックスの最大個数は、フレ一ム用の参昭ィン丁ックスの 2倍ではなく、符号中に記述されているのでそれに従ラ o

ぐデータ構成 >

図 2 1 は、本発明の実施の形態 6 における符号列の丁一タ構成を示す図である。同図において、ピクチャ共通情報に含まれ Ό M a X

― i d X 1 には、第 1 参照ピクチャ r e f 1 が対応しており、フレーム用の参照インデックスの最大個数（M a X ― 1 d X — f r m ) _% 卜卜ッップフィールド用の参照インデックスの最大個数 ( M a x― i d

- 一、、

XX—一 t o p ) , ボトムフィールド用の参照ィン丁ックスの最大個数

(( MM a X _ i d x― b t m ) 力《§己¾1 れる。

図図 2 2は、フィールド符号化する場合のフィールのピクチャ番号■¾·にに第 1 、第 2参照インデックスを割り当てた例を示す図 00 。同同図図の場合、 M a x— ί d x— t o pは 5であるのに対し、 M a X

― i I d x— b t mは 6 と記述される。このように、本実施形態の符号号化化装置、復号化装置では、トップとポ卜ムとで最大参昭フィールドド数数を柔軟に設定することができる。

曰

ななお、トップフィールド用の参照インデックスの大個数とポトムムフフィールド用の参照ィンデックスの最大個数とを個別に符号中に記 sS述 ¾Eしている（（ 6 . 1 ) 参照）が、この代わリに卜ップとボトムに最最大大個数を共通にして 1 つ記述する構成としてもよい o

ままた、（ 6 . 2 ) では、（ 1 . 2 ) と同じくフレーム用参照ィンデックスとコマンドとにより指定された参照フレームを構成する 2つのフィールドのうち、符号化対象のマクロブロックと同じパリティのフィールドに対して当該フレーム用参照インデックスの値を 2倍した値を、符号化対象のマクロブロックと異なるパリティのフィールドに対して、当該参照インデックスの値を 2倍して 1 加算した値 ( 2倍 + 1 ) を、フィールド用参照インデックスとしてそれぞれ割リ当てている（図 4参照）。この代わりに、（ 2 . 2 ) と同じくフレ —ム用参照インデックスとコマンドとにより指定された参照フレームを構成する 2つのフィールドのうち、トップフィールドに対して当該フレーム用参照インデックスの値を 2倍した値を、ボトムフィ —ルドに対して、当該参照インデックスの値を 2倍して 1 加算した値（ 2倍 + 1 ) を、フィールド用参照インデックスとしてそれぞれ割り当てる（図 9参照）構成としてもよい。

(実施の形態 7 )

<符号化装置及び復号化装置の概要 >

本実施の形態における符号化装置及び復号化装置は、マクロプロック単位フレームフィールド切り替え符号化を行い、その際、参照インデックスの最大個数及びコマンド列について次の（ 7 . 1 )、（ 7 . 2 ) のように取り扱う。ここで、参照インデックス及びコマンドは図 3 7で、参照インデックスの最大個数は図 3 9に示したものと同様である。

( 7 . 1 ) 参照インデックスの最大個数については、（ 6 . 1 ) と全く同様であるので説明を省略する。

( 7 . 2 ) コマンド列については、符号化装置は、伝送される口

符中にフレ一ム用の参照ィン丁ックス及びコンドだけでなく、卜ップフ一ルド用の参照ィンテックス及びコマンとボ卜ムフィ

―ル用の参 '昭，、、ィンデックス及びコマンドも記述しておく o 符号化装置は、フレ ―ム符号化に際してフレ一ム用の参照ィン丁ックスを割当て、フィールド符号化に P して卜ップフ ―ルド用のィ一《

ン丁ックスと、ボトムフィールド用の参照ィン丁ックスとを割リ当てる o

— Λ、 ¾.■¾·化装置は、伝送される符号中に含まれるフレーム用お呌

よび卜ップフィ一ルド用およぴポ卜ムフィ一ルド用の参照ィン丁ックスの最大個数および割リ当てコマンドを復号化し、それらを用いて符号化装置と全 < 同様の方法によ照ピクチャと参照ィン丁ックスの割り当てを行う o

ぐ符号化装置の構成 >

図 2 3は、本発明の実施の形態 7 における符号化装置の構成を示すブロック図であ ¾) o 図は図 1 にと比べて参昭ィン丁ックス ■ ピクチャ番号変換部 1 0 9の代 _sわリに参昭ィンデックス ■ ピクチヤ番号変換部 1 0 9 e を備える点が異なる o

図 2 4は、本実施の形態における符号列のデ一タ構成例を示す図である。同図において s 1 d X ― C m d 1 は、第 1 参照ピクチヤ r e f 1 用のコマンド群であり、 i d X ― c m d _ f r mと、 I d x

― c m d一 t o p と、 1 d x― c m d ― b t mとを含む。 i d x— c m d ― f r mはフレ一、 — *

ム用の参昭ィン丁ックスに対するコマンド列である。 i d X一 c m d — t o P は卜ップフィ一ルド用の昭ィンデックスに対するコマンド列である o i d x ― c m d― b t mはボ卜ムフィールド用の参照インデックスに対するコマンド列である図 2 5は、フ一ルも

る合のフィ -ルドのピクチヤ番口

に第 1 、第 2参昭ィンテックスを割リ当てた例を示す説明図である。 l。J図では、卜ップフィ一ルド用の参照インデックスと、ボトムフィ一ルド用の参昭ィンデックスとを、独立して任意のフィールドに割リ当てることがで含 -δ)

図 2 6は、図 2 5の合の参照ィンデックス、コマンド及びフィ一口

ルドのピクチャ番の対応関係の ―例を示す図である。

《

図 2 7 は、参昭一

ィン丁ックス ■ ピクチヤ番号変換部 1 0 9 eにおけ -S)参 '昭"、インデックス及びコマンドの割リ当て処理を示すフローチャ ― トでめ |pj図のように、参照ィン丁ックス ■ ピクチャ換部 1 0 9 e は、フレ一ム用の参照ィン丁ックス及びコマンドを割当て ( S 1 1 )、さらにフレームとフィ一ルドとが混在する場合には ( s 1 2 )、卜ップフィールド用の参照インデックス及びコマンドを割リ当て（ S 9 3 )、さらにポ卜厶フィールド用の参照イン丁ックス及びマンドを割当てる（ S 9 4 )。

なお、図 2 7 では、参照インデックスをデフオル卜で使用する場口には、図 2 7 中の S 1 1 、 S 9 3 、 S 9 4においてコマンドの割当てを行わない

<復化装置の構成 >

図 2 8 は、本発明の実施の形態 7 における復号化装置の構成を示すブ口ック図である |p]図は図 7 と比，、 "、インデックス ■ ピク

口

チャ番変換部 2 0 6の代わりに参照インデックス ■ ピクチャ番号変換部 2 0 6 e を備える構成としている。 ffeィンデックス ■ ピク

口

チャ番変換部 2 0 6 e では、符号列解析部 2 0 1 から入力された、フレーム用およびトップフィールド用およびボ卜ムフィ一ルド用のインデックス割り当てコマンドを使用して、それぞれ独立にピクチャ番号と参照ィンデックスとの対応付けを行う。なお、本実施の形態では、符号中に、トプフィ―ルド用とポトムフィルド用に個別のマンド列 s述しているが、共通のコマ口

ンド列としてもよい。図 2 9は、その場合の符列のデータ構成の示す図である。図中の ί d X一 f I d は、卜ップフィ―ルド用とポトムフィールド用とに共通のコマンド列である 0

なお、 ( 7 . 1 ) で説明したフィ一ルド用の参 "昭、、ィンデックスの最大個数を、トップフィ―ルド用と、ポ卜厶フィ一ルド用とで個別にする代わりに、トップ、ポトムに共通としてもよい。

また、（ 7 . 2 ) で説明したフィールド用の参照インデックス及びコマンドを、トップフィールド用と、ポムフィールド用とで個別にする代わりに、トップ、ボトムに共通としてもよい。

また、上記各実施の形態の復号化装置は、スライスの復号開始前に、フィールド用の参照ィンデックスとフィールドのピクチャ番号との対応表を作成し、フィールド符号化されたマクロブロックの復号時に参照するようにしてちよい。

(実施の形態 8 )

さらに、上記各実施の形態で示した画像符号化方法または画像復号化方法の構成を実現するためのプログラ厶を、フレキシブルディスク等の記憶媒体に記録するようにするとにより、上記各実施の形態で示した処理を、独立したコンビュ ―タシステムにおいて簡単に実施することが可能となる o

図 3 0 A〜 3 0 Cは、上記実施の形態 1 から実施の形態 7の画像符号化方法または画像復号化方法を格納したフレキシブルディスクを用いて、コンピュータシステムにより実施する場合の説明図であ o

図 3 0 Bは、フレキシブルデイスクの正面からみた外観、断面構、

造、及びフレキンブルディスクを示し、図 3 0 Aは、 5し媒体本体であるフレキシブル丁イスクの物理フォーマッ卜の例を示している。フレキシブル丁ィスク F Dはケース F内に内咸され、該丁イスクの表面には、同心円状に外周からは内周に向かて複数の卜ラック T r が形成され、各卜ラックは角度方向に 1 6のセクタ s e に分割されている o 従て、上記プログラムを格納したフレキシブルディスクでは、上記フレキシブルディスク F D上に割り当てられた領域に、上記プログラムとしての画像符号化方法が記録されている 0

また、図 3 0 Cは、フレキシブルディスク F Dに上記プログラムの記録再生を行ラための構成を示す。上記プログラムをフレキシブルディスク F Dに記録する場合は、コンピュータシステム C sから上記プログラムとしての画像符号化方法または画像復号化方法をフレキシブルディスクドラィブを介して書き込む。また、フレキシブルディスク内のプログラ厶により上記画像符号化方法をコンピュータシステム中に構築する場合は、フレキシブルディスクドライブによリブログラムをフレキンブルディスクから読み出し、コンピュータシステムに転送る ο

なお、丄 5し明では、記録媒体としてフレキシブルディスクを用いて説明を行つたが、光デイスクを用いても同様に行うことができ

Ό o また、記録媒体はこれに限らず、 I Cカード、 R O M力セッ卜等、プログラムを記録でさるものであれば同様に実施することができる。

(実施の形態 9 )

図 3 1 から図 3 4は、上記実施の形態で示した符号化処理または復号化処理を行ラ機器、およびこの機器を用いたシステムを説明する図である。図 3 1 は、コンテンツ配信サービスを実現するコンテンツ供給システム ex l 0 0の全体構成を示すプロック図である。通信サービスの提供エリアを所望の大きさに分割し、各セル内にそれぞれ固定無線局である基地局 ex 1 0 7 〜 ex 1 1 0が設置されている。

このコンテンツ供給システム ex 1 0 0は、例えば、インタ一ネッ卜 ex 1 0 1 にインタ一ネットサービスプロバイダ ex 1 0 2および電話網 ex 1 0 4、および基地局 e x 1 0 7 ~ e x 1 1 0 を介して、コンヒュ一タ ex 1 1 1 、 P D A ( ersonal digital assistant) ex 1 1 2、カメラ ex 1 1 3、携帯電話 ex 1 1 4、カメラ付きの携帯電話 e x 1 1 5などの各機器が接続される。

しかし、コンテンツ供給システム exl 0 0は図 3 1 のような組合せに限定されず、いずれかを組み合わせて接続するようにしてもよい。また、固定無線局である基地局 ex 1 0 7 〜 ex 1 1 0 を介さずに、各機器が電話網 ex 1 0 4に直接接続されてもよい。

カメラ ex 1 1 3 はデジタルビデオカメラ等の動画撮影が可能な機器である。また、携帯電話は、 P D C ( Personal Digital Communications)方式、 C D M A ( Code Division Multiple Access) 方式、 W— C D M A ( Wideband-Code Division Multiple Access) 方式、若しくは G S M ( Global System for Mobile Communications) 方式の携帯電話機、または P H S (Personal Handyphone System) 等であり、いずれでも構わない。

また、ストリーミングサーバ ex 1 0 3は、カメラ ex 1 1 3から基地局 ex 1 0 9、電話網 ex 1 0 4 を通じて接続されており、カメラ ex l 1 3 を用いてユーザが送信する符号化処理されたデータに基づいたライブ配信等が可能になる。撮影したデータの符号化処理はカメラ exl 1 3で行っても、データの送信処理をするサーバ等で行ってもよい。また、カメラ 1 1 6で撮影した動画データはコンビュ一タ ex 1 1 1 を介してストリーミングサーバ ex 1 0 3 に送信されてもよい。カメラ ex 1 1 6はデジタルカメラ等の静止画、動画が撮影可能な機器である。この場合、動画データの符号化はカメラ ex 1 1 6で行ってもコンピュータ ex 1 1 1 で行ってもどちらでもよい。また、符号化処理はコンピュータ ex 1 1 1 やカメラ ex 1 1 6 が有する L S I ex 1 1 7 において処理することになる。なお、画像符号化 '復号化用のソフトウェアをコンピュータ ex 1 1 1 等で読み取り可能な記録媒体である何らかの蓄積メディア（ C D — R O M、フレキシブルディスク、ハードディスクなど）に組み込んでもよい。さらに、カメラ付きの携帯電話 ex 1 1 5で動画データを送信してもよい。このときの動画データは携帯電話 ex 1 1 5が有する L S I で符号化処理されたデータである。

このコンテンツ供給システム ex 1 0 0では、ユーザがカメラ ex 1 1 3、カメラ ex 1 1 6等で撮影しているコンテンツ（例えば、音楽ライブを撮影した映像等）を上記実施の形態同様に符号化処理してストリ一ミングサーバ ex 1 0 3 に送信する一方で、ストリ一ミングサーバ ex 1 0 3 は要求のあったクライアントに対して上記コンテンッデータをストリーム配信する。クライアン卜としては、上記符号化処理されたデータを復号化することが可能な、コンピュータ ex 1 1 1 、 P D A e 1 1 2、カメラ ex 1 1 3、携帯電話 ex 1 1 4 等がある。このようにすることでコンテンツ供給システム ex 1 0 0 は、符号化されたデータをクライアン卜において受信して再生することができ、さらにクライアン卜においてリアルタイムで受信して復号化し、再生することにより、個人放送をも実現可能になるシステムである。このシステムを構成する各機器の符号化、復号化には上記各実施の形態で示した動画像符号化装置あるいは動画像復号化装置を用いるようにすればよい。

その一例として携帯電話について説明する。

3 2は、上記実施の形態で説明した動画像符号化方法と動画像復号化方法を用いた携帯電話 ex 1 1 5 を示す図である。携帯電話 ex 1 1 5は、基地局 ex 1 1 0 との間で電波を送受信するためのアンテナ ex 2 0 1 、 C C Dカメラ等の映像、静止画を撮ることが可能なカメラ部 ex 2 0 3、カメラ部 ex 2 0 3で撮影した映像、アンテナ ex 2 0 1 で受信した映像等が復号化されたデータを表示する液晶ディスプレイ等の表示部 ex 2 0 2、操作キー e x 2 0 4群から構成される本体部、音声出力をするためのスピーカ等の音声出力部 ex 2 0 8、音声入力をするためのマイク等の音声入力部 ex 2 0 5、撮影した動画もしくは静止画のデータ、受信したメールのデータ、動画のデータもしくは静止画のデータ等、符号化されたデータまたは復号化されたデータを保存するための記録メディア ex 2 0 7 、携帯電話 ex l 1 5に記録メディア ex2 0 7 を装着可能とするためのスロット部 ex 2 0 6 を有している。記録メディア ex 2 0 7 は S D力ード等のプラスチックケース内に電気的に書換えや消去が可能な不揮発性メモリである E E P R O M ( Electrically Erasable and Programmable Read Only Memory) の一禾鱼であるフラッシュメモリ素子を格納したものである。

さらに、携帯電話 ex 1 1 5について図 3 3 を用いて説明する。携帯電話 ex 1 1 5は表示部 ex 2 0 2及ぴ操作キー e x 2 0 4を備えた本体部の各部を統括的に制御するようになされた主制御部 ex 3 1 1 に対して、電源回路部 ex 3 1 0、操作入力制御部 ex 3 0 4 、画像符号化部 ex3 1 2、カメラインターフェース部 ex 3 0 3 、 L C D (Liquid Crystal Display) 制御部 ex 3 0 2、画像復号化部 ex 3 0 9、多重分離部 ex 3 0 8、記録再生部 ex 3 0 7 、変復調回路部 ex 3 0 6及び音声処理部 ex 3 0 5が同期バス ex 3 1 3 を介して互いに接続されている。

電源回路部 ex 3 1 0は、ユーザの操作により終話及び電源キーがオン状態にされると、バッテリパックから各部に対して電力を供給することによリカメラ付ディジタル携帯電話 ex 1 1 5 を動作可能な状態に起動する。

携帯電話 ex 1 1 5は、 C P U 、 R O M及び R A M等でなる主制御部 ex 3 1 1 の制御に基づいて、音声通話モード時に音声入力部 ex 2 0 5 で集音した音声信号を音声処理部 ex 3 0 5 によってデイジタル音声データに変換し、これを変復調回路部 ex 3 0 6でスぺクトラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex2 0 1 を介して送信する。また携帯電話機 ex 1 1 5は、音声通話モード時にアンテナ ex 2 0 1 で受信した受信信号を増幅して周波数変換処理及ぴァナログディジタル変換処理を施し、変復調回路部 ex 3 0 6でスぺク卜ラム逆拡散処理し、音声処理部 ex 3 0 5によってアナログ音声信号に変換した後、これを音声出力部 e x 2 0 8 を介して出力する。

さらに、データ通信モード時に電子メールを送信する場合、本体部の操作キー e X 2 0 4の操作によって入力された電子メールのテキストデータは操作入力制御部 ex3 0 4 を介して主制御部 ex 3 1 1 に送出される。主制御部 ex 3 1 1 は、テキストデータを変復調回路部 ex 3 0 6でスペクトラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換処理を施した後にァンテナ ex 2 0 1 を介して基地局 ex 1 1 0へ送信する。

データ通信モード時に画像データを送信する場合、カメラ部 ex

2 0 3 で撮像された画像データをカメラインターフェース部 ex 3

0 3 を介して画像符号化部 ex 3 1 2に供給する。また、画像丁一タを送信しない場合には、カメラ部 ex 2 0 3で撮像した画像デ一タをカメラインタ一フェース部 ex 3 0 3及ぴ L C D制御部 ex 3 0 2 を介して表示部 ex 2 0 2に直接表示することも可能である。

画像符号化部 e x 3 1 2は、本願発明で説明した画像符号化 m.を備えた構成であり、カメラ部 ex 2 0 3から供給された画像デ一タを上記実施の形態で示した画像符号化装置に用いた符号化方法によつて圧縮符号化することにより符号化画像データに変換し、これを多重分離部 ex 3 0 8 に送出する。また、このとき同時に携帯話機 ex 1 1 5は、カメラ部 ex 2 0 3で撮像中に音声入力部 ex 2 0 5で集音した音声を音声処理部 ex 3 0 5 を介してディジタルの尸丁

—タとして多重分離部 ex 3 0 8 に送出する。

多重分離部 ex 3 0 8は、画像符号化部 ex 3 1 2から供給された符号化画像データと音声処理部 ex 3 0 5から供給された音声データとを所定の方式で多重化し、その結果得られる多重化データを変復調回路部 ex 3 0 6でスペクトラム拡散処理し、送受信回路部 ex 3 0 1 でディジタルアナログ変換処理及び周波数変換処理を施した後にアンテナ ex 2 0 1 を介して送信する。

丁ータ通信モード時にホームページ等にリンクされた動画像ファィルのデータを受信する場合、アンテナ ex 2 0 1 を介して基地局 ex 1 1 0から受信した受信信号を変復調回路部 ex 3 0 6でスぺク卜ラム逆拡散処理し、その結果得られる多重化データを多重分離部 ex 3 0 8 に送出する。また、アンテナ ex 2 0 1 を介して受信された多重化データを復号化するには、多重分離部 ex 3 0 8 は、多重化データを分離することによリ画像データの符号化ビッ卜ス卜リームと音声データの符号化ピットストリームとに分け、同期パス ex 3 1 3 を介して当該符号化画像データを画像復号化部 ex 3 0 9 に供給すると共に当該音声データを音声処理部 ex 3 0 5に供給する。

次に、画像復号化部 ex 3 0 9は、本願発明で説明した画像復号化装置を備えた構成であり、画像データの符号化ビットストリームを上記実施の形態で示した符号化方法に対応した復号化方法で復号することによリ再生動画像データを生成し、これを L C D制御部 ex 3 0 2 を介して表示部 ex 2 0 2に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まれる動画データが表示される。このとき同時に音声処理部 ex 3 0 5は、音声データをァナログ音声信号に変換した後、これを音声出力部 ex 2 0 8 に供給し、これにより、例えばホームページにリンクされた動画像ファイルに含まる音声データが再生される。

なお、上記システムの例に限られず、最近は衛星、地上波によるディジタル放送が話題となっており、図 3 4に示すようにディジタル放送用システムにも上記実施の形態の少なくとも画像符号化装置または画像復号化装置のいずれかを組み込むことができる。具体的には、放送局 ex 4 0 9では映像情報の符号化ビットストリ一ムが電波を介して通信または放送衛星 ex 4 1 0に伝送される。これを受けた放送衛星 ex 4 1 0は、放送用の電波を発信し、この電波を衛星放送受信設備をもつ家庭のアンテナ ex 4 0 6で受信し、テレビ（受信機） ex 4 0 1 またはセットトップボックス（ S T B ) ex 4 0 7 などの装置により符号化ビットストリ一厶を復号化してこれを再生する。また、記録媒体である CD や DVD等の蓄積メディア ex 4 0 2に記録した符号化ビットストリームを読み取り、復号化する再生装置 ex 4 0 3にも上記実施の形態で示した画像復号化装置を実装することが可能である。この場合、再生された映像信夸はモニタ ex 4 0 4に表示される。また、ケーブルテレビ用のケーブル ex 4 0 5または衛星地上波放送のアンテナ ex 4 0 6 に接続されたセッ卜トップボックス ex 4 0 7内に画像復号化装置を実装し、これをテレビのモニタ ex 4 0 8で再生する構成も考えられる。このときセットトップポックスではなく、テレビ内に画像復号化装置を組み込んでも良い。また、アンテナ ex 4 1 1 を有する車 ex 4 1 2で衛星 ex 4 1 0からまたは基地局 ex 1 0 7等から信号を受信し、車 _ex 4 1 2が有する力一ナビゲーシヨン ex 4 1 3等の表示装置に動画を再生することも可能である。

更に、画像信号を上記実施の形態で示した画像符号化装置で符号化し、記録媒体に記録することもできる。具体例としては、 DVDデイスク e X 4 2 1 に画像信号を記録する DVD レコーダや、ハードディスクに記録するディスクレコーダなどのレコーダ e x4 2 0がある。更に SD カード e x 4 2 2に記録することもできる。レコ一ダ e X 4 2 0が上記実施の形態で示した画像復号化装置を備えていれば、 DVDディスク e x 4 2 1 や SD カード e x 4 2 2に記録した画像信号を再生し、モニタ e X 4 0 8で表示することができる。

なお、カーナビゲーション ex 4 1 3の構成は例えば図 3 3に示す構成のうち、カメラ部 ex 2 0 3 とカメラインタ一フェース部 ex 3 0 3 、画像符号化部 e X 3 1 2を除いた構成が考えられ、同様なことがコンピュータ ex 1 1 1 やテレビ（受信機） ex 4 0 1 等でも考えられる。また、上記携帯電話 ex 1 1 4等の端末は、符号化器 ■ 復号化器を両方持つ送受信型の端末の他に、符号化器のみの送信端末、復号化器のみの受信端末の 3通りの実装形式が考えられる。このよつに、上記実施の形感で示した動画像符号化方法あるいは動画口

像復化方法を上述したいずれの機 ¾5 , ンステムに用いることは可能であ y そうすることで、上記実施の形態で説明した効果を得るとができる

また、本発明はかかる上記実施形に限定されるものではなく、本発明の to囲を逸脱することなく種々の変形又は修正が可能である

業上の利用可能性

本発明は、ピクチャ内でブロック単位にフレ —ム符号化とフィ一ルド符号化とを切リ替えて符号化を行う画像符号化装置、画像復化装置に適しておリ、動画配信するゥェブザーバー、それを受信するネッ卜ヮ一ク 3而末、動画の記録再生可能な丁ジタルカメラ、力メラ付さ話機、 D V D録画/再生機、 P D A、パ一ソナル 3 ンピュータ等に適している。

Claims

1 . プロック単位でフレーム符号化とフィールド符号化とを切リ替えてピクチャを符号化する動画像符号化方法であって、

フレーム符号化時に参照するフレームを指定するフレーム符号化用参照インデックスを用いて、フィルド符号化時に参照するフィールドを請

指定するフィールド符号化用参照インデックスをフィールドに割り当てることを特徴とする動画像符号化方法。

の

範

2 . 前記動画像符号化方法は、

囲

フレーム符号化用参照インデックスにより指定されるフレームを構成する 2つのフィールドを特定する特定ステップと、

特定された 2つのフィールドのうち、符号化対象のブロックと同じパリティを持つフィールドに対しては前記フレーム符号化用参照インデックスの値を 2倍した値をフィールド符号化用参照ィンデックスとして割リ当て、符号化対象のブロックと異なるパリティを持つフィールドに対しては前記フレーム符号化用参照ィンデックスの値を 2倍して 1 加算した値をフィ一ルド符号化用参照ィンデックスとして割リ当てる割当ステップと

を有することを特徴とする請求の範囲第 1 項に記載の動画像符号化方法。

3 . 前記動画像符号化方法は、さらに、

フィ一ルド符号化用参照ィンデックスの最大個数を、フレーム符号化用参照インデックスの最大個数の 2倍の値に決定する決定ステップを有し、前記割当ステツプにおいて、決定された最大個数内でフィ一ルド符号化用参照インデックスを割り当てる

ことを特徴とする請求の範囲第 2項に記載の動画像符号化方法。

4 . 前記動画像符号化方法は、

特定された 2つのフィールドのうち、トップフィールドに対しては前記フレーム符号化用参照インデックスの値を 2倍した値をフィールド符号化用参照インデックスとして割り当て、ボトムフィールドに対しては前記フレーム符号化参照インデックスの値を 2倍して 1 加算した値をフィールド符号化用参照インデックスとして割り当てる割当ステップとを有することを特徴とする請求の範囲 ¼ 1項に記載の動画像符号化方法。

5 . 前記動画像符号化方法は、

特定した 2つのフィールドのうち、符号化対象のブロックと同じパリティを持つフィールドに対してのみ前記フレーム符号化用参照インデックスと同じ値をフィールド符号化用参照ィンデックスとして割り当てる割当ステップと

6 . 前記動画像符号化方法は、さらに、フレーム符号化用参照ィンデックスの割リ当て方法を示すコマンド列と、フィールド符号化用参照インデックスの割り当て方法を示すコマンド列とをそれぞれ独立に生成し、前記 2組のコマンド列を符号化し符号化信号に付加する付加ステツプを有する

ことを特徴とする請求の範囲第 1項に記載の動画像符号化方法。

7 . 前記動画像符号化方法は、さらに、

フレーム符号化用参照インデックスの割り当て方法を示すコマンド列と、トップフィ一ルド符号化用参照ィンデックスの割リ当て方法を示すコマンド列と、ボトムフィールド符号化用参照インデックスの割り当て方法を示すコマンド列とをそれぞれ独立に生成し、前記 3組のコマンド列を符号化し符号化信号に付加する付加ステップを有する

ことを特徴とする請求の範囲第 1項に記載の動画像符号化方法。 8 . 前記動画像符号化方法は、

フィールド符号化用参照インデックスの最大個数を決定する決定ステップと、

決定された最大個数の範囲内で、フレーム符号化時に參照するフレームを指定するフレーム符号化用参照インデックスを用いて、フィールド符号化時に参照するフィールドを指定するフィ一ルド符号化用参照ィンデックスをフィールドに割り当てる割当ステップと

. 前記決定ステップにおいて、

フィールド符号化用参照インデックスの最大個数を、フレーム符号化用参照インデックスの最大個数の 2倍に決定する

ことを特徴とする請求の範囲第 8項に記載の動画像符号化方法。

1 0 . 前記決定ステップにおいて、

フィールド符号化用参照インデックスの最大個数を、フレーム符号化用参照インデックスの最大個数と同じ値に決定する

1 1 . 前記動画像符号化方法は、さらに、

フレーム符号化用参照インデックスの最大個数をフィールド符号化用参照インデックスの最大個数とは独立に決定し、前記 2つの最大個数を符号化し符号化信号に付加する付加する付加ステップを有する

ことを特徴とする請求の範囲第 8項に記載の勣画像符号化方法。 1 2 . 前記動画像符号化方法は、さらに、

フレーム符号化用参照インデックスの最大個数とトップフィールド用の最大個数とボトムフィールド用の最大個数をそれぞれ独立に決定し、前記 3つの最大個数を符号化し符号化信号に付加する付加ステップを有する

1 3 . ブロック単位でフレーム復号化とフィールド復号化とを切り替えてピクチャを復号化する動画像復号化方法であって、

フレーム復号化時に参照するフレームを指定するフレーム復号化用参照インデックスを用いて、フィールド復号化時に参照するフィールドを指定するフィールド復号化用参照ィンデックスをフィールドに割り当てることを特徴とする動画像復号化方法。

1 4 . 前記動画像復号化方法は、

フレーム復号化用参照インデックスにより指定されるフレームを構成する 2つのフィールドを特定する特定ステップと、

特定された 2つのフィールドのうち、復号化対象のブロックと同じパリティを持つフィールドに対しては前記フレーム復号化用参照ィンデックスの値を 2倍した値をフィールド符号化用参照インデックスとして割リ当て、復号化対象のブロックと異なるパリティを持つフィールドに対しては前記フレーム復号化用参照インデックスの値を 2倍して 1 加算した値をフィールド符号化用参照インデックスとして割り当てる割当ステップと

を有することを特徴とする請求の範囲第 1 3項に記載の動画'像復号化方法。

1 5 . 前記動画像復号化方法は、さらに、

フィールド復号化用参照インデックスの最大個数を、フレーム復号化用参照インデックスの最大個数の 2倍の値に決定する決定ステップを有し、

前記割当ステップにおいて、決定された最大個数内でフレーム復号化用参照インデックスを割り当てる

ことを特徴とする請求の範囲第 1 4項に動画像復号化方法。

1 6 . 前記動画像復号化方法は、

フレーム復号化用参照インデックスにより指定されるフレームを構成する 2つのフィールドを特定する特定ステップと、特定された 2つのフィールドのうち、トップフィールドに対しては前記フレーム復号化用参照インデックスの値を 2倍した値をフィールド符号化用参照インデックスとして割り当て、ボトムフィールドに対しては前記フレーム復号化参照インデックスの値を 2倍して 1 加算した値をフィールド符号化用参照インデックスとして割り当てる割当ステップとを有することを特徴とする請求の範囲第 1 3項に記載の動画像復号化方法。

1 7 . 前記動画像復号化方法は、

フレーム復号化用参照ィンデックスにより指定されるフレームを構成する 2つのフィールドを特定する特定ステップと、

特定した 2つのフィールドのうち、復号化対象のブロックと同じパリティを持つフィールドに対してのみ前記フレーム復号化用参照インデックスと同じ値をフィールド符号化用参照インデックスとして割り当てる割当ステップと

を有することを特徴とする請求の範囲第 1 3項に記載の動画像復号化方法。

1 8 . 前記動画像復号化方法は、

フレーム復号化用参照ィンデックスの割リ当て方法を示すコマンド列と、フィールド復号化用参照インデックスの割り当て方法を示すコマンド列とを含む符号化信号を復号化するコマンド列復号化ステップと、復号化された前記 2つのコマンド列に応じて、フレーム復号化用参照インデックスおよびフィールド復号化用参照インデックスの割り当てを行う割当ステップと

を有することを特徴とする請求の範囲第 1 3項に記載の動画像復号化方法

1 9 . 前記動画像復号化方法は、さらに、

フレーム復号化用参照インデックスの割り当て方法を示すコマンド列と、トップフィールド復号化用参照インデックスの割り当て方法を示すコマンド列と、ボトムフィールド復号化用参照インデックスの割り当て方法を示すコマンド列とを含む符号化信号を復号化するコマンド列復号化ステップと、

復号化された前記 3つのコマンド列に応じて、フレーム復号化用参照インデックス、トップフィールド復号化用参照インデックスおよびポト厶フィールド復号化用参照ィンデックスの割リ当てを行う割当ステツプを有することを特徴とする請求の範囲第 1 3項に記載の動画像復号化方法。

2 0 . 前記動画像復号化方法は、

フィールド復号化用参照インデックスの最大個数を決定する決定ステップと、

決定された最大個数の範囲内で、フレーム復号化時に参照するフレームを指定するフレーム復号化用参照インデックスを用いて、フィールド復号化時に参照するフィールドを指定するフィ一ルド復号化用参照ィンデックスをフィールドに割り当てる割当ステップと

を有することを特徴とする請求の範囲第 1 3項に記載の動画像符復号化方法。

2 1 . 前記決定ステップにおいて、フィールド復号化用参照インデックスの最大個数を、フレーム復号化用参照インデックスの最大個数の 2倍に決定する

ことを特徴とする請求の範囲第 2 0項に記載の動画像復号化方法。 2 2 . 前記決定ステップにおいて、

フィールド復号化用参照ィンデックスの最大個数を、フレーム復号化用参照インデックスの最大個数と同じ値に決定する

ことを特徴とする請求の範囲第 2 0項に記載の動画像復号化方法。 2 3 . 前記決定ステップにおいて、

フレーム復号化用参照インデックスの最大個数とフィールド復号化用参照インデックスの最大個数とを含む符号化信号を復号化することによつて、前記 2つの最大個数を決定する

ことを特徴とする請求の範囲第 2 0項に記載の動画像復号化方法。

2 4 . 前記決定ステップにおいて、

フレーム復号化用参照インデックスの最大個数とトップフィールド用復号化用参照ィンデックスの最大個数とボトムフィールド用復号化用参照インデックスの最大個数とを含む符号化信号を復号化することによつて、前記 3つの最大個数を決定する

2 5 . ピクチャ内でブロック単位にフレーム符号化とフィールド符号化とを切り替えて符号化を行う動画像符号化装置であって、

フレーム符号化時に参照するフレームを指定するフレーム符号化用参照インデックスを用いて、フィールド符号化時に参照するフィ一ルドを指定するフィールド符号化用参照ィンデックスをフィ一ルドに割リ当てる割当手段を備えることを特徴とする動画像符号化装置。

2 6 . ピクチャ内でブロック単位にフレーム復号化とフィールド復号化とを切リ替えて復号化を行う動画像復号化装置であって、

フレーム復号化時に参照するフレームを指定するフレーム復号化用参照インデックスを用いて、フィ一ルド復号化時に参照するフィールドを指定するフィールド復号化用参照インデックスをフィールドに割り当てる割当手段と、

前記フレーム復号化用参照インデックスで指定されたフレームまたは前記フィールド復号化用参照ィンデックスで指定されたフィ一ルドを復号化する復号化手段と

を備えることを特徴とする動画像復号化装置 2 7 . ピクチャ内でブロック単位にフレーム符号化とフィールド符号化とを切り替えて符号化を行う動画像符号化方法をコンピュータに実行させるプログラムであって、

前記プログラムは、

フレーム符号化時に参照するフレームを指定するフレーム符号化用参照インデックスを用いて、フィールド符号化時に参照するフィールドを指定するフィールド符号化用参照インデックスをフィールドに割り当てることをコンピュータに実行させることを特徴とするプログラム。

2 8 . ピクチャ内でブロック単位にフレーム復号化とフィールド復号化とを切り替えて復号化を行う動画像復号化方法をコンピュータに実行させるプログラムであって、前記プログラムは、

フレーム復号化時に参照するフレームを指定するフレーム復号化用参照ィンデックスを用いて、フィールド復号化時に参照するフィ一ルドを指定するフィールド復号化用参照インデックスをフィールドに割り当てことをコンピュータに実行させることを特徴とするプログラム。