WO1998026599A1

WO1998026599A1 - Procede et dispositif de codage d'image numerisee et procede de transmission d'image numerisee

Info

Publication number: WO1998026599A1
Application number: PCT/JP1997/004595
Authority: WO
Inventors: Nobuhisa Obikane; Kanji Mihara; Takuya Kitamura
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1996-12-12
Filing date: 1997-12-12
Publication date: 1998-06-18
Anticipated expiration: 1999-06-12
Also published as: EP0888009B1; DE69735307D1; KR100571685B1; KR19990082486A; DE69735307T2; EP0888009A1; EP0888009A4

Description

599

明細映像データ符号化装置及び方法並びに映像データ伝送方法

技術分野本発明は、複数 n ( n≥ 2 ) 本の映像プログラムを多重化して伝送レートを所定の値以下にするように上記複数 n本の映像プログラムを符号化する映像データ符号化装置及び方法、並びに伝送レートを所定の値以下にするために、複数 n ( n≥ 2 ) 本の映像プログラムに対して異なる目標符号化レートを割り当てて符号化してから多重化して伝送する映像データ伝送方法に関する。背景技術近年、映像デ一夕の圧縮符号化に、動き補償処理（M C ； mot ion compensation) と、離散余弦変換 ( D C T ； discrete cos ine tra nsfer ) 等の直交変換による冗長度低減処理とを組み合わせた M P E G ( moving p icture experts group) や、 M P E G 2が広く用いられるようになった。特に、 M P E G 2の映像圧縮符号技術と通信衛星の機能を組み合わせることにより、映像のディジタル放送が実現した。さらに今後地上波を使った映像のディジ夕ル放送も実現されようとしている。

ディジ夕ル放送の利点は、アナログ放送に比べて同じ伝送路において、より多くの番組（プログラム）を伝送することが可能であることである。これは、映像を圧縮符号化できることによる。

さらに多くのプログラムを伝送する方法として、「統計多重」という手法が考えられている。統計多重は、各プログラムの伝送レートを動的に変化させ、例えば伝送レートを減らしても画質の劣化が目立たないプログラムについてはレートを減らすことによって、より多くのプログラムを伝送する方法である。

図 1に、比較のため 3つのプログラム、例えば天気予報，ニュース，ドラマに対する固定レートによる多重化例を示す。横軸は時間の流れを示しており、縦軸は各々のプログラムに対する割当て符号ィ匕レートを示している。この図 1では各プログラムは初期値で割り当てられた符号化レー卜のままで時間によって変動していない。ここでの初期割当て値はそれぞれのプログラムで画質の劣化が目立つ部分（時間）での劣化が許容範囲に収まるように割り当てられたものである。すなわち、その部分以外は必要以上の符号化レートを割り当てていることになる。

これに対して、上記統計多重の手法を用いて、 4つのプログラムを多重化した例を図 2に示す。ここでは、天気予報，ニュース，ドラマ 1 , ドラマ 2の符号化レートを動的に変化させている。これは、各プログラムの画質の劣化が目立つ部分（時間）が同一時に重なることが希であるという点を利用している。そのため、あるプログラムが画質劣化が目立つ部分のとき、他のプログラムは符号化レートを落としても目立たないので、他のプログラムの分の符号化レートを当該画質劣化が目立つプログラムに多く割り当てることができる。このようにして、通常よりも多くのプログラムを伝送できる。ところで、従来、一つの映像プログラムを例えばディジタルビデオデイスク（Digital Video Disk： D V D ) やビデオ C Dのようなパッケージメディァに蓄積する際には、上記ビデオ情報に圧縮符号化処理を施すェンコ一ドシステムでは、最初に素材の画像の符号化難易度（D iff iculty) を測定し、その符号化難易度に基づき、パヅケージメディァの記録容量内の与えられたバイト数に収まるように、各ビデオ情報のフレームごとにビット配分処理を行っていた。

すなわち、非圧縮映像データを予備的に圧縮符号化して圧縮符号化後のデ一夕量を見積もり、次に、見積もったデータ量に基づいて圧縮率を調整し、圧縮符号化後のデータ量が伝送路の伝送容量に適合する値になるように圧縮符号化するという 2パスェンコ一ド処理を行っていた。

しかし、この 2パスェンコ一ド処理により圧縮符号化を行うと、同じ非圧縮映像データに対して同様な圧縮符号化処理を 2回施す必要があり、 1回の圧縮符号化処理で最終的な圧縮映像データを算出することができないために、上記ディジタル放送時に、上記統計多重により複数の映像プログラムを所定の伝送レ一ト以内になるように、圧縮符号化して伝送しょうとしても、時間がかかり過ぎてしまう。すなわち、撮影した映像デ一夕をそのまま実時間（リアルタイム）に圧縮符号化し、伝送することができない。

本発明は、上記実情に鑑みてなされたものであり、複数の映像プログラムをほぼ実時間で、所定の伝送レート以内に収まるように多重化して伝送するための映像データ符号化装置及び方法の提供を目的とする。

また、本発明は、上記実情に鑑みてなされたものであり、複数の映像プログラムをほぼ実時間で、所定の伝送レート以内に収まるように多重化して伝送する映像データ伝送方法の提供を目的とする。発明の開示本発明に係る映像データ符号化装置は、上記課題を解決するために、目標符号化レート算出手段が、複数 n本の映像プログラムの符号化難易度関連情報に基づいて、上記複数 n本の映像プログラムの合計伝送レ一卜が所定の伝送レート以下になるように、それぞれ独立した目標符号化レートを算出し、複数 n個の符号化手段が上記目標符号化レ一ト算出手段で算出された上記独立した目標符号化レ一トに基づいて上記複数 n本の映像プログラムを符号化する。

ここで上記映像データ符号化装置が用いる、上記符号化難易度関' 連情報は、内部に遅延手段を備えた上記複数 n個の符号化手段によつて先読みされたパラメ一夕情報である。この遅延手段としては、上記パラメ一夕情報を算出する時間分だけ、上記各プログラムを遅延させる F I F 0を用いる。

このため、上記複数 n個の符号化手段が出力する複数 n本のプログラムを多重化したときの合計伝送レー卜が、時系列的に見てどの位置でも、上記所定の伝送レートを超えることがない符号化データをほぼ実時間で得ることができる。

また、上記パラメ一夕情報としてフラットネス及びイントラ A C データ又はこれらのいずれかを上記映像プログラムの映像デ一夕のうち、フレーム内符号化画像に圧縮される画像から算出し、フレーム間順方向予測符号化画像及び双方向予測符号化画像に圧縮される画像の上記パラメ一夕情報として M E残差を算出する。

また、上記映像データ符号化装置が用いる、上記符号化難易度関連情報は、上記複数 n本の映像プログラムに対して固定量子化ステップで量子化処理を施すことによって得られた符号量であり、この符号量は上記複数 n個の符号化手段に対して並列接続される複数 n 個の他の符号化手段により得られてもよい。

ここで、上記複数 n個の符号化手段の各前段には、上記複数 n個の他の符号化手段が上記複数 n本の映像プログラムから上記符号量を算出する時間分だけ上記映像プログラムを遅延させる複数 n個の遅延手段が設けられる。

また、本発明に係る映像デ一夕符号化方法は、複数 n本の映像プ口グラムの先読みされた符号化難易度関連情報に基づいて、上記複数 n本の映像プログラムの合計伝送レートが上記所定の伝送レート以下になるように、上記独立した目標符号化レートを算出し、上記目標符号化レートに基づいて上記複数 n本の映像プログラムを符号化する。

このため、上記複数 n本のプログラムを多重化したときの合計伝送レートが、時系列的に見てどの位置でも、上記所定の伝送レートを超えることがない符号化デ一夕をほぼ実時間で得ることができる ₍ また、本発明に係る映像データ伝送方法は、上記課題を解決するために、目標符号化レート算出工程が、複数 n本の映像プログラムから先読みされた符号化難易度関連情報に基づいて、上記複数 n本の映像プログラムの合計伝送レートが所定の伝送レート以下になるように、上記異なる目標符号化レートを算出し、符号化工程が上記目標符号化レート算出工程で算出された上記目標符号化レートに基づいて上記複数 n本の映像プログラムを符号化し、多重化工程が上記符号化工程からの上記符号化映像プログラムを多重化する。

このため、上記複数 n個の符号化手段がほぼ実時間で符号化した複数 n本のプログラムを多重化した多重化出力の合計伝送レートが、時系列的に見てどの位置でも、上記所定の伝送レートを超えることがない。図面の簡単な説明図 1は、固定レートによる多重化を説明するための図である。図 2は、統計多重による多重化を説明するための図である。

図 3は、本発明の実施の形態となる映像データ伝送装置のプロック図である。

図 4は、上記図 3に示した映像デ一夕伝送装置に用いるェンコ一ダの詳細な構成を示すプロック図である。

図 5は、上記図 4に示したエンコーダに用いるフラヅトネス検出回路が検出するフラットネスを説明するための図である。

図 6は、上記フラットネス検出回路の詳細な構成を示すプロ、ソク図である。

図 7は、上記図 4に示したエンコーダに用いるイントラ A C検出回路の詳細な構成を示すプロック図である。

図 8は、上記図 3に示した映像データ伝送装置に用いるコントローラの詳細な構成を示すプロック図である。

図 9は、上記コントローラで行われるアルゴリズムを説明するためのフローチャートである。 Ί 図 1 0は、本発明の他の実施の形態となる映像データ伝送装置の構成を示すブロック図である。

図 1 1は、上記図 1 0に示した映像デ一夕伝送装置のエンコーダの詳細な構成を示すブロック図である。

図 1 2は、上記図 1 0に示した映像データ伝送装置のコントロ一ラが行うアルゴリズムを説明するためのフローチャートである。発明を実施するための最良の形態以下、本発明に係る映像データ符号化装置及び方法、並びに映像デ一夕伝送方法の実施の形態について図面を参照しながら説明する。

この実施の形態は、複数の映像プログラムの映像データを圧縮符号化してから多重化して伝送する映像データ伝送装置である。なお、この映像データ伝送装置は、本発明に係る映像データ符号化方法を適用した映像データ符号化装置に多重化手段を備えた構成となっている。

この映像データ伝送装置は、図 3に示すように、 1 1 ₂ · · · 及び 1 _η を介して供給される η本のプログラム prog. 1 , 2 - · · nのそれぞれに対して、パラメ一夕情報の先読みを行い、画像を符号化するときの符号化難易度関連情報 diff i cultyを後述するコントロ一ラ 3に見積もらせると共に、コントローラ 3が上記パラメ一夕情報を基に算出した目標符号化レートに基づいて上記複数 n本のプログラムを圧縮符号化する複数 n個のエンコーダ 2 2 ₂ · · · 2 η と、複数 η個のエンコーダ 2 _{l 3} 2 ₂ · · · 2 _η からのパラメ一夕情報 PA R. #l , #2 · · · #nから各プログラム毎の割当符号量 target_rate#l， #2 · · · #n を算出して上記エンコーダ 2 2₂ · · · 2_nに供給する上述したコントローラ 3と、エンコーダ 2 _ΐ32₂ · · · 2 _η が上記割当符号量 target_rate#l， #2 · · · #nに応じて符号化したストリーム stream#l， #2 · · · #nを多重化するマルチプレクサ 4とを備えてなる。このマルチプレクサ 4からの多重化出力 MUXoutは、出力端子 5に供給される。

エンコーダ 2 ， 2₂ · · · 2 _nは、上記各プログラム prog.1, 2 - • · n から上記パラメ一夕情報として、フレーム単位のフラットネス（flatness) 総和と、イントラ（intra) AC総和と、 D C値と、 ME残差とを先読みして、コントローラ 3に供給する。

ここで、エンコーダ 2₁ 2₂ . · · 2_n は、通常の MPE G方式により、フレーム内符号化画像（ Iビクチャ）、フレーム間順方向予測符号化画像（Pピクチャ）、双方向予測符号化画像（Bピクチャ）を所定数含んでなる画像符号化グループ（GOP) 単位に上記映像プログラムの映像データを符号化する。この符号化の際に上記パラメ一夕情報を得る。

画像の符号化したときの符号量は、固定の量子化等で実際に符号ィ匕しなくても、ある程度見積もることができる。この見積もるためのパラメ一夕情報として、本発明では、上述したような、フラットネス、イントラ AC、 D C値、 ME残差を用いている。

エンコーダ 2 _l52₂ · · · 2 n の構成について図 4を参照して説明する。ここでは、エンコーダ 2 を代表させている。図 4に示すように、エンコーダ 2 は、画像並び変え回路 7と、走査変換 · マク口プロヅク化回路 8と、 F I F 09と、加算回路 1 0と、 D C T 回路 1 1と、量子化回路 1 2と、可変長符号化回路（ V L C) 1 3 と、ノソファ 1 4と、符号量制御回路 1 5 と、逆量子化回路 1 6 と、逆 D C T回路 1 7 と、加算回路 1 8 と、動き補償回路 1 9 と、 F I F〇 3 0及び動き検出回路 1 9の他、上記フラットネスを検出するフラットネス検出回路 2 3と、フラットネスのフレーム毎の総和を演算する累算器 2 4 と、イントラ A Cを検出するイントラ A C検出回路 2 5 と、イントラ A Cのフレーム毎の総和を演算する累算器 2 6 と、フレーム毎の D C値を演算する累算器 2 7 と、動き検出回路 2 8からの M E残差のフレーム毎の総和を演算する累算器 2 9 も備えてなる。

入力端子 6からの映像信号入力は、画像並び変え回路 7により、符号化順に並び変えられる。符号化順とされた映像信号は、走査変換 ' マクロブロヅク化回路 8で、フィ一ルドーフレーム変換され、マクロブロック化される。このマクロブロック化された映像信号は、上記パラメ一夕情報の検出のために、フラットネス検出回路 2 3、イントラ A C検出回路 2 5、累算器 2 7、動き検出回路 2 8に供給される。さらに、 F I F 0 9にも供給される。

上記パラメ一夕情報は、このエンコーダ 2 i で先読みする必要があるため、実際に符号化するデ一夕は、時間合わせをする必要がある。そこで画像デ一夕は、上記 F I F 0 9により遅延される。

この F I F 0 9での遅延は、数個程度の上記 G 0 P分である。例えば、画像 1 6枚により構成される G 0 Pの時間的な長さは、約 0 . 5秒であるので、せいぜい遅延時間は 2〜 3秒程度となる。ス夕ジォから生放送されるようなプログラムがあつたとしても、ほぼ 2〜 3秒程度の遅延であれば、ほぼ実時間での放送と変わりない。

また、動きベクトルは、 F I F 0 3 0で遅延される。ここで、動 5 9 P JP

10 きベクトルは、画像データよりも情報量が少ないため F I F 0 3 0 は F I F 0 9 よりも小さい容量でよい。

フラットネス検出回路 2 3が上記マクロプロック化された映像信号から検出するフラットネスは、画像の空間的な平坦さを表すパラメータ情報である。フラットネス検出回路 2 3は、画像を図 5に示すように、 2 X 2の小ブロックに分割し、その小ブロックにおいて画素をたすき掛けした差分値のうち、小さい方をしきい値と比較する。しきい値よりも小さいものがマク口ブロック中にいくら存在するかを算出し、これをフレーム毎に総和をとる。空間的に複雑であるほど数値は小さくなる。

このフラットネス検出回路 2 3の詳細な構成を図 6に示す。ここで、フラットネス検出回路 2 3に供給される上記映像信号は、マクロブロック状につながってくる。すなわち、 1マクロブロックずれると 1ライン上あるいは下のデータが得られる。入力端子 4 0からの入力映像信号の輝度値は F I F 0 4 1及びレジス夕 4 2に供給される。 F I F O 4 1は、上記入力映像信号の輝度値を 1マクロプロックライン遅延させる。レジス夕 4 2は、上記入力映像信号の輝度値を 1画素分遅延させる。

減算器 4 3はレジス夕 4 2で 1画素分遅延された輝度値と F I F 〇 4 1で 1マクロブロヅクライン遅延された輝度値との差をとり、絶対値器（ABS) 4 6に供給する。

レジス夕 4 4は、 F I F O 4 1で 1マクロブロックライン遅延された輝度値を 1画素分遅延させる。減算器 4 5は、レジス夕 4 4からの出力、すなわち 1 ライン + 1画素遅延された輝度値と、上記入力映像信号との差をとり、絶対値器 4 7に供給する。絶対値器 4 6からの絶対値出力と絶対値器 4 7からの絶対値出力は、最小値選択器（MIN ) 4 8に入力される。この最小値選択器 4 8は、どちらか小さい方の絶対値出力を選択して比較器（CMP ) 4 9に供給する。この比較器 4 9は、選択された値と端子 5 0から供給されるしきい値 Threshとを比較し、上記選択値がしきい値よりも小さいときに、 " 1 " を加算器 5 1 とレジス夕 5 0で構成される累算器に出力する。

実際にはラインの終わりは、動作が適当でないので、比較器 4 9 等でデ一夕を補正してやる必要がある。このマクロブロック毎に算出されたフラットネスを累算器 2 4でフレーム分累算すればフラットネス総和が求められる。このフラットネス総和は、図 4の出力端子 3 1からコントローラ 3に供給される。このフラットネスは、減少するほど符号量は増加する傾向がある。

上記ィントラ A C検出回路 2 5が上記マクロプロック化された映像信号から検出するィントラ A Cは、下記の（ 1 ) 式に示すように、各マク口ブロック毎に輝度信号の平均値を求め、マクロブロック内の各画素とこの平均値の差の絶対値を累算したものである。 macroblock† _curr

Intra AC 二 curr (X, Υ) ― ~"

macroblock

( 1 )

上記ィントラ A C検出回路 2 5の構成を図 7に示す。入力端子 6 0から供給される入力映像信号の輝度値は、 F I F 0 6 1 と、加算器 6 2 とレジスタ 6 3からなる累算器に供給される。累算器からの累算値は、シフトレジス夕 6 4でシフトされることにより除算が行われ、輝度の平均値が得られる。この平均値はィネーブル付きのレジス夕 6 5によって保持される。

F I F〇 6 1は、上記平均値を求める間の遅延を補償する。この F I F 0 6 1 を介した映像信号の輝度値と、ィネーブル付きのレジス夕 6 5で保持された平均値は減算器 6 6に供給される。この減算器 6 6は、上記遅延輝度値から上記平均値を減算し、減算値を絶対値器 6 7に供給する。

絶対値器 6 7が出力した差分絶対値は、加算器 6 8 とレジス夕 6 9 とからなる累算器に供給され、出力端子 7 0を介して出力される。このイントラ A Cを累算器 2 6でフレーム分累算すればイントラ A C総和が求められる。このイントラ A C総和は、図 4に示した出力端子 3 2からコントローラ 3に供給される。イントラ A C総和は、増加するほど符号量も増加する傾向にある。

累算器 2 7が上記マクロプロック化された映像信号から演算し、出力端子 3 3からコントローラ 3に供給する D C値は、各フレーム毎に輝度信号を画面で総和したものである。 D C値 DC sumは、

DC sum 二 fcurr (Χ,Υ)

frame x=x_s y=y_s

( 2 )

となる。 D C値は、特に複雑な演算を必要とせず、単純な累算器 2 7で実現できる。 D C値は減少すると視覚上画質劣化が目立ちやすくなる傾向がある。

動き検出回路 2 8からの動きベクトルを累算器 2 9で累算し、出力端子 34からコントローラ 3に供給する ME残差は、各マクロブロック毎に得られた動きベクトルに対する当該ブロックと参照プロックの輝度信号の差の絶対値の総和である。すなわち、当該ブロックを f curr(x、 y ) { x s≤ x≤ x _e , y s≤ y≤ y e } 、動きべクトルを（mv x, m v _y) とすると、 M E残差 ME_residは、

ME一 res id =

となる。 ME残差は動き検出回路 2 8で MEを行う際に得られる丁 —夕なので、 1フレーム分の累算器 2 9以外には新たに特別なハードゃ演算を必要とせずに得ることができる。 M E残差は増加するほど符号量も増加する方向にある。

これらのパラメ一夕情報 PAR.1 は、上述したように、エンコーダ 2iからコントローラ 3に供給される。コントローラ 3では、得られたパラメ一夕情報 PAR.1から各プログラム毎の割当符号量 target_ra teを算出し、エンコーダ 2 i に供給する。

このコントローラ 3は、例えば、図 8に示すように、 R 0 M 7 1 と、 C P U 7 2 と、 R AM 7 3とから構成される。 C P U 7 2には、入力端子 7 4を介して入力として各エンコーダ 2 _l32₂ · · · 2 n からのパラメ一夕情報 PAR. #1， #2 · · · #ιιが入り、 C P U 7 2からは出力端子 7 5を介して出力として各エンコーダ 2 _l32₂ · · · 2 n へ、 target_rate#l , #2 · · · #η が送られる。 C P U 7 2は R〇 M 7 1に格納されているァルゴリズム及びテーブルを、ヮ一クェリァとしての RAM 7 3を使用しながら実行する。

R 0 M 7 1に格納されるアルゴリズムの例を図 9に示す。このァルゴリズムでは、パラメ一夕情報 PAR. #iから見積もられて得た符号量 rrを用いて目標符号化レート target— rate を比例分配している。通信路全体のレートを channel_rateとし、またプログラムの数を n とする。

先ず、ステップ S 1で見積もり符号量の総和が入る変数 total に初期値として 0を代入する。次に、ステップ S 2でループカウン夕 iに初期値として 1を代入する。そして、ステップ S 3でループ力ゥン夕 iの値が nよりも大きければループを抜けてステップ S 8に進む。次に、ステップ S 4でエンコーダ 2 iから送られてくるパラメ一夕 PAiL #iから符号量 rrを見積もる。そして、ステップ S 5で見積もり量を格納する配列 trate [ i ]に rrを代入する。

ステップ S 6では、見積もり量の総和 total に rrを加算する。そして、ステヅプ S 7でループカウン夕 iをインクリメントし、ル一プの先頭であるステップ S 3に戻る。

次に、ステップ S 8でループ力ゥン夕 iに初期値として 1 を代入する。ループ力ゥンタ iの値がステップ S 9で nよりも大きければループを抜けて終了する。

ステップ S 1 0では、 i番目のエンコーダの目標符号量 target_r ate#iとして、 chnneし rateを見積もり量 trate [ i ]で比例配分する。すなわち、次式数に示すものとする。

channel te氺 trsteLU

target rate #i ^

total

4 ステップ S 1 1では、エンコーダに target— rate# i を供給する。そして、ステップ S 1 2でループカウンタ iをインクリメントし、ループの先頭 S 9に戻る。以上のように、本発明の実施の形態となる映像データ伝送装置では、従来のエンコーダに符号化難易度関連情報の代用となるパラメ一夕情報を検出する検出回路を付加することにより、複数の映像プログラムをほぼ実時間で、所定の伝送レ —ト以内に収まるように符号化してから多重化し、この多重化デー夕を伝送している。また、一つのプログラム系に対しては、エンコーダは一つでよいので、高価なエンコーダを各プログラム系に二つ容易する必要がない。このため、この実施の形態では、低コストで統計多重によるェンコードを実現できる。

なお、上記実施の形態では、パラメ一夕情報として、 M E残差、 D C値、イントラ A C、フラットネスの 4つを用いたがその全てを用いる必要はない。また、原画から得られる情報であれば他のものでも構わない。

また、パラメ一夕情報を符号化難易度を見積もるために用いたが、これらのパラメ一夕を符号化時のパラメ一夕として用い、さらに良好な画質を得るようにしても構わない。この場合にはパラメ一夕を時間合わせするための F I F 0が必要となる。

次に、本発明に係る映像データ符号化装置及び方法、並びに映像データ伝送方法の他の実施の形態について図面を参照しながら説明する。

この他の実施の形態も、複数の映像プログラムの映像データを圧縮符号化してから多重化して伝送する映像デ一夕伝送装置である。なお、この映像データ伝送装置は、本発明に係る映像データ符号化方法を適用した映像データ符号化装置に多重化手段を備えた構成となっている。

この他の実施の形態は、非圧縮映像データを予備的に圧縮符号化して得られる圧縮映像データの符号量から非圧縮映像データの難度を算出し、予備的な圧縮符号化により算出した難度に基づいて、例えば F I F 0メモリ等により所定の時間だけ遅延した非圧縮映像デ一夕の圧縮率を適応的に制御する映像データ符号化方法を適用した π 符号化装置からの符号化出力を多重化して伝送する映像データ伝送装置である。

この映像データ伝送装置によっても、ほぼ実時間的に、非圧縮映像デ一夕の絵柄の難度に基づいて適応的に非圧縮映像デ一夕を圧縮符号化することができるので、実況放送といった実時間性を要求される用途に応用可能であり、上記統計多重の手法を用いた複数のプ口グラムの伝送に適する。

この映像データ伝送装置は、図 1 0に示すように、 η本の入力プログラム prog.1， 2 - · · nを多重化して伝送する。各プログラムは、入力端子 1 0 1 ^ 1 0 12 · · · 及び 1 0 1 η を介して、ェンコ一ダ# 1 0 21 , 1 0 22 · · · 及び 1 0 2 _n に供給される。各ェンコ —ダ #A 1 1 0 21 , 1 0 2₂ · · · 及び 1 0 2 _n は、固定の量子化ステツプ Fixed Q で量子化した際の符号量 difficulty# 1 , # 2 · ·

• # nを測定する。この測定された符号量 difficulty# 1， # 2 ·

• · # ηは、コントローラ 1 0 3に送られる。コントローラ 1 0 3 では、それぞれの符号量 difficulty# 1 , # 2 · · · # ηをもとに各プログラム prog.1, 2 - · · nの害 U当レート target_rate # 1 , #

2 · · · # nを計算し、各エンコーダ #B 1 0 4 1 0 4₂ · · · 1

0 4 n に送る。

エンコーダ #B 1 0 41 , 1 0 42 . . · 1 04 η で実際に符号化されるデ一夕は先読みの時間分だけ F I F 0 1 0 5 _l5 1 0 5₂ · · · 1 0 5 η によって遅らされる。

この各 F I F〇での遅延は、数個程度の上記 G〇 Ρ分である。例えば、画像 1 6枚により構成される G O Pの時間的な長さは、約 0 5秒であるので、せいぜい遅延時間は 2〜 3秒程度となる。ス夕ジォから生放送されるようなプログラムがあつたとしても、ほぼ 2〜 3秒程度の遅延であれば、ほぼ実時間での放送と変わりない。

エンコーダ #81 0 4 ^ 1 0 42 · · · 1 0 4 _n では与えられたレ一ト target— rate # 1， # 2 · · · # nに基づいて入力プログラム prog.l, prog. - · · prog. nを符号化する。符号化されたそれぞれのストリーム stream# 1 , # 2 · · · # ηはマルチプレクサ 1 0 6 によって多重化され、多重化出力 MUXoutとして出力端子 1 0 7に供 ϊΓ、口され。

エンコーダ #A 1 0 2 ^ 1 0 22 . · ' 及び 1 0 2 _n と、ェンコ一ダ 1 0 4 !, 1 0 42 · · · 1 0 4 η の詳細な構成を図 1 1 に示す c ここでは、エンコーダ #Β 1 0 4！を代表させている。画像並び変え回路 1 0 9、走査変換 ' マクロプロック化回路 1 1 0、加算回路 1 1 1、 D C T回路 1 1 2、量子化回路 1 1 3、可変長符号化回路 ( V L C ) 1 1 4、ノヅファ 1 1 5、符号量制御回路 1 1 6、逆量子化回路 1 1 7、逆 D C T回路 1 1 8、加算回路 1 1 9、動き補償回路 1 2 0及び動き検出回路 1 2 1から構成される一般的な映像デ一夕用圧縮符号化器である。

画像並び変え回路 1 0 9は、入力端子 1 0 8からの映像信号入力を符号化順に並び変える。走査変換 ' マクロプロック化回路 1 1 0 は、フィールド-フレーム変換を行い、マクロブロックを構成する。例えば、上記映像信号入力が映画の映像信号である場合には 3 ： 2 プルダウン処理等を行う。

加算回路 1 1 1は、加算回路 1 1 9の出力デ一夕を上記走査変換 • マクロプロック化回路 1 1 0を介した入力映像信号から減算し、 D C T回路 1 1 2に対して出力する。 D C T回路 1 1 2は、加算回路 1 1 1から入力される映像デ一夕を、例えば 1 6画素 X 1 6画素のマクロブロック単位に離散コサイン変換（D C T ) 処理し、時間領域のデータから周波数領域のデー夕に変換して量子化回路 1 1 3に対して出力する。

量子化回路 1 1 3は、 D C T回路 1 1 2から入力された周波数領域のデ一夕を、固定又は任意の量子化ステップで量子化し、量子化データとして可変長符号化回路 1 1 4及び逆量子化回路 1 1 7に対して出力する。

可変長符号化回路 1 1 4は、量子化回路 1 1 3から入力された量子化データを可変長符号化し、可変長符号化の結果として得られた圧縮映像デ一夕をバッファ 1 1 5に供給する。ノソファ 1 1 5は、上記圧縮映像デ一夕をバッファリングして、ビットストリームを出力端子 1 2 3に供給する。

逆量子化回路 1 1 7は、量子化回路 1 1 3から入力された量子化データを逆量子化し、逆量子化データとして逆 D C T回路 1 1 8に対して出力する。

逆 D C Τ回路 1 1 8は、逆量子化回路 1 1 7から入力される逆量子化データに対して逆 D C Τ処理を施し、加算回路 1 1 9に対して出力する。

加算回路 1 1 9は、動き補償回路 1 2 0の出力デ一夕及び逆 D C Τ回路 1 1 8の出力データを加算し、加算回路 1 1 1及び動き補償回路 1 2 0に対して出力する。

動き補償回路 1 2 0は、加算回路 1 1 9の出力デ一夕に対して、動き検出回路 1 2 1がリファレンスフレームに対して計算した動きべクトルに基づいて動き補償処理を施し、加算回路 1 1 1に対して出力する。

エンコーダ #A1 02 i , 1 022 · · · 及び 1 02 _n では、符号量制御回路 1 1 6で決定する量子化ステップを固定値として、量子化回路 1 1 3に量子化を行わせ、バッファ 1 1 5の発生符号量を測定する。このデータは、コントローラ 1 03に上記符号化難易度関連情報 difficultyとして供給される。

また、エンコーダ #B 1 041 , 1 042 · · · 1 04 _n では、コントロ一ラ 1 03で決定された目標符号量は符号量制御回路 1 1 6に与えられる。符号量制御回路 1 1 6は、量子化回路 1 1 3での任意の量子化ステツプを制御する。

コントローラ 1 03は、エンコーダ #A 1 02 1 02₂ · · · 及び 1 02 _n からの上記符号化難易度関連情報 difficultyに基づいて上記目標符号量を算出する。このコントローラ 1 03は、上記図 8 に示したの同様に、 ROM 7 1と、 CPU 72と、 RAM73とから構成される。 CPU 72には、入力端子 74を介して入力としてエンコーダ #A1 021 , 1 022 · · · 及び 1 02_n からの上記符号化難易度関連情報 difficulty#l, #2 - · ' 及び #3が入り、 CPU 7 2からは出力端子 7 5を介して出力としてエンコーダ #B1 041 , 1 042 · · ' 及び 1 04_n へ target_rate#l， #2 · · · #nが送られる。 CPU 72は ROM 7 1に格納されているァルゴリズム及びテ —ブルを、ワークエリアとしての R A M7 3を使用しながら実行する

R 0 M 7 1に格納されているアルゴリズムの例を図 1 2に示す。このアルゴリズムでは、符号化難易度 difficulty. #i を用いて目標符号化レート target— rate を比例分配している。通信路全体のレートを channel— rateとし、またプログラムの数を nとする。

先ず、ステップ S 1で見積もり符号量の総和が入る変数 total に初期値として 0を代入する。次に、ステップ S 2でループカウン夕 iに初期値として 1を代入する。そして、ステップ S 3でループ力ゥン夕 iの値が nよりも大きければループを抜けてステツプ S 8に進む。

次に、ステップ S 4 ' でエンコーダ 1 0 2 i から送られてくる符号化難易度 difficulty. #i を取り出し、そして、ステップ S 5 ' で見積もり量を格納する配列 trate[i]に difficulty.#i を代入する。ステップ S 6 ' では、見積もり量の総和 totalに difficulty. #iを加算する。そして、ステップ S 7でループカウン夕 iをインクリメントし、ループの先頭であるステップ S 3に戻る。

次に、ステップ S 8でループ力ゥン夕 iに初期値として 1を代入する。ループ力ゥン夕 iの値がステップ S 9で nよりも大きければループを抜けて終了する。

ステップ S 1 0では、 i番目のエンコーダの目標符号量 target— r ate#iとして、 chnneし rateを見積もり量 trate[i]で比例配分する。すなわち、上記式（ 4 ) と同じにする。

ステップ S 1 1では、エンコーダに target— rate#i を供給する。そして、ステップ S 1 2でループカウン夕 iをインクリメントし、ループの先頭 S 9に戻る。

以上のように、本発明の他の実施の形態となる映像データ伝送装置では、符号化難易度の測定用のエンコーダ #A1 0 2 _l5 1 0 2₂ · • · 及び 1 0 2 _n と F I F 0 1 0 5 ^ 1 0 52 · · · 及び 1 0 5 _n を用いることによって、データを先読みすることができ、高精度のレート割当による統計多重がほぼ実時間で可能となる。ただし、この他の実施の形態では、一つのプログラム系についてエンコーダを二つ必要としてしまう。

なお、本発明では、 F I F 0を用いてデータの先読みを行ったが、予め符号化難易度 diff iculty情報を固定量子化のエンコーダによつて求めておき、適当な記録媒体に保存しておいて、多重化するときに参照するようにしてもよい。

このようにしておけば、上記図 3に示した映像デ一夕伝送装置と同様に、一つのプログラム系に対しては、一つのエンコーダのみでよく、高価なエンコーダを二つ必要とすることがなく、コスト上問題となることがない。

産業上の利用可能性

本発明に係る映像データ符号化装置及び方法によれば、複数の映像プログラムをほぼ実時間で、所定の伝送レート以内に収まるように多重化して伝送できるように符号化することができる。

また、本発明に係る映像データ伝送方法によれば、複数の映像プ口グラムをほぼ実時間で、所定の伝送レート以内に収まるように多重化して伝送できる。

Claims

請求の範囲

1 . 複数 n ( n≥ 2 ) 本の映像プログラムを多重化して伝送するときの伝送レートを所定の値以下にするために、上記複数 n本の映像プログラムに対してそれぞれ独立した目標符号化レートを割り当てて符号化する映像データ符号化装置であって、

上記複数 n本の映像プログラムの符号化難易度関連情報に基づいて、上記複数 n本の映像プログラムの合計伝送レ一卜が上記所定の伝送レート以下になるように、上記独立した目標符号化レートを算出する目標符号化レート算出手段と、

上記目標符号化レート算出手段で算出された上記目標符号化レートに基づいて上記複数 n本の映像プログラムを符号化する複数 n個の符号化手段と

を備えることを特徴とする映像データ符号化装置。

2 . 上記複数 n個の符号化手段のそれぞれは、フレーム内符号化画像、フレーム間順方向予測符号化画像、双方向予測符号化画像を所定数含んでなる画像符号化グループ単位に上記映像プログラムの映像データを符号化することを特徴とする請求の範囲第 1項記載の映像データ符号化装置。

3 . 上記複数 n個の符号化手段のそれぞれは、上記符号化難易度関連情報を遅延手段を用いた先読みにより得ることを特徴とする請求の範囲第 1項記載の映像データ符号化装置。

4 . 上記複数 n個の符号化手段のそれぞれは、上記符号化難易度関連情報として、フラットネス、イントラ A Cデ一夕、 D C値、 M E残差のような画像符号化時のパラメ一夕情報を先読みにより得ることを特徴とする請求の範囲第 3項記載の映像デ一夕符号化装置。

5 . 上記符号化難易度関連情報は、上記複数 n本の映像プログラムに対して固定量子化ステツプで量子化処理を施すことによって得られた符号量であり、この符号量は上記複数 n個の符号化手段に対して並列接続される複数 n個の他の符号化手段により得られることを特徴とする請求の範囲第 1項記載の映像データ符号化装置。

6 . 上記複数 n個の符号化手段の各前段には、上記複数 n個の他の符号化手段が上記複数 n本の映像プログラムから上記符号量を算出する時間分だけ上記映像プログラムを遅延させる複数 n個の遅延手段が設けられることを特徴とする請求の範囲第 5項記載の映像デ一夕符号化装置。

7 . 上記符号化難易度関連情報は、上記複数 n本の映像プログラムに対して固定量子化ステツプで量子化処理を施すことによって得られ、記録媒体に記録されていることを特徴とする請求の範囲第 1 項記載の映像データ符号化装置。

8 . 複数 n ( n≥ 2 ) 本の映像プログラムを多重化して伝送するときの伝送レートを所定の値以下にするために、上記複数 n本の映像プログラムに対してそれぞれ独立した目標符号化レー卜を割り当てて符号化する映像データ符号化方法であって、

上記複数 n本の映像プログラムの符号化難易度関連情報に基づいて、上記複数 n本の映像プログラムの合計伝送レートが上記所定の伝送レ一ト以下になるように、上記独立した目標符号化レートを算出する目標符号化レート算出工程と、

上記目標符号化レート算出工程で算出した上記目標符号化レートに基づいて上記複数 n本の映像プログラムを符号化する符号化工程と

を備えることを特徴とする映像データ符号化方法。

9 . 上記符号化工程では、フレーム内符号化画像、フレーム間順方向予測符号化画像、双方向予測符号化画像を所定数含んでなる画像符号化グループ単位に上記映像プログラムの映像データを符号化することを特徴とする請求の範囲第 8項記載の映像データ符号化方法。

1 0 . 上記符号化工程では、上記各映像プログラムの上記符号化難易度関連情報を遅延工程を用いた先読みにより得ることを特徴とする請求の範囲第 8項記載の映像データ符号化方法。

1 1 . 上記符号化工程は、上記符号化難易度関連情報として、フラヅトネス、イントラ A Cデータ、 D C値、 M E残差のような画像符号化時のパラメ一夕情報を先読みにより得ることを特徴とする請求の範囲第 1 0項記載の映像データ符号化方法。

1 2 . 上記符号化難易度関連情報は、上記複数 n本の映像プログラムに対して固定量子化ステツプで量子化処理を施すことによって得られた符号量であり、この符号量は上記符号化工程に対して並列的に行われる他の符号化工程により得られることを特徴とする請求の範囲第 8項記載の映像データ符号化方法。

1 3 . 上記符号化工程は、上記他の符号化工程が上記複数 n本の映像プログラムから上記符号量を算出する時間分だけ遅延させた上記映像プログラムに対して、上記符号化処理を施すことを特徴とする請求の範囲第 1 2項記載の映像デ一夕符号化方法。

1 4 . 伝送レートを所定の値以下にするために、複数 n ( n≥ 2 ) 本の映像プログラムに対してそれぞれ独立した目標符号化レートを割り当てて符号化してから、多重化して伝送する映像デ一夕伝送方法であって、

上記複数 n本の映像プログラムの符号化難易度関連情報に基づいて、上記複数 n本の映像プログラムの合計伝送レートが上記所定の伝送レート以下になるように、上記独立した目標符号化レ一トを算出する目標符号化レート算出工程と、

上記目標符号化レート算出工程で算出した上記目標符号化レートに基づいて上記複数 n本の映像プログラムを符号化する符号化工程と、

上記符号化工程からの上記符号化映像プログラムを多重化する多重化工程と

を備えることを特徴とする映像データ伝送方法。 21

1 5 . 上記符号化工程は、フレーム内符号化画像、フレーム間順方向予測符号化画像、双方向予測符号化画像を所定数含んでなる画像符号化グループ単位に上記映像プログラムの映像データを符号化することを特徴とする請求の範囲第 1 4項記載の映像データ伝送方法。

1 6 . 上記符号化難易度関連情報は、上記符号化工程によって先読みされるパラメ一夕情報であることを特徴とする請求の範囲第 1 4項記載の映像データ伝送方法。

1 7 . 上記符号化工程は、上記映像プログラムの映像データのうち、フレーム内符号化画像に圧縮される画像の上記パラメ一夕情報としてフラットネス及びィントラ A Cデータ又はこれらのいずれかを算出し、フレーム間順方向予測符号化画像及び双方向予測符号化画像に圧縮される画像の上記パラメ一夕情報として M E残差を算出することを特徴とする請求の範囲第 1 6項記載の映像データ伝送方法。

1 8 . 上記符号化難易度関連情報は、上記複数 n本の映像プログラムに対して固定量子化ステップで量子化処理を施すことによって得られた符号量であり、この符号量は上記符号化工程に対して並列に行われる他の符号化工程により得られることを特徴とする請求の範囲第 1 4項記載の映像データ伝送方法。

1 9 . 上記符号化工程の各前段には、上記他の符号化工程が上記複数 n本の映像プログラムから上記符号量を算出する時間分だけ上記映像プログラムを遅延させる遅延工程が設けられることを特徴とする請求の範囲第 1 8項記載の映像データ伝送方法。

2 0 . 上記符号化難易度関連情報は、上記複数 n本の映像プログラムに対して固定量子化ステップで量子化を施すことによって得られた符号量であり、この符号量は記録媒体に記録されており、多重化時に参照されることを特徴とする請求の範囲第 1 4項記載の映像データ伝送方法。