JP3658011B2 - 画像符号化装置及びその方法、並びに画像復号化装置及びその方法 - Google Patents

Description

【０００１】
【産業上の利用分野】
本発明は、複数の符号化モードにより画像データを符号化する画像符号化装置及びその方法、並びに複数の符号化モードにより符号化された画像データを復号化する画像復号化装置及びその方法に関する。
【０００２】
【従来の技術】
従来より画像情報をデジタル伝送する場合、伝送データ量を削減するために各種の符号化方式が提案されている。
【０００３】
その提案されている符号化方式の１つに、フレーム内符号化（イントラ）とフレーム間符号化（インター）とを切り換えて符号化する方式がある。フレーム内圧縮は、近接する画素同士は明るさと色が類似する同画像の特性を利用して情報低減する方式である。実際の画像では、空や壁など大半の部分は同程度の明るさと色がほぼ続いているため、フレーム内圧縮のみを用いても１／５〜１／１０程度の圧縮が可能である。フレーム間圧縮は、類似した画像を利用して、補正分の情報のみで画像を得る方式である。
【０００４】
通常動画では近接するフレームの絵柄は、多少の動きや変化はあるが類似している。この点を利用して、まず圧縮符号化しようとするフレームと近接するフレーム間との類似性（動き、色、明るさ等）を計算する。その計算に基づいて「予測値」、つまり「近接フレーム」から「符号化しようとするフレーム」に更に類似したフレームの値を算出する。
【０００５】
次に、符号化しようとするフレームから「予測値」との差分情報のみを符号化（記録・伝送）する。このため、データ量（補正分）が低減する。つまり、人物だけ写っている動画で人物が右に移動した場合、一つ前のフレームで、移動の補正情報も含めて人物がいる画素が予測値で、右に移動した全体の画素から予測値を引いたものが差分となる。
【０００６】
従来の符号化装置の場合、一般にインター符号化処理により圧縮する場合、伝送路上で誤りが発生すると、その誤りが伝播することが知られている。したがって、インター符号化処理を所定数行うと自動的にイントラ符号化処理を行うものとなっていた。
【０００７】
【発明が解決しようとする課題】
しかしながら、上記従来の符号化装置においては、上述したとおりインター符号化を継続している場合には、所定時間毎に上記リフレッシュ動作を行って伝送途中で発生したエラーが永続的に伝播しつづけることを防止しているが、イントラ符号化された情報にエラーが発生した場合には、次にイントラ符号化が行われるまで、或いは、リフレッシュ動作が行われるまでの期間は、前記エラーの伝播を防止することはできない。
【０００８】
本発明は、上記問題点を解決するためになされたもので、符号化データの伝送途中で生じたエラーの伝播を効率的に防止できる画像符号化装置及びその方法、並び画像復号化装置及びその方法を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記課題を解決するその一つの発明の画像符号化装置は、画像データを入力する入力手段と、イントラモードとインターモードのいずれかのモードを適応的に選択して画像データを符号化する符号化手段と、符号化された画像データに対して、誤り訂正能力がインターモード時に比べてイントラモード時に強化される様に選択されたモードに応じて誤り訂正能力が異なり内符号と外符号を有する誤り訂正符号化を行う誤り訂正符号化手段と、モードにかかわらず共通の符号長でモード毎に所定の同期信号を誤り訂正符号化された画像データに付加して所定の同期ブロックを形成し、形成した所定の同期ブロックにより誤り訂正符号化された画像データを伝送する伝送手段とを有し、誤り訂正符号化手段は、同期信号の周期単位で内符号を付加することを特徴とする。
【００１０】
また、上記課題を解決するその一つの発明の画像符号化方法は、画像データを入力する入力工程と、イントラモードとインターモードのいずれかのモードを適応的に選択して画像データを符号化する符号化工程と、符号化された画像データに対して、誤り訂正能力がインターモード時に比べてイントラモード時に強化される様に選択されたモードに応じて誤り訂正能力が異なり内符号と外符号を有する誤り訂正符号化を行う誤り訂正符号化工程と、モードにかかわらず共通の符号長でモード毎に所定の同期信号を誤り訂正符号化された画像データに付加して所定の同期ブロックを形成し、形成した所定の同期ブロックにより誤り訂正符号化された画像データを伝送する伝送工程とを有し、訂正符号化工程は同期信号の周期単位で内符号を付加することを特徴とする。
【００１１】
また、上記課題を解決するその一つの発明の画像復号化装置は、イントラモードとインターモードのいずれかのモードを適応的に選択して符号化され、誤り訂正能力がインターモード時に比べてイントラモード時に強化される様に選択されたモードに応じて誤り訂正能力が異なり内符号と外符号を有する誤り訂正符号により誤り訂正符号化され、モードにかかわらず共通の符号長でモード毎に所定の同期信号を付加され、同期信号の周期単位で内符号を付加されて形成された所定の同期ブロックにより伝送された画像データを入力する入力手段と、入力手段によって入力された画像データの誤りを訂正する誤り訂正手段と、誤り訂正手段によって誤りを訂正された画像データを復号化する復号化手段とを有することを特徴とする。
【００１２】
また、上記課題を解決するその一つの発明の画像復号化方法は、イントラモードとインターモードのいずれかのモードを適応的に選択して符号化され、誤り訂正能力がインターモード時に比べてイントラモード時に強化される様に選択されたモードに応じて誤り訂正能力が異なり内符号と外符号を有する誤り訂正符号により誤り訂正符号化され、モードにかかわらず共通の符号長でモード毎に所定の同期信号を付加され、同期信号の周期単位で内符号を付加されて形成された所定の同期ブロックにより伝送された画像データを入力する入力工程と、入力工程によって入力された画像データの誤りを訂正する誤り訂正工程と、誤り訂正工程によって誤りを訂正された画像データを復号化する復号化工程とを有することを特徴とする。
【００１９】
【実施例】
以下に図面を参照して、本発明の実施例を説明する。
【００２０】
図１および図２は、本発明の一実施例に係る符号化復号化装置の概略構成を示すブロック図である。
【００２１】
図１の符号化ブロックＡにおいて、入力端子１より入力されたアナログ画像信号は、Ａ／Ｄ（アナログ／ディジタル）変換回路２においてディジタル信号に変換され、ブロック分割回路３において、水平方向Ｍ画素、垂直方向Ｎライン（例えば、Ｍ＝Ｎ＝８、すなわち８×８画素単位）にブロック化された上で、更に、輝度信号、および色信号が、例えば１６×１６画素のデータからなる符号化処理単位ブロックデータ（以下、「マクロブロック」という）Ｓ３に変換され、フレーム内符号化／フレーム間符号化判定回路５（以下、「フレーム内符号化」を「イントラ」といい、「フレーム間符号化」を「インター」という）、予測誤差算出回路６、イントラ／インター符号化切換スイッチ７の端子ａ、および動きベクトル検出回路１５に供給される。
【００２２】
予測誤差算出回路６は、前記マクロブロックＳ３と、動き補償回路１４で生成される予測データＳ１４との差分データＳ６を算出し、イントラ／インター判定回路５、およびイントラ／インター符号化切換スイッチ７の端子ｂに供給する。
【００２３】
イントラ／インター判定回路５は、入力された前記マクロブロックＳ３と前記差分データＳ６とを比較して、いずれのデータの符号化効率が良いかを判定し、該判定結果に基づいてイントラ／インター符号化切換スイッチ７，１６、および誤り訂正符号化切換スイッチ３９の切換制御を行う。イントラ／インター判定回路５において、現フレームのマクロブロックＳ３の方が符号化効率が良いと判定された場合には前記各切換スイッチ７，１６，３９において端子ａが、前記差分データＳ６の方が符号化効率が良いと判定された場合には端子ｂがそれぞれ適応的に選択される。
【００２４】
また、前記イントラ／インター判定回路５には、フレーム信号入力端子４よりリフレッシュ動作のためのタイミング信号であるフレーム信号が入力されている。このリフレッシュ動作とは、インター符号化データの伝送が継続される場合に、データ伝送時に発生したエラーの程度が装置の誤り訂正能力を越えれば、一旦発生したエラーが永続的に伝播し続けるので、強制的に所定時間毎にイントラ符号化データの伝送を行い、前記発生したエラーの永続的伝播を防止することを目的として行われるものである。
【００２５】
前記イントラ／インター符号化切換スイッチ７で選択された信号は、直交変換回路８に入力される。直交変換回路８は、例えばＤＣＴ（離散コサイン変換）により入力信号の直交変換を行い、変換した係数を量子化回路９に入力する。量子化回路９においては、前記直交変換された係数が量子化されるが、この際の量子化ステップは、後述するバッファメモリ１８からの制御データＳ１８により制御される。量子化回路９において量子化されたデータは、逆量子化回路１０、および可変長符号化回路１７に供給される。可変長符号化回路１７は、データの発生頻度に応じた可変長符号化データをバッファメモリ１８に供給する。
【００２６】
バッファメモリ１８においては、可変長符号化データや動きベクトル検出回路１５からの動きベクトルＳ１５の他、符号化のための各種パラメータ等が一旦蓄積されると共に、該メモリ１８内の残留データ量が逐次検出されて、この残留データ量に応じて変化する制御データＳ１８が量子化回路９、および逆量子化回路１０にフィードバックされる。制御データＳ１８に基づいて量子化回路９、および逆量子化回路１０における量子化ステップが制御される。これにより、バッファメモリ１８の保持データ量を適切な量に維持しつつ、フォーマッタ１９へのデータの供給を行うようにしている。
【００２７】
一方、逆量子化回路１０に入力された信号は、量子化回路９とは逆の特性により逆量子化されて、量子化回路９の入力信号と同じ信号として出力される。同様に、逆直交変換回路１１に入力された信号は、直交変換回路８とは逆の特性により逆直交変換されて、直交変換回路８の入力信号と同じ信号として出力される。
【００２８】
逆直交変換回路１１において逆直交変換された信号は、加算回路１２に入力されてイントラ／インター符号化切換スイッチ１６により選択された信号と加算される。イントラモードにおいては、イントラ／インター符号化切換スイッチ７からは端子ａを介して現フレームのマクロブロックＳ３が、前記直交変換・量子化、および逆量子化・逆直交変換されて加算回路１２に入力される一方、イントラ／インター符号化切換スイッチ１６においては無信号の端子ａが選択されており、該スイッチ１６から加算回路１２に入力される信号値は０であるので、該加算回路１２の出力信号は、前記ブロック分割回路３から出力されるマクロブロックＳ３と等しくなる。
【００２９】
また、インターモードにおいては、イントラ／インター符号化切換スイッチ７，１６は共に端子ｂが接続され、イントラ／インター符号化切換スイッチ７からは、差分データＳ６が、前記直交変換・量子化、および逆量子化・逆直交変換されて加算回路１２に入力される一方、イントラ／インター符号化切換スイッチ１６からはメモリ１３から読み出された動き補償回路１４の出力データ、即ち予測データＳ１４が加算回路１２に入力されるので、加算回路１２の出力信号は、イントラモード時と同様にブロック分割回路３から出力されるマクロブロックＳ３と等しくなる。
【００３０】
このようにして、メモリ１３には上記いずれの場合にも現フレームのマクロブロックＳ３に相当するデータが入力されて記憶され、約１フレーム分の遅れをもって、動き補償回路１４および動きベクトル検出回路１５に出力される。動きベクトル検出回路１５はマクロブロックＳ３、つまり現フレームの画像データと、メモリ１３に記憶されている前フレームの画像データとを比較して、符号化ブロックの動きを動きベクトルＳ１５に変換して動き補償回路１４に出力する。動き補償回路１４は、前フレームの画像データを動きベクトルＳ１５により動き補償して前記予測データＳ１４として予測誤差算出回路６、およびイントラ／インター符号化切換スイッチ１６の端子ｂに出力する。
【００３１】
次に、フォーマッタ１９においては、バッファメモリ１８から入力されたデータが伝送同期のための同期信号等が付加された上で、誤り訂正符号化切換スイッチ３９の選択端子に応じて、第１の誤り訂正符号化回路３７、又は誤り訂正符号化回路３８により誤り訂正符号化される。尚、第１、および第２の誤り訂正符号化回路３７，３８においては、２重ＲＳ（リードソロモン）符号を用いて誤り訂正符号化を行うものとする。第１の誤り訂正符号化回路３７、又は誤り訂正符号化回路３８により誤り訂正符号化されたデータは、伝送レートに応じて伝送路２２に出力される。
【００３２】
図３は、前記２つの符号化モードにおける誤り訂正符号化ブロックを示す図であり、イントラモード時においては、第１の誤り訂正符号化回路３７によって、図３（ａ）に示す様に、内符号（ｍ，ｍ−２ｔ）ＲＳ、および外符号（ｎ，ｎ−２ｔ）ＲＳで誤り訂正符号化され、インターモード時においては、第２の誤り訂正符号化回路３８によって、図３（ｂ）に示す様に、内符号（ｍ，ｍ−ｔ）ＲＳ、および外符号（ｎ，ｎ−ｔ）ＲＳで誤り訂正符号化される。また、図３（ａ）、および（ｂ）に示すＩＤエリアには、前記２つの符号化モードを区別するためのイントラ／インター識別信号や符号化パラメータ等が付加され、伝送レートに応じて伝送路２２に出力される。
【００３３】
図２の復号化ブロックＢにおいては、伝送路２２を介して伝送された画像データは、同期検出回路２３で伝送の同期がとられた上でメモリ２５に蓄えられる。また、同期検出時に前記図３のＩＤエリアの情報が判定回路２４に供給され、該情報内の前記イントラ／インター識別信号に基づいて符号化モードが判定される。ここで、判定回路２４においてイントラモードが検出された場合には、誤り訂正符号化切換スイッチ４２においては端子ａが選択され、前記メモリ２５に蓄えられたデータの伝送途中で生じた誤りが、第１の誤り訂正回路４０により、前記内符号（ｍ，ｍ−２ｔ）ＲＳ、および外符号（ｎ，ｎ−２ｔ）ＲＳそれぞれに対してｔ重誤り訂正が施される。また、インターモードが検出された場合には、誤り訂正切換スイッチ４２においては端子ｂが選択され、第２の誤り訂正回路４１により、前記内符号（ｍ，ｍ−ｔ）ＲＳ、および外符号（ｎ，ｎ−ｔ）ＲＳそれぞれに対してｔ／２重誤り訂正が施される。
【００３４】
このようにして誤り訂正されたメモリ２５内のデータから前記可変長符号化されたデータや動きベクトルＳ２５等が識別され、該識別された可変長符号化データは可変長復号化回路２９に、動きベクトルＳ２５はメモリ３３にそれぞれ供給される。そして、可変長復号化回路２９において可変長復号化されたデータは、逆量子化回路３０において逆量子化され、逆直交変換回路３１において逆直交変換されて、図１の符号化ブロックＡの前記予測誤差算出回路６から出力される差分データＳ６と同一内容の差分データＳ３１に復号される。
【００３５】
一方、メモリ３３は、前記供給された動きベクトルＳ２５を基に、図１の符号化ブロックＡの動き補償回路１４から出力される予測データＳ１４と同様の予測データを生成して加算回路３２に出力する。加算回路３２では該予測データと前記差分データＳ３１とを加算してマクロブロックデータを生成し、該生成されたマクロブロックデータをメモリ３３、およびＬＳ（ラインスキャン）変換回路３４に出力する。メモリ３３内の画像データは、前記マクロブロックデータによって逐次修正更新される。また、ＬＳ変換回路３４においては、加算回路３２から入力された画像データがラインスキャン構造のディジタル信号に変換され、Ｄ／Ａ変換回路３５においてアナログ画像信号に変換されて出力端子３６より出力される。
【００３６】
以上述べたように、本実施例の符号化復号化装置によれば、イントラモード時には、第１の誤り訂正符号化回路３７により、内符号（ｍ，ｍ−２ｔ）ＲＳ、および外符号（ｎ，ｎ−２ｔ）ＲＳで誤り訂正符号化され、第１の誤り訂正回路４０により、前記内符号（ｍ，ｍ−２ｔ）ＲＳ、および外符号（ｎ，ｎ−２ｔ）ＲＳそれぞれがｔ重誤り訂正される一方、インターモード時には、第２の誤り訂正符号化回路３８により、内符号（ｍ，ｍ−ｔ）ＲＳ、および外符号（ｎ，ｎ−ｔ）ＲＳで誤り訂正符号化され、第２の誤り訂正回路４１により、前記内符号（ｍ，ｍ−ｔ）ＲＳ、および外符号（ｎ，ｎ−ｔ）ＲＳそれぞれがｔ／２重誤り訂正され、イントラモード時における誤り訂正能力が強化されるので、伝送路上で発生したエラーの伝播を効率よく防止することができる。
【００３７】
尚、本実施例では２重ＲＳ符号を用いた場合の例について説明したが、これに限られるものではなく、例えば、ＲＳ符号や、畳込符号等を用いてもよい。
【００３８】
また、訂正能力も上述した区別に限定されるものではなく、イントラモードにより符号化された情報に対して、インターモードにより符号化された情報よりも誤り保護を強化する態様であればどの様なものでもよい。例えば、インターモードによる符号化に対してはＲＳ符号を用い、イントラモードによる符号化に対しては畳込符号を用い、または、インターモードによる符号化に対してはＲＳ符号を用い、イントラモードによる符号化に対しては畳込符号＋ＲＳ符号を用いる等の態様でもよい。
【００３９】
また、本発明は、誤りの検出のみで訂正を行わない誤り検出符号化復号化を行う場合にも適用可能であり、イントラモード時の誤り検出能力をインターモード時より強化するようにすればよい。
【００４０】
【発明の効果】
以上説明したように、本発明によれば、イントラモードとインターモードを適応的に選択して符号化された画像データを、誤り訂正能力がインターモード時に比べてイントラモード時に強化される様に選択された符号化モードに応じて誤り訂正能力が異なり内符号と外符号を有する誤り訂正符号により誤り訂正符号化し、モードにかかわらず共通の符号長でモード毎に所定の同期信号を付加され、同期信号の周期単位で内符号を付加されて形成された所定の同期ブロックで伝送するので、同期ブロックをモードにかかわらず共通に伝送でき、符号化データの伝送途中で生じたエラーの伝播を効率的に、容易に防止することができる。
また、本発明によれば、イントラモードとインターモードのいずれかのモードを適応的に選択して符号化され、誤り訂正能力がインターモード時に比べてイントラモード時に強化される様に選択されたモードに応じて誤り訂正能力が異なり内符号と外符号を有する誤り訂正符号により誤り訂正符号化され、モードにかかわらず共通の符号長でモード毎に所定の同期信号を付加され、同期信号の周期単位で内符号を付加されて形成された所定の同期ブロックにより伝送された画像データを入力し、入力された画像データの誤りを訂正し、誤りを訂正された画像データを復号化するので、同期ブロックをモードにかかわらず共通に受信でき、符号化データの伝送途中で生じたエラーの伝播を効率的に、容易に防止することができる。
【図面の簡単な説明】
【図１】本発明の一実施例に係る符号化復号化装置の概略構成を示すブロック図である。
【図２】本発明の一実施例に係る符号化復号化装置の概略構成を示すブロック図である。
【図３】２つの符号化モードにおける符号化時の誤り訂正符号化ブロックを示す図である。
【符号の説明】
５ イントラ／インター判定回路
１４ 動き補償回路
２２ 伝送路
２４ 判定回路
３７ 第１の誤り訂正符号化回路
３８ 第２の誤り訂正符号化回路
４０ 第１の誤り訂正回路
４１ 第２の誤り訂正回路

Claims (4)

1. 画像データを入力する入力手段と、
   イントラモードとインターモードのいずれかのモードを適応的に選択して前記画像データを符号化する符号化手段と、
   前記符号化された画像データに対して、誤り訂正能力がインターモード時に比べてイントラモード時に強化される様に前記選択されたモードに応じて誤り訂正能力が異なり内符号と外符号を有する誤り訂正符号化を行う誤り訂正符号化手段と、
   前記モードにかかわらず共通の符号長で前記モード毎に所定の同期信号を前記誤り訂正符号化された画像データに付加して所定の同期ブロックを形成し、前記形成した所定の同期ブロックにより前記誤り訂正符号化された画像データを伝送する伝送手段とを有し、
   前記誤り訂正符号化手段は、前記同期信号の周期単位で前記内符号を付加することを特徴とする画像符号化装置。
2. 画像データを入力する入力工程と、
   イントラモードとインターモードのいずれかのモードを適応的に選択して前記画像データを符号化する符号化工程と、
   前記符号化された画像データに対して、誤り訂正能力がインターモード時に比べてイントラモード時に強化される様に前記選択されたモードに応じて誤り訂正能力が異なり内符号と外符号を有する誤り訂正符号化を行う誤り訂正符号化工程と、
   前記モードにかかわらず共通の符号長で前記モード毎に所定の同期信号を前記誤り訂正符号化された画像データに付加して所定の同期ブロックを形成し、前記形成した所定の同期ブロックにより前記誤り訂正符号化された画像データを伝送する伝送工程とを有し、
   前記誤り訂正符号化工程は、前記同期信号の周期単位で前記内符号を付加することを特徴とする画像符号化方法。
3. イントラモードとインターモードのいずれかのモードを適応的に選択して符号化され、誤り訂正能力がインターモード時に比べてイントラモード時に強化される様に前記選択されたモードに応じて誤り訂正能力が異なり内符号と外符号を有する誤り訂正符号により誤り訂正符号化され、前記モードにかかわらず共通の符号長で前記モード毎に所定の同期信号を付加され、前記同期信号の周期単位で前記内符号を付加されて形成された所定の同期ブロックにより伝送された画像データを入力する入力手段と、
   前記入力手段によって入力された画像データの誤りを訂正する誤り訂正手段と、
   前記誤り訂正手段によって誤りを訂正された画像データを復号化する復号化手段とを有することを特徴とする画像復号化装置。
4. イントラモードとインターモードのいずれかのモードを適応的に選択して符号化され、誤り訂正能力がインターモード時に比べてイントラモード時に強化される様に前記選択されたモードに応じて誤り訂正能力が異なり内符号と外符号を有する誤り訂正符号により誤り訂正符号化され、前記モードにかかわらず共通の符号長で前記モード毎に所定の同期信号を付加され、前記同期信号の周期単位で前記内符号を付加されて形成された所定の同期ブロックにより伝送された画像データを入力する入力工程と、
   前記入力工程によって入力された画像データの誤りを訂正する誤り訂正工程と、
   前記誤り訂正工程によって誤りを訂正された画像データを復号化する復号化工程とを有することを特徴とする画像復号化方法。

Images