JP3990055B2 - 画像符号化・復号システムおよび画像符号化・復号方法並びに画像符号化装置および画像復号装置並びに画像符号化方法および画像復号方法並びに画像符号化・復号装置 - Google Patents
画像符号化・復号システムおよび画像符号化・復号方法並びに画像符号化装置および画像復号装置並びに画像符号化方法および画像復号方法並びに画像符号化・復号装置 Download PDFInfo
- Publication number
- JP3990055B2 JP3990055B2 JP31150398A JP31150398A JP3990055B2 JP 3990055 B2 JP3990055 B2 JP 3990055B2 JP 31150398 A JP31150398 A JP 31150398A JP 31150398 A JP31150398 A JP 31150398A JP 3990055 B2 JP3990055 B2 JP 3990055B2
- Authority
- JP
- Japan
- Prior art keywords
- information
- encoding
- image
- unit
- decoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Error Detection And Correction (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
Description
【０００１】
（目次）
発明の属する技術分野
従来の技術（図６２〜図６８）
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（Ａ）一実施形態の説明（図１〜図３８）
（Ｂ）第１変形例の説明（図３９〜図４１）
（Ｃ）第２変形例の説明（図４２〜図４８）
（Ｄ）第３変形例の説明（図４９〜図５８）
（Ｅ）その他（図５９〜図６１）
発明の効果
【０００２】
【発明の属する技術分野】
本発明は、静止画像や動画像等の画像情報（画像データ）を高能率に圧縮（符号化）および復元（復号）するための技術に関し、特に、誤りが存在する通信（伝送）路あるいは蓄積媒体等を通じて符号化情報に誤りが発生するような場合に用いて好適な、画像符号化・復号システム並びに画像符号化装置および画像復号装置並びに画像符号化方法および画像復号方法並びに画像符号化・復号装置に関する。
【０００３】
【従来の技術】
図６２は従来の画像通信システム（画像符号化・復号システム）の基本構成を示すブロック図で、この図６２に示すシステム１ａは、画像符号化装置１００として符号化部１０１及び多重化１０２をそなえるとともに、画像復号装置２００として多重化復号部２０１及び復号部２０２をそなえており、これらの各装置１００，２００が所定の伝送路（通信路）３００を介して相互に接続された構成となっている。
【０００４】
ここで、画像符号化装置１００において、符号化部１０１は、入力画像信号Ｆを予測符号化や変換符号化，ベクトル量子化等の所定の符号化方式（アルゴリズム）で、画像データを１つ以上の画素から成るブロック単位で符号化するもので、量子化ステップサイズやＤＣＴ（離散コサイン変換）係数などの所定の符号化パラメータe1,e2,...,ex（ｘは自然数）を計算してその符号化パラメータe1,e2,...,exを符号化情報として出力するようになっている。
【０００５】
なお、符号化パラメータe1,e2,...,exは、スカラ量とは限らず、例えば２次元動きベクトルであったり、ブロック変換符号化の場合の変換計数（次元数は１次元以上）であったりする。また、符号化部１０１において復号結果も参照して符号化を行なう場合は、例えば図６３に示すような構成になる。即ち、符号化部１０１から出力された符号化パラメータe1,e2,...,exは、画像復号装置２００における復号部２０２と同一の構成（復号アルゴリズム）を有する局所復号部１０３で復号され、その復号結果Ｆ′が符号化部１０１に入力されて参照される。
【０００６】
さらに、多重化部１０２は、上記の符号化部１０１で得られた符号化パラメータe1,e2,...,exを多重化するもので、具体的には、符号化パラメータe1,e2,...,exについて、所定のシンタクス〔伝送フォーマット：情報をビット列に並べ、受信側でビット列を符号化情報に変換（多重化復号）することができるような文法〕に従って可変長符号または固定長符号に変換してビット列を伝送路３００へ出力する。
【０００７】
例えば図６４に示すように、多重化部１０２は、ビット列の先頭や、ブロック符号化であればブロックラインの先頭、可変長符号または固定長符号などの途中において、同期回復可能なユニークワード４００（同期信号）を付加し（同期回復可能なユニークワードからユニークワードまでの間をパケットと呼ぶこともある）、可変長符号化または固定長符号化された符号化パラメータe1,e2,...,exやその他の画像に関する情報などを付加してビット列を作成する。
【０００８】
一方、画像復号装置２００（受信側）において、多重化復号部２０１は、伝送路３００から入力されるビット列から符号化パラメータe1,e2,...,exを多重化復号するものであるが、通常、伝送路３００において誤りが付加される（符号誤りが発生する）ため、多重化復号した符号化パラメータは、例えばe1′,e2 ′,...,ex ′となり、必ずしも元の符号化パラメータe1,...,ex と同一にはならない。
【０００９】
また、復号部２０２は、この多重化復号部２０１により多重化復号された符号化パラメータe1′,e2 ′,...,ex ′を基に画像データを復号するもので、その復号結果が再生画像信号Ｆ″として出力される。
ここで、現在、よく知られた画像符号化・復号技術の具体例としては、下記▲１▼，▲２▼に示すような国際標準化された動画像についての技術がある。
【００１０】
▲１▼ISO/IEC JTC1/SC29/WG11 N2202(MPEG4) のSimple Profile
▲２▼ITU-T Recommendation H.263
次に、これらの技術を代表的な従来技術として説明する。
図６５は上記▲２▼に関する画像符号化・復号システムの要部の構成例を示すブロック図で、この図６５に示すシステム１ｂは、画像伝送装置５００と画像伝送装置６００とが伝送路３００を介して相互に接続されており、それぞれが、送信系（画像符号化装置:video coder）５００Ａ，６００Ａとして、符号化部(source coder)５０１，６０１，多重化部(video multiplex coder) ５０２，６０２，送信バッファ(transmission buffer) ５０３，６０３，符号化制御部(coding controller) ５０４，６０４をそなえるとともに、受信系（画像復号装置:video decoder）５００Ｂ，６００Ｂとして、受信バッファ(receiving buffer)５０５，６０５，多重化復号部(video multiplex decoder) ５０６，６０６，復号部(source decoder)５０７，６０７をそなえて構成されている。
【００１１】
ここで、画像符号化装置５００Ａ（６００Ａ）において、符号化部５０１（６０１）は、前記の符号化部１０１に相当し、入力画像信号（ビデオ信号：フレーム）Ｆを所定の符号化単位（１画素以上を有するブロック単位）で動き補償，予測誤差信号の離散コサイン変換，量子化等の所定の符号化処理を行なうことにより符号化パラメータe1,e2,...,exを得るもので、例えば図６６に示すように構成される。
【００１２】
そして、この符号化部５０１（６０１）では、入力画像信号Ｆと、入力画像信号Ｆと可変遅延フレームメモリ７１０で可変遅延した出力（動き補償，あるいはフレーム間の予測値）との差分（予測誤差）値を予測誤差計算部７０１で計算した値とが、符号化制御部５０４（６０４）からのスイッチ部７０２のスイッチ７０３の制御によって適応的に選択され、変換部７０５にてＤＣＴなどの直交変換が行なわれたのち、量子化部７０６にて係数（ＤＣＴ係数等）の量子化が行なわれる。
【００１３】
また、このとき、符号化部５０１（６０１）では、図６３により前述したような、次の符号化単位に対する符号化のための局所復号が行なわれる。即ち、逆量子化部７０７，逆変換部７０８を通じて量子化値（予測誤差）ｑが復号され、その復号結果が加算部７０９で予測値（スイッチ部７０２のスイッチ７０４を介して供給される１フレーム前の加算部７０９での加算結果）と加算されて可変遅延フレームメモリ７１０に蓄積される。
【００１４】
以上のような符号化処理を通じて、予測の種類ｐ，動きベクトルｖ，量子化パラメータｑｚ，量子化値ｑ，量子化ステップサイズｑｚ等が上記の符号化パラメータe1,e2,...,exとして得られ、多重化部５０２（６０２）へ出力される。
次に、上記の多重化部５０２（６０２）は、前記の多重化部１０２に相当し、所定のシンタクス（伝送フォーマット）に従って、例えば図６７に示すように、上記の予測の種類ｐ，動きベクトルｖ，量子化パラメータｑｚ，量子化値ｑ，量子化ステップサイズｑｚ等から成る符号化パラメータe1,e2,...,exをバイナリの可変長符号に変換し、所定の同期信号（後述するヘッダ）や入力画像の解像度等の情報を付加して符号化ビット列を作成することにより、符号化パラメータe1,e2,...,exを多重化するものである。
【００１５】
具体的には、上述のごとく符号化パラメータe1,e2,...,exバイナリのビット列に変換した後、同じフレーム内のラインスキャン順に隣接しているブロックの符号化パラメータei（ただし、ｉ＝１〜ｘ）を集め、前記▲１▼の符号化・復号技術では、例えば図６８に示すようなフォーマットを有するビデオパケットと呼ばれるパケット８００が、この多重化部５０２（６０２）で作成される。
【００１６】
ここで、パケット８００間の境界には必ず“Resync-Marker" と呼ばれるユニークワード８０１（同期信号：可変長符号化によるビット列が混在していても、必ず唯一のコードとして見い出すことのできるコード）が付加され、誤りが発生してそのパケット８００が廃棄されても、次のパケット８００のユニークワード８０１によって再同期をとることが可能になっている。
【００１７】
また、このパケット８００中には、例えば、マクロブロック（ブロックを複数集めたもの：標準化では４つのブロックの集まりをマクロブロックという）の位置を示す情報（macro block number) ８０２や量子化パラメータ(quant scale) ８０３，拡張コード（ＨＥＣ）８０４，動き情報と直流成分などの情報（Motion&Header Information)８０５，この情報８０５と以降の情報とを区切る情報（Motion Marker)８０６，交流成分等の情報（Texture Information)８０７が適宜に搭載される。なお、ユニークワード８０１以外の情報８０１〜８０７の搭載順（出力順）は図６８に示すものとは異なる場合もある。
【００１８】
次に、上記の送信バッファ５０３（６０３）は、この多重化部５０２（６０２）で得られた符号化ビット列を一時的に保持するものであり、符号化制御部１０４は、伝送路３００のビットレートが一定であったりして、伝送情報量（符号量）を制御する必要がある場合に、この送信バッファ５０３（６０３）の残量をパラメータとして符号化部５０１（６０１）での量子化の粗さを制御したり、多重化部５０２（６０２）にてその制御結果の多重化などを行なわせたりするものである。
【００１９】
一方、画像復号装置６００Ａ（６００Ｂ）において、受信バッファ５０５（６０５）は、伝送路３００を通じて伝送されてきた符号化ビット列を受信して保持するものであり、多重化復号部５０６（６０６）は、前記の多重化復号部２０１に相当し、図６５により上述した多重化部５０２（６０２）とは逆に、受信バッファ５０５（６０５）で保持されている符号化ビット列を前記のシンタクスに従って予測の種類ｐ，動きベクトルｖ，量子化パラメータｑｚ，量子化値ｑ，量子化ステップサイズｑｚ等から成る符号化パラメータe1,e2,...,ex（e1′,e2 ′,...,ex ′）に変換するものである。
【００２０】
そして、復号部５０７（６０７）は、前記の復号部２０２に相当し、多重化復号部５０６（６０６）で得られた符号化パラメータe1,e2,...,ex（e1′,e2 ′,...,ex ′）を基に画像データを復号して再生画像信号を出力するものである。
上述のごとく構成された画像符号化・復号システム１ｂでは、符号化部５０１（６０１）において、予測符号化や変換符号化，ベクトル量子化等の所定の符号化方式で入力画像信号を符号化することにより、画像信号（画像データ）がもつ時間的，空間的な冗長度を削減して画像情報量を大幅に削減（画像圧縮）した上で、伝送路３００を通じて伝送し、対向する復号部６０７（５０７）において、伝送されてきた画像データを復元して再生するので、伝送路３００の帯域を有効に利用することができる。
【００２１】
なお、１つの装置（例えば、パーソナルコンピュータ等）内で画像データを符号化して復号するような場合（画像データを伝送しない場合）は、符号化された画像データ（符号化パラメータe1,e2,...,ex）をハードディスク等の蓄積媒体に蓄積しておき、この蓄積媒体に蓄積された画像データを必要に応じて読み出して復号・再生することになる。ただし、この場合も、蓄積媒体を通じて誤りが符号化パラメータe1,...,ex に付加される可能性がある。
【００２２】
【発明が解決しようとする課題】
ところで、上記のような画像符号化・復号システム１ａ，１ｂでは、符号化により所定の圧縮率が得られるが、その符号化方式が高能率であるほど、伝送路３００（あるいは蓄積媒体）から受ける誤りの影響が大きい。即ち、画像データの符号化は上述したように画像信号のもつ時間的，空間的な冗長性を利用して行なわれるため、符号化された画像データ（符号化パラメータe1,e2,...,ex) に対して、たとえ部分的にでも誤りが発生すると、誤った部分を起点として時間的，空間的に誤りが伝播してしまい、正しい復号結果（再生画像）が得られなくなってしまう。
【００２３】
そこで、従来より、このような誤り対策として、通信路符号化（誤り訂正符号）による誤り訂正を行なったり、予測符号化を行なう場合は予測係数値を小さくすることによって誤りの伝播を抑圧したりすることが考えられているが、いずれも、有効な対策にはなっていないのが現状であり、誤りに対する十分な耐性を確保できていない。
【００２４】
本発明は、このような課題に鑑み創案されたもので、同じ符号化情報を有するブロックについての情報を符号化側から復号側へ渡すことで、一部のブロックの符号化情報に誤りが発生しても他のブロックの符号化情報から正しい値を得ることができるようにして、誤りに対する耐性を従来よりも向上させて再生画像の画質の悪化を最小限に抑えて、高品質な再生画像を得られるようにすることを目的とする。
【００２５】
【課題を解決するための手段】
上記の目的を達成するために、本発明の画像符号化・復号システム（請求項１）は、画像データを符号化する画像符号化装置と、該画像符号化装置で符号化された画像データを復号して再生する画像復号装置とをそなえ、上記の画像符号化装置が、画像データを１つ以上の画素から成るブロック単位で符号化することによりそのブロックについて所定の符号化情報を得る符号化部と、この符号化部により得られた複数ブロックについての符号化情報のうち、どのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成部とをそなえるとともに、上記の画像復号装置が、上記の画像符号化装置の共通情報生成部で生成された共通情報に基づいて符号化情報の誤りを訂正する誤り訂正部と、この誤り訂正部により誤り訂正された符号化情報を復号して画像データを再生する復号部とをそなえていることを特徴としている。
【００２６】
ここで、本画像符号化・復号システムは、上記の画像復号装置が、上記の誤り訂正部において誤り訂正不可能な符号化情報の再誤り訂正に必要な情報についての再送出要求を上記の画像符号化装置に行なう再送出要求部をそなえるとともに、上記の画像符号化装置が、上記の画像復号装置の再送出要求部からの再送出要求に応じた情報のみを上記の画像復号装置へ再送出する再送出部をそなえていてもよい（請求項２）。
【００２７】
また、本発明の画像符号化・復号方法（請求項３）は、画像データを１つ以上の画素から成るブロック単位で符号化することによりそのブロックについて所定の符号化情報を得る符号化ステップと、この符号化ステップにより得られた複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成ステップとをそなえるとともに、この共通情報生成ステップで生成された共通情報に基づいて符号化情報の誤りを訂正する誤り訂正ステップと、この誤り訂正ステップにより誤り訂正された符号化情報を復号して画像データを再生する復号ステップとをそなえて成ることを特徴としている。
【００２８】
次に、本発明の画像符号化装置（請求項４）は、画像データを１つ以上の画素から成るブロック単位で符号化することによりそのブロックについて所定の符号化情報を得る符号化部と、この符号化部により得られた複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成部と、少なくともこの共通情報生成部で生成された共通情報を画像復号装置へ送出する送出部とをそなえていることを特徴としている。
【００２９】
ここで、上記の共通情報生成部は、複数ブロックでの符号化情報の発生頻度についてのヒストグラムを作成し、このヒストグラムにおいて発生頻度が所定値以下の符号化情報を粗く量子化してゆく、あるいは、そのヒストグラムにおいて近隣の符号化情報に修正してゆく、もしくは、近隣ブロックの符号化情報に修正してゆくことにより、符号化情報の共通化を行なって、上記の共通情報を生成するように構成されていてもよい（請求項５〜７）。
【００３０】
また、上記の送出部は、同じ符号化情報を有するブロックを複数のパケットデータに分散して送出するように構成されていてもよいし（請求項８）、上記の共通情報を複数回送出するように構成されていてもよい（請求項９）。
さらに、本画像符号化装置は、画像復号装置から誤り訂正不可能な符号化情報の再誤り訂正に必要な情報についての再送出要求を受けると、その再送出要求に応じた情報のみを上記の画像復号装置へ再送出する再送出部をそなえていてもよい（請求項１０）。
【００３１】
次に、本発明の画像復号装置（請求項１１）は、画像符号化装置において画像データを１つ以上の画素から成るブロック単位で符号化することによりそのブロックについて所定の符号化情報が得られるとともに複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報が得られる場合に、少なくとも、その共通情報を画像符号化装置から受信する受信部と、この受信部で受信された共通情報に基づいて符号化情報の誤りを訂正する誤り訂正部と、この誤り訂正部により誤り訂正された符号化情報を復号して画像データを再生する復号部とをそなえていることを特徴としている。
【００３２】
ここで、上記の誤り訂正部は、符号化情報に誤りのあることが予め分かっている場合は、上記の共通情報に基づいて誤りのある符号化情報と同じ符号化情報を有する他のブロックを特定し、そのブロックの符号化情報を上記誤りのあるブロックの符号化情報として出力することにより、符号化情報の誤りを訂正するように構成されていてもよい（請求項１２）。
【００３３】
また、上記の誤り訂正部は、符号化情報に誤りのあることが予め分からない場合は、上記の共通情報に基づいて同じ符号化情報を有するべき複数のブロックを特定し、その複数のブロックの各符号化情報を比較することによって誤りを検出してその誤りを訂正するように構成されていてもよい（請求項１３）。
さらに、上記の誤り訂正部は、上記共通情報またはブロックの識別情報もしくは両方の信頼性を判定し、信頼性の低い情報についてはその信頼性の低い情報以外の情報から正しい情報を推定するように構成されていてもよい（請求項１４）。
【００３４】
また、本画像復号装置は、上記の誤り訂正部において誤り訂正不可能な符号化情報の再誤り訂正に必要な情報についての再送出要求を画像符号化装置に行なう再送出要求部をそなえていてもよい（請求項１５）。
次に、本発明の画像符号化方法（請求項１６）は、画像データを１つ以上の画素から成るブロック単位で符号化することによりそのブロックについて所定の符号化情報を得る符号化ステップと、この符号化ステップにより得られた複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成ステップと、少なくともこの共通情報生成ステップで生成された共通情報を復号側へ送出する送出ステップとをそなえて成ることを特徴としている。
【００３５】
また、本発明の画像復号方法（請求項１７）は、画像データを１つ以上の画素から成るブロック単位で符号化することによりそのブロックについて所定の符号化情報が得られるとともに複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報が符号化側で得られる場合に、少なくとも、その共通情報を符号化側から受信する受信ステップと、この受信ステップで受信した共通情報に基づいて符号化情報の誤りを訂正する誤り訂正ステップと、この誤り訂正ステップにより誤り訂正された符号化情報を復号して画像データを再生する復号ステップとをそなえて成ることを特徴としている。
【００３６】
さらに、本発明の画像符号化・復号装置（請求項１８）は、画像データを符号化する画像符号化装置と、この画像符号化装置に対向して設けられた画像符号化・復号装置で符号化された画像データを復号して再生する画像復号装置とをそなえた装置において、上記の画像符号化装置が、画像データを１つ以上の画素から成るブロック単位で符号化することにより或るブロックについて所定の符号化情報を得る符号化部と、この符号化部により得られた複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成部とをそなえるとともに、上記の画像復号装置が、上記の対向する画像符号化・復号装置で生成される、この画像符号化・復号装置での画像データの符号化により得られた複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているを表す共通情報に基づいて符号化情報の誤りを訂正する誤り訂正部と、この誤り訂正部により誤り訂正された符号化情報を復号して該画像データを再生する復号部とをそなえていることを特徴としている。
【００３７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（Ａ）本発明の一実施形態の説明
図１は本発明の一実施形態としての画像通信システム（画像符号化・復号システム）の構成を示すブロック図で、この図１に示すシステム１も、画像データを符号化する画像符号化装置２と、この画像符号化装置２で符号化された画像データを復号して再生する画像復号装置３とをそなえて構成されており、これらの画像符号化装置２と画像復号装置３とが画像通信用の所望の伝送路４（有線でも無線でもよい）を介して相互に接続されている。
【００３８】
さらに、この図１に示すように、上記の画像符号化装置２は、その要部の機能に着目すると、符号化部２１，共通化部２２および多重化部２３等をそなえて構成されており、上記の画像復号装置３は、その要部の機能に着目すると、多重化復号部３１，誤り検出／訂正部３２および復号部３３等をそなえて構成されている。
【００３９】
ここで、まず、画像符号化装置２において、符号化部２１は、入力画像信号（画像データ）Ｆを所定のブロック（１画素以上の画素の集まり：矩形でも非矩形でもよい）に分割し、そのブロック単位で入力画像信号Ｆを予測符号化や変換符号化，ベクトル量子化等の所定の符号化方式（アルゴリズム）で符号化することにより、量子化パラメータ（量子化ステップサイズ）や量子化値，ＤＣＴ係数，テクスチャ，色，動画像の場合は動き補償ベクトルなどの所定の符号化パラメータe1,e2,...,ex（ｘは自然数）を計算してその符号化パラメータe1,e2,...,exを符号化情報として出力するものである。なお、この場合も、符号化パラメータe1,...,ex は、スカラ量とは限らず、例えば２次元動きベクトルであったり、ブロック変換符号化の場合の変換係数（次元数は１次元以上）であったりする。
【００４０】
また、共通化部（共通情報生成部）２２は、基本的に、この符号化部２１で得られた符号化パラメータe1,e2,...,exを所定の共通化単位で各符号化パラメータe1,e2,...,ex毎に共通化して（共通化しない場合もある）、その共通化結果として符号化パラメータek1,ek2,...,ekx を出力するとともに、この共通化の過程でどのブロックが共通なパラメータ（同じ符号化情報）を有しているかを表す共通化情報（共通情報）ecomを計算（生成）して出力するものである。
【００４１】
ここで、共通化とは、複数のブロックにわたり、例えば、或る符号化パラメータek1,ek2,...,ekx に関し、似た値であればできるだけ復号画像の劣化を抑えるようにしつつ、同じ値になるように計算し直すことである。なお、上記の共通化単位は、例えば図２（ａ）〜図２（ｄ）にそれぞれ網かけ部で示すように、複数フレームのそれぞれ一部分のブロック（複数フレームの近隣あるいは非近隣ブロック）であってもよいし、１フレームのみ，複数フレーム，１フレームの一部分のみのいずれであってもよい。
【００４２】
また、共通化後の符号化パラメータek1,ek2,...,ekx は、例えば、符号化部２１において共通化後の符号化パラメータ ek1を用いて符号化パラメータe2の計算を行なわなければならないような場合（共通化部２２で符号化パラメータek1,ek2,...,ekx の共通化を行なう場合）には、図１中に破線で示すように、再度、符号化部２１に入力される。
【００４３】
さらに、多重化部２３は、上記の共通化部２２で得られた共通化後の符号化パラメータek1,ek2,...,ekx の多重化と共通化情報ecomの多重化とを行なうもので、具体的には、後述するように、符号化パラメータek1,ek2,...,ekx 及び共通化情報ecomを、それぞれ、所定のシンタクス（伝送フォーマット）に従って可変長符号（または固定長符号）に変換することにより、符号化ビット列を生成するようになっている。なお、得られた符号化ビット列は後述するようにパケット化されて伝送路４を介し画像復号装置３へ送出される。つまり、この多重化部２３は、少なくとも上記の共通化部２２で生成された共通化情報ecomを画像復号装置３へ送出する送出部としての機能を果たしている。
【００４４】
一方、画像復号装置３において、多重化復号部３１は、伝送路４を通じて画像符号化装置２から伝送されてくる符号化ビット列（符号化パラメータek1,ek2,...,ekx ＋共通化情報ecom）を受信して、その符号化ビット列に対して上記の多重化部２３による多重化処理とは逆の処理を施すことにより、伝送路４から受信した符号化ビット列を多重化復号して符号化前の値（符号化パラメータ ek1′,ek2′,...,ekx′及び共通化情報ecom′）を得るものである。つまり、この多重化復号部３１は、少なくとも画像符号化装置２の共通化部２２で得られた共通化情報ecomを画像符号化装置２から受信する受信部としての機能を果たしている。
【００４５】
ここで、この場合も、符号化パラメータ ek1′,ek2′,...,ekx′及び共通化情報ecom′は、伝送路４により誤りが付加されているので、必ずしも、元の符号化パラメータek1,ek2,...,ekx 及び共通化情報ecomと一致しないが、本実施形態では、少なくとも、共通化情報ecomについては、誤り検出／訂正部において後述するようにして受信した共通化情報ecom′から復元（推定）できるようになっている。
【００４６】
また、誤り検出／訂正部３２は、上記の多重化復号部３２で得られた共通化情報ecom′から元の共通化情報ecomを復元（推定）して、通常の誤り訂正符号による誤り訂正ではなく、その共通化情報ecomに基づいて上記の符号化パラメータ ek1′,ek2′,...,ekx′の誤りを訂正することにより、誤り訂正後の符号化パラメータ ek1″,ek2″,...,ekx″を得るものである。なお、得られた符号化パラメータ ek1″,ek2″,...,ekx″は、誤り訂正前の符号化パラメータ ek1′,ek2′,...,ekx′よりも誤りの数は少ないが、必ずしも、完全に元の共通化後の符号化パラメータek1,ek2,...,ekx と一致しない場合もある。
【００４７】
そして、復号部３３は、この誤り検出／訂正部３２で誤り訂正された符号化パラメータ ek1″,ek2″,...,ekx″を復号して画像データＦを再生する（再生画像信号Ｆｋ′を得る）ものである。
以下、上記の各部２１〜２３及び３１〜３３のうち、本実施形態の要部である共通化部２２，多重化部２３および誤り検出／訂正部３２に着目して、それぞれの動作を項目別に詳述する。
【００４８】
（１）共通化部２２の動作説明
共通化部２２では、基本的に、図３に示すようなフローチャート（アルゴリズム）に従って動作することにより、複数ブロックにわたって符号化パラメータe1,e2,...,exの共通化を行ない、共通化情報ecomを生成する。
即ち、まず、図２により前述したような共通化単位である、１フレーム中あるいは複数フレーム中の全てのブロックまたは一部分（分割部分）のブロックを集める。なお、このようなブロックの収集は公知のセグメンテーション方法で行なってもよい。
【００４９】
そして、このような単位で得た各ブロック（ブロック番号ｎ：ｎは自然数）の符号化パラメータei（ただし、ｉ＝１〜ｘ）をｅ（ｎ）（単に「ｅ」と表記することもある）、共通化後の符号化パラメータをｅｋ（ｎ）（単に「ｅｋ」と表記することもある）、共通化情報をecomと表記すると、共通化前の符号化パラメータｅのとりうる値はｍ種類（ｍはｍ≦ｎを満足する自然数）存在することになる（ステップＡ１）。
【００５０】
次に、共通化部２２は、上記の符号化パラメータｅについて共通化を行なって、ｍ種類の値をｕ種類（ただし、ｕはｕ＜ｍを満足する自然数）にする（ステップＡ２）。つまり、この共通化部２２は、符号化パラメータｅを共通化することで、伝送すべき符号化パラメータｅの量を削減するとともに、同じ情報（符号化パラメータｅ）をもつブロックを増やして同じ情報をもつブロックが必ず複数分存在するようにしているのである。
【００５１】
このときの具体的な共通化方法としては、例えば、
▲１▼複数ブロックでの符号化パラメータｅの発生（出現）頻度についての統計量を調べて共通化を行なう方法
▲２▼公知のクラスタリングを行なって共通化を行なう方法
▲３▼或るブロックの周囲のブロックの符号化パラメータｅについて似ているか否かを調べて似ているブロックについて共通化を行なう方法
等がある。
【００５２】
そして、共通化部２２は、上記の共通化により得られた符号化パラメータｅｋ（ｎ）（以下、単に「符号化パラメータｅｋ」と表記することもある）と、上記の共通化の過程で計算（生成）される共通化情報ecomとを出力する（ステップＡ３：共通情報生成ステップ）。例えば、共通化を行なった結果、各ブロックの或る符号化パラメータｅｋの値が、図４（ａ）に示すような状態になっており、各ブロックのブロック番号（識別情報）が図４（ｂ）に示すように割り当てられていたとすると、共通化部２２は、図４（ａ）に示す各符号化パラメータｅｋを出力するとともに、共通化情報ecomとして、図５（ａ）に示すような、符号化パラメータ値とその符号化パラメータ値をもったブロックのブロック番号とを対応付けた（つまり、同じ符号化パラメータ値をもつブロックがどのブロックであるかを示す）テーブル（ecomtable)５を生成して出力する。
【００５３】
次に、上記の共通化方法▲１▼〜▲３▼について、より詳細に説明する。
（１．１）共通化方法▲１▼の説明
上記の共通化方法▲１▼は、共通化部２２が、例えば図６に示すフローチャート（アルゴリズム）に従って動作することにより実現される。即ち、共通化を行ないたいｎブロックの符号化パラメータをｅ、共通化後の符号化パラメータ（出力）をｅｋ、共通化情報をecomとするとともに、符号化パラメータｅについての発生頻度ヒストグラムをＨ（ｍ）、この発生頻度ヒストグラムＨ（ｍ）における発生頻度数についての閾値をｔｈ１としたとき（ステップＡ４）、まず、共通化部２２は、符号化パラメータｅ（ｎ）の値の発生頻度についての統計をとりヒストグラムＨ（ｍ）を作成する（ステップＡ５）。
【００５４】
例えば、符号化パラメータｅの一種である量子化パラメータの或る１画面での値が図１２（ａ）に示すような状態になっているとすると、共通化部２２は、１画面内の各ブロックの量子化パラメータ値を調べてそれぞれの発生頻度を調べ、図１２（ｂ）に示すような発生頻度ヒストグラムＨ（ｍ）（単に「ヒストグラムＨ」と表記することもある）を作成する。
【００５５】
次に、共通化部２２は、このヒストグラムＨ（ｍ）の度数が上記の閾値ｔｈ１以下となる符号化パラメータｅを共通化についてブロック数が足りないとしてチェックする（例えば、閾値ｔｈ１＝３とすると、図１２では発生頻度が“２”である量子化パラメータ値“４”をチェックする）一方、共通な符号化パラメータｅを共通化情報ecomとして生成する（テーブル５に記述する：ステップＡ６）。
【００５６】
そして、共通化部２２は、チェックした符号化パラメータｅが存在するか否かを判定し（ステップＡ７）、存在しなければ、符号化パラメータｅと共通化情報ecom（テーブル５）をそれぞれ出力する（ステップＡ７のＮＯルートからステップＡ８）一方、存在すれば、チェックした符号化パラメータｅのみに関して粗く量子化して符号化パラメータｅｋとし（ステップＡ９）、再度、ヒストグラムＨを作成して、チェックした（発生頻度が閾値ｔｈ１以下の）符号化パラメータｅが存在しなくなるまで（ステップＡ７でＮＯと判定されるまで）、上記のステップＡ６以降の処理を繰り返す。
【００５７】
ここで、上記のステップＡ９における量子化は例えば図９に示すようにして行なわれる。即ち、量子化のパラメータをｑ，量子化前の符号化パラメータ（発生頻度が閾値ｔｈ１以下の符号化パラメータ）をｅ，量子化後の符号化パラメータをｅｋとすると（ステップＡ９−１）、共通化部２２は、まず、量子化パラメータｑで符号化パラメータｅを除算して０．５を加算した値を四捨五入整数化し、得られた値（ｔｅｍｐ）に、再度、量子化パラメータｑを乗算したものを符号化パラメータｅｋとする（ステップＡ９−２）。
【００５８】
例えば、パラメータｑの値を“２”とし、図１２により前述したように発生頻度が閾値ｔｈ１以下の符号化パラメータ値“４”を量子化することを考えると、４／２＋０．５＝２．５となり、四捨五入すると“３”であるので、符号化パラメータｅｋは３×２＝６となる。このようにして、ヒストグラムＨにおいて、発生頻度が閾値ｔｈ１以下の符号化パラメータｅを粗く量子化してゆくことによって、閾値ｔｈ１以下の符号化パラメータｅは他の閾値ｔｈ１よりも発生頻度の高い符号化パラメータｅに共通化されてゆく。
【００５９】
つまり、共通化部２２は、複数ブロックでの符号化パラメータｅの発生頻度についてのヒストグラムＨを作成し、そのヒストグラムＨにおいて発生頻度が所定値ｔｈ１以下の符号化パラメータｅを粗く量子化してゆくことにより、符号化パラメータｅの共通化を行なって、共通情報ecomを生成するのである。従って、極めて単純な計算で符号化パラメータｅの共通化を行なうことが可能である。
【００６０】
なお、上記の例は、符号化パラメータｅがスカラ量の場合であるが、２次元以上のベクトル量の場合でも、そのベクトルの各要素について同様の量子化を実行すれば共通化が可能である。
ところで、上記のステップＡ９の代わりに、例えば図７に示すステップＡ９′あるいは図８に示すステップＡ９″を実行することによっても、符号化パラメータｅの共通化を行なうことが可能である。
【００６１】
即ち、図７では、チェックした符号化パラメータｅをヒストグラム近隣の値に直す。例えば、図１０に示すように、ヒストグラムＨ，閾値ｔｈ２，量子化前の符号化パラメータ（の値）ｅ，量子化した符号化パラメータ（の値）ｅｋとすると（ステップＡ９′−１）、共通化部２２は、ヒストグラムＨを参照し、符号化パラメータｅの近隣で度数が閾値ｔｈ２以上の値ｋ1 （ただし、ｋ1 ＝１〜ｍ）のうち、符号化パラメータｅに最も近い値（ｅ−ｋ1 の絶対値が最も小さい値）ｋ1 を符号化パラメータｅｋとする（ステップＡ９′−２）。
【００６２】
つまり、この場合の共通化部２２は、複数ブロックでの符号化パラメータｅの発生頻度についてのヒストグラムＨを作成し、そのヒストグラムＨにおいて発生頻度が所定値ｔｈ１以下の符号化パラメータｅをヒストグラムＨにおいて近隣の符号化パラメータｅに修正してゆくことにより、符号化パラメータｅの共通化を行なって、共通化情報ecomを生成するのである。従って、この場合は、上記のように粗く量子化する場合よりも確実に符号化パラメータｅの共通化を行なうことが可能である。
【００６３】
一方、図８では、チェックした符号化パラメータｅを近隣ブロックの値に直す。例えば、時間的または空間的に周囲に存在するｕ個のブロックの符号化パラメータｅｒ（ｕ）（単に「ｅｒ」と表記することもある），量子化前の符号化パラメータ（の値）ｅ，量子化した符号化パラメータ（の値）ｅｋとすると（ステップＡ９″−１）、共通化部２２は、これら周囲のブロックにおいて、符号化パラメータｅに一番近い値〔ｅｒ（ｋ2 ）−ｅの絶対値が最も小さい値：ただし、ｋ2 ＝１〜ｕ〕となる符号化パラメータｅｒ（ｋ2 ）値を符号化パラメータｅｋとする（ステップＡ９″−２）。
【００６４】
つまり、この場合の共通化部２２は、複数ブロックでの符号化パラメータｅの発生頻度についてのヒストグラムＨを作成し、そのヒストグラムＨにおいて該発生頻度が所定値ｔｈ１以下の符号化パラメータを近隣ブロックの符号化パラメータｅｒに修正してゆくことにより、符号化パラメータｅの共通化を行なって、共通情報ecomを生成するのである。従って、この場合も、確実に符号化パラメータｅの共通化を行なうことができる。
【００６５】
なお、共通化部２２は、図６に示すフローチャート（アルゴリズム）に代えて、図１３に示すフローチャート（アルゴリズム：ステップＢ１〜Ｂ３）に従って動作してもよい。即ち、共通化を行ないたい単位ｎブロックの符号化パラメータをｅ、符号化パラメータのヒストグラムをＨ、共通化後の符号化パラメータ（出力）をｅｋ、共通化情報をecomとすると（ステップＢ１）、共通化部２２は、まず、符号化パラメータｅのヒストグラムＨを作成し（ステップＢ２）。
【００６６】
次に、共通化部２２は、このヒストグラムＨの度数が閾値ｔｈ１以下となる符号化パラメータｅを共通化についてブロック数が足りないとしてチェックし、その符号化パラメータｅとブロック番号とを共通化情報ecomに書き込み、その共通化情報ecomとともに符号化パラメータｅを符号化パラメータｅｋとして出力する（ステップＢ３）。なお、閾値ｔｈ１を超えている符号化パラメータｅについても、前記と同様に共通情報ecomに書き込まれる。この場合の共通情報ecomは例えば図１４（ａ）に示すようになり、ブロック数が足りない（ブロック数が１つの）符号化パラメータｅについても、共通化情報ecom（テーブル５）に書き込まれている。
【００６７】
つまり、この場合の共通化部２２は、ヒストグラムＨの度数が閾値ｔｈ１以下となる符号化パラメータｅが存在しても前記のような共通化は行なわずに、その共通化できない符号化パラメータｅをもつブロックに関する情報を共通情報ecomに書き込んで出力するのである。従って、この場合は、既存の画像符号化装置２（符号化部２１）に対して共通化部２２を追加するだけでよいので、汎用性の向上に寄与する。
【００６８】
なお、この場合、後述するように、共通化できなかった符号化パラメータｅをもつブロックについては多重化部２３から複数回伝送される。
（１．２）共通化方法▲２▼の説明
上記の共通化方法▲２▼は、共通化部２２が図１５に示すフローチャート（アルゴリズム：ステップＣ１〜Ｃ４）に従って動作することにより実現される。即ち、この場合も、共通化を行ないたい単位ｎブロックの符号化パラメータをｅ、共通化後の符号化パラメータ（出力）をｅｋ、共通化情報をecomとするとともに、符号化パラメータのクラスタ結果をＣ（ｋ）、或るクラスタにおける符号化パラメータｅの数についての閾値をｔｈ３とすると、まず、共通化部２２は、ｎブロックの符号化パラメータｅに対して、ｋ平均クラスタリング法（ｋ個のクラスタすなわち平均に個体を配置する処理：「画像解析ハンドブック」ｐ６４１−ｐ６５２参照）などの公知の方法でクラスタリングを行なう。これにより、当初、ｍ種類存在していた符号化パラメータｅがｋ3 種類（ただし、ｋ3 ＜ｍ）となる（ステップＣ１）。
【００６９】
次に、共通化部２２は、各符号化パラメータｅがどのクラスタに属するかを表すクラスタ結果Ｃ（ｋ3 ）を算出し（ステップＣ２）、そのクラスタ結果Ｃ（ｋ3 ）に基づいて、符号化パラメータｅの数が閾値ｔｈ３よりも小さいクラスタについてはクラスタの重心が最も近い別のクラスタに融合させて共通化を行なう（ステップＣ３）。
【００７０】
そして、共通化部２２は、各クラスタ内のブロック番号などの情報を共通化情報ecomとして生成・出力するとともに、符号化パラメータｅの属するクラスタＣの重心（または代表値）を共通化後の符号化パラメータｅｋとして出力する（ステップＣ４）。
このように、公知のクラスタリングを用いて共通化を行なえば、クラスタリング自体の計算に時間がかかる可能性はあるものの、符号化パラメータｅが２次元以上のベクトル値であっても、共通化による歪み（劣化）が上記の共通化方法▲１▼及び後述する共通化方法▲３▼に比べて小さくなるという利点がある。
【００７１】
（１．３）共通化方法▲３▼の説明
上記の共通化方法▲３▼は、共通化部２２が、例えば図１６に示すフローチャート（アルゴリズム：ステップＤ１〜Ｄ４）に従って動作することによって実現される。即ち、この場合も、共通化を行ないたい単位ｎブロックの符号化パラメータをｅ、共通化後の符号化パラメータ（出力）をｅｋ、共通化情報をecomとするとともに、ブロックの分割数をｕ１，ｕ２，・・・，ｕｉ（ｕ１〜ｕｉはそれぞれ自然数）、符号化パラメータｅ間の差についての閾値をｔｈ４とすると（ステップＤ１）、共通化部２２は、まず、共通化を行ないたいｎブロックを空間的，時間的にさらにｕ１個（ブロック）に分割し、その分割ブロックにおいて、それぞれブロックの符号化パラメータ（の値）ｅの差が閾値ｔｈ４以内であれば、その平均値で共通化する（ステップＤ２）。
【００７２】
共通化できなかった場合、共通化部２２は、さらに、分割ブロックをさらにｕ２個に分割して、上記のステップＤ１と同様の処理を行なう（ステップＤ３）。そして、共通化部２２は、ブロックが分割できなくなるまで分割数をｕ３，・・・，ｕｉとして上記のようなブロック分割・共通化（平均化）を行ない、ブロックが分割できなくなった時点で、残りのブロックについては、強制的に平均値をとって共通化して、もしくは、共通化せずに、共通化情報ecomと共通化後の符号化パラメータｅｋを出力する。
【００７３】
例えば、共通化を行ないたいブロックの符号化パラメータｅが図１７に示すような状態になっていると仮定すると、共通化部２２は、例えば図１８（ａ）〜図１８（ｄ）に示すように、ブロックを分割（細分化）してゆき、各分割ブロック毎に符号化パラメータｅの共通化を行ない、共通化毎にそのときの符号化パラメータｅとその符号化パラメータｅが属するブロック番号〔図１８（ａ）〜図１８（ｄ）中に示す“1-1",“2-1" 〜“2-4",“3-1" 〜“3-16",“4-1"〜“4-64"〕とを、図１９に示すように共通化情報ecom（テーブル５）に書き込んでゆく。
【００７４】
つまり、この場合の共通化部２２は、時間的あるいは空間的に近隣のブロックについて符号化パラメータｅをまとめる際、分割の粗さに応じてブロック番号を付けたもの〔図１８（ａ）〜図１８（ｄ）参照〕を参照し、これに従い、近隣ブロックが全て同じ符号化パラメータ（値）ｅである場合にはできるだけ粗い分割単位のブロック番号を付けて上記の共通化情報ecomを作成するのである。これにより、共通化情報ecom自体の情報量が大幅に削減され、共通化情報ecomの伝送に必要な容量（帯域）が大幅に削減される。
【００７５】
また、この場合は、近隣ブロックだけを参照してゆくので共通化処理の処理時間も短縮される。
（２）多重化部２３の動作説明
次に、画像符号化装置２における多重化部２３の動作について詳述する。本多重化部２３は、基本的に、例えば図２０に示すようなフローチャート（アルゴリズム：ステップＥ１〜Ｅ３）に従って動作する。即ち、多重化部２３は、上記の共通化部２２で共通化を行なった単位ｎブロックの符号化パラメータｅｋおよび共通化情報ecomが入力されると（ステップＥ１）、符号化パラメータｅｋおよび共通化情報ecomをそれぞれ多重化（所定のシンタクスに従ってビット列に変換）し（ステップＥ２）、多重化した共通化情報ecomを少なくとも１度以上符号化パラメータｅｋに付加して出力する（ステップＥ３：送出ステップ）。
【００７６】
具体的には、例えば図２１に示すように、共通化情報をecom〔ecom(q,x) 〕、多重化のために可変長（または固定長）符号化した共通化情報をecommux 、符号化パラメータをｅｋ（ｎ）、多重化のために可変長（または固定長）符号化した符号化パラメータをｅｋｍｕｘ（ｍ）（単に、「ｅｋｍｕｘ」と表記することもある）とすると〔ただし、この場合、ｎはブロック数、ｍはパケット数、ｑはとりうる符号化パラメータｅｋの数、ｘは値ｑをとるブロック番号のデータ（つまり、上記のecom(q,x) は符号化パラメータｅｋの値ｑとブロック番号の順番ｘを要素とした配列を表す）とする：ステップＥ４〕、多重化部２３は、まず、共通化情報ecomtable(q,x)（単に、「ecomtable 」と表記することもある）を可変長（または固定長）符号化し、共通化情報ecommux を得る（ステップＥ５）。
【００７７】
例えば、符号化（多重化）前の共通化情報ecomが図５（ａ）に示したような状態であった場合、多重化部２３は、図５（ｂ）に示すように、符号化パラメータｅｋのブロック番号のコード（ビット列）を、順次、同じ符号化パラメータｅｋのグループ単位で所定の区切りコード６を挿入しながら出力することにより、多重化した共通化情報ecommux を得る。
【００７８】
なお、このとき、多重化部２３は、例えば図２２に示すように、ブロック番号のコードだけでなく、符号化パラメータ（の値）ｅｋも挿入した共通化情報ecommux を得るようにしてもよい。
また、多重化部２３は、所定数ｍ個のパケットになるべく同じ値（符号化パラメータｅｋ）をもつブロックが他のパケットに搭載されるように、各ブロックをｍ個（ただし、ｍ≧２の自然数）のパケットに分散して搭載する（つまり、１つのパケットにはなるべく異なる符号化パラメータｅｋをもつブロックを搭載する）。
【００７９】
例えば、上記のように共通化情報ecomが図５（ａ）に示すような状態であり、生成すべきパケット数ｍ＝３であると仮定すると、多重化部２３は、例えば図２３（ａ），図２３（ｂ）に示すように、３つのパケット（パケット番号“１”〜“３”）に、同じ符号化パラメータｅｋをもつブロックを分散して搭載する。このとき、ブロックの順番がバラバラになるので、パケットにはブロック番号も搭載する（搭載位置は任意の位置でよい）。ただし、同じ符号化パラメータ（値）ｅｋをもつブロックがｋ4 個よりも少ない場合、多重化部２３は、同じブロック番号を複数のパケットに重複して記述する（以上、ステップＥ６）。これにより、同じ符号化パラメータｅｋを有するブロックが誤り等によりまとめて欠落してしまう確率が大幅に低減される。
【００８０】
ここで、このステップＥ６の処理は、例えば図２４に示すフローチャート（ステップＥ６１〜Ｅ７１を実行することにより実現される。ただし、この図２４において、ｕは共通化情報ecom(q,x) の符号化パラメータ値ｑ検索用のカウンタ値、ｉはブロック番号ｘ検索用のカウンタ値、ｊはパケット番号用のカウンタ値である。
【００８１】
まず、多重化部２３は、上記の各カウンタ値ｕ，ｉ，ｊを初期化（ｕ＝１，ｉ＝１，ｊ＝１）し（ステップＥ６１）、１番目のパケット（ｅｋｍｕｘ（１））に、共通化情報ecom(1,1) が示す情報、即ち、符号化パラメータ値“１”の１番目のブロックのブロック番号“１”を付加（搭載）する（ステップＥ６２）。そして、多重化部２３は、カウンタ値ｉ，ｊをそれぞれ１つインクリメントしたのち（ステップＥ６３）、カウンタ値ｊ＞パケット数ｍになっているかどうかを判定する（ステップＥ６４）。
【００８２】
この結果、カウンタ値ｊ＞パケット数ｍとなっていれば（ステップＥ６４でＹＥＳと判定されれば）、多重化部２３は、カウンタ値ｊを初期化（ｊ＝１）して情報搭載対象のパケット番号を１番目のパケット（ｅｋｍｕｘ（１））とする（ステップＥ６５）が、カウンタ値ｊ≦パケット数ｍであれば、そのまま、情報搭載対象のパケット番号を次（ｊ番目）のパケット（ｅｋｍｕｘ（ｊ））とする（ステップＥ６４のＮＯルート）。
【００８３】
そして、多重化部２３は、値ｑ（＝ｕ）の符号化パラメータｅｋがもう存在しないかどうかを判定し（ステップＥ６５）、存在すれば、その符号化パラメータ値ｕの次のブロック番号をパケット（ｅｋｍｕｘ（ｊ））に付加する（ステップＥ６５のＮＯルートからステップＥ６２）。つまり、多重化部２３は、同じ符号化パラメータ値ｕのブロック番号が存在しなくなるまで、共通化情報ecomの同じ符号化パラメータｕとなるブロック番号を順に検索してゆき、各ブロック番号をそれぞれ異なるパケット（ｅｋｍｕｘ（ｊ））に付加してゆくのである。
【００８４】
そして、値ｑ（＝ｕ）の符号化パラメータｅｋが存在しなくなると、多重化部２３は、次に、カウンタ値ｉ≦ｋ4 となっているか（つまり、同じ符号化パラメータ値ｕをもつブロックがｋ個よりも少ないかどうか）を判定し（ステップＥ６６）、少なくなければ（ｉ＞ｋであれば）、カウンタ値ｕを１つインクリメントし（検索対象を次の符号化パラメータ値のブロック番号にし：ステップＥ６７のＮＯルートからステップＥ６９）、カウンタ値ｉを初期化（ｉ＝１）する（ステップＥ７０）。
【００８５】
このとき、カウンタ値ｕ＞符号化パラメータ値ｑとなっていれば（ステップＥ７１でＹＥＳ判定されれば）、多重化部２３は、共通化情報ecom(q,x) の全ての情報（ブロック）をパケットに搭載し終えたことになるので、処理を終えるが、カウンタ値ｕ≦符号化パラメータ値ｑとなっていれば（ステップＥ７１でＮＯと判定されれば）、未搭載のブロックがまだあるので、全てのブロックを搭載し終えるまで上記のステップＥ６２からの処理を繰り返す。
【００８６】
ところで、上記のステップＥ６７において、カウンタ値ｉ≦ｋ4 の場合、即ち、同じ符号化パラメータ値ｕをもつブロックがｋ4 個よりも少ない場合、多重化部２３は、共通化情報ecom(u,1) が示す情報、即ち、既に付加済みの同じ符号化パラメータ値ｕの最初のブロック番号を、既に付加したパケットとは異なるパケットに重複して付加する（ステップＥ６７のＹＥＳルートからステップＥ６８）。
【００８７】
以上のような処理により、例えば、ｋ4 ＝２で、共通化情報ecomが図１４（ａ）に示したような状態であったとすると〔網かけ部に示すように符号化パラメータｅｋ＝４，６のブロック（ブロック番号＝７，３４）がそれぞれ１個しかなかった場合〕、多重化部２３は、図１４（ｂ）に示すように、同じ符号化パラメータｅｋのブロック番号を順に異なるパケットに搭載してゆき、図１４（ｂ）中の網かけ部で示すように、１個しかないブロック番号７，３４についてはそれぞれ異なるパケットに重複して搭載することになる。
【００８８】
次に、多重化部２３は、このようにして、多重化した符号化パラメータｅｋｍｕｘを作成すると、図２１に示すように、符号化パラメータｅｋｍｕｘに共通化情報ecommux を付加して符号化ビット列を作成する（ステップＥ７）。例えば、多重化部２３は、符号化パラメータｅｋ〔＝ek1(n),ek2(n),...,ekx(n)〕を用いてパケット（例えば図６８により前述したビデオパケット８００等）をｋ個作成し、図２５に示すように、その先頭に共通化情報ecommux を付加する。
【００８９】
なお、この共通化情報ecommux の付加位置は、可能であれば各パケットの途中（境界）でもよいし最後でもよい。また、複数分付加することによって複数回伝送されるようにしてもよい。このように共通化情報ecomを複数回伝送すれば、画像復号装置３が共通化情報ecom(ecom ′) を正常に受け取れないといった状況の発生確率が大幅に低減される。
【００９０】
さらに、共通化情報ecommux が複数得られる場合は、例えば図２６に示すように、パケット内に搭載されている情報がどの共通化情報ecommux に基づく情報であるかを表す情報（共通化情報ecommux に固有の番号Ｌやｖ）を各パケットのどこかに搭載する、もしくは、図２７に示すように、共通化情報ecommux に、その共通化情報ecommux に基づく情報を有しているパケットがどのパケットであるかを表す情報（パケット番号）を搭載することによって、復号側（画像復号装置３）でどのパケットに対してどの共通化情報ecommux を使用すべきかを識別できるようにしてもよい。
【００９１】
（３）多重化復号部３１の動作説明
次に、画像復号装置３における多重化復号部３１の動作について詳述する。多重化復号部３１では、基本的に、画像符号化装置２の多重化部３１の処理とは逆の処理が行なわれる。即ち、例えば図２８に示すように、伝送路４を通じて画像符号化装置２から符号化ビット列（符号化パラメータｅｋｍｕｘ及び共通化情報ecommux ）を受信すると（ステップＦ１：受信ステップ）、その符号化ビット列を画像符号化装置２での符号化（可変長もしくは固定長符号化）前の値（符号化パラメータｅｋ′及び共通化情報ecom′）に戻す（ステップＦ２）。
【００９２】
なお、この多重化復号後の符号化パラメータｅｋ′及び共通化情報ecom′は、それぞれ、前述したように、伝送路４を伝送されることによって誤りが付加されており、必ずしも元の符号化パラメータｅｋｍｕｘ及び共通化情報ecomとは一致しないことを表している。
（４）誤り検出／訂正部３２の動作説明
次に、画像復号装置３における多重化復号部３２の動作について詳述する。多重化復号部３２は、基本的に、例えば図２９に示すようなフローチャート（アルゴリム：ステップＧ１〜Ｇ７）に従って動作する。即ち、誤り検出／訂正部３２は、多重化復号部３１から多重化復号後の符号化パラメータｅｋ′及び共通化情報ecom′を受信すると（ステップＧ１）、まず、共通化情報ecom′の値が信頼できるかどうかを判定する（ステップＧ２）。
【００９３】
この結果、信頼できれば（ステップＧ３でＹＥＳと判定されれば）、誤り検出／訂正部３２は、次の処理に移行し、信頼できなければ（ステップＧ３でＮＯと判定されれば）、信頼できる値を推定して正しい共通化情報ecom′を復元して（ステップＧ４）から次の処理に移行する。なお、共通化情報ecom′の信頼性の判定方法および推定・復元方法の詳細については後述する。
【００９４】
そして、誤り検出／訂正部３２は、このようにして信頼できる共通化情報ecom′を得ると、次に、符号化パラメータｅｋ′に誤りの有ることが予め分かっているか否かを判定する（ステップＧ５）。なお、誤りの有無は、例えば、多重化復号部３１の前段での符号化ビット列に対する通常の誤り訂正符号、または、多重化復号部３１での多重化復号時の復号不能ビット列の検出などによって検出される。
【００９５】
上記の判定の結果、符号化パラメータｅｋ′に誤りの有ることが予め分かっている場合、誤り検出／訂正部３２は、共通化情報ecom′において同じ値をもつ他の誤りの無いブロックの符号化パラメータｅｋ′を参照して、誤りの有る符号化パラメータｅｋ′を参照した誤りの無い符号化パラメータｅｋ′に置き換えることで、誤り訂正を行なう（ステップＧ５のＹＥＳルートからステップＧ６：誤り訂正ステップ）。
【００９６】
例えば図３０に示すように、誤り訂正符号により或るブロックの符号化パラメータｅｋ′（ｋ１）に誤りがあることが分かっており、誤り訂正符号により同じ値をもつ他のブロックの符号化パラメータｅｋ′（ｋ２）に誤りが検出されなかった場合（ステップＧ６１）、誤り検出／訂正部３２は、ｅｋ′（ｋ１）＝ｅｋ′（ｋ２）とすることにより、符号化パラメータｅｋ′（ｋ１）の誤りを訂正する（ステップＧ６２）。
【００９７】
つまり、上記の誤り検出／訂正部３２は、符号化パラメータｅｋ′に誤りの有ることが予め分かっている場合、共通化情報ecom′に基づいて誤りのある符号化パラメータｅｋ′と同じ符号化パラメータｅｋ′を有する他のブロックを特定し、そのブロックの符号化パラメータを誤りのあるブロックの符号化パラメータｅｋ′として出力することにより、符号化パラメータｅｋ′の誤りを訂正するのである。従って、極めて簡易な処理で確実な誤り訂正を行なうことができている。
【００９８】
一方、符号化パラメータｅｋ′に誤りの有ることが予め分からない場合、誤り検出／訂正部３２は、図２９に示すように、共通化情報ecom′を用いて同一値をもつべき複数のブロックの符号化パラメータ（値）ｅｋ′（ｋ１），・・・，ｅｋ′（ｋｎ）を比較し（ステップＧ５のＮＯルートからステップＧ７）、正しい値ｅｋ″（ｋ１），・・・，ｅｋ″（ｋｎ）を得て出力する（ステップＧ７：誤り訂正ステップ）。
【００９９】
例えば、誤り訂正符号によっても誤りが分からない場合、図３１に示すように、誤り検出／訂正部３２は、誤り訂正符号により誤りが検出されない同一値をもつべき複数ブロックの各符号化パラメータｅｋ′（ｋ１），・・・，．ｅｋ′（ｋｎ）を参照し（ステップＧ７１）、一番発生頻度の高い値（つまり多数決をとった値）を正しい値ｅｋ″（ｋ１），・・・，ｅｋ″（ｋｎ）とする（ステップＧ７２）。
【０１００】
つまり、誤り検出／訂正部３２は、符号化パラメータｅｋ′に誤りのあることが予め分からない場合、共通化情報ecom′に基づいて同じ符号化パラメータｅｋ′を有するべき複数のブロックを特定し、これらの複数のブロックの各符号化パラメータｅｋ′を比較することによって誤りを検出してその誤りを訂正するのである。従って、符号化符号化パラメータｅｋ′に誤りのあることが予め分からない場合にも確実に対応することができる。
【０１０１】
以上のようにして誤り訂正された符号化パラメータｅｋ″（ｋ１），・・・，ｅｋ″（ｋｎ）は、それぞれ、復号部３３へ入力され、復号部３３において、所定の復号処理（復号ステップ）が施されることによって再生画像信号Ｆｋ′が得られる。
なお、上述したような誤り訂正処理は、共通化情報ecom′が複数回伝送されてくる場合、共通化情報ecom′にも適用することができる。即ち、上記の処理において、符号化パラメータｅｋ′を共通化情報ecom′に置き換えれば、共通化情報ecom′に誤りがあることが分かっている場合、分からない場合のいずれの場合にも、正しい共通化情報ecom′を得る（復元する）ことができる。
【０１０２】
（４．１）共通化情報ecom′の信頼性の判定方法および推定・復元方法の説明まず、共通化情報ecom′の信頼性の判定方法（図２９のステップＧ３の具体例）について説明する。誤り検出／訂正部３２は、例えば図３２に示すように、受信したパラメータ（共通化情報ecom′) を param′(k1),...,param′(kn)、受信パラメータ param′(k1),...,param′(kn)の発生頻度についての閾値をｔｈａとすると（ステップＨ１）、誤り訂正符号による誤りが発見されなかったパラメータ param′(k1),...,param′(kn)の発生頻度を調べる（ステップＨ２）。
【０１０３】
この結果、一番発生頻度が高いパラメータ param′(kr)（ただし、ｒ＝１〜ｎ）の値Ａの発生頻度ＨＡと、次に発生頻度が高いパラメータ param′(kr)の値Ｂの発生頻度ＨＡとの差が閾値ｔｈａ以内なら、値Ａは発生頻度が高い値であるが、次に発生頻度が高い値Ｂとの差が小さいので（信頼性が高い場合は例えば発生頻度ＨＡが突出した状態になっているはずである）、受信したパラメータ param′(k1),...,param′(kn)（＝共通化情報ecom′) は信頼性が低いと判定する（ステップＨ３）。
【０１０４】
次に、共通化情報ecom′の推定・復元方法（図２９のステップＧ４の具体例）について説明する。誤り検出訂正部３２は、上記の信頼性判定の結果、受信した共通化情報ecomが信頼できないと判定すると、共通化情報ecom′の他の信頼できる部分の情報、あるいは、符号化パラメータｅｋ′、もしくは、ブロック番号情報block(n)（単に「block 」と表記することもある）、あるいはその両方を参照して、信頼できない部分の値を推定する。
具体的には、例えば図３３に示すように、共通化情報をecom′、符号化パラメータをｅｋ′（ｎ）、前記のビデオパケットなどビット列に含まれる、符号化パラメータ′ｅｋ（ｎ）に対応したブロック番号情報をblock(n)とすると（ステップＪ１）、誤り検出／訂正部３２は、まず、共通化情報ecom′の信頼できない部分が、グループ分けされたブロック番号情報block(n)のうちの或る１つのグループのブロック番号情報block(n)であるか否かをチェックする（ステップＪ２）。
【０１０５】
この結果、信頼できない部分は共通化情報ecom′の或る１つのグループのブロック番号情報のみであった場合（ステップＪ２でＹＥＳと判定された場合）、誤り検出／訂正部３２は、信頼できる共通化情報ecom′のブロック番号情報block(n)以外の番号情報が信頼できない部分のブロック番号情報block(n)であるとすることにより、信頼できない部分のブロック番号情報block(n)を推定・復元する（ステップＪ３）。
【０１０６】
例えば、図３４に示すように、共通化情報ecom′に含まれるべき全ブロック番号情報block(n)のうちの或る一部のグループのブロック番号情報block(n)の信頼性が低く欠落した（図３４中に「×」印で示す）場合には、全ブロック番号情報block(n)と、共通化情報ecom′の他グループに含まれるブロック番号情報block(n)（図３４中に「○」印で示す）との対応を調べれば、残った（対応のとれない）ブロック番号情報block(n)（図３４中ではブロック番号“３”〜“５”，“１４”）が欠落したブロック番号情報block(n)であると推定することができる。
【０１０７】
一方、共通化情報ecom′の信頼できない部分が複数グループにわたる場合（ステップＪ２でＮＯと判定された場合）、誤り検出／訂正部３２は、信頼できる共通化情報ecom′のブロック番号（情報）block に対応する符号化パラメータｅｋ′を参照して、同じ符号化パラメータｅｋ′となるブロック番号block を探し、そのブロック番号block を信頼できないブロック番号として推定する（ステップＪ４）。
【０１０８】
例えば、図３５に示すように、共通化情報ecom′の複数グループでブロック番号block が欠落した（図３５中に「×」印で示す）場合、誤り検出／訂正部３２は、信頼できる共通化情報ecom′のブロック番号block と符号化パラメータｅｋ′との対応（図３５中の実線参照）を調べることで、どの符号化パラメータｅｋ′がどのグループに属するかを特定して（例えば、値“１”の符号化パラメータｅｋ′は全てグループ“１”に属し、値“５”の符号化パラメータｅｋ′は全てグループ“２”に属することが分かる）、対応するブロック番号block （図３５中の丸付き数字参照）を欠落した部分のブロック番号block として推定する。
【０１０９】
なお、このような推定手法は、共通化情報ecom′の信頼できない部分が１つのグループのみの場合にも行なってもよい（図３３中の破線ルート参照）。また、上述した信頼性の判定は、共通化情報ecom′ではなく、ブロック番号（情報）block を用いて行なってもよい。この場合は、図３２中のパラメータparam ′(k1),...,param′(kn)をブロック番号block(1)〜block(n)に置き換えて実行することにより、ブロック番号block の信頼性を判定することになる。
【０１１０】
そして、このようにブロック番号block の信頼性を判定した結果、信頼性が低いと判定された場合、誤り検出／訂正部３２は、次のようにして信頼できないブロック番号block の値を推定する。即ち、誤り検出／訂正部３２は、図３６に示すように、共通化情報ecom′，符号化パラメータｅｋ′及びブロック番号情報block を基に（ステップＫ１）、信頼できる共通化情報ecom′のブロック番号block に対応するグループを参照し、同じ符号化パラメータｅｋ′となるブロック番号block を探して、信頼できないブロック番号情報block の値を推定する（ステップＫ２）。
【０１１１】
例えば、図３７中に「×」印で示すように、一部のブロック番号block が信頼性が低く欠落した場合、誤り検出／訂正部３２は、信頼できる共通化情報ecom′のブロック番号block と各グループに属する同じ符号化パラメータｅｋ′との対応関係を調べる（図３７中の実線参照）ことにより、欠落したブロック番号block を推定・復元する（図３７中の丸付き数字参照）。
【０１１２】
なお、誤り検出／訂正部３２では、上述したような共通化情報ecom′の信頼性判定およびブロック番号情報block の信頼性判定をそれぞれ行なってもよい。つまり、本実施形態の誤り検出／訂正部３２は、共通化情報ecom′またはブロック番号情報block もしくは両方の信頼性を判定し、信頼性の低い情報についてはその信頼性の低い情報以外の情報から正しい情報を推定するのである。これにより、誤り訂正処理の精度や信頼性が大幅に向上している。
【０１１３】
以上のように、本実施形態の画像符号化・復号システム１によれば、画像データを或るブロック単位で符号化したときに、どのブロックが同じ符号化パラメータｅｋを有しているかを表す共通化情報ecomを生成して画像復号装置３へ提供するので、画像復号装置３では、復号すべき受信符号化パラメータｅｋ′に誤りがあっても、上記の共通化情報ecomから誤りのある符号化パラメータｅｋ′がどのブロックの符号化パラメータｅｋ′と同じ（共通）であるかを認識し、他ブロックの符号化パラメータｅｋ′を用いて誤りを訂正することができる。
【０１１４】
従って、符号化パラメータｅｋ′の誤りに対する耐性が大幅に向上し、高精度な復号処理を行なうことができるので、常に、再生画像の画質の悪化を最小限に抑えて、高品質な再生画像を得ることができる。特に、携帯端末等を用いた無線画像通信等のように伝送路４によって大きな誤りが生じるようなシステムに適用することは極めて有効であると考えられる。
【０１１５】
また、画像符号化装置２では、共通化情報ecomを、上述した共通化方法▲１▼〜▲３▼のいずれかの方法で、符号化パラメータｅの共通化を行なって生成するので、同じ符号化パラメータｅ（ｅｋ）を有するブロック数を増やして異なる符号化パラメータｅ（ｅｋ）の伝送量を削減することができ、符号化パラメータｅｋの誤りに対する耐性がさらに向上している（見かけ上の誤り率がさらに低減されている）。
【０１１６】
さらに、画像符号化装置２からは、多重化部２３により、同じ符号化パラメータｅｋを有するブロックを複数のパケットに分散して伝送（送出）するので、同じ符号化パラメータｅｋを有するブロックが誤り等によりまとめて欠落してしまう確率が大幅に低減されており、画像復号装置３では、誤り検出／訂正部３２において誤り訂正を確実に行なうことができ、復号部３３での復号処理の信頼性の向上にも大いに寄与している。
【０１１７】
また、画像符号化装置２からは共通化情報ecomを複数回伝送するようにすれば、画像復号装置３が共通化情報ecom(ecom ′) を正常に受け取れないといった状況の発生確率が大幅に低減されるので、画像復号装置３では、共通化情報ecom′に基づく誤り訂正を確実に行なうことができ、これにより、復号処理の信頼性を大幅に向上させることができる。
【０１１８】
なお、上述した実施形態では、画像符号化装置２が局所復号を行なわないタイプのものについて説明したが、例えば図３８に示すように、局所復号部２４をそなえて、符号化パラメータｅｋをこの局所復号部２４で復号して再生画像信号Ｆｋを得、得られた再生画像信号Ｆｋを参照して符号化部２１が符号化を行なうタイプのものでも、上記と同様の作用効果が得られる。
【０１１９】
ただし、このように局所復号が行なわれる場合は、過去の符号化パラメータｅｋと現在の符号化パラメータｅｋとの差分情報しか画像復号装置３へ伝送されないので、図３８中に示すように、画像復号装置３の復号部３３は、過去に復号した再生画像信号Ｆｋ′を用いて現在の符号化パラメータｅｋ″の復号を行なう構成となっている。
【０１２０】
（Ｂ）第１変形例の説明
ところで、上述した実施形態では、符号化部２１において共通化されていない符号化パラメータｅ（e1,...,ex)が得られるが、例えば図３９に示すように、符号化部２１Ａにて既に共通化された符号化パラメータek1,...,ekx （ｅｋ）が得られる場合がある。例えば、符号化部２１Ａにおいて、動き補償のブロックサイズを画像変化の激しさに応じて可変にして符号化すれば、複数ブロックからなる大きなブロックについては１つの動き補償ベクトル（例えば、ek1)が得られることになるので、その動き補償ベクトルek1 は既に複数ブロックにわたって共通化された値であるとみなせる。
【０１２１】
なお、このような可変動き補償ブロックサイズ方法は、例えば、特許第２６１８９１５号，特許第２６１８９１６号，特許第２７０２７１８号および特許第２７１６７０２号などの各特許公報に記載されており、以下に、これらの各特許公報に記載された技術について簡単に述べておく。
▲１▼特許第２６１８９１５号
画像データ中のエッジ個数が所定の閾値よりも小さくなるまで、動き補償のためのブロックサイズを小さく分割してゆくことにより、エッジの多い画像変化の激しい部分についてはブロックサイズを小さくする。
【０１２２】
▲２▼特許第２６１８９１６号
画像データを複数の小ブロックに分割し、その小ブロック中のエッジ個数が所定の閾値よりも大きければ、１ブロック中のエッジ個数が閾値よりも小さくなるまで、小ブロックを結合してゆくことにより、エッジの多い画像変化の激しい部分についてはブロックサイズを小さくする。
【０１２３】
▲３▼特許第２７０２７１８号
或る所要のブロックサイズのブロックについて動き補償を行なった結果として得られる予測誤差が所定の閾値よりも大きければ、その予測誤差が閾値よりも小さくなるまでブロックサイズを小さくして動き補償を行ない、最小ブロックサイズまでブロックサイズを小さくしても予測誤差が閾値よりも小さくならず、動き補償を行なうのに適さないほど画像変化の激しい部分については、フレーム内符号化を行なう。
【０１２４】
▲４▼特許第２７１６７０２号
隣接する複数の小ブロック同士についての予測誤差のうちのいずれかが所定の閾値よりも大きくなるまで、小ブロックを結合してブロックサイズを大きくしてゆくことにより、画像変化の激しい部分についてはブロックサイズを小さくする。
【０１２５】
このような場合、共通化部２２Ａでは、既に共通化された符号化パラメータｅｋが符号化部２１Ａから入力されるので、前述したような共通化は行なわずに、入力された符号化パラメータｅｋから、上述した実施形態と同様の共通化情報ecomを生成して符号化パラメータｅｋとともに出力する。
即ち、図４０に示すように、共通化を行なった単位ｎブロックの符号化パラメータをｅｋ、共通化情報をecomとすると（ステップＬ１）、共通化部２２Ａは、既に共通化された符号化パラメータｅｋから、どのブロックが同じ（共通の）符号化パラメータｅｋを有しているかを表す共通化情報ecomを計算し（ステップＬ２）、既に共通化された符号化パラメータｅｋと生成した共通化情報ecomとを多重化部２３へ出力する（ステップＬ３）。
【０１２６】
なお、図３９において、符号化部２１Ａおよび共通化部２２Ａ以外の部分（図１中の符号と同一符号を付した部分）は、いずれも、図１により前述した部分と同一もしくは同様である。
従って、本第１変形例においても、図１により前述したシステム１と同様の作用効果が得られるほか、この場合は、共通化部２２Ａにて共通化を行なう必要が無いので、共通化情報ecomの生成処理を高速化することが可能である。
【０１２７】
なお、本第１変形例においても、画像符号化装置２は、例えば図４１に示すように、局所復号部２４をそなえて、符号化パラメータｅｋをこの局所復号部２４で復号して再生画像信号Ｆｋを得、得られた再生画像信号Ｆｋを参照して符号化部２１Ａが符号化を行なうタイプのものにしてもよく、この場合も、上記と同様の作用効果が得られるほか、このタイプの画像符号化装置２に特有の利点も得られる。
【０１２８】
（Ｃ）第２変形例の説明
図４２は上述した実施形態の第２変形例を示すブロック図であるが、この図４２に示す画像符号化・復号システム１は、図１に示すものに比して、多重化復号部３１および誤り検出／訂正部３２に代えて、多重化分離部３１１，誤り検出／訂正部３１２及び多重化変換部３１３をそなえた多重化復号部３１Ａが設けられている点が異なる。
【０１２９】
ここで、多重化復号部３１Ａにおいて、多重化分離部（受信部）３１１は、伝送路４を通じて画像符号化装置２（多重化部２３）から伝送されてくるビット列〔符号化パラメータｅｋ′（ek1 ′,..., ekx ′) および共通化情報ecom′〕を受信して、少なくとも符号化パラメータｅｋ′を多重化分離することにより、多重化復号前の符号化パラメータ（多重化符号化値） muxek′(muxe1′,...,muxex′) （可変長符号もしくは固定長符号）を得るものである。なお、共通化情報ecom′については、誤り検出／訂正部３１２が参照できる状態であれば、多重化分離してもしなくてもどちらでもよい。
【０１３０】
また、誤り検出／訂正部３１２は、共通化情報ecom′を用いて、同じ値をもつべき多重化符号化値 muxek′のビット〔もしくは値（符号）そのもの〕を比較することにより、多重化符号化値 muxek′の誤りを検出し、その誤りを訂正して、多重化符号化値 muxek″を得るものであり、多重化変換部３１３は、この誤り検出／訂正部３１２で誤り訂正された多重化符号化値 muxek″を元の符号化パラメータｅｋ′に変換することにより多重化復号するものである。
【０１３１】
つまり、本第２変形例の画像復号装置３は、前述したように多重化復号後の符号化パラメータ（値）ｅｋ′に対して誤り訂正を施すのではなく、多重化復号前の多重化符号化値 muxek′に対してビット単位（ビット単位が無理な場合は値そのものの単位）で誤り訂正を施すことができるようになっているのである。
以下、上述のごとく構成された本第２変形例の多重化復号部３１Ａの動作について、図４３に示すフローチャート（ステップＭ１〜Ｍ５）を参照しながら詳述する。
【０１３２】
まず、多重化復号前（途中）の、共通化を行なった単位ｎブロックの符号化パラメータｅｋ′の多重化符号化値をmuxek ′、誤り訂正した符号化パラメータｅｋ′の多重化復号値をｅｋ″、（多重化復号した）共通化情報をecom′とすると（ステップＭ１）、多重化分離部３１１が、受信ビット列の多重化分離を行なって、多重化符号化値 muxek′および共通化情報ecom′を得る（ステップＭ２）。
【０１３３】
そして、誤り検出／訂正部３１２では、同じ符号化パラメータｅｋ′をもつべき多重化符号化値 muxek′（共通化情報ecom′から特定できる) が誤りの存在しない状態でそれぞれ同一のビット値をもつならば〔同じ符号化パラメータｅｋ′に対して同じ可変長（又は固定長）符号化を行なっているならば〕、多重化符号化値 muxek′(k1),...,muxek′(ku)はビット毎の比較が可能であるので、多重化符号化値 muxek′(k1),...,muxek′(ku)をビット毎に比較（ビット毎が不可能な場合は値をそのまま比較）する（ステップＭ３）。
【０１３４】
この比較の結果、他と異なるビット（または値）が有れば、そのビット（または値）は誤っているものとして、ビット毎に正しいビット、あるいは正しい値を選択し、誤り訂正した多重化符号化値 muxek″を得る（ステップＭ４）。そして、得られた多重化符号化値 muxek″は、多重化変換部３１３において多重化復号されて、多重化復号値ｅｋ″が得られる（ステップＭ５）。
【０１３５】
具体的には、例えば図４４に示すように、多重化分離部３１１にて多重化分離された同一値をもつべき多重化符号化値 muxek′(k1),...,muxek′(ku)が受信されると（ステップＭ６）、その多重化符号化値 muxek′(k1),...,muxek′(ku)をビット毎に検査（比較）して、誤り訂正符号による誤りが発見されなかったもののうち、一番発生頻度が高い値（０か１）を、誤り訂正後の多重化符号化値 muxek″(k1),...,muxek″(ku)の値とする（ステップＭ７）。
【０１３６】
なお、ビット毎ではなく、多重化符号化値muxek ′そのものを検査するには、図３０もしくは図３１に示したフローチャート（アルゴリズム）おいて、符号化パラメータｅｋ′を多重化符号化値muxek ′に置き換えたアルゴリズムを実行すればよい。
以上のように、本第２変形例における画像符号化・復号システム１によれば、画像復号装置３において、多重化復号後の符号化パラメータ（値）ｅｋ′に対して誤り訂正を施すのではなく、多重化復号前の多重化符号化値 muxek′に対してビット単位で（他のビットの誤りと切り離して）誤り訂正を施すことができるので、図１により前述したシステム１と同様の作用効果が得られるほか、誤り訂正の効率が向上するという利点が得られる。
【０１３７】
ところで、上述した誤り検出／訂正部３１２においても、前述した誤り検出／訂正部３２（図１参照）と同様に、共通化情報ecom′（もしくは、ブロック番号情報block ）の信頼性を判定して、信頼性が低い場合には、信頼性の低い部分を推定・復元することができる。ただし、信頼性の低い部分の推定・復元方法については、図３３〜図３７により前述した方法おいて、符号化パラメータｅｋ′を多重化符号化値muxek ′に置き換えればよいだけであるので、ここでは、その詳細な説明は省略し、信頼性の判定方法についてのみ説明する。
【０１３８】
即ち、誤り検出／訂正部３１２は、例えば図４５（ａ）に示すように、受信したパラメータ（共通化情報ecom′もしくはブロック番号情報block ) を param′(k1),...,param′(kn)、受信パラメータ param′(k1),...,param′(kn)の発生頻度についての閾値をｔｈａとすると（ステップＨ１）、受信パラメータ param′(k1),...,param′(kn)をビット毎に検査して、誤り訂正符号による誤りが発見されなかったものの発生頻度ＥＡ（０か１）を調べる（ステップＨ２′）。
【０１３９】
そして、誤り検出／訂正部３１２は、調べた発生頻度ＥＡと全パラメータ param′(k1),...,param′(kn)の発生頻度の総数ＥＴとの差が或る閾値ｔｈａよりも小さければ、信頼性が低いと判定する（ステップＨ３′）。なお、このステップＨ３′では、図４５（ｂ）に示すステップＨ３″を行なってもよい。即ち、この場合は、発生頻度ＥＡの、全パラメータ param′(k1),...,param′(kn)の発生頻度の総数ＥＴに占める割合（ＥＡ／ＥＴ）が或る閾値ｔｈａを超えたら、信頼性が低いと判定する。
【０１４０】
これにより、本第２変形例においても、誤り訂正処理の信頼性が向上し、画像データの復号処理の信頼性が向上する。
なお、本第２変形例では、図４２に示す画像符号化装置２は、図１により前述したものと同じタイプ（基本タイプ）のものになっているが、例えば、図４６に示すように局所復号部２４をそなえたタイプ、図４７に示すように符号化時点で既に共通化された符号化パラメータｅｋが得られるタイプ、図４８に示すように、図４７に示す構成にさらに局所復号部２４を付加したタイプのいずれを適用することも可能である。そして、いずれのタイプを適用しても、上記と同様の作用効果が得られるとともに、前述したような各タイプに特有の利点が得られる。
【０１４１】
（Ｄ）第３変形例の説明
図４９は前述した実施形態の第３変形例を示すブロック図であるが、この図４９に示す画像符号化・復号システム１は、図１に示すものに比して、画像符号化装置２に、蓄積部２５，通知受信／再伝送部２６及び再伝送送信部２７が設けられるとともに、画像復号装置３に、蓄積部３４，通知部３５及び再伝送受信部３６が設けられ、これらの各部２５〜２７及び３４〜３６によって、誤り検出／訂正部３２で誤り訂正不可能な符号化パラメータｅｋ′があったときの情報の再伝送を行なう再伝送部６が形成されている点が異なる。
【０１４２】
ここで、画像復号装置３において、蓄積部３４は、誤り検出／訂正部３２にて、前述したように誤りの検出／訂正を行なって正しい値を得ようとしても、符号化パラメータｅｋ′等の或る情報について誤っていると判定された部分が多すぎて信頼性が低く、そのままでは復号部３３で復号不可能になるような場合に、誤り検出／訂正部３２で受信された情報を棄却せずに蓄積するためのものである。
【０１４３】
また、通知部（再送出要求部）３５は、上記ように誤り検出／訂正部３２において復号不可能と判断された場合に、画像符号化装置２側へその旨を通知するためのものであるが、ここでは、誤り検出／訂正部３２において誤り訂正不可能な符号化パラメータｅｋ′の再誤り訂正に必要な情報についてのみを再伝送してもらうための要求（再送出要求）画像符号化装置２に行なうようになっている。なお、この要求（通知）は、伝送路４を通じて行なってもよいし、再伝送専用の伝送路（有線でも無線でもよい）、あるいは、通知専用の伝送路（有線でも無線でもよい）を通じて行なってもよい。
【０１４４】
再伝送受信部３６は、この通知部３５の通知によって画像符号化装置２から再伝送されてくる情報を受信するものである。
一方、画像符号化装置２において、蓄積部２５は、通知部３４からの通知に応じていつでも再伝送を行なえるように、符号化パラメータｅｋや共通化情報ecomを蓄積しておくものであり、通知受信／再伝送部２６は、上記の通知部３５からの通知（要求）を受信するとともに、その要求に応じた情報を蓄積部２５から読み出して再伝送送信部２７へ出力するものである。
【０１４５】
そして、再伝送送信部（再送出部）２７は、この通知受信／再伝送部２６から受信された情報、つまり、画像復号装置３の通知部３５からの要求に応じた情報のみを画像復号装置３へ送信（再送出）するものである。なお、この情報の送信も、伝送路４を使用して行なってもよいし、専用の伝送路（有線でも無線でもよい）を通じて行なってもよい。
【０１４６】
以下、上述のごとく構成された本第３変形例の画像符号化・復号システム１の動作について詳述する。ただし、再伝送部６以外の部分（図１中に示す符号と同一符号を付した部分）は、それぞれ、図１により前述したものと同一もしくは同様のものであるので、それらの動作については省略し、以下では、再伝送部６に着目した動作について、図５０に示すフローチャート（ステップＮ１〜Ｎ７）を参照しながら説明する。
【０１４７】
まず、誤り検出／訂正部３２において、誤り訂正の結果、信頼性が低く復号不可能な情報（符号化パラメータｅｋ′）が検出されると（ステップＮ１）、その情報が蓄積部３４に蓄積される（使用しないなら蓄積しなくてもよい）。なお、誤り訂正可能であった情報については復号部３３に出力されている。ここで、誤り検出／訂正部３２において全ての情報について誤り訂正が可能であった場合、あるいは、通知部３５による通知が所定回数を超えている場合、もしくは、伝送路４〔又は再伝送（通知）専用の伝送路〕の伝送容量に余裕が無い場合、または、誤り検出／訂正部３２の誤り検出／訂正処理能力に余裕が無い場合には、通知部３５による通知は行なわずに処理を終える（ステップＮ２）。
【０１４８】
なお、伝送路４〔又は再伝送（通知）専用の伝送路〕に余裕がない場合とは、所定のビットレートを使い切っており、回線が混雑するなどして再伝送に時間がかかる場合等であり、処理能力に余裕が無い場合とは、蓄積部３４の容量に余裕が無い場合や復号部３３における遅延が大きくて実用的な画像通信に耐えられない場合等である。
【０１４９】
次に、誤り訂正（復号）不可能な情報が存在する場合には、その情報の種類（符号化パラメータｅｋや共通化情報ecom，グループ番号，ブロック番号，誤りビットの位置など）を通知部３５に通知し（ステップＮ３）、通知部３５は、再伝送してほしい情報（一部分または全て）のみを画像符号化装置２（通知受信／再伝送部２６）に要求する（ステップＮ４）。
【０１５０】
通知受信／再伝送部２６は、この要求を受けると、必要な情報を蓄積部２５から取り出して再伝送送信部２７に出力する（ステップＮ５）。再伝送送信部２７は、受け取った情報を画像復号装置３（再伝送受信部３６）を伝送する（ステップＮ６）。再伝送受信部３６は、受信した再伝送情報を誤り検出／訂正部３２へ出力する。誤り検出／訂正部３２は、この再伝送情報及び蓄積部３４に蓄積された情報を用いて（あるいは再伝送情報のみを用いて）、再度、誤り検出／訂正処理を行ない（ステップＮ７）、上記のステップＮ２にて上述したような条件が満足されるまで、最初（ステップＮ１）からの処理を繰り返す。
【０１５１】
これにより、誤り訂正不可能な情報量が大幅に削減されるので、復号部３３において復号不可能な情報量も大幅に削減され、この結果、極めて高品質な再生画像信号Ｆｋ′を得ることができる。また、本第３変形例では、情報の再伝送を必要とする場合にも、必要最小限の情報のみを再伝送するので、再伝送情報量を大幅に削減して、伝送路４〔又は再伝送（通知）専用の伝送路〕の帯域の有効利用に大いに寄与する。
【０１５２】
なお、本第３変形例でも、図４９に示す画像符号化装置２は、例えば、図５１に示すように局所復号部２４をそなえたタイプ、図５２に示すように符号化時点で既に共通化された符号化パラメータｅｋが得られるタイプ、図５３に示すように、図５２に示す構成にさらに局所復号部２４を付加したタイプのいずれを適用することも可能である。そして、いずれのタイプを適用しても、上記と同様の作用効果が得られるとともに、前述したような各タイプに特有の利点が得られる。
【０１５３】
また、図４９に示す画像復号装置３は、上記の各タイプの画像符号化装置２に対して、例えば図５４〜図５７に示すように、符号化パラメータｅｋ′そのものではなく多重化分離後の多重化符号化値 muxek′に対して誤り検出／訂正を行なう多重化復号部３１Ａをそなえたタイプのものにしてもよく、この場合は、さらに、このタイプの多重化復号装置３に特有の利点が得られる。
【０１５４】
なお、画像復号装置３をこのように多重化復号部３１Ａをそなえたタイプのものにした場合、前述したようにビット毎（あるいは値そのもの）の検査を行なうことができるので、上述した再伝送処理は例えば図５８に示すようにして行なうことができる。
即ち、誤り訂正不可能な情報があった場合、誤り検出／訂正部３１２が、その情報の種類と誤りビットの番号（位置情報）を通知部３５に通知する（ステップＰ１）。すると、通知部３５は、要求のあった情報の種類と誤りビットの位置情報とを単体（ビット毎）あるいは複数ビットまとめて、識別情報（要求番号）７を付けて画像符号化装置２（通知受信／再伝送部２６）側へ要求（伝送）する（ステップＰ２）。
【０１５５】
そして、画像符号化装置３では、この要求が通知受信／再伝送部２６で受信されると、要求された情報を蓄積部２５から取り出して再伝送送信部２７へ出力し、再伝送送信部２７にて、通知部３５から要求された情報の識別情報７と同じ識別情報７を付けて画像復号装置３へ情報の再伝送を行なう（ステップＰ３）。従って、この場合は、ビット毎に再誤り訂正に必要な情報を伝送することができるので、再伝送時の伝送情報量をさらに削減することができる。なお、値そのものを検査する場合は、再伝送対象のビットが値になるだけで、上記と同様の手順である。
【０１５６】
（Ｅ）その他
上述した実施形態及び各変形例では、いずれも、画像符号化装置２で符号化した画像データを伝送路４を通じて画像復号装置３へ伝送し画像復号装置３において符号化された画像データを再生する、画像通信システム１を例にして説明したが、例えば図５９に示すように、画像符号化装置２で符号化（圧縮）した画像データを蓄積媒体８に蓄積しておき、必要に応じてこの蓄積媒体８に蓄積された画像データを適宜に読み出して再生するようなシステム１′（例えば、１つのパーソナルコンピュータで画像データを圧縮して蓄積しておき、必要に応じて復号・再生するような場合）でも、上述した実施形態及び各変形例と同様の作用効果が得られる。
【０１５７】
即ち、このようなシステム１′の場合、蓄積媒体８に情報（符号化パラメータｅｋ）を蓄積するときや蓄積媒体８から情報を読み出すときなどに、情報に誤りが生じる可能性があるが、この場合も、上述した実施形態及び各変形例と同様に、共通化情報ecomによりその誤りを効率良く訂正することができるので、誤り耐性を大幅に向上させることができ、極めて高品質な再生画像を得ることができる。
【０１５８】
なお、図５９では蓄積媒体８と蓄積部２５とが個別に設けられているが、これらの蓄積媒体８と蓄積部２５とにそれぞれ蓄積される情報の内容は、多重化部２３を通したか通さないかの違いだけであるので、図６０に示すように蓄積媒体８′として共通化した方が、装置規模を縮小することができる。ただし、この場合、再伝送する情報については多重化されてなくてよいので、再伝送部６に多重化復号部３２と同様の機能をもった多重化復号部２８が必要になる（画像符号化装置２，画像復号装置３のいずれに設けてもよい）。
【０１５９】
また、図５９及び図６０にはいずれも第３変形例にて前述した再伝送部６が設けられている場合の構成を示しているが、勿論、再伝送部６が設けられていないタイプのシステムでも同様である。
さらに、この場合も、図５９に示す画像符号化装置２には、例えば、前記の局所復号部２４をそなえたタイプ（例えば、図５１参照）、符号化時点で既に共通化された符号化パラメータｅｋが得られるタイプ（例えば、図５２参照）、このタイプにさらに局所復号部２４を付加したタイプ（例えば、図５３参照）のいずれを適用することも可能であるし、画像復号装置３には、多重化分離後の多重化符号化値 muxek′に対して誤り検出／訂正を行なう多重化復号部３１Ａをそなえたタイプ（例えば、図５４〜５７参照）のものを適用することが可能である。
【０１６０】
また、上述したシステム１（１′）では、いずれも、説明の便宜上、画像符号化装置２及び画像復号装置３がそれぞれ符号化専用及び復号専用の装置として構成されている場合を例にしているが、実際には、例えば図６１に示すように、相互に対向して設けられた画像伝送装置２Ａ，３Ａに、それぞれ、上述した画像符号化装置２及び画像復号装置３が設けられて、各画像伝送装置２Ａ，３Ａが画像符号化・復号装置として符号化及び復号の両機能を有しているのが通常である。
【０１６１】
即ち、この場合も、各画像伝送装置２Ａ，３Ａは、それぞれ、画像符号化装置２として、符号化部２１（又は２１Ａ），共通化部２２（又は２２Ａ）及び多重化２３をそなえ、画像復号装置３として、多重化復号部３１（又は３１Ａ），誤り検出／訂正部３２及び復号部３３をそなえ、対向する画像伝送装置３Ａ，２Ａの共通化部２２（又は２２Ａ）で生成されて伝送されてくる共通化情報ecom′を用いて符号化パラメータｅｋ′の誤り訂正を行なう。
【０１６２】
さらに、上述したシステム１（１′）では、画像符号化装置２に共通化情報ecomを送信するための機能（多重化部２３）が設けられ、画像復号装置３に共通化情報ecom′を受信するための機能（多重化復号部３１，多重化分離部３１１）が設けられているが、本発明はこれに限定されず、少なくとも、画像復号装置３が共通化情報ecom′を共通化部２２（２２Ａ）から受け取ることができるような構成になっていればよい。
【０１６３】
そして、本発明は上述した実施形態及び各変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
【０１６４】
【発明の効果】
以上詳述したように、本発明によれば、画像データを或るブロック単位で符号化したときに、どのブロックが同じ符号化情報を有しているかを表す共通情報を生成して復号側へ提供するので、復号側では、復号すべき符号化情報に誤りがあっても、上記の共通情報から誤りのある符号化情報がどのブロックの符号化情報と同じであるかを認識し、他ブロックの符号化情報を用いて誤りを訂正することができる。従って、符号化情報の誤りに対する耐性が大幅に向上し、高精度な復号処理を行なうことができ、これにより、常に、再生画像の画質の悪化を最小限に抑えて、高品質な再生画像を得ることができる（請求項１，３，４，１１，１６〜１８）。
【０１６５】
ここで、符号化側において、上記の共通情報を、複数ブロックでの符号化情報の発生頻度についてのヒストグラムを作成し、このヒストグラムにおいて発生頻度が所定値以下の符号化情報を粗く量子化してゆく、あるいは、そのヒストグラムにおいて近隣の符号化情報に修正してゆく、もしくは、近隣ブロックの符号化情報に修正してゆくことにより、符号化情報の共通化を行なって生成するようにすれば、同じ符号化情報を有するブロック数を増やして異なる符号化情報の送出量を削減することができるので、符号化情報の誤りに対する耐性をさらに向上させることができる（請求項５〜７）。
【０１６６】
また、符号化側からは、同じ符号化情報を有するブロックを複数のパケットデータに分散して送出するようにすれば、同じ符号化情報を有するブロックが誤り等によりまとめて欠落してしまう確率が大幅に低減されるので、上記の誤り訂正を確実に行なうことができ、復号側での復号処理の信頼性の向上に大いに寄与する（請求項８）。
【０１６７】
さらに、符号化側からは上記の共通情報を複数回送出するようにすれば、復号側が共通情報を正常に受け取れないといった状況の発生確率を大幅に低減することができるので、復号側では、上記の共通化情報に基づく誤り訂正を確実に行なうことができ、これにより、復号処理の信頼性を大幅に向上させることができる（請求項９）。
【０１６８】
また、復号側において誤り訂正不可能な符号化情報があった場合は、その符号化情報の再誤り訂正に必要な情報についての再送出要求を符号化側に行ない、符号化側からはその要求のあった情報のみを復号側へ再送出するようにすれば、誤り訂正能時の再送出情報量を大幅に削減することができる（請求項２，１０，１５）。
【０１６９】
さらに、上記の誤り訂正は、符号化情報に誤りのあることが予め分かっている場合、上記の共通情報に基づいて誤りのある符号化情報と同じ符号化情報を有する他のブロックを特定し、そのブロックの符号化情報を上記誤りのあるブロックの符号化情報として出力することによって行なえば、極めて簡易な処理で確実に実現することができる（請求項１２）。
【０１７０】
また、符号化情報に誤りのあることが予め分からない場合は、上記の共通情報に基づいて同じ符号化情報を有するべき複数のブロックを特定し、これらの複数のブロックの各符号化情報を比較することによって誤りを検出してその誤りを訂正するようにすれば、符号化情報に誤りのあることが予め分からない場合にも確実に対応することができる（請求項１３）。
【０１７１】
さらに、誤り訂正の際、共通情報またはブロックの識別情報もしくはその両方の信頼性を判定し、信頼性の低い情報についてはその信頼性の低い情報以外の情報から正しい情報を推定するようにすれば、誤り訂正処理の精度や信頼性を大幅に向上させることができる（請求項１４）。
【図面の簡単な説明】
【図１】本発明の一実施形態としての画像通信システム（画像符号化・復号システム）の構成を示すブロック図である。
【図２】（ａ）〜（ｄ）はいずれも本実施形態の画像符号化装置において共通化を行なう単位ブロックを説明するための図である。
【図３】本実施形態の画像符号化装置における共通化部の動作を説明するためのフローチャートである。
【図４】（ａ）は或るブロックの符号化パラメータ値の一例を示す図であり、（ｂ）は対応するブロック番号の一例を示す図である。
【図５】（ａ）は本実施形態にかかる共通化情報の一例を示す図であり、（ｂ）は本実施形態にかかる多重化共通化情報の一例を示す図である。
【図６】本実施形態の共通化部の詳細動作を説明するためのフローチャートである。
【図７】図６に示すフローチャートの変形例を説明するための図である。
【図８】図６に示すフローチャートの変形例を説明するための図である。
【図９】本実施形態の共通化部の詳細動作の具体例を説明するためのフローチャートである。
【図１０】本実施形態の共通化部の詳細動作の他の具体例を説明するためのフローチャートである。
【図１１】本実施形態の共通化部の詳細動作の他の具体例を説明するためのフローチャートである。
【図１２】（ａ），（ｂ）はいずれも本実施形態の共通化部による発生頻度ヒストグラムの作成例を説明するための図である。
【図１３】本実施形態の共通化部の他の詳細動作を説明するためのフローチャートである。
【図１４】（ａ）は本実施形態にかかる共通化情報の一例を示す図であり、（ｂ）は（ａ）を基にしたパケット作成時の処理を説明するための図である。
【図１５】本実施形態の共通化部の他の詳細動作を説明するためのフローチャートである。
【図１６】本実施形態の共通化部の他の詳細動作を説明するためのフローチャートである。
【図１７】本実施形態にかかる或るブロックの符号化パラメータ値の一例を示す図である。
【図１８】（ａ）〜（ｄ）はいずれも図１７に示すブロックに対するブロック分割処理を説明するための図である。
【図１９】本実施形態のブロック分割処理により得られる共通化情報の一例を示す図である。
【図２０】本実施形態の画像符号化装置における多重化部の動作を説明するためのフローチャートである。
【図２１】本実施形態の多重化部の詳細動作を説明するためのフローチャートである。
【図２２】本実施形態にかかる多重化共通化情報の他の一例を示す図である。
【図２３】（ａ），（ｂ）はいずれも本実施形態の多重化部の動作を説明するための図である。
【図２４】本実施形態の多重化部の詳細動作を説明するためのフローチャートである。
【図２５】本実施形態の多重化部の動作を説明するための図である。
【図２６】本実施形態の多重化部の動作を説明するための図である。
【図２７】本実施形態の多重化部の動作を説明するための図である。
【図２８】本実施形態の画像復号装置における多重化復号部の動作を説明するためのフローチャートである。
【図２９】本実施形態の画像復号装置における誤り検出／訂正部の動作を説明するためのフローチャートである。
【図３０】本実施形態の誤り検出／訂正部の動作を説明するためのフローチャートである。
【図３１】本実施形態の誤り検出／訂正部の動作を説明するためのフローチャートである。
【図３２】本実施形態の誤り検出／訂正部による信頼性判定処理を説明するためのフローチャートである。
【図３３】本実施形態の誤り検出／訂正部による情報推定処理を説明するためのフローチャートである。
【図３４】本実施形態の誤り検出／訂正部による情報推定処理を説明するための図である。
【図３５】本実施形態の誤り検出／訂正部による情報推定処理を説明するための図である。
【図３６】本実施形態の誤り検出／訂正部による他の情報推定処理を説明するためのフローチャートである。
【図３７】本実施形態の誤り検出／訂正部による情報推定処理を説明するための図である。
【図３８】図１に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図３９】本実施形態の画像符号化・復号システムの第１変形例を示すブロック図である。
【図４０】第１変形例における画像符号化・復号システムの共通化部の動作を説明するためのフローチャートである。
【図４１】図４０に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図４２】本実施形態の画像符号化・復号システムの第２変形例を示すブロック図である。
【図４３】第２変形例の画像符号化・復号システムの多重化復号部の動作を説明するためのフローチャートである。
【図４４】第２変形例における画像符号化・復号システムの多重化復号部の動作を説明するためのフローチャートである。
【図４５】（ａ），（ｂ）はいずれも第２変形例の多重化復号部における信頼性判定処理を説明するためのフローチャートである。
【図４６】図４２に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図４７】図４２に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図４８】図４２に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図４９】本実施形態の画像符号化・復号システムの第３変形例を示すブロック図である。
【図５０】第３変形例における画像符号化・復号システムの再伝送部の動作を説明するためのフローチャートである。
【図５１】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５２】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５３】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５４】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５５】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５６】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５７】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５８】図５４〜図５７に示す画像符号化・復号システムにおける再伝送の動作を説明するためのフローチャートである。
【図５９】符号化後の画像データを蓄積する場合の画像符号化・復号システムの構成例を示すブロック図である。
【図６０】図５９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図６１】 本発明の一実施形態としての画像符号化・復号装置の構成を示すブロック図である。
【図６２】従来の画像通信システム（画像符号化・復号システム）の基本構成を示すブロック図である。
【図６３】図６１に示す画像符号化・復号システムの変形例を示すブロック図である。
【図６４】従来の画像符号化・復号システムにおける多重化部の出力例を示す図である。
【図６５】従来の画像符号化・復号システムの要部の構成例を示すブロック図である。
【図６６】図６４に示す符号化部の構成例を示すブロック図である。
【図６７】図６４に示す多重化部の機能を説明するための図である。
【図６８】ビデオパケットのフォーマット例を示す図である。
【符号の説明】
１ 画像通信システム（画像符号化・復号システム）
２ 画像符号化装置
３ 画像復号装置
２Ａ，３Ａ 画像伝送装置（画像符号化・復号装置）
４ 伝送路
５ 共通化情報（共通情報）
６ 再伝送部
７ 識別情報（要求番号）
８，８′ 蓄積媒体
２１，２１Ａ 符号化部
２２，２２Ａ 共通化部（共通情報生成部）
２３ 多重化部（送出部）
２４ 局所復号部
２５，３４ 蓄積部
２６ 通知受信／再伝送部
２７ 再伝送送信部（再送出部）
３１ 多重化復号部（受信部）
３１Ａ 多重化復号部
３２，３１２ 誤り検出／訂正部
３３ 復号部
３５ 通知部（再送出要求部）
３６ 再伝送受信部
３１１ 多重化分離部（受信部）
３１３ 多重化変換部
（目次）
発明の属する技術分野
従来の技術（図６２〜図６８）
発明が解決しようとする課題
課題を解決するための手段
発明の実施の形態
（Ａ）一実施形態の説明（図１〜図３８）
（Ｂ）第１変形例の説明（図３９〜図４１）
（Ｃ）第２変形例の説明（図４２〜図４８）
（Ｄ）第３変形例の説明（図４９〜図５８）
（Ｅ）その他（図５９〜図６１）
発明の効果
【０００２】
【発明の属する技術分野】
本発明は、静止画像や動画像等の画像情報（画像データ）を高能率に圧縮（符号化）および復元（復号）するための技術に関し、特に、誤りが存在する通信（伝送）路あるいは蓄積媒体等を通じて符号化情報に誤りが発生するような場合に用いて好適な、画像符号化・復号システム並びに画像符号化装置および画像復号装置並びに画像符号化方法および画像復号方法並びに画像符号化・復号装置に関する。
【０００３】
【従来の技術】
図６２は従来の画像通信システム（画像符号化・復号システム）の基本構成を示すブロック図で、この図６２に示すシステム１ａは、画像符号化装置１００として符号化部１０１及び多重化１０２をそなえるとともに、画像復号装置２００として多重化復号部２０１及び復号部２０２をそなえており、これらの各装置１００，２００が所定の伝送路（通信路）３００を介して相互に接続された構成となっている。
【０００４】
ここで、画像符号化装置１００において、符号化部１０１は、入力画像信号Ｆを予測符号化や変換符号化，ベクトル量子化等の所定の符号化方式（アルゴリズム）で、画像データを１つ以上の画素から成るブロック単位で符号化するもので、量子化ステップサイズやＤＣＴ（離散コサイン変換）係数などの所定の符号化パラメータe1,e2,...,ex（ｘは自然数）を計算してその符号化パラメータe1,e2,...,exを符号化情報として出力するようになっている。
【０００５】
なお、符号化パラメータe1,e2,...,exは、スカラ量とは限らず、例えば２次元動きベクトルであったり、ブロック変換符号化の場合の変換計数（次元数は１次元以上）であったりする。また、符号化部１０１において復号結果も参照して符号化を行なう場合は、例えば図６３に示すような構成になる。即ち、符号化部１０１から出力された符号化パラメータe1,e2,...,exは、画像復号装置２００における復号部２０２と同一の構成（復号アルゴリズム）を有する局所復号部１０３で復号され、その復号結果Ｆ′が符号化部１０１に入力されて参照される。
【０００６】
さらに、多重化部１０２は、上記の符号化部１０１で得られた符号化パラメータe1,e2,...,exを多重化するもので、具体的には、符号化パラメータe1,e2,...,exについて、所定のシンタクス〔伝送フォーマット：情報をビット列に並べ、受信側でビット列を符号化情報に変換（多重化復号）することができるような文法〕に従って可変長符号または固定長符号に変換してビット列を伝送路３００へ出力する。
【０００７】
例えば図６４に示すように、多重化部１０２は、ビット列の先頭や、ブロック符号化であればブロックラインの先頭、可変長符号または固定長符号などの途中において、同期回復可能なユニークワード４００（同期信号）を付加し（同期回復可能なユニークワードからユニークワードまでの間をパケットと呼ぶこともある）、可変長符号化または固定長符号化された符号化パラメータe1,e2,...,exやその他の画像に関する情報などを付加してビット列を作成する。
【０００８】
一方、画像復号装置２００（受信側）において、多重化復号部２０１は、伝送路３００から入力されるビット列から符号化パラメータe1,e2,...,exを多重化復号するものであるが、通常、伝送路３００において誤りが付加される（符号誤りが発生する）ため、多重化復号した符号化パラメータは、例えばe1′,e2 ′,...,ex ′となり、必ずしも元の符号化パラメータe1,...,ex と同一にはならない。
【０００９】
また、復号部２０２は、この多重化復号部２０１により多重化復号された符号化パラメータe1′,e2 ′,...,ex ′を基に画像データを復号するもので、その復号結果が再生画像信号Ｆ″として出力される。
ここで、現在、よく知られた画像符号化・復号技術の具体例としては、下記▲１▼，▲２▼に示すような国際標準化された動画像についての技術がある。
【００１０】
▲１▼ISO/IEC JTC1/SC29/WG11 N2202(MPEG4) のSimple Profile
▲２▼ITU-T Recommendation H.263
次に、これらの技術を代表的な従来技術として説明する。
図６５は上記▲２▼に関する画像符号化・復号システムの要部の構成例を示すブロック図で、この図６５に示すシステム１ｂは、画像伝送装置５００と画像伝送装置６００とが伝送路３００を介して相互に接続されており、それぞれが、送信系（画像符号化装置:video coder）５００Ａ，６００Ａとして、符号化部(source coder)５０１，６０１，多重化部(video multiplex coder) ５０２，６０２，送信バッファ(transmission buffer) ５０３，６０３，符号化制御部(coding controller) ５０４，６０４をそなえるとともに、受信系（画像復号装置:video decoder）５００Ｂ，６００Ｂとして、受信バッファ(receiving buffer)５０５，６０５，多重化復号部(video multiplex decoder) ５０６，６０６，復号部(source decoder)５０７，６０７をそなえて構成されている。
【００１１】
ここで、画像符号化装置５００Ａ（６００Ａ）において、符号化部５０１（６０１）は、前記の符号化部１０１に相当し、入力画像信号（ビデオ信号：フレーム）Ｆを所定の符号化単位（１画素以上を有するブロック単位）で動き補償，予測誤差信号の離散コサイン変換，量子化等の所定の符号化処理を行なうことにより符号化パラメータe1,e2,...,exを得るもので、例えば図６６に示すように構成される。
【００１２】
そして、この符号化部５０１（６０１）では、入力画像信号Ｆと、入力画像信号Ｆと可変遅延フレームメモリ７１０で可変遅延した出力（動き補償，あるいはフレーム間の予測値）との差分（予測誤差）値を予測誤差計算部７０１で計算した値とが、符号化制御部５０４（６０４）からのスイッチ部７０２のスイッチ７０３の制御によって適応的に選択され、変換部７０５にてＤＣＴなどの直交変換が行なわれたのち、量子化部７０６にて係数（ＤＣＴ係数等）の量子化が行なわれる。
【００１３】
また、このとき、符号化部５０１（６０１）では、図６３により前述したような、次の符号化単位に対する符号化のための局所復号が行なわれる。即ち、逆量子化部７０７，逆変換部７０８を通じて量子化値（予測誤差）ｑが復号され、その復号結果が加算部７０９で予測値（スイッチ部７０２のスイッチ７０４を介して供給される１フレーム前の加算部７０９での加算結果）と加算されて可変遅延フレームメモリ７１０に蓄積される。
【００１４】
以上のような符号化処理を通じて、予測の種類ｐ，動きベクトルｖ，量子化パラメータｑｚ，量子化値ｑ，量子化ステップサイズｑｚ等が上記の符号化パラメータe1,e2,...,exとして得られ、多重化部５０２（６０２）へ出力される。
次に、上記の多重化部５０２（６０２）は、前記の多重化部１０２に相当し、所定のシンタクス（伝送フォーマット）に従って、例えば図６７に示すように、上記の予測の種類ｐ，動きベクトルｖ，量子化パラメータｑｚ，量子化値ｑ，量子化ステップサイズｑｚ等から成る符号化パラメータe1,e2,...,exをバイナリの可変長符号に変換し、所定の同期信号（後述するヘッダ）や入力画像の解像度等の情報を付加して符号化ビット列を作成することにより、符号化パラメータe1,e2,...,exを多重化するものである。
【００１５】
具体的には、上述のごとく符号化パラメータe1,e2,...,exバイナリのビット列に変換した後、同じフレーム内のラインスキャン順に隣接しているブロックの符号化パラメータei（ただし、ｉ＝１〜ｘ）を集め、前記▲１▼の符号化・復号技術では、例えば図６８に示すようなフォーマットを有するビデオパケットと呼ばれるパケット８００が、この多重化部５０２（６０２）で作成される。
【００１６】
ここで、パケット８００間の境界には必ず“Resync-Marker" と呼ばれるユニークワード８０１（同期信号：可変長符号化によるビット列が混在していても、必ず唯一のコードとして見い出すことのできるコード）が付加され、誤りが発生してそのパケット８００が廃棄されても、次のパケット８００のユニークワード８０１によって再同期をとることが可能になっている。
【００１７】
また、このパケット８００中には、例えば、マクロブロック（ブロックを複数集めたもの：標準化では４つのブロックの集まりをマクロブロックという）の位置を示す情報（macro block number) ８０２や量子化パラメータ(quant scale) ８０３，拡張コード（ＨＥＣ）８０４，動き情報と直流成分などの情報（Motion&Header Information)８０５，この情報８０５と以降の情報とを区切る情報（Motion Marker)８０６，交流成分等の情報（Texture Information)８０７が適宜に搭載される。なお、ユニークワード８０１以外の情報８０１〜８０７の搭載順（出力順）は図６８に示すものとは異なる場合もある。
【００１８】
次に、上記の送信バッファ５０３（６０３）は、この多重化部５０２（６０２）で得られた符号化ビット列を一時的に保持するものであり、符号化制御部１０４は、伝送路３００のビットレートが一定であったりして、伝送情報量（符号量）を制御する必要がある場合に、この送信バッファ５０３（６０３）の残量をパラメータとして符号化部５０１（６０１）での量子化の粗さを制御したり、多重化部５０２（６０２）にてその制御結果の多重化などを行なわせたりするものである。
【００１９】
一方、画像復号装置６００Ａ（６００Ｂ）において、受信バッファ５０５（６０５）は、伝送路３００を通じて伝送されてきた符号化ビット列を受信して保持するものであり、多重化復号部５０６（６０６）は、前記の多重化復号部２０１に相当し、図６５により上述した多重化部５０２（６０２）とは逆に、受信バッファ５０５（６０５）で保持されている符号化ビット列を前記のシンタクスに従って予測の種類ｐ，動きベクトルｖ，量子化パラメータｑｚ，量子化値ｑ，量子化ステップサイズｑｚ等から成る符号化パラメータe1,e2,...,ex（e1′,e2 ′,...,ex ′）に変換するものである。
【００２０】
そして、復号部５０７（６０７）は、前記の復号部２０２に相当し、多重化復号部５０６（６０６）で得られた符号化パラメータe1,e2,...,ex（e1′,e2 ′,...,ex ′）を基に画像データを復号して再生画像信号を出力するものである。
上述のごとく構成された画像符号化・復号システム１ｂでは、符号化部５０１（６０１）において、予測符号化や変換符号化，ベクトル量子化等の所定の符号化方式で入力画像信号を符号化することにより、画像信号（画像データ）がもつ時間的，空間的な冗長度を削減して画像情報量を大幅に削減（画像圧縮）した上で、伝送路３００を通じて伝送し、対向する復号部６０７（５０７）において、伝送されてきた画像データを復元して再生するので、伝送路３００の帯域を有効に利用することができる。
【００２１】
なお、１つの装置（例えば、パーソナルコンピュータ等）内で画像データを符号化して復号するような場合（画像データを伝送しない場合）は、符号化された画像データ（符号化パラメータe1,e2,...,ex）をハードディスク等の蓄積媒体に蓄積しておき、この蓄積媒体に蓄積された画像データを必要に応じて読み出して復号・再生することになる。ただし、この場合も、蓄積媒体を通じて誤りが符号化パラメータe1,...,ex に付加される可能性がある。
【００２２】
【発明が解決しようとする課題】
ところで、上記のような画像符号化・復号システム１ａ，１ｂでは、符号化により所定の圧縮率が得られるが、その符号化方式が高能率であるほど、伝送路３００（あるいは蓄積媒体）から受ける誤りの影響が大きい。即ち、画像データの符号化は上述したように画像信号のもつ時間的，空間的な冗長性を利用して行なわれるため、符号化された画像データ（符号化パラメータe1,e2,...,ex) に対して、たとえ部分的にでも誤りが発生すると、誤った部分を起点として時間的，空間的に誤りが伝播してしまい、正しい復号結果（再生画像）が得られなくなってしまう。
【００２３】
そこで、従来より、このような誤り対策として、通信路符号化（誤り訂正符号）による誤り訂正を行なったり、予測符号化を行なう場合は予測係数値を小さくすることによって誤りの伝播を抑圧したりすることが考えられているが、いずれも、有効な対策にはなっていないのが現状であり、誤りに対する十分な耐性を確保できていない。
【００２４】
本発明は、このような課題に鑑み創案されたもので、同じ符号化情報を有するブロックについての情報を符号化側から復号側へ渡すことで、一部のブロックの符号化情報に誤りが発生しても他のブロックの符号化情報から正しい値を得ることができるようにして、誤りに対する耐性を従来よりも向上させて再生画像の画質の悪化を最小限に抑えて、高品質な再生画像を得られるようにすることを目的とする。
【００２５】
【課題を解決するための手段】
上記の目的を達成するために、本発明の画像符号化・復号システム（請求項１）は、画像データを符号化する画像符号化装置と、該画像符号化装置で符号化された画像データを復号して再生する画像復号装置とをそなえ、上記の画像符号化装置が、画像データを１つ以上の画素から成るブロック単位で符号化することによりそのブロックについて所定の符号化情報を得る符号化部と、この符号化部により得られた複数ブロックについての符号化情報のうち、どのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成部とをそなえるとともに、上記の画像復号装置が、上記の画像符号化装置の共通情報生成部で生成された共通情報に基づいて符号化情報の誤りを訂正する誤り訂正部と、この誤り訂正部により誤り訂正された符号化情報を復号して画像データを再生する復号部とをそなえていることを特徴としている。
【００２６】
ここで、本画像符号化・復号システムは、上記の画像復号装置が、上記の誤り訂正部において誤り訂正不可能な符号化情報の再誤り訂正に必要な情報についての再送出要求を上記の画像符号化装置に行なう再送出要求部をそなえるとともに、上記の画像符号化装置が、上記の画像復号装置の再送出要求部からの再送出要求に応じた情報のみを上記の画像復号装置へ再送出する再送出部をそなえていてもよい（請求項２）。
【００２７】
また、本発明の画像符号化・復号方法（請求項３）は、画像データを１つ以上の画素から成るブロック単位で符号化することによりそのブロックについて所定の符号化情報を得る符号化ステップと、この符号化ステップにより得られた複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成ステップとをそなえるとともに、この共通情報生成ステップで生成された共通情報に基づいて符号化情報の誤りを訂正する誤り訂正ステップと、この誤り訂正ステップにより誤り訂正された符号化情報を復号して画像データを再生する復号ステップとをそなえて成ることを特徴としている。
【００２８】
次に、本発明の画像符号化装置（請求項４）は、画像データを１つ以上の画素から成るブロック単位で符号化することによりそのブロックについて所定の符号化情報を得る符号化部と、この符号化部により得られた複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成部と、少なくともこの共通情報生成部で生成された共通情報を画像復号装置へ送出する送出部とをそなえていることを特徴としている。
【００２９】
ここで、上記の共通情報生成部は、複数ブロックでの符号化情報の発生頻度についてのヒストグラムを作成し、このヒストグラムにおいて発生頻度が所定値以下の符号化情報を粗く量子化してゆく、あるいは、そのヒストグラムにおいて近隣の符号化情報に修正してゆく、もしくは、近隣ブロックの符号化情報に修正してゆくことにより、符号化情報の共通化を行なって、上記の共通情報を生成するように構成されていてもよい（請求項５〜７）。
【００３０】
また、上記の送出部は、同じ符号化情報を有するブロックを複数のパケットデータに分散して送出するように構成されていてもよいし（請求項８）、上記の共通情報を複数回送出するように構成されていてもよい（請求項９）。
さらに、本画像符号化装置は、画像復号装置から誤り訂正不可能な符号化情報の再誤り訂正に必要な情報についての再送出要求を受けると、その再送出要求に応じた情報のみを上記の画像復号装置へ再送出する再送出部をそなえていてもよい（請求項１０）。
【００３１】
次に、本発明の画像復号装置（請求項１１）は、画像符号化装置において画像データを１つ以上の画素から成るブロック単位で符号化することによりそのブロックについて所定の符号化情報が得られるとともに複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報が得られる場合に、少なくとも、その共通情報を画像符号化装置から受信する受信部と、この受信部で受信された共通情報に基づいて符号化情報の誤りを訂正する誤り訂正部と、この誤り訂正部により誤り訂正された符号化情報を復号して画像データを再生する復号部とをそなえていることを特徴としている。
【００３２】
ここで、上記の誤り訂正部は、符号化情報に誤りのあることが予め分かっている場合は、上記の共通情報に基づいて誤りのある符号化情報と同じ符号化情報を有する他のブロックを特定し、そのブロックの符号化情報を上記誤りのあるブロックの符号化情報として出力することにより、符号化情報の誤りを訂正するように構成されていてもよい（請求項１２）。
【００３３】
また、上記の誤り訂正部は、符号化情報に誤りのあることが予め分からない場合は、上記の共通情報に基づいて同じ符号化情報を有するべき複数のブロックを特定し、その複数のブロックの各符号化情報を比較することによって誤りを検出してその誤りを訂正するように構成されていてもよい（請求項１３）。
さらに、上記の誤り訂正部は、上記共通情報またはブロックの識別情報もしくは両方の信頼性を判定し、信頼性の低い情報についてはその信頼性の低い情報以外の情報から正しい情報を推定するように構成されていてもよい（請求項１４）。
【００３４】
また、本画像復号装置は、上記の誤り訂正部において誤り訂正不可能な符号化情報の再誤り訂正に必要な情報についての再送出要求を画像符号化装置に行なう再送出要求部をそなえていてもよい（請求項１５）。
次に、本発明の画像符号化方法（請求項１６）は、画像データを１つ以上の画素から成るブロック単位で符号化することによりそのブロックについて所定の符号化情報を得る符号化ステップと、この符号化ステップにより得られた複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成ステップと、少なくともこの共通情報生成ステップで生成された共通情報を復号側へ送出する送出ステップとをそなえて成ることを特徴としている。
【００３５】
また、本発明の画像復号方法（請求項１７）は、画像データを１つ以上の画素から成るブロック単位で符号化することによりそのブロックについて所定の符号化情報が得られるとともに複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報が符号化側で得られる場合に、少なくとも、その共通情報を符号化側から受信する受信ステップと、この受信ステップで受信した共通情報に基づいて符号化情報の誤りを訂正する誤り訂正ステップと、この誤り訂正ステップにより誤り訂正された符号化情報を復号して画像データを再生する復号ステップとをそなえて成ることを特徴としている。
【００３６】
さらに、本発明の画像符号化・復号装置（請求項１８）は、画像データを符号化する画像符号化装置と、この画像符号化装置に対向して設けられた画像符号化・復号装置で符号化された画像データを復号して再生する画像復号装置とをそなえた装置において、上記の画像符号化装置が、画像データを１つ以上の画素から成るブロック単位で符号化することにより或るブロックについて所定の符号化情報を得る符号化部と、この符号化部により得られた複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成部とをそなえるとともに、上記の画像復号装置が、上記の対向する画像符号化・復号装置で生成される、この画像符号化・復号装置での画像データの符号化により得られた複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているを表す共通情報に基づいて符号化情報の誤りを訂正する誤り訂正部と、この誤り訂正部により誤り訂正された符号化情報を復号して該画像データを再生する復号部とをそなえていることを特徴としている。
【００３７】
【発明の実施の形態】
以下、図面を参照して本発明の実施の形態を説明する。
（Ａ）本発明の一実施形態の説明
図１は本発明の一実施形態としての画像通信システム（画像符号化・復号システム）の構成を示すブロック図で、この図１に示すシステム１も、画像データを符号化する画像符号化装置２と、この画像符号化装置２で符号化された画像データを復号して再生する画像復号装置３とをそなえて構成されており、これらの画像符号化装置２と画像復号装置３とが画像通信用の所望の伝送路４（有線でも無線でもよい）を介して相互に接続されている。
【００３８】
さらに、この図１に示すように、上記の画像符号化装置２は、その要部の機能に着目すると、符号化部２１，共通化部２２および多重化部２３等をそなえて構成されており、上記の画像復号装置３は、その要部の機能に着目すると、多重化復号部３１，誤り検出／訂正部３２および復号部３３等をそなえて構成されている。
【００３９】
ここで、まず、画像符号化装置２において、符号化部２１は、入力画像信号（画像データ）Ｆを所定のブロック（１画素以上の画素の集まり：矩形でも非矩形でもよい）に分割し、そのブロック単位で入力画像信号Ｆを予測符号化や変換符号化，ベクトル量子化等の所定の符号化方式（アルゴリズム）で符号化することにより、量子化パラメータ（量子化ステップサイズ）や量子化値，ＤＣＴ係数，テクスチャ，色，動画像の場合は動き補償ベクトルなどの所定の符号化パラメータe1,e2,...,ex（ｘは自然数）を計算してその符号化パラメータe1,e2,...,exを符号化情報として出力するものである。なお、この場合も、符号化パラメータe1,...,ex は、スカラ量とは限らず、例えば２次元動きベクトルであったり、ブロック変換符号化の場合の変換係数（次元数は１次元以上）であったりする。
【００４０】
また、共通化部（共通情報生成部）２２は、基本的に、この符号化部２１で得られた符号化パラメータe1,e2,...,exを所定の共通化単位で各符号化パラメータe1,e2,...,ex毎に共通化して（共通化しない場合もある）、その共通化結果として符号化パラメータek1,ek2,...,ekx を出力するとともに、この共通化の過程でどのブロックが共通なパラメータ（同じ符号化情報）を有しているかを表す共通化情報（共通情報）ecomを計算（生成）して出力するものである。
【００４１】
ここで、共通化とは、複数のブロックにわたり、例えば、或る符号化パラメータek1,ek2,...,ekx に関し、似た値であればできるだけ復号画像の劣化を抑えるようにしつつ、同じ値になるように計算し直すことである。なお、上記の共通化単位は、例えば図２（ａ）〜図２（ｄ）にそれぞれ網かけ部で示すように、複数フレームのそれぞれ一部分のブロック（複数フレームの近隣あるいは非近隣ブロック）であってもよいし、１フレームのみ，複数フレーム，１フレームの一部分のみのいずれであってもよい。
【００４２】
また、共通化後の符号化パラメータek1,ek2,...,ekx は、例えば、符号化部２１において共通化後の符号化パラメータ ek1を用いて符号化パラメータe2の計算を行なわなければならないような場合（共通化部２２で符号化パラメータek1,ek2,...,ekx の共通化を行なう場合）には、図１中に破線で示すように、再度、符号化部２１に入力される。
【００４３】
さらに、多重化部２３は、上記の共通化部２２で得られた共通化後の符号化パラメータek1,ek2,...,ekx の多重化と共通化情報ecomの多重化とを行なうもので、具体的には、後述するように、符号化パラメータek1,ek2,...,ekx 及び共通化情報ecomを、それぞれ、所定のシンタクス（伝送フォーマット）に従って可変長符号（または固定長符号）に変換することにより、符号化ビット列を生成するようになっている。なお、得られた符号化ビット列は後述するようにパケット化されて伝送路４を介し画像復号装置３へ送出される。つまり、この多重化部２３は、少なくとも上記の共通化部２２で生成された共通化情報ecomを画像復号装置３へ送出する送出部としての機能を果たしている。
【００４４】
一方、画像復号装置３において、多重化復号部３１は、伝送路４を通じて画像符号化装置２から伝送されてくる符号化ビット列（符号化パラメータek1,ek2,...,ekx ＋共通化情報ecom）を受信して、その符号化ビット列に対して上記の多重化部２３による多重化処理とは逆の処理を施すことにより、伝送路４から受信した符号化ビット列を多重化復号して符号化前の値（符号化パラメータ ek1′,ek2′,...,ekx′及び共通化情報ecom′）を得るものである。つまり、この多重化復号部３１は、少なくとも画像符号化装置２の共通化部２２で得られた共通化情報ecomを画像符号化装置２から受信する受信部としての機能を果たしている。
【００４５】
ここで、この場合も、符号化パラメータ ek1′,ek2′,...,ekx′及び共通化情報ecom′は、伝送路４により誤りが付加されているので、必ずしも、元の符号化パラメータek1,ek2,...,ekx 及び共通化情報ecomと一致しないが、本実施形態では、少なくとも、共通化情報ecomについては、誤り検出／訂正部において後述するようにして受信した共通化情報ecom′から復元（推定）できるようになっている。
【００４６】
また、誤り検出／訂正部３２は、上記の多重化復号部３２で得られた共通化情報ecom′から元の共通化情報ecomを復元（推定）して、通常の誤り訂正符号による誤り訂正ではなく、その共通化情報ecomに基づいて上記の符号化パラメータ ek1′,ek2′,...,ekx′の誤りを訂正することにより、誤り訂正後の符号化パラメータ ek1″,ek2″,...,ekx″を得るものである。なお、得られた符号化パラメータ ek1″,ek2″,...,ekx″は、誤り訂正前の符号化パラメータ ek1′,ek2′,...,ekx′よりも誤りの数は少ないが、必ずしも、完全に元の共通化後の符号化パラメータek1,ek2,...,ekx と一致しない場合もある。
【００４７】
そして、復号部３３は、この誤り検出／訂正部３２で誤り訂正された符号化パラメータ ek1″,ek2″,...,ekx″を復号して画像データＦを再生する（再生画像信号Ｆｋ′を得る）ものである。
以下、上記の各部２１〜２３及び３１〜３３のうち、本実施形態の要部である共通化部２２，多重化部２３および誤り検出／訂正部３２に着目して、それぞれの動作を項目別に詳述する。
【００４８】
（１）共通化部２２の動作説明
共通化部２２では、基本的に、図３に示すようなフローチャート（アルゴリズム）に従って動作することにより、複数ブロックにわたって符号化パラメータe1,e2,...,exの共通化を行ない、共通化情報ecomを生成する。
即ち、まず、図２により前述したような共通化単位である、１フレーム中あるいは複数フレーム中の全てのブロックまたは一部分（分割部分）のブロックを集める。なお、このようなブロックの収集は公知のセグメンテーション方法で行なってもよい。
【００４９】
そして、このような単位で得た各ブロック（ブロック番号ｎ：ｎは自然数）の符号化パラメータei（ただし、ｉ＝１〜ｘ）をｅ（ｎ）（単に「ｅ」と表記することもある）、共通化後の符号化パラメータをｅｋ（ｎ）（単に「ｅｋ」と表記することもある）、共通化情報をecomと表記すると、共通化前の符号化パラメータｅのとりうる値はｍ種類（ｍはｍ≦ｎを満足する自然数）存在することになる（ステップＡ１）。
【００５０】
次に、共通化部２２は、上記の符号化パラメータｅについて共通化を行なって、ｍ種類の値をｕ種類（ただし、ｕはｕ＜ｍを満足する自然数）にする（ステップＡ２）。つまり、この共通化部２２は、符号化パラメータｅを共通化することで、伝送すべき符号化パラメータｅの量を削減するとともに、同じ情報（符号化パラメータｅ）をもつブロックを増やして同じ情報をもつブロックが必ず複数分存在するようにしているのである。
【００５１】
このときの具体的な共通化方法としては、例えば、
▲１▼複数ブロックでの符号化パラメータｅの発生（出現）頻度についての統計量を調べて共通化を行なう方法
▲２▼公知のクラスタリングを行なって共通化を行なう方法
▲３▼或るブロックの周囲のブロックの符号化パラメータｅについて似ているか否かを調べて似ているブロックについて共通化を行なう方法
等がある。
【００５２】
そして、共通化部２２は、上記の共通化により得られた符号化パラメータｅｋ（ｎ）（以下、単に「符号化パラメータｅｋ」と表記することもある）と、上記の共通化の過程で計算（生成）される共通化情報ecomとを出力する（ステップＡ３：共通情報生成ステップ）。例えば、共通化を行なった結果、各ブロックの或る符号化パラメータｅｋの値が、図４（ａ）に示すような状態になっており、各ブロックのブロック番号（識別情報）が図４（ｂ）に示すように割り当てられていたとすると、共通化部２２は、図４（ａ）に示す各符号化パラメータｅｋを出力するとともに、共通化情報ecomとして、図５（ａ）に示すような、符号化パラメータ値とその符号化パラメータ値をもったブロックのブロック番号とを対応付けた（つまり、同じ符号化パラメータ値をもつブロックがどのブロックであるかを示す）テーブル（ecomtable)５を生成して出力する。
【００５３】
次に、上記の共通化方法▲１▼〜▲３▼について、より詳細に説明する。
（１．１）共通化方法▲１▼の説明
上記の共通化方法▲１▼は、共通化部２２が、例えば図６に示すフローチャート（アルゴリズム）に従って動作することにより実現される。即ち、共通化を行ないたいｎブロックの符号化パラメータをｅ、共通化後の符号化パラメータ（出力）をｅｋ、共通化情報をecomとするとともに、符号化パラメータｅについての発生頻度ヒストグラムをＨ（ｍ）、この発生頻度ヒストグラムＨ（ｍ）における発生頻度数についての閾値をｔｈ１としたとき（ステップＡ４）、まず、共通化部２２は、符号化パラメータｅ（ｎ）の値の発生頻度についての統計をとりヒストグラムＨ（ｍ）を作成する（ステップＡ５）。
【００５４】
例えば、符号化パラメータｅの一種である量子化パラメータの或る１画面での値が図１２（ａ）に示すような状態になっているとすると、共通化部２２は、１画面内の各ブロックの量子化パラメータ値を調べてそれぞれの発生頻度を調べ、図１２（ｂ）に示すような発生頻度ヒストグラムＨ（ｍ）（単に「ヒストグラムＨ」と表記することもある）を作成する。
【００５５】
次に、共通化部２２は、このヒストグラムＨ（ｍ）の度数が上記の閾値ｔｈ１以下となる符号化パラメータｅを共通化についてブロック数が足りないとしてチェックする（例えば、閾値ｔｈ１＝３とすると、図１２では発生頻度が“２”である量子化パラメータ値“４”をチェックする）一方、共通な符号化パラメータｅを共通化情報ecomとして生成する（テーブル５に記述する：ステップＡ６）。
【００５６】
そして、共通化部２２は、チェックした符号化パラメータｅが存在するか否かを判定し（ステップＡ７）、存在しなければ、符号化パラメータｅと共通化情報ecom（テーブル５）をそれぞれ出力する（ステップＡ７のＮＯルートからステップＡ８）一方、存在すれば、チェックした符号化パラメータｅのみに関して粗く量子化して符号化パラメータｅｋとし（ステップＡ９）、再度、ヒストグラムＨを作成して、チェックした（発生頻度が閾値ｔｈ１以下の）符号化パラメータｅが存在しなくなるまで（ステップＡ７でＮＯと判定されるまで）、上記のステップＡ６以降の処理を繰り返す。
【００５７】
ここで、上記のステップＡ９における量子化は例えば図９に示すようにして行なわれる。即ち、量子化のパラメータをｑ，量子化前の符号化パラメータ（発生頻度が閾値ｔｈ１以下の符号化パラメータ）をｅ，量子化後の符号化パラメータをｅｋとすると（ステップＡ９−１）、共通化部２２は、まず、量子化パラメータｑで符号化パラメータｅを除算して０．５を加算した値を四捨五入整数化し、得られた値（ｔｅｍｐ）に、再度、量子化パラメータｑを乗算したものを符号化パラメータｅｋとする（ステップＡ９−２）。
【００５８】
例えば、パラメータｑの値を“２”とし、図１２により前述したように発生頻度が閾値ｔｈ１以下の符号化パラメータ値“４”を量子化することを考えると、４／２＋０．５＝２．５となり、四捨五入すると“３”であるので、符号化パラメータｅｋは３×２＝６となる。このようにして、ヒストグラムＨにおいて、発生頻度が閾値ｔｈ１以下の符号化パラメータｅを粗く量子化してゆくことによって、閾値ｔｈ１以下の符号化パラメータｅは他の閾値ｔｈ１よりも発生頻度の高い符号化パラメータｅに共通化されてゆく。
【００５９】
つまり、共通化部２２は、複数ブロックでの符号化パラメータｅの発生頻度についてのヒストグラムＨを作成し、そのヒストグラムＨにおいて発生頻度が所定値ｔｈ１以下の符号化パラメータｅを粗く量子化してゆくことにより、符号化パラメータｅの共通化を行なって、共通情報ecomを生成するのである。従って、極めて単純な計算で符号化パラメータｅの共通化を行なうことが可能である。
【００６０】
なお、上記の例は、符号化パラメータｅがスカラ量の場合であるが、２次元以上のベクトル量の場合でも、そのベクトルの各要素について同様の量子化を実行すれば共通化が可能である。
ところで、上記のステップＡ９の代わりに、例えば図７に示すステップＡ９′あるいは図８に示すステップＡ９″を実行することによっても、符号化パラメータｅの共通化を行なうことが可能である。
【００６１】
即ち、図７では、チェックした符号化パラメータｅをヒストグラム近隣の値に直す。例えば、図１０に示すように、ヒストグラムＨ，閾値ｔｈ２，量子化前の符号化パラメータ（の値）ｅ，量子化した符号化パラメータ（の値）ｅｋとすると（ステップＡ９′−１）、共通化部２２は、ヒストグラムＨを参照し、符号化パラメータｅの近隣で度数が閾値ｔｈ２以上の値ｋ1 （ただし、ｋ1 ＝１〜ｍ）のうち、符号化パラメータｅに最も近い値（ｅ−ｋ1 の絶対値が最も小さい値）ｋ1 を符号化パラメータｅｋとする（ステップＡ９′−２）。
【００６２】
つまり、この場合の共通化部２２は、複数ブロックでの符号化パラメータｅの発生頻度についてのヒストグラムＨを作成し、そのヒストグラムＨにおいて発生頻度が所定値ｔｈ１以下の符号化パラメータｅをヒストグラムＨにおいて近隣の符号化パラメータｅに修正してゆくことにより、符号化パラメータｅの共通化を行なって、共通化情報ecomを生成するのである。従って、この場合は、上記のように粗く量子化する場合よりも確実に符号化パラメータｅの共通化を行なうことが可能である。
【００６３】
一方、図８では、チェックした符号化パラメータｅを近隣ブロックの値に直す。例えば、時間的または空間的に周囲に存在するｕ個のブロックの符号化パラメータｅｒ（ｕ）（単に「ｅｒ」と表記することもある），量子化前の符号化パラメータ（の値）ｅ，量子化した符号化パラメータ（の値）ｅｋとすると（ステップＡ９″−１）、共通化部２２は、これら周囲のブロックにおいて、符号化パラメータｅに一番近い値〔ｅｒ（ｋ2 ）−ｅの絶対値が最も小さい値：ただし、ｋ2 ＝１〜ｕ〕となる符号化パラメータｅｒ（ｋ2 ）値を符号化パラメータｅｋとする（ステップＡ９″−２）。
【００６４】
つまり、この場合の共通化部２２は、複数ブロックでの符号化パラメータｅの発生頻度についてのヒストグラムＨを作成し、そのヒストグラムＨにおいて該発生頻度が所定値ｔｈ１以下の符号化パラメータを近隣ブロックの符号化パラメータｅｒに修正してゆくことにより、符号化パラメータｅの共通化を行なって、共通情報ecomを生成するのである。従って、この場合も、確実に符号化パラメータｅの共通化を行なうことができる。
【００６５】
なお、共通化部２２は、図６に示すフローチャート（アルゴリズム）に代えて、図１３に示すフローチャート（アルゴリズム：ステップＢ１〜Ｂ３）に従って動作してもよい。即ち、共通化を行ないたい単位ｎブロックの符号化パラメータをｅ、符号化パラメータのヒストグラムをＨ、共通化後の符号化パラメータ（出力）をｅｋ、共通化情報をecomとすると（ステップＢ１）、共通化部２２は、まず、符号化パラメータｅのヒストグラムＨを作成し（ステップＢ２）。
【００６６】
次に、共通化部２２は、このヒストグラムＨの度数が閾値ｔｈ１以下となる符号化パラメータｅを共通化についてブロック数が足りないとしてチェックし、その符号化パラメータｅとブロック番号とを共通化情報ecomに書き込み、その共通化情報ecomとともに符号化パラメータｅを符号化パラメータｅｋとして出力する（ステップＢ３）。なお、閾値ｔｈ１を超えている符号化パラメータｅについても、前記と同様に共通情報ecomに書き込まれる。この場合の共通情報ecomは例えば図１４（ａ）に示すようになり、ブロック数が足りない（ブロック数が１つの）符号化パラメータｅについても、共通化情報ecom（テーブル５）に書き込まれている。
【００６７】
つまり、この場合の共通化部２２は、ヒストグラムＨの度数が閾値ｔｈ１以下となる符号化パラメータｅが存在しても前記のような共通化は行なわずに、その共通化できない符号化パラメータｅをもつブロックに関する情報を共通情報ecomに書き込んで出力するのである。従って、この場合は、既存の画像符号化装置２（符号化部２１）に対して共通化部２２を追加するだけでよいので、汎用性の向上に寄与する。
【００６８】
なお、この場合、後述するように、共通化できなかった符号化パラメータｅをもつブロックについては多重化部２３から複数回伝送される。
（１．２）共通化方法▲２▼の説明
上記の共通化方法▲２▼は、共通化部２２が図１５に示すフローチャート（アルゴリズム：ステップＣ１〜Ｃ４）に従って動作することにより実現される。即ち、この場合も、共通化を行ないたい単位ｎブロックの符号化パラメータをｅ、共通化後の符号化パラメータ（出力）をｅｋ、共通化情報をecomとするとともに、符号化パラメータのクラスタ結果をＣ（ｋ）、或るクラスタにおける符号化パラメータｅの数についての閾値をｔｈ３とすると、まず、共通化部２２は、ｎブロックの符号化パラメータｅに対して、ｋ平均クラスタリング法（ｋ個のクラスタすなわち平均に個体を配置する処理：「画像解析ハンドブック」ｐ６４１−ｐ６５２参照）などの公知の方法でクラスタリングを行なう。これにより、当初、ｍ種類存在していた符号化パラメータｅがｋ3 種類（ただし、ｋ3 ＜ｍ）となる（ステップＣ１）。
【００６９】
次に、共通化部２２は、各符号化パラメータｅがどのクラスタに属するかを表すクラスタ結果Ｃ（ｋ3 ）を算出し（ステップＣ２）、そのクラスタ結果Ｃ（ｋ3 ）に基づいて、符号化パラメータｅの数が閾値ｔｈ３よりも小さいクラスタについてはクラスタの重心が最も近い別のクラスタに融合させて共通化を行なう（ステップＣ３）。
【００７０】
そして、共通化部２２は、各クラスタ内のブロック番号などの情報を共通化情報ecomとして生成・出力するとともに、符号化パラメータｅの属するクラスタＣの重心（または代表値）を共通化後の符号化パラメータｅｋとして出力する（ステップＣ４）。
このように、公知のクラスタリングを用いて共通化を行なえば、クラスタリング自体の計算に時間がかかる可能性はあるものの、符号化パラメータｅが２次元以上のベクトル値であっても、共通化による歪み（劣化）が上記の共通化方法▲１▼及び後述する共通化方法▲３▼に比べて小さくなるという利点がある。
【００７１】
（１．３）共通化方法▲３▼の説明
上記の共通化方法▲３▼は、共通化部２２が、例えば図１６に示すフローチャート（アルゴリズム：ステップＤ１〜Ｄ４）に従って動作することによって実現される。即ち、この場合も、共通化を行ないたい単位ｎブロックの符号化パラメータをｅ、共通化後の符号化パラメータ（出力）をｅｋ、共通化情報をecomとするとともに、ブロックの分割数をｕ１，ｕ２，・・・，ｕｉ（ｕ１〜ｕｉはそれぞれ自然数）、符号化パラメータｅ間の差についての閾値をｔｈ４とすると（ステップＤ１）、共通化部２２は、まず、共通化を行ないたいｎブロックを空間的，時間的にさらにｕ１個（ブロック）に分割し、その分割ブロックにおいて、それぞれブロックの符号化パラメータ（の値）ｅの差が閾値ｔｈ４以内であれば、その平均値で共通化する（ステップＤ２）。
【００７２】
共通化できなかった場合、共通化部２２は、さらに、分割ブロックをさらにｕ２個に分割して、上記のステップＤ１と同様の処理を行なう（ステップＤ３）。そして、共通化部２２は、ブロックが分割できなくなるまで分割数をｕ３，・・・，ｕｉとして上記のようなブロック分割・共通化（平均化）を行ない、ブロックが分割できなくなった時点で、残りのブロックについては、強制的に平均値をとって共通化して、もしくは、共通化せずに、共通化情報ecomと共通化後の符号化パラメータｅｋを出力する。
【００７３】
例えば、共通化を行ないたいブロックの符号化パラメータｅが図１７に示すような状態になっていると仮定すると、共通化部２２は、例えば図１８（ａ）〜図１８（ｄ）に示すように、ブロックを分割（細分化）してゆき、各分割ブロック毎に符号化パラメータｅの共通化を行ない、共通化毎にそのときの符号化パラメータｅとその符号化パラメータｅが属するブロック番号〔図１８（ａ）〜図１８（ｄ）中に示す“1-1",“2-1" 〜“2-4",“3-1" 〜“3-16",“4-1"〜“4-64"〕とを、図１９に示すように共通化情報ecom（テーブル５）に書き込んでゆく。
【００７４】
つまり、この場合の共通化部２２は、時間的あるいは空間的に近隣のブロックについて符号化パラメータｅをまとめる際、分割の粗さに応じてブロック番号を付けたもの〔図１８（ａ）〜図１８（ｄ）参照〕を参照し、これに従い、近隣ブロックが全て同じ符号化パラメータ（値）ｅである場合にはできるだけ粗い分割単位のブロック番号を付けて上記の共通化情報ecomを作成するのである。これにより、共通化情報ecom自体の情報量が大幅に削減され、共通化情報ecomの伝送に必要な容量（帯域）が大幅に削減される。
【００７５】
また、この場合は、近隣ブロックだけを参照してゆくので共通化処理の処理時間も短縮される。
（２）多重化部２３の動作説明
次に、画像符号化装置２における多重化部２３の動作について詳述する。本多重化部２３は、基本的に、例えば図２０に示すようなフローチャート（アルゴリズム：ステップＥ１〜Ｅ３）に従って動作する。即ち、多重化部２３は、上記の共通化部２２で共通化を行なった単位ｎブロックの符号化パラメータｅｋおよび共通化情報ecomが入力されると（ステップＥ１）、符号化パラメータｅｋおよび共通化情報ecomをそれぞれ多重化（所定のシンタクスに従ってビット列に変換）し（ステップＥ２）、多重化した共通化情報ecomを少なくとも１度以上符号化パラメータｅｋに付加して出力する（ステップＥ３：送出ステップ）。
【００７６】
具体的には、例えば図２１に示すように、共通化情報をecom〔ecom(q,x) 〕、多重化のために可変長（または固定長）符号化した共通化情報をecommux 、符号化パラメータをｅｋ（ｎ）、多重化のために可変長（または固定長）符号化した符号化パラメータをｅｋｍｕｘ（ｍ）（単に、「ｅｋｍｕｘ」と表記することもある）とすると〔ただし、この場合、ｎはブロック数、ｍはパケット数、ｑはとりうる符号化パラメータｅｋの数、ｘは値ｑをとるブロック番号のデータ（つまり、上記のecom(q,x) は符号化パラメータｅｋの値ｑとブロック番号の順番ｘを要素とした配列を表す）とする：ステップＥ４〕、多重化部２３は、まず、共通化情報ecomtable(q,x)（単に、「ecomtable 」と表記することもある）を可変長（または固定長）符号化し、共通化情報ecommux を得る（ステップＥ５）。
【００７７】
例えば、符号化（多重化）前の共通化情報ecomが図５（ａ）に示したような状態であった場合、多重化部２３は、図５（ｂ）に示すように、符号化パラメータｅｋのブロック番号のコード（ビット列）を、順次、同じ符号化パラメータｅｋのグループ単位で所定の区切りコード６を挿入しながら出力することにより、多重化した共通化情報ecommux を得る。
【００７８】
なお、このとき、多重化部２３は、例えば図２２に示すように、ブロック番号のコードだけでなく、符号化パラメータ（の値）ｅｋも挿入した共通化情報ecommux を得るようにしてもよい。
また、多重化部２３は、所定数ｍ個のパケットになるべく同じ値（符号化パラメータｅｋ）をもつブロックが他のパケットに搭載されるように、各ブロックをｍ個（ただし、ｍ≧２の自然数）のパケットに分散して搭載する（つまり、１つのパケットにはなるべく異なる符号化パラメータｅｋをもつブロックを搭載する）。
【００７９】
例えば、上記のように共通化情報ecomが図５（ａ）に示すような状態であり、生成すべきパケット数ｍ＝３であると仮定すると、多重化部２３は、例えば図２３（ａ），図２３（ｂ）に示すように、３つのパケット（パケット番号“１”〜“３”）に、同じ符号化パラメータｅｋをもつブロックを分散して搭載する。このとき、ブロックの順番がバラバラになるので、パケットにはブロック番号も搭載する（搭載位置は任意の位置でよい）。ただし、同じ符号化パラメータ（値）ｅｋをもつブロックがｋ4 個よりも少ない場合、多重化部２３は、同じブロック番号を複数のパケットに重複して記述する（以上、ステップＥ６）。これにより、同じ符号化パラメータｅｋを有するブロックが誤り等によりまとめて欠落してしまう確率が大幅に低減される。
【００８０】
ここで、このステップＥ６の処理は、例えば図２４に示すフローチャート（ステップＥ６１〜Ｅ７１を実行することにより実現される。ただし、この図２４において、ｕは共通化情報ecom(q,x) の符号化パラメータ値ｑ検索用のカウンタ値、ｉはブロック番号ｘ検索用のカウンタ値、ｊはパケット番号用のカウンタ値である。
【００８１】
まず、多重化部２３は、上記の各カウンタ値ｕ，ｉ，ｊを初期化（ｕ＝１，ｉ＝１，ｊ＝１）し（ステップＥ６１）、１番目のパケット（ｅｋｍｕｘ（１））に、共通化情報ecom(1,1) が示す情報、即ち、符号化パラメータ値“１”の１番目のブロックのブロック番号“１”を付加（搭載）する（ステップＥ６２）。そして、多重化部２３は、カウンタ値ｉ，ｊをそれぞれ１つインクリメントしたのち（ステップＥ６３）、カウンタ値ｊ＞パケット数ｍになっているかどうかを判定する（ステップＥ６４）。
【００８２】
この結果、カウンタ値ｊ＞パケット数ｍとなっていれば（ステップＥ６４でＹＥＳと判定されれば）、多重化部２３は、カウンタ値ｊを初期化（ｊ＝１）して情報搭載対象のパケット番号を１番目のパケット（ｅｋｍｕｘ（１））とする（ステップＥ６５）が、カウンタ値ｊ≦パケット数ｍであれば、そのまま、情報搭載対象のパケット番号を次（ｊ番目）のパケット（ｅｋｍｕｘ（ｊ））とする（ステップＥ６４のＮＯルート）。
【００８３】
そして、多重化部２３は、値ｑ（＝ｕ）の符号化パラメータｅｋがもう存在しないかどうかを判定し（ステップＥ６５）、存在すれば、その符号化パラメータ値ｕの次のブロック番号をパケット（ｅｋｍｕｘ（ｊ））に付加する（ステップＥ６５のＮＯルートからステップＥ６２）。つまり、多重化部２３は、同じ符号化パラメータ値ｕのブロック番号が存在しなくなるまで、共通化情報ecomの同じ符号化パラメータｕとなるブロック番号を順に検索してゆき、各ブロック番号をそれぞれ異なるパケット（ｅｋｍｕｘ（ｊ））に付加してゆくのである。
【００８４】
そして、値ｑ（＝ｕ）の符号化パラメータｅｋが存在しなくなると、多重化部２３は、次に、カウンタ値ｉ≦ｋ4 となっているか（つまり、同じ符号化パラメータ値ｕをもつブロックがｋ個よりも少ないかどうか）を判定し（ステップＥ６６）、少なくなければ（ｉ＞ｋであれば）、カウンタ値ｕを１つインクリメントし（検索対象を次の符号化パラメータ値のブロック番号にし：ステップＥ６７のＮＯルートからステップＥ６９）、カウンタ値ｉを初期化（ｉ＝１）する（ステップＥ７０）。
【００８５】
このとき、カウンタ値ｕ＞符号化パラメータ値ｑとなっていれば（ステップＥ７１でＹＥＳ判定されれば）、多重化部２３は、共通化情報ecom(q,x) の全ての情報（ブロック）をパケットに搭載し終えたことになるので、処理を終えるが、カウンタ値ｕ≦符号化パラメータ値ｑとなっていれば（ステップＥ７１でＮＯと判定されれば）、未搭載のブロックがまだあるので、全てのブロックを搭載し終えるまで上記のステップＥ６２からの処理を繰り返す。
【００８６】
ところで、上記のステップＥ６７において、カウンタ値ｉ≦ｋ4 の場合、即ち、同じ符号化パラメータ値ｕをもつブロックがｋ4 個よりも少ない場合、多重化部２３は、共通化情報ecom(u,1) が示す情報、即ち、既に付加済みの同じ符号化パラメータ値ｕの最初のブロック番号を、既に付加したパケットとは異なるパケットに重複して付加する（ステップＥ６７のＹＥＳルートからステップＥ６８）。
【００８７】
以上のような処理により、例えば、ｋ4 ＝２で、共通化情報ecomが図１４（ａ）に示したような状態であったとすると〔網かけ部に示すように符号化パラメータｅｋ＝４，６のブロック（ブロック番号＝７，３４）がそれぞれ１個しかなかった場合〕、多重化部２３は、図１４（ｂ）に示すように、同じ符号化パラメータｅｋのブロック番号を順に異なるパケットに搭載してゆき、図１４（ｂ）中の網かけ部で示すように、１個しかないブロック番号７，３４についてはそれぞれ異なるパケットに重複して搭載することになる。
【００８８】
次に、多重化部２３は、このようにして、多重化した符号化パラメータｅｋｍｕｘを作成すると、図２１に示すように、符号化パラメータｅｋｍｕｘに共通化情報ecommux を付加して符号化ビット列を作成する（ステップＥ７）。例えば、多重化部２３は、符号化パラメータｅｋ〔＝ek1(n),ek2(n),...,ekx(n)〕を用いてパケット（例えば図６８により前述したビデオパケット８００等）をｋ個作成し、図２５に示すように、その先頭に共通化情報ecommux を付加する。
【００８９】
なお、この共通化情報ecommux の付加位置は、可能であれば各パケットの途中（境界）でもよいし最後でもよい。また、複数分付加することによって複数回伝送されるようにしてもよい。このように共通化情報ecomを複数回伝送すれば、画像復号装置３が共通化情報ecom(ecom ′) を正常に受け取れないといった状況の発生確率が大幅に低減される。
【００９０】
さらに、共通化情報ecommux が複数得られる場合は、例えば図２６に示すように、パケット内に搭載されている情報がどの共通化情報ecommux に基づく情報であるかを表す情報（共通化情報ecommux に固有の番号Ｌやｖ）を各パケットのどこかに搭載する、もしくは、図２７に示すように、共通化情報ecommux に、その共通化情報ecommux に基づく情報を有しているパケットがどのパケットであるかを表す情報（パケット番号）を搭載することによって、復号側（画像復号装置３）でどのパケットに対してどの共通化情報ecommux を使用すべきかを識別できるようにしてもよい。
【００９１】
（３）多重化復号部３１の動作説明
次に、画像復号装置３における多重化復号部３１の動作について詳述する。多重化復号部３１では、基本的に、画像符号化装置２の多重化部３１の処理とは逆の処理が行なわれる。即ち、例えば図２８に示すように、伝送路４を通じて画像符号化装置２から符号化ビット列（符号化パラメータｅｋｍｕｘ及び共通化情報ecommux ）を受信すると（ステップＦ１：受信ステップ）、その符号化ビット列を画像符号化装置２での符号化（可変長もしくは固定長符号化）前の値（符号化パラメータｅｋ′及び共通化情報ecom′）に戻す（ステップＦ２）。
【００９２】
なお、この多重化復号後の符号化パラメータｅｋ′及び共通化情報ecom′は、それぞれ、前述したように、伝送路４を伝送されることによって誤りが付加されており、必ずしも元の符号化パラメータｅｋｍｕｘ及び共通化情報ecomとは一致しないことを表している。
（４）誤り検出／訂正部３２の動作説明
次に、画像復号装置３における多重化復号部３２の動作について詳述する。多重化復号部３２は、基本的に、例えば図２９に示すようなフローチャート（アルゴリム：ステップＧ１〜Ｇ７）に従って動作する。即ち、誤り検出／訂正部３２は、多重化復号部３１から多重化復号後の符号化パラメータｅｋ′及び共通化情報ecom′を受信すると（ステップＧ１）、まず、共通化情報ecom′の値が信頼できるかどうかを判定する（ステップＧ２）。
【００９３】
この結果、信頼できれば（ステップＧ３でＹＥＳと判定されれば）、誤り検出／訂正部３２は、次の処理に移行し、信頼できなければ（ステップＧ３でＮＯと判定されれば）、信頼できる値を推定して正しい共通化情報ecom′を復元して（ステップＧ４）から次の処理に移行する。なお、共通化情報ecom′の信頼性の判定方法および推定・復元方法の詳細については後述する。
【００９４】
そして、誤り検出／訂正部３２は、このようにして信頼できる共通化情報ecom′を得ると、次に、符号化パラメータｅｋ′に誤りの有ることが予め分かっているか否かを判定する（ステップＧ５）。なお、誤りの有無は、例えば、多重化復号部３１の前段での符号化ビット列に対する通常の誤り訂正符号、または、多重化復号部３１での多重化復号時の復号不能ビット列の検出などによって検出される。
【００９５】
上記の判定の結果、符号化パラメータｅｋ′に誤りの有ることが予め分かっている場合、誤り検出／訂正部３２は、共通化情報ecom′において同じ値をもつ他の誤りの無いブロックの符号化パラメータｅｋ′を参照して、誤りの有る符号化パラメータｅｋ′を参照した誤りの無い符号化パラメータｅｋ′に置き換えることで、誤り訂正を行なう（ステップＧ５のＹＥＳルートからステップＧ６：誤り訂正ステップ）。
【００９６】
例えば図３０に示すように、誤り訂正符号により或るブロックの符号化パラメータｅｋ′（ｋ１）に誤りがあることが分かっており、誤り訂正符号により同じ値をもつ他のブロックの符号化パラメータｅｋ′（ｋ２）に誤りが検出されなかった場合（ステップＧ６１）、誤り検出／訂正部３２は、ｅｋ′（ｋ１）＝ｅｋ′（ｋ２）とすることにより、符号化パラメータｅｋ′（ｋ１）の誤りを訂正する（ステップＧ６２）。
【００９７】
つまり、上記の誤り検出／訂正部３２は、符号化パラメータｅｋ′に誤りの有ることが予め分かっている場合、共通化情報ecom′に基づいて誤りのある符号化パラメータｅｋ′と同じ符号化パラメータｅｋ′を有する他のブロックを特定し、そのブロックの符号化パラメータを誤りのあるブロックの符号化パラメータｅｋ′として出力することにより、符号化パラメータｅｋ′の誤りを訂正するのである。従って、極めて簡易な処理で確実な誤り訂正を行なうことができている。
【００９８】
一方、符号化パラメータｅｋ′に誤りの有ることが予め分からない場合、誤り検出／訂正部３２は、図２９に示すように、共通化情報ecom′を用いて同一値をもつべき複数のブロックの符号化パラメータ（値）ｅｋ′（ｋ１），・・・，ｅｋ′（ｋｎ）を比較し（ステップＧ５のＮＯルートからステップＧ７）、正しい値ｅｋ″（ｋ１），・・・，ｅｋ″（ｋｎ）を得て出力する（ステップＧ７：誤り訂正ステップ）。
【００９９】
例えば、誤り訂正符号によっても誤りが分からない場合、図３１に示すように、誤り検出／訂正部３２は、誤り訂正符号により誤りが検出されない同一値をもつべき複数ブロックの各符号化パラメータｅｋ′（ｋ１），・・・，．ｅｋ′（ｋｎ）を参照し（ステップＧ７１）、一番発生頻度の高い値（つまり多数決をとった値）を正しい値ｅｋ″（ｋ１），・・・，ｅｋ″（ｋｎ）とする（ステップＧ７２）。
【０１００】
つまり、誤り検出／訂正部３２は、符号化パラメータｅｋ′に誤りのあることが予め分からない場合、共通化情報ecom′に基づいて同じ符号化パラメータｅｋ′を有するべき複数のブロックを特定し、これらの複数のブロックの各符号化パラメータｅｋ′を比較することによって誤りを検出してその誤りを訂正するのである。従って、符号化符号化パラメータｅｋ′に誤りのあることが予め分からない場合にも確実に対応することができる。
【０１０１】
以上のようにして誤り訂正された符号化パラメータｅｋ″（ｋ１），・・・，ｅｋ″（ｋｎ）は、それぞれ、復号部３３へ入力され、復号部３３において、所定の復号処理（復号ステップ）が施されることによって再生画像信号Ｆｋ′が得られる。
なお、上述したような誤り訂正処理は、共通化情報ecom′が複数回伝送されてくる場合、共通化情報ecom′にも適用することができる。即ち、上記の処理において、符号化パラメータｅｋ′を共通化情報ecom′に置き換えれば、共通化情報ecom′に誤りがあることが分かっている場合、分からない場合のいずれの場合にも、正しい共通化情報ecom′を得る（復元する）ことができる。
【０１０２】
（４．１）共通化情報ecom′の信頼性の判定方法および推定・復元方法の説明まず、共通化情報ecom′の信頼性の判定方法（図２９のステップＧ３の具体例）について説明する。誤り検出／訂正部３２は、例えば図３２に示すように、受信したパラメータ（共通化情報ecom′) を param′(k1),...,param′(kn)、受信パラメータ param′(k1),...,param′(kn)の発生頻度についての閾値をｔｈａとすると（ステップＨ１）、誤り訂正符号による誤りが発見されなかったパラメータ param′(k1),...,param′(kn)の発生頻度を調べる（ステップＨ２）。
【０１０３】
この結果、一番発生頻度が高いパラメータ param′(kr)（ただし、ｒ＝１〜ｎ）の値Ａの発生頻度ＨＡと、次に発生頻度が高いパラメータ param′(kr)の値Ｂの発生頻度ＨＡとの差が閾値ｔｈａ以内なら、値Ａは発生頻度が高い値であるが、次に発生頻度が高い値Ｂとの差が小さいので（信頼性が高い場合は例えば発生頻度ＨＡが突出した状態になっているはずである）、受信したパラメータ param′(k1),...,param′(kn)（＝共通化情報ecom′) は信頼性が低いと判定する（ステップＨ３）。
【０１０４】
次に、共通化情報ecom′の推定・復元方法（図２９のステップＧ４の具体例）について説明する。誤り検出訂正部３２は、上記の信頼性判定の結果、受信した共通化情報ecomが信頼できないと判定すると、共通化情報ecom′の他の信頼できる部分の情報、あるいは、符号化パラメータｅｋ′、もしくは、ブロック番号情報block(n)（単に「block 」と表記することもある）、あるいはその両方を参照して、信頼できない部分の値を推定する。
具体的には、例えば図３３に示すように、共通化情報をecom′、符号化パラメータをｅｋ′（ｎ）、前記のビデオパケットなどビット列に含まれる、符号化パラメータ′ｅｋ（ｎ）に対応したブロック番号情報をblock(n)とすると（ステップＪ１）、誤り検出／訂正部３２は、まず、共通化情報ecom′の信頼できない部分が、グループ分けされたブロック番号情報block(n)のうちの或る１つのグループのブロック番号情報block(n)であるか否かをチェックする（ステップＪ２）。
【０１０５】
この結果、信頼できない部分は共通化情報ecom′の或る１つのグループのブロック番号情報のみであった場合（ステップＪ２でＹＥＳと判定された場合）、誤り検出／訂正部３２は、信頼できる共通化情報ecom′のブロック番号情報block(n)以外の番号情報が信頼できない部分のブロック番号情報block(n)であるとすることにより、信頼できない部分のブロック番号情報block(n)を推定・復元する（ステップＪ３）。
【０１０６】
例えば、図３４に示すように、共通化情報ecom′に含まれるべき全ブロック番号情報block(n)のうちの或る一部のグループのブロック番号情報block(n)の信頼性が低く欠落した（図３４中に「×」印で示す）場合には、全ブロック番号情報block(n)と、共通化情報ecom′の他グループに含まれるブロック番号情報block(n)（図３４中に「○」印で示す）との対応を調べれば、残った（対応のとれない）ブロック番号情報block(n)（図３４中ではブロック番号“３”〜“５”，“１４”）が欠落したブロック番号情報block(n)であると推定することができる。
【０１０７】
一方、共通化情報ecom′の信頼できない部分が複数グループにわたる場合（ステップＪ２でＮＯと判定された場合）、誤り検出／訂正部３２は、信頼できる共通化情報ecom′のブロック番号（情報）block に対応する符号化パラメータｅｋ′を参照して、同じ符号化パラメータｅｋ′となるブロック番号block を探し、そのブロック番号block を信頼できないブロック番号として推定する（ステップＪ４）。
【０１０８】
例えば、図３５に示すように、共通化情報ecom′の複数グループでブロック番号block が欠落した（図３５中に「×」印で示す）場合、誤り検出／訂正部３２は、信頼できる共通化情報ecom′のブロック番号block と符号化パラメータｅｋ′との対応（図３５中の実線参照）を調べることで、どの符号化パラメータｅｋ′がどのグループに属するかを特定して（例えば、値“１”の符号化パラメータｅｋ′は全てグループ“１”に属し、値“５”の符号化パラメータｅｋ′は全てグループ“２”に属することが分かる）、対応するブロック番号block （図３５中の丸付き数字参照）を欠落した部分のブロック番号block として推定する。
【０１０９】
なお、このような推定手法は、共通化情報ecom′の信頼できない部分が１つのグループのみの場合にも行なってもよい（図３３中の破線ルート参照）。また、上述した信頼性の判定は、共通化情報ecom′ではなく、ブロック番号（情報）block を用いて行なってもよい。この場合は、図３２中のパラメータparam ′(k1),...,param′(kn)をブロック番号block(1)〜block(n)に置き換えて実行することにより、ブロック番号block の信頼性を判定することになる。
【０１１０】
そして、このようにブロック番号block の信頼性を判定した結果、信頼性が低いと判定された場合、誤り検出／訂正部３２は、次のようにして信頼できないブロック番号block の値を推定する。即ち、誤り検出／訂正部３２は、図３６に示すように、共通化情報ecom′，符号化パラメータｅｋ′及びブロック番号情報block を基に（ステップＫ１）、信頼できる共通化情報ecom′のブロック番号block に対応するグループを参照し、同じ符号化パラメータｅｋ′となるブロック番号block を探して、信頼できないブロック番号情報block の値を推定する（ステップＫ２）。
【０１１１】
例えば、図３７中に「×」印で示すように、一部のブロック番号block が信頼性が低く欠落した場合、誤り検出／訂正部３２は、信頼できる共通化情報ecom′のブロック番号block と各グループに属する同じ符号化パラメータｅｋ′との対応関係を調べる（図３７中の実線参照）ことにより、欠落したブロック番号block を推定・復元する（図３７中の丸付き数字参照）。
【０１１２】
なお、誤り検出／訂正部３２では、上述したような共通化情報ecom′の信頼性判定およびブロック番号情報block の信頼性判定をそれぞれ行なってもよい。つまり、本実施形態の誤り検出／訂正部３２は、共通化情報ecom′またはブロック番号情報block もしくは両方の信頼性を判定し、信頼性の低い情報についてはその信頼性の低い情報以外の情報から正しい情報を推定するのである。これにより、誤り訂正処理の精度や信頼性が大幅に向上している。
【０１１３】
以上のように、本実施形態の画像符号化・復号システム１によれば、画像データを或るブロック単位で符号化したときに、どのブロックが同じ符号化パラメータｅｋを有しているかを表す共通化情報ecomを生成して画像復号装置３へ提供するので、画像復号装置３では、復号すべき受信符号化パラメータｅｋ′に誤りがあっても、上記の共通化情報ecomから誤りのある符号化パラメータｅｋ′がどのブロックの符号化パラメータｅｋ′と同じ（共通）であるかを認識し、他ブロックの符号化パラメータｅｋ′を用いて誤りを訂正することができる。
【０１１４】
従って、符号化パラメータｅｋ′の誤りに対する耐性が大幅に向上し、高精度な復号処理を行なうことができるので、常に、再生画像の画質の悪化を最小限に抑えて、高品質な再生画像を得ることができる。特に、携帯端末等を用いた無線画像通信等のように伝送路４によって大きな誤りが生じるようなシステムに適用することは極めて有効であると考えられる。
【０１１５】
また、画像符号化装置２では、共通化情報ecomを、上述した共通化方法▲１▼〜▲３▼のいずれかの方法で、符号化パラメータｅの共通化を行なって生成するので、同じ符号化パラメータｅ（ｅｋ）を有するブロック数を増やして異なる符号化パラメータｅ（ｅｋ）の伝送量を削減することができ、符号化パラメータｅｋの誤りに対する耐性がさらに向上している（見かけ上の誤り率がさらに低減されている）。
【０１１６】
さらに、画像符号化装置２からは、多重化部２３により、同じ符号化パラメータｅｋを有するブロックを複数のパケットに分散して伝送（送出）するので、同じ符号化パラメータｅｋを有するブロックが誤り等によりまとめて欠落してしまう確率が大幅に低減されており、画像復号装置３では、誤り検出／訂正部３２において誤り訂正を確実に行なうことができ、復号部３３での復号処理の信頼性の向上にも大いに寄与している。
【０１１７】
また、画像符号化装置２からは共通化情報ecomを複数回伝送するようにすれば、画像復号装置３が共通化情報ecom(ecom ′) を正常に受け取れないといった状況の発生確率が大幅に低減されるので、画像復号装置３では、共通化情報ecom′に基づく誤り訂正を確実に行なうことができ、これにより、復号処理の信頼性を大幅に向上させることができる。
【０１１８】
なお、上述した実施形態では、画像符号化装置２が局所復号を行なわないタイプのものについて説明したが、例えば図３８に示すように、局所復号部２４をそなえて、符号化パラメータｅｋをこの局所復号部２４で復号して再生画像信号Ｆｋを得、得られた再生画像信号Ｆｋを参照して符号化部２１が符号化を行なうタイプのものでも、上記と同様の作用効果が得られる。
【０１１９】
ただし、このように局所復号が行なわれる場合は、過去の符号化パラメータｅｋと現在の符号化パラメータｅｋとの差分情報しか画像復号装置３へ伝送されないので、図３８中に示すように、画像復号装置３の復号部３３は、過去に復号した再生画像信号Ｆｋ′を用いて現在の符号化パラメータｅｋ″の復号を行なう構成となっている。
【０１２０】
（Ｂ）第１変形例の説明
ところで、上述した実施形態では、符号化部２１において共通化されていない符号化パラメータｅ（e1,...,ex)が得られるが、例えば図３９に示すように、符号化部２１Ａにて既に共通化された符号化パラメータek1,...,ekx （ｅｋ）が得られる場合がある。例えば、符号化部２１Ａにおいて、動き補償のブロックサイズを画像変化の激しさに応じて可変にして符号化すれば、複数ブロックからなる大きなブロックについては１つの動き補償ベクトル（例えば、ek1)が得られることになるので、その動き補償ベクトルek1 は既に複数ブロックにわたって共通化された値であるとみなせる。
【０１２１】
なお、このような可変動き補償ブロックサイズ方法は、例えば、特許第２６１８９１５号，特許第２６１８９１６号，特許第２７０２７１８号および特許第２７１６７０２号などの各特許公報に記載されており、以下に、これらの各特許公報に記載された技術について簡単に述べておく。
▲１▼特許第２６１８９１５号
画像データ中のエッジ個数が所定の閾値よりも小さくなるまで、動き補償のためのブロックサイズを小さく分割してゆくことにより、エッジの多い画像変化の激しい部分についてはブロックサイズを小さくする。
【０１２２】
▲２▼特許第２６１８９１６号
画像データを複数の小ブロックに分割し、その小ブロック中のエッジ個数が所定の閾値よりも大きければ、１ブロック中のエッジ個数が閾値よりも小さくなるまで、小ブロックを結合してゆくことにより、エッジの多い画像変化の激しい部分についてはブロックサイズを小さくする。
【０１２３】
▲３▼特許第２７０２７１８号
或る所要のブロックサイズのブロックについて動き補償を行なった結果として得られる予測誤差が所定の閾値よりも大きければ、その予測誤差が閾値よりも小さくなるまでブロックサイズを小さくして動き補償を行ない、最小ブロックサイズまでブロックサイズを小さくしても予測誤差が閾値よりも小さくならず、動き補償を行なうのに適さないほど画像変化の激しい部分については、フレーム内符号化を行なう。
【０１２４】
▲４▼特許第２７１６７０２号
隣接する複数の小ブロック同士についての予測誤差のうちのいずれかが所定の閾値よりも大きくなるまで、小ブロックを結合してブロックサイズを大きくしてゆくことにより、画像変化の激しい部分についてはブロックサイズを小さくする。
【０１２５】
このような場合、共通化部２２Ａでは、既に共通化された符号化パラメータｅｋが符号化部２１Ａから入力されるので、前述したような共通化は行なわずに、入力された符号化パラメータｅｋから、上述した実施形態と同様の共通化情報ecomを生成して符号化パラメータｅｋとともに出力する。
即ち、図４０に示すように、共通化を行なった単位ｎブロックの符号化パラメータをｅｋ、共通化情報をecomとすると（ステップＬ１）、共通化部２２Ａは、既に共通化された符号化パラメータｅｋから、どのブロックが同じ（共通の）符号化パラメータｅｋを有しているかを表す共通化情報ecomを計算し（ステップＬ２）、既に共通化された符号化パラメータｅｋと生成した共通化情報ecomとを多重化部２３へ出力する（ステップＬ３）。
【０１２６】
なお、図３９において、符号化部２１Ａおよび共通化部２２Ａ以外の部分（図１中の符号と同一符号を付した部分）は、いずれも、図１により前述した部分と同一もしくは同様である。
従って、本第１変形例においても、図１により前述したシステム１と同様の作用効果が得られるほか、この場合は、共通化部２２Ａにて共通化を行なう必要が無いので、共通化情報ecomの生成処理を高速化することが可能である。
【０１２７】
なお、本第１変形例においても、画像符号化装置２は、例えば図４１に示すように、局所復号部２４をそなえて、符号化パラメータｅｋをこの局所復号部２４で復号して再生画像信号Ｆｋを得、得られた再生画像信号Ｆｋを参照して符号化部２１Ａが符号化を行なうタイプのものにしてもよく、この場合も、上記と同様の作用効果が得られるほか、このタイプの画像符号化装置２に特有の利点も得られる。
【０１２８】
（Ｃ）第２変形例の説明
図４２は上述した実施形態の第２変形例を示すブロック図であるが、この図４２に示す画像符号化・復号システム１は、図１に示すものに比して、多重化復号部３１および誤り検出／訂正部３２に代えて、多重化分離部３１１，誤り検出／訂正部３１２及び多重化変換部３１３をそなえた多重化復号部３１Ａが設けられている点が異なる。
【０１２９】
ここで、多重化復号部３１Ａにおいて、多重化分離部（受信部）３１１は、伝送路４を通じて画像符号化装置２（多重化部２３）から伝送されてくるビット列〔符号化パラメータｅｋ′（ek1 ′,..., ekx ′) および共通化情報ecom′〕を受信して、少なくとも符号化パラメータｅｋ′を多重化分離することにより、多重化復号前の符号化パラメータ（多重化符号化値） muxek′(muxe1′,...,muxex′) （可変長符号もしくは固定長符号）を得るものである。なお、共通化情報ecom′については、誤り検出／訂正部３１２が参照できる状態であれば、多重化分離してもしなくてもどちらでもよい。
【０１３０】
また、誤り検出／訂正部３１２は、共通化情報ecom′を用いて、同じ値をもつべき多重化符号化値 muxek′のビット〔もしくは値（符号）そのもの〕を比較することにより、多重化符号化値 muxek′の誤りを検出し、その誤りを訂正して、多重化符号化値 muxek″を得るものであり、多重化変換部３１３は、この誤り検出／訂正部３１２で誤り訂正された多重化符号化値 muxek″を元の符号化パラメータｅｋ′に変換することにより多重化復号するものである。
【０１３１】
つまり、本第２変形例の画像復号装置３は、前述したように多重化復号後の符号化パラメータ（値）ｅｋ′に対して誤り訂正を施すのではなく、多重化復号前の多重化符号化値 muxek′に対してビット単位（ビット単位が無理な場合は値そのものの単位）で誤り訂正を施すことができるようになっているのである。
以下、上述のごとく構成された本第２変形例の多重化復号部３１Ａの動作について、図４３に示すフローチャート（ステップＭ１〜Ｍ５）を参照しながら詳述する。
【０１３２】
まず、多重化復号前（途中）の、共通化を行なった単位ｎブロックの符号化パラメータｅｋ′の多重化符号化値をmuxek ′、誤り訂正した符号化パラメータｅｋ′の多重化復号値をｅｋ″、（多重化復号した）共通化情報をecom′とすると（ステップＭ１）、多重化分離部３１１が、受信ビット列の多重化分離を行なって、多重化符号化値 muxek′および共通化情報ecom′を得る（ステップＭ２）。
【０１３３】
そして、誤り検出／訂正部３１２では、同じ符号化パラメータｅｋ′をもつべき多重化符号化値 muxek′（共通化情報ecom′から特定できる) が誤りの存在しない状態でそれぞれ同一のビット値をもつならば〔同じ符号化パラメータｅｋ′に対して同じ可変長（又は固定長）符号化を行なっているならば〕、多重化符号化値 muxek′(k1),...,muxek′(ku)はビット毎の比較が可能であるので、多重化符号化値 muxek′(k1),...,muxek′(ku)をビット毎に比較（ビット毎が不可能な場合は値をそのまま比較）する（ステップＭ３）。
【０１３４】
この比較の結果、他と異なるビット（または値）が有れば、そのビット（または値）は誤っているものとして、ビット毎に正しいビット、あるいは正しい値を選択し、誤り訂正した多重化符号化値 muxek″を得る（ステップＭ４）。そして、得られた多重化符号化値 muxek″は、多重化変換部３１３において多重化復号されて、多重化復号値ｅｋ″が得られる（ステップＭ５）。
【０１３５】
具体的には、例えば図４４に示すように、多重化分離部３１１にて多重化分離された同一値をもつべき多重化符号化値 muxek′(k1),...,muxek′(ku)が受信されると（ステップＭ６）、その多重化符号化値 muxek′(k1),...,muxek′(ku)をビット毎に検査（比較）して、誤り訂正符号による誤りが発見されなかったもののうち、一番発生頻度が高い値（０か１）を、誤り訂正後の多重化符号化値 muxek″(k1),...,muxek″(ku)の値とする（ステップＭ７）。
【０１３６】
なお、ビット毎ではなく、多重化符号化値muxek ′そのものを検査するには、図３０もしくは図３１に示したフローチャート（アルゴリズム）おいて、符号化パラメータｅｋ′を多重化符号化値muxek ′に置き換えたアルゴリズムを実行すればよい。
以上のように、本第２変形例における画像符号化・復号システム１によれば、画像復号装置３において、多重化復号後の符号化パラメータ（値）ｅｋ′に対して誤り訂正を施すのではなく、多重化復号前の多重化符号化値 muxek′に対してビット単位で（他のビットの誤りと切り離して）誤り訂正を施すことができるので、図１により前述したシステム１と同様の作用効果が得られるほか、誤り訂正の効率が向上するという利点が得られる。
【０１３７】
ところで、上述した誤り検出／訂正部３１２においても、前述した誤り検出／訂正部３２（図１参照）と同様に、共通化情報ecom′（もしくは、ブロック番号情報block ）の信頼性を判定して、信頼性が低い場合には、信頼性の低い部分を推定・復元することができる。ただし、信頼性の低い部分の推定・復元方法については、図３３〜図３７により前述した方法おいて、符号化パラメータｅｋ′を多重化符号化値muxek ′に置き換えればよいだけであるので、ここでは、その詳細な説明は省略し、信頼性の判定方法についてのみ説明する。
【０１３８】
即ち、誤り検出／訂正部３１２は、例えば図４５（ａ）に示すように、受信したパラメータ（共通化情報ecom′もしくはブロック番号情報block ) を param′(k1),...,param′(kn)、受信パラメータ param′(k1),...,param′(kn)の発生頻度についての閾値をｔｈａとすると（ステップＨ１）、受信パラメータ param′(k1),...,param′(kn)をビット毎に検査して、誤り訂正符号による誤りが発見されなかったものの発生頻度ＥＡ（０か１）を調べる（ステップＨ２′）。
【０１３９】
そして、誤り検出／訂正部３１２は、調べた発生頻度ＥＡと全パラメータ param′(k1),...,param′(kn)の発生頻度の総数ＥＴとの差が或る閾値ｔｈａよりも小さければ、信頼性が低いと判定する（ステップＨ３′）。なお、このステップＨ３′では、図４５（ｂ）に示すステップＨ３″を行なってもよい。即ち、この場合は、発生頻度ＥＡの、全パラメータ param′(k1),...,param′(kn)の発生頻度の総数ＥＴに占める割合（ＥＡ／ＥＴ）が或る閾値ｔｈａを超えたら、信頼性が低いと判定する。
【０１４０】
これにより、本第２変形例においても、誤り訂正処理の信頼性が向上し、画像データの復号処理の信頼性が向上する。
なお、本第２変形例では、図４２に示す画像符号化装置２は、図１により前述したものと同じタイプ（基本タイプ）のものになっているが、例えば、図４６に示すように局所復号部２４をそなえたタイプ、図４７に示すように符号化時点で既に共通化された符号化パラメータｅｋが得られるタイプ、図４８に示すように、図４７に示す構成にさらに局所復号部２４を付加したタイプのいずれを適用することも可能である。そして、いずれのタイプを適用しても、上記と同様の作用効果が得られるとともに、前述したような各タイプに特有の利点が得られる。
【０１４１】
（Ｄ）第３変形例の説明
図４９は前述した実施形態の第３変形例を示すブロック図であるが、この図４９に示す画像符号化・復号システム１は、図１に示すものに比して、画像符号化装置２に、蓄積部２５，通知受信／再伝送部２６及び再伝送送信部２７が設けられるとともに、画像復号装置３に、蓄積部３４，通知部３５及び再伝送受信部３６が設けられ、これらの各部２５〜２７及び３４〜３６によって、誤り検出／訂正部３２で誤り訂正不可能な符号化パラメータｅｋ′があったときの情報の再伝送を行なう再伝送部６が形成されている点が異なる。
【０１４２】
ここで、画像復号装置３において、蓄積部３４は、誤り検出／訂正部３２にて、前述したように誤りの検出／訂正を行なって正しい値を得ようとしても、符号化パラメータｅｋ′等の或る情報について誤っていると判定された部分が多すぎて信頼性が低く、そのままでは復号部３３で復号不可能になるような場合に、誤り検出／訂正部３２で受信された情報を棄却せずに蓄積するためのものである。
【０１４３】
また、通知部（再送出要求部）３５は、上記ように誤り検出／訂正部３２において復号不可能と判断された場合に、画像符号化装置２側へその旨を通知するためのものであるが、ここでは、誤り検出／訂正部３２において誤り訂正不可能な符号化パラメータｅｋ′の再誤り訂正に必要な情報についてのみを再伝送してもらうための要求（再送出要求）画像符号化装置２に行なうようになっている。なお、この要求（通知）は、伝送路４を通じて行なってもよいし、再伝送専用の伝送路（有線でも無線でもよい）、あるいは、通知専用の伝送路（有線でも無線でもよい）を通じて行なってもよい。
【０１４４】
再伝送受信部３６は、この通知部３５の通知によって画像符号化装置２から再伝送されてくる情報を受信するものである。
一方、画像符号化装置２において、蓄積部２５は、通知部３４からの通知に応じていつでも再伝送を行なえるように、符号化パラメータｅｋや共通化情報ecomを蓄積しておくものであり、通知受信／再伝送部２６は、上記の通知部３５からの通知（要求）を受信するとともに、その要求に応じた情報を蓄積部２５から読み出して再伝送送信部２７へ出力するものである。
【０１４５】
そして、再伝送送信部（再送出部）２７は、この通知受信／再伝送部２６から受信された情報、つまり、画像復号装置３の通知部３５からの要求に応じた情報のみを画像復号装置３へ送信（再送出）するものである。なお、この情報の送信も、伝送路４を使用して行なってもよいし、専用の伝送路（有線でも無線でもよい）を通じて行なってもよい。
【０１４６】
以下、上述のごとく構成された本第３変形例の画像符号化・復号システム１の動作について詳述する。ただし、再伝送部６以外の部分（図１中に示す符号と同一符号を付した部分）は、それぞれ、図１により前述したものと同一もしくは同様のものであるので、それらの動作については省略し、以下では、再伝送部６に着目した動作について、図５０に示すフローチャート（ステップＮ１〜Ｎ７）を参照しながら説明する。
【０１４７】
まず、誤り検出／訂正部３２において、誤り訂正の結果、信頼性が低く復号不可能な情報（符号化パラメータｅｋ′）が検出されると（ステップＮ１）、その情報が蓄積部３４に蓄積される（使用しないなら蓄積しなくてもよい）。なお、誤り訂正可能であった情報については復号部３３に出力されている。ここで、誤り検出／訂正部３２において全ての情報について誤り訂正が可能であった場合、あるいは、通知部３５による通知が所定回数を超えている場合、もしくは、伝送路４〔又は再伝送（通知）専用の伝送路〕の伝送容量に余裕が無い場合、または、誤り検出／訂正部３２の誤り検出／訂正処理能力に余裕が無い場合には、通知部３５による通知は行なわずに処理を終える（ステップＮ２）。
【０１４８】
なお、伝送路４〔又は再伝送（通知）専用の伝送路〕に余裕がない場合とは、所定のビットレートを使い切っており、回線が混雑するなどして再伝送に時間がかかる場合等であり、処理能力に余裕が無い場合とは、蓄積部３４の容量に余裕が無い場合や復号部３３における遅延が大きくて実用的な画像通信に耐えられない場合等である。
【０１４９】
次に、誤り訂正（復号）不可能な情報が存在する場合には、その情報の種類（符号化パラメータｅｋや共通化情報ecom，グループ番号，ブロック番号，誤りビットの位置など）を通知部３５に通知し（ステップＮ３）、通知部３５は、再伝送してほしい情報（一部分または全て）のみを画像符号化装置２（通知受信／再伝送部２６）に要求する（ステップＮ４）。
【０１５０】
通知受信／再伝送部２６は、この要求を受けると、必要な情報を蓄積部２５から取り出して再伝送送信部２７に出力する（ステップＮ５）。再伝送送信部２７は、受け取った情報を画像復号装置３（再伝送受信部３６）を伝送する（ステップＮ６）。再伝送受信部３６は、受信した再伝送情報を誤り検出／訂正部３２へ出力する。誤り検出／訂正部３２は、この再伝送情報及び蓄積部３４に蓄積された情報を用いて（あるいは再伝送情報のみを用いて）、再度、誤り検出／訂正処理を行ない（ステップＮ７）、上記のステップＮ２にて上述したような条件が満足されるまで、最初（ステップＮ１）からの処理を繰り返す。
【０１５１】
これにより、誤り訂正不可能な情報量が大幅に削減されるので、復号部３３において復号不可能な情報量も大幅に削減され、この結果、極めて高品質な再生画像信号Ｆｋ′を得ることができる。また、本第３変形例では、情報の再伝送を必要とする場合にも、必要最小限の情報のみを再伝送するので、再伝送情報量を大幅に削減して、伝送路４〔又は再伝送（通知）専用の伝送路〕の帯域の有効利用に大いに寄与する。
【０１５２】
なお、本第３変形例でも、図４９に示す画像符号化装置２は、例えば、図５１に示すように局所復号部２４をそなえたタイプ、図５２に示すように符号化時点で既に共通化された符号化パラメータｅｋが得られるタイプ、図５３に示すように、図５２に示す構成にさらに局所復号部２４を付加したタイプのいずれを適用することも可能である。そして、いずれのタイプを適用しても、上記と同様の作用効果が得られるとともに、前述したような各タイプに特有の利点が得られる。
【０１５３】
また、図４９に示す画像復号装置３は、上記の各タイプの画像符号化装置２に対して、例えば図５４〜図５７に示すように、符号化パラメータｅｋ′そのものではなく多重化分離後の多重化符号化値 muxek′に対して誤り検出／訂正を行なう多重化復号部３１Ａをそなえたタイプのものにしてもよく、この場合は、さらに、このタイプの多重化復号装置３に特有の利点が得られる。
【０１５４】
なお、画像復号装置３をこのように多重化復号部３１Ａをそなえたタイプのものにした場合、前述したようにビット毎（あるいは値そのもの）の検査を行なうことができるので、上述した再伝送処理は例えば図５８に示すようにして行なうことができる。
即ち、誤り訂正不可能な情報があった場合、誤り検出／訂正部３１２が、その情報の種類と誤りビットの番号（位置情報）を通知部３５に通知する（ステップＰ１）。すると、通知部３５は、要求のあった情報の種類と誤りビットの位置情報とを単体（ビット毎）あるいは複数ビットまとめて、識別情報（要求番号）７を付けて画像符号化装置２（通知受信／再伝送部２６）側へ要求（伝送）する（ステップＰ２）。
【０１５５】
そして、画像符号化装置３では、この要求が通知受信／再伝送部２６で受信されると、要求された情報を蓄積部２５から取り出して再伝送送信部２７へ出力し、再伝送送信部２７にて、通知部３５から要求された情報の識別情報７と同じ識別情報７を付けて画像復号装置３へ情報の再伝送を行なう（ステップＰ３）。従って、この場合は、ビット毎に再誤り訂正に必要な情報を伝送することができるので、再伝送時の伝送情報量をさらに削減することができる。なお、値そのものを検査する場合は、再伝送対象のビットが値になるだけで、上記と同様の手順である。
【０１５６】
（Ｅ）その他
上述した実施形態及び各変形例では、いずれも、画像符号化装置２で符号化した画像データを伝送路４を通じて画像復号装置３へ伝送し画像復号装置３において符号化された画像データを再生する、画像通信システム１を例にして説明したが、例えば図５９に示すように、画像符号化装置２で符号化（圧縮）した画像データを蓄積媒体８に蓄積しておき、必要に応じてこの蓄積媒体８に蓄積された画像データを適宜に読み出して再生するようなシステム１′（例えば、１つのパーソナルコンピュータで画像データを圧縮して蓄積しておき、必要に応じて復号・再生するような場合）でも、上述した実施形態及び各変形例と同様の作用効果が得られる。
【０１５７】
即ち、このようなシステム１′の場合、蓄積媒体８に情報（符号化パラメータｅｋ）を蓄積するときや蓄積媒体８から情報を読み出すときなどに、情報に誤りが生じる可能性があるが、この場合も、上述した実施形態及び各変形例と同様に、共通化情報ecomによりその誤りを効率良く訂正することができるので、誤り耐性を大幅に向上させることができ、極めて高品質な再生画像を得ることができる。
【０１５８】
なお、図５９では蓄積媒体８と蓄積部２５とが個別に設けられているが、これらの蓄積媒体８と蓄積部２５とにそれぞれ蓄積される情報の内容は、多重化部２３を通したか通さないかの違いだけであるので、図６０に示すように蓄積媒体８′として共通化した方が、装置規模を縮小することができる。ただし、この場合、再伝送する情報については多重化されてなくてよいので、再伝送部６に多重化復号部３２と同様の機能をもった多重化復号部２８が必要になる（画像符号化装置２，画像復号装置３のいずれに設けてもよい）。
【０１５９】
また、図５９及び図６０にはいずれも第３変形例にて前述した再伝送部６が設けられている場合の構成を示しているが、勿論、再伝送部６が設けられていないタイプのシステムでも同様である。
さらに、この場合も、図５９に示す画像符号化装置２には、例えば、前記の局所復号部２４をそなえたタイプ（例えば、図５１参照）、符号化時点で既に共通化された符号化パラメータｅｋが得られるタイプ（例えば、図５２参照）、このタイプにさらに局所復号部２４を付加したタイプ（例えば、図５３参照）のいずれを適用することも可能であるし、画像復号装置３には、多重化分離後の多重化符号化値 muxek′に対して誤り検出／訂正を行なう多重化復号部３１Ａをそなえたタイプ（例えば、図５４〜５７参照）のものを適用することが可能である。
【０１６０】
また、上述したシステム１（１′）では、いずれも、説明の便宜上、画像符号化装置２及び画像復号装置３がそれぞれ符号化専用及び復号専用の装置として構成されている場合を例にしているが、実際には、例えば図６１に示すように、相互に対向して設けられた画像伝送装置２Ａ，３Ａに、それぞれ、上述した画像符号化装置２及び画像復号装置３が設けられて、各画像伝送装置２Ａ，３Ａが画像符号化・復号装置として符号化及び復号の両機能を有しているのが通常である。
【０１６１】
即ち、この場合も、各画像伝送装置２Ａ，３Ａは、それぞれ、画像符号化装置２として、符号化部２１（又は２１Ａ），共通化部２２（又は２２Ａ）及び多重化２３をそなえ、画像復号装置３として、多重化復号部３１（又は３１Ａ），誤り検出／訂正部３２及び復号部３３をそなえ、対向する画像伝送装置３Ａ，２Ａの共通化部２２（又は２２Ａ）で生成されて伝送されてくる共通化情報ecom′を用いて符号化パラメータｅｋ′の誤り訂正を行なう。
【０１６２】
さらに、上述したシステム１（１′）では、画像符号化装置２に共通化情報ecomを送信するための機能（多重化部２３）が設けられ、画像復号装置３に共通化情報ecom′を受信するための機能（多重化復号部３１，多重化分離部３１１）が設けられているが、本発明はこれに限定されず、少なくとも、画像復号装置３が共通化情報ecom′を共通化部２２（２２Ａ）から受け取ることができるような構成になっていればよい。
【０１６３】
そして、本発明は上述した実施形態及び各変形例に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することができる。
【０１６４】
【発明の効果】
以上詳述したように、本発明によれば、画像データを或るブロック単位で符号化したときに、どのブロックが同じ符号化情報を有しているかを表す共通情報を生成して復号側へ提供するので、復号側では、復号すべき符号化情報に誤りがあっても、上記の共通情報から誤りのある符号化情報がどのブロックの符号化情報と同じであるかを認識し、他ブロックの符号化情報を用いて誤りを訂正することができる。従って、符号化情報の誤りに対する耐性が大幅に向上し、高精度な復号処理を行なうことができ、これにより、常に、再生画像の画質の悪化を最小限に抑えて、高品質な再生画像を得ることができる（請求項１，３，４，１１，１６〜１８）。
【０１６５】
ここで、符号化側において、上記の共通情報を、複数ブロックでの符号化情報の発生頻度についてのヒストグラムを作成し、このヒストグラムにおいて発生頻度が所定値以下の符号化情報を粗く量子化してゆく、あるいは、そのヒストグラムにおいて近隣の符号化情報に修正してゆく、もしくは、近隣ブロックの符号化情報に修正してゆくことにより、符号化情報の共通化を行なって生成するようにすれば、同じ符号化情報を有するブロック数を増やして異なる符号化情報の送出量を削減することができるので、符号化情報の誤りに対する耐性をさらに向上させることができる（請求項５〜７）。
【０１６６】
また、符号化側からは、同じ符号化情報を有するブロックを複数のパケットデータに分散して送出するようにすれば、同じ符号化情報を有するブロックが誤り等によりまとめて欠落してしまう確率が大幅に低減されるので、上記の誤り訂正を確実に行なうことができ、復号側での復号処理の信頼性の向上に大いに寄与する（請求項８）。
【０１６７】
さらに、符号化側からは上記の共通情報を複数回送出するようにすれば、復号側が共通情報を正常に受け取れないといった状況の発生確率を大幅に低減することができるので、復号側では、上記の共通化情報に基づく誤り訂正を確実に行なうことができ、これにより、復号処理の信頼性を大幅に向上させることができる（請求項９）。
【０１６８】
また、復号側において誤り訂正不可能な符号化情報があった場合は、その符号化情報の再誤り訂正に必要な情報についての再送出要求を符号化側に行ない、符号化側からはその要求のあった情報のみを復号側へ再送出するようにすれば、誤り訂正能時の再送出情報量を大幅に削減することができる（請求項２，１０，１５）。
【０１６９】
さらに、上記の誤り訂正は、符号化情報に誤りのあることが予め分かっている場合、上記の共通情報に基づいて誤りのある符号化情報と同じ符号化情報を有する他のブロックを特定し、そのブロックの符号化情報を上記誤りのあるブロックの符号化情報として出力することによって行なえば、極めて簡易な処理で確実に実現することができる（請求項１２）。
【０１７０】
また、符号化情報に誤りのあることが予め分からない場合は、上記の共通情報に基づいて同じ符号化情報を有するべき複数のブロックを特定し、これらの複数のブロックの各符号化情報を比較することによって誤りを検出してその誤りを訂正するようにすれば、符号化情報に誤りのあることが予め分からない場合にも確実に対応することができる（請求項１３）。
【０１７１】
さらに、誤り訂正の際、共通情報またはブロックの識別情報もしくはその両方の信頼性を判定し、信頼性の低い情報についてはその信頼性の低い情報以外の情報から正しい情報を推定するようにすれば、誤り訂正処理の精度や信頼性を大幅に向上させることができる（請求項１４）。
【図面の簡単な説明】
【図１】本発明の一実施形態としての画像通信システム（画像符号化・復号システム）の構成を示すブロック図である。
【図２】（ａ）〜（ｄ）はいずれも本実施形態の画像符号化装置において共通化を行なう単位ブロックを説明するための図である。
【図３】本実施形態の画像符号化装置における共通化部の動作を説明するためのフローチャートである。
【図４】（ａ）は或るブロックの符号化パラメータ値の一例を示す図であり、（ｂ）は対応するブロック番号の一例を示す図である。
【図５】（ａ）は本実施形態にかかる共通化情報の一例を示す図であり、（ｂ）は本実施形態にかかる多重化共通化情報の一例を示す図である。
【図６】本実施形態の共通化部の詳細動作を説明するためのフローチャートである。
【図７】図６に示すフローチャートの変形例を説明するための図である。
【図８】図６に示すフローチャートの変形例を説明するための図である。
【図９】本実施形態の共通化部の詳細動作の具体例を説明するためのフローチャートである。
【図１０】本実施形態の共通化部の詳細動作の他の具体例を説明するためのフローチャートである。
【図１１】本実施形態の共通化部の詳細動作の他の具体例を説明するためのフローチャートである。
【図１２】（ａ），（ｂ）はいずれも本実施形態の共通化部による発生頻度ヒストグラムの作成例を説明するための図である。
【図１３】本実施形態の共通化部の他の詳細動作を説明するためのフローチャートである。
【図１４】（ａ）は本実施形態にかかる共通化情報の一例を示す図であり、（ｂ）は（ａ）を基にしたパケット作成時の処理を説明するための図である。
【図１５】本実施形態の共通化部の他の詳細動作を説明するためのフローチャートである。
【図１６】本実施形態の共通化部の他の詳細動作を説明するためのフローチャートである。
【図１７】本実施形態にかかる或るブロックの符号化パラメータ値の一例を示す図である。
【図１８】（ａ）〜（ｄ）はいずれも図１７に示すブロックに対するブロック分割処理を説明するための図である。
【図１９】本実施形態のブロック分割処理により得られる共通化情報の一例を示す図である。
【図２０】本実施形態の画像符号化装置における多重化部の動作を説明するためのフローチャートである。
【図２１】本実施形態の多重化部の詳細動作を説明するためのフローチャートである。
【図２２】本実施形態にかかる多重化共通化情報の他の一例を示す図である。
【図２３】（ａ），（ｂ）はいずれも本実施形態の多重化部の動作を説明するための図である。
【図２４】本実施形態の多重化部の詳細動作を説明するためのフローチャートである。
【図２５】本実施形態の多重化部の動作を説明するための図である。
【図２６】本実施形態の多重化部の動作を説明するための図である。
【図２７】本実施形態の多重化部の動作を説明するための図である。
【図２８】本実施形態の画像復号装置における多重化復号部の動作を説明するためのフローチャートである。
【図２９】本実施形態の画像復号装置における誤り検出／訂正部の動作を説明するためのフローチャートである。
【図３０】本実施形態の誤り検出／訂正部の動作を説明するためのフローチャートである。
【図３１】本実施形態の誤り検出／訂正部の動作を説明するためのフローチャートである。
【図３２】本実施形態の誤り検出／訂正部による信頼性判定処理を説明するためのフローチャートである。
【図３３】本実施形態の誤り検出／訂正部による情報推定処理を説明するためのフローチャートである。
【図３４】本実施形態の誤り検出／訂正部による情報推定処理を説明するための図である。
【図３５】本実施形態の誤り検出／訂正部による情報推定処理を説明するための図である。
【図３６】本実施形態の誤り検出／訂正部による他の情報推定処理を説明するためのフローチャートである。
【図３７】本実施形態の誤り検出／訂正部による情報推定処理を説明するための図である。
【図３８】図１に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図３９】本実施形態の画像符号化・復号システムの第１変形例を示すブロック図である。
【図４０】第１変形例における画像符号化・復号システムの共通化部の動作を説明するためのフローチャートである。
【図４１】図４０に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図４２】本実施形態の画像符号化・復号システムの第２変形例を示すブロック図である。
【図４３】第２変形例の画像符号化・復号システムの多重化復号部の動作を説明するためのフローチャートである。
【図４４】第２変形例における画像符号化・復号システムの多重化復号部の動作を説明するためのフローチャートである。
【図４５】（ａ），（ｂ）はいずれも第２変形例の多重化復号部における信頼性判定処理を説明するためのフローチャートである。
【図４６】図４２に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図４７】図４２に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図４８】図４２に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図４９】本実施形態の画像符号化・復号システムの第３変形例を示すブロック図である。
【図５０】第３変形例における画像符号化・復号システムの再伝送部の動作を説明するためのフローチャートである。
【図５１】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５２】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５３】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５４】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５５】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５６】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５７】図４９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図５８】図５４〜図５７に示す画像符号化・復号システムにおける再伝送の動作を説明するためのフローチャートである。
【図５９】符号化後の画像データを蓄積する場合の画像符号化・復号システムの構成例を示すブロック図である。
【図６０】図５９に示す画像符号化・復号システムの他の構成例を示すブロック図である。
【図６１】 本発明の一実施形態としての画像符号化・復号装置の構成を示すブロック図である。
【図６２】従来の画像通信システム（画像符号化・復号システム）の基本構成を示すブロック図である。
【図６３】図６１に示す画像符号化・復号システムの変形例を示すブロック図である。
【図６４】従来の画像符号化・復号システムにおける多重化部の出力例を示す図である。
【図６５】従来の画像符号化・復号システムの要部の構成例を示すブロック図である。
【図６６】図６４に示す符号化部の構成例を示すブロック図である。
【図６７】図６４に示す多重化部の機能を説明するための図である。
【図６８】ビデオパケットのフォーマット例を示す図である。
【符号の説明】
１ 画像通信システム（画像符号化・復号システム）
２ 画像符号化装置
３ 画像復号装置
２Ａ，３Ａ 画像伝送装置（画像符号化・復号装置）
４ 伝送路
５ 共通化情報（共通情報）
６ 再伝送部
７ 識別情報（要求番号）
８，８′ 蓄積媒体
２１，２１Ａ 符号化部
２２，２２Ａ 共通化部（共通情報生成部）
２３ 多重化部（送出部）
２４ 局所復号部
２５，３４ 蓄積部
２６ 通知受信／再伝送部
２７ 再伝送送信部（再送出部）
３１ 多重化復号部（受信部）
３１Ａ 多重化復号部
３２，３１２ 誤り検出／訂正部
３３ 復号部
３５ 通知部（再送出要求部）
３６ 再伝送受信部
３１１ 多重化分離部（受信部）
３１３ 多重化変換部
Claims (18)
- 画像データを符号化する画像符号化装置と、該画像符号化装置で符号化された画像データを復号して再生する画像復号装置とをそなえた画像符号化・復号システムにおいて、
該画像符号化装置が、
該画像データを１つ以上の画素から成るブロック単位で符号化することにより、該ブロックについて所定の符号化情報を得る符号化部と、
該符号化部により得られた複数ブロックについての符号化情報のうち、どのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成部とをそなえるとともに、
該画像復号装置が、
該画像符号化装置の該共通情報生成部で生成された該共通情報に基づいて該符号化情報の誤りを訂正する誤り訂正部と、
該誤り訂正部により誤り訂正された符号化情報を復号して該画像データを再生する復号部とをそなえていることを特徴とする、画像符号化・復号システム。 - 該画像復号装置が、
該誤り訂正部において誤り訂正不可能な符号化情報の再誤り訂正に必要な情報について再送出要求を該画像符号化装置に行なう再送出要求部をそなえるとともに、
該画像符号化装置が、
該画像復号装置の該再送出要求部からの該再送出要求に応じた情報のみを該画像復号装置へ再送出する再送出部をそなえていることを特徴とする、請求項１記載の画像符号化・復号システム。 - 画像データを１つ以上の画素から成るブロック単位で符号化することにより、該ブロックについて所定の符号化情報を得る符号化ステップと、
該符号化ステップにより得られた複数ブロックについての符号化情報のうち、どのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成ステップと、
該共通情報生成ステップで生成された該共通情報に基づいて該符号化情報の誤りを訂正する誤り訂正ステップと、
該誤り訂正ステップにより誤り訂正された符号化情報を復号して該画像データを再生する復号ステップとをそなえて成ることを特徴とする、画像符号化・復号方法。 - 画像データを１つ以上の画素から成るブロック単位で符号化することにより、該ブロックについて所定の符号化情報を得る符号化部と、
該符号化部により得られた複数ブロックについての符号化情報のうち、どのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成部と、
少なくとも該共通情報生成部で生成された該共通情報を画像復号装置へ送出する送出部とをそなえていることを特徴とする、画像符号化装置。 - 該共通情報生成部が、
複数ブロックでの符号化情報の発生頻度についてのヒストグラムを作成し、当該ヒストグラムにおいて該発生頻度が所定値以下の符号化情報を粗く量子化してゆくことにより、該符号化情報の共通化を行なって、該共通情報を生成するように構成されていることを特徴とする、請求項４記載の画像符号化装置。 - 該共通情報生成部が、
複数ブロックでの符号化情報の発生頻度についてのヒストグラムを作成し、当該ヒストグラムにおいて該発生頻度が所定値以下の符号化情報を当該ヒストグラムにおいて近隣の符号化情報に修正してゆくことにより、該符号化情報の共通化を行なって、該共通情報を生成するように構成されていることを特徴とする、請求項４記載の画像符号化装置。 - 該共通情報生成部が、
複数ブロックでの符号化情報の発生頻度についてのヒストグラムを作成し、当該ヒストグラムにおいて該発生頻度が所定値以下の符号化情報を近隣ブロックの符号化情報に修正してゆくことにより、該符号化情報の共通化を行なって、該共通情報を生成するように構成されていることを特徴とする、請求項４記載の画像符号化装置。 - 該送出部が、
同じ符号化情報を有するブロックを複数のパケットデータに分散して送出するように構成されていることを特徴とする、請求項４〜７のいずれか１項に記載の画像符号化装置。 - 該送出部が、
該共通情報を複数回送出するように構成されていることを特徴とする、請求項４〜７のいずれか１項に記載の画像符号化装置。 - 画像復号装置から誤り訂正不可能な符号化情報の再誤り訂正に必要な情報についての再送出要求を受けると、当該再送出要求に応じた情報のみを該画像復号装置へ再送出する再送出部をそなえていることを特徴とする、請求項４〜９のいずれか１項に記載の画像符号化装置。
- 画像符号化装置において画像データを１つ以上の画素から成るブロック単位で符号化することにより該ブロックについて所定の符号化情報が得られるとともに複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報が得られる場合に、少なくとも、該共通情報を該画像符号化装置から受信する受信部と、
該受信部で受信された該共通情報に基づいて該符号化情報の誤りを訂正する誤り訂正部と、
該誤り訂正部により誤り訂正された符号化情報を復号して該画像データを再生する復号部とをそなえていることを特徴とする、画像復号装置。 - 該誤り訂正部が、
該符号化情報に誤りのあることが予め分かっている場合は、該共通情報に基づいて当該誤りのある符号化情報と同じ符号化情報を有する他のブロックを特定し、当該他のブロックの符号化情報を上記誤りのあるブロックの符号化情報として出力することにより、該符号化情報の誤りを訂正するように構成されていることを特徴とする、請求項１１記載の画像復号装置。 - 該誤り訂正部が、
該符号化情報に誤りのあることが予め分からない場合は、該共通情報に基づいて同じ符号化情報を有するべき複数のブロックを特定し、当該複数のブロックの各符号化情報を比較することによって誤りを検出して当該誤りを訂正するように構成されていることを特徴とする、請求項１１記載の画像復号装置。 - 該誤り訂正部が、
該共通情報または該ブロックの識別情報もしくは両方の信頼性を判定し、信頼性の低い情報については当該信頼性の低い情報以外の情報から正しい情報を推定するように構成されていることを特徴とする、請求項１１〜１３のいずれか１項に記載の画像復号装置。 - 該誤り訂正部において誤り訂正不可能な符号化情報の再誤り訂正に必要な情報についての再送出要求を画像符号化装置に行なう再送出要求部をそなえていることを特徴とする、請求項１１〜１４のいずれか１項に記載の画像復号装置。
- 画像データを１つ以上の画素から成るブロック単位で符号化することにより、該ブロックについて所定の符号化情報を得る符号化ステップと、
該符号化ステップにより得られた複数ブロックについての符号化情報のうち、どのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成ステップと、
少なくとも該共通情報生成ステップで生成された該共通情報を復号側へ送出する送出ステップとをそなえて成ることを特徴とする、画像符号化方法。 - 画像データを１つ以上の画素から成るブロック単位で符号化することにより該ブロックについて所定の符号化情報が得られるとともに複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているかを表す共通情報が符号化側で得られる場合に、少なくとも、該共通情報を該符号化側から受信する受信ステップと、
該受信ステップで受信した該共通情報に基づいて該符号化情報の誤りを訂正する誤り訂正ステップと、
該誤り訂正ステップにより誤り訂正された符号化情報を復号して該画像データを再生する復号ステップとをそなえて成ることを特徴とする、画像復号方法。 - 画像データを符号化する画像符号化装置と、該画像符号化装置に対向して設けられた画像符号化・復号装置で符号化された画像データを復号して再生する画像復号装置とをそなえた画像符号化・復号装置において、
該画像符号化装置が、
該画像データを１つ以上の画素から成るブロック単位で符号化することにより、該ブロックについて所定の符号化情報を得る符号化部と、
該符号化部により得られた複数ブロックについての符号化情報のうち、どのブロックが同じ符号化情報を有しているかを表す共通情報を生成する共通情報生成部とをそなえるとともに、
該画像復号装置が、
上記の対向する画像符号化・復号装置で生成される、当該画像符号化・復号装置での画像データの符号化により得られた複数ブロックについての符号化情報のうちどのブロックが同じ符号化情報を有しているを表す共通情報に基づいて該符号化情報の誤りを訂正する誤り訂正部と、
該誤り訂正部により誤り訂正された符号化情報を復号して該画像データを再生する復号部とをそなえていることを特徴とする、画像符号化・復号装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31150398A JP3990055B2 (ja) | 1998-10-30 | 1998-10-30 | 画像符号化・復号システムおよび画像符号化・復号方法並びに画像符号化装置および画像復号装置並びに画像符号化方法および画像復号方法並びに画像符号化・復号装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP31150398A JP3990055B2 (ja) | 1998-10-30 | 1998-10-30 | 画像符号化・復号システムおよび画像符号化・復号方法並びに画像符号化装置および画像復号装置並びに画像符号化方法および画像復号方法並びに画像符号化・復号装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000138931A JP2000138931A (ja) | 2000-05-16 |
| JP3990055B2 true JP3990055B2 (ja) | 2007-10-10 |
Family
ID=18018028
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP31150398A Expired - Fee Related JP3990055B2 (ja) | 1998-10-30 | 1998-10-30 | 画像符号化・復号システムおよび画像符号化・復号方法並びに画像符号化装置および画像復号装置並びに画像符号化方法および画像復号方法並びに画像符号化・復号装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3990055B2 (ja) |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7827467B2 (en) * | 2006-01-04 | 2010-11-02 | Nokia Corporation | Method for checking of video encoder and decoder state integrity |
| KR101365444B1 (ko) * | 2007-11-19 | 2014-02-21 | 삼성전자주식회사 | 영상의 해상도의 조정을 통하여 동영상을 효율적으로부호화/복호화하는 방법 및 장치 |
| TWI686085B (zh) * | 2012-11-29 | 2020-02-21 | 日商索尼半導體解決方案公司 | 攝像裝置及圖像感測器之資料傳送方法、資訊處理裝置及資訊處理方法以及程式 |
-
1998
- 1998-10-30 JP JP31150398A patent/JP3990055B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000138931A (ja) | 2000-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6876705B2 (en) | Systems and methods for decoding of partially corrupted reversible variable length code (RVLC) intra-coded macroblocks and partial block decoding of corrupted macroblocks in a video decoder | |
| JP5007322B2 (ja) | ビデオ符号化方法 | |
| US6339658B1 (en) | Error resilient still image packetization method and packet structure | |
| EP0493128B1 (en) | Image processing apparatus | |
| Apostolopoulos | Error-resilient video compression via multiple state streams | |
| US20070291836A1 (en) | Frame level multimedia decoding with frame information table | |
| EP1793613A2 (en) | Picture encoding method and apparatus and picture decoding method and apparatus | |
| CN1277517A (zh) | 用于视频分组传输的无线通信系统 | |
| KR20050035539A (ko) | 개선된 효율 및 에러 복구를 위한 컨텐츠-적응형의 다수의설명 움직임 보상 방법 | |
| US8300959B2 (en) | Transport stream structure of image data having additional information inserted, and method and apparatus for transmission and reception thereof | |
| WO2003007536A1 (en) | Method for detection and recovery of errors in the frame | |
| EP1501228A1 (en) | Encoded packet transmission/reception method, device thereof, and program | |
| US8199817B2 (en) | Method for error concealment in decoding of moving picture and decoding apparatus using the same | |
| EP1158812A2 (en) | Method for detecting errors in a video signal | |
| US6804299B2 (en) | Methods and systems for reducing requantization-originated generational error in predictive video streams using motion compensation | |
| US20060090118A1 (en) | Coding a data stream with unequal error protection | |
| KR20010108318A (ko) | 동화상 부호화 장치 및 동화상 복호화 장치 | |
| JP3990055B2 (ja) | 画像符号化・復号システムおよび画像符号化・復号方法並びに画像符号化装置および画像復号装置並びに画像符号化方法および画像復号方法並びに画像符号化・復号装置 | |
| US7324698B2 (en) | Error resilient encoding method for inter-frames of compressed videos | |
| EP1303918A1 (en) | Signal coding | |
| US6356661B1 (en) | Method and device for robust decoding of header information in macroblock-based compressed video data | |
| JP2002027483A (ja) | 画像符号化装置、画像復号化装置および記憶媒体 | |
| Katsaggelos et al. | Error resilience and concealment in video coding | |
| US20040258163A1 (en) | Video communication system and video coding method | |
| JP3408957B2 (ja) | 可変長符号化データ伝送装置、送信側装置、受信側装置およびその方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050816 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070608 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070626 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070719 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100727 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110727 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120727 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130727 Year of fee payment: 6 |
|
| LAPS | Cancellation because of no payment of annual fees |