JP2019004360A - 動画像符号化装置及び動画像復号装置 - Google Patents

Abstract

【課題】マルチスペクトル画像を効率的に符号化圧縮伸張して利用することができる動画像符号化装置及び動画像復号回路を提供する。【解決手段】動画像符号化回路１は、ピクチャに含まれる色成分の各々に対応し各々が異なる波長を持つ複数のコンポーネントを含む複数のピクチャを入力し、当該ピクチャの各コンポーネントの符号化に用いる参照画像を自ピクチャ又は参照メモリに含まれる符号化済みのピクチャのコンポーネントの中から探索し、当該探索された参照画像に含まれる画素の情報に基づいて予測画像を生成する予測画像生成部１０と、予測画像生成部１０から出力された予測画像を元にビットストリームを生成する符号化部４０とを備え、予測画像生成部１０は、参照画像が含まれるコンポーネントの情報を示す参照コンポーネントインデックスを出力し、符号化部４０は、当該参照コンポーネントインデックスの情報を含むビットストリームを出力する。【選択図】図２

Description

本発明は動画像符号化装置及び動画像復号装置に関する。

デジタルカメラ、ビデオカメラなどの画像は、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色を用いて、人の目が見る色に近い色を再現して映し出している。また、最近は、ＲＧＢの３原色の他に、赤外線、紫外線などの人の目に見えない光の情報や、ＲＧＢの中の特定の波長を用いて撮影した情報を画像解析して、果物の糖度分析、内臓の病理解析などに役立てる技術が開発されている。

このようなＲＧＢ以外の色成分を多数含むマルチスペクトル画像（「マルチバンド画像」、「マルチチャネル画像」ともいう。）は、画像に含まれるスペクトル数が多くなることから、データ量が多くなる傾向にある。そのため、マルチスペクトル画像を通信などで利用したり、媒体に記録したりするときには、画像データを圧縮し、データを軽量化することが求められる。マルチスペクトル画像を圧縮する方法としては、例えば、特許文献１記載の発明が知られている。

特開２００８−３０１４２８号公報

しかしながら、特許文献１記載の発明では、マルチスペクトル画像を３バンド画像に変換してから圧縮を行っている。このような方法で情報を圧縮すると、又は、変換した３バンド画像を符号化して情報を圧縮すると、マルチスペクトルの全ての情報を活用する場合には、情報が圧縮されないことがあった。

そこで、マルチスペクトル画像を効率的に符号化圧縮伸張して利用することができる動画像符号化装置及び動画像復号装置が望まれていた。
その他の課題と新規な特徴は、本明細書の記述及び添付図面から明らかになるであろう。

一実施の形態によれば、複数のスペクトル（以下、「コンポーネント」という。）を含むピクチャの符号化について、符号化対象であるピクチャ自身、もしくは、既に符号化されたピクチャに含まれるコンポーネントの情報を参照して予測符号化を行い、参照画像が含まれるコンポーネントを指定するインデックス情報をデータストリームの中に含めるようにするものである。なお、以下の記載において、「コンポーネント」とは、ピクチャに含まれる色成分に対応した要素であり、異なる波長のものを意味する。

上記一実施の形態によれば、多数のコンポーネントを含むピクチャを効率的に符号化圧縮伸張して利用することができる動画像符号化装置及び動画像復号装置を提供することができる。

なお、上記実施の形態の装置を、方法やシステムに置き換えて表現したもの、該装置又は該装置の一部の処理をコンピュータに実行せしめるプログラム、該装置を備えたＬＳＩ、車載カメラ、車載周辺監視システム、車載運転補助システム、車載自動運転システム、ＡＲシステム、産業用途映像処理システム、画像処理システムも、本発明の態様として有効である。

ピクチャに含まれる色成分のコンポーネントの波長の分布を示す図である。 実施の形態１に係る動画像符号化回路１の概略構成を示すブロック図である。 実施の形態１に係るピクチャの構成を説明するための図である。 実施の形態１に係る予測画像生成部１０の概略構成を示すブロック図である。 実施の形態１に係る複数のピクチャの参照関係を説明するための図である。 実施の形態１に係るビットストリームの階層構造を説明するための図である。 実施の形態１に係るビットストリームの詳細構造を説明するための図である。 実施の形態１に係る動画像復号回路５の概略構成を示すブロック図である。 実施の形態１に係る半導体装置１００の概略構成を示すブロック図である。 実施の形態３に係るビットストリームの概略構造を説明するための図である。 実施の形態３に係るビットストリームの概略構造を説明するための図である。 実施の形態４に係る予測画像生成部２０の概略構成を示すブロック図である。 実施の形態４に係る動画像復号回路６の概略構成を示すブロック図である。

説明の明確化のために、以下の記載及び図面は、適宜、省略及び簡略化がなされる。また、様々な処理を行う機能ブロックとして図面に記載する各要素は、ハードウェア的には、ＣＰＵ、メモリ、その他の回路で構成することができ、ソフトウェア的には、メモリにロードされたプログラムなどによって実現することができる。

したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、又は、それらの組合せによっていろいろな形で実現できることは当業者に理解されるところであり、いずれかに限定されるものではない。なお、各図面において、同一の要素には同一の符号を付しており、必要に応じて重複説明は省略している。

また、上述したプログラムを、様々なタイプの非一時的なコンピュータ可読媒体（ｎｏｎ−ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）を用いて格納し、コンピュータに供給することができる。

非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（ｔａｎｇｉｂｌｅ ｓｔｏｒａｇｅ ｍｅｄｉｕｍ）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、ＣＤ−ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ ＰＲＯＭ）、フラッシュＲＯＭ、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ））を含む。

また、プログラムを、様々なタイプの一時的なコンピュータ可読媒体（ｔｒａｎｓｉｔｏｒｙ ｃｏｍｐｕｔｅｒ ｒｅａｄａｂｌｅ ｍｅｄｉｕｍ）によってコンピュータに供給してもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び、電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路を介して、又は、無線通信路を介して、プログラムをコンピュータに供給できる。

まず、実施の形態に係る構成がより明確になると思われることから、実施の形態の説明の前に、本発明者らが行った検討について説明する。

図１は、ピクチャに含まれる色成分のコンポーネントの波長の分布を示す図である。
図１では赤（Ｒ）、緑（Ｇ）、青（Ｂ）の３原色のコンポーネントの他に、紫外線や赤外線などの３原色以外のコンポーネントの波長の分布も示されている。３原色のピクチャの符号化を行う場合、通常はＲＧＢの３原色のデータは一旦輝度と色差の２つの成分に変換され、その後、輝度と色差の２つの成分に対してそれぞれ符号化が行われる。

しかし、３原色以外のコンポーネントも含むピクチャの場合、３原色のコンポーネントのみのピクチャの場合とは異なり、各コンポーネントの波長が近接している範囲(例えば、図１のＡの範囲)が存在する。波長の分布が近いコンポーネントは、その性質が似ることが想定される。このため、複数のコンポーネントを含むピクチャにおいては、近隣するコンポーネントの情報を利用して、より効率的に符号化できることを本発明者らは見出した。

以下、各実施の形態について詳細に説明する。
（実施の形態１）
本実施の形態１に係る動画像符号化回路及び動画像復号回路は、直交化されていない色空間（例えば、多数のコンポーネントを含むピクチャ）において、３つを超えるコンポーネントの間での相関を利用して情報を圧縮伸張するもので、具体的には、圧縮したデータであるビットストリーム内に、コンポーネントの数の情報、参照画像が含まれるコンポーネントを示す参照コンポーネントインデックスを含めることで、符号化対象のコンポーネントとは異なる他のコンポーネントからも画像予測を行うことを可能とする。これにより効率的に符号化処理又は復号処理を行うことができる。

なお、動画像符号化回路、動画像復号回路は、それぞれ動画像符号化装置、動画像復号装置の全部又は一部を構成する。
また、以下の記載において、ビット列となって伝送路に出力される状態の圧縮データを「ビットストリーム」と呼ぶ。

まず、本実施の形態１に係る動画像符号化回路の構成及び動作について説明する。
図２は、本実施の形態１に係る動画像符号化回路１の概略構成を示すブロック図である。
動画像符号化回路１は、予測画像生成部１０、符号化部４０などを備える。予測画像生成部１０は外部よりピクチャを入力し、ピクチャがどの予測方法により予測されたかを示す予測方法選択情報ｂ１、予測残差ｂ２、予測を行うための参照画像が含まれたピクチャ情報を示す参照ピクチャ情報ｂ３、参照画像が含まれるコンポーネントを示す参照コンポーネントインデックスｂ４、及び、画面内予測情報ｂ５を出力する。

予測方法には画面間予測と画面内予測の２種類があり、選択された予測方法が予測方法選択情報ｂ１として出力される。本実施の形態１においては、画面間予測には同一ピクチャ内における異なるコンポーネントからの予測も含まれる。入力されるピクチャは、時間的に連続する複数のピクチャであって、各ピクチャは複数のコンポーネントを含む。

符号化部４０は、予測画像生成部１０より出力された情報を可変長符号化し、ビットストリームを生成する。このとき、符号化部４０は、予測画像生成部１０から出力された予測方法選択情報ｂ１、予測残差ｂ２、参照ピクチャ情報ｂ３、参照コンポーネントインデックスｂ４、及び、画面内予測情報ｂ５を符号化して、それらの情報を含むビットストリームを生成する。

符号化部４０は、予測方法が画面内予測であるときは、ビットストリームに画面内予測情報ｂ５、予測方法選択情報ｂ１、予測残差ｂ２を含める。一方、予測方法が画面間予測であるときは、参照ピクチャ情報ｂ３、参照コンポーネントインデックスｂ４、予測残差ｂ２を含める。予測方法が画面内予測である場合、動画像符号化回路１は同ピクチャの同コンポーネントから予測を行う。一方、画面間予測である場合は、動画像符号化回路１は同ピクチャ又は他のピクチャに含まれる、同コンポーネント又は他のコンポーネントから予測を行う。

図３は、本実施の形態１に係るピクチャの構成を説明するための図である。
各ピクチャは、複数のコンポーネントを含み、各コンポーネントにはコンポーネントインデックスが付されている。例えば、ピクチャがＮ個のコンポーネントで構成されている場合には、各コンポーネントには、０〜Ｎ−１のコンポーネントインデックスが付されている。また、複数のコンポーネントの中には、赤色よりも波長が長い波長領域、又は、青色よりも波長が短い波長領域のコンポーネントの少なくとも１つが含まれていても良い。

図４は、本実施の形態１に係る予測画像生成部１０の概略構成を示すブロック図である。
予測画像生成部１０は、画面内予測画像生成部１１、類似画像探索部１２、画面間予測画像生成部１３、選択部１４、減算部１５、周波数変換・量子化部１６、逆周波数変換・逆量子化部１７、加算部１８、画像メモリ１９などを備える。

画面内予測画像生成部１１は、ピクチャを入力し、ピクチャを構成するコンポーネント毎に予測画像を生成する。各ピクチャは、各ピクチャを細分化したマクロブロックや、マクロブロックを更に細分化したサブブロックを符号化対象画像の単位とし、マクロブロックやサブブロック毎に画面内予測を用いて予測画像を生成し、選択部１４に出力する。画面内予測画像の生成方法は、例えば、符号化対象画像の周囲画素の平均値を用いて予測をする方法や、符号化対象画像に隣接する符号化済みの画素を特定の方向にコピーして予測を行う方法などがあるが、これらに限られるものではない。
画面内予測画像生成部１１は、更に、画面内予測に必要な情報(例えば、符号化済みの画素をコピーする方向を示した特定方向情報など)を画面内予測情報ｂ5として符号化部４０に出力する。

類似画像探索部１２は、ピクチャを入力し、ピクチャを構成するコンポーネント毎に、更に、各コンポーネントに含まれる符号化対象画像毎に類似画像を探索する。具体的には、画像メモリ１９に記憶された参照ピクチャ（ローカルデコードピクチャ）の中から、符号化対象画像の符号化予測に利用できる最も類似度が高い類似画像をブロックマッチングなどにより探索することで、類似画像を探索する。類似画像が探索された後は、類似画像の位置情報（例えば、類似画像と符号化対象画像との相対的位置を表したベクトルなど）を含む情報を画面間予測画像生成部１３に出力する。

符号化予測に利用する最も類似度が高い画像領域（画素群）は、符号化対象画像と同じピクチャの、同じピクチャ内位置の、別コンポーネントであることが多い。そして、最も類似度が高いコンポーネントは、ピクチャやピクチャ内位置によって変化する。

そこで、類似画像探索部１２は、符号化対象画像を含むピクチャと同じピクチャの各コンポーネント、及び、符号化対象画像を含むピクチャとは異なるピクチャのコンポーネントについて類似画像を探索する。類似度の計算は絶対値差分の総和（ＳＡＤ）など一般的に用いられる手法で良く、また、レート歪（ＲＤ）最適化などの手法を用いて必要な符号量を考慮に入れても良い。また、類似画像探索部１２は、当該類似画像を含むピクチャを示す参照ピクチャ情報ｂ３と、当該類似画像が含まれるコンポーネントを示す参照コンポーネントインデックスｂ４とを符号化部４０に出力する。なお、探索の結果選ばれた類似画像は、後に予測画像生成のため参照画像として使用される。

図５は、本実施の形態１に係る複数のピクチャの参照関係を説明するための図である。
類似画像探索部１２は、符号化対象画像が属するピクチャ（ピクチャ１）については、各コンポーネントの、既に符号化が終了して画像メモリ１９に記憶されている領域を探索し、また、符号化対象画像が属していないピクチャ（ピクチャ０、２、３）については、既に符号化されて画像メモリ１９に記憶された参照ピクチャの各コンポーネントを探索する。

そして、探索の結果得られた類似画像について、当該類似画像を含んだピクチャの番号を示す参照ピクチャ情報ｂ３（例えば、０、１、２又は３）と、当該類似画像を含んだコンポーネントの情報を示す参照コンポーネントインデックス（例えば、０〜Ｎ−１のいずれか１つ）を符号化部４０に出力する。

再び、図４を参照すると、画面間予測画像生成部１３は、類似画像探索部１２により探索された類似画像の情報（位置を表したベクトル、画素値など）に基づいて、符号化対象画像毎に予測画像を生成する。探索された類似画像は「参照画像」ともいわれ、予測画像の生成に使用される。そして、画面間予測画像生成部１３は、生成した予測画像を選択部１４に出力する。

選択部１４は、画面内予測画像生成部１１から出力された予測画像の符号化対象画像との類似度と、画面間予測画像生成部１３から出力された予測画像の符号化対象画像との類似度とを比較して、より類似度の高い予測画像を生成した予測方法を選択し、選択した予測方法の予測画像を減算部１５及び加算部１８に出力する。また、選択部１４は、予測方法選択情報ｂ１を符号化部４０に出力する。

減算部１５は、入力ピクチャと予測画像との差分を算出して予測残差ｂ２を生成し、周波数変換・量子化部１６に出力する。
周波数変換・量子化部１６は、予測残差ｂ２に周波数変換及び量子化を行い、量子化された予測残差ｂ２、量子化に使用した変換係数を符号化部４０及び逆周波数変換・逆量子化部１７に出力する。

図６は、本実施の形態１に係るビットストリームの階層構造を説明するための図である。
ビットストリームには、例えば、シーケンスレベル、グループオブピクチャ（ＧＯＰ）レベル、ピクチャレベル、スライスレベル、マクロブロックレベル、ブロックレベルなどの階層が存在する。なお、この階層は一例であり、この構成に限定されるものではない。
シーケンスレベルには複数のＧＯＰパラメータ及びＧＯＰデータが含まれており、ＧＯＰレベルには複数のピクチャパラメータ及びピクチャデータが含まれている。スライスレベル、ピクチャレベル、マクロブロックレベル、ブロックレベルについても同様であり、ここでは説明を省略する。

各レベルには、パラメータとデータが含まれる。パラメータは、ビットストリーム中のデータの前にあって、符号化処理に関する設定情報などを含む。例えば、シーケンスパラメータであれば、ピクチャに含まれる画素数、ピクチャの縦と横とのサイズの比を示すアスペクト比、１秒間に再生されるピクチャ数を示すフレーム・レートといった情報が含まれる。
ＧＯＰパラメータには動画と音声とを同期させるための時間情報などが含まれ、ピクチャパラメータにはピクチャのタイプ（Ｉピクチャ、Ｐピクチャ又はＢピクチャ)や動き補償予測に関する情報、ＧＯＰにおける表示順序などの情報が含まれる。マクロブロックパラメータには予測方法(画面間予測又は画面内予測)を示す情報や、更に予測方法が画面間予測である場合には参照するピクチャを示す参照ピクチャ情報ｂ３などの情報が含まれる。

図７は、本実施の形態１に係るビットストリームの構造の説明図であり、図６における符号単位(ブロック)レベルの構成の詳細図である。
コンポーネントパラメータの中には、参照画像が含まれるコンポーネントを示す参照コンポーネントインデックスが含まれる。また、コンポーネントデータの中には、参照コンポーネントインデックスで示した参照画像と予測画像との差分値である予測残差が含まれる。コンポーネントの総数Ｎ（例えば、Ｎは４以上）は、ピクチャレイヤ以上のパラメータ、より具体的にはスライスパラメータ群、ピクチャパラメータ群、ＧＯＰパラメータ群のいずれかの群の中に情報が含まれる。

符号化部４０は、予測方法選択情報ｂ１、予測残差ｂ２、参照ピクチャ情報ｂ４、参照コンポーネントインデックスｂ４、及び、画面内予測情報ｂ５を符号化して、それらの情報を含むビットストリームを生成する。更に、符号化部４０は、予め定められたコンポーネント数の情報を、ビットストリームのピクチャレイヤ以上の階層のパラメータ群のうちいずれかの群の中に含める。ピクチャレイヤ以上の階層のパラメータ群にコンポーネント数の情報を含めることで、動画像復号回路はビットストリームを受け取った際に、コンポーネント数Ｎの情報を取得し、復号に必要なメモリ領域をその大きさを決定して確保することができる。

動画像復号回路は、必要な量だけメモリ領域を確保することができるので、メモリ領域を効率的に使用した復号を行うことができる。また、動画像復号回路はコンポーネント数の情報を取得することで、Ｎ個のコンポーネントを復号し終えたときに、符号化単位の終了を判定することができる。なお、上記ｂ１〜ｂ５の情報はビットストリームに含まれる代表的な情報を述べたものであり、上記以外の情報(例えば、量子化に使用される変換係数や、その他の符号化に必要な設定値)もビットストリームに含まれることはいうまでもない。

逆周波数変換・逆量子化部１７は、量子化に使用した変換係数を使用して、予測残差に逆周波数変換・逆量子化の処理を施し、その処理結果を加算部１８に出力する。
加算部１８は、当該処理結果と予測画像とを加算して、参照画像（ローカルデコードピクチャ）を生成し、画像メモリ１９に出力する。なお、逆周波数変換・逆量子化部１７及び加算部１８の動作も、従来技術のものと同様であって良い。
画像メモリ１９は、参照画像を記憶し、参照画像は他のピクチャの符号化処理に使用される。

このように、多数のコンポーネントを含む画像において、直交化されていないコンポーネント間には相関があることから、本実施の形態１に係る動画像符号化回路１では、圧縮データ内に、コンポーネント数情報、参照画像が含まれるコンポーネントを示す参照コンポーネントインデックスを含めて、符号化対象のコンポーネントとは異なる他のコンポーネントからも画像予測を行うことで、多数のコンポーネントを含むピクチャの効率的な符号化圧縮を可能にしている。

次に、本実施の形態１に係る動画像復号回路の構成及び動作について説明する。
図８は、本実施の形態１に係る動画像復号回路５の概略構成を示すブロック図である。
動画像復号回路５は、符号復号部５１、画像復元部５２などを備えている。また、画像復元部５２は、逆周波数変換・逆量子化部５３、画面内予測画像生成部５４、画面間予測画像生成部５５、選択部５６、加算部５７、画像メモリ５８などを備えている。

符号復号部５１は、ビットストリームを入力して符号復号し、ビットストリームに含まれていたデータのうち、量子化に使用した変換係数と予測残差ｂ２を逆周波数変換・逆量子化部５３に、画面内予測情報ｂ５を画面内予測画像生成部５４に、参照ピクチャ情報ｂ３及び参照コンポーネントインデックスｂ４を画面間予測画像生成部５５に、予測方法選択情報ｂ１を選択部５６にそれぞれ出力する。

逆周波数変換・逆量子化部５３は、量子化に使用した変換係数を用いて予測残差ｂ２に逆周波数変換・逆量子化の処理を施し、その処理結果を加算部５７に出力する。画面内予測画像生成部５４は、画面内予測情報ｂ５に基づいて予測画像を生成する。

画面間予測画像生成部５５は、参照ピクチャ情報ｂ３、参照コンポーネントインデックスｂ４、及び、画像メモリ５８に記憶された参照画像に基づいて、予測画像を生成する。
このとき、画面間予測画像生成部５５が参照する参照画像には、復号対象画像が属するピクチャの各コンポーネントからの参照画像と、復号対象画像が属していないピクチャの各コンポーネントからの参照画像とが含まれる。

選択部５６は、予測方法選択情報ｂ１に基づいて、予測方法選択情報ｂ１の示す予測方法の予測画像が加算部５７に出力されるように選択を行う。
加算部５７は、逆周波数変換・逆量子化の処理結果と予測画像とを加算して、復号画像を生成する。

このように、本実施の形態１に係る動画像復号回路５では、ビットストリームに含まれるコンポーネント数情報、参照画像が含まれるコンポーネントを示す参照コンポーネントインデックスを用いて、符号化対象のコンポーネントとは異なる他のコンポーネントからも画像予測を行うことで、複数のコンポーネントを含む画像の効率的な伸張を可能にしている。

図９は、実施の形態１に係る半導体装置１００の概略構成を示すブロック図である。
半導体装置１００は、外部のカメラ１１０からピクチャを入力するインターフェース回路１０１、外部メモリ１１５とデータの読み書きを行うメモリコントローラ１０２、ＣＰＵ１０３、上記説明した動画像符号化回路1、ビットストリームを外部へ出力するインターフェース回路１０４などを備える。
インターフェース回路１０１は、カメラ１１０より複数のコンポーネントを含んだピクチャを入力する。入力されたピクチャは、メモリコントローラ１０２によって外部メモリ１１５に格納される。

メモリコントローラ１０２はカメラからのピクチャを外部メモリ１１５に格納するほか、ＣＰＵ１０３からの指令に応じて、動画像符号化回路１の処理に必要な画像データや画像管理データを、外部メモリ１１５と動画像符号化回路１との間で転送する。ＣＰＵ１０３は、動画像符号化回路１の制御、メモリコントローラ１０２の転送の制御などを行う。インターフェース回路１０４は、動画像符号化回路１により生成されたビットストリームを、外部の伝送路へ出力する。

なお、図９における半導体装置１００は全て回路で構成されているが、動画像符号化回路１はソフトウェアによって構成されても良い。その場合、動画像符号化回路１はプログラムとして外部メモリ１１５に格納され、ＣＰＵ１０３によって制御される。

以上、説明したように、本実施の形態１に係る動画像符号化回路１は、ピクチャに含まれる色成分の各々に対応し各々が異なる波長を持つ複数のコンポーネントを含む複数のピクチャを入力し、当該ピクチャの各コンポーネントの符号化に用いる参照画像を自ピクチャ又は参照メモリに含まれる符号化済みのピクチャのコンポーネントの中から探索し、当該探索された参照画像に含まれる画素の情報に基づいて予測画像を生成する予測画像生成部１０と、予測画像生成部１０から出力された予測画像を元にビットストリームを生成する符号化部４０とを備え、予測画像生成部１０は、参照画像が含まれるコンポーネントの情報を示す参照コンポーネントインデックスを出力し、符号化部４０は、当該参照コンポーネントインデックスの情報を含むビットストリームを出力するものである。

また、本実施の形態１に係る動画像符号化回路１では、ピクチャに含まれるコンポーネントの数を示す情報を更にビットストリームに含めることが好ましい。
また、本実施の形態１に係る動画像符号化回路１では、ピクチャに含まれるコンポーネントの数Ｎが４以上であることが好ましい。

また、本実施の形態１に係る動画像符号化回路１では、複数のコンポーネントは、赤色よりも波長が長い波長領域のコンポーネント、又は、青色よりも波長が短い波長領域のコンポーネントの少なくとも１つを含むことが好ましい。

また、本実施の形態１に係る動画像復号回路５は、ピクチャに含まれる色成分の各々に対応し、各々が異なる波長を持つ複数のコンポーネントを含む複数のピクチャが符号化されたビットストリームを入力して復号する符号復号部５１と、当該復号された情報に基づいて予測画像を生成し、当該予測画像を用いて画像を復元する画像復元部５２とを備え、符号復号部５１は、ビットストリームから予測画像が含まれるコンポーネントの情報を示す参照コンポーネントインデックスを符号復号し、画像復元部５２は、当該参照コンポーネントインデックスが示すコンポーネントに含まれる画素値を用いて予測画像を生成し、当該予測画像を用いて画像を復元するものである。

また、本実施の形態１に係る動画像復号回路５では、復号された情報として、予測画像が生成された方法を示す予測方法選択情報と、当該予測画像とピクチャの差分である予測残差とを含むことが好ましい。

（実施の形態２）
実施の形態１に係る動画像符号化回路１及び動画像復号回路５は、参照画像を含むコンポーネントの番号を参照コンポーネントインデックスとして設定したが、実施の形態２に係る動画像符号化回路及び動画像復号回路では、参照コンポーネントインデックスを、参照画像を含むコンポーネントの番号と、符号化対象画像を含むコンポーネントの番号とを用いて表現するものである。

実施の形態２では、符号化部４０は、各コンポーネントにその波長の短い方から長い方に向けて（又は、波長の長い方から短い方に向けて）０からＮ−１までのコンポーネント番号を付し、符号化対象画像を含むコンポーネントの番号Ｘに対し、参照コンポーネントインデックスＣＩを

ＣＩ ＝ 参照画像を含むコンポーネントの番号 − Ｘ ・・・式（１）

として表現して符号化する。類似画像を含むコンポーネントを探索するとき、結果として符号化対象画像を含むコンポーネントと波長が近いコンポーネントが選択されることが多い。そこで、式（１）を用いることで、参照コンポーネントインデックスＣＩをより小さな値に割り当てることができ、効率的に符号化することができる。なお、式（１）を用いると参照コンポーネントインデックスＣＩは負の値も取りうるが、例えば、正負を表す符号１ビットを別に追加したり、０、１、−１、２、−２…を ０、１、２、３、４…と番号を振るなどして表現することが可能である。

例えば、コンポーネントの総数Ｎが８であり、符号化対象画像を含むコンポーネントＸが７、参照画像を含むコンポーネントの番号が６であるとき、参照コンポーネントインデックスは１と定まる。参照画像を含むコンポーネントの番号をそのまま参照コンポーネントインデックスとした場合は、参照コンポーネントインデックスは「６」となり、「６」を表現するために最低３ビット必要となる。
一方で、参照コンポーネントインデックスを式（１）を用いて表した場合は、参照コンポーネントインデックスは「１」となり、「１」を表現すために必要なビット数は１ビットで済む。このように、送信する情報量を少なくすることができるため、効率的に符号化することができる。

符号復号部５１は、ビットストリームから参照コンポーネントインデックスＣＩ及び符号化対象画像を含むコンポーネント番号Ｘを取得する。そして、復号対象画像を含むコンポーネント番号Ｘに対し、以下の式（２）を用いて参照コンポーネントインデックスを得る。

参照画像を含むコンポーネントの番号 ＝ ＣＩ ＋ Ｘ ・・・式（２）

得られた参照コンポーネントインデックスＣＩは画面間予測画像生成部５５に送られ、復号画像が生成される。このようにして、より少ない情報送信量で効率的な復号をすることができる。

以上、説明したように、本実施の形態２に係る動画像符号化回路１では、参照コンポーネントインデックスは、符号化対象画像を含むコンポーネントの番号と、ピクチャに含まれるコンポーネントの数を用いて表されることが好ましい。
また、本実施の形態２に係る動画像復号回路５では、参照コンポーネントインデックスは、符号化対象画像を含むコンポーネントの番号と、ピクチャに含まれるコンポーネントの数を用いて表されることが好ましい。

（実施の形態３）
実施の形態１又は実施の形態２に係る動画像符号化回路１及び動画像復号回路５では、マクロブロック毎に参照コンポーネントインデックスを指定し、ビットストリーム内に参照コンポーネントインデックス、及び、コンポーネントの数の情報を含めるようにして、効率的に符号化処理又は復号処理を行うようにしたが、実施の形態３に係る動画像符号化回路及び動画像復号回路では、更にビットストリーム内に符号化単位毎に予測方法を示すフラグ情報を含めることで、符号化単位のコンポーネント毎に画像予測方法を指定して、より効率的に符号化処理又は復号処理を行うようにするものである。

図１０は、本実施の形態３に係る符号化部４０の出力するビットストリームの構造を示す図である。
実施の形態１又は実施の形態２のものと比べると、コンポーネントパラメータの中に予測方法を示すintra or interフラグを含んでいる。このintra or interフラグは、各コンポーネントを符号化する予測方法が、画面内予測であるか又は画面間予測であるかを示すフラグである。

実施の形態１又は実施の形態２では、マクロブロック単位で予測方法が決定され、マクロブロックに含まれる複数のコンポーネント全てに同一の予測方法が使用されていたが、本実施の形態３では符号化単位ブロックの更にコンポーネントパラメータの中に予測方法を指定するintra or interフラグを設けることで、符号化単位ブロックの中の更に各コンポーネント単位で予測方法を切り替えることができる。なお、本実施の形態３に係る動画像符号化回路及び動画像復号回路の構成は、実施の形態１又は実施の形態２に係る動画像符号化回路１及び動画像復号回路５の構成と同様で良く、以下では、これらの図示及び一部の構成の説明を省略する。

まず、本実施の形態３に係る動画像符号化回路１では、選択部１４が、符号化対象ブロックのコンポーネント毎に予測方法、すなわち、画面内予測か画面間予測かを選択し、選択した予測方法をintra or interフラグとして符号化部４０に出力する。符号化部４０は、図１０に示すように、intra or interフラグをコンポーネントパラメータの中に含めたビットストリームを生成し、動画像復号回路５へと出力する。多数のコンポーネントを含む画像においては、特定のコンポーネントが同じピクチャの他のコンポーネントと大きく異なることがしばしば起こり得るため、特定のコンポーネントのみ予測方法を変更することで、より効率的な符号化処理、復号処理を行うことができる。

なお、本実施の形態３に限らず、符号化部４０が行う符号化方法は固定長符号化を用いても良いし、ＭＰＥＧ−４規格におけるＣＢＰ（Constrained Baseline Profile：制約ベースラインプロファイル）のように可変長符号化を用いても良い。

また、図１０のようなビットストリームの構成をとる場合には、intra or interフラグによって予測方法を動画像復号回路５に伝達することが可能なため、複数のコンポーネントを含むマクロブロック単位での予測方法を示す予測方法選択情報ｂ１は省略することができる。

図１１は、本実施の形態３に係るビットストリームの概略構造を示す図である。
図１１に示すように、スライスレベルは、予測方法選択情報ｂ１とintra or interフラグの両方を持つようにしても良い。図１１では、マクロブロックパラメータ内に、予測方法選択情報ｂ１に加えてintra or inter override enable フラグを持つ。予測方法選択情報ｂ１とintra or interフラグの両方がビットストリーム内に存在する場合には、どちらの情報を参照して予測方法を決定するか決めなければならない。そのためintra or inter override enableフラグが１である場合にはinter or interフラグの値を参照して予測方法を決定し、フラグが０である場合には予測方法選択情報ｂ１を参照して予測方法を決定するようにする。

Intra or inter overrideフラグが０である場合には、inter or intraフラグは参照されないため、inter or intraフラグを送信しないようにしてもよい。この場合は、ビットストリーム内にinter or intraフラグを含まず予測方法選択情報ｂ１のみを含めるため、実施の形態１に係るビットストリーム構造と同様になる。なお、intra or inter override enableフラグの値と参照する情報の例は上記の例に限るものでなく、例えば、０の時にintra or inter フラグを参照し、１の時に予測方法選択情報ｂ１を参照するようにしても良い。

本実施の形態３に係る動画像復号回路５では、符号復号部５１がビットストリームを復号して、復号対象のコンポーネント毎に画像予測方法を示す予測方法選択情報ｂ１を選択部５６に出力する。
そして、選択部５６は、予測方法選択情報ｂ１に基づいて、予測方法選択情報ｂ１の示す予測方法の予測画像が加算部５７に出力されるように選択する。

このように、本実施の形態３に係る動画像符号化回路１及び動画像復号回路５では、複数のコンポーネントを含む画像において、特定のコンポーネント、例えば、３００ｎｍの波長に対応するコンポーネントの画像のみ、他のコンポーネント、例えば、５００ｎｍの波長に対応するコンポーネントの画像と大きく異なるような場合であっても、特定のコンポーネントのみ予測方法を変更することで、より効率的な符号化処理、復号処理を行うことができる。

以上、説明したように、本実施の形態３に係る動画像符号化回路１は、予測画像生成部１０は、画面内予測と画面間予測とを切り替える選択部１４を更に備え、選択部１４はコンポーネント毎に予測方法を決定し、符号化部４０は、当該予測方法を示す予測方法選択情報をビットストリームに含めることが好ましい。
また、本実施の形態３に係る動画像復号回路５では、画像復元部５２は、画面内予測画像生成部５４と画面間予測画像生成部５５とを有し、予測方法選択情報に基づいてコンポーネント毎に予測画像を切り替えて画像復元を行うことが好ましい。

（実施の形態４）
実施の形態１に係る動画像符号化回路１及び動画像復号回路５では、画像メモリに記憶した参照画像を参照して予測画像を生成したが、本実施の形態４に係る動画像符号化回路及び動画像復号回路では、参照画像をトーンマッピングで変換した上で予測画像を生成し、ビットストリーム内にコンポーネントを含むピクチャのトーンマッピングテーブルを含めるようにして、より効率的に符号化処理又は復号処理を行うようにするものである。

図１２は、本実施の形態４に係る予測画像生成部２０の概略構成を示すブロック図である。実施の形態１又は実施の形態２に係る予測画像生成部１０と比べると、トーンマッピング処理部２２、２３を新たに設けている。

本実施の形態４に係る予測画像生成部２０では、トーンマッピング処理部２２は類似画像探索部１２より出力された参照画像に対しトーンマッピング処理を行い、画面間予測画像生成部１３に出力を行う。なお、本実施の形態４に係るトーンマッピングとは、各画素値を特定のテーブルに従って変換する操作のことをいう。トーンマッピング処理は、トーンマッピング処理部２２内部にあるトーンマッピングテーブルを参照して行われる。トーンマッピングテーブルは、一次線形の関数で表されても良いし、非線形の関数で表されても良い。画面間予測画像生成部１３は、トーンマッピング処理が施された参照画像を用いて予測画像を生成する。

画面内予測画像生成部２１に含まれるトーンマッピング処理部２３も、トーンマッピング処理部２２と同様に、予測画像を生成するために、画面内の各画素にトーンマッピング処理を行い、予測画像を生成する。このとき、トーンマッピング処理部２３は、トーンマッピング処理部２２と同様に、トーンマッピングテーブルを符号化部４０に出力する（図示せず）。選択部１４で選択された予測画像は、加算部１８にて逆周波数変換・逆量子化部１７の処理結果と加算され、加算結果を画像メモリ１９に格納される。

符号化部４０は、トーンマッピングテーブルの情報をビットストリームに含めて復号回路に出力する。トーンマッピングテーブルは、図６におけるビットストリーム階層の概略構造のうちの、スライスレベル以上のパラメータ内に含めるようにすると良い。これにより、ビットストリームに含めるトーンマッピングテーブルの数を少なくすることができ、ビットストリームの情報量を削減することができる。

スライスレベルより下のパラメータに含める場合は、例えば、マクロブロック単位、符号化単位などでトーンマッピングテーブルを変更できるという効果がある。だが一方で、トーンマッピングテーブルの情報量が増加する課題も生じる。そのような場合は、実施の形態３に係るIntra or inter override enableフラグのように、トーンマッピングテーブルを参照するか否かを示すフラグをスライスレベル以上に含まれるパラメータに含めると良い。フラグがトーンマッピングテーブルを参照しないことを示す場合、すなわち、フラグがトーンマッピング処理を行わないことを示す場合、ビットストリームにマッピングテーブルの情報を含めないことが可能となる。

このように、トーンマッピングテーブルをスライスレベルより下のレベルのパラメータに含めた場合においても、マクロブロック単位などでトーンマッピング処理を行うか否か選択することを可能とし、ビットストリームの情報量の削減することができる。

図１３は、本実施の形態４に係る動画像復号回路６の概略構成を示すブロック図である。
実施の形態１又は実施の形態２に係る動画像復号回路５と比べると、画像復元部６１にトーンマッピング処理部６２、６３を設けている。トーンマッピング処理部６２、６３は動画像符号化回路より送信されたマッピングテーブルに基づき、予測画像をトーンマッピング変換する。変換された予測画像は、加算部５７において、逆周波数変換・逆量子化された予測残差と加算され、復号画像となる。

なお、トーンマッピング処理部６２、６３は、図１３のように画面内予測画像生成部５４及び画面間予測画像生成部５５各々の後段に設けることもできるが、選択部５６と加算部５７との間に設けるようにしても良い。予測画像生成部２０では、トーンマッピング処理された後の画像に基づいて予測画像を選択するため選択部１４の前段にトーンマッピング処理部２２、２３が必要であったが、動画像復号回路６ではビットストリーム中に含まれる情報を用いて予測画像を選択するため、選択部５６の前段でトーンマッピング処理を行わなくても良い。そのため、選択部５６の後段にトーンマッピング処理部を設けることができ、トーンマッピング処理部の数を１つにすることができる。これにより、省電力や回路面積を削減することが可能になる。

このように、本実施の形態４に係る予測画像生成部２０及び動画像復号回路６では、複数のコンポーネントを含むピクチャにおいて、類似度が高いコンポーネント間でも平均値が異なる場合や階調分布が異なる場合に、トーンマッピングによる変換によって、より類似度の高い予測画像を生成することができ、より効率的な符号化処理、復号処理を行うことができる。

以上、説明したように、本実施の形態４に係る動画像符号化回路１では、予測画像生成部２０は、トーンマッピング処理部２２、２３を更に有し、トーンマッピング処理部２２、２３は、参照画像の画素値をトーンマッピングにより変換し、予測画像生成部２０は、当該変換された参照画像を元に前記予測画像を生成することが好ましい。
また、本実施の形態４に係る動画像復号回路６では、画像復元部６１は、トーンマッピング処理部６２、６３を更に有し、トーンマッピング処理部６２、６３は、予測画像にトーンマッピング処理を行い、画像復元を行うことが好ましい。

以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は既に述べた実施の形態に限定されるものではなく、その要旨を逸脱しない範囲において種々の変更が可能であることはいうまでもない。

１ 動画像符号化回路
５、６ 動画像復号回路
１０、２０ 予測画像生成部
１１、２１ 画面内予測画像生成部
１２ 類似画像探索部
１３ 画面間予測画像生成部
１４ 選択部
１５ 減算部
１６ 周波数変換・量子化部
１７ 逆周波数変換・逆量子化部
１８ 加算部
１９ 画像メモリ
２２、２３ トーンマッピング処理部
４０ 符号化部
５１ 符号復号部
５２、６１ 画像復元部
５３ 逆周波数変換・逆量子化部
５４ 画面内予測画像生成部
５５ 画面間予測画像生成部
５６ 選択部
５７ 加算部
５８ 画像メモリ
６２、６３ トーンマッピング処理部
１００ 半導体装置
１０１、１０４ インターフェース回路
１０２ メモリコントローラ
１０３ ＣＰＵ
１１０ カメラ
１１５ 外部メモリ

Claims (15)

1. ピクチャに含まれる色成分の各々に対応し各々が異なる波長を持つ複数のコンポーネントを含む複数のピクチャを入力し、前記ピクチャの各コンポーネントの符号化に用いる参照画像を自ピクチャ又は参照メモリに含まれる符号化済みのピクチャのコンポーネントの中から探索し、前記探索された参照画像に含まれる画素の情報に基づいて予測画像を生成する予測画像生成部と、
   前記予測画像生成部から出力された前記予測画像を元にビットストリームを生成する符号化部とを備え、
   前記予測画像生成部は、前記参照画像が含まれるコンポーネントの情報を示す参照コンポーネントインデックスを出力し、
   前記符号化部は、前記参照コンポーネントインデックスの情報を含むビットストリームを出力する、
   動画像符号化装置。
2. 前記符号化部は、前記ピクチャに含まれるコンポーネントの数を示す情報を更に前記ビットストリームに含める
   請求項１記載の動画像符号化装置。
3. 前記ピクチャに含まれるコンポーネントの数が４以上である
   請求項２記載の動画像符号化装置。
4. 前記複数のコンポーネントは、赤色よりも波長が長い波長領域のコンポーネント、又は、青色よりも波長が短い波長領域のコンポーネントの少なくとも１つを含む
   請求項１記載の動画像符号化装置。
5. 前記参照コンポーネントインデックスは、符号化対象画像を含むコンポーネントの番号と、前記ピクチャに含まれるコンポーネントの数を用いて表される
   請求項２記載の動画像符号化装置。
6. 前記予測画像生成部は、画面内予測と画面間予測とを切り替える選択部を更に備え、
   前記選択部は前記コンポーネント毎に前記予測方法を決定し、
   前記符号化部は、前記予測方法を示す予測方法選択情報を前記ビットストリームに含める
   請求項１記載の動画像符号化装置。
7. 前記予測画像生成部は、トーンマッピング処理部を更に有し、
   前記トーンマッピング処理部は、参照画像の画素値をトーンマッピングにより変換し、
   前記予測画像生成部は、前記変換された参照画像を元に前記予測画像を生成する
   請求項１記載の動画像符号化装置。
8. ピクチャに含まれる色成分の各々に対応し、各々が異なる波長を持つ複数のコンポーネントを含む複数のピクチャが符号化されたビットストリームを入力して復号する符号復号部と、
   前記復号された情報に基づいて予測画像を生成し、前記予測画像を用いて画像を復元する画像復元部とを備え、
   前記符号復号部は、前記ビットストリームから前記予測画像が含まれるコンポーネントの情報を示す参照コンポーネントインデックスを符号復号し、
   前記画像復元部は、前記参照コンポーネントインデックスが示すコンポーネントに含まれる画素値を用いて前記予測画像を生成し、前記予測画像を用いて画像を復元する
   動画像復号装置。
9. 前記符号復号部は、前記ピクチャに含まれるコンポーネントの数を示す情報を更に復号する
   請求項８記載の動画像復号装置。
10. 前記復号された情報として、前記予測画像が生成された方法を示す予測方法選択情報と、前記予測画像と前記ピクチャの差分である予測残差とを含む
    請求項８記載の動画像復号装置。
11. 前記ピクチャに含まれるコンポーネントの数が４以上である
    請求項９記載の動画像復号装置。
12. 前記複数のコンポーネントは、赤色よりも波長が長い波長領域のコンポーネント、又は、青色よりも波長が短い波長領域のコンポーネントの少なくとも１つを含む
    請求項８記載の動画像復号装置。
13. 前記参照コンポーネントインデックスは、符号化対象画像を含むコンポーネントの番号と、前記ピクチャに含まれるコンポーネントの数を用いて表される
    請求項９記載の動画像復号装置。
14. 前記画像復元部は、画面内予測画像生成部と画面間予測画像生成部とを有し、前記予測方法選択情報に基づいて前記コンポーネント毎に予測画像を切り替えて画像復元を行う
    請求項１０記載の動画像復号装置。
15. 前記画像復元部は、トーンマッピング処理部を更に有し、
    前記トーンマッピング処理部は、前記予測画像にトーンマッピング処理を行い、画像復元を行う
    請求項８記載の動画像復号装置。

Images