JP2023030585A - 画像符号化装置及び方法及びプログラム - Google Patents

Abstract

【課題】 画像、特に色差成分の符号化効率を向上させる。【解決手段】 本発明の画像符号化装置は、入力フレームにおける色差成分の特性を判定する判定部と、入力フレームの輝度成分で構成されるブロック画像を、所定のアルゴリズムに従って再帰的にブロック分割し、符号化する第１の符号化部と、第１の符号化部によるブロック分割の結果を参照して、入力フレームの色差成分で構成されるブロック画像を分割し、符号化する第２の符号化部と、入力フレームの色差成分で構成されるブロック画像を、予め設定されたサイズのブロックで分割し、符号化する第３の符号化部と、判定部の判定に基づいて、色差成分のブロック画像を、第２、第３の符号化部のいずれかを選択する選択部と、第１の符号化部で得た輝度成分の符号化データ、及び、選択部で選択した符号化部で得た色差成分の符号化データを出力する出力部とを備える。【選択図】 図３

Description

本発明は、画像の符号化技術に関するものである。

近年、４Ｋや８Ｋ解像度対応など、映像機器が取り扱うデータ量は増加の一途である。そのためＨ．２６５／ＨＥＶＣよりもさらに高効率な圧縮ができる次世代映像符号化方式、ＶＶＣ（Versatile Video Coding）／ＭＰＥＧ－Ｉ Ｐａｒｔ３の規格化が進んでいる。

ＶＶＣ規格で新たな符号化ツールとして採用予定となっている技術の一つとして、色差成分分離ツリー（ＣＳＴ：Chroma Separate Tree）、またはデュアルツリー構造（ＤＴ：Dual Tree Structure）と呼称されるブロック分割方式が検討されている。

従来でのＨＥＶＣ規格における符号化単位（ＣＴＵ：Coding Tree Unit）のブロック分割は、輝度成分画素サンプルと色差成分画素サンプルで同一のブロック分割構造のみだったが、ＶＶＣ規格では画面内予測符号化を行ったイントラスライスにおいて、輝度成分サンプルと色差成分サンプルのコーディングツリー構造をそれぞれ独立して持つことを選択できるようになった。

一般に、自然画像は輝度成分に比べて色差成分は画素値変化が少なく、空間的な冗長性が高い。このため、上述のＣＳＴ方式を用いて、色差成分に大きいブロックサイズを割り当て、ツリー構造の階層数を少なくすることができれば、冗長な分割フラグや階層数を示すシンタックス情報の符号データ量を低減できるため、符号化効率の向上を期待できる。

特許文献１には、輝度成分と色差成分とを独立してブロック分割して符号化する手段を備えた符号化装置において、色差成分のブロック分割形状を符号化済みの輝度成分のブロックの分割形状に基づいて判断する手段を備え、色差成分のブロック境界が、対応する輝度成分のブロック境界が同じになるように、色差成分の分割形状を決定する技術が開示されている。

特開２０１８－１５２８５１号公報

しかしながら、特許文献１に記載のように、前記ＣＳＴを用いた輝度成分と色差成分のブロック分割を独立に行う符号化器においては、ブロック分割形状の決定時に、輝度成分と色差成分を同一のブロック形状とツリー構造で分割する場合と、それぞれの成分を独立して分割する場合とを両方計算し、双方の発生符号量または予測画像との差分値和（ＳＡＤ）等のコスト比較を行ってから最終決定する処理ステップとなるため、演算負荷が増加してしまう虞がある。

本発明では、上記課題に鑑み、符号化処理の演算負荷を増やすことなく、画像の符号化効率を向上させる技術を提供しようとするものである。

この課題を解決するため、例えば本発明の画像符号化装置は以下の構成を備える。すなわち、
撮像手段で得た入力フレームを、所定のサイズの画素ブロックを単位に圧縮符号化する画像符号化装置であって、
前記入力フレームにおける色差成分の特性を判定する判定手段と、
前記入力フレームの輝度成分で構成されるブロック画像を、所定のアルゴリズムに従って再帰的にブロック分割し、符号化する第１の符号化手段と、
前記第１の符号化手段によるブロック分割の結果を参照して、前記入力フレームの色差成分で構成されるブロック画像を分割し、符号化する第２の符号化手段と、
前記入力フレームの色差成分で構成されるブロック画像を、予め設定されたサイズのブロックで分割し、符号化する第３の符号化手段と、
前記判定手段の判定に基づいて、色差成分のブロック画像を、前記第２、第３の符号化手段のいずれかを選択する選択手段と、
前記第１の符号化手段で得た輝度成分の符号化データ、及び、前記選択手段で選択した符号化手段で得た色差成分の符号化データを出力する出力手段とを備える。

本発明によれば、色差成分の符号化効率を向上させることが可能になる。

実施形態における符号化装置のシステム構成図。 第１の実施形態に係る符号化部のブロック構成図。 第１の実施形態の符号化処理手順を示すフローチャート。 第１の実施形態に係るブロック分割適用例を示す図。 第２の実施形態の符号化処理手順を示すフローチャート。 第３の実施形態に係る符号化部のブロック構成図。 第３の実施形態の符号化処理手順を示すフローチャート。 第４の実施形態の符号化処理手順を示すフローチャート。 第５の実施形態の符号化処理手順を示すフローチャート。

以下、添付図面を参照して実施形態を詳しく説明する。尚、以下の実施形態は特許請求の範囲に係る発明を限定するものでない。実施形態には複数の特徴が記載されているが、これらの複数の特徴の全てが発明に必須のものとは限らず、また、複数の特徴は任意に組み合わせられてもよい。さらに、添付図面においては、同一若しくは同様の構成に同一の参照番号を付し、重複した説明は省略する。

［第１の実施形態］
図１は、本実施形態が適用する動画像符号化装置のシステム構成図を示す。また、図２は図１における画像符号化部１０２のブロック構成図を示し、図３はその処理手順を示すフローチャートである。

＜全体システム構成＞
動画像符号化装置は、撮像部１００、画像処理部１０１、画像符号化部１０２、記録部１０３、メモリバス１０４、フレームメモリ１０５、ＣＰＵ１０６、フラッシュメモリ１０７、ＣＰＵバス１０８、及び、操作部１０９から構成されている。

撮像部１００は、レンズやＣＣＤ等のカメラ部、光学部、更には、レンズから取り込んだ光信号を電気信号へ変換する撮像センサを含む。この撮像センサの結像面には、赤、青、緑の３種類のフィルタが繰り返し配列されている。本実施形態では、この配列はベイヤ配列であるものとする。したがって、撮像部１００が出力する撮像画像データは、ベイヤ配列の画像データとなる。撮像部１００は、撮像して得たベイヤー配列の画像データ（デジタルＲＡＷ画像データ）を、メモリバス１０４を介して、大容量ＤＲＡＭ等のフレームメモリ１０５に出力する。なお、撮像部１００は、例えば、３０フレーム／秒のフレームレートで撮像を行うものとする。

画像処理部１０１は、フレームメモリ１０５に格納されたＲＡＷ画像データに対してデベイヤー処理（デモザイク処理）を施し、輝度と色差からなる信号に変換後、各信号に含まれるノイズ除去、光学的な歪を補正し、画像を適正化する等、所謂現像処理を行う。そして、画像処理部１０１は、現像処理後の画像データを圧縮符号化するため、再度フレームメモリ１０５へ出力する。

画像符号化部１０２は、現像済みの画像データをフレームメモリ１０５からの読み出し、フレーム間予測とエントロピー符号化による画像データの冗長性を利用した映像圧縮を行ない、符号化ビットストリームを生成し、出力する。本実施形態における画像符号化部１０２は、映像圧縮方式としてＶＶＣ（Versatile Video Codec）方式を採用することを特徴とする。

記録部１０３は、画像符号アブ１０２が生成した符号化ビットストリームを、ＭＰ４やＭＯＶ形式等の各種ＰＣアプリケーションで再生や編集互換性が保たれている所定のコンテナ形式に変換し、ＵＳＢ、ＳＤカードまたはハードディスクなど不揮発の記憶媒体１５０に記録する。

メモリバス１０４は、前記撮像部１００、画像処理部１０１、画像符号化部１０２、記録部１０３と、フレームメモリ１０５との間に接続し、画像データ、符号化データ、各種パラメタデータを高速転送するためのデータバスである。

バス転送方式にはＩＳＡ，ＰＣＩーＥｘｐｒｅｓｓ、ＡＸＩ等の標準的にバス規格でも、独自のバス方式を採用しても良く、本実施形態では特にその方式を問わない。

フレームメモリ１０５は、画像符号化部１０２の符号化処理の過程で使用する原画像データや、フレーム間予測のための参照画像データ、符号化ビットストリーム等を格納する。

ＣＰＵ１０６は、本実施形態における動画像符号化装置を構成する撮像部１００、画像処理部１０１、画像符号化部１０２、記録部１０３の起動や停止、割り込み通知などのハードウェア制御を、ＣＰＵバスを介して行うコントローラである。

フラッシュメモリ１０７は、ＣＰＵ１０６が実行するプログラムやパラメータ等を格納した不揮発性メモリであり、ＣＰＵ１０６のフェッチ動作で当該メモリへアクセスする。

ＣＰＵバス１０８は、ＣＰＵ１０６と各ペリフェラルとを接続する制御用のバスであり、メモリバス１０４と同様の標準化バス規格方式でも良いし、十分な処理余裕があれば低速なＩ２Ｃ等のシリアル方式でも良く、その方式の制限はない。

操作部１０９は、各種ボタン、スイッチ、タッチパネル等で構成され、ユーザからの指示をＣＰＵ１０６に通知する。

以上、第１の実施形態における動画像符号化装置の構成について説明した。続いて、本実施形態の特徴となる画像符号化部１０２の内部構成と、その処理内容について説明する。

＜画像符号化部＞
画像符号化部１０２は、ブロック分割部２００、イントラ予測部２０１、インター予測部２０２、イントラ・インター判定部２０３、予測画像生成部２０４、変換部２０５、量子化部２０６、エントロピー符号化部２０７、符号量制御部２０８、逆量子化部２０９、逆変換部２１０、及び、ループフィルタ２１１を含む。

ブロック分割部２００は、フレームメモリ１０５に格納されたフレーム画像データ（現像済み画像データ）から符号化対象ブロック（ＣＴＵ）単位で画像データを読み出し、さらに、この画像データを輝度及び色差成分それぞれに対して、最適な予測ブロックサイズを設定する。

なお、図２には、フレームメモリ１０５が２つあるように示しているが、これは便宜的なものであり、図１のフレームメモリ１０５のアドレス空間を分けて示しているものと理解されたい。

ＣＴＵは４分木構造を使用することによってＣＵ（Coding Unit）に分割され、この単位で後段のイントラ予測やインター予測の予測処理に適用される。

イントラ予測部２０１は、ブロック分割部２００で分割された符号化対象のブロック画像に対して、当該対象ブロックの周辺の参照画素データから生成される複数のイントラ予測画像との相関を計算する。そして、イントラ予測部２０１は、最も相関の高いイントラ予測方式を選択してイントラ・インター判定部２０２へ通知する。

インター予測部２０２は、同様にブロック分割部２００で分割された分割済みブロック画像と、フレームメモリ１０５内の符号化済みフレームにおける画像データを参照画像として受信し、ブロック単位で画素データ同士のパターンマッチング等の動き検出を行って動きベクトルを算出する。

イントラ・インター判定部２０３は、イントラ予測部２０１と、インター予測部２０２からの出力の結果に基づいて、着目ブロックを符号化する予測方式を選択決定する。

具体的な選択方法としては、イントラ・インター判定部２０３は、符号化対象画像ブロックとイントラ予測部２０１において計算したイントラ予測画像との差、及び、符号化対象画像ブロックとインター予測部２０２で導出した動きベクトルが示す参照画像から生成したインター予測画像との差とを比較する。そして、イントラ・インター判定部２０３は差が小さい方を選択する。

または、イントラ予測部２０１及びインター予測部２０２は、それぞれ決定した予測画像と符号化対象画像との予測誤差をもとめる。そして、イントラ・インター判定部２０３は、イントラ予測部２０１及びインター予測部２０２から、予測誤差を取得後、それらを比較評価することで、予測方式を選択しても良い。

いずれにしても、イントラ・インター判定部２０３は、差分値が小さい方の予測モードを符号化予測モードと判定して予測画像生成部２０４に出力する。

予測画像生成部２０４は、イントラ・インター判定部２０３で選択された予測モードに応じて予測画像を生成する。そして予測画像生成部２０４は、生成した予測画像を変換部２０５の前段の減算器に出力し、入力画像との予測画像との差分画像を算出させる。この差分画像は、ローカルデコード画像生成のために逆変換部２１０の後段の加算器に出力される。

変換部２０５は、ブロック単位の差分画素データを、空間解像度変換して空間周波数領域に変換する。

量子化部２０６は、目標符号量に基づいて量子化係数を算出し、変換部２０５で空間周波数領域に変換された係数データに対して量子化処理を行う。量子化部２０６は、量子化された係数データを、エントロピー符号化を行うためにエントロピー符号化部２０７と、参照画像や予測画像を算出するために逆量子化部２０９の両方へ出力する。

エントロピー符号化部２０７は、量子化部２０６から入力した量子化後の係数データや、インター予測の場合には動き予測で用いたベクトル値を、ＣＡＢＡＣ（コンテキスト適応算術符号化）方式等のビットデータの出現確率の偏りを利用したエントロピー符号化による情報圧縮を行い、復号処理のために必要なパラメタ（ＳＰＳやＰＰＳ等のヘッダ情報）を付加し、所定のデータフォーマットへ整形してフレームメモリ１０５に出力する。上述の記録部１０３は、フレームメモリ１０５に格納された符号化データを、所定のコンテナ形式に変換した後にファイルとして記録媒体に保存する。また、エントロピー符号化部２０７は、ブロック単位の符号化を行った際の符号量を、符号量制御部２０８に出力する。

符号量制御部２０８は、エントロピー符号化部２０７から供給された１ブロック当たりの符号量を累積し、１ピクチャ（フレーム）当たりの符号化データの符号量を求める。そして、符号量制御部２０８は、ビットレートやバッファモデルに基づいて、次に符号化する１ピクチャ当たりの目標符号量を算出した後、次のピクチャに対する量子化パラメータを決定し、量子化部２０６に設定するフィードバック制御を行う。

逆量子化部２０９は、量子化部２０６にて量子化した係数データを、再度量子化係数を乗じて係数データを計算する。

逆変換部２１０は、逆量子化部２０９から出力された係数データを、変換部２０５の逆の変換を行い、ブロック単位の差分画素データを生成し、後段の加算器に出力する。

ループフィルタ２１１は、逆変換部２１０から出力された画像データと予測画像との加算で得た画像データに対して、ブロック境界で発生する符号化歪みを軽減するフィルタ処理を施した後、フレームメモリ１０５へローカルデコード画像として出力される。

上述のエントロピー符号化部２０７、符号量制御部２０８は、通常１画面分のピクチャ単位の制御を行い、その他の処理ブロックは、所定の矩形画素ブロック単位に制御を行うものとする。

特に、本発明の適用対象となるＶＶＣ方式においては、量子化はＣＵ（Coding Unit），イントラ予測およびインター予測の動きベクトル探索をＰＵ（Prediction Unit）、変換はＴＵ（Transform Unit）単位で行うものとする。

以上が本実施形態における画像符号化部１０２の構成とその動作である。

＜処理フロー＞
続いて、本実施形態の特徴となる上述の装置構成におけるブロック分割部２００の処理フローを、図３のフローチャートを参照して説明する。この処理フローは、ユーザによる操作部１０９へのユーザ操作をトリガとして、本装置が撮像映像の記録状態となった場合の１フレーム毎に実行するものとする。

初めにＳ３０１にて、ブロック分割部２００は、当該動画像符号化装置の操作部１０９からのユーザ操作および設定によってなされた撮影モードを取得する。

撮影モードとしては、撮像部１００への絞りやホワイトバランス、シャッタースピード、色味、ボケ具合等の各種設定パラメータを予め定めた最適な所定値となるよう組み合わせた、例えば夜景モード、キッズモード、ポートレートモード、セピアモード、モノクロモード等である。もちろん、これ以外のモードであっても良く、その種類は特に問わない。 続いてＳ３０２に、ブロック分割部２００は、符号化対象のフレームの画像データについて、全ＣＴＵブロックに対してブロック分割処理が完了したかどうかを判定する。全ＣＴＵブロックのブロック分割完了した場合（Ｓ３０２のＴＲＵＥの場合）、当該符号化対象のフレームについての符号化処理が完了したと判断して、本フローを終了する。

一方、ブロック分割部２００が、未ブロック分割のＣＴＵが存在すると場合（Ｓ３０２のＦＡＬＳＥの場合）、すなわち、未符号化のＣＴＵが存在する判定した場合、処理をＳ３０３に進める。このＳ３０３にて、ブロック分割部２００は、フレームメモリ１０５に格納されている入力画像における対象ＣＴＵの原画像データを読み込む。

本実施形態において、ＣＴＵブロックのサイズは特に限定はないが、水平方向画素数×垂直方向画素数（or垂直方向ライン数）で表現した場合、例えば１２８×１２８画素、または６４×６４画素のサイズであり、ブロック分割部２００は、この矩形ブロック画像を単位に読み込むものとする。尚、読み込む画像データフォーマットは、ＹＣｂＣｒ形式またはＹＵＶ形式のように輝度成分と色差成分の複数の色成分から構成される方式を扱うものとする。また、後述のブロック単位の符号化処理では、輝度成分画素だけを集めたブロック画素データと、色差成分画素だけど集めたブロック画素データそれぞれについて処理を行う。

以降、当該ＣＴＵブロック画像データについて、上述のブロック分割部２００におけるブロック分割処理について説明する。

本実施形態においてブロック分割部２００による分割処理は、最初に輝度成分のブロック分割を行い、その後で色差成分のブロック分割を行うものとする。Ｓ３０４は、該処理順番を管理するための色差成分のブロック分割を実行するか否かの判定ステップである。 現在のＣＴＵブロック分割を行う対象データが輝度成分ブロックの場合、ブロック分割部２００はＳ３０４の判定結果をＦＡＬＳＥとし、処理をＳ３０６に移行する。Ｓ３０６にて、ブロック分割部２００は、着目しているＣＴＵについて通常のブロック分割処理を行う。

本実施形態における通常のブロック分割処理においては、ブロック分割部２００は、例えば当該矩形ブロック画像を４分木のサブブロック画像に分割し、サブブロック領域ごとに、その領域内の画素値のバラつきを示す指標である分散値を導出する。そしてブロック分割部２００は、全てのサブブロックの分散値が予め定めた閾値以下の場合、当該ＣＴＵブロックについては分割前のブロックサイズを採用する。一方で、いずれかのサブブロックの分散値が前記閾値より大きい場合は、さらに当該サブブロックを４分岐してより小さいサブブロック画像に分割して、各サブブロックについて同様に分散値による再帰的なブロック分割を行うものとする。ただし最小の分割サブブロックのサイズは、例えば８×８画素のように、規格上定められる下限サイズ、または該サイズよりも大きな予め定めたサイズまでの分割とする。

上述の通常のブロック分割処理として述べた、サブブロック領域毎の分散値と閾値判断に基づいたブロック分割処理のアルゴリズムについては一例であり、その他の手法でもブロック分割は実施可能であるため、本発明を特に限定するものではない。

ブロック分割部２００は、Ｓ３０６にて、輝度成分データのブロック分割を完了すると、ブロック分割の対象を色差成分データのブロックに変更し、Ｓ３０４に処理を戻す。

上記の結果、分割対象が色差成分のブロックとなるので、ブロック分割部２００はＳ３０４の判定結果をＴＲＵＥとし、処理をＳ３０５に進める。
Ｓ３０５にて、ブロック分割部２００は、Ｓ３０１で取得した撮影モード情報に基づき、当該符号化対象の入力画像が色差成分の画素値について変化が少ないモードか否かを判断する。

本実施形態では、色差成分の変化が少ない（色差成分の変化を抑制する）モードとして、モノクロモードまたはセピアモードが設定されている場合とし、上記二つのモード設定時には入力画像として色差成分が存在しない、または少ない画像データであると符号化処理前に判断可能であることを特徴とする。

そして、上記モード設定時（Ｓ３０５のＴＲＵＥ）は、当該ＣＴＵブロックは上述の輝度成分と色差成分とを独立してブロック分割を行うＣＳＴ方式を適応する方が、圧縮効率が良くなる。したがって、Ｓ３０７にて、ブロック分割部２００は、色差成分ブロック画像について、再帰的な階層による４分木で小さなサイズまでにブロック分割を行わず、所定のサイズでブロック分割を行うものとして決定する（Ｓ３０７）。

色差成分ブロック分割時の所定サイズは、例えばＣＴＵのサイズそのまま、または１階層４分木分割したブロックサイズまでとし、画素値変化が当該ブロック内で存在しない前提で、後段の予測処理でＤＣ予測やスキップベクトル等、ほとんど予測差分、符号化コストが発生しない結果、および同等の効果になれば特に良いものとする。

一方で、上記モード値以外を設定している場合（Ｓ３０５のＦＡＬＳＥの場合）は、ブロック分割部２００は、処理をＳ３０８に進める。このＳ３０８にて、ブロック分割部２００は、上記Ｓ３０６で処理した輝度成分ブロックのブロック分割情報に基づいて、従来のＨＥＶＣ規格方式と同様に、当該色差成分のブロックを分割する。

色差成分のブロック分割について、Ｓ３０７またはＳ３０８を実行すると、当該ブロックに対して、図２を用いて説明した一連の符号化処理が行われることになる。したがって、ブロック分割部２００は、次のＣＴＵブロックの分割処理＆符号化のため、処理をＳ３０２に戻し、全ＣＴＵブロックについてブロック分割および符号化処理が完了するまで、本フローを繰り返す。以上、本実施形態におけるブロック分割処理＆符号化処理を説明した。

＜ブロック分割例＞
上述したフローにしたがって、画像符号化部１０２、特にブロック分割部２００におけるブロック分割処理を行った場合についてのブロック分割例を説明する。

図４（ａ）、（ｂ）は、ＣＴＵブロックサイズが１２８×１２８画素であり、輝度成分、色彩成分のサブサンプリングを行ったクロマフォーマットが４：２：０のケースについてそれぞれ示した。

図４（ａ）は、これまでのＨＥＶＣ規格と同じく、輝度成分と色差成分が同じブロック分割を行った場合の輝度成分の分割状態４０１と色差成分の分割状態４０２を示している。上述の図１から図３までに説明したフローに基づいて撮影モードとして、色差成分の変化が存在するモードを選択した場合には、当該ブロック分割が行われる。

一方で、撮影モードが色差成分については変化が少ないモード（モノクロモードやセピアモード）を選択した場合は、図４（ｂ）のように、輝度成分は被写体の構造に準じた従来の再帰的なブロック分割が行われ分割状態４０３となるが、色差成分は、ほぼ画素値勾配が無いために、輝度成分とは独立してブロック分割を行わない、または予め定めた大きなブロックサイズで符号化を行うことで、分割状態４０４となる。

結果、ＣＴＵブロック全体として、再帰的なブロック分割を行ったことを示すフラグ等のシンタックス情報の冗長な伝送をしなくて済むため、符号化効率を向上させることができる。

［第２の実施形態］
上記第１の実施形態では、モノクロやセピアモード等、色差成分の画素変化が無いことが確実な撮影モードでの入力画像を符号化する時、当該入力画像の全ＣＴＵブロックについてＣＳＴ方式を適応して、色差成分のブロック分割を輝度成分とは独立して、予め定めたブロックサイズで分割する方法を示した。

第２の実施形態では、ユーザ設定の撮影モードに応じて、一律に当該フレームの全ＣＴＵブロックについてＣＳＴ方式を適用するのではなく、ブロック単位に従来のブロック分割と、ＣＳＴ方式を適用したブロック分割の両方についてコスト計算と比較を行い、より好適なブロック分割を選択して符号化する方法を、さらに異なる動作として実施する。

以下、本第２の実施形態におけるブロック分割部２００のブロック分割処理を図５のフローチャートを参照して説明する。なお、上記第１の実施形態と共通する部分については、適宜その説明を省略する。なお、本第２の実施形態を実現する装置構成及び画像符号化部１０２の構成要素と機能は、第１の実施形態を同じため説明を省略する。

＜処理フロー＞
図５において、Ｓ３０１からＳ３０５までは、第１の実施形態と同じである。Ｓ３０５にて、ブロック分割部２００は、色差成分のＣＴＵブロック分割する場合、撮影モードとして色差成分の変化が少ない（変化を抑制する）モード（モノクロモードやセピアモード）が選択されているか否かを判断する。ブロック分割部２００は、色差成分の変化が少ないモードが選択されていると判定した場合（Ｓ３０５がＴＲＵＥの場合）、処理をＳ３０７に進める。このＳ３０７にて、ブロック分割部２００は、色差成分のブロックについて予め定めたブロック分割を行い、処理をＳ３０８に進める。このＳ３０８にて、ブロック分割部２００は、Ｓ３０６で行った分割情報を参照して、着目している色差成分のブロックについて、輝度成分と同じブロック分割を行う。そして、Ｓ４０１にて、ブロック分宅部２００は、ＣＳＴ方式を適応した場合と、従来のブロック分割を行った場合の両方について、分割フラグや階層数も含めたシンタックス情報の符号量も含めて、後段の予測ブロックにてコスト計算を行い、より符号化効率が高い分割方式を選択する。典型的には、２つのブロック分割それぞれで符号化を行い、生成される符号量の少ない分割方法を採用する。

以上が本第２の実施形態における、画像分割処理＆画像符号化処理フローである。

［第３の実施形態］
上述の第１、第２の実施形態では、撮影記録前にユーザが予め設定した撮影モードに基づき、符号化対象の入力画像について色差成分変化が少ないモード値の場合、当該入力画像に対して、輝度成分と色差成分のブロック分割を独立して行うＣＳＴ方式を適用して符号化を行う方法を示した。

第３の実施形態では、上述の符号化装置を構成する画像処理部１０１にて、現像処理に加え入力画像データの画像解析を行い、解析結果を画像符号化部１０２に通知する構成を備え、さらに異なる動作を実施することを特徴とする。以下、本第３の実施形態を、図６および図７を参照して説明する。なお、第３の実施形態の説明において、上述した第１，第２の実施形態と共通する部分については、適宜説明を省略する。

＜ブロック図＞
図６は、第３の実施形態における画像符号化部１０２及びその周辺の構成図である。本第３の実施形態における画像符号化部１０２は、第１の実施形態における画像符号化部１０２と実質的に同じ構成である。第３の実施形態の特徴部分は、図６に示すように、ブロック分割部２００が画像処理部１０１とＣＰＵバス等のインタフェースを介して情報の送受信を行うことを特徴とする。

また、本第３の実施形態における画像処理部１０１は、図１を用いて説明したＲＡＷ画像データの現像処理とフレームメモリ１０５への画像出力機能に加えて、当該出力画像について画像データ特性を解析し、解析結果を出力する機能をさらに有する。画像データの特性解析とは、例えば被写体画像データ内の画素ヒストグラムを取得し、色成分ごとに上記ヒストグラムの最大値と最小値の範囲を導出することである。

一例を示すのであれば、例えば画像処理部１０１は、現像後のフレーム画像の画素ヒストグラムを求め、度数が予め設定された個数以上となる画素値において、色差成分Ｃｒ及びＣｂそれぞれについて最大値と最小値との差を求める。理解を容易にするため、色差Ｃｒの最大値、最小値をＣｒ_max、Ｃｒ_minと表現し、色差Ｃｂの最大値、最小値をＣｂ_max、Ｃｂ_minと表現する。

画像処理部１０１は、次式(1)及び(2)を満たすとき、該当するフレームは色差の変化が少ないと判定する。
Ｃｒ_max － Ｃｒ_min ≦ Ｔｈ_Cr …(1)
Ｃｂ_max － Ｃｂ_min ≦ Ｔｈ_Cb …(2)
ここで、Ｔｈ_Cr、Ｔｈ_Cbは、予め設定した正の閾値である。なお、ここではフレーム単位に判定するものとしたが、ＣＴＵ単位に上記判定を行っても構わない。

上記画像処理部１０１の解析結果を受けて、前記ブロック分割部２００は、符号化処理より前もって、当該入力画像は色差成分の変化が少ないことを判断可能となるため、撮影モードで一律に全ＣＴＵブロックに対してＣＳＴ方式を適用するよりも精度の高い制御ができるようになる。

当該実施形態において、上記ヒストグラム取得による特性解析は一例であり、同等の解析を定量的に導出可能な画像処理部１０１であれば、特に限定しない。その他解析方法としては、撮像部１００にて取得した被写体画像中の合焦領域がどこか情報として分かれば、光学部の被写界深度に依存するものの、該領域外の非合焦領域はボケたものとなる。画像がボケは、画素値の勾配、変化量が少ない領域であると間接的に推定することが可能である。

本第３の実施形態では、上述の画像処理部１０１で実行した解析結果を、入力画像フレーム全体、または当該ブロック分割部２００で実行するＣＴＵブロックの画像領域毎のいずれかの単位で、画像処理部１０１と画像符号化部１０２間で送受信する構成を有する。全ＣＴＵブロック分の解析結果のＣＰＵバスを用いた場合は、バストラフィックが煩雑になる可能性もあるため、色変化が大きいブロックをビット“１”、変化が少ないブロックをビット“０”とビット単位で識別可能なビットマップ情報としてまとめてからフレームメモリ１０５にバースト的にアクセスする方式としても良い。その他のブロック機能については、第一の実施形態と同様であるため説明を省略する。

＜処理フロー＞
本第３の実施形態の特徴となる、ブロック分割部の分割処理を図７のフローチャートを参照して説明する。尚、第１の実施形態と内容が重複する処理ステップについては説明を省略する。

初めにＳ７０１にて、ブロック分割部２００は、画像処理部１０１から、符号化対象のフレームに対する画像解析結果を取得する。続く、Ｓ３０２からＳ３０４までは第１の実施形態と同じである。

色差成分のＣＴＵブロック分割のシーケンスに移行したＳ７０２にて、ブロック分割部２００は、上述のＳ７０１で取得した解析結果を参照して、当該入力画像が色差成分の変化が少ないか否かを判定する。そして、ブロック分割部２００が、解析結果として色差成分の変化が少ない画像であると判定した場合（Ｓ７０２のＴＲＵＥの場合）、処理をＳ３０７に進め、色差成分の変化が多い画像であると判定した場合（Ｓ７０２のＦＡＬＳＥの場合）、処理をＳ３０８に進める。

Ｓ３０７にて、ブロック分割部２００は、当該ＣＴＵブロックに対してＣＳＴ方式を適応し、所定のサイズでブロック分割を行う。一方、Ｓ３０８に進んだ場合、ブロック分割部２０は、Ｓ３０６で処理した輝度成分ブロックのブロック分割情報に基づいて、従来のＨＥＶＣ規格方式と同様に、当該色差成分ブロックを分割する。

色差成分のブロック分割について、Ｓ３０７またはＳ３０８を実行後、当該ブロックに対して図２を用いて説明した一連の符号化処理ステップが実行される。この符号化を行った後、ブロック分割部２００は、再びＳ３０２に戻り当該入力画像の全ＣＴＵブロックについてブロック分割および符号化処理が完了するまで本フローを繰り返す。

以上、本第３の実施形態におけるブロック分割処理＆画像符号化処理フローを説明した。

［第４の実施形態］
上述の第３の実施形態では、画像処理部１０１での入力画像の解析結果に基づいて、色差星雲の画素変化が少ない場合に、色差成分のブロック分割を輝度成分のブロックと独立して、予め定めたブロックサイズで分割する方法を示した。

第４の実施形態では、画像フレーム単位の解析結果応じて一律に当該フレームの全ＣＴＵブロックについてＣＳＴ方式を適用するのではなく、ブロック単位に従来のブロック分割と、ＣＳＴ方式を適用したブロック分割の両方についてコスト計算と比較を行い、より好適なブロック分割を選択して符号化する方法を、さらに異なる動作として実施する。

以下、本第４の実施形態を、図８のフローチャートを参照して説明する。なお、第４の実施形態の説明において、上述した第１乃至第３の実施形態と共通する部分について、適宜説明を省略する。また、当該第４の実施形態を実現するシステム構成及び画像符号化部１０２の構成要素と機能については前記第３の実施形態と同一であるため説明を省略する。

＜処理フロー＞
本第４の実施形態における画像処理部１０１は、符号化対象のフレーム内のＣＴＵブロック単位にヒストグラムを求め、所定の度数以上の画素について、先に示した式(1)及び(2)を満たすか否かを判定することを、全ＣＴＵに対して行い、その判定結果（色差成分の変化の有無を示す情報）を、ブロック分割部２００に供給するものとする。

図８における、Ｓ７０１、Ｓ７０２，Ｓ３０２、Ｓ３０４、Ｓ３０６～Ｓ３０８は第３の実施形態と同じである。ただし、図８のＳ７０１にて、ブロック分割部２００は、画像処理部１０１による、符号化対象のフレームの全ＣＴＵブロック分の色差成分の変化の有無を解析した結果を取得し、Ｓ７０７では、符号化対象のＣＴＵごとに、取得した情報に基づき判定する点が異なる。

Ｓ７０２にて、ブロック分割部２００が、色差成分の着目ＣＴＵが、色差成分の変化が少ないと判定した場合は、当該色差成分ブロックについて、ＣＳＴ方式を適用し、予め定めたブロック分割を行う。更に、Ｓ３０８にて、ブロック分割部２００は、Ｓ３０６で行った分割情報を参照して、従来の輝度成分と同じブロック分割を行う。そして、Ｓ４０１にて、ブロック分割部２００は、ＣＳＴ方式を適用した場合と、従来のブロック分割を行った場合の両方について、分割フラグや階層数も含めたシンタックス情報の符号量も含めて、予測ブロックにてのコスト計算を行い、より符号化効率が高い分割方式を選択する。以上が本第４の実施形態における、画像符号化処理フローである。

［第５の実施形態］
上記の第３、第４の実施形態では、画像処理部１０１の画像特性の解析結果に基づき、符号化対象の入力画像データについて色差成分変化が少ない場合、輝度成分と色差成分のブロック分割を独立して行うＣＳＴ方式を適用して符号化を行う方法を示した。

これに対し、本第５の実施形態では、
第五の実施形態では、上述してきた本発明の実施形態おけるＣＳＴ方式を用いたブロック分割を適応したか否かを示す識別情報を、規格上定めたデコーダ側での判断用途で圧縮符号化ストリーム中に埋め込むだけでなく、さらに上位のファイルコンテナ層にも定義して記憶する方法を、さらに異なる動作として実施する。

以下、本第五の実施形態を図９のフローチャートを参照して説明する。なお、第５の実施形態の説明において、上述した第１乃至第４の実施形態と共通する部分について、適宜説明を省略する。また、当該第５の実施形態を実現する装置構成及び画像符号化部１０２の構成要素と機能については、上記第４の実施形態と同一であるものとし、その説明は省略する。

＜処理フロー＞
本第５の実施形態の特徴を示す図９において、Ｓ９０１，Ｓ９０２を除くステップは、第４の実施形態と同じであるので、その説明は省略する。

全ＣＴＵブロックのブロック分割を終え、全ＣＴＵの符号化処理を終えた場合（Ｓ３０２がＴＲＵＥの場合）、ブロック分割部２００は、処理をＳ９０１に進める。このＳ９０１にて、ブロック分割部２００は、符号化したフレーム画像に対し、輝度成分と色差成分のブロック分割を独立して行って符号化処理をするＣＳＴ方式を適用したブロック分割を行ったか否かを判断する。そして、ＣＳＴ方式を適用したと判定した場合（Ｓ９０１のＴＲＵＥの場合）、ブロック分割部２００は、ＣＰＵに１０６に対し、その旨を通知する。ＣＰＵ１０６は、画像符号化部１０２を制御し、当該フレームの符号化画像の符号化データを記録部１０３がＳＤカード等の記録媒体１５０に記録する際、ＭＰ４データのコンテナ構造としてユーザ用メタデータとして定義されているパラメータフィールド（例えばｕｄｔａ ａｔｏｍ）に、ＣＳＴ方式を適応したことを示す識別情報を記録させる。

上記の識別情報をコンテナファイルとして格納しておくことで、再生機またはデコーダ装置として、ＶＶＣ規格で新規採用されたＣＳＴ方式の復号処理をサポートしていなケースにおいて、実際に符号化ストリームをデコードする前に、再生互換性がサポートされているか否かを判別することが可能となる。

以上が第５の実施形態における、画像符号化処理フローである。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

発明は上記実施形態に制限されるものではなく、発明の精神及び範囲から離脱することなく、様々な変更及び変形が可能である。従って、発明の範囲を公にするために請求項を添付する。

１００…撮像部、１０１…画像処理部、１０２…画像符号化部、１０３…記録部、１０４…メモリバス、１０５…フレームメモリ、１０６…ＣＰＵ、１０７…フラッシュメモリ、１０８…ＣＰＵバス、２００…ブロック分割部、２０１…イントラ予測部、２０２…インター予測部、２０３…イントラ・インター判定部、２０４…予測画像生成部、２０５…変換部、２０６…量子化部、２０７…エントロピー符号化部、２０８…符号量制御部、２０９…逆量子化部、２１０…逆変換部、２１１…ループフィルタ

Claims (8)

1. 撮像手段で得た入力フレームを、所定のサイズの画素ブロックを単位に圧縮符号化する画像符号化装置であって、
   前記入力フレームにおける色差成分の特性を判定する判定手段と、
   前記入力フレームの輝度成分で構成されるブロック画像を、所定のアルゴリズムに従って再帰的にブロック分割し、符号化する第１の符号化手段と、
   前記第１の符号化手段によるブロック分割の結果を参照して、前記入力フレームの色差成分で構成されるブロック画像を分割し、符号化する第２の符号化手段と、
   前記入力フレームの色差成分で構成されるブロック画像を、予め設定されたサイズのブロックで分割し、符号化する第３の符号化手段と、
   前記判定手段の判定に基づいて、色差成分のブロック画像を、前記第２、第３の符号化手段のいずれかを選択する選択手段と、
   前記第１の符号化手段で得た輝度成分の符号化データ、及び、前記選択手段で選択した符号化手段で得た色差成分の符号化データを出力する出力手段と、
   を備える画像符号化装置。
2. 前記判定手段は、予め設定された複数の撮影モードのうち、色差成分についての変化が抑制された撮影モードで撮影されているか否かを判定し、
   前記選択手段は、前記判定手段によって色差成分についての変化が抑制された撮影モードであると判定された場合は前記第３の符号化手段を選択し、それ以外の場合の撮影モードである場合は前記第２の符号化手段を選択する
   ことを特徴とする請求項１に記載の画像符号化装置。
3. 前記判定手段は、予め設定された複数の撮影モードのうち、色差成分についての変化が抑制された撮影モードで撮影されているか否かを判定し、
   前記選択手段は、
   前記判定手段によって色差成分についての変化が抑制された撮影モードであると判定された場合は、前記第２の符号化手段及び前記第３の符号化手段それぞれのコストを計算し、当該コストに基づいて符号化効率の高い方を選択し、
   前記判定手段によって色差成分についての変化が抑制されない撮影モードであると判定された場合は、前記第２の符号化手段を選択する
   ことを特徴とする請求項１に記載の画像符号化装置。
4. 前記判定手段は、前記入力フレームにおける画素のヒストグラムを求め、当該ヒストグラムにおける予め設定された度数以上となる画素値において、色差成分の最大値と最小値との差を求め、当該差が所定の閾値以下であるか否かを判定し、
   前記選択手段は、前記判定手段によって前記差が閾値以下であると判定された場合は前記第３の符号化手段を選択し、それ以外の場合の撮影モードである場合は前記第２の符号化手段を選択する
   ことを特徴とする請求項１に記載の画像符号化装置。
5. 前記判定手段は、前記入力フレームにおける前記画素ブロック単位にヒストグラムを求め、当該ヒストグラムにおける予め設定された度数以上となる画素値において、色差成分の最大値と最小値との差が所定の閾値以下であるか否かを判定し、
   前記選択手段は、
   前記判定手段によって、着目画素ブロックにおける前記差が閾値以下であると判定された場合は、前記第２の符号化手段及び前記第３の符号化手段それぞれのコストを計算し、当該コストに基づいて符号化効率の高い方を選択し、
   前記判定手段によって前記着目画素ブロックにおける前記差が閾値以下ではないと判定された場合は、前記第２の符号化手段を選択する
   ことを特徴とする請求項１に記載の画像符号化装置。
6. 前記出力手段は、前記入力フレームに対する符号化データに、前記第３の符号化手段による符号化データが含まれるか否かを示す情報を更に出力することを特徴とする請求項１乃至５のいずれか１項に記載の画像符号化装置。
7. 撮像手段で得た入力フレームを、所定のサイズの画素ブロックを単位に圧縮符号化する画像符号化装置の制御方法であって、
   前記入力フレームにおける色差成分の特性を判定する判定工程と、
   前記入力フレームの輝度成分で構成されるブロック画像を、所定のアルゴリズムに従って再帰的にブロック分割し、符号化する第１の符号化工程と、
   前記第１の符号化工程によるブロック分割の結果を参照して、前記入力フレームの色差成分で構成されるブロック画像を分割し、符号化する第２の符号化工程と、
   前記入力フレームの色差成分で構成されるブロック画像を、予め設定されたサイズのブロックで分割し、符号化する第３の符号化工程と、
   前記判定工程の判定に基づいて、色差成分のブロック画像を、前記第２、第３の符号化工程のいずれかを選択する選択工程と、
   前記第１の符号化工程で得た輝度成分の符号化データ、及び、前記選択工程で選択した符号化工程で得た色差成分の符号化データを出力する出力工程と、
   を備える画像符号化装置の制御方法。
8. コンピュータが読み込み実行することで、前記コンピュータに請求項７に記載の各工程を実行させるためのコンピュータプログラム。

Images