JP2008072608A - 画像符号化装置及び画像符号化方法 - Google Patents

Abstract

【課題】全体の処理負荷を考慮しながら画像中の指定対象を鮮明に映し出せるようにする。
【解決手段】本発明の画像符号化装置は、指定された画像中の指定対象の位置を示す対象領域を管理する対象領域管理手段と、画像中の指定対象の対象領域を包含する周辺領域を決定する周辺領域決定手段と、周辺領域決定手段により決定された周辺領域に対しては動き探索の探索範囲を広げるようにし、周辺領域以外の領域に対しては動き探索の探索範囲を狭くするように制御する探索範囲制御手段と、探索範囲制御手段が制御した探索範囲内で動きベクトルを検出する動きベクトル検出手段と、動きベクトル検出手段により検出された動きベクトルと周辺領域とに基づいて画像中の指定対象の対象領域を更新する対象領域更新手段と、対象領域管理手段が管理する画像中の指定対象の対象領域に対して、量子化ステップサイズを小さく設定して符号化させる符号化制御手段とを備える。
【選択図】 図１

Description

本発明は、画像符号化装置及び画像符号化方法に関し、例えば、動画像を圧縮するために、動画像データに対して符号化処理を行ない、符号化画像データを出力する画像符号化装置及び画像符号化方法に適用し得る。

動画像を圧縮するために動画像データに対する符号化方式として、一般にＭＰＥＧで規格化された標準化技術が用いられている。ＭＰＥＧ規格の画像符号化方法は、動画像の各フレームを小ブロックに分割し、マクロブロックと呼ばれるブロック単位で符号化処理を行なうものであり、その符号化処理は大別してイントラ符号化とインター符号化との２種類に分類される。

イントラ符号化とは、動画像の各フレーム内で隣接する画素間の相関関係を利用した圧縮処理である。イントラ符号化方法は、入力画像の１フレームを各ブロックに分割し、ブロック毎に離散コサイン変換（ＤＣＴ）を施してから量子化し、量子化したＤＣＴ係数に対して可変長符号化をする。

インター符号化とは、動画像のフレーム間の差分信号を符号化する処理である。インター符号化方法は、これから符号化処理をする符号化対象画像と参照画像から求めた動きベクトルに基づき、動き補償して最適な予測マクロブロックを取得し、この予測マクロブロックと符号化対象のマクロブロックとの差分信号を求める。そして、その差分信号に対してＤＣＴを施してから量子化し、量子化したＤＣＴ係数を動きベクトルや量子化ステップサイズと共に可変長符号化する。

ここで、符号化対象画像と参照画像のそれぞれのブロック間で最も似ているブロックを探索することを動き探索といい、この動き探索により求められたブロックの位置の時間方向のずれを動きベクトルという。

従来、画像符号化装置における動き探索方式は、例えば特許文献１及び２に示すように、例えば、それぞれの画像の位置において一定の探索範囲を設けたり、又例えば、周辺の動きベクトルの大きさに応じて探索範囲を決定したりし、このようにして決定した探索範囲の中で最も似ているブロックを検索して動きを検出している。

また、画像符号化装置のおけるＤＣＴ係数の量子化の際、量子化の幅を示す量子化ステップサイズは、動画像の各フレームに対して分割した全てのブロックについて一定のものとしたり、また動画像に割り当てられた符号量と各係数値に応じて決定したりしている。

特開２００４−１４０７９４号公報 特開２００３−２７４４１０号公報

ところで、画像を符号化する際、ある特定の指定領域のみを鮮明に映し出すことが強く望まれることがある。例えば、監視映像などの動画像の符号化処理においては、映像中の監視対象の画質を向上させ、監視対象の特定の容易化を図ることができる。

しかしながら、上述した従来の符号化装置において、探索範囲が広くなると、それにつれて計算量、符号量が増大するため、ハードウェアの処理負荷が異なる。そのため、ハードウェアの性能に応じて探索範囲が限定されてしまい、例えば広い探索範囲を必要とする場合などは結果的に動きの検索がうまくいかず、注目したい対象が不鮮明になる場合がある。

また、ＤＣＴ係数の量子化処理では、符号量の軽減のためにＤＣＴ係数を量子化ステップサイズで割り算して余りを丸め込んでいるが、復号の際には、量子化値に量子化ステップサイズを掛けることで復元しているから、正確な値を復元できず歪みが生じてしまう。なお、この歪みは、量子化ステップサイズが小さくなればなるほど小さくなる。

しかしながら、量子化ステップサイズは、上述したように、使用できる符号量に規定されているから、必ずしも注目したい対象が鮮明に映るとは限らない。

そのため、画像中において指定された対象の動き探索が他の部分よりうまくいく必要があり、他の部分に比べより符号量を多く割り当てることができる画像符号化装置及び画像符号化方法が求められている。

かかる課題を解決するために、第１の本発明の画像符号化装置は、動画像を符号化する画像符号化装置において、（１）指定された画像中の指定対象の位置を示す対象領域を管理する対象領域管理手段と、（２）画像中の指定対象の対象領域を包含する周辺領域を決定する周辺領域決定手段と、（３）周辺領域決定手段により決定された周辺領域に対しては動き探索の探索範囲を広げるようにし、周辺領域以外の領域に対しては動き探索の探索範囲を狭くするように制御する探索範囲制御手段と、（４）探索範囲制御手段が制御した探索範囲内で動きベクトルを検出する動きベクトル検出手段と、（５）動きベクトル検出手段により検出された動きベクトルと周辺領域とに基づいて画像中の指定対象の対象領域を更新する対象領域更新手段と、（６）対象領域管理手段が管理する画像中の指定対象の対象領域に対して、量子化ステップサイズを小さく設定して符号化させる符号化制御手段とを備えることを特徴とする。

第２の本発明の画像符号化方法は、動画像を符号化する画像符号化方法において、（１）対象領域管理手段が、指定された画像中の指定対象の位置を示す対象領域を管理する対象領域管理工程と、（２）周辺領域決定手段が、画像中の指定対象の対象領域を包含する周辺領域を決定する周辺領域決定工程と、（３）探索範囲制御手段が、周辺領域決定手段により決定された周辺領域に対しては動き探索の探索範囲を広げるようにし、周辺領域以外の領域に対しては動き探索の探索範囲を狭くするように制御する探索範囲制御工程と、（４）動きベクトル検出手段が、探索範囲制御手段が制御した探索範囲内で動きベクトルを検出する動きベクトル検出工程と、（５）対象領域更新手段が、動きベクトル検出手段により検出された動きベクトルと周辺領域とに基づいて画像中の指定対象の対象領域を更新する対象領域更新工程と、（６）符号化制御手段が、対象領域管理手段が管理する画像中の指定対象の対象領域に対して、量子化ステップサイズを小さく設定して符号化させる符号化制御工程とを備えることを特徴とする。

本発明によれば、画像中の指定領域に対する符号化に必要な計算量及び符号量を多く配分することができるため、全体としての計算量及び符号量を抑えながら、指定領域をより鮮明な符号化をすることができ、かつ指定領域の動き情報を提供することができる。

（Ａ）第１の実施形態
以下、本発明の画像符号化装置の第１の実施形態を図面を参照しながら説明する。

第１の実施形態は、入力画像を圧縮するために画像データに対して符号化処理を行なう画像符号化装置に、本発明の画像符号化装置を適用した場合を説明する。

（Ａ−１）第１の実施形態の構成
図１は、第１の実施形態の画像符号化装置１００の主な構成を示すブロック図である。図１に示すように、第１の実施形態の画像符号化装置１００は、オブジェクト管理部１、探索範囲制御部２、符号化制御部３、ｍｖ検出部４、インター予測部、イントラ予測部６、ブロック分割部７、直交変換部８、量子化部９、エントロピー符号化部１０、逆量子化部１１、直交逆変換部１２、モード選択部１３、フレームバッファ１４、バッファ管理部１５、フレームバッファ１６、を有して構成される。

第１の実施形態では、オブジェクト管理部１、探索範囲制御部２、符号化制御部３、ｍｖ検出部４、及び、インター予測部５の機能が従来の画像符号化装置と異なるものであり、これら以外の構成は従来の画像符号化装置の構成に対応する。

ブロック分割部７は、入力画像を取り込み、その入力画像をブロック（第１の実施形態では、縦横１６画素の矩形の画素集合のブロック）に分割するものである。また、ブロック分割部７は、ブロック化した入力画像を直交変換部８及びｍｖ検出部４に与えるものである。

直交変換部８は、予測画像（インター予測の場合入力画像のブロックに最も似ている参照画像のブロック、イントラ予測の場合ブロックの左と上の周辺画素を使って計算した画素値）との差分を直交変換するものである。また、直交変換部は、周波数変換した変換係数を量子化部９に与えるものである。

量子化部９は、直交変換部８により周波数変換された変換係数を量子化し、量子化した量子化値を逆量子化部１１及びエントロピー符号化部１０に与えるものである。

エントロピー符号化部１０は、量子化部９から量子化された変換係数、動きベクトル等をエントロピー符号化するものである。

逆量子化部１１は、インター予測部５で参照画像として使用するためのローカルデコード画像を作成するため、量子化部９により量子化されたものに対して逆量子化を行なうものである。また、逆量子化部１１は、逆量子化した信号を直交逆変換部１２に与えるものである。

直交逆変換部１２は、ローカルデコード画像を求めるために、逆量子化部１１により逆量子化された信号に対して直交逆変換を行なうものである。また、直交逆変換部１２は、直交逆変換したデータと参照画像とを合成したローカルデコード画像をフレームバッファ１４に与えるものである。

フレームバッファ１４は、ローカルデコード画像のフレームを保持するものである。また、フレームバッファ１４は、保持している画像フレームを参照画像フレームとしてイントラ予測部６及びバッファ管理部１５に与えるものである。

イントラ予測部６は、フレームバッファ１４から参照画像フレームを受け取り、現画像フレームと参照画像フレーム間のイントラ予測を行ない、その予測画像をモード選択部１３を介して直交変換部８及びエントロピー符号化部１０に与えるものである。

バッファ管理部１５は、フレームバッファ１４に保持される参照画像フレームを管理するものである。

フレームバッファ１６は、バッファ管理部１５から与えられた参照画像フレームを保持するものであり、保持している参照画像フレームをインター予測部５及びｍｖ検出部４に与えるものである。

インター予測部５は、フレームバッファ１６からの参照画像フレームと、ｍｖ検出部４からの動きベクトルとに基づいて、インター予測を行なうものである。また、インター予測部５は、モード選択部１３を介して予測画像を直交変換部８に与えるものである。

モード選択部１３は、インター予測部５とイントラ予測部６が求めた予測画像のうち、最適なものを選択するものであり、選択した予測画像を直交変換部８に与えるものである。また、モード選択部１３は、選択した予測モードを符号化制御部３及びバッファ管理部１５に通知するものである。

オブジェクト管理部１は、画像中において指定された指定対象が占める対象領域を管理するものである。オブジェクト管理部１は、入力した対象領域集合を受け取ると、参照画像の対象領域集合に含まれるブロックと最もよくマッチングする（最もよく似ている）ブロックを、入力画像の周辺ブロック集合から探し出し、追跡するものである。また、オブジェクト管理部１は、記録する対象領域集合を探索範囲制御部２に与えるものである。さらに、オブジェクト管理部１は、ｍｖ検出部４から動きベクトルを受け取り、受け取った動きベクトルに基づいて対象領域のブロック集合を更新し、その更新した対象領域のブロック集合を記録すると共に、その更新した対象領域のブロック集合を符号化制御部３に与えるものである。

ここで、対象領域集合とは、注目の対象となる領域の集合であり、オブジェクト管理部１は、対象領域を、例えばブロックのブロック番号やピクセル位置や画像の各行の指定範囲として管理する。また、この対象領域集合の指定方法は、種々の方法を適用することができる。

また、周辺ブロック集合とは、入力画像の対象領域集合から所定距離以内の周辺に位置するブロックのブロック番号の集合である。また、周辺ブロック集合を決定するための対象領域集合からの距離は通常の探索範囲より大きくとるものとする。

図２は、オブジェクト管理部１の機能構成を示すブロック図であり、図２に示すように、オブジェクト管理部１は、対象領域集合記録部１０１、周辺ブロック集合算出部１０２、対象領域集合更新部１０３を有する。

対象領域集合記録部１０１は、対象領域集合と対象ブロック集合を記録するメモリと入出力制御機能を有するものであり、対象領域集合を受け取ると、対象領域集合を記録すると共に、その対象領域集合を周辺ブロック集合算出部１０２に与えるものである。また、対象領域集合記録部１０１は、対象領域集合更新部１０３により動きベクトルに応じて更新された対象領域集合を記録する。

周辺ブロック集合算出部１０２は、対象領域集合記録部１０１から対象領域集合を受け取ると、その対象領域集合から所定距離以内に位置する周辺のブロックのブロック番号を求めて周辺ブロック集合を生成するものである。また、周辺ブロック集合算出部１２は、求めた周辺ブロック集合を探索範囲制御部２に与える。

対象領域集合更新部１０３は、ｍｖ検出部４から動きベクトルを受け取ると、その動きベクトルに基づいて対象ブロック集合を生成し、生成した対象ブロック集合を新たな対象領域集合として対象領域集合記録部１１に与えて記録させるものである。

探索範囲制御部２は、ｍｖ検出部４による動きを検出する範囲を制御するものであり、オブジェクト管理部１から周辺ブロック集合を受け取ると、周辺ブロック集合に属するブロックに対して、通常の探索範囲に加えて、周辺ブロック集合算出部１０２で算出した対象領域ブロックの一部（周辺ブロック集合算出部１０２で使用した探索範囲内にある）を探索し、それ以外のブロックの探索範囲は狭めるものである。

ｍｖ検出部４は、フレームバッファ１６からの参照画像フレームと、ブロック分割部７からの入力画像フレームとを比較して、動きベクトルを検出するものである。また、ｍｖ検出部４は、検出した動きベクトルをオブジェクト管理部１、インター予測部５及びエントロピー符号化部１０に与えるものである。

符号化制御部３は、オブジェクト管理部１から対象ブロック集合を受け取ると、その対象ブロック集合に対しては量子化ステップサイズを小さくするように制御し、また対象ブロック集合以外に対してはブロックの量子化ステップサイズを高くするように制御するものである。このように、対象ブロック集合について量子化ステップサイズを小さくすることで、復号側で復号処理をする際、ＤＣＴ係数の値の歪みを小さくすることができるので、画像中の指定対象を鮮明に映し出すことができる。

（Ａ−２）第１の実施形態の動作
次に、第１の実施形態の画像符号化装置１００の動画像の符号化処理の動作を説明する。

図１において、まず、注目したい対象の領域指定を受けると、その領域指定に対応する対象領域集合がオブジェクト管理部１に与えられる。

対象領域集合がオブジェクト管理部１に与えられると、オブジェクト管理部１の対象領域集合記録部１０１に対象領域集合が記録されると共に、対象領域集合は周辺ブロック集合算出部１０２に与えられ、周辺ブロック集合算出部１０２により周辺ブロック集合が算出される。

ここで、図３は、周辺ブロック集合算出部１０２における周辺ブロック算出処理を示すフローチャートであり、また図４は、対象領域ブロックと周辺ブロック集合との関係を説明する説明図である。

図３において、まず、入力した画像についてブロックに分割する（Ｓ１１）。このとき、図１に示すブロック分割部７により分割されたブロックを用いるようにしてもよい。

次に、対象領域集合記録部１０１から対象領域集合を受け取ると、その対象領域集合が参照画像の各ブロックに該当するものを含むか否かを判断し、対象領域集合が参照画像の各ブロックに含まれるときに、当該対象領域に対応するブロックを特定し（Ｓ１２）、これらブロックを対象領域ブロックとする。

そして、対象領域ブロックを構成する各ブロックから所定範囲以内に位置するブロックを周辺ブロックとして特定し（Ｓ１３）、対象領域ブロック及び周辺ブロックを含むブロック番号を周辺ブロック集合として算出する。

図４では、対象領域ブロックを構成する各ブロックから２ブロック以内に位置するブロックを周辺ブロックとした場合の例を示す。また、図４にも示すように、周辺ブロック集合算出部１０２が求めた周辺ブロック集合には対象領域ブロックが含まれるものとする。

このようにして、周辺ブロック集合算出部１０２により周辺ブロック集合が算出されると、周辺ブロック集合は探索範囲制御部２に与えられ、探索範囲制御部２により探索範囲が制御される。

すなわち、探索範囲制御部２では、周辺ブロック集合を構成するブロックについては、通常の探索範囲に対象領域ブロックの一部を加えて探索範囲を広げるように制御し、周辺ブロック集合のブロック以外については探索範囲を狭めるように制御する。

これにより、対象領域の探索範囲を広げることができるため注目したい対象が広い領域を持つものであっても対応することができる。また、その一方で、対象領域に係る動き探索の計算量は増大するが、当該対象領域以外の部分の動き探索の計算量を軽減することができるので、全体としては過大な処理負荷はかからず、注目したい対象に対して集中的に計算させて鮮明にすることができる。

探索範囲制御部２より制御された探索範囲はｍｖ検出部４に与えられると、ｍｖ検索部４では、探索範囲を用いて、参照画像フレーム及び入力画像フレームに基づいて動きベクトルを検出し、その検出した動きベクトルをオブジェクト管理部１に与える。

ｍｖ検出部４からの動きベクトルがオブジェクト管理部１に与えられると、オブジェクト管理部１の対象領域集合更新部１０３により、新たな対象領域に更新されて、その新たな対象領域が対象領域集合記録部１０１に記録される。

図５及び図６における処理の内容は、次のステップＳ２１〜ステップＳ３８に基づき処理される。

＜ステップＳ２１・図５＞
まず、周辺ブロック集合を構成する全てのブロックの中で、ブロックの動きベクトルが指す位置が対象領域集合に属する場合、この周辺ブロック集合に属するブロックを対象ブロック集合に入れる。

＜ステップＳ２２：図５＞
次に、対象ブロック集合における連結成分を求める。ここで、連結成分とは、隣接する一塊のブロックの集合であり、あるブロックが連結成分に属するとは、隣接する連結成分に属するブロックを通って連結成分内の任意のブロックにたどり着けるということである。連結成分として求めたブロックには、おのおの１から２，３，…，Ｎと順々にブロック番号を割り当てることにより、各連結成分は、連結成分に属するブロックのブロック番号の集合で表すことが出来るようにする。図７には、連結成分が９つ存在するものを一例として示す。また、連結成分Ｌ（１）はブロック番号：１〜６からなる集合、連結成分Ｌ（２）はブロック番号：１〜２５からなる集合、連結成分Ｌ（３）はブロック番号：１〜５からなる集合、連結成分Ｌ（４）はブロック番号：１〜５からなる集合、連結成分Ｌ（５）はブロック番号：１〜２５からなる集合、連結成分Ｌ（６）はブロック番号：１〜２４からなる集合、連結成分Ｌ（７）はブロック番号：１〜５からなる集合、連結成分Ｌ（８）はブロック番号：１〜５からなる集合、連結成分Ｌ（ｇ）はブロック番号１〜２４からなる集合である。

＜ステップＳ２３：図５＞
次に、変数ｎに、求めた連結成分の数（図７の例では９）を代入する。

＜ステップＳ２４：図５＞
そして、連結部分Ｌ（ｎ）の大きさ（例えば、連結部分Ｌ（ｎ）を構成するブロック数）が、ある大きさ以下ならばステップＳ２５に進み、ある大きさより大きいならばステップＳ２６に進む。

＜ステップＳ２５：図５＞
対象ブロック集合から、連結成分Ｌ（ｎ）を除外する。

＜ステップＳ２６：図５＞
変数ｎから１を引く。

＜ステップＳ２７：図５＞
変数ｎが０となるまで、ステップＳ２４〜ステップＳ２６の処理を繰り返す。変数ｎが０となると、求めた連結成分の全てにおいて、各々の連結成分の大きさ（各々の連結部分を構成するブロック数）がある閾値以下となるものは、対象ブロック集合から除外される。例えば、対象ブロック集合は、図７のように求めた連結成分Ｌ（１）から求めた連結成分Ｌ（９）とする。ステップＳ２１〜ステップＳ２７において、連結成分の大きさ（連結部分を構成するブロック数）が６以下なら、対象ブロック集合から連結成分Ｌ（ｎ）を除外するとしたとき、連結成分Ｌ（１）、連結成分Ｌ（３）、連結成分Ｌ（４）、連結成分Ｌ（７）、連結成分Ｌ（８）が除外され、連結成分Ｌ（２）、連結成分Ｌ（５）、連結成分Ｌ（６）、連結成分Ｌ（９）が残る。この図７に対してステップＳ２３〜ステップＳ２７の処理をした結果の一例を図８に表す。図８における連結成分の数は、９から４となる。

＜ステップ５２８〜ステップ５３６＞
各連結成分において、動きベクトルの大きさが他の動きベクトルの大きさと大きく異なっているブロックを連結成分から除外する（ステップＳ２８〜ステップＳ３６）。

＜ステップＳ２８：図５＞
まず、対象ブロック集合における各連結成分の動きベクトルの代表値（例えば、対象ブロック集合における各連結成分の動きベクトルの平均値等）を求める。図８に対してステップＳ２８の処理をした結果の一例を図９に表す。

＜ステップＳ２９：図５＞
次に、変数ｎに、ステップＳ２２で求めた連結成分の数（図９の例では９）を代入する。

＜ステップＳ３０：図６＞
変数ｎと、ステップＳ２５で連結成分Ｌ（ｎ）を除外したときの値：ｎとを比較する。比較した結果、変数ｎが、ステップＳ２５で連結成分Ｌ（ｎ）を除外したときの値：ｎ（図９では、ｎ＝１，３，４，７，８）と同じであれば、ステップＳ３１に進む。比較した結果、変数ｎがステップＳ２５で連結成分Ｌ（ｎ）を除外したときの値：ｎ（図９では、ｎ＝１，３，４，７，８）と異なれば、ステップＳ３２（図９）に進む。

＜ステップＳ３１：図６＞
変数ｎから１を引き、ステップＳ３０に戻る。

＜ステップ５３２：図６＞
変数ｍに、連結成分Ｌ（ｎ）の大きさ（ここでは、例えば、連結成分Ｌ（ｎ）を構成するブロック数Ｍ（ｎ））を代入する。図９では、Ｍ（２）＝２５，Ｍ（５）＝２５，Ｍ（６）＝２４，Ｍ（９）＝２４となる。

＜ステップ５３３：図６＞
連結成分Ｌ（ｎ）、ブロック番号ｍにおける動きベクトルの大きさから、連結成分Ｌ（ｎ）における動きベクトルの代表値の大きさを引いた値の絶対値（ＡＢＳ）が、所定の閾値と比較する。求めた絶対値（ＡＢＳ）が所定の閾値より大きいならばステップＳ３４に進み、求めた絶対値（ＡＢＳ）が所定の閾値以下ならばステップＳ３５に進む。

＜ステップ５３４：図６＞
ステップＳ３３にて求めた絶対値（ＡＢＳ）が、所定の閾値より大きいとき、連結成分Ｌ（ｎ）からブロックｍを除外する。

図９において、連結成分Ｌ（２）では、動きベクトルの代表値が動きベクトルＶ２であるとき、ブロック番号ｍ＝１の動きベクトル：ｖ（２，１）［Ｖ２１]、ブロック番号ｍ＝３の動きベクトル：ｖ（２，３）［Ｖ２２］、ブロック番号ｍ＝１２の動きベクトル：ｖ（２，１２）［Ｖ２３]、ブロック番号ｍ＝１７の動きベクトル：ｖ（２，１７）［Ｖ２４］、ブロック番号ｍ＝２４の動きベクトル：ｖ（２，２４）［Ｖ２５]、ブロック番号ｍ＝２５の動きベクトル：ｖ（２，２５）［Ｖ２６］において、ステップＳ３３にて求めた絶対値（ＡＢＳ）が、所定の閾値より大きくなる。よって、図１０に示すように、連結成分Ｌ（２）では、ブロック番号ｍ＝１のブロック：ｂ（２，１）［Ｂ２１]、ブロック番号ｍ＝３のブロック：ｂ（２，３）［Ｂ２２］、ブロック番号ｍ＝１２のブロック：ｂ（２，１２）［Ｂ２３］、ブロック番号ｍ＝１７のブロック：ｂ（２，１７）［Ｂ２４］、ブロック番号ｍ＝２４のプロック：ｂ（２，２４）［Ｂ２５］、ブロック番号ｍ＝２５のブロック：ｂ（２．２５）［Ｂ２６］を、連結成分から除外する。

また図９において、連結成分Ｌ（５）では、動きベクトルの代表値が動きベクトルＶ５であるとき、ブロック番号ｍ＝１１の動きベクトル：ｖ（５，１１）［Ｖ５１]、ブロック番号ｍ＝１６の動きベクトル：ｖ（５，１６）［Ｖ５２]、ブロック番号ｍ＝２４の動きベクトル：ｖ（５，２４）［Ｖ５３］、ブロック番号ｍ＝２５の動きベクトル：ｖ（５，２５）
［Ｖ５４］において、ステップＳ３３にて求めた絶対値（ＡＢＳ）が、所定の閾値より大きくなる。よって、図１０に示すように、連結成分Ｌ（５）では、ブロック番号ｍ＝１１のブロック：ｂ（５，１１）[Ｂ５１]、ブロック番号ｍ＝１６のブロック：ｂ（５，１６）［Ｂ５２］、ブロック番号ｍ＝２４のブロック：ｂ（５，２４）［Ｂ５３］、ブロック番号ｍ＝２５のブロック：ｂ（５，２５）［Ｂ５４］を、連結成分から除外する。

図９において、連結成分Ｌ（６）では、動きベクトルの代表値が動きベクトルＶ６であるとき、ブロック番号ｍ＝１の動きベクトル：ｖ（６，１）［Ｖ６１]、ブロック番号ｍ＝２４の動きベクトル：ｖ（６，２４）［Ｖ６２］において、ステップＳ３３にて求めた絶対値（ＡＢＳ）が、所定の閾値より大きくなる。よって、図１０に示すように、連結成分Ｌ（６）では、ブロック番号ｍ＝１のブロック：Ｂ（６，１）［Ｂ６１]、ブロック番号ｍ＝２４のブロック：Ｂ（６，２４）［Ｂ６２］を、連結成分から除外する。

図９において、連結成分Ｌ（９）では、動きベクトルの代表値が動きベクトルＶ９であるとき、ブロック番号ｍ＝１の動きベクトル：ｖ（９，１）［Ｖ９１]、ブロック番号ｍ＝３の動きベクトル：ｖ（９，３）［Ｖ９２］、ブロック番号ｍ＝６の動きベクトル：ｖ（９，６）［Ｖ９３］、ブロック番号ｍ＝１１の動きベクトル：ｖ（９，１１）［Ｖ９４］において、ステップＳ３３にて求めた絶対値（ＡＢＳ）が、所定の閾値より大きくなる。よって、図１０に示すように、連結成分Ｌ（９）では、ブロック番号ｍ＝１のブロック：ｂ（９，１）［Ｂ９１］、ブロック番号ｍ＝３のブロック：ｂ（９，３）［Ｂ９２］、ブロック番号ｍ＝６のブロック：ｂ（９，６）［Ｂ９３］、ブロック番号ｍ＝１１のブロックｂ（９，１１）［Ｂ９４］を、連結成分から除外する。

＜ステップＳ３５：図６＞
変数ｍから１を引く。

＜ステップＳ３６：図６＞
変数ｍが０となるまで、ステップＳ３３〜ステップＳ３５の処理を繰り返す。変数ｍが０となると、連結成分Ｌ（ｎ）において、ステップＳ３３にて求めた絶対値（ＡＢＳ）が所定の閾値より大きいとき、連結成分Ｌ（ｎ）からブロックｍを除外する処理は完了する。

＜ステップＳ３７：図６＞
変数ｎから１を引く。

＜ステップＳ３８：図６＞
変数ｎが０となるまで、ステップＳ３０〜ステップＳ３７を処理を繰り返す。変数ｎが０となると、各々の連結成分において、ステップＳ３３にて求めた絶対値（ＡＢＳ）が所定の閾値より大きいとき、各々の連結成分からブロックｍを除外する処理は完了する。図７に示す対象ブロック集合が、ステップＳ２１〜ステップＳ３８に基づき処理された結果の一例を、図１１に示す。

このようにして、生成した対象ブロック集合に該当する領域を新たな対象領域集合とし、オブジェクト管理部１は、この対象ブロック集合を符号化制御部３に与える。

符号化制御部３では、オブジェクト管理部１から対象ブロック集合を受け取り、その対象ブロック集合に対しては量子化ステップサイズを小さくするように制御し、また対象ブロック集合以外に対してはブロックの量子化ステップサイズを高くするように制御する。

なお、上述したように、対象領域に対する探索範囲及び量子化ステップサイズの制御以外の入力画像に対する符号化方法は既存の符号化方法を適用することができるので、ここでの詳細な説明は省略する。

続いて、第１の実施形態の画像符号化装置１００の前段にマッチングパターン部２００を設けて実施した場合の動作を図６を参照しながら説明する。

図１２に示すように、第１の実施形態の画像符号化装置１００の前段にパターンマッチング部２００を接続している。

パターンマッチング部２００に入力画像が入力すると、入力画像に対しパターンマッチング部２００にあらかじめ用意されているパターンとの照合をとり、マッチした領域を対象領域集合に変換して画像符号化装置１００に与える。

画像符号化装置１００に対象領域集合が入力すると、画像符号化装置１００では、この対象領域集合を用いて周辺ブロック集合を生成して、その周辺ブロック集合に基づき周辺ブロック集合に属するブロックの動き探索範囲を広げ、周辺ブロック集合以外の部分の探索範囲を狭めるよう動き探索を制御し、得られた動きベクトルを用い対象領域集合を更新し、対応する対象ブロック集合を用いて対象ブロックにより小さい量子化ステップサイズを割り振るよう符号化制御を行なう。

（Ａ−３）第１の実施形態の効果
以上のように、第１の実施形態によれば、対象領域の周辺ブロックの動き探索範囲を広げることで対象の動きが大きい場合でも確実に対象の追跡を行なうことができ、量子化ステップサイズを下げる対象を確実なものにすることができる。

また、第１の実施形態によれば、他のブロックの探索範囲を狭めることで計算量を一定に保てることができ、性能の比較的低いハードウェアでも実行することができる。

さらに、第１の実施形態によれば、符号量を適切に割り振ることで、全体の符号量に制限がある場合でも注目する対象を鮮明に符号化しつつ符号量を抑えることが可能になる。（Ｂ）第２の実施形態
次に、本発明の画像符号化装置の第２の実施形態を図面を参照しながら説明する。

第２の実施形態の画像符号化装置が第１の実施形態の画像符号化装置と異なる点は、オブジェクト管理部において、対象領域集合更新部が算出した対象ブロック集合の各連結成分と各連結成分の動きベクトルの代表値を記録する点である。

そこで、以下では、第２の実施形態の画像符号化装置の機能と、第２の実施形態の画像符号化装置を監視映像システムの画像符号化装置として適用した場合の例を挙げて説明する。

（Ｂ−１）第２の実施形態の構成及び動作
図１３は、第２の実施形態の画像符号化装置１１０を監視映像システムに適用したときの適用例を示す構成図である。

図１３に示すように、第２の実施形態の画像符号化装置１１０は、パターンマッチング部２００及び動き解析部３００に接続している。

パターンマッチング部２００は、第１の実施形態と同様に、入力画像に対しパターンマッチング部２００にあらかじめ用意されているパターンとの照合をとり、マッチした領域を対象領域集合に変換して画像符号化装置１００に与えるものである。

画像符号化装置１１０は、パターンマッチング部２００から対象領域集合を受け取ると、第１の実施形態と同様に、動き探索の制御及び符号量の制御を行なうものである。また、第２の実施形態の画像符号化装置１１０は、対象領域とする対象ブロック集合を構成する連結成分とその動きベクトルの代表値を動き解析部３００に与えるものである。

なお、第２の実施形態の画像符号化装置１１０の内部構成は図１に示す第１の実施形態の内部構成に対応するが、オブジェクト管理部の機能が異なる。

図１４は、第２の実施形態のオブジェクト管理部の機能構成を示すブロック図であり、図１４に示す第２の実施形態のオブジェクト管理部は、対象領域集合記録部１０４、周辺ブロック集合算出部１０２、対象領域集合更新部１０３を有する。

周辺ブロック集合算出部１０２及び対象領域集合更新部１０３は、第１の実施形態で説明した構成に対応するのでここでの詳細な説明は省略する。

対象領域集合記録部１０４は、第１の実施形態と同様に、対象領域集合を記録するメモリと入出力制御機能を備えると共に、対象領域集合更新部１０３が算出した対象ブロック集合を構成する各連結成分及び各連結成分の動きベクトルの代表値を記録するメモリを有する。また、対象領域集合領域１０４は、対象ブロック集合を構成する各連結成分及び各連結成分の動きベクトルの代表値を動く情報として出力するものである。

動き解析部３００は、画像符号化装置１１０から対象ブロック集合を構成する連結成分とその動きベクトルの代表値とを受け取ると、この連結成分と動きベクトルの代表値とに基づいて対象領域の動き追跡を行なうものである。また、動き解析部３００は、追跡対象が入力画像の枠内にあることを判断し、枠外に出ようとする際に、追跡対象を入力画像の枠内に納まるようにカメラ制御をカメラ制御部（図示しない）に出力するものである。さらに、動き解析部３００は、対象の動き解析情報を図示しない記録部に動き解析用ログ情報を記録するものである。

（Ｂ−２）第２の実施形態の効果
以上のように、第２の実施形態によれば、第１の実施形態で説明した効果と同様の効果を奏することができる。

また、第２の実施形態によれば、動き情報を出力する機能を備えることにより、別途追跡機能を備える必要がないから、性能の低いハードウェアを用いる装置でも実行することができる。

（Ｃ）第３の実施形態
次に、本発明の画像符号化装置の第３の実施形態を図面を参照しながら説明する。

第３の実施形態の画像符号化装置が第１の実施形態の画像符号化装置と異なる点は、オブジェクト管理部において、対象領域集合の追加や削除などの変更を制御する点である。

そこで、以下では、第３の実施形態の画像符号化装置の機能と、第３の実施形態の画像符号化装置の適用例を挙げて説明する。

（Ｃ−１）第３の実施形態の構成及び動作
図１５は、第２の実施形態の画像符号化装置１２０の適用例を示す構成図であり、図１５では、画像符号化装置１２０は対象領域指定部４００と接続している。

対象領域指定部４００は、例えば利用者等の操作を受けて、追跡対象の領域指定を取り込み、その領域指定を画像符号化装置１２０に与えるものである。また、対象領域指定部４００は、新たに追跡対象とする領域の指定を受け付けたり、既に指定した対象の削除などの指定の変更も取り込むものである。

これにより、対象領域指定部４００で指定した領域に対してのみ動き探索範囲の拡張を行ないその他の部分に関しては量子化ステップサイズを大きく下げることができる。

なお、対象領域指定部４００は、例えば、タッチパネルやポインティングデバイス等の操作により指定する対象を取り込むものを適用できる。

画像符号化装置１２０は、第１の実施形態と同様に、動き探索の制御及び符号量の制御を行なうと共に、対象領域指定部４００から対象を指定する制御信号を受け取ると、その指定された対象領域集合の追加や消去などを行なうものである。

図１６は、第３の実施形態のオブジェクト管理部の機能構成を示すブロック図であり、図１６に示す第２の実施形態のオブジェクト管理部は、対象領域集合記録部１０５、周辺ブロック集合算出部１０２、対象領域集合更新部１０３を有する。

周辺ブロック集合算出部１０２及び対象領域集合更新部１０３は、第１の実施形態で説明した構成に対応するのでここでの詳細な説明は省略する。

対象領域集合記録部１０５は、第１の実施形態と同様に、対象領域集合を記録するメモリと入出力制御機能を備えると共に、対象領域指定部４００から対象を指定する制御信号を受け取ると、その指定された対象領域集合の追加や消去などを行なうものである。

（Ｃ−２）第３の実施形態の効果
以上のように、第３の実施形態によれば、第１の実施形態で説明した効果と同様の効果を奏することができる。

また、第３の実施形態によれば、対象領域制御機能を備えることにより、インタラタティブに追跡対象に含めたり、除外することができる。その結果、はっきりと映し出したい対象とぼかしたい対象がある場合等に有効となる。

（Ｄ）他の実施形態
上述した第１〜第３の実施形態は、動画像を符号化する符号化装置に広く適用できるが、例えば監視映像システムの画像符号化装置に適用できる。監視映像システムに適用した場合、特定の指定対象に対する符号化に必要な計算量及び符号量を多く割り当てることができるので、その指定領域の対象を鮮明な画像として得ることができ、監視する対象の追跡、動きの解析も容易になる。またこの装置を使い計算量、符号量を割り振る度合いをより大きくすることで特定対象だけを鮮明にし、その他の部分はぼかしてしまうような画像処理をリアルタイムで自動に行なうという応用も考えられる。

第２及び第３の実施形態で説明したそれぞれの画像符号化装置の機能を共に持ち合わせた画像符号化装置とすることもできる。

上述した第１〜第３の実施形態で説明した画像符号化装置の機能は、ＣＰＵなどのハードウェア資源がソフトウェア処理を実行することにより実現することができるものであるが、ハードウェアとして実現してもよい。

第１の実施形態の画像符号化装置の内部構成を示すブロック図である。 第１の実施形態のオブジェクト管理部の機能構成を示すブロック図である。 第１の実施形態の周辺ブロック集合の算出処理を示すフローチャートである。 第１の実施形態の対象領域ブロックと周辺ブロック集合との関係を説明する説明図である。 第１の実施形態の対象ブロック集合の算出処理を示すフローチャート（疎の１）である。 第１の実施形態の対象ブロック集合の算出処理を示すフローチャート（その２）である。 第１の実施形態の対象ブロック集合における連結部分に属するブロックの一例を示す図である。 図７に対してステップＳ２３〜Ｓ２７に基づき処理された対象ブロック集合における連結部分に属するブロックの一例を示す図である。 図８に対してステップＳ２８に基づき処理された対象ブロック集合における連結部分に属するブロックの一例を示す図である。 図８に対してステップＳ２９〜Ｓ３４に基づき処理された対象ブロック集合における連結部分に属するブロックの一例を示す図である。 図７に対してステップＳ２１〜Ｓ３８に基づき処理された対象ブロック集合における連結部分に属するブロックの一例を示す図である。 第１の実施形態の画像符号化装置の適用例を示す構成図である。 第２の実施形態の画像符号化装置の適用例を示す構成図である。 第２の実施形態のオブジェクト管理部の機能構成を示すブロック図である。 第３の実施形態の画像符号化装置の適用例を示す構成図である。 第３の実施形態のオブジェクト管理部の機能構成を示すブロック図である。

符号の説明

１…オブジェクト管理部、１０１、１０４及び１０５…対象領域集合記録部、１０２…周辺ブロック集合算出部、１０３…対象領域集合更新部、２…探索範囲制御部、３…符号化制御部、４…ｍｖ検出部、５…インター予測部、６…イントラ予測部、７…ブロック分割部、８…直交変換部、９…量子化部、１０…エントロピー符号化部、１１…逆量子化部、１２…直交逆変換部、１３…モード選択部、１４…フレームバッファ、１５…バッファ管理部、１６…フレームバッファ、１００、１１０及び１２０…画像符号化装置、２００…パターンマッチング部、３００…動き解析部、４００…対象領域指定部。

Claims (4)

1. 動画像を符号化する画像符号化装置において、
   指定された画像中の指定対象の位置を示す対象領域を管理する対象領域管理手段と、
   上記画像中の指定対象の対象領域を包含する周辺領域を決定する周辺領域決定手段と、
   上記周辺領域決定手段により決定された上記周辺領域に対しては動き探索の探索範囲を広げるようにし、上記周辺領域以外の領域に対しては動き探索の探索範囲を狭くするように制御する探索範囲制御手段と、
   上記探索範囲制御手段が制御した探索範囲内で動きベクトルを検出する動きベクトル検出手段と、
   上記動きベクトル検出手段により検出された動きベクトルと上記周辺領域とに基づいて上記画像中の指定対象の対象領域を更新する対象領域更新手段と、
   上記対象領域管理手段が管理する上記画像中の指定対象の対象領域に対して、量子化ステップサイズを小さく設定して符号化させる符号化制御手段と
   を備えることを特徴とする画像符号化装置。
2. 上記対象領域更新手段が、更新した新たな対象領域において、隣接するブロックをまとめて構成した１又は複数の連結成分と、各連結成分を構成する各ブロックの動きベクトルに基づいて各連結成分の動きベクトルの代表値とを求めることを特徴とする請求項１に記載の画像符号化装置。
3. 上記対象領域管理手段が、上記対象領域更新手段により更新された新たな対象領域、上記対象領域における各連結成分と、上記各連結成分の動きベクトルの代表値とを保持することを特徴とする請求項２に記載の画像符号化装置。
4. 動画像を符号化する画像符号化方法において、
   対象領域管理手段が、指定された画像中の指定対象の位置を示す対象領域を管理する対象領域管理工程と、
   周辺領域決定手段が、上記画像中の指定対象の対象領域を包含する周辺領域を決定する周辺領域決定工程と、
   探索範囲制御手段が、上記周辺領域決定手段により決定された上記周辺領域に対しては動き探索の探索範囲を広げるようにし、上記周辺領域以外の領域に対しては動き探索の探索範囲を狭くするように制御する探索範囲制御工程と、
   動きベクトル検出手段が、上記探索範囲制御手段が制御した探索範囲内で動きベクトルを検出する動きベクトル検出工程と、
   対象領域更新手段が、上記動きベクトル検出手段により検出された動きベクトルと上記周辺領域とに基づいて上記画像中の指定対象の対象領域を更新する対象領域更新工程と、
   符号化制御手段が、上記対象領域管理手段が管理する上記画像中の指定対象の対象領域に対して、量子化ステップサイズを小さく設定して符号化させる符号化制御工程と
   を備えることを特徴とする画像符号化方法。

Images