JP2018014030A - 画像処理装置、画像処理方法およびプログラム - Google Patents

Abstract

【課題】符号化処理を遅延させることなく、画像内における意図した特定領域の画質を適切に制御する。
【解決手段】画像処理装置１００は、画像内の特定領域を検出する検出手段と、画像に対して符号化処理を実行する符号化手段と、符号化処理の対象となる第一画像と、第一画像に対して符号化処理が実行される前に検出手段により特定領域が検出されている第二画像との間の遅延情報と、第二画像内の特定領域に関する情報とに基づいて、第二画像内の特定領域を補正する補正手段と、を備える。符号化手段は、第一画像に対して、補正手段により補正された特定領域に対応する領域とそれ以外の領域とを異なる画質とする符号化処理を実行する。
【選択図】 図１

Description

本発明は、画像処理装置、画像処理方法およびプログラムに関する。

近年、映像の圧縮符号化の分野において、画像内の領域毎に圧縮率を変えることで画質を制御する技術が知られている。
特許文献１には、画像を分割したブロック毎に主要部分であるか否かを判別し、主要部分の画質を精細にするように画像信号を符号化する点が開示されている。このようにすれば、例えば監視カメラの画像において人物の顔や動きを精細にとらえつつ、長時間録画のために全体を低ビットレートに記録することができる。

特許第２５７８９８６号公報

しかしながら、画像内において画質を落とさない特定領域と、画質を落としてもよい非特定領域とを高精度に検出するためには、特定領域の検出処理の負荷が大きく、符号化処理に対して特定領域が検出されるまでに数フレームの遅延が発生する。そのため、検出処理により検出された特定領域は、符号化処理の対象となる画像内の実際の特定領域とは異なる場合があり、検出処理により検出された特定領域に対して画質パラメータ（量子化値）を変更しても意図した画質制御を行うことができない。符号化処理を遅延させ、特定領域の検出処理の完了と同期させる方法も考えられるが、符号化処理が遅延する点において、リアルタイム性を求められる監視用途には適していないという問題がある。
そこで、本発明は、符号化処理を遅延させることなく、画像内における意図した特定領域の画質を適切に制御することを目的としている。

上記課題を解決するために、本発明に係る画像処理装置の一態様は、画像内の特定領域を検出する検出手段と、画像に対して符号化処理を実行する符号化手段と、前記符号化処理の対象となる第一画像と、前記第一画像に対して前記符号化処理が実行される前に前記検出手段により特定領域が検出されている第二画像との間の遅延情報と、前記第二画像内の特定領域に関する情報とに基づいて、前記第二画像内の特定領域を補正する補正手段と、を備え、前記符号化手段は、前記第一画像に対して、前記補正手段により補正された特定領域に対応する領域とそれ以外の領域とを異なる画質とする符号化処理を実行する。

本発明によれば、符号化処理を遅延させることなく、画像内における意図した特定領域の画質を適切に制御することができる。

画像処理装置の構成例を示すブロック図である。 特定領域情報の説明図である。 特定領域の補正処理の説明図である。 画像処理装置のハードウェア構成の一例を示す図である。 画像処理装置が実行する画像処理を示すフローチャートである。 特定領域情報に基づく補正処理の説明図である。 画質制御処理手順を示すフローチャートである。 第二の実施形態の判定部の構成を示すブロック図である。 第二の実施形態における補正処理の説明図である。 第二の実施形態における画像処理を示すフローチャートである。 第三の実施形態の画像処理装置の構成例である。 第三の実施形態における画像処理のシーケンス図である。 第三の実施形態における画像処理の処理タイミング図である。 第三の実施形態の調整処理を示すフローチャートである。 特定領域の調整処理の説明図である。 第四の実施形態における補正処理の説明図である。 参照テーブルの説明図である。 参照テーブルの一例である。 第四の実施形態における補正処理を示すフローチャートである。 画質制御粒度の説明図である。

以下、添付図面を参照して、本発明を実施するための形態について詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明が適用される装置の構成や各種条件によって適宜修正又は変更されるべきものであり、本発明は以下の実施の形態に限定されるものではない。
図１は、画像処理装置１００の構成例を示すブロック図である。画像処理装置１００は、動画像の伝送や蓄積再生を行うために、画像の圧縮・符号化処理（以下、単に「符号化処理」ともいう。）を行う装置である。本実施形態においては、撮像装置に接続されたパーソナルコンピュータ（ＰＣ）等の機器が画像処理装置１００として動作してもよいし、撮像装置が画像処理装置１００として動作してもよい。ここで、撮像装置は、時系列上連続して複数の画像（フレーム）を撮像する監視用ビデオカメラ等である。画像処理装置１００は、画像（撮像画像）を符号化処理し、符号化ストリームを出力する。

監視カメラ用途においては、長時間の録画を行う必要性から比較的低ビットレートで符号化して符号化データのサイズを抑えるケースが多い。しかしながら、低ビットレートで符号化することにより多くの情報が失われて画質が劣化すると、人物の顔の特定ができない等、本来の用途として機能しないという問題が発生し得る。そこで、本実施形態では、画像全体を一様には符号化せず、人物の顔等の重要な領域を特定領域として検出し、画像を特定領域とそれ以外の非特定領域とに分け、非特定領域は符号量を抑えるように画質を落とし、特定領域は画質を落とさないように符号化する。

画像処理装置１００は、符号化対象となる画像を矩形の小領域に分割したブロック（マクロブロック）単位で符号化処理を行う。その際、画像処理装置１００は、ブロック単位で量子化値を変更することで、画像内の非特定領域は画質を落とし、特定領域は画質を落とさないように符号化処理する。符号化処理の方式は、特に限定されるものではなく、ＩＴＵ−Ｔ勧告、ＩＳＯ／ＩＥＣ標準に規定される符号化方式を用いることができる。例えば、符号化方式としては、ＭＰＥＧ−２やＨ．２６４、ＨＥＶＣといった方式を用いることができる。なお、本明細書では、ITU-T Rec. H.264 Advanced Video Coding | ISO/IEC International Standard 14496-10 (MPEG-4 AVC)を、単にＨ．２６４という。

図１に示すように、画像処理装置１００は、検出部１０１と、遅延算出部１０２と、判定部１０３と、制御部１０４と、符号化部１０５とを備える。
検出部１０１は、撮像画像を解析し、画像内の特定領域を検出する検出処理を実施する。ここで、特定領域は、画像内における重要な領域であり、例えば、監視対象である物体（人物の顔など）を含む領域である。検出部１０１は、検出した特定領域に関する情報を特定領域情報として、遅延算出部１０２および判定部１０３に出力する。特定領域情報は、画像内における特定領域の位置、大きさ、および当該特定領域を検出した画像のフレーム情報（時間情報）の少なくとも１つを含む。また、特定領域情報は、画像内における特定領域の移動方向および移動速度の少なくとも一方を含んでもよい。

図２は、特定領域情報の説明図である。図２では、画像２００内に人物２１０が存在し、検出部１０１により人物２１０を包含する矩形領域が特定領域２２０として検出された場合を示している。また、図２では、画像２００の横方向の画素数をＸｍａｘ、縦方向の画素数をＹｍａｘとしている。この場合、特定領域２２０の中心位置を示す座標（Ｘ，Ｙ）を、特定領域２２０の画像中における位置として用いることができる。また、特定領域２２０の横方向の大きさＸｓと縦方向の大きさＹｓとの積を、特定領域２２０の大きさとして用いることができる。
ただし、特定領域は、図２の特定領域２２０のような矩形形状に限定されるものではなく、任意の形状とすることができる。また、特定領域の画像中における位置は、特定領域の中心位置に限定されるものではなく、特定領域の重心位置など、特定領域の位置を特定可能な位置であればよい。さらに、特定領域の画像中において占める大きさは、特定領域の横方向の大きさＸｓと縦方向の大きさＹｓとの積に限定されるものではなく、特定領域に占めるマクロブロックの個数で示してもよい。

図１に戻って、遅延算出部１０２は、検出部１０１が検出処理の対象とした画像と、符号化処理１０５が符号化処理の対象とする画像との時間差（撮像時間差）を算出する。検出部１０１と符号化部１０５とは、それぞれ、時系列上連続して撮像された複数の画像を順次処理するが、検出処理と符号化処理との間には処理の時間的遅延が発生する。遅延算出部１０２は、その時間的遅延を示す情報を遅延情報として算出する。具体的には、遅延算出部１０２は、検出部１０１から得られる特定領域情報に含まれるフレーム情報と、符号化部１０５から得られる、符号化処理の対象となる画像のフレーム情報とから、遅延情報を算出する。
つまり、遅延情報は、符号化処理の対象となる画像である第一画像と、第一画像に対して符号化処理を実行する前に検出処理により特定領域が検出されている画像である第二画像との間のフレーム遅延量を示す情報である。遅延算出部１０２は、算出した遅延情報を判定部１０３へ出力する。

判定部１０３は、検出部１０１から得られる特定領域情報と遅延算出部１０２から得られる遅延情報とから、符号化処理の対象となる画像中のどの位置を最終的に特定領域とみなして高画質化にするかを判定する。具体的には、判定部１０３は、特定領域情報と遅延情報とに基づいて、検出部１０１において検出された特定領域を補正し、補正後の特定領域を示す情報である補正後領域情報を制御部１０４へ出力する。判定部１０３における処理については後述する。
制御部１０４は、判定部１０３から出力された補正後領域情報に基づいて、画像における量子化値を生成し、符号化部１０５に出力する。符号化部１０５は、符号化処理の対象となる画像のフレーム情報を遅延算出部１０２に出力すると共に、制御部１０４から得た量子化値を用いて、画像に対して符号化処理を施し、符号化ストリームを出力する。

ここで、画像処理装置１００の判定部１０３における処理の概要について説明する。図３（ａ）に示すように、フレーム番号＝１において画像２０１内の位置２１１に人物が存在している場合、検出部１０１は画像２０１に対する検出処理により、図３（ｂ）に示す結果を得る。つまり、検出部１０１は、図３（ｂ）に示すように、画像２０１内において人物を包含する特定領域２２１を得る。なお、ここでは、特定領域と矩形で示す領域としているが、特定領域の形状は矩形に限定されるものではなく、任意の形状とすることができる。

その後、人物が移動すると、時間的に後の画像であるフレーム番号＝２の画像２０２において、人物の位置は位置２１２に移動する。ここで、フレーム番号＝２の画像２０２の符号化処理を符号化部１０５で行う場合、その時点では検出部１０１により同一フレームであるフレーム番号＝２の画像２０２に対する検出結果が得られていない場合がある。この時点で利用可能な検出結果は、過去フレームであるフレーム番号＝１の画像２０１に対する検出結果のみであるとする。この場合、画像２０１に対する検出結果をそのままフレーム番号＝２の画像２０２に対する符号化処理に用いることになる。

しかしながら、画像２０１に対する検出結果をそのままフレーム番号＝２の画像２０２に適用した場合、特定領域２２１は図３（ｃ）の点線で示す矩形の領域となる。つまり、特定領域２２１は、画像２０２における人物の位置２１２から外れることになる。そのため、画像２０１に対する検出処理で得られた特定領域２２１を用いて画像２０２の符号化処理を行った場合、適切に画像２０２の特定領域（人物）と、それ以外の非特定領域とを区別した画質制御を行うことができない。

これを解決するための一番確実な方法は、フレーム番号＝２の画像２０２の検出結果が得られるまで、画像２０２の符号化処理の開始を遅延させることである。しかしながら、処理を遅延させるためには、画像を遅延フレーム分格納しておくバッファメモリが新たに必要になる。また、最終的に得られる符号化ストリームの出力が遅延することになるため、リアルタイム性が求められる監視用途等には適さない。
そこで、本実施形態における画像処理装置１００は、追加のバッファメモリおよび出力の遅延をなくすために、判定部１０３において、符号化処理を行う時点で得られている特定領域を補正する。具体的には、判定部１０３は、図３（ｄ）に示すように特定領域２２１を移動して、画像２０２内の人物を包含する特定領域２２２ａを設定したり、図３（ｅ）に示すように特定領域２２１を拡大して特定領域２２２ｂを設定したりする。
このように、判定部１０３は、符号化処理の対象となる画像よりも前に撮像された画像に対する検出処理により検出された特定領域を補正することで、符号化処理の対象となる画像における特定領域（人物を含む領域）を推定する。そして、判定部１０３により補正された特定領域を、符号化処理の対象となる画像に適用し、特定領域に対応する領域を高画質にする画質制御を行うようにする。

図４は、画像処理装置１００のハードウェア構成を示す図である。
画像処理装置１００は、ＣＰＵ１１と、ＲＯＭ１２と、ＲＡＭ１３と、外部メモリ１４と、通信Ｉ／Ｆ１５と、システムバス１６とを備える。
ＣＰＵ１１は、画像処理装置１００における動作を統括的に制御するものであり、システムバス１６を介して、各構成部（１２〜１５）を制御する。ＲＯＭ１２は、ＣＰＵ１１が処理を実行するために必要なプログラムを記憶する不揮発性メモリである。なお、上記プログラムは、外部メモリ１４や着脱可能な記憶媒体（不図示）に記憶されていてもよい。ＲＡＭ１３は、ＣＰＵ１１の主メモリ、ワークエリアとして機能する。すなわち、ＣＰＵ１１は、処理の実行に際してＲＯＭ１２から必要なプログラムをＲＡＭ１３にロードし、ロードしたプログラムを実行することで各種の機能動作を実現する。

外部メモリ１４は、ＣＰＵ１１がプログラムを用いた処理を行う際に必要な各種データや各種情報を記憶している。また、外部メモリ１４には、ＣＰＵ１１がプログラムを用いた処理を行うことにより得られる各種データや各種情報が記憶される。通信Ｉ／Ｆ１５は、外部装置と通信するためのインタフェースである。通信Ｉ／Ｆ１５は、例えばＬＡＮインタフェースである。システムバス１６は、ＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３、外部メモリ１４および通信Ｉ／Ｆ１５を通信可能に接続する。
図１に示す画像処理装置１００の各部の機能は、ＣＰＵ１１がプログラムを実行することで実現することができる。ただし、図１に示す画像処理装置１００の各部のうち少なくとも一部が専用のハードウェアとして動作するようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。

以下、画像処理装置１００において実行される処理の手順について、図５を参照しながら説明する。図５に示す処理は、例えば処理対象の画像が入力されたタイミングで開始される。ただし、図５の処理の開始タイミングは、上記のタイミングに限らない。画像処理装置１００は、ＣＰＵ１１が必要なプログラムを読み出して実行することにより、図５に示す処理を実現することができる。
ただし、図１に示す画像処理装置１００の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図５の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。以降、アルファベットＳはフローチャートにおけるステップを意味するものとする。

まずＳ１において、検出部１０１は、検出処理を実行し、処理対象である画像から特定領域を検出し、特定領域情報を出力する。次にＳ２では、遅延算出部１０２は、Ｓ１の検出処理の対象となった画像のフレーム情報と、これから符号化する画像のフレーム情報とに基づいて、検出処理と符号化処理との時間差を計算し、これを遅延情報として出力する。
Ｓ３では、判定部１０３は、Ｓ１において検出された画像中の全ての特定領域について補正処理が完了したか否かを判定する。そして、補正処理が完了していない特定領域が存在する場合には、未処理の特定領域を補正処理対象の特定領域として選択してＳ４に移行する。一方、Ｓ１において検出された特定領域の個数が０であるか、もしくは全ての特定領域について補正処理が完了している場合にはＳ７に移行する。

Ｓ４では、判定部１０３は、特定領域情報から補正処理対象である特定領域の画像中における位置を取得し、Ｓ５に移行する。Ｓ５では、判定部１０３は、特定領域情報から補正処理対象である特定領域の画像中に占める大きさを取得し、Ｓ６に移行する。Ｓ６では、判定部１０３は、Ｓ２において算出された遅延情報と、Ｓ４において取得された特定領域の位置を示す情報、およびＳ５において取得された特定領域の大きさを示す情報に基づいて、補正処理対象である特定領域を補正する。具体的な補正方法については後述する。
判定部１０３がＳ４〜Ｓ６の処理を特定領域の個数分繰り返し、画像中の全ての特定領域について補正処理が完了すると、Ｓ７において、制御部１０４は、補正後の特定領域に基づいたブロック単位の画質制御（量子化値の決定）を行う。そして、符号化部１０５は、制御部１０４による画質制御に従って画像を符号化する。このＳ７における画質制御処理の具体的な方法については後述する。

以下、本実施形態における特定領域の補正処理について、具体的に説明する。本実施形態では、特定領域の補正処理として、遅延情報に基づいた補正と、特定領域の位置情報に基づいた補正とを行う。
まず、遅延情報に基づいた補正について説明する。特定領域を得た画像とこれから符号化しようとしている画像の時間差が大きいほど、画像中の人物（特定領域）は、画像内で大きく移動していると考えられる。そこで、上記時間差が大きいほど、特定領域の補正量を大きくしてよい。特定領域の補正方法は、図３（ｄ）および図３（ｅ）に示す特定領域の移動および拡大の少なくとも一方を含む。つまり、上記時間差が大きいほど、特定領域の移動量を大きくしたり、特定領域の拡大量を大きくしたりすることができる。

さらに、判定部１０３は、特定領域の補正に際し、過去の検出結果の履歴等から特定領域の移動方向や移動速度を取得可能な場合には、取得した移動情報と遅延情報とに基づいて特定領域の移動量および移動方向を決定し、特定領域を移動してもよい。その際、移動情報と遅延情報とに基づいて特定領域の拡大量を決定し、特定領域の移動に加えて特定領域を拡大させてもよい。例えば、特定領域の移動方向が画面の下方向のときは、画像処理装置１００としての監視カメラに近づいていると判断し、特定領域を拡大させる補正処理を行う。また、特定領域の移動方向が画面の上方向のときは、画像処理装置１００としての監視カメラから遠ざかっていると判断し、特定領域を縮小させる補正処理を行う。なお、特定領域の移動方向や移動速度の情報が取得できない場合には、特定領域を移動させずに特定領域を拡大させるようにしてもよい。

次に、特定領域の位置情報に基づいた補正について、図６（ａ）および図６（ｂ）を参照しながら説明する。
図６（ａ）に示すように、実空間３０１において、被写体３０２および３０３をカメラ３０４によって撮像した場合、被写体３０２および３０３は、撮像画像３１１中では検出対象３１２および３１３としてとらえられる。このように、実空間３０１においてカメラ３０４に近い側に位置する被写体３０３に対応する検出対象３１３は、撮像画像３１１中においてより大きい領域を占めることになる。
また、被写体３０２および３０３が実空間３０１上で概ね同じ速度で移動している場合、撮像画像３１１中では、被写体３０２に対応する検出対象３１２よりも、よりカメラ３０４に近い被写体３０３に対応する検出対象３１３の方が大きく移動する。つまり、撮像画像３１１中で、より大きい領域を占めている検出対象は、より速く移動すると考えられる。

また、図６（ｂ）に示すように、実空間３２１において、被写体３２２および３２３をカメラ３２４によって撮像した場合、被写体３２２および３２３は、撮像画像３３１中では検出対象３３２および３３３としてとらえられる。図６（ｂ）の例では、被写体３２３は、被写体３２２よりもカメラ３２４に近い側に位置している。しかしながら、撮像画像３３１中の被写体３２３に対応する検出対象３３３は、被写体３２３の上部（頭部）のみに対応し、検出対象の大きさだけでは被写体の遠近を判断できない。
このような場合には、カメラ３２４が固定されており、被写体の出現位置が限定される（被写体は人物であり、通常歩いている限り、実空間３２１中の下側のみに存在し、上側には存在しない）ことに着目する。前述の限定を考慮すると、撮像画像３３１中の下側に位置する検出対象３３３に対応する被写体は、上側に位置する検出対象３３２に対応する被写体と比較して、よりカメラに近い位置に存在すると判断することができる。つまり、撮像画像３３１中のより下側に位置する検出対象は、より速く移動すると考えられる。

そこで、判定部１０３は、上述した性質を利用し、特定領域の位置情報（画像中における大きさや位置）に応じて、補正処理を異ならせてもよい。具体的には、カメラの設置場所や撮像対象を考慮し、特定領域の位置情報に基づいて検出対象に対応する被写体のカメラとの位置関係を判定し、カメラにより近い被写体であるほど、特定領域の補正量（移動量や拡大量）を大きくする。その際、上述した遅延情報に基づく補正と同様に、特定領域の移動方向や移動速度を取得し、取得した移動情報に基づいて特定領域の移動量や移動方向を決定してもよい。

以下、図５のＳ７において実行される画質制御処理について、図７を参照しながら具体的に説明する。画質制御処理では、画像をマクロブロックと呼ばれる矩形の小領域に分割し、マクロブロック単位で画質パラメータ（量子化値）を変えることで、特定領域の画質を高く、非特定領域の画質を低くし、非特定領域のデータ量を削減した符号化処理を行う。
まずＳ７１において、制御部１０４は、画像内の全てのマクロブロック（ＭＢ）の画質制御処理を完了したか否かを判定し、完了していない場合にはＳ７２に移行し、完了している場合には処理を終了する。Ｓ７２では、制御部１０４は、未処理のマクロブロックを処理対象のマクロブロックとして１つ選択し、Ｓ７３〜Ｓ７５における領域判定処理に移る。領域判定処理は、処理対象のマクロブロックが特定領域に含まれるか否かを判定する処理である。この領域判定処理は、画像内の特定領域ごとに行われる。

Ｓ７３では、制御部１０４は、処理対象のマクロブロックが特定領域に含まれているか否かの判定を、画像内の全ての特定領域について行ったか否かを判定する。そして、制御部１０４は、画像内に特定領域が存在しないか、全ての特定領域について上記判定を行ったと判定した場合、Ｓ７４に移行し、未判定の特定領域が存在すると判定した場合、Ｓ７５に移行する。Ｓ７４では、制御部１０４は、処理対象のマクロブロックの量子化値を、非特定領域用の所定の値に設定し、Ｓ７８に移行する。ここで、非特定領域用の量子化値は、画像（フレーム）ごとに予め指定されているものとする。

Ｓ７５では、制御部１０４は、未判定の特定領域の中から判定対象とする特定領域を１つ選択し、Ｓ７６に移行する。Ｓ７６では、制御部１０４は、処理対象のマクロブロックが、Ｓ７５において選択された特定領域に含まれるかを判定する。そして、制御部１０４は、処理対象のマクロブロックが選択中の特定領域に含まれていないと判定した場合にはＳ７３に戻り、処理対象のマクロブロックが選択中の特定領域に含まれていると判定した場合にはＳ７７に移行する。
Ｓ７７では、処理対象のマクロブロックの量子化値を、特定領域用の所定の値に設定し、Ｓ７８に移行する。ここで、特定領域用の量子化値は、特定領域を高画質にするために重みづけされた値であり、画像（フレーム）ごとに予め指定されているものとする。

制御部１０４において、全ての特定領域に対して判定処理が完了するまでＳ７３〜Ｓ７５の処理が繰り返された後、Ｓ７８において、符号化部１０５は、処理対象のマクロブロックをＳ７７またはＳ７８において指定された量子化値を用いて符号化する。以上の処理を、画像中の全てのマクロブロックに対して行うことで、特定領域に属するマクロブロックは高画質に符号化され、特定領域以外の非特定領域に属するマクロブロックは低画質に符号化される。

以上のように、本実施形態における画像処理装置１００は、時系列上連続する複数の画像に対し、画像内の特定領域を検出する検出処理と、画像に対して符号化処理を実行する符号化処理とをそれぞれ順次実行する。このとき、画像処理装置１００は、符号化処理の対象となる第一画像と、第一画像に対して符号化処理が実行される前に検出処理により特定領域が検出されている第二画像との間の遅延情報を算出する。また、画像処理装置１００は、上記遅延情報と、第二画像内の特定領域に関する情報とに基づいて、第二画像内の特定領域を補正する。そして、画像処理装置１００は、第一画像に対して、補正された特定領域に対応する領域とそれ以外の領域とを異なる画質とする符号化処理を実行する。

このように、画像処理装置１００は、符号化処理を実行する時点で得られている過去の特定領域検出結果をもとに、符号化処理対象の画像中の特定領域を推定することができる。したがって、特定領域の検出処理が符号化処理に対して遅延している場合であっても、符号化処理を遅延させることなく、また、追加のバッファメモリを必要とすることなく、画像内における意図した特定領域の画質を適切に制御することができる。つまり、検出対象（認識対象）が移動している場合であっても、適切に検出対象（認識対象）を高画質にすることができる。

また、本実施形態では、画像処理装置１００は、符号化処理を実行する時点において得られている過去の特定領域検出結果のうち、最新の特定領域検出結果をもとに、符号化処理対象の画像中の特定領域を推定することができる。そのため、適切に特定領域を推定することができる。
さらに、画像処理装置１００は、特定領域の補正処理の指標として、検出処理により検出された特定領域の画像内における位置および大きさの少なくとも一方を用いることができる。カメラに近い位置に存在する被写体に対応する画像内の検出対象は、カメラから遠い位置に存在する同一速度で移動する被写体に対応する画像内の検出対象と比較して、画像内での動きが大きい。特定領域の画像内における位置および大きさの少なくとも一方に基づいて、対応する被写体のカメラとの位置関係を把握することができるため、適切に特定領域を補正することができる。
なお、画像処理装置１００は、特定領域の補正処理の指標として、さらに特定領域の画像内における移動方向および移動速度の少なくとも一方を用いてもよい。この場合、より精度良く特定領域を補正することができる。

画像処理装置１００は、特定領域の補正に際し、特定領域の大きさおよび位置の少なくとも一方を補正する。つまり、特定領域の補正処理は、特定領域の拡大処理および移動処理の少なくとも１つを含む。そして、画像処理装置１００は、上記第一画像に対する上記第二画像の遅延が大きいほど、特定領域の補正量（拡大量、移動量）を大きくすることができる。したがって、適切に特定領域を補正することができる。
以上のように、本実施形態における画像処理装置１００は、符号化処理を遅延させることなく、画像内における意図した特定領域の画質を適切に制御することができる。

（第二の実施形態）
次に、本発明の第二の実施形態について説明する。
第二の実施形態では、特定領域の位置および大きさに基づいて、特定領域の補正量を横方向（Ｘ方向）と縦方向（Ｙ方向）とで個別に決定する場合について説明する。
本実施形態における画像処理装置１００の全体構成は、図１に示す構成と同様である。また、本実施形態で使用する特定領域情報は、図２に示す情報と同様である。画像処理装置１００は、上述した第一の実施形態と同様に、特定領域情報と遅延情報とに基づいて、補正処理における特定領域の補正量を決定する。ただし、画像処理装置１００において、判定部１０３の処理は、上述した第一の実施形態とは異なる。

判定部１０３は、画像の横方向（Ｘ方向）および縦方向（Ｙ方向）のそれぞれについて定められた特定領域の大きさの閾値Ｘｓ０およびＹｓ０を用い、閾値以上の大きさを持つ特定領域の補正量を大きくするように、特定領域の補正処理を行う。また、判定部１０３は、画像内に定められた端部領域に位置する特定領域の補正量を大きくするように、特定領域の補正処理を行う。
ここで、端部領域は、画像の端部位置を含む所定範囲の領域であり、画像の横方向（Ｘ方向）および縦方向（Ｙ方向）の座標値の少なくとも一方が、所定の閾値以下、もしくは所定の閾値以上となる領域である。なお、本実施形態では、画像の端部位置を全て含む領域を端部領域として説明するが、画像の端部位置の少なくとも一部を含む領域を端部領域として設定してもよい。端部領域は、カメラの設置場所や撮像対象に応じて適宜設定することができる。

図８は、本実施形態における判定部１０３内部の構成を示すブロック図である。判定部１０３は、横位置判定部１０３ａと、縦位置判定部１０３ｂと、横サイズ判定部１０３ｃと、縦サイズ判定部１０３ｄと、横座標補正部１０３ｅと、縦座標補正部１０３ｆと、を備える。
横位置判定部１０３ａは、検出部１０１から得た特定領域情報の横方向の座標値をもとに、特定領域の横方向（Ｘ方向）位置が画像の端部領域に相当する位置に存在しているか否かを判定する。縦位置判定部１０３ｂは、検出部１０１から得た特定領域情報の縦方向の座標値をもとに、特定領域の縦方向（Ｙ方向）位置が画像の端部領域に相当する位置に存在しているか否かを判定する。
具体的には、判定部１０３は、図９に示すように画像４０１に端部領域４０２を設定し、特定領域が端部領域４０２内に存在するか否かを判定する。端部領域４０２は、横方向には座標値Ｘ０およびＸ１（Ｘ０＜Ｘ１＜Ｘｍａｘ）、縦方向には座標値Ｙ０およびＹ１（Ｙ０＜Ｙ１＜Ｙｍａｘ）によって定められる領域である。特定領域の位置を示す座標値（Ｘ，Ｙ）がＸ≦Ｘ０、Ｘ≧Ｘ１、Ｙ≦Ｙ０、Ｙ≧Ｙ１の少なくとも１つを満たす場合、判定部１０３は、その特定領域が端部領域４０２内に存在すると判定する。

図８に戻って、横サイズ判定部１０３ｃは、検出部１０１から得た特定領域情報の横方向の大きさを示す情報をもとに、特定領域の横方向（Ｘ方向）の大きさが所定の大きさ以上であるか否かを判定する。縦サイズ判定部１０３ｄは、検出部１０１から得た特定領域情報の縦方向の大きさを示す情報をもとに、特定領域の縦方向（Ｙ方向）の大きさが所定の大きさ以上であるか否かを判定する。
横座標補正部１０３ｅは、遅延情報と、横位置判定部１０３ａおよび横サイズ判定部１０３ｃの判定結果とに基づいて、特定領域の横方向の補正量を決定し、特定領域を横方向に補正する。縦座標補正部１０３ｆは、遅延情報と、縦位置判定部１０３ｂおよび縦サイズ判定部１０３ｄの判定結果とに基づいて、特定領域の縦方向の補正量を決定し、特定領域を縦方向に補正する。

例えば、本実施形態では、検出処理により検出された特定領域が端部領域４０２内に存在する場合と、端部領域４０２外に存在する場合とで、補正量を変更する。図９に示す画像４０１内の３つの特定領域４０３〜４０５の場合、特定領域４０３は端部領域４０２に含まれず、特定領域４０４も、中心座標が端部領域４０２外となるため端部領域４０２には含まれない。一方、特定領域４０５は端部領域４０２に含まれる。この場合、特定領域４０５についてのみ、補正量を大きくする。

以下、本実施形態の画像処理装置１００において実行される処理の手順について、図１０を参照しながら説明する。図１０に示す処理は、上述した図５に示す処理と同様のタイミングで開始される。画像処理装置１００は、ＣＰＵ１１が必要なプログラムを読み出して実行することにより、図１０に示す処理を実現することができる。
ただし、図１に示す画像処理装置１００の各要素のうち少なくとも一部が専用のハードウェアとして動作することで図１０の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。

まずＳ１１において、検出部１０１は、検出処理を実行し、処理対象である画像から特定領域を検出し、特定領域情報を出力する。次にＳ１２では、遅延算出部１０２は、Ｓ１１の検出処理の対象となった画像のフレーム情報と、これから符号化する画像のフレーム情報とに基づいて、検出処理と符号化処理との時間差を計算し、これを遅延情報として出力する。また、このＳ１２では、判定部１０３は、上記遅延情報をもとに特定領域の補正処理の基本となる基本補正量を決定する。
Ｓ１３では、判定部１０３は、Ｓ１１において検出された画像中の全ての特定領域について補正処理が完了したか否かを判定する。そして、Ｓ１１において検出された特定領域の個数が０であるか、もしくは全ての特定領域について補正処理が完了している場合にはＳ１４に移行する。Ｓ１４の処理は、上述した図５のＳ７の処理（図７の画質制御処理）と同様である。一方、判定部１０３は、Ｓ１３において、補正処理が完了していない特定領域が存在すると判定した場合には、未処理の特定領域を補正処理対象の特定領域として選択してＳ１５に移行する。

Ｓ１５では、判定部１０３は、特定領域情報から補正処理対象の特定領域の縦方向の座標値Ｙを取得し、Ｓ１６において、座標値Ｙをもとに当該特定領域が画像内の端部領域に位置するか否かを判定する。具体的には、図９を用いて説明した通り、座標値Ｙが閾値Ｙ０以下であるか、もしくは座標値Ｙが閾値Ｙ１以上であるか否かを判定する。
そして、Ｙ≦Ｙ０またはＹ≧Ｙ１である場合には、判定部１０３は、特定領域が端部領域に位置すると判定してＳ１７に移行する。Ｓ１７では、判定部１０３は、特定領域が大きく移動している可能性があるとして、補正量を基本補正量に対して増加させてから、Ｓ２１以降の特定領域の大きさの判定処理に移る。一方、Ｙ０＜Ｙ＜Ｙ１である場合には、Ｓ１３において、判定部１０３は、Ｓ１８以降の特定領域の横方向の位置判定処理に移る。

Ｓ１８では、判定部１０３は、特定領域情報から補正処理対象の特定領域の横方向の座標値Ｘを取得し、Ｓ１９において、座標値Ｘをもとに当該特定領域が画像内の端部領域に位置するか否かを判定する。具体的には、図９を用いて説明した通り、座標値Ｘが閾値Ｘ０以下であるか、もしくは座標値Ｘが閾値Ｘ１以上であるか否かを判定する。
そして、Ｘ≦Ｘ０またはＸ≧Ｘ１である場合には、判定部１０３は、特定領域が端部領域に位置すると判定してＳ２０に移行する。Ｓ２０では、判定部１０３は、特定領域が大きく移動している可能性があるとして、補正量を基本補正量に対して増加させてから、Ｓ２１以降の特定領域の大きさの判定処理に移る。一方、Ｘ０＜Ｘ＜Ｘ１である場合には、Ｓ１９において、判定部１０３は、特定領域が端部領域に位置していないと判定し、Ｓ２１以降の特定領域の大きさの判定処理に移る。

Ｓ２１では、判定部１０３は、特定領域情報から補正処理対象の特定領域の縦方向の大きさＹｓを取得し、Ｓ２２において、大きさＹｓをもとに当該特定領域が所定の閾値Ｙｓ０以上であるか否かを判定する。そして、Ｙｓ≧Ｙｓ０である場合には、判定部１０３はＳ２３に移行し、特定領域が大きく移動している可能性があるとして、補正量を基本補正量に対して増加させ、Ｓ２４以降の横方向の大きさの判定処理に移る。一方、Ｙｓ＜Ｙｓ０である場合には、判定部１０３は、Ｓ２２からＳ２４以降の横方向の大きさの判定処理に移る。

Ｓ２４では、判定部１０３は、特定領域情報から補正処理対象の特定領域の横方向の大きさＸｓを取得し、Ｓ２５において、大きさＸｓをもとに当該特定領域が所定の閾値Ｘｓ０以上であるか否かを判定する。そして、Ｘｓ≧Ｘｓ０である場合には、判定部１０３はＳ２６に移行し、特定領域が大きく移動している可能性があるとして、補正量を基本補正量に対して増加させ、Ｓ２７に移行する。一方、Ｘｓ＜Ｘｓ０である場合には、判定部１０３は、Ｓ２５からＳ２７に移行する。
Ｓ２７では、判定部１０３は、Ｓ１７、Ｓ２０、Ｓ２３、Ｓ２６において増加させた（あるいは増加させなかった）補正量を用いて、特定領域の位置および大きさを補正し、Ｓ１３に戻る。

以上のように、本実施形態における画像処理装置１００は、画像の横方向と縦方向とについて個別に特定領域の大きさおよび位置の閾値を定め、特定領域の大きさおよび位置とそれぞれ比較することにより、特定領域の横方向と縦方向の補正量を個別に決定する。具体的には、画像処理装置１００は、特定領域が上記閾値により画像内に設定された端部領域に位置している場合や、特定領域が上記閾値により設定された大きさよりも大きい場合に、補正量を基本補正量に対して増加する。
このように、カメラにより近い被写体であるほど、対応する検出対象が画像の端部位置により近い位置に存在し、画像内における大きさが大きいことを利用して、特定領域の補正量を決定することができる。したがって、過去の特定領域検出結果に基づいた現在の特定領域の推定に要する演算を簡略化することが可能となる。

なお、本実施形態では、一つの閾値の比較に基づいて、補正量を基本補正量に対して大きくするか、基本補正量のままにするかの判定を行うものとして説明したが、上記に限定されるものではない。例えば、閾値を複数持たせて、「大」、「中」、「小」など複数の大きさを判定し、特定領域が大きいほど補正量を大きくするようにしてもよい。また、端部への近さを「近い」、「やや近い」、「遠い」など複数の尺度に分類し、特定領域が画像の端部位置に近いほど補正量を大きくするようにしてもよい。

（第三の実施形態）
次に、本発明の第三の実施形態について説明する。
第三の実施形態では、過去の検出結果をもとに補正された特定領域と、実際の検出結果とを比較し、特定領域の補正処理の度合いを調整する場合について説明する。
図１１は、本実施形態における画像処理装置１００´の全体構成を示す図である。図１１に示す画像処理装置１００´は、補正量調整部１０６が追加されていることを除いては、図１に示す画像処理装置１００と同様の構成を有する。したがって、図１１では、図１の画像処理装置１００と同様の構成を有する部分には図１と同一符号を付し、以下、構成が異なる部分を中心に説明する。

補正量調整部１０６は、判定部１０３における特定領域の補正処理の度合いを調整する。具体的には、補正処理により得られた、過去の検出結果をもとに補正された特定領域と、実際の特定領域の検出結果とを比較し、特定領域の拡大や移動の度合いを調整する。例えば、図３において、過去（フレーム＃１）の検出結果である特定領域２２１から、符号化対象のフレーム（フレーム＃２）のために補正した補正領域２２２ａや２２２ｂに対し、後に得るフレーム＃２の実際の検出結果との比較を行い、補正処理を調整する。

図１２は、画像の生成から符号化までの各処理の流れを示すシーケンス図である。
入力画像撮像処理５０１では、一定時間ごとに画像が生成（撮像）される。特定領域検出処理５０２では、入力画像撮像処理５０１にて生成された画像に対して順次検出処理が行われ、画像中の特定領域が検出される。補正量調整処理５０３では、特定領域検出処理５０２にて過去に検出された特定領域に対する補正処理により得られた補正後の特定領域と、特定領域検出処理５０２にて実際に検出された特定領域とを比較し、補正処理における特定領域の補正量の調整を行う。領域補正画質制御処理５０４では、補正量調整処理５０３にて調整された補正量を用いて特定領域を補正し、画像の画質制御を行う。符号化処理５０５では、特定領域を高画質に符号化する。

図１３は、図１２のシーケンス図に対応した、各処理における、検出対象である被写体および特定領域の時間変化を示す図である。
時刻ｔ１＿１では、入力画像撮像処理５０１によりフレーム＃１の画像６０１が生成され、時刻ｔ１＿２において、フレーム＃１に対する特定領域検出処理５０２および符号化処理５０５が開始される。画像６０１には、検出対象となる被写体６０２が存在している。そのため、フレーム＃１に対する特定領域検出処理５０２により、被写体６０２に対応する特定領域６０３が検出される。なお、フレーム＃１に関しては、符号化処理の開始時点では特定領域の検出結果が存在しない。そのため、特定領域と非特定領域に関する画質制御処理は行われない。

時刻ｔ２＿１では、次に符号化するフレーム（フレーム＃２）のための領域補正画質制御処理５０４が行われる。この領域補正画質制御処理５０４では、フレーム＃１に対する特定領域検出処理５０２の検出結果である特定領域６０３を補正した特定領域６０４が得られる。同じく時刻ｔ２＿１では、入力画像撮像処理５０１により、フレーム＃２の画像６０５が生成される。
そして、時刻ｔ２＿２では、フレーム＃２に対する特定領域検出処理５０２および符号化処理５０５が開始される。フレーム＃２の画像６０５には、検出対象となる被写体６０６が存在している。そのため、フレーム＃２に対する特定領域検出処理５０２では、被写体６０６に対応する特定領域６０７が検出される。ここで、被写体６０６は、フレーム＃１の画像６０１内に存在する被写体６０２が図１３における右方向に移動したものである。

フレーム＃２の符号化処理の開始時点である時刻ｔ２＿２では、前フレームであるフレーム＃１に対する特定領域の検出結果が得られている。そのため、フレーム＃２の符号化処理に際しては、フレーム＃１の特定領域の検出結果を補正（拡大）した特定領域６０４を高画質にする画質制御処理が行われる。ただし、この時点では、補正量調整処理５０３が行われていないため、特定領域６０４と、フレーム＃２での実際の被写体６０６に対応する特定領域との間にはずれが生じている。

補正量調整処理５０３は、フレーム＃２に対する特定領域の検出結果が得られた後の時刻ｔ２＿３において行われる。補正量調整処理５０３では、フレーム＃１の特定領域の検出結果を補正した特定領域６０４と、フレーム＃２から検出された特定領域６０７との照合を行う。図１３の例では、特定領域６０４と特定領域６０７、つまり過去（フレーム＃１）の特定領域の検出結果から現在（フレーム＃２）の特定領域を予測した予測結果と、実際に検出された現在（フレーム＃２）の特定領域の検出結果とにずれが生じている。そのため、補正量調整処理５０３において補正量を調整する。時刻ｔ２＿３の補正量調整処理５０３において補正された補正量は、時刻ｔ３＿１における領域補正画質制御処理５０４に用いられ、特定領域６０７を補正した特定領域６０８が得られる。

補正された特定領域６０８は、時刻ｔ３＿１において生成された、次フレーム（フレーム＃３）の画像６０９を符号化するために用いられる。フレーム＃３の画像６０９には、検出対象となる被写体６１０が存在している。この被写体６１０は、フレーム＃２の画像６０５内に存在する被写体６０６に対応するものである。時刻ｔ３＿２では、フレーム＃３に対する特定領域検出処理５０２により、被写体６１０に対応する特定領域６１１が検出される。
時刻ｔ３＿３では、補正量調整処理５０３が行われる。この補正量調整処理５０３では、フレーム＃２の特定領域の検出結果を補正した特定領域６０８と、フレーム＃３から検出された特定領域６１１との照合が行われる。図１３の例では、特定領域６０８が特定領域６１１を包含するため、さらなる補正量の調整は必要ないと判断される。よって、時刻ｔ４＿１における領域補正画質制御処理５０４で用いる特定領域の補正の度合いは、時刻ｔ３＿１における前フレームのときと同一となる。時刻ｔ４＿１では、特定領域６１１を、特定領域６０７に対する補正処理と同等の補正量で補正した特定領域６１２が得られる。
以上述べたような処理を繰り返し、特定領域の補正度合いを都度更新していく。

図１４は、補正量調整処理を示すフローチャートである。画像処理装置１００´は、ＣＰＵ１１が必要なプログラムを読み出して実行することにより、図１４に示す処理を実現することができる。ただし、図１１に示す補正量調整部１０６が専用のハードウェアとして動作することで図１４の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。
まずＳ３１では、補正量調整部１０６は、フレーム番号に対応するカウンタ値Ｍの初期化処理を行い、カウンタ値Ｍを初期値である１に設定する。次にＳ３２では、補正量調整部１０６は、検出処理により検出された特定領域の個数Ｎを順次処理するためのカウンタ値ｉの初期化処理を行い、カウンタ値ｉを初期値である１に設定する。

次にＳ３３では、補正量調整部１０６は、フレーム番号Ｍにおいて検出されたＮ個の特定領域のうち、１つを特定領域Ｏ_Ｒ（ｉ）として選択する。次にＳ３４では、補正量調整部１０６は、フレーム番号Ｍの画像の符号化処理に用いられた補正後の特定領域のうち、特定領域Ｏ_Ｒ（ｉ）に対応するものを１つ、特定領域Ｏ_Ｅ（ｉ）として選択する。選択の基準としては、フレーム毎の各特定領域の画像属性や、大きさが近いもの等により設定することができる。Ｓ３５では、補正量調整部１０６は、Ｓ３４において特定領域Ｏ_Ｅ（ｉ）を選択できたか否かを判定し、選択できた場合にはＳ３６に移行し、選択できなかった場合にはＳ４０に移行する。

Ｓ３６では、補正量調整部１０６は、特定領域Ｏ_Ｅ（ｉ）が特定領域Ｏ_Ｒ（ｉ）を包含するか、すなわち補正処理により補正された補正後の特定領域が、実際の特定領域を含めることができたか否かを判定する。そして、特定領域Ｏ_Ｅ（ｉ）が特定領域Ｏ_Ｒ（ｉ）を包含していない場合にはＳ３７に移行し、包含している場合にはＳ３８に移行する。Ｓ３７では、補正量調整部１０６は、特定領域Ｏ_Ｅ（ｉ）が特定領域Ｏ_Ｒ（ｉ）を包含するように補正量を増加する方向に調整し、Ｓ４０に移行する。具体的な調整方法に関しては後述する。

Ｓ３８では、補正量調整部１０６は、特定領域Ｏ_Ｒ（ｉ）に対する特定領域Ｏ_Ｅ（ｉ）の大きさの比が、所定値以上であるか否かを判定する。具体的には、補正量調整部１０６は、特定領域Ｏ_Ｅ（ｉ）の大きさが、特定領域Ｏ_Ｒ（ｉ）の大きさのＫ倍以上であるか否かを判定する。
そして、特定領域Ｏ_Ｅ（ｉ）が、特定領域Ｏ_Ｒ（ｉ）よりもＫ倍以上大きい場合には、補正後の特定領域Ｏ_Ｅ（ｉ）が実際の特定領域Ｏ_Ｒ（ｉ）を包含しているが、特定領域Ｏ_Ｅ（ｉ）が特定領域Ｏ_Ｒ（ｉ）に対して大きすぎると判定し、Ｓ３９に移行する。一方、特定領域Ｏ_Ｒ（ｉ）に対する特定領域Ｏ_Ｅ（ｉ）の大きさの比が、所定値Ｋよりも小さい場合には、特定領域Ｏ_Ｅ（ｉ）は特定領域Ｏ_Ｒ（ｉ）に対して適切な大きさであると判定し、Ｓ４０に移行する。Ｓ３９では、特定領域Ｏ_Ｅ（ｉ）の大きさを、特定領域Ｏ_Ｒ（ｉ）を包含する範囲内で小さくなるように、具体的には、特定領域Ｏ_Ｅ（ｉ）と特定領域Ｏ_Ｒ（ｉ）との比が所定値Ｋを下回るように補正量を減少する方向に調整し、Ｓ４０に移行する。具体的な調整方法に関しては後述する。

Ｓ４０では、補正量調整部１０６は、特定領域のカウンタ値ｉを１つ増やしてＳ４１に移行し、Ｎ個の特定領域全ての処理を終えたか否かを判定する。つまりＳ４１では、補正量調整部１０６は、カウンタ値ｉが特定領域の個数Ｎを超えたか否かを判定する。そして、Ｎ個の特定領域全ての処理を終えている場合にはＳ４２に移行し、処理を終えていない場合には、Ｓ３３に戻って次の特定領域に関する処理を行う。
Ｓ４２では、補正量調整部１０６は、フレーム番号のカウンタ値Ｍを１つ増やしてＳ４３に移行し、最終フレームまで処理を終えたか否かを判定する。そして、最終フレームまで処理を終えている場合には図１４の処理を終了し、最終フレームまで処理を終えていない場合にはＳ３２に戻って次フレームの処理を行う。

以下、上述したＳ３７、Ｓ３９において実行される補正量の調整処理について、図１５（ａ）〜図１５（ｃ）を参照しながら具体的に説明する。
図１５（ａ）において、領域７０１は、検出処理により実際に検出された特定領域であり、上述した特定領域Ｏ_Ｒ（ｉ）に相当する。また、領域７０２は、前フレームにおける特定領域の検出結果７０３を補正して得られた特定領域であり、特定領域Ｏ_Ｅ（ｉ）に相当する。ここで、補正後の領域７０２は、検出結果７０３を所定の補正量により拡大したものである。領域７０２は、領域７０１を包含していないため、補正量調整部１０６は、補正量の調整処理において、領域７０２が領域７０１を包含するように補正量を調整する。具体的には、図１５（ａ）の例では、領域７０４のように補正領域の横方向の幅が拡大するように、補正量を調整する。

図１５（ｂ）において、領域７１１は、検出処理により実際に検出された特定領域であり、上述した特定領域Ｏ_Ｒ（ｉ）に相当する。また、領域７１２は、前フレームにおける特定領域の検出結果７１３を補正して得られた特定領域であり、特定領域Ｏ_Ｅ（ｉ）に相当する。ここで、補正後の領域７１２は、検出結果７１３を所定の補正量により拡大したものである。領域７１２は、領域７１１を包含していないため、補正量調整部１０６は、補正量の調整処理において、領域７１２が領域７１１を包含するように補正量を調整する。具体的には、図１５（ｂ）の例では、領域７１４のように補正領域の縦方向の幅が拡大するように、補正量を調整する。

図１５（ｃ）において、領域７２１は、検出処理により実際に検出された特定領域であり、上述した特定領域Ｏ_Ｒ（ｉ）に相当する。また、領域７２２は、前フレームにおける特定領域の検出結果７２３を補正して得られた特定領域であり、特定領域Ｏ_Ｅ（ｉ）に相当する。ここで、補正後の領域７２２は、検出結果７２３を所定の補正量により拡大したものである。領域７２２は、領域７２１を包含しているため、補正量調整部１０６は、領域７２２と領域７２１との大きさ比が所定値以上であるか否かを判定する。
領域７２１の大きさが１５ブロック、補正後の領域７２２の大きさが５０ブロック、所定値Ｋ＝２であるとすると、領域７２２は、領域７２１に対してＫ倍（２倍）以上大きい。そのため、この場合には、補正量調整部１０６は、領域７２２が領域７２１を包含する範囲で（領域７２２と領域７２１との大きさの比が所定値を下回るように）補正量を減少する方向に調整する。具体的には、補正量調整部１０６は、領域７２４のように補正領域の横方向の幅が減少するように、補正量を調整する。

なお、特定領域の補正方法（特定領域の拡大および縮小方法）は上記の方法に限定されない。例えば、特定領域の移動方向や移動速度に関する情報を得て、特定領域が移動すると思われる方向を考慮して、特定領域を拡大及び縮小するように補正量を調整してもよい。
以上のように、本実施形態における画像処理装置１００´は、検出処理により検出された符号化処理の対象となる画像内の特定領域に関する情報に基づいて、補正処理で用いる特定領域の補正量を調整する。

具体的には、画像処理装置１００´は、特定領域の補正量の調整処理に際し、過去の特定領域検出結果を補正した特定領域Ｏ_Ｅ（ｉ）が、検出処理により実際に検出された特定領域Ｏ_Ｒ（ｉ）に包含されているか否かを判定する。そして、特定領域Ｏ_Ｅ（ｉ）が特定領域Ｏ_Ｒ（ｉ）に包含されていない場合、特定領域Ｏ_Ｅ（ｉ）が特定領域Ｏ_Ｒ（ｉ）に包含されるように、特定領域の補正量を増加する方向に調整する。
一方、特定領域Ｏ_Ｅ（ｉ）が特定領域Ｏ_Ｒ（ｉ）に包含されている場合には、特定領域Ｏ_Ｅ（ｉ）と特定領域Ｏ_Ｒ（ｉ）との比が所定値以上であるか否かを判定する。そして、特定領域Ｏ_Ｅ（ｉ）と特定領域Ｏ_Ｒ（ｉ）との比が所定値以上である場合、特定領域Ｏ_Ｅ（ｉ）と特定領域Ｏ_Ｒ（ｉ）との比が所定値を下回るように、特定領域の補正量を減少する方向に調整する。
このように、過去の特定領域検出結果を補正した特定領域と実際の特定領域検出結果とを照合し、補正量を都度調整するので、特定領域の補正処理の精度を高めることが可能となる。

（第四の実施形態）
次に、本発明の第四の実施形態について説明する。
上述した第二の実施形態では、特定領域の位置および大きさに関する情報に基づいて、閾値判定により補正処理を行う場合について説明した。このような補正処理は、カメラで撮像する場面や検出対象となる被写体の属性等に応じて、その都度、閾値と対応する補正量とを変える必要がある。第四の実施形態では、ルックアップテーブルを用いて状況に応じた特定領域の補正量を導出する場合について説明する。

以下、補正処理が状況に応じて異なる点に関して、図１６を用いて説明する。この図１６に示すように、実空間８０１において、被写体である人物８０２〜８０４、橋８０５および川８０６をカメラ８０７によって撮像した場合、被写体８０２〜８０４は、撮像画像８１１中では検出対象８１２〜８１４としてとらえられる。
このような状況下においては、人物８０２〜８０４の移動は橋８０５および川８０６によって制限されるため、撮像画像８１１中における検出対象８１２〜８１４についても、想定される移動位置は制限される。そのため、検出処理により検出された特定領域の位置および大きさを単純に補正処理に用いることはできない。つまり、より複雑な閾値および補正量の組み合わせを設定し保持しておく必要がある。

そこで、本実施形態では、状況に応じた異なる補正処理および補正量の設定処理を簡略化するために、ルックアップテーブルを用いた特定領域の補正処理を行う。本実施形態における画像処理装置１００の全体構成は、図１に示す構成と同様である。ただし、判定部１０３は、画像処理装置１００が保持する参照テーブル（ルックアップテーブル）を参照し、遅延情報と特定領域情報とに基づいて、特定領域の補正処理を行う点で、上述した各実施形態とは相違する。
以下、本実施形態において使用する参照テーブルに関して、図１７を用いて説明する。図１７は横Ｘｍａｘ、縦Ｙｍａｘで構成される撮像画像に対し、横方向（Ｘ方向）のｍ個の閾値および縦方向（Ｙ方向）のｎ個の閾値に対応する、ｍ×ｎ個の補正量Ｃの関係を示している。判定部１０３は、撮像画像から検出された特定領域の座標値（Ｘ，Ｙ）に対応した補正量Ｃに基づいて、特定領域の補正処理を行う。

図１８（ａ）および図１８（ｂ）は、参照テーブルの具体例を示す図である。図１８（ａ）および図１８（ｂ）において、Ｔａｂｌｅ１、Ｔａｂｌｅ２、Ｔａｂｌｅ３は、それぞれ横軸にＸ方向の座標値、縦軸にＹ方向の座標値をとっている。各テーブル中の数値は、特定領域の補正量Ｃを示す。本実施形態では、図１８（ａ）および図１８（ｂ）に示すように、テーブルごとに補正量Ｃの大きさを変え、検出処理と符号化処理との時間差に応じて、各テーブルを使い分けることもできる。例えば、時間差が１フレームであればＴａｂｌｅ１を、時間差が２フレームであればＴａｂｌｅ２を、時間差が３フレーム以上であればＴａｂｌｅ３を用いるようにしてもよい。つまり、検出処理の対象とした画像と、符号化処理の対象となる画像との時間差が大きいほど、特定領域の補正量Ｃが大きくなるようなテーブルを用いるようにしてもよい。

図１８（ａ）に示すテーブルは、上述した図６（ｂ）の状況に応じた補正処理に適したテーブルの一例である。つまり、撮像画像の下端部および左右端部に近い特定領域は、カメラに近い被写体に対応する検出対象が存在し得る領域であり、この領域に存在する特定領域は大きく補正する必要があると仮定している。これに対して、図１６のような状況に対しては、特定領域（被写体）が通常入り込まない領域（移動が制限された領域）を考慮し、例えば図１８（ｂ）に示すテーブルの組を用意するものとする。つまり、橋８０５および川８０６によって被写体の移動が制限された領域に対応する補正量Ｃを０にする。
図１９は、本実施形態の判定部１０３が実行する特定領域の補正処理を示すフローチャートである。画像処理装置１００は、ＣＰＵ１１が必要なプログラムを読み出して実行することにより、図１９に示す処理を実現することができる。
ただし、判定部１０３が専用のハードウェアとして動作することで図１９の処理が実現されるようにしてもよい。この場合、専用のハードウェアは、ＣＰＵ１１の制御に基づいて動作する。

まず判定部１０３は、Ｓ５１において、検出部１０１により検出された特定領域の中心Ｘ座標を得るとともに、Ｓ５２において、検出部１０１により検出された特定領域の中心Ｙ座標を得る。次に、Ｓ５３において、判定部１０３は、Ｓ５１およびＳ５２において取得された特定領域の中心座標（Ｘ，Ｙ）をもとに、参照テーブルのインデックス値、すなわち参照テーブルの何番目の補正量を参照するかを計算する。Ｓ５４では、判定部１０３は、Ｓ５３において計算されたインデックス値をもとに、参照テーブルを参照し、補正量を導出する。Ｓ５５では、判定部１０３は、Ｓ５４において導出された補正量をもとに、特定領域を補正する。

なお、本実施形態では、特定領域の座標値をもとに特定領域の位置に関する補正量を求める場合について説明したが、特定領域の大きさに関する補正量や、検出処理と符号化処理との時間差に関する補正量を求める場合についても同様である。
以上のように、本実施形態における画像処理装置１００によれば、参照テーブル（ルックアップテーブル）を参照して特定領域の補正量を導出するので、演算コストを削減しつつ状況に応じた特定領域の補正が可能となる。

（第五の実施形態）
次に、本発明の第五の実施形態について説明する。
第五の実施形態では、特定領域の画質制御処理の粒度を変更する場合について説明する。ＨＥＶＣ符号化標準等の符号化形式では、符号化するブロック単位とは別に、画質制御パラメータを設定可能なブロック、すなわち画質を変えることの可能なブロックの粒度（画質制御粒度）を設定可能である。

以下、画質制御粒度に関して説明する。画質制御粒度が「小」である場合、画質制御パラメータを設定可能なブロック区分は、図２０（ａ）の実線９０１に示すようになる。一方、画質制御粒度が「大」である場合、画質制御パラメータを設定可能なブロック区分は、図２０（ｂ）の実線９０２に示すようになる。なお、図２０（ｂ）の破線９０３は、符号化処理の単位となるブロック区分である。
符号化するブロック単位の細かい画質制御が必要ない場合には、画質制御粒度を粗くして、ブロック単位に必要となるヘッダ情報のうち不要なものを削減することで、圧縮後のデータ量を少なくすることが可能となる。ＨＥＶＣ符号化標準においては、ｄｉｆｆ＿ｃｕ＿ｑｐ＿ｄｅｌｔａ＿ｄｅｐｔｈパラメータが画質制御粒度に相当し、フレーム単位に変更することが可能である。

次に、画質制御粒度を変更する処理に関して説明する。特定領域に対応する被写体がカメラ設置地点の近くに存在する場合は、特定領域が大きく移動すると予測されるため、特定領域の補正量も大きくなる。この場合、画質制御粒度パラメータを大きく、すなわち粗い粒度で画質を制御する。反対に、特定領域に対応する被写体がカメラ設置地点の遠くに存在する場合は、特定領域が小さく移動すると予測されるため、特定領域の補正量は小さくなる。この場合、画質制御粒度パラメータを小さく、すなわち細かい粒度で画質を制御する。
以上のように、本実施形態における画像処理装置１００によれば、補正処理により補正された特定領域に関する情報に基づいて画質制御処理の粒度を変更し、適切な粒度で画質制御を行うことができる。したがって、不要なヘッダ情報を削減し、圧縮後のデータ量を少なくすることが可能となる。

（変形例）
上記各実施形態においては、画質制御処理として、画像内の特定領域を高画質にする処理を行う場合について説明したが、画像内の特定領域を低画質にする処理を行う場合にも適用可能である。
また、上記各実施形態においては、過去の特定領域検出結果のうち、最新の特定領域結果に基づいて特定領域の補正処理を行う場合について説明したが、補正処理に用いる特定領域結果は、最新の特定領域結果に限定されない。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。

１００…画像処理装置、１０１…検出部、１０２…遅延算出部、１０３…判定部、１０４…制御部、１０５…符号化部

Claims (13)

1. 画像内の特定領域を検出する検出手段と、
   画像に対して符号化処理を実行する符号化手段と、
   前記符号化処理の対象となる第一画像と、前記第一画像に対して前記符号化処理が実行される前に前記検出手段により特定領域が検出されている第二画像との間の遅延情報と、前記第二画像内の特定領域に関する情報とに基づいて、前記第二画像内の特定領域を補正する補正手段と、を備え、
   前記符号化手段は、前記第一画像に対して、前記補正手段により補正された特定領域に対応する領域とそれ以外の領域とを異なる画質とする符号化処理を実行することを特徴とする画像処理装置。
2. 前記特定領域に関する情報は、画像内における前記特定領域の位置、大きさ、移動方向および移動速度の少なくとも１つに関する情報を含むことを特徴とする請求項１に記載の画像処理装置。
3. 前記補正手段は、前記特定領域の大きさおよび位置の少なくとも一方を補正することを特徴とする請求項１または２に記載の画像処理装置。
4. 前記補正処理は、前記第一画像に対する前記第二画像の遅延が大きいほど、前記特定領域の補正量を大きくすることを特徴とする請求項１から３のいずれか１項に記載の画像処理装置。
5. 前記補正処理は、画像内における前記特定領域の位置が前記画像の端部位置に近いほど、前記特定領域の補正量を大きくすることを特徴とする請求項１から４のいずれか１項に記載の画像処理装置。
6. 前記補正処理は、画像内における前記特定領域の大きさが大きいほど、前記特定領域の補正量を大きくすることを特徴とする請求項１から５のいずれか１項に記載の画像処理装置。
7. 前記検出手段により検出された前記第一画像内の特定領域に関する情報に基づいて、前記補正手段で用いる特定領域の補正量を調整する調整手段をさらに備えることを特徴とする請求項１から６のいずれか１項に記載の画像処理装置。
8. 前記調整手段は、
   前記補正手段により補正された特定領域である第一領域が、前記検出手段により検出された前記第一画像内の特定領域である第二領域に包含されていない場合、前記第一領域が前記第二領域に包含されるように、前記補正量を増加する方向に調整することを特徴とする請求項７に記載の画像処理装置。
9. 前記調整手段は、
   前記補正手段により補正された特定領域である第一領域が、前記検出手段により検出された前記第一画像内の特定領域である第二領域に包含されており、前記第一領域と前記第二領域との比が所定値以上である場合、前記第一領域と前記第二領域との比が前記所定値を下回るように、前記補正量を減少する方向に調整することを特徴とする請求項７または８に記載の画像処理装置。
10. 前記補正手段は、ルックアップテーブルを参照して前記特定領域の補正量を導出することを特徴とする請求項１から９のいずれか１項に記載の画像処理装置。
11. 前記符号化手段は、前記補正手段により補正された特定領域に関する情報に基づいて、画質制御処理の粒度を変更することを特徴とする請求項１から１０のいずれか１項に記載の画像処理装置。
12. 画像内の特定領域を検出する検出処理を実行するステップと、
    符号化処理の対象となる第一画像と、前記第一画像に対して前記符号化処理が実行される前に前記検出処理により特定領域が検出されている第二画像との間の遅延情報と、前記第二画像内の特定領域に関する情報とに基づいて、前記第二画像内の特定領域を補正するステップと、
    前記第一画像に対して、前記補正された特定領域に対応する領域とそれ以外の領域とを異なる画質とする符号化処理を実行するステップと、を含むことを特徴とする画像処理方法。
13. コンピュータを、請求項１から１１のいずれか１項に記載の画像処理装置の各手段として機能させるためのプログラム。

Images