JP2008011324A - ネットワークカメラ - Google Patents

Abstract

【課題】シーン特性解析のための特別な手段を要さず、簡易な構成でシーンの変化を検出し、シーン変化時の画質劣化や、急激な符号量増加による伝送路の負荷増加を防ぐネットワークカメラを提供する。
【解決手段】符号化部４００は、動画像符号化処理中に動き補償で得られる予測参照画像の信号対雑音比であるＳＮ値を算出し、変化特性判定部３００は、符号化部４００で算出されたＳＮ値又は符号化部４００で用いられるＤＣＴ係数、符号量情報、マクロブロック情報などの符号化情報に基づいて変化特性情報を生成し、フィルタ２００は、変化特性判定部３００で生成された変化特性情報を用いてフィルタ係数を決定する。これにより、シーン変化特性と符号化における画質劣化度合いに基づいたフィルタ制御が可能となり、シーン特性の解析手段を特別設けることなく、シーン変化時の画質劣化や急激な符号量増加による伝送路の負荷増加を抑えることができる。
【選択図】図１

Description

本発明は、符号化前処理におけるフィルタ処理について、画像の時間的変化情報を用いてフィルタ処理を施すネットワークカメラに関する。

従来、ネットワークカメラなどで用いられている動画像符号化処理においては、通常、前フレームの発生符号量の情報を次フレームの量子化係数決定に用いる等符号量のフィードバックを行うことにより、発生符号量と画質を一定に保つようにしている。シーン変化時における符号量の増大や画質の劣化を防ぐため、符号化の前処理にてシーン変化を検出し、シーンの変化に応じてフィルタ係数を設定する手法も従来から提案されている（例えば、特許文献１参照）。特許文献１で開示されたシーン特性検出型の動画像符号化装置では、入力画像のシーン変化を検出し、その情報に基づいてフィルタ制御や符号化量制御を行うことによりシーン変化時の符号量増加や画質劣化を防いでいる。

特開２００１−２５１６２９号公報

しかしながら、従来の方法においては、画像入力後にシーン変化を検出するためのシーン特性を解析するための手段が必要であり、その分、回路構成が複雑になり、コストアップになるという問題がある。

本発明は、係る事情に鑑みてなされたものであり、シーン特性解析のための特別な手段を要さず、簡易な構成でシーンの変化を検出し、シーン変化時の画質劣化や、急激な符号量増加による伝送路の負荷増加を防ぐネットワークカメラを提供することを目的とする。

上記目的は下記構成により達成される。
本発明のネットワークカメラは、被写体を撮影する撮像手段と、前記撮像手段から出力された画像データに対し高周波成分を除去するフィルタ手段と、前記フィルタ手段で高周波成分が除去された前記画像データに対し動画符号化を行う符号化手段と、画像の時間的変化特性に基づき変化特性情報を生成する変化特性判定手段とを備え、前記符号化手段は、動画符号化処理中に動き補償で得られる予測参照画像の信号対雑音比であるＳＮ値を算出し、前記変化特性判定手段は、前記符号化手段で算出されたＳＮ値又は前記符号化手段で用いられるその他の符号化情報に基づいて変化特性情報を生成し、前記フィルタ手段は、前記変化特性判定手段で生成された変化特性情報を用いてフィルタ係数を決定する。

この構成により、変化特性判定手段が、予測参照画像のＳＮ値又は符号化情報に基づいて生成した変化特性情報でフィルタ手段のフィルタ係数を決定するので、シーン変化特性と符号化における画質劣化度合いに基づいたフィルタ制御が可能となり、シーン特性の解析手段を特別設けることなく、シーン変化時の画質劣化や急激な符号量増加による伝送路の負荷増加を抑えることができる。

本発明のネットワークカメラは、前記符号化手段は、発生符号量制御を前記ＳＮ値に基づいて行う。

この構成により、符号化手段における発生符号量制御を予測参照画像の信号対雑音比であるＳＮ値に基づいて行うので、符号化における量子化雑音等による画質劣化度合いを符号量制御に反映でき、画質劣化の抑制をより正確に行うことが可能となる。

本発明のネットワークカメラは、前記撮像手段は、絞りや電子シャッタ、自動利得制御であるＡＧＣを含む各カメラ制御信号を前記変化特性判定手段で使用できるデータ形式に変換したカメラ制御情報や入力画像の信号対雑音比であるＳＮ値を出力し、前記変化特性判定手段は、前記カメラ制御情報及びＳＮ値と前記符号化手段で用いられる符号化情報とに基づいて変化特性情報を生成する。

この構成により、変化特性判定手段における変化特性情報の生成に、撮像手段からのカメラ制御情報や入力画像の信号対雑音比であるＳＮ値を用いるので、シーン変化のより詳細な特性を得ることができ、シーン変化特性により適応したフィルタ制御が可能となる。

本発明のネットワークカメラは、前記符号化手段は、符号化に用いる前記符号化手段内で生成する情報に加え、前記撮像手段からのカメラ制御情報及びＳＮ値をも用いて符号化を行う。

この構成により、符号化手段のおける符号化時に符号化に用いる通常の情報に加えて撮像手段からのカメラ制御情報及びＳＮ値も用いるので、原画の特性に基づいた符号量制御が可能となり、シーン変化時の画質劣化抑制をより強化することが可能となる。

本発明のネットワークカメラは、前記符号化手段は、前記符号化手段内で生成する符号化情報に加え、前記撮像手段からのカメラ制御情報及びＳＮ値、前記変化特性判定手段からの変化特性情報のうちのいずれか１つ又は複数の情報に基づいて駒落しの制御を行う。

この構成により、符号化手段が、符号化情報に加え、撮像手段からのカメラ制御情報及びＳＮ値と変化特性判定手段からの変化特性情報のうちのいずれか１つ又は複数の情報に基づいて駒落しの制御を行うので、シーン変化により符号量が増加したフレームの駒落しが可能となり、シーン変化時の伝送路の負荷増加を防ぐことができる。

本発明のネットワークカメラは、前記符号化手段は、前記符号化手段内で生成する符号化情報に加え、前記撮像手段からのカメラ制御情報及びＳＮ値、前記変化特性判定手段からの変化特性情報のうちのいずれか１つ又は複数の情報に基づいて再符号化の制御を行う。

この構成により、符号化手段が、符号化情報に加え、撮像手段からのカメラ制御情報及びＳＮ値と変化特性判定手段からの変化特性情報のうちのいずれか１つ又は複数の情報に基づいて再符号化の制御を行うので、シーン変化による画質劣化が生じたフレームの再符号化が可能となり、シーン変化時の画質劣化を防ぐことができる。

本発明のネットワークカメラは、前記撮像手段は、撮像領域の任意のブロック単位でカメラ制御情報を生成し、前記変化特性判定手段は、任意のブロック単位の変化特性情報を生成し、前記フィルタ手段は、前記ブロック単位のカメラ制御情報と変化特性情報とに基づいて画像データに対してフィルタ処理を施す。

この構成により、フィルタ手段が、撮像手段で生成されたブロック単位のカメラ制御情報と、変化特性判定手段で生成された変化特性情報とに基づいて画像データに対してフィルタ処理を施すので、画面中の任意のブロック単位でシーン変化の特性が検出でき、領域によって変化特性が異なる場合においても領域毎に変化特性に応じた適切な処理を施すことが可能となる。

本発明によれば、変化特性判定手段が、予測参照画像のＳＮ値又は符号化情報に基づいて生成した変化特性情報でフィルタ手段のフィルタ係数を決定するので、シーン変化特性と符号化における画質劣化度合いに基づいたフィルタ制御が可能となり、シーン特性の解析手段を特別設けることなく、シーン変化時の画質劣化や急激な符号量増加による伝送路の負荷増加を抑えることができる。

以下、本発明を実施するための好適な実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係るネットワークカメラの概略構成を示すブロック図である。同図において、本実施の形態に係るネットワークカメラは、撮像部１００と、フィルタ２００と、変化特性判定部３００と、符号化部４００とを備えて構成される。撮像部１００は、光学系のレンズ１と、ＣＣＤ（Charge Coupled Device）等のイメージセンサ２と、雑音除去のためのＣＤＳ（Correlated Double Sampling）回路３と、利得制御のためのＡＧＣ（Automatic Gain Control）回路４と、Ａ／Ｄ（Analog/Digital）変換器５と、γ補正等を行うカメラ信号処理部６とを備えている。

このような構成の撮像部１００において、イメージセンサ２より出力されたアナログカメラ信号がＣＤＳ回路３にて雑音除去処理が施されてＡＧＣ回路４に入力される。ＡＧＣ回路４では後段のＡ／Ｄ変換器５において所定のレベルが得られるよう撮像領域の照度に合わせて利得制御が施される。そして、利得制御の施されたアナログカメラ信号がＡ／Ｄ変換器５でデジタル信号に変換されカメラ信号処理部６に入力される。カメラ信号処理部６では、デジタルカメラ信号に対してγ補正やその他の補正処理を行うとともにＡＧＣ回路４の利得制御信号、レンズ１の絞り制御信号、イメージセンサ２の電子シャッタ制御信号等を生成する。

符号化部４００は、例えばＭＰＥＧ−４を用いて動画符号化を行うものであり、メモリ部１０と、レート制御部１１と、ＳＮ算出部１２と、ＤＣＴ（Discrete Cosine Transform）部１３と、量子化部１４と、ＶＬＣ（Variable Length Coding）部１５と、逆量子化部１６と、逆ＤＣＴ部１７と、加算部１８と、メモリ部１９と、動き予測部２０と、動き検出部２１と、動き補償部２２と、減算部２３と、出力バッファ２４とを備えている。

メモリ部１０は、入力された画像データを１フレーム分格納する。メモリ部１０より読み出された画像データは、当該フレームの符号化においてフレーム間符号化が適用される場合には減算部２３に入力され、フレーム内符号化が適用される場合はＤＣＴ部１３に入力される。減算部２３は、入力画像データから後述する予測参照画像を差し引いて、予測誤差を算出する。ＤＣＴ部１３は、メモリ部１０より読み出された画像データ及び減算部２３より出力された予測誤差に対して２次元離散コサイン変換を行う。レート制御部１１は、発生符号量を監視し量子化係数の制御を行う。例えば任意のフレーム単位又は任意のブロック単位に発生符号量を監視し、目標符号量を上回っている場合は量子化係数値を上昇させて発生符号量を抑え、下回っている場合は量子化係数値を下降させて発生符号量を増加させる。

量子化部１４は、ＤＣＴ部１３にて２次元離散コサイン変換された処理単位ブロックのデータ及び予測誤差を量子化する。ＶＬＣ部１５は、量子化された画像データ及び予測誤差を可変長変換してビットストリームを生成する。出力バッファ２４は、生成されたビットストリームをネットワークに出力する。逆量子化部１６は、量子化部１４にて量子化された画像データ及び予測誤差に対して逆量子化を施す。逆ＤＣＴ部１７は、逆量子化部１６で逆量子化された処理単位ブロックのデータに対して２次元逆離散コサイン変換を施して、予測誤差又は再構成画像を生成する。加算部１８は、逆ＤＣＴ部１７で作成された予測誤差と動き補償部２２で得られた予測参照画像データを加算して再構成画像を生成する。メモリ部１９は、加算部１８又は逆ＤＣＴ部１７にて生成された再構成画像を格納する。動き検出部２１は、メモリ部１９に記憶された再構成画像を取り込み、メモリ部１０に格納されている非圧縮の画像データと再構成画像を比較することにより、動きベクトルを検出する。

動き補償部２２は、動き検出部２１にて検出された動きベクトルをもとに再構成画像から予測参照画像を取り出す。この予測参照画像は、上述のように減算部２３にて用いられる。動き予測部２０は予測動きベクトルを算出し、動き検出部２１にて検出された動きベクトルから予測動きベクトルデータを差し引いて、動きベクトル差分データを算出する。ＳＮ算出部１２は、メモリ部１０に格納された非圧縮の画像データと予測参照画像の信号対雑音比であるＳＮ値を算出する。ＳＮ値算出については、全画素について算出する場合は処理量が大きくなるため、任意の画素や領域を抽出して算出しても構わない。ＤＣＴ部１３で生成されるＤＣＴ係数、レート制御部１１で監視される符号量情報、動き検出部２１で検出される動きベクトルやＩｎｔｒａ（イントラ）／Ｉｎｔｅｒ（インタ）判定結果、ＳＡＤ、ＳＡＤ０といったマクロブロック情報、ＳＮ算出部１２にて算出されるＳＮ値は変化特性判定部３００に入力される。

変化特性判定部３００は、符号化部４００より入力された「ＤＣＴ係数」、「符号量情報」、「マクロブロック情報」、「ＳＮ値」を用いて変化特性情報を生成する。ここで、変化特性判定部３００の動作について説明する。ここでは符号化部４００のレート制御部１１より出力される符号量情報とＳＮ算出部１２で算出されるＳＮ値を用いる例を示す。図２は、変化特性判定部３００の符号量情報とＳＮ値を用いた動作の例を示すフローチャートである。

レート制御部１１にて符号量情報Bits_ratio（ビットレシオ）は下記の式（１）によって算出される。
Bits_ratio＝発生符号量／目標符号量 …（１）
ＳＮ_{ｆｒａｍｅ}は、ＳＮ算出部１２にて算出される当該フレームのＳＮ値である。

変化特性判定部３００においては、Bits_ratioと任意に設定した閾値Ｔｈ_ｂｉｔｓとの比較結果（ステップＳ１）と、ＳＮ_{ｆｒａｍｅ}と任意に設定した閾値Ｔｈ_ｓｎとの比較結果（ステップＳ２、ステップＳ３）に基づき当該フレームの変化特性情報chg_levelが決定される（ステップＳ４〜ステップＳ７）。変化特性情報chg_levelはフィルタ２００のフィルタ係数を決定する情報となる。例えば、Bits_ratioが閾値Ｔｈ_ｂｉｔｓを超えていた場合は、撮像領域に変化が生じて予測誤差やイントラマクロブロックの増加による符号量増加が推定され、ＳＮ_{ｆｒａｍｅ}が閾値Ｔｈ_ｓｎ未満の場合は、量子化誤差や予測誤差による画質劣化が大きいと推定されるため、双方の場合には符号化部４００への入力画像の雑音除去やエッジのぼかしを強めるために、高周波成分の除去レベルを強めるような変化特性情報chg_levelを生成する。ステップＳ４〜ステップＳ７のchg_level各値の関係は、例えば次のようになる。

Ａ１＞Ｂ１≒Ｃ１＞Ｄ１

フィルタ２００において、chg_levelの値に応じてフィルタの係数を変更して入力画像に対しフィルタ処理を施すが、ここではchg_levelの値の大きい方が高周波除去レベルが強く働くとする。

次に、符号化部４００の動き検出部２１より出力されるＳＡＤとＳＮ値を用いる例を示す。図３は、本実施の形態の変化特性判定部３００の動作について、ＳＡＤとＳＮ値を用いた例を示すフローチャートである。

動き検出部２１にてマクロブロック毎のＳＡＤ₁₆は下記の式（２）にて算出される。
ＳＡＤ_１６(x,y)＝Σ^１５ _ｊ＝０Σ^１５ _ｉ＝０｜original(i,j)−previous(i,j;x,y)｜ …（２）
original(i,j)…現画像上のマクロブロックの画素値
previous(i,j;x,y)…再構成画像上のＳＡＤ計算対象画素エリアの画素値
(x,y)…現画像上のマクロブロックと再構成画像上のＳＡＤ計算対象画素エリアとの相対位置

変化特性判定部３００においては、ＳＡＤ₁₆の１フレーム分の合計ＳＡＤ_{ｆｒａｍｅ}を算出する（ステップＳ１１）。ＳＡＤ_{ｆｒａｍｅ}は下記の式（３）にて算出される。

ＳＡＤ_{ｆｒａｍｅ}＝Σ^ｍｂ _ｊ＝０ＳＡＤ_ｊ …（３）
mb…１フレーム内のマクロブロック数
ＳＡＤ_{ｆｒａｍｅ}と任意に設定した閾値Ｔｈ_ｓａｄとの比較結果（ステップＳ１２）と、ＳＮ_{ｆｒａｍｅ}と任意に設定した閾値Ｔｈ_ｓｎ（ステップＳ１３、ステップＳ１４）との比較結果に基づき当該フレームの変化特性情報chg_levelが決定される（ステップＳ１５〜ステップＳ１８）。

なお、本発明における変化特性情報の生成方法は上記の限りではなく、ＳＡＤの代わりにＳＡＤ０やＩｎｔｒａ／Ｉｎｔｅｒ判定結果を用いてもよい。ＳＡＤ０_１６は動き検出部２１にて下記の式（４）にて算出される。
ＳＡＤ_１６(x,y)＝Σ^１５ _ｊ＝０Σ^１５ _ｉ＝０｜original(i,j)−previous(i,j)｜ …（４）
original(i,j)…現画像上のマクロブロックの画素値
previous(i,j)…前フレームのマクロブロックの画素値

ＳＡＤ０_１６の１フレーム分の合計ＳＡＤ０_{ｆｒａｍｅ}を算出し、任意に設定した閾値Ｔｈ_sad0との比較結果を求めることにより変化特性情報chg_levelを決定してもよい。また、Ｉｎｔｒａ／Ｉｎｔｅｒ判定結果を利用する方法については、イントラマクロブロックの数によってＳＡＤやＳＡＤ０を用いる方法と類似した効果が得られる。前フレームと比較して変化の大きいマクロブロックはイントラマクロブロックとなるため、１フレーム中のイントラマクロブロックの数と任意に設定した閾値との比較によって変化特性情報chg_levelを決定する。Ｉｎｔｒａ／Ｉｎｔｅｒ判定結果と動きベクトルを組み合わせた場合は、イントラマクロブロック数と、インタマクロブロックの動きベクトル値を用いることにより、より高精度の変化特性情報が求められる。

また、ＤＣＴ係数により画像の複雑さを求め、複雑度が高い場合は高周波成分の除去レベルを高めるような変化特性情報を生成してもよい。また、図２、図３の例においては、閾値はＳＡＤ_{ｆｒａｍｅ}、ＳＮ_{ｆｒａｍｅ}に対しそれぞれ１段階であったが、閾値に段階を設けてもよい。

このように本実施の形態によれば、変化特性判定部３００が予測参照画像のＳＮ値又は符号化情報に基づいて生成した変化特性情報でフィルタ２００のフィルタ係数を決定するので、シーン変化特性と符号化における画質劣化度合いに基づいたフィルタ制御が可能となり、シーン特性の解析手段を特別設けることなく、シーン変化時の画質劣化や急激な符号量増加による伝送路の負荷増加を抑えることができる。

（実施の形態２）
次に、本発明の実施の形態２について説明する。本実施の形態に係るネットワークカメラの概略構成は、図１のネットワークカメラと同様であるので図１を援用する。本実施の形態のネットワークカメラは、符号化部４００のレート制御部１１において、ＳＮ算出部１２にて算出されたＳＮ値を用いて符号量制御を行うものである。

図４は、本実施の形態に係るネットワークカメラの符号化部４００のレート制御部１１の動作を示すフローチャートである。同図において、ＳＮ_{ｆｒａｍｅ}は、当該フレームの符号化部４００への入力画像と予測参照画像のＳＮ値である。ＱＰは、次のフレームの符号化に用いる量子化係数の初期値であり、このＱＰは当該フレームの発生符号量等から既存の方法を用いて決定されたものである。図４のフローチャートにおいては、次フレームの符号化に用いる量子化係数の初期値を、ＳＮ値に基づいて補正する方法を示している。値Ａ３、Ｂ３、Ｃ３、Ｄ３はそれぞれ補正値を示しており、各値の関係と値の範囲は以下のようになっている。

Ｔｈ_sn1＞Ｔｈ_sn2＞Ｔｈ_sn3
Ａ３＞Ｂ３＞Ｃ３＞Ｄ３ , −２９≦Ａ３,Ｂ３,Ｃ３,Ｄ３≦２９
２≦ＱＰ≦３１

ＳＮ値が低いほど画質劣化が顕著であるため（ステップＳ２１〜ステップＳ２３）、量子化係数値を下げて画質を向上させる方向に大きく補正する（ステップＳ２４〜ステップＳ２７）。なお、本実施の形態では、閾値を３段階にしているが、この限りではない。また、ＳＮ値と発生符号量の組み合わせで量子化係数の補正値の判定を行っても構わない。

このように本実施の形態によれば、符号化部４００における発生符号量制御を予測参照画像の信号対雑音比であるＳＮ値に基づいて行うので、符号化における量子化雑音等による画質劣化度合いを符号量制御に反映でき、画質劣化の抑制をより正確に行うことが可能となる。

（実施の形態３）
次に、本発明の実施の形態３について説明する。図５は、本発明の実施の形態３に係るネットワークカメラの概略構成を示すブロック図である。同図において、本実施の形態のネットワークカメラは、撮像部１１０と、フィルタ２００と、変化特性判定部３１０と、符号化部４１０とを備えて構成される。ここで、実施の形態１と異なる部分について説明する。

撮像部１１０は、実施の形態１に係るネットワークカメラの構成に加え、カメラ信号処理部６にて生成され絞りや電子シャッタ、ＡＧＣ等を制御するための各カメラ制御信号を変化特性判定部３１０で使用するデータ形式に変換し、カメラ制御情報を生成する変換部３１と、デジタルカメラ信号に帯域通過フィルタ処理を施し雑音成分を抽出するＢＰＦ（バンドパスフィルタ）３２と、デジタルカメラ信号に低域通過フィルタ処理を施し高周波成分を除去するＬＰＦ（ローパスフィルタ）３３と、ＢＰＦ３２及びＬＰＦ３３の信号対雑音比であるＳＮ値を算出するＳＮ算出部３４とを備えている。符号化部４１０の構成は、撮像部１１０にてＳＮ算出を行うため、実施の形態１のＳＮ算出部１２は不要となり、符号量情報、ＤＣＴ係数、マクロブロック情報といった符号化情報を変化特性判定部３１０に入力する。変化特性判定部３１０は、符号化部４１０より入力される符号化情報に加え、撮像部１１０より入力される上述のカメラ制御情報やＳＮ値を用いて変化特性情報を生成する。フィルタ２００の動作は実施の形態１と同様である。

次に、本実施の形態に係るネットワークカメラの変化特性判定部３１０の動作について説明する。図６は、変化特性判定部３１０の動作の一例を示すフローチャートである。まず符号化部４１０で生成されるマクロブロック毎のＳＡＤ₁₆の１フレームの合計であるＳＡＤ_frameを算出する（ステップＳ３０）。この場合、ＳＡＤ_frameの算出方法は上述した実施の形態１と同様である。次いで、撮像部１１０から出力されるカメラ制御情報の１つである撮像部１１０のＡＧＣの利得制御信号のレベルを示すＧＡＩＮと、任意に設定した閾値Ｔｈ_gainとの比較を行う（ステップＳ３１）。この比較において、ＧＡＩＮが閾値Ｔｈ_gain以上であれば、同様に撮像部１１０から出力されるカメラ制御情報の１つである絞りの制御信号のレベルを示すｉｒｉｓと、任意に設定した閾値Ｔｈ_irisとの比較を行う（ステップＳ３２）。この比較において、ｉｒｉｓが閾値Ｔｈ_iris以上であれば、撮像領域の照度が落ち、絞りが開いてＡＧＣ４で制御する利得が上がったことがわかる。

次いで、ＳＡＤ_frameと、符号化部４１０で生成される発生符号量情報Bits_ratioをそれぞれ任意に設定した閾値Ｔｈ_sad、Ｔｈ_bitsとを比較し（ステップＳ３３〜ステップＳ３８）、その結果に基づいて変化特性情報chg_levelを生成する（ステップＳ３９〜ステップＳ４６）。ＧＡＩＮ、ｉｒｉｓ、ＳＡＤ_frame、Bits_ratioの全てが閾値以上であった場合は、前フレームと比較して撮像領域の照度があるレベル以上変化し、それに伴い符号化部４１０での発生符号量も増大していると判断でき、フィルタ２００において高周波成分の除去レベルを強くするような変化特性情報chg_levelを生成する（ステップＳ３９）。

また、ＧＡＩＮ、ｉｒｉｓの両方又はどちらか一方が閾値を超えていないが、ＳＡＤ_frameと符号量Bits_ratioが閾値を超えていた場合は、撮像領域の照度変化は弱いが、カメラのパンチルト又は撮像領域への人物や物体の侵入や撤退等でシーンの特徴にある程度大きな変化が生じたと判断される（ステップＳ４３）。この場合の変化特性情報は、ステップＳ３９で生成される変化特性情報よりはフィルタにおける高周波成分の除去レベルが弱い。このようにして、ステップＳ３９〜ステップＳ４６の各場合における変化特性情報を生成する。

なお、本発明における変化特性情報の生成方法は上記の限りではなく、例えばＳＡＤ_frameの代わりに撮像部１１０のカメラ信号処理部６にて生成されるＢＭ積算、符号化部４１０にて生成されるＤＣＴ係数、ＳＡＤ０のフレーム合計であるＳＡＤ０_frameやＩｎｔｒａ／Ｉｎｔｅｒ判定結果、動きベクトルに置き換えてもよいし、ＧＡＩＮ、ｉｒｉｓの代わりに撮像部１１０で算出されるＳＮ値を用いてもよい。上述の各情報を組み合わせて判定に用いることで、より精度の高い判定が可能となる。例えば、ＢＭ積算は、入力画像のＲ成分、Ｂ成分、ＧＲ成分、ＧＢ成分のそれぞれ任意のブロック単位での画素値の合計である。このＢＭ積算を１フレーム保存し、前フレームの値を比較することによって、前フレームとの変化の度合いを知ることができる。また、図６の例においては、閾値がそれぞれ１段階であったが、各閾値に複数の段階を設けてもよい。

このように本実施の形態によれば、変化特性判定部３１０における変化特性情報の生成に、撮像部１１０からのカメラ制御情報や入力画像の信号対雑音比であるＳＮ値を用いるので、シーン変化のより詳細な特性を得ることができ、シーン変化特性により適応したフィルタ制御が可能となる。

（実施の形態４）
次に、本発明の実施の形態４について説明する。図７は、本発明の実施の形態４に係るネットワークカメラの概略構成を示すブロック図である。同図において、本実施の形態のネットワークカメラは、撮像部１１０と、フィルタ２００と、変化特性判定部３１０と、符号化部４２０とを備えて構成される。

撮像部１１０、フィルタ２００、変化特性判定部３１０の動作は、上述した実施の形態３に係るネットワークカメラと同様である。撮像部１１０にて生成されたカメラ制御情報及びＳＮ値が変化特性判定部３１０に入力されるとともに、符号化部４２０のレート制御部４１及び動き検出部４２へも入力される。ここで、符号化部４２０における動き検出部４２の動作について説明する。符号化に画面内予測、画面間予測のどちらを用いるかを決定するＩｎｔｒａ／Ｉｎｔｅｒ判定の方法は、動き検出部４２でＳＡＤ等を用いるのが一般的である。

図８は、Ｉｎｔｒａ／Ｉｎｔｅｒ判定に撮像部１１０にて生成されたカメラ制御情報を用いる動き検出部４２の動作の例を示すフローチャートである。まずＧＡＩＮと、任意に設定した閾値Ｔｈ_gainとの比較を行い（ステップＳ６１）、ＧＡＩＮが閾値Ｔｈ_gainを超えていればｉｒｉｓと、任意に設定した閾値Ｔｈ_irisとの比較を行う（ステップＳ６２）。この例では双方が閾値以上であった場合、前フレームと比較して撮像領域の照度があるレベル以上変化したと判断でき、当該フレームのマクロブロックを全てＩｎｔｒａに設定する（ステップＳ６４）。ＧＡＩＮとｉｒｉｓの双方又はどちらか一方が閾値以下であった場合は（ステップＳ６３）、ＳＡＤ値によってマクロブロック毎にＩｎｔｒａ／Ｉｎｔｅｒ判定を行う（ステップＳ６５、ステップＳ６６）。

また、図９は、ＧＡＩＮ、ｉｒｉｓの双方とも閾値Ｔｈ_gain、Ｔｈ_irisを超えていた場合（ステップＳ９１、ステップＳ９２）、レート制御部４１にて当該フレームをＩｖｏｐにしている（ステップＳ９４）。ＧＡＩＮとｉｒｉｓの双方またはどちらか一方が閾値以下であった場合は（ステップＳ９３）、動き検出部４２にてＳＡＤ値によってマクロブロック毎にＩｎｔｒａ／Ｉｎｔｅｒ判定を行う（ステップＳ９５、ステップＳ９６）。

ここで、図８、９においては、閾値が１段階であるがこの限りではない。レート制御部４１、動き検出部４２のＩｎｔｒａ／Ｉｎｔｅｒ判定に用いるカメラ制御情報は、ＧＡＩＮ、irisの代わりに、ＢＭ積算、電子シャッタ制御情報を用いてもよく、またＳＮ値を用いたり、上述の複数の情報の組み合わせで判定しても構わない。

このように本実施の形態によれば、符号化部４２０のおける符号化時に符号化に用いる通常の情報に加えて撮像部１１０からのカメラ制御情報及びＳＮ値も用いるので、原画の特性に基づいた符号量制御が可能となり、シーン変化時の画質劣化抑制をより強化することが可能となる。

（実施の形態５）
次に、本発明の実施の形態５について説明する。本実施の形態に係るネットワークカメラの概略構成は、上述した実施の形態４と同様であり、符号化部４２０のレート制御部４１において、撮像部１１０にて生成されたカメラ制御情報やＳＮ値、変化特性判定部３１０にて生成された変化特性情報を用いて駒落し制御を行うものである。

図１０は、本実施の形態の符号化部４２０のレート制御部４１の動作の一例を示すフローチャートである。まず前フレームの発生符号量情報Bits_ratio（＝発生符号量／目標符号量）を任意に設定した閾値Ｔｈ_bitsと比較し（ステップＳ７１）、Bits_ratioが閾値Ｔｈ_bitsを超えていれば、次フレームは符号化をせず駒落ちさせる（ステップＳ７４）。Bits_ratioが閾値Ｔｈ_bits以下の場合は、撮像部１１０にて生成されたカメラ制御情報ＧＡＩＮと、任意に設定した閾値Ｔｈ_gainとの比較を行い（ステップＳ７２）、ＧＡＩＮが閾値Ｔｈ_gainを超えていれば、ｉｒｉｓと、任意に設定した閾値Ｔｈ_irisとの比較を行う（ステップＳ７３）。

この例では双方が閾値以上であった場合、前フレームと比較して撮像領域の照度低下があるレベル以上であると判断でき、符号化での発生符号量が増大することが予想されるため次フレームを駒落ちさせる（ステップＳ７４）。ＧＡＩＮとｉｒｉｓの双方またはどちらか一方が閾値以下であった場合は、駒落しをさせない（ステップＳ７５）。ＧＡＩＮ、ｉｒｉｓの代わりに、カメラ制御情報についてはＢＭ積算、電子シャッタ制御情報を用いてもよく、またＳＮ値や変化特性情報を符号量情報Bits_ratioの代わり用いてもよい。上述の情報の複数の組み合わせで駒落しの判定を行っても構わない。

このように本実施の形態によれば、符号化部４２０が、符号化情報に加え、撮像部１１０からのカメラ制御情報及びＳＮ値と変化特性判定部３１０からの変化特性情報のうちのいずれか１つ又は複数の情報に基づいて駒落しの制御を行うので、シーン変化により符号量が増加したフレームの駒落しが可能となり、シーン変化時の伝送路の負荷増加を防ぐことができる。

（実施の形態６）
次に、本発明の実施の形態６について説明する。本実施の形態に係るネットワークカメラの構成は上述した実施の形態４と同様であり、符号化部４２０において、撮像部１１０にて生成されたカメラ制御情報やＳＮ値、変化特性判定部３１０にて生成された変化特性情報を用いて、一度符号化したビットストリームを伝送路に送信せずに同一フレームの再符号化を行うものである。

図１１は、本実施の形態の符号化部４２０のレート制御部４１の動作を示すフローチャートである。変化特性判定部３１０にて生成される変化特性情報によりフィルタにおける高周波除去処理があるレベルで行われた場合、ステップＳ８１以降で再符号化の判定を行う。

まず変化特性情報が大きい場合（ステップＳ８０）、前フレームの発生符号量情報Bits_ratio（＝発生符号量／目標符号量）を任意に設定した閾値Ｔｈ_bitsと比較し（ステップＳ８１）、Bits_ratioが閾値Ｔｈ_bitsを超えていれば、一旦符号化された符号は破棄し、当該フレームを再符号化する（ステップＳ８４）。Bitsが閾値Ｔｈ_bits以下の場合、撮像部１１０にて生成されたカメラ制御情報ＧＡＩＮと、任意に設定した閾値Ｔｈ_gainとの比較を行い（ステップＳ８２）、ＧＡＩＮが閾値Ｔｈ_gainを超えていればｉｒｉｓと、任意に設定した閾値Ｔｈ_irisとの比較を行う（ステップＳ８３）。この例では双方が閾値以上であった場合、前フレームと比較して撮像領域の照度低下があるレベル以上であると判断でき、符号化における画質劣化は顕著であると想定できるため、一旦生成されたビットストリームは破棄し当該フレームを再符号化する。この際、レート制御での量子化係数の再設定（ステップＳ８４）や、動き検出部４２におけるＩｎｔｒａ／Ｉｎｔｅｒの再判定等により、前回より高画質で符号化を行う（ステップＳ８６）。

ＧＡＩＮとｉｒｉｓの双方又はどちらか一方が閾値以下であった場合は、再符号化をせず、ビットストリームを伝送路に送信する（ステップＳ８５）。ＧＡＩＮ、ｉｒｉｓの代わりに、カメラ制御情報についてはＢＭ積算、電子シャッタ制御情報を用いてもよく、またＳＮ値や変化特性情報を符号量Bits_ratioの代わり用いてもよい。上述の情報の複数の組み合わせで再符号化の判定を行っても構わない。

このように本実施の形態によれば、符号化部４２０が、符号化情報に加え、撮像部１１０からのカメラ制御情報及びＳＮ値と変化特性判定部３１０からの変化特性情報のうちのいずれか１つ又は複数の情報に基づいて再符号化の制御を行うので、シーン変化による画質劣化が生じたフレームの再符号化が可能となり、シーン変化時の画質劣化を防ぐことができる。

（実施の形態７）
次に、本発明の実施の形態７について説明する。図１２は、本発明の実施の形態７に係るネットワークカメラの概略構成を示すブロック図である。同図において、本実施の形態のネットワークカメラは、撮像部１２０と、フィルタ２１０と、変化特性判定部３２０と、符号化部４１０とを備えて構成される。符号化部４１０の動作は、上述した実施の形態３と同様である。

撮像部１２０は、実施の形態１の構成に加え、カメラ信号処理部６にて生成され絞りや電子シャッタ、ＡＧＣ等を制御するための各カメラ制御信号を変化特性判定部３２０で使用するデータ形式に変換し、カメラ制御情報を生成する変換部３１と、デジタルカメラ信号に帯域通過フィルタ処理を施し雑音成分を抽出するＢＰＦ３２と、デジタルカメラ信号に低域通過フィルタ処理を施し高周波成分を除去するＬＰＦ３３と、ＳＮ算出部３６に入力する画像データを任意のブロックに分割する分割部３５と、分割部３５にて分割されたブロック単位でＢＰＦ３２、ＬＰＦ３３の信号対雑音比であるＳＮ値を算出するＳＮ算出部３６とを備えている。

変化特性判定部３２０は、符号化部４１０より出力される符号化情報と、撮像部１２０より出力される上述のカメラ制御情報やＳＮ値を用いて任意のブロック単位の変化特性情報を生成する。フィルタ２１０は、ブロック単位の変化特性情報と、符号化部４１０より入力された符号量情報、ＤＣＴ係数、マクロブロック情報に基づき入力画像に対しブロック単位でフィルタ係数を設定して高周波除去処理を行う。この際、上述の情報を１つのみ使用しても複数組み合わせても構わない。

図１３は、撮像部１２０にて算出されたブロック単位のＳＮ値と、符号化部４１０にて生成されたブロック単位の符号量情報Bits_ratio（＝発生符号量／目標符号量）を用いて生成された変化特性情報の分布例を示す。図１３において、ａｒｅａ２はａｒｅａ１よりＳＮ値が低く、ａｒｅａ４はａｒｅａ３より符号量情報Bits_ratioが大きいため、ａｒｅａ２とａｒｅａ４の重なる領域であるａｒｅａ８が符号化にとって最も難しい領域となっていることがわかる。そこで、このａｒｅａ８のフィルタ２１０における高周波成分除去レベルが最も高くなるような変化特性情報を設定する。また、ａｒｅａ２とａｒｅａ４のどちらにも該当しないａｒｅａ５は符号化にとっては最も簡単な領域となっているため、フィルタ２１０における高周波成分除去レベルが最も低くなるような変化特性情報を設定する。

このように本実施の形態によれば、フィルタ２１０が、撮像部１２０で生成されたブロック単位のカメラ制御情報と、変化特性判定部３２０で生成された変化特性情報とに基づいて画像データに対してフィルタ処理を施すので、画面中の任意のブロック単位でシーン変化の特性が検出でき、領域によって変化特性が異なる場合においても領域毎に変化特性に応じた適切な処理を施すことが可能となる。

本発明は、シーン特性解析のための特別な手段を要さず、簡易な構成でシーンの変化を検出することができるといった効果を有し、ネットワークカメラを用いた監視システムなどへの適用が可能である。

本発明の実施の形態１に係るネットワークカメラの概略構成を示すブロック図 本発明の実施の形態１に係るネットワークカメラの変化特性判定部の動作を説明するためのフローチャート 本発明の実施の形態１に係るネットワークカメラの変化特性判定部の動作を説明するためのフローチャート 本発明の実施の形態２に係るネットワークカメラのレート制御部の動作を説明するためのフローチャート 本発明の実施の形態３に係るネットワークカメラの概略構成を示すブロック図 本発明の実施の形態３に係るネットワークカメラの変化特性判定部の動作を説明するためのフローチャート 本発明の実施の形態４に係るネットワークカメラの概略構成を示すブロック図 本発明の実施の形態４に係るネットワークカメラの符号化部の動作を説明するためのフローチャート 本発明の実施の形態４に係るネットワークカメラの符号化部の動作を説明するためのフローチャート 本発明の実施の形態５に係るネットワークカメラの駒落しの動作を説明するためのフローチャート 本発明の実施の形態６に係るネットワークカメラの再符号化の動作を説明するためのフローチャート 本発明の実施の形態７に係るネットワークカメラの概略構成を示すブロック図 本発明の実施の形態７に係るネットワークカメラのＳＮ値、符号量情報及び変化特性情報の分布を示す図

符号の説明

１ レンズ
２ イメージセンサ
３ ＣＤＳ回路
４ ＡＧＣ回路
５ Ａ／Ｄ変換器
６ カメラ信号処理部
１０、１９ メモリ部
１１、４１ レート制御部
１２、３４、３６ ＳＮ算出部
１３ ＤＣＴ部
１４ 量子化部
１５ ＶＬＣ部
１６ 逆量子化部
１７ 逆ＤＣＴ部
１８ 加算部
２０ 動き予測部
２１、４２ 動き検出部
２２ 動き補償部
２３ 減算部
２４ 出力バッファ
３１ 変換部
３２ ＢＰＦ
３３ ＬＰＦ
１００、１１０、１２０ 撮像部
２００、２１０ フィルタ
３００、３１０、３２０ 変化特性判定部
４００、４１０、４２０ 符号化部

Claims (7)

1. 被写体を撮影する撮像手段と、
   前記撮像手段から出力された画像データに対し高周波成分を除去するフィルタ手段と、
   前記フィルタ手段で高周波成分が除去された前記画像データに対し動画符号化を行う符号化手段と、
   画像の時間的変化特性に基づき変化特性情報を生成する変化特性判定手段とを備え、
   前記符号化手段は、動画符号化処理中に動き補償で得られる予測参照画像の信号対雑音比であるＳＮ値を算出し、
   前記変化特性判定手段は、前記符号化手段で算出されたＳＮ値又は前記符号化手段で用いられるその他の符号化情報に基づいて変化特性情報を生成し、
   前記フィルタ手段は、前記変化特性判定手段で生成された変化特性情報を用いてフィルタ係数を決定するネットワークカメラ。
2. 前記符号化手段は、発生符号量制御を前記ＳＮ値に基づいて行う請求項１に記載のネットワークカメラ。
3. 前記撮像手段は、絞りや電子シャッタ、自動利得制御であるＡＧＣを含む各カメラ制御信号を前記変化特性判定手段で使用できるデータ形式に変換したカメラ制御情報や入力画像の信号対雑音比であるＳＮ値を出力し、
   前記変化特性判定手段は、前記カメラ制御情報及びＳＮ値と前記符号化手段で用いられる符号化情報とに基づいて変化特性情報を生成する請求項１に記載のネットワークカメラ。
4. 前記符号化手段は、符号化に用いる前記符号化手段内で生成する情報に加え、前記撮像手段からのカメラ制御情報及びＳＮ値をも用いて符号化を行う請求項３に記載のネットワークカメラ。
5. 前記符号化手段は、前記符号化手段内で生成する符号化情報に加え、前記撮像手段からのカメラ制御情報及びＳＮ値、前記変化特性判定手段からの変化特性情報のうちのいずれか１つ又は複数の情報に基づいて駒落しの制御を行う請求項３又は請求項４に記載のネットワークカメラ。
6. 前記符号化手段は、前記符号化手段内で生成する符号化情報に加え、前記撮像手段からのカメラ制御情報及びＳＮ値、前記変化特性判定手段からの変化特性情報のうちのいずれか１つ又は複数の情報に基づいて再符号化の制御を行う請求項３乃至請求項５のいずれかに記載のネットワークカメラ。
7. 前記撮像手段は、撮像領域の任意のブロック単位でカメラ制御情報を生成し、
   前記変化特性判定手段は、任意のブロック単位の変化特性情報を生成し、
   前記フィルタ手段は、前記ブロック単位のカメラ制御情報と変化特性情報とに基づいて画像データに対してフィルタ処理を施す請求項１乃至請求項６のいずれかに記載のネットワークカメラ。

Images