JP5761195B2 - 画像処理装置、画像処理プログラム及び画像処理方法 - Google Patents

Description

本発明は、画像処理装置、画像処理プログラム及び画像処理方法に関する。

画像に含まれる高周波成分のノイズ（noise）を除去するためにローパスフィルタ（Low-pass filter：ＬＰＦ）を使用する技術が知られている。

一例としては、エッジ保存型の画像処理装置が挙げられる。かかるエッジ保存型の画像処理装置で使用されるＬＰＦには、ＬＰＦを通過させる画素のレベル（level）値の通過範囲として異なるレベル値の範囲がＬＰＦごとに設定される。エッジ保存型の画像処理装置は、各ＬＰＦに画像を入力し、各ＬＰＦによって出力される出力結果ごとに各画素のレベル値とその周辺画素のレベル値との間で畳み込み演算を行って平滑化する。そして、エッジ保存型の画像処理装置は、各ＬＰＦの出力結果ごとに平滑化された平滑化結果のうち、入力画像に含まれる画素のレベル値を通過範囲として収容するＬＰＦの平滑化結果を出力画素のレベル値として採用する。これによって、エッジ保存型の画像処理装置は、入力画像のエッジ（edge）を保存したまま高周波成分を除去する。

他の一例としては、自装置に入力される動画像のうち、過去に入力されたフレーム（frame）の縮小画像からＬＰＦごとに得られる平滑化結果と新たに入力されるフレームとを合成することにより、出力画像を生成する縮小画像使用型の画像処理装置が挙げられる。この縮小画像使用型の画像処理装置によれば、入力画像を平滑化するにあたって過去のフレームの縮小画像を使用することにより、上記のエッジ保存型の画像処理装置の長所を残しつつ、ＬＰＦの処理量を低減できる。

更なる一例としては、フレーム巡回型ノイズ低減装置と非巡回型フィルタノイズ低減装置とを併合して使用するタイプ複合型のノイズ低減装置が挙げられる。例えば、フレーム間で映像の動きが検出されず、自装置に入力される映像信号の映像信号レベルが小さい場合には、タイプ複合型のノイズ低減装置は、フレーム巡回型ノイズ低減装置を用いてノイズ低減を行う。また、フレーム間で映像の動きが検出された場合には、タイプ複合型のノイズ低減装置は、非巡回型フィルタノイズ低減装置を用いてノイズ低減を行う。このように、タイプ複合型のノイズ低減装置は、映像信号の動きや映像信号の強さに応じて最適なノイズ低減方法を使用する。

国際公開第２００８／０２０４８７号 国際公開第２００９／０６０６３３号 特開２００２−１０１０６号公報

しかしながら、上記の従来技術は、動画像のフレーム間で発生する低周波成分のちらつき、いわゆる時間軸方向の低周波ノイズを低減する場合に、メモリの容量が肥大化するという問題がある。

例えば、縮小画像使用型の画像処理装置の場合には、人の観察が集中しやすい高周波成分のノイズが除去される結果、動画像のフレーム間で発生する低周波成分のちらつきが顕著になってしまう。また、タイプ複合型のノイズ低減装置の場合には、映像信号から取得された画像をそれよりも前に取得された複数の画像との間で平均化する。かかる平均化を実行するには、時間軸方向に連続する過去のフレームを蓄積する必要があるので、大容量のメモリを採用せねばならない。

開示の技術は、上記に鑑みてなされたものであって、メモリ容量を肥大化させずに時間軸方向の低周波ノイズを低減できる画像処理装置、画像処理プログラム及び画像処理方法を提供することを目的とする。

本願の開示する画像処理装置は、一つの態様において、動画として時系列に入力される複数の入力画像のうち処理対象となる画像よりも前に入力された複数の入力画像をそれぞれ縮小して、前記複数の入力画像に夫々対応する複数の縮小画像を所定のメモリに蓄積させる縮小部を有する。さらに、前記画像処理装置は、前記メモリに蓄積された前記複数の縮小画像から１つの縮小画像を生成する生成部を有する。さらに、前記画像処理装置は、画素のレベル値の幅により設定される複数の範囲別に、前記１つの縮小画像に含まれる画素および該画素の周辺画素のレベル値を平滑化した複数の中間平滑化画像を生成する平滑化部を有する。さらに、前記画像処理装置は、前記平滑化部による複数の中間平滑化画像を前記処理対象となる入力画像に基づいて合成する合成部を有する。さらに、前記画像処理装置は、前記合成部により合成された画像を出力する出力部を有する。

本願の開示する画像処理装置の一つの態様によれば、メモリ容量を肥大化させずに時間軸方向の低周波ノイズを低減できるという効果を奏する。

図１は、実施例１に係る画像処理装置の構成を示すブロック図である。 図２は、画像処理装置の各機能部で処理されるデータの流れの一例を示す図である。 図３は、実施例１に係る３次元ノイズ除去処理の手順を示すフローチャートである。 図４は、重み付けの応用例を説明するための図である。 図５は、重み付けの応用例を説明するための図である。 図６は、クライアントサーバシステムへの適用例を説明するための図である。 図７は、実施例２に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。

以下に、本発明にかかる画像処理装置、画像処理プログラム及び画像処理方法の実施例を図面に基づいて詳細に説明する。なお、この実施例によりこの発明が限定されるものではない。そして、各実施例は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

［画像処理装置の構成］
図１は、実施例１に係る画像処理装置の構成を示すブロック図である。図１に示す画像処理装置１０は、動画像として時系列に入力される入力画像１のエッジ（edge）を保存したまま高周波成分を除去するとともに、動画像のフレーム（frame）間で発生する低周波成分のちらつきを緩和する３次元ＮＲ（Noise Reduction）を実現する。

ここで、画像処理装置１０は、３次元ＮＲ（Noise Reduction）を実現するにあたってメモリ容量を肥大化させるようなことはしない。すなわち、画像処理装置１０は、３次元ＮＲの処理対象とすべき入力画像１よりも過去に入力されたフレームを縮小した上で記憶部１１へ蓄積させる。このため、画像処理装置１０では、時系列に入力される複数の入力画像１を原画サイズ（size）で蓄積する必要がない。よって、本実施例に係る画像処理装置１０によれば、入力画像１の縮小率を上げるほどメモリ容量を小さくできる。

そして、画像処理装置１０は、記憶部１１に蓄積させた時間軸方向に連続する複数の縮小画像１１ａ間で統計処理を行うことにより、各縮小画像１１ａが１つに統合された縮小画像を生成する。その上で、画像処理装置１０は、画素のレベル値の幅により設定される複数の範囲別に統合後の縮小画像に含まれる画素および画素の周辺画素のレベル値を平滑化した平滑化結果と入力画像１とを合成する。それゆえ、本実施例に係る画像処理装置１０によれば、入力画像１のエッジを保存したまま、動画像のフレーム間で発生する低周波成分のちらつきを緩和できる。

図１に示すように、画像処理装置１０は、記憶部１１と、制御部１２とを有する。なお、画像処理装置１０は、情報処理装置に搭載されるチップ（chip）として実装することもできるし、また、情報処理装置にインストール（install）するパッケージソフトウェア（package software）として実装することもできる。

記憶部１１は、例えば、ＲＡＭ（Random Access Memory)、ＲＯＭ（Read Only Memory)やフラッシュメモリ（flash memory）などの半導体メモリ素子である。なお、記憶部１１は、上記の種類の半導体メモリ素子に限定されるものではなく、ハードディスク（hard disk）や光ディスクなどの記憶装置であってもよい。

記憶部１１は、制御部１２で実行される画像処理プログラムの他、基本ソフトのＯＳ（Operating System）などの各種プログラムを記憶する。さらに、記憶部１１は、制御部１２で実行されるプログラムの実行に必要なデータ、例えば後述の縮小部１２ｂに縮小を実行させる場合の縮小率や後述の平滑化部１２ｄに平滑化処理を実行させる場合のフィルタサイズなどを記憶する。このほか、記憶部１１は、図１に示すように、縮小画像１１ａを併せて記憶する。

縮小画像１１ａは、入力画像１が縮小された画像データの群である。かかる縮小画像１１ａは、後述の受付部１２ａにより動画像のフレームである入力画像１が受け付けられる度に入力画像１が後述の縮小部１２ｂにより縮小された上で蓄積される。なお、縮小画像１１ａは、必ずしも永続的に蓄積される必要はなく、蓄積されている縮小画像のうち後述の生成部１２ｃにより使用されなくなった古いフレームから消去することとしてもかまわない。例えば、本実施例では、後述の生成部１２ｃにより最新のフレームから３つ前のフレームまでの縮小画像が使用されるものとし、それよりも古いフレームは消去されるものとする。

制御部１２は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）などの集積回路またはＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの電子回路である。

制御部１２は、各種の処理手順を規定したプログラムや制御データを格納するための内部メモリを有し、これらによって種々の処理を実行する。制御部１２は、図１に示すように、受付部１２ａと、縮小部１２ｂと、生成部１２ｃと、平滑化部１２ｄと、合成部１２ｅと、出力部１２ｆとを有する。

このうち、受付部１２ａは、動画像として時系列に入力される入力画像１を受け付ける処理部である。一例として、受付部１２ａは、所定のネットワーク、例えばインターネット（Internet）、ＬＡＮ（Local Area Network）やＶＰＮ（Virtual Private Network）を介して動画像のフレームである入力画像１を受け付ける。他の一例として、受付部１２ａは、撮像装置、例えばカメラ（camera）などを介して、動画像のフレームである入力画像１を受け付ける。なお、ここでは、受付部１２ａが受け付けた入力画像１を後段の縮小部１２ｂへそのまま入力する場合を想定するが、入力画像１を記憶部１１へ蓄積させることとしてもかまわない。

ここで、本実施例では、ストリーミング（streaming）方式でＹＣｂＣｒ表色系により表現される動画像を所定のフレームレート（Frame Rate）、例えば１フレームを１／３０秒ごとに受け付ける場合を想定する。この場合には、輝度成分Ｙと２つの色差成分Ｃｂ及びＣｒとのうちのＹ成分、すなわち輝度成分が後段の各機能部の処理対象とされる。なお、ここでは、ＹＣｂＣｒ成分のうちのＹ成分を処理対象とするが、他の成分を処理対象としてもよく、また、他の表色系、例えばＲＧＢなどで表現される画像にも同様に適用することができる。

縮小部１２ｂは、受付部１２ａにより受け付けられた入力画像１を縮小する処理部である。一例としては、縮小部１２ｂは、受付部１２ａにより入力画像１が受け付けられる度に、予め定められた縮小率、例えば縦１／８及び横１／８の１／６４の縮小率で入力画像１を縮小する。そして、縮小部１２ｂは、入力画像１を縮小した縮小画像を記憶部１１へ蓄積させる。なお、入力画像１の縮小には、バイリニア手法やバイキュービック手法などの一般的な画像の縮小方法を適用できる。

図２は、画像処理装置の各機能部で処理されるデータの流れの一例を示す図である。図２に示す例では、ｎ−２番目のフレーム、ｎ−１番目のフレーム、ｎ番目のフレーム、ｎ＋１番目のフレームの順に入力動画Ｉを受け付けた場合に、ｎ＋１番目のフレームに３次元ＮＲを行う場合を想定している。図２に示す符号Ｉ（ｎ−１）、符号Ｉ（ｎ）及び符号Ｉ（ｎ＋１）は、ｎ−１番目、ｎ番目、ｎ＋１番目の順にそれぞれ受け付けられた入力画像を指す。図２に示す符号Ｓ（ｎ−２）、符号Ｓ（ｎ−１）及び符号Ｓ（ｎ）は、ｎ−１番目のフレーム、ｎ番目のフレーム及びｎ＋１番目のフレームそれぞれの縮小画像を指す。

図２の（１）に示すように、受付部１２ａにより入力画像Ｉ（ｎ−２）が受け付けられると、縮小部１２ｂは、入力画像Ｉ（ｎ−２）を縮小する。同様に、縮小部１２ｂは、入力画像Ｉ（ｎ−１）、入力画像Ｉ（ｎ）を縮小する。これによって、縮小画像Ｓ（ｎ−２）、縮小画像Ｓ（ｎ−１）及び縮小画像Ｓ（ｎ）が得られる。このようにして得られた縮小画像Ｓ（ｎ−２）、縮小画像Ｓ（ｎ−１）及び縮小画像Ｓ（ｎ）は、縮小部１２ｂにより記憶部１１へ順次蓄積される。

なお、ここでは、受付部１２ａにより入力画像１が受け付けられる度に入力画像１を縮小する場合を説明したが、必ずしも入力画像１を受け付ける度に入力画像１を縮小する必要はない。例えば、所定数の動画像のフレームが受け付けられる度、あるいは所定期間が経過する度に入力画像１を縮小するようにしてもかまわない。

生成部１２ｃは、記憶部１１に蓄積された複数の縮小画像から１つの縮小画像を生成する処理部である。すなわち、生成部１２ｃは、記憶部１１に蓄積された縮小画像のうち、入力画像に時間的に近いフレームから縮小された縮小画像ほど重み付けを大きくした上で加重平均、いわゆる重み平均を実行することにより、重み平均縮小画像を生成する。なお、ここでは、記憶部１１の説明で述べたように、最新の入力画像よりも１つ前、２つ前、３つ前の入力画像をそれぞれ縮小して得られた３つの縮小画像間で重み平均を行う場合を例示するが、開示の装置はこれに限定されない。すなわち、開示の装置は、任意のフレーム数を遡って任意の数の縮小画像間で重み平均を行うことができる。

図２の（２）に示すように、生成部１２ｃは、縮小画像Ｓ（ｎ）が得られた場合に、縮小画像Ｓ（ｎ−２）、縮小画像Ｓ（ｎ−１）及び縮小画像Ｓ（ｎ）の３つの縮小画像間で重み平均を全画素に実行することにより、重み平均縮小画像Ｓ′（ｎ）を生成する。かかる重み平均縮小画像Ｓ′（ｎ）は、時間軸方向に連続する低周波成分の変化、すなわちｎ−２、ｎ−１、ｎの変化が含んだ縮小画像となる。

ここで、生成部１２ｃは、重み平均縮小画像Ｓ′（ｎ）の算出式「Ｓ′（ｎ）＝Ｓ（ｎ）×ａ＋Ｓ（ｎ−１）×ｂ＋Ｓ（ｎ−２）×ｃ」の重み係数ａ、重み係数ｂ及び重み係数ｃを「ａ＞ｂ＞ｃ」かつ「ａ＋ｂ＋ｃ＝１」と設定する。一例としては、ａ：ｂ：ｃ＝３：２：１となるように重み係数をそれぞれ設定する。このように、処理対象とする入力画像Ｉ（ｎ＋１）の直近のフレームであるＩ（ｎ）の縮小画像Ｓ（ｎ）の重み係数を最も高くする。その次に、入力画像Ｉ（ｎ＋１）に近いフレームであるＩ（ｎ−１）の縮小画像Ｓ（ｎ−１）の重み係数を２番目に高くする。そして、入力画像Ｉ（ｎ＋１）から最も遠いフレームであるＩ（ｎ−２）の縮小画像Ｓ（ｎ−２）の重み係数を最も低くする。

これによって、ｎ番目のフレームとｎ−２番目のフレームまたはｎ−１番目のフレームとの間で、シーンチェンジ、すなわち画像の場面が変わった場合でも、シーンチェンジ前の画像の影響を低減できる。それゆえ、重み平均縮小画像Ｓ′（ｎ）から生成される複数の中間平滑化画像Ｌと入力画像Ｉ（ｎ＋１）とを合成した場合に、出力画像Ｏ（ｎ＋１）がぼやけることを防止できる。

図１の説明に戻り、平滑化部１２ｄは、ローパスフィルタ（Low-pass filter：ＬＰＦ）を用いて、画素のレベル値の幅により設定される複数の範囲別に、重み平均縮小画像に含まれる画素および該画素の周辺画素のレベル値を平滑化する処理部である。

これを説明すると、平滑化部１２ｄは、生成部１２ｃにより生成された重み平均縮小画像の各画素に対して、０〜２５５階調の明るさのレベル（level）において予め５つの複数プレーンに多層化する。この多層化された５つのレベル値の範囲それぞれを０〜８４、４２〜１２８、８５〜１６０、１２９〜２１２、１６１〜２５５とする場合を想定する。

そして、平滑化部１２ｄは、重み平均縮小画像の各画素を中心とした周辺画素を対象に、レベル値の範囲に該当する画素の値を平均することにより、処理対象画素の値を算出する。ここで言う「周辺画素」とは、フィルタサイズによって決定される処理対象画素を中心とした複数の画素を指す。このとき、平滑化部１２ｄは、フィルタサイズ内の画素で、処理対象とするレベル値の範囲に該当しない画素については、平均を求める際に利用しない。そして、フィルタサイズ内の画素において、レベル値の範囲に該当する画素が一つもない場合には、便宜上、レベル値の範囲の平均、例えば０〜８４のレベル値範囲であれば「４２」などを処理対象画素の値として算出する。

このようにして、平滑化部１２ｄは、図２の（３）に示すように、重み平均縮小画像Ｓ′（ｎ）内の各画素を対象に、多層化されたレベル値範囲に対応する複数の平滑化処理を実施する。かかる平滑化処理によって、平滑化部１２ｄは、画像処理装置１０による３次元ＮＲを行う過程で中間データとなる複数の中間平滑化画像Ｌ１（ｎ）〜Ｌ５（ｎ）を生成する。このように、複数の中間平滑化画像Ｌ１（ｎ）〜Ｌ５（ｎ）を生成する技術は、国際公開第２００９／０６０６３３号に開示された技術を準用することができる。なお、平滑化部１２ｄが複数の平滑化処理を実施するにあたっては、１つのＬＰＦを用いて各平滑化処理を順番に行ってもよいし、また、複数のＬＰＦを用いて平滑化処理を並列して行うこととしてもかまわない。

なお、平滑化部１２ｄが多層化するプレーンの数は、「５」に限るものではなく、各プレーンのレベル値の範囲も上述の値に限るものではない。多層化した後のプレーン数が複数で、プレーン数に応じて０〜２５５の階調を分けた値により設定されたレベル値であればよい。

合成部１２ｅは、平滑化部１２ｄによる複数の範囲別の平滑化結果を入力画像に基づいて合成する処理部である。図２の（４）に示すように、ｎ＋１番目のフレームの平滑化画像を生成する場合に、合成部１２ｅは、平滑化部１２ｄにより重み平均縮小画像Ｓ′（ｎ）がレベル値の範囲別に平滑化された複数の中間平滑化画像Ｌ１（ｎ）〜Ｌ５（ｎ）を一つまたは複数取得する。その上で、合成部１２ｅは、取得した中間平滑化画像を、入力画像Ｉ（Ｎ＋１）に基づいて合成することにより、平滑化画像を生成する。

一例としては、合成部１２ｅは、入力画像Ｉ（Ｎ＋１）のレベル値が１００である処理対象画素について合成を行う場合に、次のような処理を行う。すなわち、合成部１２ｅは、重み平均縮小画像Ｓ′（ｎ）の５つの中間平滑化画像Ｌ１（ｎ）〜Ｌ５（ｎ）のうち、レベル値１００を含むプレーンを取得する。例えば、合成部１２ｅは、レベル値が４２〜１２８でレベル値平均が９０のＬ２（ｎ）を取得するとともに、レベル値が８５〜１６０でレベル値平均が約１２０のＬ３（ｎ）を取得する。そして、合成部１２ｅは、Ｌ２（ｎ）と入力画像Ｉ（ｎ＋１）との距離「１００−９０＝１０」と、Ｌ３（ｎ）と入力画像Ｉ（ｎ＋１）との距離「１２０−１００＝２０」を算出する。その上で、合成部１２ｅは、算出した距離に基づき、入力画像Ｉ（ｎ＋１）により近い距離のＬ２（ｎ）の重み付けをＬ３（ｎ）の重み付けよりも大きくする。例えば、合成部１２ｅは、「Ｌ２（ｎ）：Ｌ３（ｎ）＝２：１」の割合で、重み平均縮小画像Ｓ′（ｎ）の中間平滑化画像Ｌ２（ｎ）とＬ３（ｎ）とを補間演算することにより合成して平滑化画像を生成する。かかる補間演算による合成の一例としては、Ｌ２（ｎ）とＬ３（ｎ）から、入力画素Ｉ（ｎ＋１）の位置の近傍画素を４点ずつ計８点の画素を取得した上で立方体補間演算を行うこととすればよい。このように、複数の中間平滑化画像Ｌ１（ｎ）〜Ｌ５（ｎ）を入力画像Ｉ（ｎ＋１）に基づいて合成する技術は、国際公開第２００９／０６０６３３号に開示された技術を準用することができる。

また、合成部１２ｅは、入力画像Ｉ（ｎ＋１）、すなわちｎ＋１番目以降のフレームについても、上記説明のうち、ｎ＋１番目のフレームをｎ＋１番目以降のフレームに置き換えて同様の処理を行う。なお、本実施例では、Ｙ成分を処理対象とし、重み平均縮小画像Ｓ′（ｎ）の中間平滑化画像と、ｎ＋１番目のフレームの画像とから平滑化画像を生成するが、この生成結果は、ｎ＋１番目のフレームの処理結果として扱うべきものである。したがって、ｎ番目のフレームの中間平滑化画像をＹ成分を対象として生成した場合には、他の成分としてＣｂＣｒ成分をｎ＋１番目のフレームから抽出して合成する。そして、カラー画像とするように、重み平均縮小画像Ｓ′（ｎ）の中間平滑化画像を生成する際に処理対象とした成分と合成する他の成分は、ｎ＋１番目のフレーム、すなわちｎ番目のフレーム以外のフレームの他の成分と合成することが好ましい。

出力部１２ｆは、合成部１２ｅにより合成された平滑化画像を出力画像３として出力する処理部である。図２の例で言えば、出力部１２ｆは、重み平均縮小画像Ｓ′（ｎ）の５つの中間平滑化画像Ｌ１（ｎ）〜Ｌ５（ｎ）が、入力画像Ｉ（ｎ＋１）に基づいて合成された平滑化画像を出力画像Ｏ（ｎ＋１）として出力する。かかる出力画像の出力先の一例としては、画像を表示する表示デバイスが挙げられる。他の一例としては、図示しない後段の機能部、例えばダイナミックレンジ補正処理を行う機能部が挙げられる。更なる一例としては、外部の記憶媒体や記憶装置の他、ネットワークを介して接続される外部の装置などが挙げられる。

［処理の流れ］
図３は、実施例１に係る３次元ノイズ除去処理の手順を示すフローチャートである。この３次元ノイズ除去処理は、画像処理装置１０に電力が供給されている限り、再帰的に繰り返し実行される。

図３に示すように、受付部１２ａにより動画像のフレームである入力画像１が受け付けられると（ステップＳ１０１肯定）、縮小部１２ｂは、受付部１２ａにより受け付けられた入力画像１を縮小する（ステップＳ１０２）。そして、縮小部１２ｂは、入力画像１を縮小した縮小画像を記憶部１１へ蓄積させる（ステップＳ１０３）。

続いて、生成部１２ｃは、記憶部１１に蓄積された複数の縮小画像間で重み平均を全画素に実行することにより、重み平均縮小画像を生成する（ステップＳ１０４）。その後、平滑化部１２ｄは、重み平均縮小画像内の各画素を対象に、多層化されたレベル値範囲に対応する複数の平滑化処理を実施することにより、複数の中間平滑化画像を生成する（ステップＳ１０５）。

そして、合成部１２ｅは、平滑化部１２ｄによる複数の範囲別の平滑化結果を入力画像に基づいて合成することにより、平滑化画像を生成する（ステップＳ１０６）。続いて、出力部１２ｆは、合成部１２ｅにより生成された平滑化画像を出力画像３として出力する（ステップＳ１０７）。

その後、画像処理装置１０は、ステップＳ１０１に戻り、ステップＳ１０１〜ステップＳ１０６までの処理を繰り返し実行する。

［実施例１の効果］
上述してきたように、本実施例に係る画像処理装置１０は、３次元ＮＲの処理対象とすべき入力画像１よりも過去に入力されたフレームを縮小した上で記憶部１１へ蓄積させる。このため、本実施例に係る画像処理装置１０では、時系列に入力される複数の入力画像１を原画サイズで蓄積する必要がない。それゆえ、本実施例に係る画像処理装置１０では、入力画像１の縮小率を上げるほどメモリ容量を小さくできる。そして、本実施例に係る画像処理装置１０は、記憶部１１に蓄積させた時間軸方向に連続する複数の縮小画像１１ａ間で統計処理を行うことにより、各縮小画像１１ａが１つに統合された縮小画像を生成する。その上で、本実施例に係る画像処理装置１０は、画素のレベル値の幅により設定される複数の範囲別に統合後の縮小画像に含まれる画素および画素の周辺画素のレベル値を平滑化した平滑化結果を入力画像１に基づいて合成する。それゆえ、本実施例に係る画像処理装置１０では、入力画像１のエッジを保存したまま、動画像のフレーム間で発生する低周波成分のちらつきを緩和できる。したがって、本実施例に係る画像処理装置１０によれば、メモリ容量を肥大化させずに時間軸方向の低周波ノイズを低減できる。

ここで、上記の従来技術で述べた縮小画像使用型の画像処理装置およびタイプ複合型の画像処理装置を組み合わせた場合の効果について検討する。このうち、縮小画像使用型の画像処理装置は、ｎ番目のフレームに対するレベル値別ＬＰＦの結果を使って、ｎ＋１番目のフレームやｎ＋２番目のフレームに対する出力画像を生成する。かかる縮小画像使用型の画像処理装置は、いわばｎ番目のフレームのＬＰＦ結果を使いまわすことで、ｎ＋１番目のフレームやｎ＋２番目のフレームに対するＬＰＦ処理を不要化し、処理量および処理時間を削減する効果を狙っている。このように、処理量および処理時間の削減を狙うのであれば、ｎ番目のフレームのＬＰＦ結果を使いまわす回数が多いほど削減効果が高くなる。

このような考え方の縮小画像使用型の画像処理装置に対して、タイプ複合型の画像処理装置のように時間軸方向に画像を平均する技術を組み合わせた場合には、次のような構成しか生起されない。すなわち、両者を組み合わせた場合には、入力画像をそのまま蓄積しておいて平均化し、平均化した入力画像を縮小してレベル値別ＬＰＦに通して、ＬＰＦ結果と入力画像とを合成するという構成にしかならない。このように、縮小画像使用型の画像処理装置およびタイプ複合型の画像処理装置を組み合わせたとしても、メモリ容量の削減と３次元ノイズリダクションとを両立させることはできない。

一方、本実施例に係る画像処理装置１０では、入力画像をそのまま蓄積して平均化することにより、メモリ容量を肥大化させるのではなく、入力画像を縮小したものを複数フレーム分蓄積して平均化する。よって、原画像よりもデータサイズが小さい縮小画像を蓄積するので、メモリ容量を削減できる。さらに、縮小画像群を平均化した縮小後平均画像をＬＰＦの入力とするので、時間軸方向の低周波ノイズを削減できる。

また、本実施例に係る画像処理装置１０は、複数の縮小画像のうち、入力画像に近いフレームから縮小された縮小画像ほど重み付けを大きくした上で重み平均することにより、重み平均縮小画像を生成する。このため、本実施例に係る画像処理装置１０によれば、シーンチェンジがあった場合でも、シーンチェンジ前の画像の影響を低減できる。それゆえ、本実施例に係る画像処理装置１０によれば、重み平均縮小画像から生成される複数の中間平滑化画像と入力画像とを合成した場合に、出力画像がぼやけることを防止できる。

さて、これまで開示の装置に関する実施例について説明したが、本発明は上述した実施例以外にも、種々の異なる形態にて実施されてよいものである。そこで、以下では、本発明に含まれる他の実施例を説明する。

［重み付けの応用例１］
上記の実施例１では、重み平均縮小画像Ｓ′（ｎ）の算出式の重み係数ａ、重み係数ｂ及び重み係数ｃの関係を「ａ＞ｂ＞ｃ」とする場合を例示したが、開示の装置はこれに限定されない。例えば、入力画像に近いフレームから縮小された縮小画像ほど重み係数を大きく設定することを原則としながらも、特定の条件を満たす縮小画像の重み係数を小さく設定することとしてもかまわない。

一例として、開示の装置は、複数の縮小画像のうち、入力画像の直近のフレームから縮小された縮小画像との間でレベル値を平均した平均値の差分が大きい縮小画像ほど重み付けを小さくした上で重み平均することもできる。

図２の例で踏襲して言えば、開示の装置は、重み平均縮小画像Ｓ′（ｎ）の算出式の重み係数ａ、重み係数ｂ及び重み係数ｃをＳ（ｎ）、Ｓ（ｎ−１）及びＳ（ｎ−２）の平均レベル値、すなわち縮小画像内の全画素におけるレベル値の平均値に基づいて算出する。なお、ここでは、Ｓ（ｎ）の平均レベル値をＡｖｅ（ｎ）と表記し、Ｓ（ｎ−１）の平均レベル値をＡｖｅ（ｎ−１）と表記し、また、Ｓ（ｎ−２）の平均レベル値をＡｖｅ（ｎ−２）と表記することとする。

ここで、開示の装置は、入力画像の直近のフレームから縮小された縮小画像Ｓ（ｎ）の平均レベル値Ａｖｅ（ｎ）と、次に近いフレームから縮小された縮小画像Ｓ（ｎ−１）の平均レベル値Ａｖｅ（ｎ−１）との間で差分値を算出する。さらに、開示の装置は、入力画像の直近のフレームから縮小された縮小画像Ｓ（ｎ）の平均レベル値Ａｖｅ（ｎ）と、入力画像から最も遠いフレームから縮小された縮小画像Ｓ（ｎ−２）の平均レベル値Ａｖｅ（ｎ−２）との間で差分値を算出する。そして、開示の装置は、算出結果として得られた｜Ａｖｅ（ｎ）−Ａｖｅ（ｎ−１）｜または｜Ａｖｅ（ｎ）−Ａｖｅ（ｎ−２）｜のうち値が小さい方の縮小画像に付与する重み係数を大きく設定し、大きい方の縮小画像に付与する重み係数を小さく設定する。このとき、平均レベル値の差分値が所定の閾値、例えば６０以上である場合には、重み係数をゼロに設定することもできる。

図４は、重み付けの応用例を説明するための図である。図４に示す例では、｜Ａｖｅ（ｎ）−Ａｖｅ（ｎ−１）｜＝１６となり、また、｜Ａｖｅ（ｎ）−Ａｖｅ（ｎ−２）｜＝６４となる。この場合に、｜Ａｖｅ（ｎ）−Ａｖｅ（ｎ−２）｜＝６４≧閾値６０であるので、開示の装置は、縮小画像Ｓ（ｎ−２）の重み係数ｃをゼロに設定する。また、｜Ａｖｅ（ｎ）−Ａｖｅ（ｎ−１）｜＞｜Ａｖｅ（ｎ）−Ａｖｅ（ｎ−２）｜であるので、開示の装置は、縮小画像Ｓ（ｎ−１）の重み係数ｂを大きく設定する。これらのことから、開示の装置は、重み係数ａ、重み係数ｂ及び重み係数ｃを「ａ：ｂ：ｃ＝３：２：０」と設定する。

このように、入力画像の直近のフレームから縮小された縮小画像との間でレベル値を平均した平均値の差分が大きい縮小画像ほど重み付けを小さくした上で重み平均することにより、次のような効果を奏する。一例としては、フレーム間で画像の動きが激しい場合に入力画像と相関性が低い縮小画像の重み係数を低く設定できる。他の一例としては、シーンチェンジがあった場合でも、シーンチェンジ前の縮小画像の重み係数を低く設定できる。

［重み付けの応用例２］
また、開示の装置は、複数の縮小画像に含まれる画素ごとに縮小画像それぞれに付与する重み係数を変更して加重平均を行う場合に、次のような処理を行うこともできる。すなわち、開示の装置は、入力画像の直近のフレームから縮小された縮小画像に含まれる画素との間で画素間のレベル値の差分が大きい縮小画像ほど重み付けを小さくした上で加重平均する。

すなわち、開示の装置は、重み平均縮小画像Ｓ′（ｎ）の算出式として上記の実施例１とは異なる算出式を使用する。一例として、開示の装置は、算出式「Ｓ′（ｎ（ｘ，ｙ））＝Ｓ（ｎ（ｘ，ｙ））×ａ′＋Ｓ（ｎ−１（ｘ，ｙ））×ｂ′＋Ｓ（ｎ−２（ｘ，ｙ））×ｃ′」から重み平均縮小画像Ｓ′（ｎ）を算出する。開示の装置は、これら重み係数ａ′、重み係数ｂ′及び重み係数ｃ′をＳ（ｎ（ｘ，ｙ））、Ｓ（ｎ−１（ｘ，ｙ））及びＳ（ｎ−２（ｘ，ｙ））に応じて算出する。すなわち、開示の装置は、Ｓ（ｎ（ｘ，ｙ））との差分値が小さい縮小画像の画素は、相対的に重み係数を大きく設定し、Ｓ（ｎ（ｘ，ｙ））との差分値が大きい縮小画像の画素は、相対的に重み係数を小さく設定する。

図５は、重み付けの応用例を説明するための図である。図５に示す黒の塗りつぶし部分の画素を例に挙げると、｜Ｓ（ｎ（ｘ，ｙ））−Ｓ（ｎ−１（ｘ，ｙ））｜＝１６となり、｜Ｓ（ｎ（ｘ，ｙ））−Ｓ（ｎ−２（ｘ，ｙ））｜＝６４となる。この場合に、｜Ｓ（ｎ（ｘ，ｙ））−Ｓ（ｎ−２（ｘ，ｙ））｜＝６４≧閾値６０であるので、開示の装置は、縮小画像Ｓ（ｎ−２（ｘ，ｙ））の重み係数ｃ′をゼロに設定する。また、｜Ｓ（ｎ（ｘ，ｙ））−Ｓ（ｎ−１（ｘ，ｙ））｜＞｜Ｓ（ｎ（ｘ，ｙ））−Ｓ（ｎ−２（ｘ，ｙ））｜であるので、開示の装置は、縮小画像Ｓ（ｎ−１（ｘ，ｙ））の重み係数ｂ′を大きく設定する。これらのことから、開示の装置は、重み係数ａ、重み係数ｂ及び重み係数ｃを「ａ：ｂ：ｃ＝３：２：０」と設定する。

これによって、フレーム間で画像の動きが激しい場合に入力画像と相関性が低い縮小画像の重み係数を低く設定できる。さらに、シーンチェンジがあった場合でも、シーンチェンジ前の縮小画像の重み係数を低く設定できる。

なお、ここでは、重み付けの応用例１及び重み付けの応用例２を個別に実行する場合を説明したが、これらを組み合わせて実行することもできる。この場合には、開示の装置が使用する重み平均縮小画像Ｓ′（ｎ）の算出式は「Ｓ′（ｎ（ｘ，ｙ））＝Ｓ（ｎ（ｘ，ｙ））×ａ×ａ′＋Ｓ（ｎ−１（ｘ，ｙ））×ｂ×ｂ′＋Ｓ（ｎ−２（ｘ，ｙ））×ｃ×ｃ′」となる。そして、開示の装置は、上述のように、Ａｖｅ（ｎ）、Ａｖｅ（ｎ−１）及びＡｖｅ（ｎ−２）に基づいて重み係数ａ、重み係数ｂ及び重み係数ｃを算出する。また、開示の装置は、上述のように、Ｓ（ｎ（ｘ，ｙ））、Ｓ（ｎ−１（ｘ，ｙ））及びＳ（ｎ−２（ｘ，ｙ））に基づいて重み係数ａ′、重み係数ｂ′及び重み係数ｃ′を算出する。

［クライアントサーバシステムへの適用］
上記の実施例１で説明した画像処理装置１０は、クライアントサーバシステムにも好適に適用できる。図６は、クライアントサーバシステムへの適用例を説明するための図である。図６に示すクライアントサーバシステムには、クライアント端末３０Ａ〜３０Ｃと、サーバ装置５０とがネットワーク４０を介して収容される。なお、ここでは、クライアント端末３０Ａ〜３０Ｃを区別なく述べる場合にクライアント端末３０と総称する。このクライアントサーバシステムにおいてサーバ装置５０をクラウドとし、クライアント端末３０からクラウドであるサーバ装置５０へ動画像を送信させる。そして、クライアント端末３０から送信された動画像の３次元ＮＲをサーバ装置５０に実行させ、出力画像をサーバ装置５０に保存させたり、クライアント端末３０へ応答させることもできる。

［機能部の分散および統合］
また、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。例えば、受付部１２ａ、縮小部１２ｂ、生成部１２ｃ、平滑化部１２ｄ、合成部１２ｅまたは出力部１２ｆを画像処理装置の外部装置としてネットワーク経由で接続するようにしてもよい。また、受付部１２ａ、縮小部１２ｂ、生成部１２ｃ、平滑化部１２ｄ、合成部１２ｅまたは出力部１２ｆを別の装置がそれぞれ有し、ネットワーク接続されて協働することで、上記の画像処理装置の機能を実現するようにしてもよい。

［画像処理プログラム］
また、上記の実施例で説明した各種の処理は、予め用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータで実行することによって実現することができる。そこで、以下では、図７を用いて、上記の実施例と同様の機能を有する画像処理プログラムを実行するコンピュータの一例について説明する。なお、図７は、実施例２に係る画像処理プログラムを実行するコンピュータの一例について説明するための図である。

図７に示すように、実施例２におけるコンピュータ１００は、操作部１１０ａと、マイク１１０ｂと、スピーカ１１０ｃと、ディスプレイ１２０と、通信部１３０とを有する。さらに、このコンピュータ１００は、ＣＰＵ１５０と、ＲＯＭ１６０と、ＨＤＤ（Hard Disk Drive）１７０と、ＲＡＭ（Random Access Memory）１８０と有する。これら１１０〜１８０の各部はバス１４０を介して接続される。

ＲＯＭ１６０には、上記の実施例１で示した受付部１２ａと、縮小部１２ｂと、生成部１２ｃと、平滑化部１２ｄと、合成部１２ｅと、出力部１２ｆと同様の機能を発揮する制御プログラムが予め記憶される。つまり、ＲＯＭ１６０には、図７に示すように、受付プログラム１６０ａと、縮小プログラム１６０ｂと、生成プログラム１６０ｃと、平滑化プログラム１６０ｄと、合成プログラム１６０ｅと、出力プログラム１６０ｆとが記憶される。これらのプログラム１６０ａ〜１６０ｆについては、図１に示した画像処理装置１０の各構成要素と同様、適宜統合又は分離しても良い。なお、ＲＡＭ１６０に格納される各データは、常に全てのデータがＲＡＭ１６０に格納される必要はなく、処理に必要なデータのみがＲＡＭ１６０に格納されれば良い。

そして、ＣＰＵ１５０が、これらのプログラム１６０ａ〜１６０ｆをＲＯＭ１６０から読み出して実行する。これによって、ＣＰＵ１５０は、各プログラム１６０ａ〜１６０ｆについては、受付プロセス１５０ａ、縮小プロセス１５０ｂ、生成プロセス１５０ｃ、平滑化プロセス１５０ｄ、合成プロセス１５０ｅ及び出力プロセス１５０ｆとして機能するようになる。これらプロセス１５０ａ〜１５０ｆは、図１に示した受付部１２ａと、縮小部１２ｂと、生成部１２ｃと、平滑化部１２ｄと、合成部１２ｅと、出力部１２ｆとにそれぞれ対応する。なお、ＣＰＵ１５０上で仮想的に実現される各処理部は、常に全ての処理部がＣＰＵ１５０上で動作する必要はなく、処理に必要な処理部のみが仮想的に実現されれば良い。そして、ＣＰＵ１５０は、ＲＡＭ１８０を用いて、画像処理プログラムを実行する。

なお、上記した画像処理プログラムについては、必ずしも最初からＨＤＤ１７０やＲＯＭ１６０に記憶させておく必要はない。例えば、コンピュータ１００に挿入されるフレキシブルディスク、いわゆるＦＤ、ＣＤ−ＲＯＭ、ＤＶＤディスク、光磁気ディスク、ＩＣカードなどの「可搬用の物理媒体」に各プログラムを記憶させる。そして、コンピュータ１００がこれらの可搬用の物理媒体から各プログラムを取得して実行するようにしてもよい。また、公衆回線、インターネット、ＬＡＮ、ＷＡＮなどを介してコンピュータ１００に接続される他のコンピュータまたはサーバ装置などに各プログラムを記憶させておき、コンピュータ１００がこれらから各プログラムを取得して実行するようにしてもよい。

１ 入力画像
３ 出力画像
１０ 画像処理装置
１１ 記憶部
１１ａ 縮小画像
１２ 制御部
１２ａ 受付部
１２ｂ 縮小部
１２ｃ 生成部
１２ｄ 平滑化部
１２ｅ 合成部
１２ｆ 出力部

Claims (6)

1. 動画として時系列に入力される複数の入力画像のうち処理対象となる画像よりも前に入力された複数の入力画像をそれぞれ縮小して、前記複数の入力画像に夫々対応する複数の縮小画像を所定のメモリに蓄積させる縮小部と、
   前記メモリに蓄積された前記複数の縮小画像から１つの縮小画像を生成する生成部と、
   画素のレベル値の幅により設定される複数の範囲別に、前記１つの縮小画像に含まれる画素および該画素の周辺画素のレベル値を平滑化した複数の中間平滑化画像を生成する平滑化部と、
   前記平滑化部による複数の中間平滑化画像を前記処理対象となる入力画像に基づいて合成する合成部と、
   前記合成部により合成された画像を出力する出力部と
   を有することを特徴とする画像処理装置。
2. 前記生成部は、前記複数の縮小画像のうち、前記入力画像に近いフレームから縮小された縮小画像ほど重み付けを大きくした上で加重平均することにより、前記１つの縮小画像を生成することを特徴とする請求項１に記載の画像処理装置。
3. 前記生成部は、前記複数の縮小画像のうち、前記入力画像の直近のフレームから縮小された縮小画像との間でレベル値を平均した平均値の差分が大きい縮小画像ほど重み付けを小さくした上で加重平均することを特徴とする請求項２に記載の画像処理装置。
4. 前記生成部は、前記複数の縮小画像に含まれる画素ごとに該複数の縮小画像それぞれに付与する重みを変更して加重平均を行う場合に、前記複数の縮小画像のうち、前記入力画像の直近のフレームから縮小された縮小画像に含まれる画素との間で画素間のレベル値の差分が大きい縮小画像ほど重み付けを小さくした上で加重平均することを特徴とする請求項２に記載の画像処理装置。
5. 動画として時系列に入力される複数の入力画像のうち処理対象となる画像よりも前に入力された複数の入力画像をそれぞれ縮小して、前記複数の入力画像に夫々対応する複数の縮小画像を所定のメモリに蓄積させる縮小手順と、
   前記メモリに蓄積された前記複数の縮小画像から１つの縮小画像を生成する生成手順と、
   画素のレベル値の幅により設定される複数の範囲別に、前記１つの縮小画像に含まれる画素および該画素の周辺画素のレベル値を平滑化した複数の中間平滑化画像を生成する平滑化手順と、
   前記平滑化手順による複数の中間平滑化画像を前記処理対象となる入力画像に基づいて合成する合成手順と、
   前記合成手順により合成された画像を出力する出力手順と
   をコンピュータに実行させることを特徴とする画像処理プログラム。
6. クライアント端末とサーバ装置とを含むクライアントサーバシステムに用いる画像処理方法であって、
   前記サーバ装置が、
   前記クライアント端末から動画として時系列に入力される複数の入力画像のうち処理対象となる画像よりも前に入力された複数の入力画像をそれぞれ縮小して、前記複数の入力画像に夫々対応する複数の縮小画像を所定のメモリに蓄積させ、
   前記メモリに蓄積された前記複数の縮小画像から１つの縮小画像を生成し、
   画素のレベル値の幅により設定される複数の範囲別に、前記１つの縮小画像に含まれる画素および該画素の周辺画素のレベル値を平滑化した複数の中間平滑化画像を生成し、
   複数の中間平滑化画像を前記処理対象となる入力画像に基づいて合成し、
   合成後の画像を所定の記憶装置へ出力する
   処理を実行することを特徴とする画像処理方法。

Images