JP2011009857A - Noise level measuring apparatus and image processor - Google Patents
Noise level measuring apparatus and image processor Download PDFInfo
- Publication number
- JP2011009857A JP2011009857A JP2009148889A JP2009148889A JP2011009857A JP 2011009857 A JP2011009857 A JP 2011009857A JP 2009148889 A JP2009148889 A JP 2009148889A JP 2009148889 A JP2009148889 A JP 2009148889A JP 2011009857 A JP2011009857 A JP 2011009857A
- Authority
- JP
- Japan
- Prior art keywords
- noise level
- measurement
- noise
- unit
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000005259 measurement Methods 0.000 claims abstract description 100
- 238000000034 method Methods 0.000 claims description 28
- 238000003708 edge detection Methods 0.000 claims description 10
- 238000010191 image analysis Methods 0.000 claims description 4
- 230000005484 gravity Effects 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 5
- 239000006185 dispersion Substances 0.000 description 5
- 238000004458 analytical method Methods 0.000 description 2
- 230000006866 deterioration Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000691 measurement method Methods 0.000 description 2
- 230000002411 adverse Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000007717 exclusion Effects 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Landscapes
- Picture Signal Circuits (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明は、視差画像に含まれるノイズ成分を計測する機能を有するノイズレベル計測装置および画像処理装置に関する。 The present invention relates to a noise level measurement device and an image processing device having a function of measuring a noise component included in a parallax image.
従来より、入力映像信号に含まれるノイズ成分を計測し、その計測結果に基づいてノイズを除去する装置が開発されている。特許文献1には、時間方向のフレーム差分画像を用いてヒストグラムを生成し、ヒストグラム解析によりノイズレベルを推定する方法が提案されている。特許文献2には、時間方向のフレーム間において、エッジ量や動き量等に基づいてノイズレベル計測に適している領域を判定し、ヒストグラム加算を行う領域を制限する方法が提案されている。 Conventionally, an apparatus for measuring a noise component included in an input video signal and removing the noise based on the measurement result has been developed. Patent Document 1 proposes a method of generating a histogram using a temporal frame difference image and estimating a noise level by histogram analysis. Patent Document 2 proposes a method of determining a region suitable for noise level measurement based on an edge amount, a motion amount, or the like between frames in a time direction, and limiting a region for performing histogram addition.
ところで、近年では防犯用途や車載用途として2台のカメラを使用し、それぞれのカメラから同一時刻に撮影された2つの視差画像(左右2枚のステレオ画像)を得て、ステレオ法によって、立体画像認識を行う装置が増えてきている。このような装置では、2つの視差画像を用いることにより、奥行情報を取得できるため、人や物体の認識を3次元的に行うことができる。このような装置で使用される防犯カメラや車載カメラでは、暗い場所での撮影といったように撮影条件が劣悪で、かつ、ノイズ成分が混入しやすい状況で撮影されることが多いと考えられる。従って、正しく画像認識を行うためには、撮影されたステレオ画像からノイズ成分を正しく除去する必要がある。 By the way, in recent years, two cameras are used for security use or in-vehicle use, and two parallax images (two left and right stereo images) taken at the same time are obtained from each camera, and a stereo image is obtained by a stereo method. The number of devices that perform recognition is increasing. In such an apparatus, depth information can be acquired by using two parallax images, so that a person or an object can be recognized three-dimensionally. It is considered that security cameras and in-vehicle cameras used in such devices are often photographed in situations where photographing conditions are poor and noise components are likely to be mixed, such as photographing in a dark place. Therefore, in order to perform image recognition correctly, it is necessary to correctly remove noise components from the captured stereo image.
一方、特許文献1,2に記載されているような従来のノイズレベル計測の手法は、時間方向のフレーム間でノイズレベルを推定する手法である。このため、ステレオ画像に適用する場合には、例えば左画像と右画像のそれぞれについて、時間方向にノイズレベル計測を行うことになる。この場合、左画像と右画像とのそれぞれについて、フレームメモリが必要となると共に、求まったノイズレベルを用いてノイズリダクションの強度等を制御する際は、反映にフレーム遅延が生じてしまう。また、差分が生じることが前提となっているステレオ画像では、ステレオ画像の特徴に応じた形で計測領域を制限しないと、信号成分自体の差分値がノイズ成分として誤認識されてしまうことがある。 On the other hand, the conventional noise level measurement methods described in Patent Documents 1 and 2 are methods for estimating the noise level between frames in the time direction. For this reason, when applied to a stereo image, for example, the noise level is measured in the time direction for each of the left image and the right image. In this case, a frame memory is required for each of the left image and the right image, and a frame delay occurs in reflection when the intensity of noise reduction or the like is controlled using the obtained noise level. In addition, in a stereo image on which a difference is assumed to occur, the difference value of the signal component itself may be erroneously recognized as a noise component unless the measurement region is limited in a form corresponding to the feature of the stereo image. .
本発明はかかる問題点に鑑みてなされたもので、その目的は、ステレオ画像に含まれるランダムノイズを精度良く計測することができるようにしたノイズレベル計測装置および、その計測結果に基づいてステレオ画像からランダムノイズ成分を良好に除去することができるようにした画像処理装置を提供することにある。 The present invention has been made in view of such problems, and an object of the present invention is to provide a noise level measurement apparatus capable of accurately measuring random noise included in a stereo image, and a stereo image based on the measurement result. It is another object of the present invention to provide an image processing apparatus that can satisfactorily remove random noise components.
本発明によるノイズレベル計測装置は、互いに視差のある2つの視差画像が入力されると共に、各視差画像を複数の小ブロックに分割し、複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する計測適正判定部と、2つの視差画像間の差分分散値を小ブロック単位で求める差分分散値算出部と、差分分散値算出部によって求められた差分分散値のうち、計測適正判定部においてノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して差分分散値のヒストグラムを生成するヒストグラム生成部と、ヒストグラム生成部によって生成されたヒストグラムを解析して、2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定するノイズレベル推定部とを備えたものである。 The noise level measurement apparatus according to the present invention receives two parallax images with parallax from each other, divides each parallax image into a plurality of small blocks, and whether each of the plurality of small blocks is suitable for noise level measurement. A measurement appropriateness determination unit, a difference dispersion value calculation unit for obtaining a difference variance value between two parallax images in units of small blocks, and a difference appropriateness value among the difference variance values obtained by the difference variance value calculation unit Two disparities by analyzing the histogram generated by the histogram generation unit, which generates a histogram of difference variance values by adding only values for small blocks determined to be suitable for noise level measurement in the unit A noise level estimation unit that estimates a noise level of random noise included in common in the image.
本発明による画像処理装置は、互いに視差のある2つの視差画像に共通して含まれるランダムノイズのノイズレベルを計測するノイズレベル計測部と、計測されたノイズレベルに基づいて、2つの視差画像のそれぞれに対してランダムノイズを除去するノイズ除去部とを備え、ノイズレベル計測部に、本発明のノイズレベル計測装置を適用したものである。 An image processing apparatus according to the present invention includes a noise level measurement unit that measures a noise level of random noise that is included in common between two parallax images having parallax, and two parallax images based on the measured noise level. A noise removing unit that removes random noise is provided for each, and the noise level measuring device of the present invention is applied to the noise level measuring unit.
本発明によるノイズレベル計測装置または画像処理装置では、各視差画像が複数の小ブロックに分割され、複数の小ブロックのそれぞれについて、ノイズレベル計測に適しているか否かが判定される。また、2つの視差画像間の差分分散値が小ブロック単位で求められ、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算することで、差分分散値のヒストグラムが生成される。そのヒストグラムに基づいて、2つの視差画像に共通して含まれるランダムノイズのノイズレベルが推定される。 In the noise level measurement apparatus or the image processing apparatus according to the present invention, each parallax image is divided into a plurality of small blocks, and it is determined whether or not each of the plurality of small blocks is suitable for noise level measurement. In addition, a difference variance value between two parallax images is obtained in units of small blocks, and only a value for a small block determined to be suitable for noise level measurement is added to generate a histogram of the difference variance value. Based on the histogram, the noise level of random noise included in common to the two parallax images is estimated.
本発明のノイズレベル計測装置または画像処理装置によれば、2つの視差画像間の差分分散値を、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算することで、差分分散値のヒストグラムを生成し、そのヒストグラムに基づいて、ランダムノイズのノイズレベルを推定するようにしたので、ステレオ画像に含まれるランダムノイズを精度良く計測できる。特に、ステレオ画像の特徴に応じた形でノイズレベルの計測領域が制限されるため、ノイズではない信号成分自体の差分値がノイズ成分として誤認識されてしまうことを防止できる。 According to the noise level measuring device or the image processing device of the present invention, the difference variance value is obtained by adding only the value for the small block determined to be suitable for noise level measurement to the difference variance value between two parallax images. Since the noise level of random noise is estimated based on the histogram, the random noise included in the stereo image can be measured with high accuracy. In particular, since the measurement area of the noise level is limited according to the feature of the stereo image, it is possible to prevent the difference value of the signal component itself that is not noise from being erroneously recognized as the noise component.
特に、本発明の画像処理装置によれば、本発明のノイズレベル計測装置の計測結果に基づいて、ランダムノイズを除去するようにしたので、ステレオ画像からランダムノイズを良好に除去することができる。これにより、例えばステレオ法による立体画像認識を行う場合に、防犯カメラや車載カメラなど、撮影条件の悪い状況下で得られたステレオ画像であっても、物体の認識性能の劣化を抑えることができる。 In particular, according to the image processing apparatus of the present invention, random noise is removed based on the measurement result of the noise level measurement apparatus of the present invention, so that random noise can be favorably removed from a stereo image. As a result, for example, when performing stereo image recognition by the stereo method, it is possible to suppress deterioration in recognition performance of an object even in a stereo image obtained under a bad shooting condition such as a security camera or an in-vehicle camera. .
以下、本発明の実施の形態について図面を参照して詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
<第1の実施の形態>
[ノイズレベル計測装置の構成]
図1は、本発明の第1の実施の形態に係るノイズレベル計測装置1の一構成例を示している。図5は、このノイズレベル計測装置1によるノイズレベル計測の手法を概念的に示している。このノイズレベル計測装置1は、例えば左右2台のカメラによって同一時刻に撮影された互いに視差のある2つの視差画像(左右2枚のステレオ画像(左画像SL,右画像SR))における、ランダムノイズのノイズレベルを計測するものである。このノイズレベル計測装置1では、左画像SLと右画像SRとの差分画像を用いてノイズレベルを推定する。これは、例えば左右2台のカメラで撮影した際には、2台のカメラはほぼ同条件下での撮影となるため、2台のカメラから得られるステレオ画像に含まれるノイズレベルもほぼ同等になると推定される、という考えに基づいている。
<First Embodiment>
[Configuration of noise level measurement device]
FIG. 1 shows a configuration example of a noise level measuring apparatus 1 according to the first embodiment of the present invention. FIG. 5 conceptually shows a noise level measurement method by the noise level measurement apparatus 1. This noise level measuring apparatus 1 is a random noise in two parallax images (two left and right stereo images (left image SL, right image SR)) having parallax taken at the same time by, for example, two left and right cameras. The noise level is measured. In the noise level measuring apparatus 1, the noise level is estimated using a difference image between the left image SL and the right image SR. This is because, for example, when shooting with two cameras on the left and right, the two cameras are shooting under almost the same conditions, so the noise levels included in the stereo images obtained from the two cameras are almost the same. It is based on the idea that
このノイズレベル計測装置1は、差分分散値算出部2と、計測適正判定部3と、ヒストグラム生成部4と、ノイズレベル推定部5とを備えている。2つの視差画像(左画像SL,右画像SR)を示す信号は、差分分散値算出部2と計測適正判定部3とに入力されるようになっている。
The noise level measurement device 1 includes a difference variance value calculation unit 2, a measurement
差分分散値算出部2は、2つの視差画像間の差分分散値を小ブロック31単位で求めるものである。差分分散値算出部2は、図2および図5に示したように、左画像SLと右画像SRとの差分画像を求める差分器6と、差分画像におけるブロック内分散値(振動成分)を算出するブロック内分散算出部7とを有している。ここでの分散値とは、以下のような平均絶対偏差MADや標準分散値σ2などを意味する。dyは輝度差分、aveは輝度差分値に対するブロック内平均、Nはブロック内画素数を示す。
MAD=Σ|dy−ave|/N
σ2=Σ{dy−ave}2/N
The difference variance value calculation unit 2 calculates a difference variance value between two parallax images in units of
MAD = Σ | dy-ave | / N
σ 2 = Σ {dy-ave} 2 / N
計測適正判定部3は、左画像SLと右画像SRとをそれぞれ、縦方向M個×横方向N個の同数の複数の小ブロック31L,31Rに分割し、複数の小ブロック31L,31Rのそれぞれについてノイズレベル計測に適しているか否かを判定するものである。例えば図6に示したように、オブジェクト32Lが含まれる左画像SLと、オブジェクト32Rが含まれる右画像SRとの差分画像は、大まかにオブジェクト部分32と背景画像部分33とに分けることができる。このような差分画像のノイズレベルを計測する場合、オブジェクト部分32の近辺は信号成分の差分が大きくなりやすく、信号成分をノイズ成分と誤計測してしまうことが生じうるため、なるべくノイズレベル計測を除外することが好ましい。逆に、背景画像部分33のように信号成分の差分が小さい箇所は、ノイズレベル計測に適していると判定することができる。計測適正判定部3は、このような考えに基づいてノイズレベル計測に適しているか否かを判定するものである。
The measurement
図3は、計測適正判定部3の一構成例を示している。計測適正判定部3は、ブロック内分散算出部7と、第1のブロック内平均計算部8と、第2のブロック内平均計算部9と、第1のエッジ検出部10と、第2のエッジ検出部11と、ステレオマッチング回路12と、判定部13とを有している。
FIG. 3 shows a configuration example of the measurement
第1のブロック内平均計算部8は、左画像SLに対し小ブロック31L単位で輝度のブロック内平均を計算するものである。第2のブロック内平均計算部9は、右画像SRに対し小ブロック31R単位で輝度のブロック内平均を計算するものである。判定部13は、図7に示したように、左画像SLと右画像SRとで対応する位置にある小ブロック31L,31Rの輝度平均値が大きく異なっているときは、ノイズレベル計測を除外させるよう、ノイズレベル計測に適していないと判定する。これは、ランダムノイズ成分自体は、そのランダム性より平均値は0になるものであり、2つの画像間で輝度平均値の差分が大きいということは、信号成分自体に差分があると考えられるためである。この場合の判定部13での具体的な判定処理は、左右画像間のブロック内平均値の差分値が、あらかじめ決められた所定の閾値より大きいか否かを判定することにより行う。所定の閾値より大きい場合はノイズレベル計測に適していないと判定し、小さい場合は計測に適していると判定する。
The first intra-block
第1のエッジ検出部10は、左画像SLに対し小ブロック31L単位でエッジ検出を行うものである。第2のエッジ検出部11は、右画像SRに対し小ブロック31R単位でエッジ検出を行うものである。判定部13は、図8に示したように、左画像SLと右画像SRとで対応する位置にある小ブロック31L,31Rのうち、どちらか一方にでもエッジ成分が含まれる場合は、その小ブロックはノイズレベル計測に適していないと判定する。これは、左右の画像間で差分を取ったときに、オブジェクトのエッジ近辺は特に差分が生じやすいためである。エッジ検出の方法としては、従来より、隣接する画素の輝度差分の大小で判定する方法や、高域抽出フィルタ、ブロック内分散の大小で判定する方法などがあり、どの方法を用いても良い。
The first
ステレオマッチング回路12は、左画像SLと右画像SRとに対して小ブロック31単位でステレオマッチング法による画像解析を行うものである。判定部13は、ステレオマッチング法による画像解析結果に基づいて、小ブロック31単位で背景らしさを判定し、背景らしい箇所に相当する小ブロック31をノイズレベル計測に適していると判定する。逆に、ステレオマッチング法によって左右の画像間で対応する点を探索した際に、対応点の座標位置が2枚の画像間で大きく離れているような解析結果が得られた場合は、背景らしさが低く、図6に示したようなオブジェクト部分32であると推定される。判定部13は、そのような小ブロック31は、ノイズレベル計測に適していないと判定する。
The
判定部13では、最終的に、以上のようなブロック内平均、エッジ検出およびステレオマッチングを用いた計測適正判定の結果を合算するようになっている。そして、計測に適していない小ブロックを計測除外するためのヒストグラム加算制御信号を生成してヒストグラム生成部4に出力する。判定部13はさらに、画面内で計測除外されたブロック数をカウントし、そのカウント結果を含む計測適性判定結果をノイズレベル推定部に出力するようになっている。
The
ヒストグラム生成部4は、差分分散値算出部2によって求められた左画像SLと右画像SRとの差分画像における小ブロック31単位の差分分散値のヒストグラムを生成するものである。ヒストグラム生成部4は、図5に示したように、差分分散値のうち、計測適正判定部3においてノイズレベル計測に適していると判定された小ブロック31に対する値のみ加算してヒストグラムを生成するようになっている。これにより、ノイズレベル計測に適していると判定された小ブロック31に対する値のみがヒストグラムとして加算されるため、ヒストグラムに加算される母数は減少するが、より精度の高いノイズ成分の分布を表すヒストグラムが得られることとなる。
The
ノイズレベル推定部5は、ヒストグラム生成部4によって生成されたヒストグラムを解析して、左画像SLと右画像SRとに共通して含まれるランダムノイズのノイズレベルを推定するものである。ノイズレベル推定部5は、図4に示したように、ピーク判定部14と、信頼度算出部15と、乗算器16とを有している。ピーク判定部14と信頼度算出部15とには、ヒストグラム生成部4によって生成されたヒストグラムの値が入力されるようになっている。信頼度算出部15にはまた、計測適正判定部3から出力された、ノイズレベル計測が除外された小ブロック数の情報を含む計測適性判定結果のデータが入力されるようになっている。
The noise
ピーク判定部14は、入力されたヒストグラムに基づいてランダムノイズのノイズレベルを推定するものである。ピーク判定部14は、後述するように。例えばヒストグラムにおける最も度数が高い分散値、またはヒストグラムにおける重心となる分散値に基づいて、ノイズレベルを推定するようになっている。信頼度算出部15は、例えばヒストグラムの正規分布らしさから、ピーク判定部14で推定したノイズレベルの信頼度を算出するようになっている。信頼度算出部15はまた、計測適正判定部3においてノイズレベル計測に適していないと判定された小ブロック31の情報(計測除外された小ブロック数)に基づいて、ピーク判定部14で推定したノイズレベルの信頼度を算出するようになっている。
The
ノイズレベル推定部5は、信頼度算出部15によって算出されたノイズレベルの信頼度に応じて、ピーク判定部14で推定したノイズレベルの値を補正するようになっている。具体的には乗算器16において、ピーク判定部14から出力されたノイズレベルに、ノイズレベルの信頼度を掛け合わせることでノイズレベルの値を補正する。ノイズレベル推定部5は、乗算器16からの出力をノイズレベルの最終的な値として出力するようになっている。ノイズレベル推定部5はまた、最終的なノイズレベルと共にノイズレベルの信頼度も出力するようになっている。
The
[ノイズレベル計測装置1の動作]
このノイズレベル計測装置1では、計測適正判定部3において左画像SLと右画像SRとが複数の小ブロック31L,31Rに分割され、複数の小ブロック31L,31Rのそれぞれについて、ノイズレベル計測に適しているか否かが判定される。また、差分分散値算出部2によって、左画像SLと右画像SRとの差分画像における小ブロック31単位の差分分散値が求められる。その差分分散値を、ヒストグラム生成部4においてノイズレベル計測に適していると判定された小ブロック31に対する値のみ加算することで、差分分散値のヒストグラムが生成される。ノイズレベル推定部5では、そのヒストグラムに基づいて、2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定する。
[Operation of Noise Level Measuring Device 1]
In the noise level measuring apparatus 1, the measurement
以下、ノイズレベル推定部5におけるノイズレベルの推定の具体例を説明する。
左画像SLの信号成分をSl、右画像SRの信号成分をSrとする。両画像に乗っているランダムノイズのノイズ成分は等価で平均値0、分散値σ2の正規分布N(0,σ2)とする。この場合、左画像の輝度値Ylと右画像の輝度値Yrは以下のように表せる。
Yl=Sl+N(0,σ2)
Yr=Sr+N(0,σ2)
Hereinafter, a specific example of noise level estimation in the noise
The signal component of the left image SL is S1, and the signal component of the right image SR is Sr. The noise components of random noise on both images are equivalent to a normal distribution N (0, σ 2 ) having an average value of 0 and a variance value σ 2 . In this case, the luminance value Yl of the left image and the luminance value Yr of the right image can be expressed as follows.
Yl = Sl + N (0, σ 2 )
Yr = Sr + N (0, σ 2 )
計測除外により、Sl≒Srの箇所のみ計測できているとすると、ヒストグラム計測されている分散値は、
Yl−Yr=Sl−Sr+N(0,2σ2)≒N(0,2σ2)の分散値であるため、
2σ2の値に対するヒストグラムが得られていることになる。このため、ノイズレベル推定としては、ヒストグラムにおいて最も度数が高かった分散値を、最もらしい分散値として、画面全体のノイズレベルとする方法が考えられる。また、ヒストグラムの重心を画面全体のノイズレベルとする方法などが考えられる。
Assuming that only the part where S1≈Sr can be measured by excluding the measurement, the dispersion value measured by the histogram is
Since Y1−Yr = S1−Sr + N (0,2σ 2 ) ≈N (0,2σ 2 ),
A histogram for the value of 2σ 2 is obtained. For this reason, as the noise level estimation, a method can be considered in which the variance value having the highest frequency in the histogram is used as the most likely variance value to obtain the noise level of the entire screen. Another possible method is to use the center of gravity of the histogram as the noise level of the entire screen.
ノイズレベル推定部5では、ノイズレベルの推定と同時に、ノイズレベルの信頼度も算出する。ランダムノイズが精度良く計測できていれば、ヒストグラムは正規分布の形状を取るようになる。このため、正規分布らしさより信頼度を求めることができる。具体的な方法としては、尖度や歪度を用いる方法がある。例えばヒストグラムの度数が極端に1つの部分に集中している場合やヒストグラム分布の形状に歪みがある場合は信頼度を低くする。さらに、計測適正判定部3からの計測適性判定結果のデータを基にノイズレベルの信頼度を算出することができる。例えば、ノイズレベル計測に適していないと判定された小ブロック31の数が極端に多い場合は、ノイズレベルの信頼度を低くするというような方法が考えられる。最終的に、得られたノイズレベル信頼度は、ノイズレベル自体に掛け合わせ、信頼度が低い場合は、ノイズレベルを低くするような補正を行うことができる。ノイズレベルの信頼度は、このノイズレベル計測装置1からの出力を利用する画像処理装置等にも利用することができる。例えばノイズレベルに依存して制御される回路ブロックを含む画像処理装置において、ノイズレベル依存性を薄めるといったことに用いることができる。なお、以上のようなノイズレベル推定部5による処理は、CPU(Central Processing Unit)によって行うことも可能である。
The noise
本実施の形態に係るノイズレベル計測装置1によれば、2つの視差画像間の差分分散値を、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算することで、差分分散値のヒストグラムを生成し、そのヒストグラムに基づいて、ランダムノイズのノイズレベルを推定するようにしたので、ステレオ画像に含まれるランダムノイズを精度良く計測できる。特に、ステレオ画像の特徴に応じた形でノイズレベルの計測領域が制限されるため、ノイズではない信号成分自体の差分値がノイズ成分として誤認識されてしまうことを防止できる。 According to the noise level measurement device 1 according to the present embodiment, a difference variance value is obtained by adding only a value for a small block determined to be suitable for noise level measurement to a difference variance value between two parallax images. Since the noise level of random noise is estimated based on the histogram, the random noise included in the stereo image can be measured with high accuracy. In particular, since the measurement area of the noise level is limited according to the feature of the stereo image, it is possible to prevent the difference value of the signal component itself that is not noise from being erroneously recognized as the noise component.
<第2の実施の形態>
次に、本発明の第2の実施の形態に係る画像処理装置について説明する。なお、上記第1の実施の形態に係るノイズレベル計測装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
<Second Embodiment>
Next, an image processing apparatus according to the second embodiment of the present invention will be described. In addition, the same code | symbol is attached | subjected to the substantially same component as the noise level measuring apparatus which concerns on the said 1st Embodiment, and description is abbreviate | omitted suitably.
[画像処理装置の構成]
図9は、本実施の形態に係る画像処理装置の一構成例を示している。この画像処理装置は、ステレオマッチング回路20と、ノイズレベル計測部21と、ノイズ除去部22とを備えている。ノイズレベル計測部21は、図1に示したノイズレベル計測装置1で構成されている。
[Configuration of image processing apparatus]
FIG. 9 shows a configuration example of the image processing apparatus according to the present embodiment. This image processing apparatus includes a
ノイズ除去部22は、ノイズレベル計測部21によって計測されたノイズレベルに基づいて、2つの視差画像(左右2枚のステレオ画像(左画像SL,右画像SR))のそれぞれに対してランダムノイズを除去するものである。ノイズ除去部22は、フレームメモリ17と、第1の時間方向巡回型フィルタ18と、第2の時間方向巡回型フィルタ19とを有している。第1の時間方向巡回型フィルタ18は、左画像SLのランダムノイズを除去するものである。第2の時間方向巡回型フィルタ19は、右画像SRのランダムノイズを除去するものである。第1の時間方向巡回型フィルタ18と第2の時間方向巡回型フィルタ19とには、ノイズレベル計測部21からノイズレベルのデータとノイズレベルの信頼度を示すデータとが共通に入力されるようになっている。第1の時間方向巡回型フィルタ18と第2の時間方向巡回型フィルタ19は、ノイズレベルの信頼度に応じて、ランダムノイズの除去を行うか否かをオン・オフ制御することが可能となっている。例えばノイズレベルの信頼度が極端に低い場合にはフィルタ動作をオフにするような制御が可能となっている。
Based on the noise level measured by the noise
ステレオマッチング回路20には、ノイズ除去部22によってランダムノイズが除去された後の左画像SLと右画像SRとが入力されるようになっている。ステレオマッチング回路20は、左画像SLと右画像SRとからステレオマッチング法により、3Dオブジェクトを認識し、その3D奥行情報を出力するものである。ステレオマッチング法では、例えば、左右どちらかの画像を固定し、もう一方の画像を左右に動かしマッチングする点を小ブロック単位で探索し、左右の画像間のずれ量から奥行情報を算出する。
The
なお、ステレオマッチング回路20に代えて3D表示用の表示画像を生成する回路を備えても良い。そして、ランダムノイズが除去された後の左画像SLと右画像SRとに基づいて3D表示用の表示画像を生成して出力するようにしても良い。
Instead of the
[画像処理装置の動作および効果]
この画像処理装置では、左画像SLと右画像SRとから算出されたノイズレベルを基に、左画像SLと右画像SRとに対するそれぞれの時間方向巡回型フィルタ18,19の帰還率を制御する。具体的には、ノイズレベルが大きいときには、時間方向巡回型フィルタ18,19の帰還率を上げる。逆に、ノイズレベルが小さいときには、帰還率を下げる。このようにノイズレベルに応じて帰還率、つまりは、ノイズ除去の強度を制御する。
[Operation and effect of image processing apparatus]
In this image processing apparatus, based on the noise level calculated from the left image SL and the right image SR, the feedback rates of the time direction
この画像処理装置では、左画像SLと右画像SRとで独立した巡回型フィルタ18,19を用いると共に、左右の画像SL,SRから算出された共通のノイズレベルを用いて、左右で同じ強度のノイズ除去処理を行う。これにより、ノイズ除去の際に2枚の画像間で生じる差異を最小限に抑えることが可能となる。3D表示用の表示画像を生成する場合や3D奥行情報を取得する際に、左右の画像SL,SRの不釣り合いによる不自然な結果が生じないようにすることが可能である。
In this image processing apparatus,
近年では防犯用途や車載用途として2台のカメラを使用し、それぞれのカメラから同一時刻に撮影された2つの視差画像(左右2枚のステレオ画像)を得て、ステレオ法によって、立体画像認識を行う装置が増えてきている。この画像処理装置は、そのような用途に使用可能である。そのような用途で使用される防犯カメラや車載カメラでは、暗い場所での撮影といったように撮影条件が劣悪で、かつ、ノイズ成分が混入しやすい状況で撮影されることが多いと考えられる。この画像処理装置によれば、そのような悪条件下で撮影された映像であっても、算出されたノイズレベルに応じて、ノイズ成分を正しく除去することにより、ロバストな物体認識性能を提供することが可能となる。一方、ノイズが少ないときは、時間方向巡回型フィルタ18,19をオフにすることで、より精度の高い物体認識性能を確保することが可能となる。
In recent years, two cameras have been used for crime prevention and in-vehicle applications, and two parallax images (two left and right stereo images) taken at the same time are obtained from each camera, and stereoscopic image recognition is performed by the stereo method. An increasing number of devices are available. This image processing apparatus can be used for such applications. It is considered that security cameras and in-vehicle cameras used for such purposes are often photographed in situations where the photographing conditions are poor and noise components are likely to be mixed, such as photographing in a dark place. According to this image processing apparatus, even in a video shot under such an adverse condition, a robust object recognition performance is provided by correctly removing a noise component according to the calculated noise level. It becomes possible. On the other hand, when the noise is low, it is possible to ensure more accurate object recognition performance by turning off the time direction
ところで、左右のカメラの間で、撮影時のカメラの特性や条件が大きく違っていた場合や、左右の画像間で共通する背景の領域が極端に少ない場合がある。そのような場合は、ノイズレベル計測部21における計測除外機能によって、ほとんどの領域が計測除外されてしまい、ノイズレベル計測ができない状態になることが考えられる。そのような場合は、ノイズレベル計測部21から出力されるノイズレベル信頼度を用いると良い。例えば信頼性が低い場合は、時間方向巡回型フィルタ18,19をオフにしてシステム全体をより安定する方向へ持っていくことができる。
By the way, there are cases where the characteristics and conditions of the camera at the time of shooting differ greatly between the left and right cameras, and there are extremely few background areas common between the left and right images. In such a case, it is considered that most of the region is excluded by the measurement exclusion function in the noise
以上のように、本実施の形態に係る画像処理装置によれば、ステレオ画像からランダムノイズを良好に除去することができる。これにより、例えばステレオ法による立体画像認識を行う場合に、防犯カメラや車載カメラなど、撮影条件の悪い状況下で得られたステレオ画像であっても、物体認識性能の劣化を抑えることができる。 As described above, according to the image processing apparatus according to the present embodiment, random noise can be favorably removed from a stereo image. Thereby, for example, when performing stereoscopic image recognition by the stereo method, it is possible to suppress deterioration in object recognition performance even for a stereo image obtained under a bad shooting condition such as a security camera or an in-vehicle camera.
SL…左画像、SR…右画像、1…ノイズレベル計測装置、2…差分分散値算出部、3…計測適正判定部、4…ヒストグラム生成部、5…ノイズレベル推定部、6…差分器、7…ブロック内分散算出部、8…第1のブロック内平均計算部、9…第2のブロック内平均計算部、10…第1のエッジ検出部、11…第2のエッジ検出部、12…ステレオマッチング回路、13…判定部、14…ピーク判定部、15…信頼度算出部、16…乗算器、17…フレームメモリ、18…第1の時間方向巡回型フィルタ、19…第2の時間方向巡回型フィルタ、20…ステレオマッチング回路、21…ノイズレベル計測部、22…ノイズ除去部、31…小ブロック、31L…左画像小ブロック、31R…右画像小ブロック、32L,32R…オブジェクト、32…オブジェクト部分、33…背景画像部分。 SL ... Left image, SR ... Right image, 1 ... Noise level measuring device, 2 ... Differential variance calculation unit, 3 ... Measurement appropriateness determination unit, 4 ... Histogram generation unit, 5 ... Noise level estimation unit, 6 ... Differentiator, 7 ... Intra-block variance calculating unit, 8 ... First in-block average calculating unit, 9 ... Second in-block average calculating unit, 10 ... First edge detecting unit, 11 ... Second edge detecting unit, 12 ... Stereo matching circuit, 13 ... determining unit, 14 ... peak determining unit, 15 ... reliability calculating unit, 16 ... multiplier, 17 ... frame memory, 18 ... first time direction recursive filter, 19 ... second time direction Cyclic filter, 20 ... stereo matching circuit, 21 ... noise level measurement unit, 22 ... noise removal unit, 31 ... small block, 31L ... small left image block, 31R ... small right image block, 32L, 32R ... object, 2 ... object portion, 33 ... background image portion.
Claims (9)
前記2つの視差画像間の差分分散値を前記小ブロック単位で求める差分分散値算出部と、
前記差分分散値算出部によって求められた前記差分分散値のうち、前記計測適正判定部においてノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して前記差分分散値のヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部によって生成された前記ヒストグラムを解析して、前記2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定するノイズレベル推定部と
を備えたノイズレベル計測装置。 Two parallax images having parallax with each other are input, and each parallax image is divided into a plurality of small blocks, and each of the plurality of small blocks is determined to be suitable for noise level measurement. And
A difference variance value calculation unit for obtaining a difference variance value between the two parallax images in units of the small blocks;
Of the difference variance values obtained by the difference variance value calculation unit, only a value for a small block determined to be suitable for noise level measurement by the measurement appropriateness determination unit is added to generate a histogram of the difference variance value A histogram generator to
A noise level measurement apparatus comprising: a noise level estimation unit that analyzes the histogram generated by the histogram generation unit and estimates a noise level of random noise included in common in the two parallax images.
ようになされている請求項1に記載のノイズレベル計測装置。 The noise level estimation unit calculates the reliability of the estimated noise level based on the normal distribution likelihood of the histogram and the information of the small block determined not suitable for noise level measurement by the measurement appropriateness determination unit. The noise level measurement apparatus according to claim 1, wherein the noise level measurement apparatus is configured to perform the noise level measurement.
ようになされている請求項2に記載のノイズレベル計測装置。 The noise level measurement device according to claim 2, wherein the noise level estimation unit corrects the estimated noise level according to the reliability of the noise level.
ようになされている請求項1ないし3のいずれか1項に記載のノイズレベル計測装置。 The noise level estimation unit is configured to estimate the noise level based on a variance value having the highest frequency in the histogram or a variance value serving as a center of gravity in the histogram. The noise level measuring device according to item.
ようになされている請求項1ないし3のいずれか1項に記載のノイズレベル計測装置。 The measurement appropriateness determination unit includes an edge detection unit that performs edge detection for each of the two parallax images in units of the small blocks, and determines that a small block including an edge component is not suitable for noise level measurement. The noise level measuring apparatus according to any one of claims 1 to 3, wherein the noise level measuring apparatus is configured as described above.
ようになされている請求項1ないし3のいずれか1項に記載のノイズレベル計測装置。 The measurement appropriateness determining unit includes an intra-block average calculating unit that calculates an average of luminance in blocks in units of the small blocks for each of the two parallax images, and is in a position corresponding to the two parallax images. The noise level measurement according to any one of claims 1 to 3, wherein when the average luminance value of the small block is greatly different, it is determined that the small block is not suitable for noise level measurement. apparatus.
ようになされている請求項1ないし3のいずれか1項に記載のノイズレベル計測装置。 The measurement appropriateness determination unit includes a stereo matching circuit that performs image analysis by a stereo matching method on the two parallax images, and determines background likelihood in units of the small blocks based on the image analysis by the stereo matching method. The noise level measuring apparatus according to any one of claims 1 to 3, wherein a small block corresponding to a background-like portion is determined to be suitable for noise level measurement.
計測された前記ノイズレベルに基づいて、前記2つの視差画像のそれぞれに対して前記ランダムノイズを除去するノイズ除去部と
を備え、
前記ノイズレベル計測部は、
前記2つの視差画像が入力されると共に、前記各視差画像を複数の小ブロックに分割し、前記複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する計測適正判定部と、
前記2つの視差画像間の差分分散値を前記小ブロック単位で求める差分分散値算出部と、
前記差分分散値算出部によって求められた前記差分分散値のうち、前記計測適正判定部においてノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して前記差分分散値のヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部によって生成された前記ヒストグラムを解析して、前記2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定するノイズレベル推定部と
を有する画像処理装置。 A noise level measurement unit that measures a noise level of random noise included in common to two parallax images having parallax with each other;
A noise removing unit that removes the random noise for each of the two parallax images based on the measured noise level;
The noise level measurement unit
The two parallax images are input, the parallax image is divided into a plurality of small blocks, and a measurement appropriateness determination unit that determines whether each of the plurality of small blocks is suitable for noise level measurement;
A difference variance value calculation unit for obtaining a difference variance value between the two parallax images in units of the small blocks;
Of the difference variance values obtained by the difference variance value calculation unit, only a value for a small block determined to be suitable for noise level measurement by the measurement appropriateness determination unit is added to generate a histogram of the difference variance value A histogram generator to
An image processing apparatus, comprising: a noise level estimation unit that analyzes the histogram generated by the histogram generation unit and estimates a noise level of random noise included in common in the two parallax images.
前記ノイズ除去部は、前記ノイズレベルの信頼度に応じて、前記ランダムノイズの除去を行うか否かをオン・オフ制御する
ようになされている請求項8に記載の画像処理装置。 The noise level estimation unit calculates the reliability of the estimated noise level based on the normal distribution likelihood of the histogram and the information of the small block determined not suitable for noise level measurement by the measurement appropriateness determination unit. Was made to
The image processing apparatus according to claim 8, wherein the noise removing unit performs on / off control on whether or not to remove the random noise according to reliability of the noise level.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009148889A JP2011009857A (en) | 2009-06-23 | 2009-06-23 | Noise level measuring apparatus and image processor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009148889A JP2011009857A (en) | 2009-06-23 | 2009-06-23 | Noise level measuring apparatus and image processor |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2011009857A true JP2011009857A (en) | 2011-01-13 |
Family
ID=43566043
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009148889A Pending JP2011009857A (en) | 2009-06-23 | 2009-06-23 | Noise level measuring apparatus and image processor |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2011009857A (en) |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2012231406A (en) * | 2011-04-27 | 2012-11-22 | Toshiba Corp | Image processor and image processing method |
JP2013061850A (en) * | 2011-09-14 | 2013-04-04 | Canon Inc | Image processing apparatus and image processing method for noise reduction |
CN103365063A (en) * | 2012-03-31 | 2013-10-23 | 北京三星通信技术研究有限公司 | Three-dimensional image shooting method and device |
JP5373222B2 (en) * | 2011-03-28 | 2013-12-18 | パナソニック株式会社 | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND COMPUTER PROGRAM |
-
2009
- 2009-06-23 JP JP2009148889A patent/JP2011009857A/en active Pending
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5373222B2 (en) * | 2011-03-28 | 2013-12-18 | パナソニック株式会社 | REPRODUCTION DEVICE, REPRODUCTION METHOD, AND COMPUTER PROGRAM |
US9031377B2 (en) | 2011-03-28 | 2015-05-12 | Panasonic Intellectual Property Management Co., Ltd. | Playback device, playback method, and computer program |
JP2012231406A (en) * | 2011-04-27 | 2012-11-22 | Toshiba Corp | Image processor and image processing method |
JP2013061850A (en) * | 2011-09-14 | 2013-04-04 | Canon Inc | Image processing apparatus and image processing method for noise reduction |
CN103365063A (en) * | 2012-03-31 | 2013-10-23 | 北京三星通信技术研究有限公司 | Three-dimensional image shooting method and device |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9374571B2 (en) | Image processing device, imaging device, and image processing method | |
US9799118B2 (en) | Image processing apparatus, imaging apparatus and distance correction method | |
CN111340749B (en) | Image quality detection method, device, equipment and storage medium | |
TWI543608B (en) | Blocking detection method for camera and electronic apparatus with cameras | |
CN107316326B (en) | Edge-based disparity map calculation method and device applied to binocular stereo vision | |
CN107077725B (en) | Data processing apparatus, imaging apparatus, and data processing method | |
CN105659580B (en) | A kind of automatic focusing method, device and electronic equipment | |
US9485495B2 (en) | Autofocus for stereo images | |
US9070042B2 (en) | Image processing apparatus, image processing method, and program thereof | |
US9210405B2 (en) | System and method for real time 2D to 3D conversion of video in a digital camera | |
EP3095090B1 (en) | System and method for processing input images before generating a high dynamic range image | |
US9508153B2 (en) | Distance measurement apparatus, imaging apparatus, distance measurement method, and program | |
CN113822942B (en) | Method for measuring object size by monocular camera based on two-dimensional code | |
WO2010024479A1 (en) | Apparatus and method for converting 2d image signals into 3d image signals | |
JP6570296B2 (en) | Image processing apparatus, image processing method, and program | |
CN107481271B (en) | Stereo matching method, system and mobile terminal | |
AU2016355215A1 (en) | Methods and systems for large-scale determination of RGBD camera poses | |
KR20100087685A (en) | Method and apparatus for improving quality of depth image | |
EP4013049A1 (en) | Apparatus and method for processing a depth map | |
CN109313808B (en) | Image processing system | |
JP2011009857A (en) | Noise level measuring apparatus and image processor | |
JP2015207090A (en) | Image processing apparatus and control method thereof | |
JP5059855B2 (en) | Global motion estimation method | |
JP6867487B2 (en) | Imaging device | |
KR100911493B1 (en) | Image processing apparatus and image processing method |