[go: up one dir, main page]

JP2011009857A - Noise level measuring apparatus and image processor - Google Patents

Noise level measuring apparatus and image processor Download PDF

Info

Publication number
JP2011009857A
JP2011009857A JP2009148889A JP2009148889A JP2011009857A JP 2011009857 A JP2011009857 A JP 2011009857A JP 2009148889 A JP2009148889 A JP 2009148889A JP 2009148889 A JP2009148889 A JP 2009148889A JP 2011009857 A JP2011009857 A JP 2011009857A
Authority
JP
Japan
Prior art keywords
noise level
measurement
noise
unit
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2009148889A
Other languages
Japanese (ja)
Inventor
Takuto Motoyama
琢人 元山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2009148889A priority Critical patent/JP2011009857A/en
Publication of JP2011009857A publication Critical patent/JP2011009857A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Picture Signal Circuits (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

PROBLEM TO BE SOLVED: To accurately measure random noise included in stereo images.SOLUTION: A measurement pertinence determination part 3 divides respective parallax images (left image SL, right image SR) into a plurality of small blocks and determines whether or not each of the plurality of small blocks is suitable for noise level measurement. A differential variance value calculation part 2 obtains a differential variance value between the two parallax images by small block unit. A histogram generation part 4 generates the histogram of the differential variance value by adding only the values for the small blocks determined to be suitable for the noise level measurement among the differential variance values obtained by the differential variance value calculation part. A noise level estimation part 5 analyzes the histogram and estimates the noise level of the random noise included in common in the two parallax images.

Description

本発明は、視差画像に含まれるノイズ成分を計測する機能を有するノイズレベル計測装置および画像処理装置に関する。   The present invention relates to a noise level measurement device and an image processing device having a function of measuring a noise component included in a parallax image.

従来より、入力映像信号に含まれるノイズ成分を計測し、その計測結果に基づいてノイズを除去する装置が開発されている。特許文献1には、時間方向のフレーム差分画像を用いてヒストグラムを生成し、ヒストグラム解析によりノイズレベルを推定する方法が提案されている。特許文献2には、時間方向のフレーム間において、エッジ量や動き量等に基づいてノイズレベル計測に適している領域を判定し、ヒストグラム加算を行う領域を制限する方法が提案されている。   Conventionally, an apparatus for measuring a noise component included in an input video signal and removing the noise based on the measurement result has been developed. Patent Document 1 proposes a method of generating a histogram using a temporal frame difference image and estimating a noise level by histogram analysis. Patent Document 2 proposes a method of determining a region suitable for noise level measurement based on an edge amount, a motion amount, or the like between frames in a time direction, and limiting a region for performing histogram addition.

特開2008−294696号公報JP 2008-294696A 特開2009−3599号公報JP 2009-3599 A

ところで、近年では防犯用途や車載用途として2台のカメラを使用し、それぞれのカメラから同一時刻に撮影された2つの視差画像(左右2枚のステレオ画像)を得て、ステレオ法によって、立体画像認識を行う装置が増えてきている。このような装置では、2つの視差画像を用いることにより、奥行情報を取得できるため、人や物体の認識を3次元的に行うことができる。このような装置で使用される防犯カメラや車載カメラでは、暗い場所での撮影といったように撮影条件が劣悪で、かつ、ノイズ成分が混入しやすい状況で撮影されることが多いと考えられる。従って、正しく画像認識を行うためには、撮影されたステレオ画像からノイズ成分を正しく除去する必要がある。   By the way, in recent years, two cameras are used for security use or in-vehicle use, and two parallax images (two left and right stereo images) taken at the same time are obtained from each camera, and a stereo image is obtained by a stereo method. The number of devices that perform recognition is increasing. In such an apparatus, depth information can be acquired by using two parallax images, so that a person or an object can be recognized three-dimensionally. It is considered that security cameras and in-vehicle cameras used in such devices are often photographed in situations where photographing conditions are poor and noise components are likely to be mixed, such as photographing in a dark place. Therefore, in order to perform image recognition correctly, it is necessary to correctly remove noise components from the captured stereo image.

一方、特許文献1,2に記載されているような従来のノイズレベル計測の手法は、時間方向のフレーム間でノイズレベルを推定する手法である。このため、ステレオ画像に適用する場合には、例えば左画像と右画像のそれぞれについて、時間方向にノイズレベル計測を行うことになる。この場合、左画像と右画像とのそれぞれについて、フレームメモリが必要となると共に、求まったノイズレベルを用いてノイズリダクションの強度等を制御する際は、反映にフレーム遅延が生じてしまう。また、差分が生じることが前提となっているステレオ画像では、ステレオ画像の特徴に応じた形で計測領域を制限しないと、信号成分自体の差分値がノイズ成分として誤認識されてしまうことがある。   On the other hand, the conventional noise level measurement methods described in Patent Documents 1 and 2 are methods for estimating the noise level between frames in the time direction. For this reason, when applied to a stereo image, for example, the noise level is measured in the time direction for each of the left image and the right image. In this case, a frame memory is required for each of the left image and the right image, and a frame delay occurs in reflection when the intensity of noise reduction or the like is controlled using the obtained noise level. In addition, in a stereo image on which a difference is assumed to occur, the difference value of the signal component itself may be erroneously recognized as a noise component unless the measurement region is limited in a form corresponding to the feature of the stereo image. .

本発明はかかる問題点に鑑みてなされたもので、その目的は、ステレオ画像に含まれるランダムノイズを精度良く計測することができるようにしたノイズレベル計測装置および、その計測結果に基づいてステレオ画像からランダムノイズ成分を良好に除去することができるようにした画像処理装置を提供することにある。   The present invention has been made in view of such problems, and an object of the present invention is to provide a noise level measurement apparatus capable of accurately measuring random noise included in a stereo image, and a stereo image based on the measurement result. It is another object of the present invention to provide an image processing apparatus that can satisfactorily remove random noise components.

本発明によるノイズレベル計測装置は、互いに視差のある2つの視差画像が入力されると共に、各視差画像を複数の小ブロックに分割し、複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する計測適正判定部と、2つの視差画像間の差分分散値を小ブロック単位で求める差分分散値算出部と、差分分散値算出部によって求められた差分分散値のうち、計測適正判定部においてノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して差分分散値のヒストグラムを生成するヒストグラム生成部と、ヒストグラム生成部によって生成されたヒストグラムを解析して、2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定するノイズレベル推定部とを備えたものである。   The noise level measurement apparatus according to the present invention receives two parallax images with parallax from each other, divides each parallax image into a plurality of small blocks, and whether each of the plurality of small blocks is suitable for noise level measurement. A measurement appropriateness determination unit, a difference dispersion value calculation unit for obtaining a difference variance value between two parallax images in units of small blocks, and a difference appropriateness value among the difference variance values obtained by the difference variance value calculation unit Two disparities by analyzing the histogram generated by the histogram generation unit, which generates a histogram of difference variance values by adding only values for small blocks determined to be suitable for noise level measurement in the unit A noise level estimation unit that estimates a noise level of random noise included in common in the image.

本発明による画像処理装置は、互いに視差のある2つの視差画像に共通して含まれるランダムノイズのノイズレベルを計測するノイズレベル計測部と、計測されたノイズレベルに基づいて、2つの視差画像のそれぞれに対してランダムノイズを除去するノイズ除去部とを備え、ノイズレベル計測部に、本発明のノイズレベル計測装置を適用したものである。   An image processing apparatus according to the present invention includes a noise level measurement unit that measures a noise level of random noise that is included in common between two parallax images having parallax, and two parallax images based on the measured noise level. A noise removing unit that removes random noise is provided for each, and the noise level measuring device of the present invention is applied to the noise level measuring unit.

本発明によるノイズレベル計測装置または画像処理装置では、各視差画像が複数の小ブロックに分割され、複数の小ブロックのそれぞれについて、ノイズレベル計測に適しているか否かが判定される。また、2つの視差画像間の差分分散値が小ブロック単位で求められ、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算することで、差分分散値のヒストグラムが生成される。そのヒストグラムに基づいて、2つの視差画像に共通して含まれるランダムノイズのノイズレベルが推定される。   In the noise level measurement apparatus or the image processing apparatus according to the present invention, each parallax image is divided into a plurality of small blocks, and it is determined whether or not each of the plurality of small blocks is suitable for noise level measurement. In addition, a difference variance value between two parallax images is obtained in units of small blocks, and only a value for a small block determined to be suitable for noise level measurement is added to generate a histogram of the difference variance value. Based on the histogram, the noise level of random noise included in common to the two parallax images is estimated.

本発明のノイズレベル計測装置または画像処理装置によれば、2つの視差画像間の差分分散値を、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算することで、差分分散値のヒストグラムを生成し、そのヒストグラムに基づいて、ランダムノイズのノイズレベルを推定するようにしたので、ステレオ画像に含まれるランダムノイズを精度良く計測できる。特に、ステレオ画像の特徴に応じた形でノイズレベルの計測領域が制限されるため、ノイズではない信号成分自体の差分値がノイズ成分として誤認識されてしまうことを防止できる。   According to the noise level measuring device or the image processing device of the present invention, the difference variance value is obtained by adding only the value for the small block determined to be suitable for noise level measurement to the difference variance value between two parallax images. Since the noise level of random noise is estimated based on the histogram, the random noise included in the stereo image can be measured with high accuracy. In particular, since the measurement area of the noise level is limited according to the feature of the stereo image, it is possible to prevent the difference value of the signal component itself that is not noise from being erroneously recognized as the noise component.

特に、本発明の画像処理装置によれば、本発明のノイズレベル計測装置の計測結果に基づいて、ランダムノイズを除去するようにしたので、ステレオ画像からランダムノイズを良好に除去することができる。これにより、例えばステレオ法による立体画像認識を行う場合に、防犯カメラや車載カメラなど、撮影条件の悪い状況下で得られたステレオ画像であっても、物体の認識性能の劣化を抑えることができる。   In particular, according to the image processing apparatus of the present invention, random noise is removed based on the measurement result of the noise level measurement apparatus of the present invention, so that random noise can be favorably removed from a stereo image. As a result, for example, when performing stereo image recognition by the stereo method, it is possible to suppress deterioration in recognition performance of an object even in a stereo image obtained under a bad shooting condition such as a security camera or an in-vehicle camera. .

本発明の第1の実施の形態に係るノイズレベル計測装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the noise level measuring apparatus which concerns on the 1st Embodiment of this invention. 第1の実施の形態に係るノイズレベル計測装置における差分分散値算出部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the difference dispersion value calculation part in the noise level measurement apparatus which concerns on 1st Embodiment. 第1の実施の形態に係るノイズレベル計測装置における計測適正判定部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the measurement appropriateness determination part in the noise level measuring device which concerns on 1st Embodiment. 第1の実施の形態に係るノイズレベル計測装置におけるノイズレベル推定部の構成例を示すブロック図である。It is a block diagram which shows the structural example of the noise level estimation part in the noise level measuring device which concerns on 1st Embodiment. 第1の実施の形態に係るノイズレベル計測装置によるノイズレベル計測の手法を概念的に示す説明図である。It is explanatory drawing which shows notionally the technique of the noise level measurement by the noise level measuring apparatus which concerns on 1st Embodiment. 計測適正判定部による適正判定の手法を概念的に示す説明図である。It is explanatory drawing which shows notionally the method of the appropriateness determination by a measurement appropriateness determination part. ブロック平均を用いた適正判定の手法を概念的に示す説明図である。It is explanatory drawing which shows notionally the method of the appropriateness determination using a block average. エッジ検出を用いた適正判定の手法を概念的に示す説明図である。It is explanatory drawing which shows notionally the method of the appropriateness determination using edge detection. 本発明の第2の実施の形態に係る画像処理装置の構成例を示すブロック図である。It is a block diagram which shows the structural example of the image processing apparatus which concerns on the 2nd Embodiment of this invention.

以下、本発明の実施の形態について図面を参照して詳細に説明する。   Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.

<第1の実施の形態>
[ノイズレベル計測装置の構成]
図1は、本発明の第1の実施の形態に係るノイズレベル計測装置1の一構成例を示している。図5は、このノイズレベル計測装置1によるノイズレベル計測の手法を概念的に示している。このノイズレベル計測装置1は、例えば左右2台のカメラによって同一時刻に撮影された互いに視差のある2つの視差画像(左右2枚のステレオ画像(左画像SL,右画像SR))における、ランダムノイズのノイズレベルを計測するものである。このノイズレベル計測装置1では、左画像SLと右画像SRとの差分画像を用いてノイズレベルを推定する。これは、例えば左右2台のカメラで撮影した際には、2台のカメラはほぼ同条件下での撮影となるため、2台のカメラから得られるステレオ画像に含まれるノイズレベルもほぼ同等になると推定される、という考えに基づいている。
<First Embodiment>
[Configuration of noise level measurement device]
FIG. 1 shows a configuration example of a noise level measuring apparatus 1 according to the first embodiment of the present invention. FIG. 5 conceptually shows a noise level measurement method by the noise level measurement apparatus 1. This noise level measuring apparatus 1 is a random noise in two parallax images (two left and right stereo images (left image SL, right image SR)) having parallax taken at the same time by, for example, two left and right cameras. The noise level is measured. In the noise level measuring apparatus 1, the noise level is estimated using a difference image between the left image SL and the right image SR. This is because, for example, when shooting with two cameras on the left and right, the two cameras are shooting under almost the same conditions, so the noise levels included in the stereo images obtained from the two cameras are almost the same. It is based on the idea that

このノイズレベル計測装置1は、差分分散値算出部2と、計測適正判定部3と、ヒストグラム生成部4と、ノイズレベル推定部5とを備えている。2つの視差画像(左画像SL,右画像SR)を示す信号は、差分分散値算出部2と計測適正判定部3とに入力されるようになっている。   The noise level measurement device 1 includes a difference variance value calculation unit 2, a measurement appropriateness determination unit 3, a histogram generation unit 4, and a noise level estimation unit 5. Signals indicating two parallax images (the left image SL and the right image SR) are input to the difference variance value calculation unit 2 and the measurement appropriateness determination unit 3.

差分分散値算出部2は、2つの視差画像間の差分分散値を小ブロック31単位で求めるものである。差分分散値算出部2は、図2および図5に示したように、左画像SLと右画像SRとの差分画像を求める差分器6と、差分画像におけるブロック内分散値(振動成分)を算出するブロック内分散算出部7とを有している。ここでの分散値とは、以下のような平均絶対偏差MADや標準分散値σ2などを意味する。dyは輝度差分、aveは輝度差分値に対するブロック内平均、Nはブロック内画素数を示す。
MAD=Σ|dy−ave|/N
σ2=Σ{dy−ave}2/N
The difference variance value calculation unit 2 calculates a difference variance value between two parallax images in units of small blocks 31. As shown in FIGS. 2 and 5, the difference variance value calculation unit 2 calculates a difference unit 6 that obtains a difference image between the left image SL and the right image SR, and an intra-block variance value (vibration component) in the difference image. And an intra-block variance calculating unit 7. The dispersion value here means an average absolute deviation MAD, a standard dispersion value σ 2 and the like as described below. dy is a luminance difference, ave is an average in the block with respect to the luminance difference value, and N is the number of pixels in the block.
MAD = Σ | dy-ave | / N
σ 2 = Σ {dy-ave} 2 / N

計測適正判定部3は、左画像SLと右画像SRとをそれぞれ、縦方向M個×横方向N個の同数の複数の小ブロック31L,31Rに分割し、複数の小ブロック31L,31Rのそれぞれについてノイズレベル計測に適しているか否かを判定するものである。例えば図6に示したように、オブジェクト32Lが含まれる左画像SLと、オブジェクト32Rが含まれる右画像SRとの差分画像は、大まかにオブジェクト部分32と背景画像部分33とに分けることができる。このような差分画像のノイズレベルを計測する場合、オブジェクト部分32の近辺は信号成分の差分が大きくなりやすく、信号成分をノイズ成分と誤計測してしまうことが生じうるため、なるべくノイズレベル計測を除外することが好ましい。逆に、背景画像部分33のように信号成分の差分が小さい箇所は、ノイズレベル計測に適していると判定することができる。計測適正判定部3は、このような考えに基づいてノイズレベル計測に適しているか否かを判定するものである。   The measurement appropriateness determination unit 3 divides the left image SL and the right image SR into the same number of small blocks 31L and 31R of M in the vertical direction and N in the horizontal direction, and each of the small blocks 31L and 31R. It is judged whether it is suitable for noise level measurement. For example, as shown in FIG. 6, the difference image between the left image SL including the object 32 </ b> L and the right image SR including the object 32 </ b> R can be roughly divided into an object portion 32 and a background image portion 33. When measuring the noise level of such a difference image, the difference between the signal components tends to be large in the vicinity of the object portion 32, and the signal component may be erroneously measured as a noise component. It is preferable to exclude. Conversely, a portion where the difference between the signal components is small, such as the background image portion 33, can be determined to be suitable for noise level measurement. The measurement appropriateness determination unit 3 determines whether or not it is suitable for noise level measurement based on such an idea.

図3は、計測適正判定部3の一構成例を示している。計測適正判定部3は、ブロック内分散算出部7と、第1のブロック内平均計算部8と、第2のブロック内平均計算部9と、第1のエッジ検出部10と、第2のエッジ検出部11と、ステレオマッチング回路12と、判定部13とを有している。   FIG. 3 shows a configuration example of the measurement appropriateness determining unit 3. The measurement appropriateness determination unit 3 includes an intra-block variance calculation unit 7, a first intra-block average calculation unit 8, a second intra-block average calculation unit 9, a first edge detection unit 10, and a second edge It has a detection unit 11, a stereo matching circuit 12, and a determination unit 13.

第1のブロック内平均計算部8は、左画像SLに対し小ブロック31L単位で輝度のブロック内平均を計算するものである。第2のブロック内平均計算部9は、右画像SRに対し小ブロック31R単位で輝度のブロック内平均を計算するものである。判定部13は、図7に示したように、左画像SLと右画像SRとで対応する位置にある小ブロック31L,31Rの輝度平均値が大きく異なっているときは、ノイズレベル計測を除外させるよう、ノイズレベル計測に適していないと判定する。これは、ランダムノイズ成分自体は、そのランダム性より平均値は0になるものであり、2つの画像間で輝度平均値の差分が大きいということは、信号成分自体に差分があると考えられるためである。この場合の判定部13での具体的な判定処理は、左右画像間のブロック内平均値の差分値が、あらかじめ決められた所定の閾値より大きいか否かを判定することにより行う。所定の閾値より大きい場合はノイズレベル計測に適していないと判定し、小さい場合は計測に適していると判定する。   The first intra-block average calculator 8 calculates the intra-block average of the luminance in units of small blocks 31L for the left image SL. The second intra-block average calculation unit 9 calculates an intra-block average of luminance for each small block 31R for the right image SR. As shown in FIG. 7, the determination unit 13 excludes the noise level measurement when the luminance average values of the small blocks 31L and 31R at the corresponding positions in the left image SL and the right image SR are greatly different. It is determined that it is not suitable for noise level measurement. This is because the random noise component itself has an average value of 0 due to its randomness, and the difference in luminance average value between the two images is considered to be a difference in the signal component itself. It is. The specific determination process in the determination unit 13 in this case is performed by determining whether or not the difference value of the average value in the block between the left and right images is larger than a predetermined threshold value. When it is larger than the predetermined threshold, it is determined that it is not suitable for noise level measurement, and when it is smaller, it is determined that it is suitable for measurement.

第1のエッジ検出部10は、左画像SLに対し小ブロック31L単位でエッジ検出を行うものである。第2のエッジ検出部11は、右画像SRに対し小ブロック31R単位でエッジ検出を行うものである。判定部13は、図8に示したように、左画像SLと右画像SRとで対応する位置にある小ブロック31L,31Rのうち、どちらか一方にでもエッジ成分が含まれる場合は、その小ブロックはノイズレベル計測に適していないと判定する。これは、左右の画像間で差分を取ったときに、オブジェクトのエッジ近辺は特に差分が生じやすいためである。エッジ検出の方法としては、従来より、隣接する画素の輝度差分の大小で判定する方法や、高域抽出フィルタ、ブロック内分散の大小で判定する方法などがあり、どの方法を用いても良い。   The first edge detection unit 10 performs edge detection on the left image SL in units of small blocks 31L. The second edge detection unit 11 performs edge detection on the right image SR in units of small blocks 31R. As shown in FIG. 8, when the determination unit 13 includes an edge component in any one of the small blocks 31L and 31R at the corresponding positions in the left image SL and the right image SR, It is determined that the block is not suitable for noise level measurement. This is because, when the difference is taken between the left and right images, a difference is particularly likely to occur near the edge of the object. Conventionally, as an edge detection method, there are a method of determining based on the magnitude of the luminance difference between adjacent pixels, a method of determining based on the size of the high-frequency extraction filter, and the variance within the block, and any method may be used.

ステレオマッチング回路12は、左画像SLと右画像SRとに対して小ブロック31単位でステレオマッチング法による画像解析を行うものである。判定部13は、ステレオマッチング法による画像解析結果に基づいて、小ブロック31単位で背景らしさを判定し、背景らしい箇所に相当する小ブロック31をノイズレベル計測に適していると判定する。逆に、ステレオマッチング法によって左右の画像間で対応する点を探索した際に、対応点の座標位置が2枚の画像間で大きく離れているような解析結果が得られた場合は、背景らしさが低く、図6に示したようなオブジェクト部分32であると推定される。判定部13は、そのような小ブロック31は、ノイズレベル計測に適していないと判定する。   The stereo matching circuit 12 performs image analysis by the stereo matching method for each of the small blocks 31 for the left image SL and the right image SR. The determination unit 13 determines the likelihood of the background in units of small blocks 31 based on the image analysis result by the stereo matching method, and determines that the small block 31 corresponding to the background-like portion is suitable for noise level measurement. Conversely, when searching for the corresponding points between the left and right images using the stereo matching method, if an analysis result is obtained in which the coordinate positions of the corresponding points are greatly separated between the two images, Is low and is estimated to be the object portion 32 as shown in FIG. The determination unit 13 determines that such a small block 31 is not suitable for noise level measurement.

判定部13では、最終的に、以上のようなブロック内平均、エッジ検出およびステレオマッチングを用いた計測適正判定の結果を合算するようになっている。そして、計測に適していない小ブロックを計測除外するためのヒストグラム加算制御信号を生成してヒストグラム生成部4に出力する。判定部13はさらに、画面内で計測除外されたブロック数をカウントし、そのカウント結果を含む計測適性判定結果をノイズレベル推定部に出力するようになっている。   The determination unit 13 finally adds up the results of the determination of the appropriateness of measurement using the above average in block, edge detection, and stereo matching. Then, a histogram addition control signal for excluding measurement of small blocks not suitable for measurement is generated and output to the histogram generation unit 4. The determination unit 13 further counts the number of blocks excluded from measurement in the screen, and outputs a measurement suitability determination result including the count result to the noise level estimation unit.

ヒストグラム生成部4は、差分分散値算出部2によって求められた左画像SLと右画像SRとの差分画像における小ブロック31単位の差分分散値のヒストグラムを生成するものである。ヒストグラム生成部4は、図5に示したように、差分分散値のうち、計測適正判定部3においてノイズレベル計測に適していると判定された小ブロック31に対する値のみ加算してヒストグラムを生成するようになっている。これにより、ノイズレベル計測に適していると判定された小ブロック31に対する値のみがヒストグラムとして加算されるため、ヒストグラムに加算される母数は減少するが、より精度の高いノイズ成分の分布を表すヒストグラムが得られることとなる。   The histogram generation unit 4 generates a histogram of difference variance values in units of small blocks 31 in the difference image between the left image SL and the right image SR obtained by the difference variance value calculation unit 2. As shown in FIG. 5, the histogram generation unit 4 generates a histogram by adding only the values for the small blocks 31 determined to be suitable for noise level measurement by the measurement appropriateness determination unit 3 among the difference variance values. It is like that. As a result, only the values for the small blocks 31 determined to be suitable for noise level measurement are added as a histogram, so that the parameter added to the histogram is reduced, but represents a more accurate distribution of noise components. A histogram will be obtained.

ノイズレベル推定部5は、ヒストグラム生成部4によって生成されたヒストグラムを解析して、左画像SLと右画像SRとに共通して含まれるランダムノイズのノイズレベルを推定するものである。ノイズレベル推定部5は、図4に示したように、ピーク判定部14と、信頼度算出部15と、乗算器16とを有している。ピーク判定部14と信頼度算出部15とには、ヒストグラム生成部4によって生成されたヒストグラムの値が入力されるようになっている。信頼度算出部15にはまた、計測適正判定部3から出力された、ノイズレベル計測が除外された小ブロック数の情報を含む計測適性判定結果のデータが入力されるようになっている。   The noise level estimation unit 5 analyzes the histogram generated by the histogram generation unit 4 and estimates the noise level of random noise included in both the left image SL and the right image SR. As illustrated in FIG. 4, the noise level estimation unit 5 includes a peak determination unit 14, a reliability calculation unit 15, and a multiplier 16. The peak value generated by the histogram generation unit 4 is input to the peak determination unit 14 and the reliability calculation unit 15. The reliability calculation unit 15 is also input with data of a measurement suitability determination result including information on the number of small blocks from which the noise level measurement is excluded, which is output from the measurement suitability determination unit 3.

ピーク判定部14は、入力されたヒストグラムに基づいてランダムノイズのノイズレベルを推定するものである。ピーク判定部14は、後述するように。例えばヒストグラムにおける最も度数が高い分散値、またはヒストグラムにおける重心となる分散値に基づいて、ノイズレベルを推定するようになっている。信頼度算出部15は、例えばヒストグラムの正規分布らしさから、ピーク判定部14で推定したノイズレベルの信頼度を算出するようになっている。信頼度算出部15はまた、計測適正判定部3においてノイズレベル計測に適していないと判定された小ブロック31の情報(計測除外された小ブロック数)に基づいて、ピーク判定部14で推定したノイズレベルの信頼度を算出するようになっている。   The peak determination unit 14 estimates the noise level of random noise based on the input histogram. The peak determination unit 14 will be described later. For example, the noise level is estimated based on the variance value having the highest frequency in the histogram or the variance value serving as the center of gravity in the histogram. For example, the reliability calculation unit 15 calculates the reliability of the noise level estimated by the peak determination unit 14 from the likelihood of normal distribution of a histogram. The reliability calculation unit 15 is also estimated by the peak determination unit 14 based on the information (the number of small blocks excluded from measurement) of the small blocks 31 determined not suitable for noise level measurement by the measurement appropriateness determination unit 3. The reliability of the noise level is calculated.

ノイズレベル推定部5は、信頼度算出部15によって算出されたノイズレベルの信頼度に応じて、ピーク判定部14で推定したノイズレベルの値を補正するようになっている。具体的には乗算器16において、ピーク判定部14から出力されたノイズレベルに、ノイズレベルの信頼度を掛け合わせることでノイズレベルの値を補正する。ノイズレベル推定部5は、乗算器16からの出力をノイズレベルの最終的な値として出力するようになっている。ノイズレベル推定部5はまた、最終的なノイズレベルと共にノイズレベルの信頼度も出力するようになっている。   The noise level estimator 5 corrects the value of the noise level estimated by the peak determiner 14 according to the reliability of the noise level calculated by the reliability calculator 15. Specifically, the multiplier 16 corrects the noise level value by multiplying the noise level output from the peak determination unit 14 by the reliability of the noise level. The noise level estimation unit 5 outputs the output from the multiplier 16 as the final value of the noise level. The noise level estimator 5 also outputs the reliability of the noise level together with the final noise level.

[ノイズレベル計測装置1の動作]
このノイズレベル計測装置1では、計測適正判定部3において左画像SLと右画像SRとが複数の小ブロック31L,31Rに分割され、複数の小ブロック31L,31Rのそれぞれについて、ノイズレベル計測に適しているか否かが判定される。また、差分分散値算出部2によって、左画像SLと右画像SRとの差分画像における小ブロック31単位の差分分散値が求められる。その差分分散値を、ヒストグラム生成部4においてノイズレベル計測に適していると判定された小ブロック31に対する値のみ加算することで、差分分散値のヒストグラムが生成される。ノイズレベル推定部5では、そのヒストグラムに基づいて、2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定する。
[Operation of Noise Level Measuring Device 1]
In the noise level measuring apparatus 1, the measurement appropriateness determining unit 3 divides the left image SL and the right image SR into a plurality of small blocks 31L and 31R, and each of the plurality of small blocks 31L and 31R is suitable for noise level measurement. It is determined whether or not. Further, the difference variance value calculation unit 2 obtains a difference variance value for each small block 31 in the difference image between the left image SL and the right image SR. The difference variance value is added only to the small block 31 determined to be suitable for noise level measurement by the histogram generation unit 4, thereby generating a histogram of the difference variance value. The noise level estimation unit 5 estimates the noise level of random noise included in common in the two parallax images based on the histogram.

以下、ノイズレベル推定部5におけるノイズレベルの推定の具体例を説明する。
左画像SLの信号成分をSl、右画像SRの信号成分をSrとする。両画像に乗っているランダムノイズのノイズ成分は等価で平均値0、分散値σ2の正規分布N(0,σ2)とする。この場合、左画像の輝度値Ylと右画像の輝度値Yrは以下のように表せる。
Yl=Sl+N(0,σ2
Yr=Sr+N(0,σ2
Hereinafter, a specific example of noise level estimation in the noise level estimation unit 5 will be described.
The signal component of the left image SL is S1, and the signal component of the right image SR is Sr. The noise components of random noise on both images are equivalent to a normal distribution N (0, σ 2 ) having an average value of 0 and a variance value σ 2 . In this case, the luminance value Yl of the left image and the luminance value Yr of the right image can be expressed as follows.
Yl = Sl + N (0, σ 2 )
Yr = Sr + N (0, σ 2 )

計測除外により、Sl≒Srの箇所のみ計測できているとすると、ヒストグラム計測されている分散値は、
Yl−Yr=Sl−Sr+N(0,2σ2)≒N(0,2σ2)の分散値であるため、
2σ2の値に対するヒストグラムが得られていることになる。このため、ノイズレベル推定としては、ヒストグラムにおいて最も度数が高かった分散値を、最もらしい分散値として、画面全体のノイズレベルとする方法が考えられる。また、ヒストグラムの重心を画面全体のノイズレベルとする方法などが考えられる。
Assuming that only the part where S1≈Sr can be measured by excluding the measurement, the dispersion value measured by the histogram is
Since Y1−Yr = S1−Sr + N (0,2σ 2 ) ≈N (0,2σ 2 ),
A histogram for the value of 2σ 2 is obtained. For this reason, as the noise level estimation, a method can be considered in which the variance value having the highest frequency in the histogram is used as the most likely variance value to obtain the noise level of the entire screen. Another possible method is to use the center of gravity of the histogram as the noise level of the entire screen.

ノイズレベル推定部5では、ノイズレベルの推定と同時に、ノイズレベルの信頼度も算出する。ランダムノイズが精度良く計測できていれば、ヒストグラムは正規分布の形状を取るようになる。このため、正規分布らしさより信頼度を求めることができる。具体的な方法としては、尖度や歪度を用いる方法がある。例えばヒストグラムの度数が極端に1つの部分に集中している場合やヒストグラム分布の形状に歪みがある場合は信頼度を低くする。さらに、計測適正判定部3からの計測適性判定結果のデータを基にノイズレベルの信頼度を算出することができる。例えば、ノイズレベル計測に適していないと判定された小ブロック31の数が極端に多い場合は、ノイズレベルの信頼度を低くするというような方法が考えられる。最終的に、得られたノイズレベル信頼度は、ノイズレベル自体に掛け合わせ、信頼度が低い場合は、ノイズレベルを低くするような補正を行うことができる。ノイズレベルの信頼度は、このノイズレベル計測装置1からの出力を利用する画像処理装置等にも利用することができる。例えばノイズレベルに依存して制御される回路ブロックを含む画像処理装置において、ノイズレベル依存性を薄めるといったことに用いることができる。なお、以上のようなノイズレベル推定部5による処理は、CPU(Central Processing Unit)によって行うことも可能である。   The noise level estimation unit 5 calculates the noise level reliability simultaneously with the noise level estimation. If random noise can be accurately measured, the histogram will have a normal distribution shape. For this reason, reliability can be calculated | required from normal distribution likeness. As a specific method, there is a method using kurtosis or skewness. For example, the reliability is lowered when the frequency of the histogram is extremely concentrated on one portion or when the shape of the histogram distribution is distorted. Furthermore, the reliability of the noise level can be calculated based on the data of the measurement suitability determination result from the measurement suitability determination unit 3. For example, when the number of small blocks 31 determined not suitable for noise level measurement is extremely large, a method of reducing the reliability of the noise level is conceivable. Finally, the obtained noise level reliability can be multiplied by the noise level itself, and if the reliability is low, correction can be made to lower the noise level. The reliability of the noise level can also be used for an image processing apparatus that uses the output from the noise level measuring apparatus 1. For example, in an image processing apparatus including a circuit block controlled depending on a noise level, it can be used for reducing the noise level dependency. The processing by the noise level estimation unit 5 as described above can also be performed by a CPU (Central Processing Unit).

本実施の形態に係るノイズレベル計測装置1によれば、2つの視差画像間の差分分散値を、ノイズレベル計測に適していると判定された小ブロックに対する値のみ加算することで、差分分散値のヒストグラムを生成し、そのヒストグラムに基づいて、ランダムノイズのノイズレベルを推定するようにしたので、ステレオ画像に含まれるランダムノイズを精度良く計測できる。特に、ステレオ画像の特徴に応じた形でノイズレベルの計測領域が制限されるため、ノイズではない信号成分自体の差分値がノイズ成分として誤認識されてしまうことを防止できる。   According to the noise level measurement device 1 according to the present embodiment, a difference variance value is obtained by adding only a value for a small block determined to be suitable for noise level measurement to a difference variance value between two parallax images. Since the noise level of random noise is estimated based on the histogram, the random noise included in the stereo image can be measured with high accuracy. In particular, since the measurement area of the noise level is limited according to the feature of the stereo image, it is possible to prevent the difference value of the signal component itself that is not noise from being erroneously recognized as the noise component.

<第2の実施の形態>
次に、本発明の第2の実施の形態に係る画像処理装置について説明する。なお、上記第1の実施の形態に係るノイズレベル計測装置と実質的に同一の構成部分には同一の符号を付し、適宜説明を省略する。
<Second Embodiment>
Next, an image processing apparatus according to the second embodiment of the present invention will be described. In addition, the same code | symbol is attached | subjected to the substantially same component as the noise level measuring apparatus which concerns on the said 1st Embodiment, and description is abbreviate | omitted suitably.

[画像処理装置の構成]
図9は、本実施の形態に係る画像処理装置の一構成例を示している。この画像処理装置は、ステレオマッチング回路20と、ノイズレベル計測部21と、ノイズ除去部22とを備えている。ノイズレベル計測部21は、図1に示したノイズレベル計測装置1で構成されている。
[Configuration of image processing apparatus]
FIG. 9 shows a configuration example of the image processing apparatus according to the present embodiment. This image processing apparatus includes a stereo matching circuit 20, a noise level measurement unit 21, and a noise removal unit 22. The noise level measuring unit 21 is configured by the noise level measuring apparatus 1 shown in FIG.

ノイズ除去部22は、ノイズレベル計測部21によって計測されたノイズレベルに基づいて、2つの視差画像(左右2枚のステレオ画像(左画像SL,右画像SR))のそれぞれに対してランダムノイズを除去するものである。ノイズ除去部22は、フレームメモリ17と、第1の時間方向巡回型フィルタ18と、第2の時間方向巡回型フィルタ19とを有している。第1の時間方向巡回型フィルタ18は、左画像SLのランダムノイズを除去するものである。第2の時間方向巡回型フィルタ19は、右画像SRのランダムノイズを除去するものである。第1の時間方向巡回型フィルタ18と第2の時間方向巡回型フィルタ19とには、ノイズレベル計測部21からノイズレベルのデータとノイズレベルの信頼度を示すデータとが共通に入力されるようになっている。第1の時間方向巡回型フィルタ18と第2の時間方向巡回型フィルタ19は、ノイズレベルの信頼度に応じて、ランダムノイズの除去を行うか否かをオン・オフ制御することが可能となっている。例えばノイズレベルの信頼度が極端に低い場合にはフィルタ動作をオフにするような制御が可能となっている。   Based on the noise level measured by the noise level measurement unit 21, the noise removal unit 22 generates random noise for each of two parallax images (two left and right stereo images (left image SL, right image SR)). To be removed. The noise removing unit 22 includes a frame memory 17, a first time direction recursive filter 18, and a second time direction recursive filter 19. The first time direction recursive filter 18 removes random noise from the left image SL. The second time direction recursive filter 19 removes random noise from the right image SR. The first time direction recursive filter 18 and the second time direction recursive filter 19 are commonly input with noise level data and data indicating noise level reliability from the noise level measurement unit 21. It has become. The first time direction recursive filter 18 and the second time direction recursive filter 19 can perform on / off control as to whether or not to remove random noise according to the reliability of the noise level. ing. For example, when the reliability of the noise level is extremely low, it is possible to control to turn off the filter operation.

ステレオマッチング回路20には、ノイズ除去部22によってランダムノイズが除去された後の左画像SLと右画像SRとが入力されるようになっている。ステレオマッチング回路20は、左画像SLと右画像SRとからステレオマッチング法により、3Dオブジェクトを認識し、その3D奥行情報を出力するものである。ステレオマッチング法では、例えば、左右どちらかの画像を固定し、もう一方の画像を左右に動かしマッチングする点を小ブロック単位で探索し、左右の画像間のずれ量から奥行情報を算出する。   The stereo matching circuit 20 receives the left image SL and the right image SR after the random noise is removed by the noise removing unit 22. The stereo matching circuit 20 recognizes a 3D object from the left image SL and the right image SR by a stereo matching method, and outputs the 3D depth information. In the stereo matching method, for example, one of the left and right images is fixed, the other image is moved left and right, a matching point is searched for in small blocks, and depth information is calculated from the amount of deviation between the left and right images.

なお、ステレオマッチング回路20に代えて3D表示用の表示画像を生成する回路を備えても良い。そして、ランダムノイズが除去された後の左画像SLと右画像SRとに基づいて3D表示用の表示画像を生成して出力するようにしても良い。   Instead of the stereo matching circuit 20, a circuit that generates a display image for 3D display may be provided. Then, a display image for 3D display may be generated and output based on the left image SL and the right image SR after the random noise is removed.

[画像処理装置の動作および効果]
この画像処理装置では、左画像SLと右画像SRとから算出されたノイズレベルを基に、左画像SLと右画像SRとに対するそれぞれの時間方向巡回型フィルタ18,19の帰還率を制御する。具体的には、ノイズレベルが大きいときには、時間方向巡回型フィルタ18,19の帰還率を上げる。逆に、ノイズレベルが小さいときには、帰還率を下げる。このようにノイズレベルに応じて帰還率、つまりは、ノイズ除去の強度を制御する。
[Operation and effect of image processing apparatus]
In this image processing apparatus, based on the noise level calculated from the left image SL and the right image SR, the feedback rates of the time direction recursive filters 18 and 19 for the left image SL and the right image SR are controlled. Specifically, when the noise level is high, the feedback rates of the time direction recursive filters 18 and 19 are increased. Conversely, when the noise level is small, the feedback rate is lowered. In this way, the feedback rate, that is, the intensity of noise removal is controlled according to the noise level.

この画像処理装置では、左画像SLと右画像SRとで独立した巡回型フィルタ18,19を用いると共に、左右の画像SL,SRから算出された共通のノイズレベルを用いて、左右で同じ強度のノイズ除去処理を行う。これにより、ノイズ除去の際に2枚の画像間で生じる差異を最小限に抑えることが可能となる。3D表示用の表示画像を生成する場合や3D奥行情報を取得する際に、左右の画像SL,SRの不釣り合いによる不自然な結果が生じないようにすることが可能である。   In this image processing apparatus, independent filters 18 and 19 are used for the left image SL and the right image SR, and at the same intensity on the left and right using a common noise level calculated from the left and right images SL and SR. Perform noise removal processing. This makes it possible to minimize the difference between the two images during noise removal. When generating a display image for 3D display or acquiring 3D depth information, it is possible to prevent an unnatural result due to an unbalance between the left and right images SL and SR.

近年では防犯用途や車載用途として2台のカメラを使用し、それぞれのカメラから同一時刻に撮影された2つの視差画像(左右2枚のステレオ画像)を得て、ステレオ法によって、立体画像認識を行う装置が増えてきている。この画像処理装置は、そのような用途に使用可能である。そのような用途で使用される防犯カメラや車載カメラでは、暗い場所での撮影といったように撮影条件が劣悪で、かつ、ノイズ成分が混入しやすい状況で撮影されることが多いと考えられる。この画像処理装置によれば、そのような悪条件下で撮影された映像であっても、算出されたノイズレベルに応じて、ノイズ成分を正しく除去することにより、ロバストな物体認識性能を提供することが可能となる。一方、ノイズが少ないときは、時間方向巡回型フィルタ18,19をオフにすることで、より精度の高い物体認識性能を確保することが可能となる。   In recent years, two cameras have been used for crime prevention and in-vehicle applications, and two parallax images (two left and right stereo images) taken at the same time are obtained from each camera, and stereoscopic image recognition is performed by the stereo method. An increasing number of devices are available. This image processing apparatus can be used for such applications. It is considered that security cameras and in-vehicle cameras used for such purposes are often photographed in situations where the photographing conditions are poor and noise components are likely to be mixed, such as photographing in a dark place. According to this image processing apparatus, even in a video shot under such an adverse condition, a robust object recognition performance is provided by correctly removing a noise component according to the calculated noise level. It becomes possible. On the other hand, when the noise is low, it is possible to ensure more accurate object recognition performance by turning off the time direction recursive filters 18 and 19.

ところで、左右のカメラの間で、撮影時のカメラの特性や条件が大きく違っていた場合や、左右の画像間で共通する背景の領域が極端に少ない場合がある。そのような場合は、ノイズレベル計測部21における計測除外機能によって、ほとんどの領域が計測除外されてしまい、ノイズレベル計測ができない状態になることが考えられる。そのような場合は、ノイズレベル計測部21から出力されるノイズレベル信頼度を用いると良い。例えば信頼性が低い場合は、時間方向巡回型フィルタ18,19をオフにしてシステム全体をより安定する方向へ持っていくことができる。   By the way, there are cases where the characteristics and conditions of the camera at the time of shooting differ greatly between the left and right cameras, and there are extremely few background areas common between the left and right images. In such a case, it is considered that most of the region is excluded by the measurement exclusion function in the noise level measurement unit 21 and the noise level cannot be measured. In such a case, the noise level reliability output from the noise level measuring unit 21 may be used. For example, when the reliability is low, the time direction recursive filters 18 and 19 can be turned off to bring the entire system in a more stable direction.

以上のように、本実施の形態に係る画像処理装置によれば、ステレオ画像からランダムノイズを良好に除去することができる。これにより、例えばステレオ法による立体画像認識を行う場合に、防犯カメラや車載カメラなど、撮影条件の悪い状況下で得られたステレオ画像であっても、物体認識性能の劣化を抑えることができる。   As described above, according to the image processing apparatus according to the present embodiment, random noise can be favorably removed from a stereo image. Thereby, for example, when performing stereoscopic image recognition by the stereo method, it is possible to suppress deterioration in object recognition performance even for a stereo image obtained under a bad shooting condition such as a security camera or an in-vehicle camera.

SL…左画像、SR…右画像、1…ノイズレベル計測装置、2…差分分散値算出部、3…計測適正判定部、4…ヒストグラム生成部、5…ノイズレベル推定部、6…差分器、7…ブロック内分散算出部、8…第1のブロック内平均計算部、9…第2のブロック内平均計算部、10…第1のエッジ検出部、11…第2のエッジ検出部、12…ステレオマッチング回路、13…判定部、14…ピーク判定部、15…信頼度算出部、16…乗算器、17…フレームメモリ、18…第1の時間方向巡回型フィルタ、19…第2の時間方向巡回型フィルタ、20…ステレオマッチング回路、21…ノイズレベル計測部、22…ノイズ除去部、31…小ブロック、31L…左画像小ブロック、31R…右画像小ブロック、32L,32R…オブジェクト、32…オブジェクト部分、33…背景画像部分。   SL ... Left image, SR ... Right image, 1 ... Noise level measuring device, 2 ... Differential variance calculation unit, 3 ... Measurement appropriateness determination unit, 4 ... Histogram generation unit, 5 ... Noise level estimation unit, 6 ... Differentiator, 7 ... Intra-block variance calculating unit, 8 ... First in-block average calculating unit, 9 ... Second in-block average calculating unit, 10 ... First edge detecting unit, 11 ... Second edge detecting unit, 12 ... Stereo matching circuit, 13 ... determining unit, 14 ... peak determining unit, 15 ... reliability calculating unit, 16 ... multiplier, 17 ... frame memory, 18 ... first time direction recursive filter, 19 ... second time direction Cyclic filter, 20 ... stereo matching circuit, 21 ... noise level measurement unit, 22 ... noise removal unit, 31 ... small block, 31L ... small left image block, 31R ... small right image block, 32L, 32R ... object, 2 ... object portion, 33 ... background image portion.

Claims (9)

互いに視差のある2つの視差画像が入力されると共に、前記各視差画像を複数の小ブロックに分割し、前記複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する計測適正判定部と、
前記2つの視差画像間の差分分散値を前記小ブロック単位で求める差分分散値算出部と、
前記差分分散値算出部によって求められた前記差分分散値のうち、前記計測適正判定部においてノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して前記差分分散値のヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部によって生成された前記ヒストグラムを解析して、前記2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定するノイズレベル推定部と
を備えたノイズレベル計測装置。
Two parallax images having parallax with each other are input, and each parallax image is divided into a plurality of small blocks, and each of the plurality of small blocks is determined to be suitable for noise level measurement. And
A difference variance value calculation unit for obtaining a difference variance value between the two parallax images in units of the small blocks;
Of the difference variance values obtained by the difference variance value calculation unit, only a value for a small block determined to be suitable for noise level measurement by the measurement appropriateness determination unit is added to generate a histogram of the difference variance value A histogram generator to
A noise level measurement apparatus comprising: a noise level estimation unit that analyzes the histogram generated by the histogram generation unit and estimates a noise level of random noise included in common in the two parallax images.
前記ノイズレベル推定部は、前記ヒストグラムの正規分布らしさ、および前記計測適正判定部においてノイズレベル計測に適していないと判定された小ブロックの情報に基づいて、前記推定したノイズレベルの信頼度を算出する
ようになされている請求項1に記載のノイズレベル計測装置。
The noise level estimation unit calculates the reliability of the estimated noise level based on the normal distribution likelihood of the histogram and the information of the small block determined not suitable for noise level measurement by the measurement appropriateness determination unit. The noise level measurement apparatus according to claim 1, wherein the noise level measurement apparatus is configured to perform the noise level measurement.
前記ノイズレベル推定部は、前記ノイズレベルの信頼度に応じて、前記推定したノイズレベルの値を補正する
ようになされている請求項2に記載のノイズレベル計測装置。
The noise level measurement device according to claim 2, wherein the noise level estimation unit corrects the estimated noise level according to the reliability of the noise level.
前記ノイズレベル推定部は、前記ヒストグラムにおける最も度数が高い分散値、または前記ヒストグラムにおける重心となる分散値に基づいて、前記ノイズレベルを推定する
ようになされている請求項1ないし3のいずれか1項に記載のノイズレベル計測装置。
The noise level estimation unit is configured to estimate the noise level based on a variance value having the highest frequency in the histogram or a variance value serving as a center of gravity in the histogram. The noise level measuring device according to item.
前記計測適正判定部は、前記2つの視差画像のそれぞれに対し、前記小ブロック単位でエッジ検出を行うエッジ検出部を含み、エッジ成分が含まれる小ブロックはノイズレベル計測に適していないと判定する
ようになされている請求項1ないし3のいずれか1項に記載のノイズレベル計測装置。
The measurement appropriateness determination unit includes an edge detection unit that performs edge detection for each of the two parallax images in units of the small blocks, and determines that a small block including an edge component is not suitable for noise level measurement. The noise level measuring apparatus according to any one of claims 1 to 3, wherein the noise level measuring apparatus is configured as described above.
前記計測適正判定部は、前記2つの視差画像のそれぞれに対し、前記小ブロック単位で輝度のブロック内平均を計算するブロック内平均計算部を含み、前記2つの視差画像間で対応する位置にある小ブロックの輝度平均値が大きく異なっていた場合には、その小ブロックはノイズレベル計測に適していないと判定する
ようになされている請求項1ないし3のいずれか1項に記載のノイズレベル計測装置。
The measurement appropriateness determining unit includes an intra-block average calculating unit that calculates an average of luminance in blocks in units of the small blocks for each of the two parallax images, and is in a position corresponding to the two parallax images. The noise level measurement according to any one of claims 1 to 3, wherein when the average luminance value of the small block is greatly different, it is determined that the small block is not suitable for noise level measurement. apparatus.
前記計測適正判定部は、前記2つの視差画像に対してステレオマッチング法による画像解析を行うステレオマッチング回路を含み、前記ステレオマッチング法による画像解析に基づいて、前記小ブロック単位で背景らしさを判定し、背景らしい箇所に相当する小ブロックをノイズレベル計測に適していると判定する
ようになされている請求項1ないし3のいずれか1項に記載のノイズレベル計測装置。
The measurement appropriateness determination unit includes a stereo matching circuit that performs image analysis by a stereo matching method on the two parallax images, and determines background likelihood in units of the small blocks based on the image analysis by the stereo matching method. The noise level measuring apparatus according to any one of claims 1 to 3, wherein a small block corresponding to a background-like portion is determined to be suitable for noise level measurement.
互いに視差のある2つの視差画像に共通して含まれるランダムノイズのノイズレベルを計測するノイズレベル計測部と、
計測された前記ノイズレベルに基づいて、前記2つの視差画像のそれぞれに対して前記ランダムノイズを除去するノイズ除去部と
を備え、
前記ノイズレベル計測部は、
前記2つの視差画像が入力されると共に、前記各視差画像を複数の小ブロックに分割し、前記複数の小ブロックのそれぞれについてノイズレベル計測に適しているか否かを判定する計測適正判定部と、
前記2つの視差画像間の差分分散値を前記小ブロック単位で求める差分分散値算出部と、
前記差分分散値算出部によって求められた前記差分分散値のうち、前記計測適正判定部においてノイズレベル計測に適していると判定された小ブロックに対する値のみ加算して前記差分分散値のヒストグラムを生成するヒストグラム生成部と、
前記ヒストグラム生成部によって生成された前記ヒストグラムを解析して、前記2つの視差画像に共通して含まれるランダムノイズのノイズレベルを推定するノイズレベル推定部と
を有する画像処理装置。
A noise level measurement unit that measures a noise level of random noise included in common to two parallax images having parallax with each other;
A noise removing unit that removes the random noise for each of the two parallax images based on the measured noise level;
The noise level measurement unit
The two parallax images are input, the parallax image is divided into a plurality of small blocks, and a measurement appropriateness determination unit that determines whether each of the plurality of small blocks is suitable for noise level measurement;
A difference variance value calculation unit for obtaining a difference variance value between the two parallax images in units of the small blocks;
Of the difference variance values obtained by the difference variance value calculation unit, only a value for a small block determined to be suitable for noise level measurement by the measurement appropriateness determination unit is added to generate a histogram of the difference variance value A histogram generator to
An image processing apparatus, comprising: a noise level estimation unit that analyzes the histogram generated by the histogram generation unit and estimates a noise level of random noise included in common in the two parallax images.
前記ノイズレベル推定部は、前記ヒストグラムの正規分布らしさ、および前記計測適正判定部においてノイズレベル計測に適していないと判定された小ブロックの情報に基づいて、前記推定したノイズレベルの信頼度を算出するようになされ、
前記ノイズ除去部は、前記ノイズレベルの信頼度に応じて、前記ランダムノイズの除去を行うか否かをオン・オフ制御する
ようになされている請求項8に記載の画像処理装置。
The noise level estimation unit calculates the reliability of the estimated noise level based on the normal distribution likelihood of the histogram and the information of the small block determined not suitable for noise level measurement by the measurement appropriateness determination unit. Was made to
The image processing apparatus according to claim 8, wherein the noise removing unit performs on / off control on whether or not to remove the random noise according to reliability of the noise level.
JP2009148889A 2009-06-23 2009-06-23 Noise level measuring apparatus and image processor Pending JP2011009857A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009148889A JP2011009857A (en) 2009-06-23 2009-06-23 Noise level measuring apparatus and image processor

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009148889A JP2011009857A (en) 2009-06-23 2009-06-23 Noise level measuring apparatus and image processor

Publications (1)

Publication Number Publication Date
JP2011009857A true JP2011009857A (en) 2011-01-13

Family

ID=43566043

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009148889A Pending JP2011009857A (en) 2009-06-23 2009-06-23 Noise level measuring apparatus and image processor

Country Status (1)

Country Link
JP (1) JP2011009857A (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2012231406A (en) * 2011-04-27 2012-11-22 Toshiba Corp Image processor and image processing method
JP2013061850A (en) * 2011-09-14 2013-04-04 Canon Inc Image processing apparatus and image processing method for noise reduction
CN103365063A (en) * 2012-03-31 2013-10-23 北京三星通信技术研究有限公司 Three-dimensional image shooting method and device
JP5373222B2 (en) * 2011-03-28 2013-12-18 パナソニック株式会社 REPRODUCTION DEVICE, REPRODUCTION METHOD, AND COMPUTER PROGRAM

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5373222B2 (en) * 2011-03-28 2013-12-18 パナソニック株式会社 REPRODUCTION DEVICE, REPRODUCTION METHOD, AND COMPUTER PROGRAM
US9031377B2 (en) 2011-03-28 2015-05-12 Panasonic Intellectual Property Management Co., Ltd. Playback device, playback method, and computer program
JP2012231406A (en) * 2011-04-27 2012-11-22 Toshiba Corp Image processor and image processing method
JP2013061850A (en) * 2011-09-14 2013-04-04 Canon Inc Image processing apparatus and image processing method for noise reduction
CN103365063A (en) * 2012-03-31 2013-10-23 北京三星通信技术研究有限公司 Three-dimensional image shooting method and device

Similar Documents

Publication Publication Date Title
US9374571B2 (en) Image processing device, imaging device, and image processing method
US9799118B2 (en) Image processing apparatus, imaging apparatus and distance correction method
CN111340749B (en) Image quality detection method, device, equipment and storage medium
TWI543608B (en) Blocking detection method for camera and electronic apparatus with cameras
CN107316326B (en) Edge-based disparity map calculation method and device applied to binocular stereo vision
CN107077725B (en) Data processing apparatus, imaging apparatus, and data processing method
CN105659580B (en) A kind of automatic focusing method, device and electronic equipment
US9485495B2 (en) Autofocus for stereo images
US9070042B2 (en) Image processing apparatus, image processing method, and program thereof
US9210405B2 (en) System and method for real time 2D to 3D conversion of video in a digital camera
EP3095090B1 (en) System and method for processing input images before generating a high dynamic range image
US9508153B2 (en) Distance measurement apparatus, imaging apparatus, distance measurement method, and program
CN113822942B (en) Method for measuring object size by monocular camera based on two-dimensional code
WO2010024479A1 (en) Apparatus and method for converting 2d image signals into 3d image signals
JP6570296B2 (en) Image processing apparatus, image processing method, and program
CN107481271B (en) Stereo matching method, system and mobile terminal
AU2016355215A1 (en) Methods and systems for large-scale determination of RGBD camera poses
KR20100087685A (en) Method and apparatus for improving quality of depth image
EP4013049A1 (en) Apparatus and method for processing a depth map
CN109313808B (en) Image processing system
JP2011009857A (en) Noise level measuring apparatus and image processor
JP2015207090A (en) Image processing apparatus and control method thereof
JP5059855B2 (en) Global motion estimation method
JP6867487B2 (en) Imaging device
KR100911493B1 (en) Image processing apparatus and image processing method