JP2009033603A - ノイズ低減装置 - Google Patents

Abstract

【課題】
映像信号におけるテクスチャへの悪影響が少ないモスキートノイズを低減するノイズ低減装置を提供する。
【解決手段】
入力される映像信号の高域成分を抽出する高域抽出部１と、映像信号を表示した際の画面上で、前記高域成分の大きさが第１の閾値以上である強エッジ領域を検出するとともに、この強エッジ領域を中心とする所定範囲の領域をノイズ低減候補領域（太線化領域）とする強エッジ領域検出部２と、 前記高域成分の大きさが第１の閾値未満で、かつ、前記第１の閾値よりも小さい第２の閾値以上である弱エッジ領域を検出する弱エッジ検出部３と、ノイズ低減候補領域から弱エッジ領域を除いたノイズ低減領域を検出するノイズ低減領域検出部４と、このノイズ低減領域に対してノイズ低減処理を施すノイズ低減部５とを用いる。
【選択図】 図１

Description

本発明は、符号化された画像データの復号時等に生じるモスキートノイズを低減するためのノイズ低減装置に関する。

ＪＰＥＧやＭＰＥＧなどの圧縮符号化方式では、圧縮率を高くする程、その復号画像のエッジ周辺にモスキートノイズが発生しやすくなるのは周知の通りである。
このモスキートノイズは、通常画像にテロップなどのグラフィクス画像を重畳した場合の通常画像とグラフィクス画面の境界などに代表される、空間周波数の高域成分を多く含む領域において顕著に発生する。また、このモスキートノイズは、画像の平坦な領域で目につきやすい傾向がある。

一方、テクスチャ部分に発生するモスキートノイズは、比較的目につきにくい。テクスチャが強いエッジを多く含む場合は、このテクスチャ自体がモスキートノイズの発生源であり、その悪影響を自ら受けるが、目立ちにくいという図式である。また、テクスチャはそれほど強いエッジを含まないが、近くに強いエッジが存在する場合には、その強いエッジからのモスキートノイズの影響を受ける。

上記したようなモスキートノイズを低減するための様々な手法が提案されている。
例えば、特許文献１に記載の従来技術では、有効エッジを拡大してフィルタリングする手法が提案されている。また、特許文献２に記載の従来技術では、同一ブロック内にエッジ画素と平坦部が混在する場合は平坦部のレベル差が小さくなるように補正する手法が提案されている。更に、特許文献３では、エッジ検出信号を平滑化したものをエッジ強度としてノイズ除去フィルタで用いる手法が提案されている。
特開平５−２２７４３１号公報 特開平１１−１１２９７８号公報 特開２００４−２２６６５１号公報

しかしながら、これらの従来技術はいずれも、基本的に画像を単純にエッジと平坦部に二分して、エッジ周辺の平坦部についてノイズ低減を行う処理である。
従って、上記従来技術では、本来忠実に表示させたいテクスチャの存在する領域（テクスチャ領域）がエッジ周辺の平坦部として判断されてしまった場合には、このテクスチャ領域にノイズ低減処理を施してしまい、本来のテクスチャを忠実に再現できなくなってしまうという課題があった。

本発明は、上記の課題を解決するためになされたものである。
その目的は、強いエッジの近傍領域に表示されるテクスチャに対してノイズ低減処理を施してしまうことを防ぎ、本来のテクスチャを出来る限り忠実に再現することが可能なノイズ低減装置を提供することにある。

上記課題を解決するために本発明は以下の装置を提供するものである。
（１）入力される映像信号の高域成分を抽出する高域抽出手段と（１）、
前記映像信号を表示した際の画面上で、前記高域成分の大きさが第１の閾値以上である第１の領域を検出するとともに、この第１の領域を中心とする所定範囲の領域を第２の領域として設定する第１の検出手段と（２）、
前記高域成分の大きさが第１の閾値未満で、かつ、前記第１の閾値よりも小さい第２の閾値以上である第３の領域を検出する第２の検出手段と（３）、
前記第２の領域から前記第３の領域を除いた領域に対してノイズ低減処理を施すノイズ低減手段と（４）（５）、
を有することを特徴とする、ノイズ低減装置。

本発明によれば、強いエッジの近傍領域に表示されるテクスチャに対してノイズ低減処理を施してしまうことを防ぎ、本来のテクスチャを出来る限り忠実に再現することが可能となる。

以下、図面を用いて本発明の実施の形態を説明する。
図１は、本実施例のノイズ低減装置の構成を示すブロック図である。
また、図４は、本実施例を施す輝度信号を画面に表示した例である。図４において、符号１０、１１で示される箇所が、テロップとして挿入される枠線１０、枠線１１であり、これが強エッジ領域となる。また、符号２０で示される箇所が、本来の表示対象であるテクスチャ２０である。

図５及び図６は、上記した図４の画面に表示される輝度信号に、本実施例を施す場合のイメージを示す図である。
以下、これら図１、及び図４〜図６を用いて本実施例を詳細に説明する。

本実施例のノイズ低減装置に入力される輝度信号（入力輝度信号）は、画素毎に８ビット（２５５階調）の分解能で復号された信号として以降の説明を行なう。しかし、入力輝度信号の形態はこれに限るものではない。

図１において、高域抽出部１は、入力輝度信号の各画素を、順次、ノイズ低減処理対象画素とし、このノイズ低減処理対象画素を中心とする５×５画素のブロック毎に、例えば -1/16, -1/4, 5/8, -1/4, -1/16のタップ定数を有するラプラシアンフィルタによるフィルタ処理を、水平方向、垂直方向に施す。これにより、入力輝度信号の高域成分である高域信号を抽出できる。なお、高域抽出部１で用いるフィルタは上記したラプラシアンフィルタに限らず、高域信号を抽出できるものであればどのような構成のものでも良い。

強エッジ領域検出部２は、供給される高域信号を絶対値化するとともに、この絶対値化した高域信号のレベルが、予め所定値に定められている第１の閾値Ｔｈ１以上になった領域を強エッジ領域（第１の領域）として検出する。なお、第１のＴｈ１の具体的な値は、例えば“２８”とする。

そして、この検出した強エッジ領域が、モスキートノイズの発生原となる可能性が高い領域であると判断する。更に、この強エッジ領域を中心とする所定範囲の領域を、モスキートノイズの低減処理が必要と思われる領域（ノイズ低減候補領域）とする。所定範囲とは、たとえば、強エッジ領域として検出された各画素をそれぞれ中心とする７×７画素のブロックとする。このような処理を行うと、複数のブロック（ノイズ低減候補領域）が、通常の場合、線として検出される強エッジ領域に沿って存在することになるので、画面上ではあたかもエッジ（線）が太くなるようなイメージとなる。従って、本説明ではこの処理を「太線化処理」と呼ぶこととする。そして、この太線化処理によって得られるノイズ低減候補領域（第２の領域）を「太線化領域」と呼ぶこととする。

図５は、この太線化領域のイメージを示す図である。枠線１０、及び枠線１１が強エッジ領域であり、それぞれの周辺のグレー部分３０、３１が、それぞれ太線化領域３０、及び太線化領域３１である。

そして、上記のような処理で決定した太線化領域を示す太線化領域検出信号をノイズ低減領域検出部４へ供給する。この太線化領域検出信号は、例えば、太線化領域を”１”、それ以外の領域を“０”とした２値の信号とする。なお、これ以外でも太線化領域を示す信号であればどのような信号でも良い。

弱エッジ領域検出部３は、供給される高域信号を絶対値化するとともに、この絶対値化した高域信号のレベルが、前述した第１の閾値Ｔｈ１より予め値が小さく定められた第２の閾値Ｔｈ２以上、かつ、第１のＴｈ１未満となった領域を弱エッジ領域（第３の領域）として検出する。なお、第２の閾値Ｔｈ２の具体的な値は、例えば“１４”とする。

この弱エッジ領域は、エッジは存在するものの、そのエッジは、強エッジ領域で検出されるような強烈なエッジではなく、比較的弱いエッジであるので、テクスチャ本来が有するエッジである可能性が高いと判断する。従って、この弱エッジ領域にはモスキートノイズ低減処理は施さない方が望ましい。図５においては、テクスチャ２０が弱エッジ領域として検出されたとする。

そして、上記のような処理で決定した弱エッジ領域を示す弱エッジ信号検出信号をノイズ低減領域検出部４へ供給する。この弱エッジ領域検出信号は、例えば、弱エッジ領域を“１”、それ以外の領域を“０”とした２値の信号とする。なお、これ以外でも弱エッジ領域を示す信号であればどのような信号でも良い。

ノイズ低減領域検出部４は、強エッジ領域検出部２から供給される太線化領域検出信号と弱エッジ領域検出部３から供給される弱エッジ領域検出信号とに基づいて、入力される輝度信号において、モスイートノイズ低減処理を施す領域であるノイズ低減対象領域を検出する。

具体的には、太線化領域検出信号が１であり、かつ、弱エッジ領域検出信号が０である領域を検出し、この検出した領域をノイズ低減対象領域とする。
そして、上記のような処理で決定したノイズ低減対象領域を示すノイズ低減制御信号をノイズ低減処理部５へ供給する。このノイズ低減制御信号は、例えば、ノイズ低減対象領域を１、それ以外の領域を０とした２値の信号とする。なお、これ以外でもノイズ低減対象領域を示す信号であればどのような信号でも良い。

ノイズ低減処理部５は、入力される輝度信号に対して、ノイズ低減領域検出部４から供給されるノイズ低減制御信号に基づいて、ノイズ低減処理を施す。
具体的には、ノイズ低減制御信号が１の領域にはノイズ低減処理を施し、０の領域にはノイズ低減処理は施さないようにする。

また、モスキートノイズの低減処理としては、例えば、以下のような中間値処理を用いた方法が効果的である。
ノイズ低減処理対象画素を中心とする５×５画素のブロック内でラスタースキャンを行う。そして、ノイズ低減処理対象画素がこのノイズ低減対象領域に含まれる場合について、周辺画素でノイズ低減対象領域に含まれるものの中間値を取得し、ノイズ低減処理対象画素の画素値をこの中間値に変更する。なお、この方法の具体的処理内容は、後述のノイズ低減処理の動作手順の説明において詳細に説明する。

図６は、図４に上記処理を施した結果のイメージを示す図である。
同図において、符号４０〜４３で示される箇所が、太線化領域３１内に存在するテクスチャ２０の部分であり、この部分にはノイズ低減処理を施さないようにする。この部分をノイズ低減停止領域４０〜４３とする。従って、ノイズ低減対象領域は、太線化領域３０と、太線化領域３１からノイズ低減停止領域４０〜４３を除いた領域となる。

なお、同図では、ノイズ低減停止領域４０〜４３を判りやすいように比較的大きめな領域として表示しているが、実際はテクスチャ２０である弱エッジ領域の部分のみが本来のノイズ低減停止領域である。
＜ノイズ低減領域検出処理の動作手順＞
以下、図１の高域検出部１、強エッジ領域検出部２、弱エッジ領域検出部３、ノイズ低減領域検出部４を用いて実現されるノイズ低減領域検出処理の具体的な動作手順を図１、及び図２のフローチャートを用いて説明する。

なお、このフローチャートにおける動作の主体は、特に記述が無い場合は、図１における各手段をそれぞれ制御する制御手段（図示せず）である。
ステップＳ１０１で、入力輝度信号の各画素を、順次、ノイズ低減処理対象画素とし、このノイズ低減処理対象画素を中心とする５×５画素のブロック毎に、ラプラシアンフィルタ処理を施し、高域信号を抽出する。

次に、ステップＳ１０２で、ステップＳ１０１で抽出された高域信号から強エッジ領域が検出されたか否かを、高域信号の絶対値が第１の閾値Ｔｈ１以上か否かにより判断する。検出された場合（Ｙ）は、次ステップＳ１０３へ処理を移行する。検出しなかった場合（Ｎ）は、ステップＳ１０６へ処理を移行する。

ステップＳ１０３で、ステップ１０２で検出した強エッジ領域を中心として、所定範囲の領域を、モスキートノイズの低減処理が必要と思われる領域（太線化領域）とする。
ステップ１０４で、太線化領域内に弱エッジ領域（テクスチャ領域）を検出したか否かを、高域信号の絶対値が第２の閾値Ｔｈ２未満か否かにより判断する。検出されなかった場合（Ｎ）は、この領域はノイズ低減対象領域であると判断し、ステップＳ１０５へ処理を移行する。検出した場合（Ｙ）は、その領域は、ノイズ低減対象領域ではないと判断し、ステップＳ１０６へ処理を移行する。

ステップＳ１０５で、ノイズ低減制御信号に極性“１”（ノイズ低減対象領域）を設定する。
ステップＳ１０６で、ノイズ低減制御信号に極性“０”（ノイズ低減対象領域ではない）を設定する。

以上の一連の処理を、輝度信号における各画素に対して実行することにより、ノイズ低減領域検出処理を実現する。
＜ノイズ低減処理の動作手順＞
次に、図１のノイズ低減処理部５で実現されるノイズ低減処理の具体的な動作手順を図１、及び図３のフローチャートを用いて説明する。

なお、このフローチャートにおける動作の主体は、特に記述が無い場合は、図１における各手段をそれぞれ制御する制御手段（図示せず）である。
本実施例では、上記したように、中間値処理によるノイズ低減処理方法を用いる。

ステップＳ２０１で、入力輝度信号のノイズ低減処理対象画素を中心とする５×５画素のブロック内でラスタースキャンを行うとともに、このブロック内の各画素に対応して入力されるノイズ低減制御信号と関連付ける。

ステップＳ２０２で、ノイズ低減処理対象画素がノイズ低減対象領域に含まれるか否かを、ステップＳ２０１で関連付けられたノイズ低減制御信号の極性によって判定する。ノイズ低減処理対象画素がノイズ低減対象領域に含まれている場合（Ｙ）（極性＝１）は、次ステップＳ２０３に処理を移行する。含まれていない場合（Ｎ）（極性＝０）は、ノイズ低減処理を行なわず、このノイズ低減処理対象画素に対する処理を終了する。

ステップＳ２０３で、ブロック中の各画素の、ステップＳ２０１で関連付けられたノイズ低減制御信号の極性を参照し、極性が１（ノイズ低減対象領域に含まれる）である画素を抽出する。そしてこの抽出した画素の数をカウントし、このカウント値が、第３の閾値Ｔｈ３以上か否かを判断する。なお、第３の閾値Ｔｈ３の具体的な値は、例えば“０”とする。カウント値が、Ｔｈ３未満の場合（Ｎ）は、ノイズ低減処理を行なわず、このノイズ低減処理対象画素に対する処理を終了する。カウント値が、閾値Ｔｈ３以上の場合（Ｙ）は、次ステップＳ２０４に処理を移行する。

ステップＳ２０４で、ステップＳ２０３で抽出されたノイズ低減対象領域に含まれる画素の値を比較して、中間値を取得する。
ステップＳ２０５で、ステップＳ２０４で取得した中間値とノイズ低減処理対象画素の値との差分値を算出する。そして、この差分値の絶対値が、第４の閾値Ｔｈ４以上か否かを判断する。なお、第４のＴｈ４の具体的な値は、例えば“１５”とする。絶対値が、第４の閾値Ｔｈ４以上の場合（Ｎ）は、ノイズ低減処理を行なわず、このノイズ低減処理対象画素に対する処理を終了する。絶対値が、第４の閾値Ｔｈ４未満の場合（Ｙ）は、次ステップＳ２０６に処理を移行する。

ステップＳ２０６で、ノイズ低減処理対象画素の値を、ステップＳ２０４で取得した中間値に変更して、処理を終了する。
以上の一連の処理を、輝度信号における各画素に対して実行することにより、ノイズ低減処理を実現する。

なお、本実施例では、中間値処理によるノイズ低減処理方法を用いたが、ノイズ低減処理方法は、これに限らず、モスキートノイズを低減する有効な方法であればどのようなものでも良い。
＜応用例＞
図７は、本実施例のノイズ低減装置を、ＤＶＤプレーヤーやＤＶＤレコーダー等の再生装置や、デジタル放送受信機などの受信装置に応用した場合の構成例を示す図である。

ビットストリーム入力部２００には、再生装置の場合は、テープやディスクから再生された、もしくは、受信装置の場合は、チューナー部で受信した、ＭＰＥＧなどに代表されるＤＣＴ（Discrete Cosine Transform）ベースの映像符号化方式によって符号化された映像信号のビットストリームが入力する。

復号部３００において、ビットストリーム入力部２００に入力されたビットストリームが復号され、ベースバンドのデジタル映像信号になる。
このデジタル映像信号の主に輝度信号について、本実施例のノイズ低減装置を用いたノイズ低減部１００においてモスキートノイズの低減が行われる。このノイズ低減部１００は信号内容や視聴目的によってはバイパスしても良い。例えば、ビットストリームの符号化レートが十分に高く、モスキートノイズ発生の可能性が低い場合はバイパスしても良い。一方、テロップなどが多い信号については積極的に使用される可能性がある。

出力部または表示部４００は、ＤＶＤプレーヤーやＤＶＤレコーダーなどに搭載されている出力部の場合は、上記で適応的にノイズ低減処理が施されたデジタル映像信号を、そのままデジタル出力するか、もしくは、Ｄ／Ａ変換してアナログ映像信号にして出力する。またデジタル放送受信機などに搭載されているディスプレイやプロジェクタなどの表示部の場合は、上記で適応的にノイズ低減処理が施されたデジタル映像信号を、Ｄ／Ａ変換してアナログ映像信号にして表示する。

なお、本発明は、上記した装置の機能をコンピュータに実現させるためのプログラムを含むものである。これらのプログラムは、記録媒体から読みとられてコンピュータに取り込まれてもよいし、通信ネットワークを介して伝送されてコンピュータに取り込まれてもよい。

本発明のノイズ低減装置の実施例の構成を示すブロック図である。 本実施例の動作手順を示すフローチャートである。 本実施例の動作手順を示すフローチャートである。 本実施例を施す輝度信号を画面に表示した例を示す図である。 図４に示す輝度信号に本実施例を施した時の太線化領域のイメージを示す図である。 図４に示す輝度信号対象画像に本実施例を施した時のイメージを示す図である。 本実施例の応用例を示すブロック図である。

符号の説明

１ 高域抽出部
２ 強エッジ領域検出部（第１の検出手段）
３ 弱エッジ領域検出部（第２の検出手段）
４ ノイズ低減領域検出部（ノイズ低減手段その１）
５ ノイズ低減処理部（ノイズ低減手段その２）
１０、１１ 強エッジ領域
２０ テクスチャ（弱エッジ領域）
３０、３１ 太線化領域
４０〜４３ ノイズ低減停止領域
１００ ノイズ低減部
２００ ビットストリーム入力部
３００ 復号部
４００ 出力部または表示部

Claims (1)

1. 入力される映像信号の高域成分を抽出する高域抽出手段と、
   前記映像信号を表示した際の画面上で、前記高域成分の大きさが第１の閾値以上である第１の領域を検出するとともに、この第１の領域を中心とする所定範囲の領域を第２の領域として設定する第１の検出手段と、
   前記高域成分の大きさが第１の閾値未満で、かつ、前記第１の閾値よりも小さい第２の閾値以上である第３の領域を検出する第２の検出手段と、
   前記第２の領域から前記第３の領域を除いた領域に対してノイズ低減処理を施すノイズ低減手段と、
   を有することを特徴とする、ノイズ低減装置。