WO2000025512A1

WO2000025512A1 - Dispositif et procede de traitement d'image, dispositif et procede d'apprentissage

Info

Publication number: WO2000025512A1
Application number: PCT/JP1999/005876
Authority: WO
Inventors: Tetsujiro Kondo; Hisakazu Shiraki; Hideo Nakaya; Toshihiko Hamamatsu; Yuji Okumura
Original assignee: Sony Corp
Current assignee: Sony Corp
Priority date: 1998-10-26
Filing date: 1999-10-25
Publication date: 2000-05-04
Anticipated expiration: 2001-04-26
Also published as: JP4078806B2; US6757443B1; KR20010033634A; KR100615839B1

Description

明細書

画像処理装置、画像処理方法、学習装置および学習方法

技術分野

この発明は、入力画像信号のノイズを除去する機能を有する画像処理装置、画像処理方法、学習装置および学習方法に関する。

背景技術

例えばテレビジョン受像機の画像信号処理系等において、画像信号からノイズを除去するために、従来から動き適応型リカーシブフィル夕が使用されている。動き適応型リカーシブフィル夕の構成の一例を第 1 2図に示す。入力の現フレームの画像信号が減算回路 1 0 0に供給される。減算回路 1 0 0には、さらに、フレームメモリ 9 9に記憶されている前フレームの画像信号が供給される。減算回路 1 0 0は、現フレームと前フレームとの画像信号の差分を生成し、生成した差分を絶対値算出回路 1 0 1に供給する。絶対値算出回路 1 0 1は、供給される差分を絶対値に変換する。絶対値算出回路 1 0 1の出力がしきい値処理回路 1 0 2に供給される。しきい値処理回路 1 0 2は、供給される絶対値をしきい値の下でしきい値処理して、画素毎に動き Z静止を判定する。

しきい値処理回路 1 0 2による判定の結果が重み設定値発生回路 1 0 3に供給される。重み設定値発生回路 1 0 3は、しきい値処理回路 1 0 2による判定の結果に応じて重み設定値 kの値を設定する。設定される kの値は、入力フレームに対する振幅調整を行うアンプ 1 0 4 、およびフレームメモリ 9 9に記憶されている前フレームに対する振幅調整を行うアンプ 1 0 5に供給される。ここで、アンプ 1 0 4は入力信号を k倍し、また、アンプ 1 0 5は入力信号を 1— k倍する。

しきい値処理回路 1 0 2によって静止と判定される場合には、 kの値として 0〜 0 . 5の間のある固定値が設定される。かかる設定により、アンプ 1 0 4、 1 0 5の後段の加算器 1 0 6の出力は、現フレームの画素値を k倍した値と前フレームの現フレームと同一位置の画素値を 1 一 k倍した値とが加算された値とされる。一方、しきい値処理回路 1 0 2によって動きと判定される場合には、 kの値として 1が設定される。かかる設定により、加算器 1 0 6からは現フレームの画素値がそのまま出力される。

以上のような従来技術においては、次の（a ) 〜（d ) のような問題がある。（a ) 静止部分に対して、一定の重み（固定値 k ) の下で重み付け加算を行うだけなので、ノイズレベルの大きさと、その信号レベルに対する大小関係とが時間的に変動する場合に、それに的確に対応するノイズ除去がなされない。（b ) ノイズレベルが大きい場合、静止部分を動きと誤判定してしまうので、ノイズ除去効果が減少する。（c ) 動き部分を静止と誤判定し、ボケが生じる場合がある。（ d ) 動き部分に対してはノイズ除去ができない。

従って、この発明の目的は、ノイズレベルが時間的に変動する場合にも的確なノイズ除去を行うことが可能な画像処理装置、画像処理方法、学習装置および学習方法を提供することにある。

発明の開示

請求の範囲 1による画像処理装置は、入力画像信号を複数フレーム分記憶する記憶部と、

記憶部に記憶された各フレームの入力画像信号から、注目フレームの少なくとも 1つの画素およびその他のフレームの少なくとも 1つの画素を抽出する画素抽出部と、

画素抽出部で抽出された各フレームの画素に基づいて、フレーム間におけるノイズレベルの時間方向の変動を検出するノイズ検出部と、ノイズレベルの変動に基づいて、注目フレームの入力画像信号に対して信号処理を行うことによって、ノイズの除去された画像信号を生成する画像信号生成部とを備えるものである。

請求の範囲 8の画像処理方法は、複数フレームの入力画像信号から、注目フレームの少なくとも 1つの画素およびその他のフレームの少なくとも 1つの画素を抽出するステップと、

抽出された各フレームの画素に基づいて、フレーム間におけるノィズレベルの時間方向の変動を検出するステップと、

ノイズレベルの変動に基づいて、注目フレームの入力画像信号に対して信号処理を行うことによって、ノイズの除去された画像信号を生成するステップとを備えるものである。

請求の範囲 1 5の学習装置は、教師画像信号に対してノイズ成分を付加し、生徒画像信号を生成するノイズ付加部と、

ノイズ付加部から出力される生徒画像信号を複数フレーム分記憶する記憶部と、

記憶部に記憶された各フレームの生徒画像信号から、注目フレームの少なくとも 1つの画素およびその他のフレームの少なくとも 1つの画素を抽出する画素抽出部と、

画素抽出部で抽出された各フレームの画素に基づいて、フレーム間におけるノイズレベルの時間方向の変動を検出し、ノイズレベルの変動を反映したクラス情報を発生するノイズ検出部と、

クラス情報と、教師画像信号と、生徒画像信号とに基づいて、生徒画像信号と同質の入力画像信号から教師画像信号と同質の出力画像信号を生成するための予測係数を演算する予測係数演算部とを備えるものである。

請求の範囲 2 2の学習方法は、教師画像信号に対してノイズ成分を付加し、生徒画像信号を生成するステップと、

記憶された各フレームの生徒画像信号から、注目フレームの少なくとも 1つの画素およびその他のフレームの少なくとも 1つの画素を抽出するステツプと、

抽出された各フレームの画素に基づいて、フレーム間におけるノィズレベルの時間方向の変動を検出し、ノイズレベルの変動を反映したクラス情報を発生するステップと、

クラス情報と、教師画像信号と、生徒画像信号とに基づいて、生徒画像信号と同質の入力画像信号から教師画像信号と同質の出力画像信号を生成するための予測係数を演算するステップとを備えるものである。

この発明によれば、所定個数のフレームから抽出される画素のデ一夕に基づいて、ノイズ成分のフレ一ム間変動を的確に反映するノイズ除去処理が可能となる。

図面の簡単な説明

第 1図は、この発明をノイズ除去装置に適用した一実施例のブロック図である。

第 2図は、この発明の一実施例における予測係数を取得するための学習装置のプロック図である。

第 3図は、学習装置においてノイズ付加を行うための構成の第 1の例を示すブロック図である。

第 4図は、学習装置においてノイズ付加を行うための構成の第 2の例を示すブロック図である。

第 5図は、学習装置においてノイズ付加を行うための構成の第 3の例を示すブロック図である。

第 6図は、この発明の一実施例におけるクラスタツプ構造について説明するための略線図である。

第 7図は、この発明の一実施例におけるノイズ成分抽出部の一例のブロック図である。

第 8図は、ノイズ成分抽出部の説明のための略線図である。

第 9図は、この発明をノイズ除去装置に適用した他の実施例のプロック図である。

第 1 0図は、この発明の他の実施例におけるクラスタップ構造について説明するための略線図である。

第 1 1図は、この発明の他の実施例における予測係数を取得するための学習装置のブロック図である。

第 1 2図は、ノイズ除去に係る従来の構成の一例を示すブロック図である。

発明を実施するための最良の形態

以下、この発明の一実施例について説明する。この発明の一実施例は、クラス分類適応処理を行うことによってノイズ除去を行うものである。ここでは、クラス分類適応処理として、入力画像信号の信号レベルの 3次元（時空間）分布に応じてクラス分割を行い、クラス毎に予め学習によって獲得された予測係数をメモリに格納し、かかる予測係数を使用した重み付け加算式に従う演算処理によって最適な推定値 (すなわち、ノイズ除去後の画素値）を出力する処理を採用している第 1図は、一実施例の全体的構成を示す。ここで処理されるべき入力画像信号がフレームメモリ 1 1に供給される。フレームメモリ 1 1 は、供給される現在フレームの画像を記憶すると共に、 1フレーム前の画像をフレームメモリ 1 2に供給する。

フレームメモリ 1 2は、供給される 1フレームの画像を記憶すると共に、 1フレーム前の画像をフレームメモリ 1 3に供給する。このようにして、フレームメモリ 1 1、 1 2、 1 3には、この順に、より新しいフレームが記憶される。以下の説明では、フレームメモリ 1 2が入力画像信号内の現フレームを記憶し、また、フレームメモリ 1 1および 1 3がそれぞれ、現フレームの前および後のフレームを記憶する場合を例として行う。但し、フレームメモリ 1 1、 1 2、 1 3の記憶内容は、これに限定されるものでは無い。例えば時間的に 2フレーム間隔の画像を記憶しても良い。また、連続する 3フレームに限らず、 5個のフレームメモリを設け、連続する 5フレームの画像を記憶するようにしても良い。さらに、フレームメモリに代えてフィールドメモリを使用することも可能である。

フレームメモリ 1 1、 1 2、 1 3がそれぞれ記憶している前フレーム、現フレーム、後フレームが領域抽出部 14、 1 5に供給される。領域抽出部 1 4は、供給される各フレームから後述するような位置の画素を抽出し、抽出した画素値をノイズ成分抽出部 1 6に供給する。ノイズ成分抽出部 1 6は、領域抽出部 14の出力に基づいて、後述するように、ノイズ成分に係る情報を表現するクラスコードを発生し、発生したクラスコ一ドを ROM2 2に供給する。このように、領域抽出部 1 4が抽出する画素はクラスコードの発生のために使用されるので、クラスタップと称される。

ROM 22は、後述するような学習によって決定される予測係数をクラス毎に、より具体的にはクラスコードに関連するァドレスに沿つて、予め記憶している。そして、 ROM2 2は、ノイズ成分抽出部 1 6から供給されるクラスコードに対応する予測係数を出力する。ノィズ成分抽出部 1 6の出力が ROM 2 2に供給される。

一方、領域抽出部 1 5は、フレームメモリ 1 1、 1 2、 1 3がそれぞれ記憶している連続する 3フレームの画像から予測用の画素を抽出し、抽出した画素の値を推定演算部 2 3に供給する。推定演算部 2 3 は、領域抽出部 1 5の出力と ROM2 2から読出される予測係数とに基づいて、以下の式（ 1 ) に示すような重み付け演算を行ってノイズが除去された予測画像信号を生成する。このように、領域抽出部 1 5 が抽出する画素値は、予測画像信号を生成するための重み付け加算において使用されるので、予測タップと称される。

y = Wi X X i + W₂ X X 2 + · · · · + W_n X n ( 1 ) ここで、 X , ， · · ··， X„ が各予測タップであり、 W, , ·· ··， W _n が各予測係数である。

次に、学習、すなわち、 ROM 2 2に格納する予測係数を得る処理について第 2図を参照して説明する。ここで、第 1図中の構成要素と同様な構成要素には、同一の参照符号を付した。学習を行うために用いられる、ノイズを含まない入力画像信号（教師信号と称する）がノィズ付加部 1 0、および正規方程式加算部 1 7に供給される。ノイズ付加部 1 0は入力画像信号にノイズ成分を付加してノイズ付加画像（生徒信号と称する）を生成し、生成した生徒信号をフレームメモリ 1 1に供給する。そして、第 1図を参照して説明したように、フレームメモリ 1 1、 1 2、 1 3には、時間的に連続する 3フレームの生徒信号の画像がそれぞれ記憶される。以下の説明では、フレームメモリ 1 2が現フレームの画像を記憶し、また、フレームメモリ 1 1および 1 3がそれぞれ、現フレームの前および後のフレームの画像を記憶する場合を例として行う。但し、上述したように、フレームメモリ 1 1、 1 2、 1 3の記憶内容は、これに限定されるものでは無い。

フレームメモリ 1 1、 1 2、 1 3の後段においては、第 1図を参照して上述した処理と略同様な処理がなされる。但し、ノイズ成分抽出部 1 6が発生するクラスコードおよび領域抽出部 1 5が抽出する予測タップは、正規方程式加算部 1 7に供給される。正規方程式加算部 1 7には、さらに、教師信号が供給される。正規方程式加算部 1 7は、これら 3種類の入力に基づいて正規方程式を解くための計算処理を行い、クラスコード毎の予測係数を決定する。そして、決定した予測係数をメモリ 1 9に供給する。メモリ 1 9は、供給される予測係数を記憶する。メモリ 19に記憶される予測係数と ROM22 (第 1図）に記憶される予測係数とは、同一のものである。

正規方程式について説明する。上述の式（1) において、学習前は予測係数， ·· ··， w„ が未定係数である。学習は、クラス毎に複数の教師信号を入力することによって行う。教師信号のクラス毎の種類数を mと表記する場合、式（1) から、以下の式（2) が設定される。

y _k = W i X X k l + W₂ X X k2 + · · · · + W_n X kn ( 2 ) ( k = 1， 2， ·'··， m)

m>nの場合、予測係数 w, , ·· ··, w„ は一意に決まらないので、誤差ベクトル eの要素 e_k を以下の式（3) で定義して、式（4) によって定義される誤差べクトル eを最小とするように予測係数を定めるようにする。すなわち、いわゆる最小 2乗法によって予測係数を一意に定める。

e k = y k 一 l wi x x ki + w₂ x x k2 +·· ··+ w„ X x _kn) ( 3)

(k = 1 , 2 , ·· --m) Σ (4) =0 式（4) の e ² を最小とする予測係数を求めるための実際的な計算 5 方法としては、 e ² を予測係数 Wi (i = l, 2·· ··) で偏微分し（式（ 5 ) ) 、 iの各値について偏微分値が 0となるように各予測係数 _Wi を定めれば良い。

式（ 5) から各予測係数 Wi を定める具体的な手順について説明する。式（6) 、（7) のように Xji， Yi を定義すると、式（ 5) は、式（8) の行列式の形に書くことができる。

15

∑ X. (6)

PJ

/7=0

20

25

式（8) が一般に正規方程式と呼ばれるものである。予測係数決定部 1 8は、上述した 3種類の入力に基づいて正規方程式（8) 中の各パラメータを算出し、さらに、掃き出し法等の一般的な行列解法に従つて正規方程式（8) を解くための計算処理を行って予測係数 _Wi を算出する。

以上のような学習におけるノイズ付加についてより詳細に説明する。ノイズ付加を行うためには、以下の①〜④のような方法を用いることができる。 ①コンピュータシミュレーションと同様にランダムノィズを発生させて入力画像信号に付加する。 ②入力する画像信号に対し、 RF系を介してノイズを付加する。 ③レベル変化が少ない平坦な画像信号と、かかる画像信号に R F系を介した処理を行うことによって得られる信号との間の差としてノイズ成分を抽出し、抽出したノイズ成分を入力画像信号に付加する。 ④平坦な画像信号に R F系を用いた処理を行うことによって得られる信号と、かかる信号をフレーム加算することによってノイズが除去されてなる画像信号成分との差としてノイズ成分を抽出し、抽出したノイズ成分を入力画像信号に付加する

②の方法を行うための構成の一例を第 3図に示す。教師信号が DZ A変換器 3 1によって DZ A変換され、アナログ信号として R Fェンコ一ダ 3 2に供給される。 RFエンコーダ 3 2は、供給される信号を変調等の RF処理を行い、 RF処理した信号を減衰器 3 3に供給する。減衰器 3 3は、供給される信号に減衰処理を施す。減衰器 3 3の出力は R Fデコーダ 64に供給される。 R Fデコーダ 3 2は、供給される信号を復調し、復調した信号を AZD変換器 3 5に供給する。八 0変換器3 5は、供給される信号に AZD変換を施す。 AZD 変換器 3 5の出力として、ノイズ付加画像信号、すなわち、生徒信号が得られる。この方法によって得られる生徒信号においては、教師信号と、 AZD変換後の生徒信号との間で、サンプリング位置のずれに起因して、画像全体に渡る画素位置のずれが生じる。このため、ノィズ付加をこの方法で行う場合には、学習の結果として得られる重み付け係数が画素位置のずれを反映したものとなる。そこで、教師信号と生徒信号との間での画素位置のずれを検出し、検出結果に基づいて画素位置を合わせる処理を行うのが望ましい。かかる方法においては、教師信号と、実際にノイズ除去の対象とされる生徒信号との間での R F系による DCオフセット成分のずれを考慮するのが望ましい。

また、 ③の方法を行うための構成の一例を第 4図に示す。平坦な画像信号が DZA変換器 4 1と、減算器 46とに供給される。 DZA変換器 4 1は、供給される信号を D/A変換してアナログ信号とし、このアナログ信号を RFエンコーダ 42に供給する。 RFエンコーダ 4 2は、供給される信号を RF処理し、 RF処理した信号を減衰器 43 に供給する。減衰器 43は、供給される信号に減衰処理を施す。

減衰器 43の出力が R Fデコーダ 44に供給される。 R Fデコーダ 44は供給される信号を復調し、復調した信号を AZD変換器 45に供給する。八 0変換器4 5は、供給される信号に AZD変換を施す AZD変換器 45の出力が減算器 46に供給される。減算器 46は、平坦な画像信号と、八 0変換器3 5の出カ（ノイズが付加された信号）との差をとることによってノイズ成分を抽出し、抽出したノィズ成分を加算器 47に供給する。加算器 47には、さらに、教師信号が供給される。加算器 4 7は、教師信号と、減算器 46の出力であるノイズ成分とを加算することにより、生徒信号を生成する。

また、 ④の方法を行うための構成の一例を第 5図に示す。平坦な画像信号が DZA変換器 5 1に供給される。 DZA変換器 5 1は、供給される信号を D/ A変換してアナログ信号とし、このアナログ信号を R Fエンコーダ 5 2に供給する。 RFエンコーダ 5 2は、供給される信号を RF処理し、 RF処理した信号を減衰器 5 3に供給する。減衰器 5 3は、供給される信号に減衰処理を施す。減衰器 5 3の出力が R Fデコーダ 54に供給される。 R Fデコーダ 54は、供給される信号を復調し、復調した信号を AZD変換器 5 5に供給する。 A/D変換器 5 5は、供給される信号に AZD変換を施す。

AZD変換器 5 5の出力は、加算器 5 6と減算器 5 8とに供給される。加算器 5 6は、さらに、フレームメモリ 5 7の記憶内容を供給される。そして、加算結果をフレームメモリ 5 7に供給する。フレームメモリ 5 7は、加算器 5 6から供給される加算結果を記憶し、また、加算器 5 6と減算器 5 8とに記憶内容を出力する。加算器 5 6およびフレームメモリ 5 7は、リカーシブフィル夕の構成のノイズ除去回路を構成するので、フレームメモリ 5 7は、ノイズ除去された画像信号を出力する。

減算器 5 8は、フレームメモリ 5 7の出力と AZD変換器 5 5の出力との差をとることによってノイズ成分を抽出し、抽出したノイズ成分を加算器 5 9に供給する。加算器 5 9には、さらに、教師信号が供給される。加算器 5 9は、教師信号とノイズ成分とを加算することにより、生徒信号を生成する。

次に、領域抽出部 1 4が行うクラスタップの抽出についてより詳細に説明する。第 6図 Aに、クラスタップ構造の一例を示す。ここで、黒丸で示す画素がクラスタップとして抽出される。すなわち、現フレームから注目画素のみがクラスタップとして抽出され、前後フレームから注目画素と同一位置の 1画素がそれぞれクラスタツプとして抽出される。予測タップについても、同様のタップ構造を用いることができる。

また、例えば、第 6図 Bに示すように、フレームメモリ数を増やし、第 1図等における 3個に代わって例えば 5個とし、例えば現フレームおよびその前後の 2個ずつのフレームを記憶して、現フレームから注目画素のみを抽出し、前後の 2個ずつのフレームから注目画素と同一位置の画素を抽出するようなクラスタップ構造を使用しても良い。この場合には、抽出される画素領域が時間的に拡張されるので、より効果的なノイズ除去が可能となる。

ノイズ成分抽出部 1 6は、領域抽出部 1 4の出力に対応して、 AD R C (Adaptive Dynamic Range Coding) の出力によってノイズ成分を検出し、クラス分類を行ってクラスコードを発生する。

第 7図は、ノイズ成分抽出部 1 6の一例を示す。第 7図は、 1ピット ADRCによって、クラスコードを発生するものである。 6 1で示す検出回路には、フレームメモリ 1 1， 1 2， 1 3のそれぞれから注目画素と、注目画素と同一位置の前後のフレームからそれぞれ抽出された 2個の画素との合計 3個の画素が供給される。各画素の値は、例えば 8ビットで表現されている。検出回路 6 1は、 3個の画素の中の最大値 MAXとその最小値 M I Nを検出し、 MAX— M I N=DRの演算によって、ダイナミックレンジ DRを算出する。

検出回路 6 1からの 3個の画素値が減算回路 6 2に順に供給され、各画素値から最小値 M I Nが減算される。最小値 M I Nが除去されることで正規化された値が比較回路 6 3に供給される。比較回路 6 3には、ダイナミックレンジ D Rを 1ノ 2にするビットシフト回路 64の出力（DR/2) が供給され、画素値と DRZ 2との大小関係が検出される。画素値が D RZ 2より大きい時には、 1ビットの比較出力が " 1 " とされ、そうでないときは、比較出力が'' 0" とされる。比較回路 6 3は、順次得られる 3画素の比較出力を並列化して 3ビッ卜の A D R C出力を発生する。また、ダイナミックレンジ D Rがビット数変換回路 6 5に供給され、量子化によってビット数が 8ビットから例えば 5ビットに変換される。なお、第 6図 Bに示すタップ構造の場合には、 5ビットの A D R C出力が形成される。

上述したようなクラスタップ構造の下では、入力画像信号が静止画像である場合には、フレーム間での画素値の変動が生じないはずである。従って、入力画像信号が静止画像である場合に画素値の変動が検出される場合には、ノイズに起因すると判定できる。

一例として、第 8図に示すように、時間的に連続した卜 1 , t , t + 1 の各フレームから抽出されたクラスタップの画素値が 1ビット A D R Cの処理を受けることによって、 3ビット（0 1 0 ) の A D R C出力が発生する。また、ダイナミックレンジ D Rが 5ビットに変換されたものが出力される。 3ビットの A D R C出力によって、ノイズレべルの変動が表現される。この場合、 1ビットではなく、多ビット A D R Cを行うようにすれば、ノイズレベル変動をより的確に表現することが可能となる。また、ダイナミックレンジ D Rを 5ビットに変換したコードによって、ノイズレベルの大きさが表現される。 8ビットを 5ビットに変換するのは、クラス数があまり多くならないようにクリップするためである。

このように、ノイズ成分抽出部 1 6が生成するクラスコードは、 A D R Cの結果として得られる時間方向のノイズレベル変動に係る例えば 3ビットからなるコードと、ダイナミックレンジ D Rの結果として得られるノイズレベルに係る例えば 5ビットからなるコードとを含むものとされる。ダイナミックレンジ D Rをクラス分類に用いることにより、動きとノイズとを区別でき、また、ノイズレベルの違いを区別できる。

上述したこの発明の一実施例は、主として静止画像のノイズ除去に適用して好適なものである。次に説明するこの発明の他の実施例は、動きを考慮してクラス分類適応処理を行うことによってノイズ除去を行うものである。すなわち、他の実施例では、入力画像信号から推定される動きに応じて、ノイズ成分を検出するために参照されるべき画素と、ノイズを除去するための演算処理に使用されるべき画像領域とが抽出され、これらに基づいくクラス分類適応処理によってノイズが除去された画像を出力するようにしたものである。

第 9図は、他の実施例によるノイズ除去装置の構成を示す。他の実施例においても、フレームメモリ 1 1、 1 2、 1 3が設けられ、時間的に連続する 3フレームにそれぞれ含まれる画像が使用される。第 9 図中で、上述した一実施例の第 1図中の構成要素と対応する部分には、同一の参照符号を付して示す。

第 9図において 2 4および 2 5が動き推定部を示す。動き推定部 2 4は、フレームメモリ 1 2に記憶された現フレームの画像と、フレームメモリ 1 3に記憶された前フレームの画像との間の注目画素の動きを推定する。また、動き推定部 2 5は、フレームメモリ 1 2に記憶された現フレームの画像と、フレームメモリ 1 1に記憶された後フレームの画像との間の注目画素の動きを推定する。動き推定部 2 4および 2 5のそれぞれで推定された注目画素に関する動き（方向および量）が領域抽出部 1 4 ' および 1 5 ' に供給される。動きを推定する方法としては、ブロックマッチング法、相関係数による推定、勾配法等を使用することができる。

領域抽出部 1 4 ' は、前述の一実施例における領域抽出部 1 4と同様に、クラスタップの画素値を抽出し、また、領域抽出部 1 5 ' は、前述の一実施例における領域抽出部 1 5と同様に、予測タップの画素値を抽出する。これらの領域抽出部 1 4 ' および 1 5 ' は、画素を抽出する時に、推定された動きに応じて抽出される画素位置が補正される。この動き補正によって、前後のフレームからそれぞれ抽出される画素が現フレームの注目画素と同一位置のものとされる。

領域抽出部 1 4 ' で抽出されたクラスタップの画素値がノイズ成分抽出部 1 6に供給され、ノイズ成分抽出部 1 6によって一実施例と同様の 1ビット ADRCの処理によって、クラスコードが生成される。クラスコードが ROM 2 2に供給され、クラスコードに対応する予測係数が ROM 2 2から読み出される。推定演算部 23では、領域抽出部 1 5 ' からの予測タップの画素値と、 ROM2 2からの予測係数によって、上述した式（ 1 ) に示す線形 1次結合の演算を行うことによつて、ノイズ除去された出力画素値を生成する。

領域抽出部 1 4 ' および 1 5 ' のそれぞれの後段側でなされる処理は、上述した一実施例と同様であるので、その説明は、簡単のために省略する。

第 1 0図を参照して、領域抽出部 1 4 ' が行う処理についてより詳細に説明する。領域抽出部 1 4 ' は、第 1 0図に示すようなタップ構造によって指定される画素位置の画素を抽出する。第 1 0図と上述した第 6図 Aのタツプ構造は、同一のものであり、前フレ一ム f r— 1 , 現フレーム f r O、後フレーム f r lにおいてフレーム毎に 1画素のみが抽出されるタップ構造である。ここで、動き推定部 24および 2 5によって動きが充分小さく静止と判定される場合には、各フレームにおける同一画素位置の画素がノイズ検出のためのクラスタップとして抽出される。したがって、処理対象の各フレーム内のクラスタツプの画素位置は一定であり、タツプ構造に変動は無い。

一方、動きがある程度以上大きく、動きと判定される場合には、各フレームから同一位置の画素をクラスタツプとして抽出するために、動きに対応して抽出される画素位置の補正が行われる。後フレーム f r 1から抽出する画素の位置は、動き推定部 2 4で推定された動きによって補正され、前フレーム f r - 1から抽出する画素の位置は、動き推定部 2 5で推定された動きによって補正される。

領域抽出部 1 5 ' において抽出される画素に対する動き補正も同様になされる。このような動き補正の結果、領域抽出部 1 4 ' によって抽出されるクラスタップは、空間的位置が互いに一致する画素となる。領域抽出部 1 5 ' によって抽出される予測タップも、動き補正によつて空間的位置が互いに一致する画素となる。抽出するクラスタップおよび予測タップを動き補正すること以外は、上述した一実施例と同様の処理によって、ノイズ除去された出力画像信号が形成される。第 1 1図は、この発明の他の実施例において、 R O M 2 2に格納する予測係数を取得するための学習装置の構成を示す。ノイズ除去を行うための第 9図に示す画像処理装置と同様に、動き推定部 2 4および 2 5が設けられ、また、領域抽出部 1 4 ' および 1 5 ' が動き推定部 2 4および 2 5で推定された動きに基づいて動きを補正する機能を有する。

領域抽出部 1 4 ' で抽出されたクラスタップがノイズ成分抽出部 1 6に供給され、ノイズ成分抽出部 1 6からクラスコードが発生する。クラスコードと、領域抽出部 1 5 ' で抽出された予測タップと、教師信号とが正規方程式加算部 1 7に供給される。正規方程式加算部 1 7 は、これらの入力に基づいて正規方程式を解くための演算処理を行い、クラスコード毎に予測係数を決定する。予測係数は、メモリ 1 9に格納される。最小 2乗法により予測係数を決定する処理は、上述した一実施例と同様であるので、その説明を省略する。

この発明は、上述した一実施例および他の実施例に限定されるものではなく、この発明の主旨を逸脱しない範囲内で様々な変形や応用が可能である。

上述したように、この発明は、画像信号からノイズを除去するためクラス分類適応処理を行うに際し、例えば注目画素および注目画素と同一画素位置にある画素等をクラスタップとして抽出し、クラスタツプのデ一夕に基づいてフレーム間でのノィズレベルの変動を検出し、検出したノイズレベルの変動に対応してクラスコ一ドを生成するようにしたものである。また、この発明は、フレームの間の動きを推定し、推定した動きを補正するように、ノイズ成分の検出処理に使用すベき画素（クラスタップ）と予測演算処理に使用すべき画素（予測タツプ）を抽出する。そして、ノイズ成分を反映したクラス情報毎に、予測タップと予測係数との線形 1次結合によって、ノイズ除去された画像信号を算出するものである。

この発明によれば、ノイズ成分のフレーム間変動に的確に対応する予測係数を選択することができるので、そのような予測係数を使用して推定演算を行うことにより、ノイズ成分の除去を良好に行うことができる。

また、動きがある場合にもノイズレベルが正しく検出でき、ノイズ除去が可能となる。特に、第 1 2図に示す従来例のように動き部分を静止部分であると誤判定することが要因となり、画像にボケが生じることを回避することができる。

さらに、フレーム内において空間的な広がりが無いクラスタップ構造、例えば現フレームから注目画素のみが抽出され、現フレームに対して時間的に前後にあるフレームから注目画素と同一位置の画素が抽出されるようなタツプ構造をクラスタップおよびノまたは予測夕ップとして用いる場合には、空間方向のぼけ要因が処理に影響を与えることを回避することができる。すなわち、例えばエッジ等の影響により、出力画像信号中にぼけが生じることを回避できる。

Claims

請求の範囲

1 . 入力画像信号を複数フレーム分記憶する記憶部と、

上記記憶部に記憶された各フレームの入力画像信号から、注目フレ

—ムの少なくとも 1つの画素およびその他のフレームの少なくとも 1 つの画素を抽出する画素抽出部と、

上記画素抽出部で抽出された各フレームの画素に基づいて、フレーム間におけるノイズレベルの時間方向の変動を検出するノイズ検出部と、

上記ノイズレベルの変動に基づいて、上記注目フレームの入力画像信号に対して信号処理を行うことによって、ノイズの除去された画像信号を生成する画像信号生成部とを備えることを特徴とする画像処理

2 . 請求の範囲 1において、

上記記憶部に記憶された複数フレーム分の入力画像信号に基づいて、フレーム間における動きを検出する動き検出部をさらに備え、上記画素抽出部は、上記動き検出部で検出された動きに基づいて決定されるフレーム内の位置の画素を、各フレームの入力画像信号から抽出することを特徴とする画像処理装置。

3 . 請求の範囲 1において、

上記ノイズ検出部は、画素毎にノイズレベルの変動を検出することを特徴とする画像処理装置。

4 . 請求の範囲 1において、

上記画素抽出部は、上記その他のフレームから、上記注目フレームから抽出された画素と同じ位置の画素を抽出することを特徴とする画像処理装置。

5 . 請求の範囲 1において、上記記憶部に記憶された各フレームの入力画像信号からそれぞれ 1 画素を抽出し、

上記ノイズ検出部は、抽出した画素に基づいて上記注目フレームから抽出した画素に対するノイズレベルの変動を検出することを特徴とする画像処理装置。

6 . 請求の範囲 1において、

上記ノイズ検出部は、上記画素抽出部で抽出された各フレームの画素の画素値を用いてダイナミックレンジに適応した符号化を行うことによって、フレーム間におけるノイズレベルの変動を検出することを特徴とする画像処理装置。

7 . 請求の範囲 1において、

上記画像信号生成部がクラス分類適応処理によって画像信号を生成することを特徴とする画像処理装置。

8 . 複数フレームの入力画像信号から、注目フレームの少なくとも 1 つの画素およびその他のフレームの少なくとも 1つの画素を抽出するステップと、

上記抽出された各フレームの画素に基づいて、フレーム間におけるノイズレベルの時間方向の変動を検出するステップと、

上記ノイズレベルの変動に基づいて、上記注目フレームの入力画像信号に対して信号処理を行うことによって、ノイズの除去された画像信号を生成するステップとを備えることを特徴とする画像処理方法。 9 . 請求の範囲 8において、

複数フレーム分の入力画像信号に基づいて、フレーム間における動きを検出するステップをさらに備え、

上記抽出するステップにおいて、上記動きを検出するステップで検出された動きに基づいて決定されるフレーム内の位置の画素が各フレ —ムの入力画像信号から抽出されることを特徴とする画像処理方法。

1 0 . 請求の範囲 8において、

上記ノィズを検出するステツプにおいて、画素毎にノイズレベルの変動が検出されることを特徴とする画像処理方法。

1 1 . 請求の範囲 8において、

上記抽出するステップにおいて、上記その他のフレームから、上記注目フレームから抽出された画素と同じ位置の画素が抽出されることを特徴とする画像処理方法。

1 2 . 請求の範囲 8において、

上記抽出するステップにおいて、各フレームの入力画像信号からそれぞれ 1画素が抽出され、

上記検出するステツプにおいて、抽出した画素に基づいて上記注目フレームから抽出した画素に対するノイズレベルの変動が検出されることを特徴とする画像処理方法。

1 3 . 請求の範囲 8において、

上記検出するステツプにおいて、抽出された各フレームの画素の画素値を用いてダイナミツクレンジに適応した符号化が行われることによって、フレーム間におけるノイズレベルの変動が検出されることを特徴とする画像処理方法。

1 4 . 請求の範囲 8において、

上記生成するステップにおいて、クラス分類適応処理によって画像信号が生成されることを特徴とする画像処理方法。

1 5 . 教師画像信号に対してノイズ成分を付加し、生徒画像信号を生成するノイズ付加部と、

上記ノイズ付加部から出力される生徒画像信号を複数フレーム分記憶する記憶部と、上記記憶部に記憶された各フレームの生徒画像信号から、注目フレ

上記画素抽出部で抽出された各フレームの画素に基づいて、フレ一ム間におけるノイズレベルの時間方向の変動を検出し、上記ノイズレベルの変動を反映したクラス情報を発生するノイズ検出部と、上記クラス情報と、上記教師画像信号と、上記生徒画像信号とに基づいて、上記生徒画像信号と同質の入力画像信号から上記教師画像信号と同質の出力画像信号を生成するための予測係数を演算する予測係数演算部とを備えることを特徴とする学習装置。

1 6 . 請求の範囲 1 5において、

上記予測係数演算部は、上記クラス情報と、上記教師画像信号と、上記生徒画像信号とが入力され、上記生徒画像信号の複数の画素値と予測係数との線形結合によって演算される予測値と上記教師画像信号中の真値との間の誤差の 2乗和を最小とする予測係数を、最小 2乗法によって演算することを特徴とする学習装置。

1 7 . 請求の範囲 1 5において、

上記記憶部に記憶された複数フレーム分の上記生徒画像信号に基づいて、フレーム間における動きを検出する動き検出部をさらに備え、上記画素抽出部は、上記動き検出部で検出された動きに基づいて決定されるフレーム内の位置の画素を、各フレームの入力画像信号から抽出することを特徴とする学習装置。

1 8 . 請求の範囲 1 5において、

上記ノイズ検出部は、画素毎にノイズレベルの変動を検出することを特徴とする学習装置。

1 9 . 請求の範囲 1 5において、上記画素抽出部は、上記その他のフレームから、上記注目フレームから抽出された画素と同じ位置の画素を抽出することを特徴とする学習装置。

2 0 . 請求の範囲 1 5において、

上記記憶部に記憶された各フレームの入力画像信号からそれぞれ 1 画素を抽出し、

上記ノイズ検出部は、抽出した画素に基づいて上記注目フレームから抽出した画素に対するノイズレベルの変動を検出することを特徴とする学習装置。

2 1 . 請求の範囲 1 5において、

上記ノイズ検出部は、上記画素抽出部で抽出された各フレームの画素の画素値を用いてダイナミツクレンジに適応した符号化を行うことによって、フレーム間におけるノイズレベルの変動を検出することを特徴とする学習装置。

2 2 . 教師画像信号に対してノイズ成分を付加し、生徒画像信号を生成するステップと、

抽出された各フレームの画素に基づいて、フレーム間におけるノィズレベルの時間方向の変動を検出し、上記ノイズレベルの変動を反映したクラス情報を発生するステツプと、

上記クラス情報と、上記教師画像信号と、上記生徒画像信号とに基づいて、上記生徒画像信号と同質の入力画像信号から上記教師画像信号と同質の出力画像信号を生成するための予測係数を演算するステツプとを備えることを特徴とする学習方法。

2 3 . 請求の範囲 2 2において、

上記予測係数を演算するステップは、上記クラス情報と、上記教師画像信号と、上記生徒画像信号とが入力され、上記生徒画像信号の複数の画素値と予測係数との線形結合によって演算される予測値と上記教師画像信号中の真値との間の誤差の 2乗和を最小とする予測係数を、最小 2乗法によって演算することを特徴とする学習方法。

2 4 . 請求の範囲 2 2において、

上記抽出するステップにおいて、上記動きを検出するステップで検出された動きに基づいて決定されるフレーム内の位置の画素が各フレームの入力画像信号から抽出されることを特徴とする学習方法。 2 5 . 請求の範囲 2 2において、

上記ノイズを検出するステップにおいて、画素毎にノイズレベルの変動が検出されることを特徴とする学習方法。

2 6 . 請求の範囲 2 2において、

上記抽出するステップにおいて、上記その他のフレームから、上記注目フレームから抽出された画素と同じ位置の画素が抽出されることを特徴とする学習方法。

2 7 . 請求の範囲 2 2において、

上記抽出するステツプにおいて、各フレームの入力画像信号からそれぞれ 1画素が抽出され、

上記検出するステツプにおいて、抽出した画素に基づいて上記注目フレームから抽出した画素に対するノイズレベルの変動が検出されることを特徴とする学習方法。

2 8 . 請求の範囲 2 2において、上記検出するステツプにおいて、抽出された各フレームの画素の画素値を用いてダイナミックレンジに適応した符号化が行われることによって、フレーム間におけるノイズレベルの変動が検出されることを特徴とする学習方法。