JP2013229754A - 画像処理装置、及び画像処理方法 - Google Patents

Abstract

【課題】ノイズ低減効果の精度を向上させる。
【解決手段】実施形態の画像処理装置は、フレーム遅延手段と、減算手段と、検出手段と、ノイズ検出手段と、低減手段と、を備える。フレーム遅延手段が、入力映像信号を１フレーム分遅延させて、遅延映像信号として出力する。減算手段が、入力映像信号に含まれるフレームから、遅延映像信号に含まれているフレームを減算して、フレーム差分信号を出力する。検出手段が、入力映像信号に含まれるフレームにおける、予め定められた基準を満たした画素の数に基づいて、当該フレームの状態を検出する。ノイズ検出手段が、入力映像信号に含まれるフレームと、フレーム差分信号と、から、フレームに含まれているインパルス状のノイズ成分を検出する。低減手段が、入力映像信号から、検出手段により検出されたインパルス状のノイズ成分をフレームの状態に基づいて低減させたフレーム映像信号を出力する。
【選択図】図２

Description

本発明の実施形態は、画像処理装置、及び画像処理方法に関する。

従来、動画処理技術の普及・発展が著しい。動画の質を向上させる技術としては、例えば、動画に含まれているインパルス性ノイズを除去する技術が提案されている。インパルス性ノイズの除去は、他のノイズの除去と比べて、周辺の画素に与える影響が少ないという利点を有している。

インパルス性ノイズを除去して動画の質を向上させるためには、処理の対象となる画素がノイズであるか否かの検出精度を向上させる必要がある。そこで、検出精度を向上させる各種技術が提案されている。

特開２００９−１３５８３４号公報

しかしながら、従来技術においては、インパルス性ノイズは単発性のノイズであるため、インパルス性ノイズであるか否かの判定基準を設定するのは難しい。

本発明は、上記に鑑みてなされたものであって、インパルス性ノイズの検出精度を向上させる画像処理装置、及び画像処理方法を提供する。

実施形態の画像処理装置は、フレーム遅延手段と、減算手段と、検出手段と、ノイズ検出手段と、低減手段と、を備える。フレーム遅延手段が、入力映像信号を１フレーム分遅延させて、遅延映像信号として出力する。減算手段が、入力映像信号に含まれるフレームから、遅延映像信号に含まれているフレームを減算して、フレーム差分信号を出力する。検出手段が、入力映像信号に含まれるフレームにおける、予め定められた基準を満たした画素の数に基づいて、当該フレームの状態を検出する。ノイズ検出手段が、入力映像信号に含まれるフレームと、フレーム差分信号と、から、フレームに含まれているインパルス状のノイズ成分を検出する。低減手段が、入力映像信号から、検出手段により検出されたインパルス状のノイズ成分をフレームの状態に基づいて低減させたフレーム映像信号を出力する。

図１は、実施形態にかかるデジタルテレビジョン放送受信端末の主要な信号処理系を示すブロック図である。 図２は、実施形態にかかる映像処理部に含まれるノイズリダクション回路の構成を示した図である。 図３は、実施形態にかかるノイズリダクション回路の動作の一例を示すタイミングチャートである。 図４は、実施形態にかかるシーン判定部による処理の概要を示したフローチャートである。 図５は、所定の輝度より低い画素の数に基づいて特性値を特定するグラフの例を示した図である。 図６は、高域情報に含まれる画素の数に基づいて特性値Ｂを特定するグラフの例を示した図である。 図７は、フレーム差分ヒストグラムの第１の例を示した図である。 図８は、フレーム差分ヒストグラムの第２の例を示した図である。 図９は、特性値Ｄに基づいて補正値（ノイズ低減ゲイン）を特定するグラフの例を示した図である。 図１０は、閾値と検出対象となる単発パルスとの関係の例を示した説明図である。 図１１は、第１の実施形態に係るノイズリダクション回路における、シーンに応じたノイズの低減効果の変化を示した図である。 図１２は、第１の実施形態にかかるノイズリダクション回路における全体的な処理の手順を示すフローチャートである。

実施形態にかかるデジタルテレビジョン放送受信端末１００のハードウェア構成について説明する。図１は、実施形態にかかるデジタルテレビジョン放送受信端末１００の主要な信号処理系を示すブロック図である。

ＢＳ／ＣＳデジタル放送受信用のアンテナ１５１で受信した衛星デジタルテレビジョン放送信号は、入力端子１０１を介して衛星デジタル放送用のチューナ１０２ａに供給される。

チューナ１０２ａは、制御部１０５からの制御信号により所望のチャネルの放送信号を選局し、この選局された放送信号をＰＳＫ（Ｐｈａｓｅ Ｓｈｉｆｔ Ｋｅｙｉｎｇ）復調器１０２ｂに出力する。

ＰＳＫ復調器１０２ｂは、制御部１０５からの制御信号により、チューナ１０２ａで選局された放送信号を復調し、所望の番組を含んだトランスポートストリーム（ＴＳ）を得て、ＴＳ復号器１０２ｃに出力する。

ＴＳ復号器１０２ｃは、制御部１０５からの制御信号によりトランスポートストリーム（ＴＳ）多重化された信号のＴＳ復号処理を行い、所望の番組のデジタルの映像信号及び音声信号をデパケットすることにより得たＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を信号処理部１０６内のＳＴＤバッファ（図示せず）へ出力する。また、ＴＳ復号器１０２ｃは、デジタル放送により送られているセクション情報を信号処理部１０６内のセクション処理部（図示せず）へ出力する。

地上波放送受信用のアンテナ１５２で受信した地上デジタルテレビジョン放送信号は、入力端子１０３を介して地上デジタル放送用のチューナ１０４ａに供給される。

チューナ１０４ａは、制御部１０５からの制御信号により所望のチャネルの放送信号を選局可能とする。チューナ１０４ａは、放送信号をＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）復調器１０４ｂに出力する。

本実施形態にかかるチューナ１０２ａ及びチューナ１０４ａは、アンテナ１５１又はアンテナ１５２を介して、チャネルの放送信号として、複数の映像情報を提供するマルチビュー配信の放送信号を受信する。なお、マルチビュー配信の放送信号には、複数の映像情報全て含まれている必要はなく、例えば映像情報としては主映像情報のみ含まれ、副映像情報については取得先のアドレス情報のみ埋め込まれていても良い。

ＯＦＤＭ復調器１０４ｂは、制御部１０５からの制御信号により、チューナ１０４ａで選局された放送信号を復調し、所望の番組を含んだトランスポートストリームを得て、ＴＳ復号器１０４ｃに出力する。

ＴＳ復号器１０４ｃは、制御部１０５からの制御信号によりトランスポートストリーム（ＴＳ）多重化された信号のＴＳ復号処理を行い、所望の番組のデジタルの映像信号及び音声信号をデパケットすることにより得たＰＥＳ（Ｐａｃｋｅｔｉｚｅｄ Ｅｌｅｍｅｎｔａｒｙ Ｓｔｒｅａｍ）を信号処理部１０６内のＳＴＤバッファへ出力する。また、ＴＳ復号器１０４ｃは、デジタル放送により送られているセクション情報を信号処理部１０６内のセクション処理部へ出力する。

信号処理部１０６は、テレビ視聴時には、ＴＳ復号器１０２ｃおよびＴＳ復号器１０４ｃからそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施し、グラフィック処理部１０７及び音声処理部１０８に出力している。一方、番組録画時には、ＴＳ復号器１０２ｃおよびＴＳ復号器１０４ｃからそれぞれ供給されたデジタルの映像信号及び音声信号に対して、選択的に所定のデジタル信号処理を施した信号を、制御部１０５を介して記憶装置（例えば、ＨＤＤ）１７０に記録している。また、信号処理部１０６は、録画番組再生時には、制御部１０５を介して記憶装置（例えば、ＨＤＤ）１７０から読み出された録画番組のデータに、所定のデジタル信号処理を施し、グラフィック処理部１０７及び音声処理部１０８に出力している。

制御部１０５には、信号処理部１０６から、番組を取得するための各種データ（Ｂ−ＣＡＳデスクランブル用の鍵情報等）や電子番組ガイド（ＥＰＧ）情報，番組属性情報（番組ジャンル等），字幕情報等（サービス情報、ＳＩやＰＳＩ）が入力されている。制御部１０５は、これら入力された情報からＥＰＧ，字幕を表示するため画像生成処理を行い、この生成した画像情報をグラフィック処理部１０７へ出力する。

また、この制御部１０５は、番組録画および番組予約録画を制御する機能を有し、番組予約受付時には、外部の表示装置（例えば、デジタルテレビジョン放送受像器）に電子番組ガイド（ＥＰＧ）情報を表示し、操作部１２０またはリモートコントローラ１２１を介した視聴者入力により予約内容を所定の記憶手段に設定する。そして、設定された時刻に予約番組を録画するようチューナ１０２ａ，１０４ａ、ＰＳＫ復調器１０２ｂ、ＯＦＤＭ復調器１０４ｂ、ＴＳ復号器１０２ｃ，１０４ｃおよび信号処理部１０６を制御する。

セクション処理部は、ＴＳ復号器１０２ｃ（１０４ｃ）から入力されたセクション情報の中から、番組を取得するための各種データや電子番組ガイド（ＥＰＧ）情報，番組属性情報（番組ジャンル等），字幕情報等（サービス情報、ＳＩやＰＳＩ）を制御部１０５へ出力する。

グラフィック処理部１０７は、（１）信号処理部１０６内のＡＶデコーダ（図示せず）から供給されるデジタルの映像信号と、（２）ＯＳＤ（Ｏｎ Ｓｃｒｅｅｎ Ｄｉｓｐｌａｙ）信号生成部１０９で生成されるＯＳＤ信号と、（３）データ放送による画像データと、（４）制御部１０５により生成されたＥＰＧ，字幕信号とを合成して映像処理部１１０へ出力する機能を有する。

また、字幕放送による字幕を表示するとき、グラフィック処理部１０７は、制御部１０５からの制御による字幕情報に基づき、映像信号上に字幕情報を重畳する処理を行う。

グラフィック処理部１０７から出力されたデジタルの映像信号は、映像処理部１１０に供給される。この映像処理部１１０は、入力されたデジタルの映像信号を、表示部１１４又は出力端子１１１を介して接続された外部機器で表示可能なフォーマットのアナログ映像信号に変換した後、出力端子１１１又は表示部１１４に出力して映像表示させる。

また、上記音声処理部１０８は、入力されたデジタルの音声信号を、スピーカ１１３で再生可能なフォーマットのアナログ音声信号に変換した後、出力端子１１２を介して接続された外部機器又はスピーカ１１３に出力して音声再生させる。

ここで、このデジタルテレビジョン放送受信端末１００は、上記した各種の受信動作を含むその全ての動作を制御部１０５によって統括的に制御されている。この制御部１０５は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）等を内蔵しており、操作部１２０からの操作情報を受け、または、リモートコントローラ１２１から送出された操作情報を、受光部１２２を介して受信し、その操作内容が反映されるように各部をそれぞれ制御している。

この場合、制御部１０５は、主として、そのＣＰＵが実行する制御プログラムを格納したＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）１０５ａと、当該ＣＰＵに作業エリアを提供するＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１０５ｂと、各種の設定情報及び制御情報等が格納される不揮発性メモリ１０５ｃとを利用している。

また、この制御部１０５は、カードＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１２３を介して、メモリカード１２４が装着可能なカードホルダ１２５に接続されている。これによって、制御部１０５は、カードホルダ１２５に装着されたメモリカード１２４と、カードＩ／Ｆ１２３を介して情報伝送することができる。

さらに、上記制御部１０５は、通信Ｉ／Ｆ１３１を介して第１のＬＡＮ端子１３２に接続されている。これにより、制御部１０５は、第１のＬＡＮ端子１３２に接続されたＬＡＮ対応の機器と、通信Ｉ／Ｆ１３１を介して情報伝送することができる。

また、上記制御部１０５は、ＵＳＢ Ｉ／Ｆ１３３を介してＵＳＢ端子１３４に接続されている。これにより、制御部１０５は、ＵＳＢ端子１３４に接続された各種機器（例えば、外付けハードディスク装置）と、ＵＳＢ Ｉ／Ｆ１３３を介して情報伝送することができる。

本実施形態にかかるデジタルテレビジョン放送受信端末１００の映像処理部１１０は、インパルス性ノイズを除去するためのノイズリダクション回路を備えている。

図２は、映像処理部１１０に含まれるノイズリダクション回路２００の構成を示した図である。図２に示す様にノイズリダクション回路２００は、フレームメモリ２０１と、第１の加減算器２０２と、フレーム差分単発パルス検出部２０３と、入力フレーム単発パルス検出部２０４と、シーン判定部２０５と、第１の乗算器２０６と、第２の乗算器２０７と、第２の加減算器２０８と、を備えている。

図３は、本実施形態にかかるノイズリダクション回路２００の動作の一例を示すタイミングチャートである。チャートａは、入力映像信号とする。そして、チャートｂは、フレームメモリ２０１で一時的に記憶されていた遅延映像信号とする。チャートｃは、第１の加減算器２０２で入力映像信号ａから遅延映像信号ｂを減算したフレーム差分信号とする。

チャートｄは、フレーム差分単発パルス検出部２０３でフレーム差分信号ｃから抽出された単発パルス成分とする。チャートｅは、単発パルス成分ｄに基づいて入力映像信号ａのノイズの低減を行った出力映像信号とする。

つまり、本実施形態にかかるノイズリダクション回路２００は、入力映像信号ａに対してノイズの低減を行って、出力映像信号ｅを出力する。

フレームメモリ２０１は、入力映像信号を一時的に記憶した後、１フレーム分遅延させて、遅延映像信号として出力する。

第１の加減算器２０２は、入力映像信号に含まれるフレームから、遅延映像信号に含まれているフレームを減算して、フレーム差分信号を出力する。

シーン判定部２０５は、閾値生成部２１１と、補正値生成部２１２と、を備え、入力映像信号に含まれるフレームにおける、予め定められた基準を満たした画素の面積（換言すれば画素の数）に基づいて、当該フレームのシーン（状態）について各種検出を行う。本実施形態にかかるシーン判定部２０５は、フレームのシーン（状態）として、当該フレームにおける暗部面積、周波数、及び動き量を検出する。

閾値生成部２１１は、シーン判定部２０５の判定結果に基づいて、フレーム差分単発パルス検出部２０３及び入力フレーム単発パルス検出部２０４でパルスの検出に用いる閾値を生成する。

補正値生成部２１２は、シーン判定部２０５の判定結果に基づいて、ノイズの低減効果を調整する補正値を生成する。

次に、シーン判定部２０５が行っている具体的な処理について説明する。図４は、シーン判定部２０５による処理の概要を示したフローチャートである。

まず、シーン判定部２０５は、入力映像信号のフレームの暗部面積を検出する（ステップＳ４０１）。暗部の面積は、換言すれば、当該フレームに含まれている所定の輝度値より低い画素の数となる。そこで、本実施形態にかかるシーン判定部２０５は、暗部面積検出結果として、当該フレームから抽出された輝度のヒストグラムに基づいて、所定の輝度値より低い画素の数を抽出する。なお、判定に用いる輝度値は、実施の態様に応じて適切な値が設定される。

次に、シーン判定部２０５は、暗部の面積、換言すれば所定の輝度値より低い画素の数に基づいて、特性値Ａを算出する（ステップＳ４０２）。

図５は、所定の輝度より低い画素の数に基づいて特性値Ａを特定するグラフを示した図である。図５に示すグラフでは、入力された画素の数（例えば、ＩＮ１、ＩＮ２、ＩＮ３、ＩＮ４、ＩＮ５）が多くなるに従って、特性値Ａ（ＯＵＴ１、ＯＵＴ２、ＯＵＴ３）が高くなるよう制御している。つまり、暗部のシーンでは、高感度ノイズが多い傾向にあるため、入力された画素の数が多いほど、より強くノイズの低減効果が大きくなるよう、特性値Ａに高い値を設定することとした。

ステップＳ４０１に並行して、シーン判定部２０５は、入力映像信号のフレームに含まれる周波数ヒストグラムを生成した後、生成した周波数ヒストグラムのうち、所定の周波数（基準）以上の高域情報を抽出する（ステップＳ４０３）。なお、所定の周波数は、実施の態様に応じて適切な値が設定される。

そして、シーン判定部２０５は、高域情報に含まれている画素の数に基づいて、特性値Ｂを算出する（ステップＳ４０４）。

図６は、高域情報に含まれる画素の数に基づいて特性値Ｂを特定するグラフを示した図である。図６に示すグラフでは、入力された画素の数（例えば、ＩＮ１、ＩＮ２、ＩＮ３、ＩＮ４、ＩＮ５）が多くなるに従って、特性値Ｂ（ＯＵＴ１、ＯＵＴ２、ＯＵＴ３）が低くなるよう設定している。このように、高域情報が多いシーンでは、ノイズの低減効果が少なくなるように、特性値Ｂを設定することとした。

図４に戻り、ステップＳ４０１、Ｓ４０３に並行して、シーン判定部２０５は、フレーム差分信号のフレームに含まれている動き量を抽出する（ステップＳ４０５）。

本実施形態にかかるシーン判定部２０５は、フレーム差分信号に含まれている各画素の輝度差分レベルによるフレーム差分ヒストグラムを生成する。図７及び図８は、フレーム差分ヒストグラムの例を示した図である。そして、シーン判定部２０５は、輝度差分レベルの度数各々に重み付け（係数倍）し、重み付け後の度数を総加算してフレーム間の動き量とする。図７に示す例では、輝度差分レベルが低い領域で度数が多いため、低い動き量しか検出できないが、図８に示す例では、輝度差分レベルが高い領域で度数が多いため、高い動き量を検出できる。

シーン判定部２０５は、検出された動き量に基づいて、特性値Ｃを算出する（ステップＳ４０６）。本実施形態では、図６に示す様に、動き量が多いほど、ノイズの低減効果が少なくなるように、特性値Ｃを設定する。つまり、動き量が大きいほど、動画像がぼける傾向にあるため、ノイズ低減を強く掛けると、画質が維持できない可能性がある。そこで、本実施形態では、動き量が多い場合にノイズの低減効果を抑止することとした。

その後、シーン判定部２０５は、特性値Ａと、特性値Ｂと、特性値Ｃと、を乗算して、特性値Ｄを算出する（ステップＳ４０７）。

そして、閾値生成部２１１が、特性値Ｄから、フレーム差分単発パルス検出部２０３及び入力フレーム単発パルス検出部２０４で用いられる閾値を算出する（ステップＳ４０８）。

さらに、補正値生成部２１２が、特性値Ｄから補正値（ノイズ低減ゲイン）を算出する（ステップＳ４０９）。図９は、特性値Ｄに基づいて補正値（ノイズ低減ゲイン）を特定するグラフを示した図である。図９に示すグラフでは、入力された特性値Ｄ（例えば、ＩＮ１、ＩＮ２、ＩＮ３）が大きくなるに従って、補正値が大きくなるよう（例えば、効果弱め、通常効果、効果強めと変化するよう）制御している。

本実施形態では、上述した処理で、閾値及び補正値を求めることで、フレームに含まれている、暗部領域（所定の輝度以下の画素の数）、高域情報（所定の周波数以上の画素の数）、及び動き量（フレーム間の輝度の変化）に基づいたノイズ成分の低減の制御を実現できる。

フレーム差分単発パルス検出部２０３は、フレーム差分信号から矩形波信号を除去し、矩形波除去された後のフレーム差分信号から連続パルス及び単発パルスを識別して、単発パルスだけを抽出する。本実施形態にかかるフレーム差分単発パルス検出部２０３は、シーン判定部２０５の閾値生成部２１１により生成された閾値以下の振幅を有する単発パルスを抽出する。閾値以下の振幅を有する単発パルスを抽出することで、当該フレームのシーンに基づいた単発パルスの抽出が行われる。なお、矩形波信号の除去手法、並びに単発パルスと連続パルスとの識別手法は、従来から提案されている手法を用いることとする。例えば、特開２００９―１３５８３４号公報に提案されている手法を用いて良い。

そして、入力フレーム単発パルス検出部２０４は、入力映像信号から矩形波信号を除去し、矩形波除去された後の入力映像信号から連続パルス及び単発パルスを識別して、単発パルスだけを抽出する。同様に、本実施形態にかかるフレーム差分単発パルス検出部２０３も、シーン判定部２０５の閾値生成部２１１により生成された閾値以下の振幅を有する単発パルスを抽出する。

図１０は、閾値と検出対象となる単発パルスとの関係を示した説明図である。特性値Ｄが小さい（例えば、暗部領域が小さい、高域情報が多い、及び動き量が大きいのうちいずれか１つ以上）場合には、小さい閾値（例えば、第１の閾値）が設定される。この場合、入力フレーム単発パルス検出部２０４は、単発パルスｎ₁のみ検出する。特性値Ｄが大きい（例えば、暗部領域が大きい、高域情報が少ない、及び動き量が小さいのうちいずれか１つ以上）場合には、大きい閾値（例えば、第３の閾値）が設定される。この場合、入力フレーム単発パルス検出部２０４は、単発パルスｎ₁、ｎ₂及びｎ₃を検出する。なお、特定値Ｄが通常の場合、入力フレーム単発パルス検出部２０４は、通常の閾値（例えば第２の閾値）を用いて、単発パルス（例えば、単発パルスｎ₁、ｎ₂）を検出する。

このように、本実施形態にかかる入力フレーム単発パルス検出部２０４は、フレームのシーンに応じた単発パルスの検出を行う。なお、フレーム差分単発パルス検出部２０３も同様に、シーンに応じた単発パルスの検出を行う。

第１の乗算器２０６は、補正値生成部２１２により生成された補正値と、入力フレーム単発パルス検出部２０４により検出された入力映像信号の単発パルスと、を乗算する。このように補正値を乗算することで、当該入力映像信号のフレームのシーンに基づいた、単発パルスのノイズ低減効果を調整できる。

第２の乗算器２０７は、第１の乗算器２０６の乗算結果に、フレーム差分単発パルス検出部２０３により検出された単発パルスを乗算して、インパルス性ノイズを低減させるためのノイズ低減パラメータを生成する。当該ノイズ低減パラメータは、上述した処理により、検出されたインパルス性ノイズ成分に補正値が乗算された値となる。

具体的には、第１の乗算器２０６及び第２の乗算器２０７は、入力フレーム単発パルス検出部２０４により検出された入力映像信号の単発パルスと、フレーム差分単発パルス検出部２０３により検出された単発パルスと、を乗算することで、インパルス性ノイズを検出している。そして、第１の乗算器２０６及び第２の乗算器２０７は、検出されたインパルス性ノイズに補正値を乗算することで、インパルス性ノイズの低減効果を調整している。

第２の加減算器２０８は、入力映像信号から、ノイズ低減パラメータを用いて、インパルス性ノイズ成分を低減させた出力映像信号を出力する。本実施形態では、ノイズ低減パラメータを用いることで、入力映像信号のフレームのシーン（状態）に基づいたインパルス性ノイズ成分の除去が可能となる。

図１１は、本実施形態に係るノイズリダクション回路２００における、シーンに応じたノイズの低減効果の変化を示した図である。出力映像信号（２）は、図１１の入力映像信号に含まれるインパルス性ノイズ成分（１）に対して、小さい補正値でノイズ低減された結果を示している。出力映像信号（３）は、図１１の入力映像信号に含まれるインパルス性ノイズ成分（１）に対して、通常の補正値でノイズ低減された結果を示している。出力映像信号（４）は、図１１の入力映像信号に含まれるインパルス性ノイズ成分（１）に対して、大きい補正値でノイズ低減された結果を示している。なお、補正値は、入力映像信号のフレーム毎のシーンに応じて設定されるため、本実施形態ではシーンに応じたノイズ低減が行われることになる。

次に、本実施形態にかかるノイズリダクション回路２００における、全体的な処理について説明する。図１２は、本実施形態にかかるノイズリダクション回路２００における上述した処理の手順を示すフローチャートである。

まず、フレームメモリ２０１が、入力映像信号を一時的に記憶し、１フレーム分遅延させた遅延映像信号を出力する（ステップＳ１２０１）。

次に、第１の加減算器２０２が、入力映像信号のフレームから、遅延映像信号に含まれているフレームを減算し、減算結果をフレーム差分信号として出力する（ステップＳ１２０２）。

そして、シーン判定部２０５が、入力映像信号と、フレーム差分信号と、に基づいて、入力映像信号に含まれるシーンを表した特性値（例えば上述した特性値Ｄ）を算出する（ステップＳ１２０３）。なお、特性値の算出手法は上述した通りとして説明を省略する。

その後、閾値生成部２１１が、特性値（例えば、特性値Ｄ）に基づいて、単発パルスを検出するための閾値を算出する（ステップＳ１２０４）。また、補正値生成部２１２が、特性値（例えば、特性値Ｄ）に基づいて、補正値を算出する（ステップＳ１２０５）。

次に、入力フレーム単発パルス検出部２０４が、入力映像信号から、算出された閾値に基づいた単発パルスを検出する（ステップＳ１２０６）。

そして、フレーム差分単発パルス検出部２０３が、フレーム差分信号から、算出された閾値に基づいた単発パルスを検出する（ステップＳ１２０７）。

その後、第１の乗算器２０６が、入力フレーム単発パルス検出部２０４により検出された単発パルスに、補正値を乗算する（ステップＳ１２０８）。

そして、第２の乗算器２０７が、フレーム差分単発パルス検出部２０３により検出された単発パルスに、ステップＳ１２０８の乗算結果を乗算して、ノイズ低減パラメータを算出する（ステップＳ１２０９）。

次に、第２の加減算器２０８が、入力映像信号に対して、ノイズ低減パラメータを用いて、インパルス性ノイズ成分を低減し、出力映像信号を出力する（ステップＳ１２１０）。

本実施形態は、ノイズリダクション回路２００が検出するインパルス性ノイズ成分について特に制限を設けるものではなく、例えば、１画素幅の単発パルス、２画素幅の単発パルス、又は垂直方向の単発パルス等を対象としても良い。

従来は、入力映像信について、シーンに関係なく、インパルス性ノイズ成分の低減を行っていた。このため、低減効果を強めるとノイズ低減効果は強まる半面、映像がボヤケやすくなり、低減効果を弱めると映像はボヤケないがノイズ低減効果が弱まるため、積極的なノイズ低減が行えなかった。

これに対して、本実施形態では、シーンに応じたノイズの低減を行うこととした。これにより、例えば周波数に基づいたノイズ低減を行うことで、高域単発パルス系ノイズ成分に限定してノイズ低減を行っているため、残像感（動画ボケ）を少なくすることができる。つまり、本実施形態にかかるノイズリダクション回路２００では、シーン判定部２０５が各種検出を行って、入力映像信号のシーンを分析することで、インパルス性ノイズ成分が多い暗い映像ではノイズ除去効果を強め、動きや高域情報が多い映像ではボヤケ感の低減を優先してノイズ低減効果を弱めることとした。このように、映像シーンに適応したノイズ低減を可能とした。このように、シーンに適応したノイズ低減動作を行うことで、出力映像信号の視認性を向上させることができる。

また、本実施形態では、輝度ヒストグラム等を用いて、入力映像信号に含まれるフレーム毎にシーンを解析し、当該シーンに適応したインパルス性ノイズ成分の低減を行うこととした。このようなインパルス性ノイズ成分の低減を行うことで、インパルス性ノイズ成分の検出精度を向上させると共に、出力される出力映像信号の画質の向上を図ることができる。さらには、ノイズリダクション回路２００の不具合を低減できる。

本実施形態においては、インパルス性ノイズ成分を低減させるために、単発パルスを検出する閾値と、ノイズ成分を低減させる補正値と、の組み合わせを、映像シーンに基づいて算出することとした。これにより、状況に応じた詳細なノイズ低減を可能とする。

本発明の実施形態を説明したが、この実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。この新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。この実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１００…デジタルテレビジョン放送受信端末、２００…ノイズリダクション回路、２０１…フレームメモリ、２０２…加減算器、２０３…フレーム差分単発パルス検出部、２０４…入力フレーム単発パルス検出部、２０５…シーン判定部、２０６…第１の乗算器、２０７…第２の乗算器、２０８…第２の加減算器、２１１…閾値生成部、２１２…補正値生成部

Claims (7)

1. 入力映像信号を１フレーム分遅延させて、遅延映像信号として出力するフレーム遅延手段と、
   前記入力映像信号に含まれるフレームから、前記遅延映像信号に含まれているフレームを減算して、フレーム差分信号を出力する減算手段と、
   前記入力映像信号に含まれるフレームにおける、予め定められた基準を満たした画素の数に基づいて、当該フレームの状態を検出する検出手段と、
   前記入力映像信号に含まれるフレームと、前記フレーム差分信号と、から、前記フレームに含まれているインパルス状のノイズ成分を検出するノイズ検出手段と、
   前記入力映像信号から、前記ノイズ検出手段により検出された前記インパルス状のノイズ成分を前記フレームの状態に基づいて低減させたフレーム映像信号を出力する低減手段と、
   を備える画像処理装置。
2. 前記低減手段は、さらに、前記検出手段により検出された前記インパルス状のノイズ成分に、前記フレームの状態に基づいて定められた補正値を乗算した値で、低減させたフレーム映像信号を出力する、
   請求項１に記載の画像処理装置。
3. 前記検出手段は、さらに、前記インパルス状のノイズ成分の検出に用いる閾値として、前記フレームの状態に基づいて定められた閾値を用いる、
   請求項２に記載の画像処理装置。
4. 前記検出手段は、さらに、前記減算手段により出力された前記フレーム差分信号に含まれている画素値に基づいて、フレーム間の動き量を検出し、
   前記ノイズ検出手段は、前記動き量に従って定められた閾値を用いる、
   請求項３に記載の画像処理装置。
5. 前記検出手段は、さらに、前記入力映像信号に含まれるフレームに含まれている、予め定められた周波数以上の画素の数を検出し、
   前記低減手段は、予め定められた周波数以上の画素の数に基づいて、前記インパルス状のノイズ成分の低減を制御する、
   請求項２乃至４のいずれか一つに記載の画像処理装置。
6. 前記検出手段は、前記入力映像信号に含まれるフレームに含まれている、予め定められた輝度値以下の画素の数を検出し、
   前記低減手段は、前記予め定められた輝度値以下の画素の数に基づいて、前記インパルス状のノイズ成分の低減を制御する、
   請求項２乃至４のいずれか一つに記載の画像処理装置。
7. 画像処理装置で実行される画像処理方法であって、
   フレーム遅延手段が、入力映像信号を１フレーム分遅延させて、遅延映像信号として出力するフレーム遅延ステップと、
   減算手段が、前記入力映像信号に含まれるフレームから、前記遅延映像信号に含まれているフレームを減算して、フレーム差分信号を出力する減算ステップと、
   検出手段が、前記入力映像信号に含まれるフレームにおける、予め定められた基準を満たした画素の数に基づいて、当該フレームの状態を検出する検出ステップと、
   ノイズ検出手段が、前記入力映像信号に含まれるフレームと、前記フレーム差分信号と、から、前記フレームに含まれているインパルス状のノイズ成分を検出するノイズ検出ステップと、
   低減手段が、前記入力映像信号から、前記ノイズ検出ステップにより検出された前記インパルス状のノイズ成分を前記フレームの状態に基づいて低減させたフレーム映像信号を出力する低減ステップと、
   を含む画像処理方法。

Images