JP2008148296A - 画像処理回路、半導体装置、画像処理装置 - Google Patents

Abstract

【課題】本発明は、入力画像に輝度変換処理を施して所望の出力画像を生成するに際して出力画像の鮮明度を損なうことなくノイズを適切に除去することが可能な画像処理回路を提供することを目的とする。
【解決手段】本発明に係る画像処理回路は、入力画像の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部１２と；前記入力画像を構成する各画素に対して前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部１１と；輝度変換処理部１１の出力画像を構成する各画素に対して、所定のノイズフィルタ処理を施すノイズフィルタ処理部１５と；輝度変換係数算出部１２で得られる各画素毎の輝度値に基づいて、前記ノイズフィルタ処理の実施／不実施を切り替える、或いは、前記ノイズフィルタ処理の特性を調整するノイズフィルタ制御部１６と；を有する。
【選択図】図８

Description

本発明は、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置に関するものである。

従来より、入力画像をより美しく見せるための画像処理の一つとして、輝度変換処理が一般に用いられている。この輝度変換処理は、例えば、画像全体における輝度ヒストグラムに基づいて、画像領域全体に共通の輝度変換係数を算出し、各画素にこの輝度変換係数を乗じることで輝度変換を行うものである。

より具体的には、まず入力画像の全体を対象とした輝度ヒストグラム（各輝度範囲の頻度、すなわち、所定の輝度範囲毎に属する画素数の分布）を求める。そして、この輝度ヒストグラムに基づき、入力画像における各輝度範囲について、頻度の高いものほど出力画像においては広い輝度範囲を割り当てるように、逆に、頻度の低いものほど出力画像においては狭い輝度範囲を割り当てるように、輝度変換係数を算出するものである。従って、上記の輝度変換係数は、輝度毎に、或いは、所定の輝度範囲毎に、別個の値となる。

これにより、入力画像において頻度の低い輝度範囲の部分については、よりコントラスト（輝度差）が曖昧となってしまうものの、逆に、入力画像において頻度の高い輝度範囲の部分については、よりコントラストが明瞭となる。そのため、画像全体として見てみると、入力時よりもコントラストを明瞭とすることが可能となる。

なお、上記に関連する従来技術としては、特許文献１〜４などを挙げることができる。

また、特許文献５には、画像の輝度成分を抽出する手段と、前記輝度成分に基づきぼけ画像を作成する作成手段と、前記ぼけ画像に応じて前記画像の明暗差を補正する補正手段と、前記明暗差の補正量に応じて、前記補正された画像にノイズ除去を施す除去手段と、を有することを特徴とする画像処理装置が開示・提案されている。
特表２００４−５３０３６８号公報 特開２０００−０１３６２５号公報 特開２０００−０３６０４３号公報 特開２００４−１４５３９９号公報 特開２００６−６５６７６号公報

確かに、上記従来の画像処理装置であれば、画像全体として見てみると、入力画像よりも出力画像のコントラストを明瞭とすることができるので、その画質や視認性を高めることが可能となる。

しかしながら、上記従来の画像処理装置では、輝度ダイナミックレンジ補正処理によって、出力画像のコントラストを明瞭とし得る反面、低輝度画素の頻度が高い入力画像（すなわち、暗い入力画像）については、低輝度部分（暗い部分）のコントラストが高められることに伴って、暗所で発生しやすい撮像素子（特に、ＣＭＯＳ［Complementary Metal-Oxide Semiconductor］センサやＣＣＤ［Charge Coupled Devices］センサ）のノイズまで明るく強調されるおそれがあった。

なお、従来より、上記ノイズを除去するための技術は種々開示・提案されているが、出力画像に対してノイズフィルタ処理を一律に施してしまうと、暗い部分のノイズを除去し得る反面、明るい部分の鮮明度を損なうおそれがあった。

本発明は、上記の問題点に鑑み、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能な画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置を提供することを目的とする。

上記目的を達成するために、本発明に係る画像処理回路は、入力画像の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部と；前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；前記輝度変換処理部の出力画像を構成する各画素に対して、所定のノイズフィルタ処理を施すノイズフィルタ処理部と；前記輝度変換係数算出部で得られる各画素毎の輝度値に基づいて、前記ノイズフィルタ処理の実施／不実施を切り替える、或いは、前記ノイズフィルタ処理の特性を調整するノイズフィルタ制御部と；を有して成る構成（第１の構成）とされている。

このような構成とすることにより、入力画像の各画素毎に、ノイズフィルタ処理の要否を切り替えることができ、或いは、最適なノイズフィルタ処理を施すことができるので、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。

なお、上記第１の構成から成る画像処理回路において、前記ノイズフィルタ制御部は、所定の閾値よりも低い輝度値を有する画素にのみ、ノイズフィルタ処理を施すように、前記ノイズフィルタ処理部に指示を送る構成（第２の構成）にするとよい。

このような構成であれば、ノイズが強調されているおそれのある暗い部分については、ノイズフィルタ処理を施す一方、明るい部分については、ノイズが目立ちにくいことに鑑みて、ノイズフィルタ処理を施すことなく、その鮮明度を優先することが可能となる。従って、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、暗い部分のノイズが強調された場合でも、明るい部分の鮮明度を損なうことなく、暗い部分のノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。

また、上記第１または第２の構成から成る画像処理回路において、前記輝度変換係数算出部は、前記入力画像を複数のエリアに分割した上で、各エリア毎の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する構成（第３の構成）にするとよい。

このような構成とすることにより、画像全体からみると頻度の低い輝度（若しくは輝度範囲）に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることできる上、暗い部分のノイズが強調された場合でも、これを適切に除去することができるので、出力画像の画質や視認性を高めることが可能となる。

また、本発明に係る半導体装置は、上記第１〜第３いずれかの構成から成る画像処理回路を集積化して成る構成（第４の構成）とされている。

また、本発明に係る画像処理装置は、上記第４の構成から成る半導体装置と、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段と、を有して成り、前記入力画像は、該撮像により得られた画像である構成（第５の構成）にするとよい。このような構成とすれば、上記いずれかの構成により得られる利益を享受しつつ、被写体の撮像を行うことが可能となる。

また、上記第３の構成から成る画像処理回路において、前記輝度変換係数算出部は、前記入力画像の領域を複数のエリアに分割する分割手段と、前記エリア毎の輝度ヒストグラムを算出するヒストグラム算出手段と、を有して成り、前記輝度変換係数は、前記輝度ヒストグラムに基づいて定められる構成（第６の構成）にするとよい。

また、上記した第６の構成から成る画像処理回路は、前記ヒストグラム算出手段の算出結果に基づいて、前記エリア毎に定まるエリア別変換係数を算出する第１算出手段を有して成り、前記輝度変換係数は、前記エリア別変換係数に基づいて定められる構成（第７の構成）にするとよい。

本構成によれば、エリア毎に算出された輝度ヒストグラムに基づいて、輝度変換係数が定められる。そのため、仮に画像全体に比べて輝度差の大きい箇所が部分的に存在していても、その部分は、その部分が属するエリアのヒストグラムに基づいて定められた輝度変換係数に応じて、輝度変換がなされることとなる。その結果、例えば、画像全体の輝度ヒストグラムに基づいて輝度変換係数が定められるもの等に比べて、当該部分についても良好なコントラストを得ることができる。

なお「輝度変換係数」および「エリア別変換係数」は、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これには限定されない。

また、上記第７の構成から成る画像処理回路は、前記エリア別変換係数について、画像空間におけるローパスフィルタを施すフィルタ手段を有して成る構成（第８の構成）にするとよい。

エリア別変換係数は、該エリア内の輝度ヒストグラムに基づいて算出され、他のエリアに係る輝度情報は基本的には考慮されないため、エリア同士の境界部分において、輝度の差が目立つ場合がある。そこで、本構成のように、エリア別変換係数について画像空間におけるローパスフィルタを施すようにすることにより、かかる輝度の差を軽減させることが可能となる。

また、上記第８の構成から成る画像処理回路において、前記フィルタ手段は、ある注目エリアについて前記フィルタを施すときには、該注目エリア周辺の所定範囲に存在するエリアの前記エリア別変換係数を用いるものである一方、該所定範囲の少なくとも一部が前記画像の領域からはみ出すときは、該はみ出す部分に所定の仮想係数を割り当て、該仮想係数を前記エリア別変換係数と仮定して前記ローパスフィルタを施す構成（第９の構成）にするとよい。

本構成によれば、画像領域の外縁付近に位置するエリアについてフィルタ処理を施すときであっても、画像領域をはみ出した部分に割り当てた仮想係数をエリア別変換係数と仮定することにより、通常通りのフィルタ処理を行うことが可能となる。なお「仮想係数」はかかる目的を達成できるように、エリア別変換係数と同様の形式をとるものである。

また、上記第７〜第９いずれかの構成から成る画像処理回路は、前記エリア別変換係数に基づいて、前記画素毎に定まる画素別変換係数を算出する第２算出手段を有して成り、該第２算出手段は、前記エリア同士の境界における輝度の差がより小さくなるように、画素別変換係数を算出するものであり、前記輝度変換係数は、該画素別変換係数に基づいて定められる構成（第１０の構成）にするとよい。

エリア別変換係数は、エリア毎に一律に定められる（エリア内の画素同士では共通である）ため、依然としてエリア同士の境界における輝度の差が目立ってしまうことが考えられる。そこで、本構成では、エリア別変換係数に基づいて、エリア同士の境界における輝度の差がより小さくなるように、画素別変換係数が算出される。そして、輝度変換係数がこの画素別変換係数に基づいて定められるので、エリア同士の境界における輝度の差がより抑制された画素を出力することが容易となる。

なお、「画素別変換係数」も、「輝度変換係数」や「エリア別変換係数」と同様に、入力画素の輝度と出力画素の輝度との関係を定めるものであり、例えば、入力時の輝度毎に定められる出力画素の輝度と入力画素の輝度との比として与えられるが、これに限定されるものではない。

また、上記した第７〜第１０いずれかの構成から成る画像処理回路は、前記エリア別変換係数に基づいて、前記画素毎に定まる画素別変換係数を算出する第２算出手段を有して成り、前記輝度変換係数は、該画素別変換係数に基づいて定められるものであって、該第２算出手段は、ある注目画素の画素別変換係数を算出するにあたり、該注目画素近傍の４エリアを選出し、これらのエリアの各々における略中心の４点に着目したバイリニア演算処理を行う構成（第１１の構成）にするとよい。

本構成によれば、エリア別変換係数に基づいて、エリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。これにより、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。

なお、ここでの「注目画素近傍の４エリア」とは、図７に示すように、ある頂点を共有する４個のエリアであって、各エリアの略中心同士を結んでできる四辺形の内部に、注目画素が位置する関係となるものを指す。

また、上記した第１〜第３、及び、第６〜第１１いずれかの構成から成る画像処理回路は、動画における各フレームを前記入力画像とするものであり、第ｎ番目のフレームに対する前記輝度変換処理は、第（ｎ−１）番目のフレームの内容に基づいて定められた前記輝度変換係数に応じてなされる構成（第１２の構成）にするとよい。

本構成では、第ｎ番目のフレームに対して、第（ｎ−１）番目のフレームに対応した輝度変換係数を用いた輝度変換処理を行うようにしているから、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理および画像出力を実現することが可能となる。その結果、入力画像に輝度変換処理を施したものをより早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。

上記したように、本発明に係る画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置であれば、入力画像の各画素毎に、ノイズフィルタ処理の要否を切り替えることができ、或いは、最適なノイズフィルタ処理を施すことができるので、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、出力画像の鮮明度を損なうことなくノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。

以下では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて、詳細な説明を行う。

まず、本発明に係る画像処理装置の第１実施形態について詳細に説明する。

図１は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。

本図に示すように、本実施形態の画像処理装置１は、撮像部１０と、輝度変換処理部１１と、輝度変換係数算出部１２と、輝度変換係数記憶部１３と、出力部１４と、を有して成る。

撮像部１０は、所定のレンズや撮像素子（ＣＭＯＳセンサやＣＣＤセンサ）等を備えており、被写体の光学像を結像させることで被写体の撮像処理（例えば３０フレーム毎秒の動画撮像）を行う。なお、各フレームに係る画像データは、輝度変換処理部１１及び輝度変換係数算出部１２に逐次出力される。

輝度変換処理部１１は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に対し、輝度変換処理を施して出力する。なお、この輝度変換処理は、入力画像における各画素の輝度を、輝度変換係数記憶部１３に記憶されている輝度変換係数に応じて変換することにより行われる。

輝度変換係数算出部１２は、撮像部１０から入力される各フレーム毎の画像データ（入力画像）に基づいて、輝度変換処理に用いられる輝度変換係数を算出する。なお、輝度変換係数の内容及び輝度変換係数の算出方法については、後に改めて説明する。

輝度変換係数記憶部１３は、輝度変換係数算出部１２によって算出された輝度変換係数を、少なくとも次のフレームに係る輝度変換処理が実行されるまで記憶する。なお、この記憶内容は、輝度変換処理部１１における輝度変換処理において用いられることとなる。

出力部１４は、ＬＣＤ［Liquid Crystal Display］等のディスプレイ（例えば車載モニタ）を備えており、輝度変換処理部１１によって輝度変換処理のなされた出力画像を逐次表示する。

上記構成から成る画像処理装置１は、動画撮像により得られた入力画像に輝度変換係数に基づいた輝度変換処理を施して、これをディスプレイ表示する。

なお、上記構成要素のうち、輝度変換処理部１１、輝度変換係数算出部１２、及び、輝度変換係数記憶部１３については、半導体装置に集積化するとよい。

次に、画像処理装置１における画像処理の全体的な流れについて、図２を参照しながら説明する。

図２は、画像処理装置１における画像処理の全体的な流れを説明するための図である。

本図に示すように、第ｎ番目のフレームに係る入力画像が到来すると、輝度変換係数算出部１２は、入力画像に基づいて、輝度変換係数の算出を行う。これにより、第ｎ番目のフレームに基づいて定められる輝度変換係数が得られ、これが輝度変換係数記憶部１３に一旦格納される。

一方、輝度変換処理部１１は、到来した第ｎ番目のフレームに係る入力画像に対し、既に輝度変換係数記憶部１３に格納されている第（ｎ−１）番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を施す。

より具体的には、ｎ番目のフレームにおける座標（ｉ，ｊ）の画素について、輝度変換処理前の輝度をＩｉｊ（ｎ）、輝度変換処理後の輝度をＯｉｊ（ｎ）とし、（ｎ−１）番目のフレームに基づいて、座標（ｉ，ｊ）の画素に対して定められた輝度変換係数をＴｉｊ（ｎ−１）とすると、各フレームの各画素に係る輝度は、下記の（１）式に基づいて、変換処理される。そして、輝度変換処理部１１にて輝度変換処理のなされた出力画像は、出力部１４を通じて出力される。

Ｏｉｊ（ｎ）＝Ｔｉｊ（ｎ−１）×Ｉｉｊ（ｎ） ・・・（１）
このように、本実施形態の画像処理装置１は、第ｎ番目のフレームに係る入力画像に対しては、第（ｎ−１）番目のフレームに基づいて定められる輝度変換係数を用いて輝度変換処理を行う構成とされている。そのため、第ｎ番目の輝度変換係数の算出を待たずに、第ｎ番目の輝度変換処理および画像出力を実行することが可能となる。その結果、入力画像に輝度変換処理を施したものを極力早い時期に出力することが可能となり、リアルタイムに近い画像出力が可能となる。

なお、第ｎ番目のフレームに係る入力画像に対して、第（ｎ−２）番目以前のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うことも可能ではあるが、あまり古いフレームに基づいた輝度変換係数を用いた場合、変換処理の精度が問題となることに注意を要する。この問題は、特に、動きの大きい動画である場合に顕著となる。また、例えば、入力画像として静止画を扱う場合等においては、第ｎ番目のフレームに係る入力画像に対して、第ｎ番目のフレームに基づいて定められた輝度変換係数を用いて輝度変換処理を行うようにしても良い。

次に、輝度変換係数の算出処理の内容について、図３のフローチャートを参照しながら説明する。

図３は、画像処理装置１における輝度変換係数の算出処理を説明するためのフローチャートである。

まず、１フレーム分の入力画像に対して、エリア分割を行う（ステップＳ１１）。

図４は、画像処理装置１におけるエリア分割の態様を説明するための図である。

なお、図４の例では、１フレームが縦４０×横６４（＝２５６０）の画素から構成されているものとし、１エリアは８×８画素分の大きさとする。従って、エリアの総数は、縦５エリア×横８エリア＝４０エリアとなる。また、各エリアについては、左上から順に、Ａ０、Ａ１、・・・、Ａｎ、・・・、Ａ３９と称することにする。

エリア分割が完了したら、次に、エリア別変換係数の算出を行う（図３のステップＳ１２）。このエリア別変換係数は、エリア毎に決定されるものであり、エリア内の各画素に共通となる。

なお、エリア別変換係数の算出方法については、フレーム全体を対象とする変換係数の算出方法と同様であるため、ここでは詳細な説明を割愛するが、フレーム全体の輝度ヒストグラムではなく、エリア毎の輝度ヒストグラム（各輝度または各輝度範囲に属する画素の出現頻度）が算出された後、当該エリア毎の輝度ヒストグラムに基づいて変換係数が算出される、という点で従来構成とは異なっている。このようにして算出されたエリア別変換係数によれば、分割された各エリアにつき、入力画像において高頻度な輝度範囲であるほど、出力画像において広い輝度範囲が割り当てられることになる。

図３のステップＳ１２では、画像領域内の全エリアについて、エリア別変換係数が算出される。すなわち、各々のエリア毎に、固有のエリア別変換係数が定まることとなる。そして、エリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するものとしても良い。これにより、画像全体に比べて輝度差の大きい箇所が部分的に存在していても、当該部分を含めた良好なコントラストを得ることが可能となる。

ただし、エリア別変換係数は、そのエリアの外、すなわち、他のエリアに係る輝度情報は基本的に考慮されない。そのため、エリア同士の境界部分では、輝度の差が目立ち（輝度の分布が高周波となり）、滑らかさの点において良好とはいえない画像が出力されるおそれがある。そこで、本実施形態では、各エリアについて算出されたエリア別変換係数に対し、フィルタ処理等を行うこととする。この処理の内容について具体的に説明する。

まず、フィルタ処理等の実行に先立ち、画像領域の外部に上述したエリアと同規模の仮想エリアを設定する。

図５は、仮想エリア（図中のＡ４０〜Ａ６９）が設定された状態を説明するための図である。

そして、これらの仮想エリアＡ４０〜Ａ６９に対して、仮想のエリア別変換係数（以下では、仮想係数と呼ぶ）を設定する（図３のステップＳ１３）。なお、この仮想係数は、後述する通り、画像領域の外縁付近のエリアに対しても、通常通りフィルタ処理を実行し得るようにするためのものである。

上記の仮想係数は、仮想エリアに隣り合う各エリア（画像領域の外縁に位置する各エリア）を基準として、当該仮想エリアと対称位置に存在するエリアのエリア別変換係数を参照して設定される。例えば、Ａ４１はＡ０に対してＡ８と対称であるから、Ａ４１の仮想係数は、Ａ８のエリア別変換係数と同値とする。同様に、Ａ４２はＡ１に対してＡ９と対称であるから、Ａ４２の仮想係数は、Ａ９のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０はＡ０に対してＡ９と対称であるから、Ａ４０の仮想係数は、Ａ９のエリア別変換係数と同値とする。

なお、仮想係数の設定方法は、上述の他、例えば、画像領域の外縁（図５中の太線）に対して対称となるように設定しても良い。この場合、Ａ４１は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。同様に、Ａ４２は画像領域の外縁に対してＡ１と対称であるから、Ａ４２の仮想係数は、Ａ１のエリア別変換係数と同値とする。一方、四隅に位置するＡ４０は画像領域の外縁に対してＡ０と対称であるから、Ａ４０の仮想係数は、Ａ０のエリア別変換係数と同値とする。

このように、各仮想エリアに対して仮想係数を設定したら、次に、画像領域内の各エリアにおけるエリア別変換係数について、画像空間的にローパスフィルタをかける処理（フィルタ処理）を実行する（図３のステップＳ１４）。

図６は、ローパスフィルタの態様を説明するための図である。

これによれば、ある注目エリアについてフィルタを施す場合に、注目エリア周辺の所定範囲（この場合は上下左右の４エリア）に存在するエリアのエリア別変換係数が用いられることになる。ただし、この所定範囲の一部が画像領域からはみ出す場合、そのはみ出した部分については、その位置の仮想エリアに割り当てられた仮想係数をエリア別変換係数と仮定する。

例えば、エリアＡ０におけるフィルタ処理後のエリア別変換係数ａ’（０）は、以下のようになる。なお、ａ（ｎ）は、エリアＡｎ（ｎ＝０，１，８，４１，５０）における当該フィルタ処理前のエリア別変換係数を示している。また、ａ（４１）とａ（５０）は、それぞれ仮想エリアＡ４１とＡ５０における仮想係数である。

ａ´（０）＝ａ（０）／２＋[ａ（１）＋ａ（８）＋ａ（４１）＋ａ（５０）]／８
このようなフィルタ処理により、エリア同士の境界部分において輝度の差が目立っていた場合であっても、かかる輝度の差を軽減させることが可能となる。また、本実施形態では、ローパスフィルタとして図６に示すものを挙げたが、どの範囲までのエリアに係るエリア別変換係数を考慮するか、また、フィルタにおける各エリア毎の重み付けをどのようにするか等については、種々の態様とすることが可能である。

上記したフィルタ処理がなされたエリア別変換係数をそのまま輝度変換係数として採用し、入力画像の輝度変換処理を実行するようにしても良い。しかし、本実施形態では、さらに出力画像の滑らかさを得るため、画素ごとに決定される（同一エリア内でも、各画素に共通とは限らない）画素別変換係数を算出し（図３のステップＳ１５）、これを輝度変換係数として適用する（図３のステップＳ１６）。

ここで、この画素別変換係数の算出方法（バイリニア演算）について、図７を参照しながら説明する。

図７は、バイリニア演算について説明するための図である。

ある注目画素についての画素別変換係数を定めるにあたっては、当該画素の近傍に係る４個のエリアに着目する。例えば、図７における画素Ｐが注目画素であるときは、Ａ０、Ａ１、Ａ８、及び、Ａ９のエリアに着目することとなる。つまり、各エリアが一つの頂点を共有するとともに、各エリアの中心同士を結んでできる四辺形の内部に注目画素が位置する関係となるように、４個のエリアを選ぶこととする。

そして、注目画素Ｐの画素別変換係数は、これら４個のエリアの各々におけるフィルタ処理後のエリア別変換係数[ａ´（０）、ａ´（１）、ａ´（８）、ａ´（９）]と、注目画素Ｐの位置と、当該４個のエリアの各々における中心位置と、に係るバイリニア演算により算出される。

より具体的には、図７に示すように、横方向のエリア間距離をＸ、縦方向のエリア間距離をＹ、エリアＡ０の中心と注目画素Ｐとの横方向の距離をａ、同じく縦方向の距離をｂとした場合、注目画素Ｐの画素別変換係数ｐ（Ｐ）は、次のように求められる。

ｐ（Ｐ）＝｛ ａ´（０）×（Ｘ−ａ）×（Ｙ−ｂ）
＋ａ´（１）×ａ×（Ｙ−ｂ）
＋ａ´（８）×（Ｘ−ａ）×ｂ
＋ａ´（９）×ａ×ｂ ] ／（Ｘ×Ｙ）
なお、当該バイリニア演算においても、注目画素が画像領域の外縁付近にある場合は、着目する４個のエリアのうちの一部が画像領域からはみ出してしまうことが考えられる。このような場合でも、先述したフィルタ処理の場合と同様、仮想エリアおよび仮想係数を設定しておくこと等により、通常のバイリニア演算が実行可能である。

かかる方法によって、画像領域内の全ての画素について画素別変換係数を算出し、これを各々対応する画素に関する輝度変換係数とする。これにより、エリア別変換係数に基づいてエリア同士の境界部を含めて輝度の変化が滑らかとなるように、画素別変換係数が算出される。その結果、輝度変化の不連続な部分が生じることを極力回避することが可能となり、より美しい画像を出力することが容易となる。

なお、上述のようにバイリニア演算を用いた場合、通常、エリア同士の境界における輝度の差がより小さくなるように画素別変換係数が算出されることになる。しかし、エリア同士の境界における輝度の差を確実に小さくさせるため、上記バイリニア演算に代えて、またはバイリニア演算に加えて、別の演算手段を適用することとしても良い。

また、先述の輝度変換係数記憶部１３には、エリア別変換係数（エリア毎の係数）のみを格納しておき、最終的に輝度変換係数として採用する画素別変換係数（画素毎の係数）については、輝度変換処理が実行される時に算出されるものとしてもよい。このようにすれば、画素別変換係数を格納するものに比べて、輝度変換係数記憶部１３のメモリ容量が少なくて済むようになる。

また、上述した「画素」については、文字通り単一の画素を「画素」とする他、例えばＲＧＢ（赤・緑・青）の各画素からなる画素群を一体として考え、「画素」として取り扱うようにしてもよい。この場合「画素の輝度」は、当該画素群における輝度の平均値等と考えることができる。

上記したように、本実施形態の画像処理装置１であれば、画像全体からみると頻度の低い輝度（或いは輝度範囲）に係る部分が存在しても、当該部分を含めて良好なコントラストを得ることが可能となる。

ただし、本実施形態の画像処理装置１では、エリア毎の輝度ヒストグラムに基づいて、輝度変換係数が算出されるため、輝度値の小さい画素が多数を占めるエリア（すなわち、暗いエリア）については、低輝度部分（暗い部分）のコントラストが高められることに伴って、暗所で発生しやすい撮像素子のノイズが目立ちやすくなるが、出力画像に対してノイズフィルタ処理を一律に施してしまうと、暗い部分のノイズを除去し得る反面、明るい部分の鮮明度を損なうおそれがある。

そこで、以下では、上記の不具合を解消するための手段として、本発明に係る画像処理装置の第２実施形態を提案し、その構成及び動作について詳細な説明を行う。

図８は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。

本図に示すように、本実施形態の画像処理装置１’は、先述の第１実施形態とほぼ同様の構成から成り、低輝度画素にのみノイズフィルタ処理を施す点に特徴を有している。そこで、第１実施形態と同様の部分については、図１と同一の符号を付すことで説明を省略し、以下では、本実施形態の特徴部分について、重点的な説明を行うことにする。

本実施形態の画像処理装置１’は、上記のノイズフィルタ処理を実現する手段として、ノイズフィルタ処理部１５と、ノイズフィルタ制御部１６と、を有して成る。

なお、画像処理装置１’を構成する回路要素のうち、先述した輝度変換処理部１１、輝度変換係数算出部１２、及び、輝度変換係数記憶部１３のほか、ノイズフィルタ処理部１５、及び、ノイズフィルタ制御部１６についても、半導体装置に集積化するとよい。

ノイズフィルタ処理部１５は、輝度変換処理部１１の出力画像を構成する各画素に対して、所定のノイズフィルタ処理を施す手段である。なお、ノイズフィルタ処理の一例としては、ある注目画素（ノイズフィルタ処理の対象となる画素）の輝度値と、その周辺画素（例えば上下左右の４画素）の輝度値を参照して、先述のローパスフィルタ処理と同様の重み付け演算を施すことが考えられる。

ノイズフィルタ制御部１６は、輝度変換係数算出部１２で得られる各画素毎の輝度値に基づいて、ノイズフィルタ処理の実施／不実施を切り替える手段である。なお、本実施形態のノイズフィルタ制御部１６は、輝度ダイナミックレンジ補正処理（より具体的には輝度ヒストグラムの取得処理）に際して、輝度変換係数算出部１２で得られる各画素毎の輝度値を入力順にバッファしておき、所定の閾値よりも低い輝度値を有する画素にのみ、ノイズフィルタ処理を施すように、ノイズフィルタ処理部に指示を送る構成とされている。

このような構成とすることにより、入力画像の各画素毎に、ノイズフィルタ処理の要否を判断して、その実施／不実施を切り替えることができるので、ノイズが強調されているおそれのある暗い部分については、ノイズフィルタ処理を施す一方、明るい部分については、ノイズが目立ちにくいことに鑑みて、ノイズフィルタ処理を施すことなく、その鮮明度を優先することが可能となる。

従って、本実施形態の画像処理装置１’であれば、入力画像に輝度変換処理（輝度ダイナミックレンジ補正処理）を施して所望の出力画像を生成するに際して、暗い部分のノイズが強調された場合でも、明るい部分の鮮明度を損なうことなく、暗い部分のノイズを適切に除去し、出力画像の画質や視認性を高めることが可能となる。

なお、上記実施形態では、動画撮像により得られた各フレームの画像に対して輝度変換処理を行う画像処理装置に本発明を適用した場合を例に挙げて説明を行ったが、本発明の適用対象はこれに限定されるものではなく、静止画像に対して輝度変換処理を施す画像処理装置など、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置全般に適用することが可能である。

また、上記実施形態では、入力画像を複数エリアに分割し、各エリア毎の輝度ヒストグラムに基づいて輝度変換係数を算出する画像処理装置に本発明を適用した場合を例に挙げて説明を行ったが、低輝度画素にのみノイズフィルタ処理を施す本願発明の適用対象に関して言えば、何ら上記実施形態に限定されるものではなく、入力画像全体の輝度ヒストグラムに基づいて輝度変換係数を算出し、入力画像を構成する各画素に対して、輝度変換係数に応じた輝度変換処理を施すことにより、所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置全般に広く適用することが可能である。

また、本発明の構成は、上記実施形態のほか、発明の主旨を逸脱しない範囲で種々の変更を加えることが可能である。

例えば、上記実施形態では、ノイズフィルタ制御部１６を用いてノイズフィルタ処理の実施／不実施を切り替える構成を例に挙げて説明を行ったが、本発明の構成はこれに限定されるものではなく、例えば、輝度変換係数算出部１２で得られる各画素毎の輝度値に基づいて、ノイズフィルタ処理の特性を調整する構成（例えば、先述した重み付け演算の係数を可変制御する構成）としてもよい。このような構成とすることにより、ノイズフィルタ処理の実施／不実施を切り替える構成に比べて、さらに柔軟なノイズフィルタ制御を実現することが可能となる。

本発明は、入力画像に輝度変換処理を施して所望の出力画像を生成する画像処理回路、これを集積化して成る半導体装置、並びに、これを用いた画像処理装置において、出力画像の画質や視認性を高める上で有用な技術である。

は、本発明に係る画像処理装置の第１実施形態を示すブロック図である。 は、画像処理の全体的な流れを説明するための図である。 は、輝度変換係数の算出処理を説明するためのフローチャートである。 は、エリア分割の態様を説明するための図である。 は、仮想エリアが設定された状態を説明するための図である。 は、ローパスフィルタの態様を説明するための図である。 は、バイリニア演算について説明するための図である。 は、本発明に係る画像処理装置の第２実施形態を示すブロック図である。

符号の説明

１、１’ 画像処理装置
１０ 撮像部（撮像手段）
１１ 輝度変換処理部
１２ 輝度変換係数算出部
１３ 輝度変換係数記憶部
１４ 出力部
１５ ノイズフィルタ処理部
１６ ノイズフィルタ制御部

Claims (5)

1. 入力画像の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出する輝度変換係数算出部と；
   前記入力画像を構成する各画素に対して、前記輝度変換係数に応じた輝度変換処理を施す輝度変換処理部と；
   前記輝度変換処理部の出力画像を構成する各画素に対して、所定のノイズフィルタ処理を施すノイズフィルタ処理部と；
   前記輝度変換係数算出部で得られる各画素毎の輝度値に基づいて、前記ノイズフィルタ処理の実施／不実施を切り替える、或いは、前記ノイズフィルタ処理の特性を調整するノイズフィルタ制御部と；
   を有して成ることを特徴とする画像処理回路。
2. 前記ノイズフィルタ制御部は、所定の閾値よりも低い輝度値を有する画素にのみ、ノイズフィルタ処理を施すように、前記ノイズフィルタ処理部に指示を送ることを特徴とする請求項１に記載の画像処理回路。
3. 前記輝度変換係数算出部は、前記入力画像を複数のエリアに分割した上で、各エリア毎の輝度ヒストグラムを取得し、これに基づく輝度変換係数を算出することを特徴とする請求項１または請求項２に記載の画像処理回路。
4. 請求項１〜請求項３のいずれかに記載の画像処理回路を集積化して成る半導体装置。
5. 請求項４に記載の半導体装置と、被写体の光学像を結像させ、該被写体の撮像を行う撮像手段と、を有して成り、前記入力画像は、該撮像により得られた画像であることを特徴とする画像処理装置。

Images