JP5273371B2 - 画像処理装置及び方法、並びに車載カメラ装置 - Google Patents

Description

本発明は、広画角な光学系を用いて取得した画像を処理する画像処理装置及び方法、並びに該画像処理装置を備えた車載カメラ装置に関する。

従来からレンズなど光学系による解像度の劣化や、歪み補正後の周波数特性の補正を行うために、高域強調フィルタ（エッジ強調フィルタ）が用いられている。

ところで、光学系によっては、撮影された画像の光学系の中心から離れた周辺部ほど解像度が落ちる。このため、例えば、特許文献１に記載のように、従来では高域強調フィルタとして、画面の中心からの距離に応じてフィルタ係数を変化させる構成として、画面の周辺ほど広域を強調することを実現している。

特開２００７−１４８５００号公報

従来の方向依存性のない均一なフィルタを用いて、画面の周辺部で高域強調（エッジ強調）を大きくしようとすると、全方向に非常に強力なエッジ強調を掛ける必要があり、大きなノイズ増幅という副作用を生じる。一方、画面の各部分でフィルタの係数を変化させる構成とした場合、係数固定のフィルタは乗算器ではなく、ビットシフトと加算で構成できるのに対し、多数の乗算器が必要で、回路規模が莫大となり、消費電力の面からも、車載機器などの省電力が必要となる用途には不向きであった。

本発明の目的は、画面の周辺で解像度が落ちる光学系を用いた場合にも、小さい回路規模や処理規模で、画面の周辺に行くに従い高域強調を大きくすることができる画像処理装置及び方法、並びに、該画像処理装置を備えた車載カメラ装置を提供することにある。

請求項１の発明は、画像の鮮鋭度を向上させるエッジ強調フィルタ手段を有する画像処理装置であって、前記エッジ強調フィルタ手段は、注目画素に対する、撮像された画像の光学系の中心からの２軸以上の距離値を算出する距離算出手段と、２方向以上の各方向のエッジ量を抽出する複数のエッジ抽出フィルタと、複数の前記エッジ抽出フィルタで抽出された各エッジ量に、それぞれ前記距離算出手段で算出された対応する軸方向の距離値を乗算する複数の乗算手段と、複数の前記乗算手段の出力を加算する第１の加算手段と、注目画素の画素値と前記第１の加算手段の出力とを加算する第２の加算手段とを有することを特徴とする。これにより、小さい回路規模で周辺で解像度が落ちる光学系の補正（エッジ強調）が実現できる。

請求項２の発明は、複数の前記エッジ抽出フィルタは、画面の横方向と縦方向の２つのエッジ抽出フィルタであることを特徴とする。これにより、より小さい回路規模で周辺で解像度が落ちる光学系の補正が実現できる。

請求項３の発明は、前記第１の加算手段の後段に、入力が所定の閾値以下のときに出力を零とするコアリング手段を更に有することを特徴とする。また、請求項４の発明は、前記複数の乗算手段の後段にそれぞれコアリング手段を更に有することを特徴とする。また、請求項５の発明は、複数の前記エッジ抽出フィルタの後段にそれぞれ、コアリング手段を更に有することを特徴とする。これにより、ノイズの増幅を押さえながら、小さい回路規模で周辺で解像度が落ちる光学系の補正が実現できる。

請求項６の発明は、前記距離算出手段の出力に一定の定数を加える第３の加算手段を更に有することを特徴とする。これにより、画面の周辺のみならず、中央部に関してもエッジ強調を掛けることができる。

請求項７の発明は、前記距離算出手段の出力は画像の中心に対して非対称であることを特徴とする。これにより、光学系による片ぼけを補正することができる。

請求項８の発明は、前記エッジ強調フィルタ手段の前段に、画像情報を色信号と輝度信号に分解する色・輝度分離手段を有し、前記エッジ強調フィルタは輝度信号に対してエッジ強調を行うことを特徴とする。これにより、色ノイズの増幅を避けながらエッジ強調を掛けることができる。

請求項９の発明は、画像は広画角の光学系を用いて撮像されることを特徴とする。これにより、画像周辺部の解像度低下が激しい広角レンズ系の性能を補った画像が出力できる。

請求項１０の発明は、画像の鮮鋭度を向上させるエッジ強調フィルタリングステップを有する画像処理方法であって、前記エッジ強調フィルタリングステップは、注目画素に対する、撮像された画像の光学系の中心からの２軸以上の距離値を算出する距離算出ステップと、２方向以上の各方向のエッジ量をそれぞれ抽出するエッジ抽出フィルタリングステップと、前記エッジ抽出フィルタリングステップで抽出された各方向のエッジ量に、それぞれ前記距離算出ステップで算出された対応する軸方向の距離を乗算する乗算ステップと、前記乗算ステップで得られた各乗算結果を加算する第１の加算ステップと、注目画素の画素値と前記第１の加算ステップの出力とを加算する第２の加算ステップとを有することを特徴とする。

請求項１１の発明は、前記エッジ抽出フィルタリングステップは、画面の横方向と縦方向の２方向のエッジ量を抽出することを特徴とする。

請求項１２の発明は、前記第１の加算ステップの後に、入力が所定の閾値以下のときに出力を零とするコアリングステップを更に有することを特徴とする。また、請求項１３の発明は、前記乗算ステップの後に、コアリングステップを更に有することを特徴とする。また、請求項１４の発明は、前記エッジ抽出フィルタリングステップの後に、コアリングステップを更に有することを特徴とする。

請求項１５の発明は、前記距離算出ステップの出力に一定の定数を加える第３の加算ステップを更に有することを特徴とする。

請求項１６の発明は、前記距離算出ステップの出力は画像の中心に対して非対称であることを特徴とする。

請求項１７の発明は、前記エッジ強調フィルタフィルタリングステップの前に、画像情報を色信号と輝度信号に分解する色・輝度分離ステップを有し、前記エッジ強調フィルタリングステップは輝度信号に対してエッジ強調を行うことを特徴とする。

請求項１８の発明は、画像は広画角の光学系を用いてと撮像されることを特徴とする。

請求項１０乃至１８の発明の画像処理方法によれば、コンピュータにより処理規模が膨大となることなく、請求項１乃至９の発明の画像処理装置と同様の作用効果を実現することが可能となる。

請求項１９の発明は、広画角の光学系と、前記光学系を通して撮像された画像を読み取る撮像素子と、前記撮像素子で読みとられた画像を処理する請求項１乃至９のいずれか１項に記載の画像処理装置と、前記画像処理装置で処理された画像を表示する表示装置と、を具備してなる車載カメラ装置を特徴とする。これにより、周辺の画質が低い光学系を用いた場合にも、高画質で低コストな車載カメラ装置を提供できる。

本発明によれば、小さい回路規模や処理規模で、画面周辺で解像度が落ちる光学系の補正を実現することができる。また、これをノイズの増幅を押さえながら実現できる。さらに、画面周辺のみならず、中央部に関してもエッジ強調を掛けることができる。

以下、本発明の一実施の形態について図面を用いて詳しく説明する。実施形態は、高画角で倍率色収差と歪曲収差の大きい光学系を用いて被写体を撮像する画像撮像装置とし、その画像処理系は、本発明に関係するＭＴＦ補正に加えて、倍率色収差補正や歪曲収差補正なども行う構成とするが、この構成に限定されるものではない。また、画像の色成分は加法３原色の赤（Ｒ）、緑（Ｇ）、青（Ｂ）とするが、減法３原色のＹ（黄）、Ｍ（マゼンタ）、Ｃ（シアン）でもよい。

図１に、本発明を適用した画像撮像装置における画像処理系の一実施形態の機能ブロック図を示す。本画像撮像装置は、外に操作部、画像記憶部、画像表示部（モニタ）などを備えているが、図１では省略してある。本画像撮像装置は、車載カメラ装置として使用することを想定しているが、用途はそれに限らない。

図１において、制御部１００は、装置の各部に必要な制御信号（クロック、水平／垂直同期信号、その他）を与えて、該各部の動作をパイプライン的に制御する。

撮像素子１１０は、広角で倍率色収差及び歪曲収差の大きい光学系（不図）を用いて撮像された光学像を電気信号（画素信号）に変換するための、例えばＣＣＤやＣＭＯＳセンサ等で構成される。該撮像素子１１０にはベイヤー配列の色フィルタが設けられており、ベイヤー配列のＲＧＢ画素信号が、制御部１００から与えられる座標値（ｘ，ｙ）に基づいて順次出力される。また、制御部１００では、撮像素子１１０に与える座標値（ｘ，ｙ）を、順次、所定の時間ずらして後段にも与えるようにする。なお、座標値（ｘ，ｙ）は、クロック、水平／垂直同期信号を入力として撮像素子１１０の内部で生成して、撮像素子１１０から順次、後段に与えることでもよい。

Ａ／Ｄ変換器１２０は、撮像素子１１０から出力されたアナログ信号としてのベイヤー配列のＲＧＢ画素信号をデジタル信号（画素データ）に変換してベイヤー補完部１３０に送出する。デジタル信号は、例えば、ＲＧＢそれぞれ８ビットで構成される。一般にＡ／Ｄ変換器１２０の前段にはＡＧＣ回路が設けられるが、ここでは省略する。

ベイヤー補完部１３０は、デジタル信号に変換されたベイヤー配列のＲＧＢ画素データを入力して、ＲＧＢ各色独立に、全座標位置の画素データを線形補完によって生成し、倍率色収差補正部１４０に送出する。

なお、本実施形態ではベイヤー配列の色フィルタを持つ撮像素子について述べたが、もちろん他のＣＭＹＧ配列や、ＲＧＢ＋Ｉｒ(赤外)配列など他の色フィルタ配列を持つ撮像素子に関しても効果がある。特にこのように４色の色フィルタ配列を持つ撮像素子では、ＲＧＢのように３色のタイプと比較して、倍率色収差補正においてさらに低レイテンシのメモリまたは、４ポートのＲＡＭが必要となる。

倍率色収差補正部１４０は、ベイヤー補完されたＲ，Ｇ，Ｂ画素データを入力して、所定の多項式によりＲＧＢ各色成分独立に座標変換（倍率色収差座標変換）を施し、倍率色収差補正されたＲＧＢ画素データを出力する。後述するように、倍率色収差補正の座標変換には低容量低レイテンシのメモリまたは、低容量で複数のポートを持つメモリ（ＳＲＡＭ等）を使用することができる。

ＭＴＦ補正部１５０は、倍率色収差補正されたＲＧＢ画素データを入力して、輝度信号について高域強調フィルタリングのＭＴＦ補正処理を施し、ＭＴＦ補正されたＲＧＢ画素データを出力する。本発明は、このＭＴＦ補正部１５０に関する。後述するように、本発明の構成とすることで、小さい回路規模で画面上の端に行くに従い高域強調を大きくすることができる。また、光学的に解像度の低くなりがちな画面中心からタンジェンシェル方向に特異的に強いエッジ強調をかけることができる。

歪曲収差補正部１６０は、倍率色収差補正及びＭＴＦ補正されたＲＧＢ画素データを入力して、所定の多項式等によりＲＧＢ各色成分共通に座標変換（歪曲収差座標変換）を施し、歪曲収差補正されたＲＧＢ画素データを出力する。後述するように、歪曲収差補正の座標変換には、倍率色収差補正用のメモリに比べ、メモリ容量が大ではあるが（最大１画面分）、１ポートで良いため高レイテンシのメモリ（ＤＲＡＭ等）を使用することが可能である。

ガンマ補正部１７０は、歪曲収差補正部１６０から出力されるＲＧＢ画素データを入力して、ＲＧＢそれぞれのルックアップテーブル等を用いて所定のガンマ補正処理を施し、ガンマ補正されたＲＧＢ画素データを出力する。ガンマ補正部１７０から出力された画素データは、図示しない表示部にモニタ表示される。

図１の構成により、色倍率収差および歪曲収差があり、周辺の画質（解像度）が低い光学系を用いた場合にも、高画質で、回路規模が小さい低コストな撮像システムを提供できる。なお、倍率色収差補正部１４０は、倍率色収差と歪曲収差を同時に補正する倍率色収差・歪曲収差補正部とすることでもよく、この場合には歪曲収差補正部１６０は不要となる。また、ガンマ補正部１７０はベイヤー補完部１３０の直後でもよい。

以下では、図１中の主要構成である倍率色収差補正部１４０、ＭＴＦ補正部１５０及び歪曲収差補正部１６０の具体的実施例について詳述する。
はじめに、倍率色収差補正部１４０と歪曲収差補正部１６０について詳述するが、まず、倍率色収差補正と歪曲収差補正の原理を説明する。

図２に模式的に示すように、倍率色収差と歪曲収差のある光学系を用いて撮影を行った場合、画面右上の１で示す位置（ピクセル）の画素データは、この本来の位置から歪曲収差によりずれ、さらに倍率色収差によってＲＧＢ各色成分でそれぞれ異なるずれをし、撮像素子で実際に撮像される位置は、ＲＧＢそれぞれ２（Ｒ），３（Ｇ），４（Ｂ）の位置となる。倍率色収差と歪曲収差の補正は、この２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分画素データを本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで可能である。ここで、２，３，４の位置が座標変換元の座標、１の位置が座標変換先の座標となる。

光学系の設計データより、歪曲収差の大きさ、倍率色収差の大きさが分かるため、本来の位置に対して、ＲＧＢ各色成分がどの位置にずれるかを計算することができる。

図３は倍率色収差と歪曲収差を同時に補正する方法を模式的に示したものである。すなわち、２（Ｒ），３（Ｇ），４（Ｂ）の位置（ピクセル）のＲＧＢ各色成分の画素データをそれぞれ本来の位置である１の位置（ピクセル）にコピーする、すなわち、座標変換することで、倍率色収差と歪曲収差を同時に補正することができる。しかしながら、この方法では、ＲＧＢ各色成分毎に容量が大で、かつ、低レイテンシのメモリまたは多ポートのメモリが必要となる。例えば、図３の場合だと、ＲＧＢそれぞれに、座標変換用として高速の６ラインのメモリが必要となる。

図４は倍率色収差と歪曲収差とを独立に補正する方法を模式的に示したものである。倍率色収差は各色成分で異なるが、ずれは小さい。一方、歪曲収差は、ずれは大きいが、各色成分とも同じである。これに着目し、まず、ＲＧＢ各色成分の画素データをそれぞれ座標変換して（後述の実施例では、ＲＢの色成分を座標変換して、Ｇ成分の位置にコピーする）、倍率色収差を補正し、その後、この倍率色収差補正されたＲＧＢ画素データをまとめて座標変換することで、歪曲収差を補正する。これにより、座標変換用のメモリを倍率色収差補正に必要なＲＧＢ対応の少容量・高速（低レンテンシまたは多ポート）なメモリと、歪曲収差補正に必要なＲＧＢ共通の大容量・低速（高レンテンシまたは単一ポート）なメモリに分けることができ、全体としてコスト低減が可能となる。図１のシステム構成は、この場合に対応する。

図４の（ａ）は倍率色収差補正を模式的に示したもので、２（Ｒ），４（Ｂ）の位置（ピクセル）のＲＢ色成分の画素データについて座標変換を行って、Ｇ成分の３（Ｇ）の位置（ピクセル）にコピーする。この操作により、倍率色収差が補正される。図４の（ｂ）は歪曲収差補正を模式的に示したもので、倍率色収差補正済みの３の位置（ピクセル）のＲＧＢ各色成分の画素データに対してまとめて座標変換を行い、本来の位置である１の位置（ピクセル）にコピーする。この操作により歪曲収差が補正される。

図４の例では、倍率色収差補正用の高速メモリは、各ＲＧＢ対応の３ラインのメモリで十分である。他に歪曲収差補正用に５ラインのメモリが必要となるが、ＲＧＢ共通の低速メモリでよく、図３に比較して、全体しては低コスト化が可能となる。

なお、ここで対象としている歪曲収差とは、目的の射影方式に対するレンズの歪みという意味であり、例えば目的の射影方式がカメラ上方から見下ろした画像が得られる射影方式であったり、ある一部分を拡大して表示される射影方式である場合も含む。

図５に倍率色収差補正部１４０の一実施形態の構成図を示す。１４１０は倍率色収差補正用座標変換メモリ（ラインバッファ）で、１４１０（Ｒ），１４１０（Ｇ），１４１０（Ｂ）はそれぞれＲＧＢ各色成分に対応する。１４２０は所定の座標変換式に従いＲＧＢそれぞれについて倍率色収差補正の変換座標を計算する倍率色収差補正座標変換演算部であり、１４３０は座標変換式に使用される係数を保持する座標変換係数テーブルである。

倍率色収差補正処理には、ラインバッファとして、小容量であるがＲＧＢ３ポートのメモリまたは低レイテンシのメモリが必要である。ここでは、倍率色収差の最大ずれ量がＹ方向に２０ラインと想定して、座標変換メモリ１４１０（Ｒ），１４１０（Ｇ），１４１０（Ｂ）は、それぞれ２０ライン分のＳＲＡＭで構成されるとする。Ｘ方向のサイズは解像度で決まり、例えば解像度ＶＧＡ（６４０×４８０）とすると、Ｘ方向のサイズは６４０ドットである。色深度はＲＧＢ８ビットであり、座標変換メモリ１４１０（Ｒ），１４１０（Ｇ），１４１０（Ｂ）とも、書込み読出しは８ビット単位で行われる。

このように、倍率色収差補正用座標変換メモリ（ラインバッファ）１４１０（Ｒ），１４１０（Ｇ），１４１０（Ｂ）は、小容量であるため、画像処理チップ内に用意された３ポートのＳＲＡＭを用いて、それぞれ２０ライン分のメモリ領域を確保する構成とすることが望ましい。なお、ＳＲＡＭのように低レイテンシのメモリの場合１ポートのメモリをタイムシェアリングにより３ポートのメモリとして使用することも可能である。

倍率色収差を受けた各ＲＧＢ画素データが、座標変換メモリ１４１０（Ｒ），１４１０（Ｇ），１４１０（Ｂ）に、それぞれ座標値（ｘ，ｙ）に従って先頭ラインから順次書込まれる。そして、各々２０ラインの画素データが書き込まれると、先頭ラインの画素データから順次捨てられ、代って後続ラインの画素データが新しく書き込まれていく。こうして、座標変換メモリ１４１０（Ｒ），１４１０（Ｇ），１４１０（Ｂ）には、それぞれ倍率色収差補正座標変換で必要とする最大２０ライン分のＲＧＢ画素データが順次格納される。

ここで、座標値（ｘ，ｙ）は１フレーム分の撮像画像の読出し位置を示している。一方、座標変換メモリ１４１０（Ｒ），１４１０（Ｇ），１４１０（Ｂ）は２０ラインのラインバッファで、書込みラインがサイクックに変化するため、座標値（ｘ，ｙ）をそのまま座標変換メモリ１４１０（Ｒ），１４１０（Ｇ），１４１０（Ｂ）の書込みアドレスに使用することができない。このため、座標値（ｘ，ｙ）の値を、座標変換メモリ１４１０（Ｒ），１４１０（Ｇ），１４１０（Ｂ）の実アドレスに変換する必要があるが、図５ではそのための構成は省略してある。これは、後述の読出し動作における変換後の座標値（Ｘ，Ｙ）と座標変換メモリ１４１０（Ｒ），１４１０（Ｇ），１４１０（Ｂ）の読出しアドレスとの関係でも同様である。

倍率色収差補正座標変換算出部１４２０は、座標変換先座標である座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従い、ＲＧＢそれぞれについて倍率色収差補正の変換座標を計算し、ＲＧＢそれぞれの座標変換元座標である座標値（Ｘ，Ｙ）を出力する。図４（ａ）に示したように、本実施形態では、ＲＢの色成分を座標変換してＧ成分の位置にコピーする。このため、倍率色収差補正座標変換演算部１４２０では、Ｇ成分については、入力された座標値（ｘ，ｙ）をそのまま座標値（Ｘ，Ｙ）として出力し、ＲＢ色成分について、所定の座標変換式を用いてそれぞれ入力された座標値（ｘ，ｙ）を座標値（Ｘ，Ｙ）に変換し、この座標値（Ｘ，Ｙ）を出力する。これを座標値（ｘ，ｙ）ごとに繰り返す。

ここで、座標変換式は、画面中央を原点とした場合、例えば、
Ｘ＝ｘ＋［ａ(1)＋ａ(2)×ａｂｓ(x)＋ａ(3)×ａｂｓ(y)＋ａ(4)×ｙ²］×ｘ
Ｙ＝ｙ＋［ｂ(1)＋ｂ(2)×ａｂｓ(y)＋ｂ(3)×ａｂｓ(x)＋ｂ(4)×ｘ²］×ｙ
（１）
と表わすことができる。ａｂｓ（ ）は絶対値、ａ(1)〜ａ(4)，ｂ(1)〜ｂ(4)は座標変換係数である。座標変換係数は、あらかじめ座標変換係数テーブル１４３０に保持される。

座標変換メモリ１４１０（Ｒ），１４１０（Ｇ），１４１０（Ｂ）は、先の書込み動作と平行して（実際には所定時間遅れて）、倍率色収差補正座標演算部１４２０から出力される座標値（Ｘ，Ｙ）に基づいて（実際には、座標値（Ｘ，Ｙ）をアドレス変換した値）、それぞれＲＧＢ画素データを順次読み出していく。この場合、座標変換メモリ１４１０（Ｇ）からは、書込み時と同じ位置のＧ成分画素データが読み出される。一方、座標変換メモリ１４１０（Ｒ），１４１０（Ｂ）からは、それぞれ書き込み時とは所定の位置ずれた位置、すなわち、倍率色収差分ずれた位置のＲＢ色成分画素データが読み出される。

以上の処理により、座標変換メモリ１４１０（Ｒ），１４１０（Ｇ），１４１０（Ｂ）からは、倍率色収差補正されたＲＧＢ画素データが出力されることになる。すなわち、座標変換元座標値（Ｘ，Ｙ）のＲＧＢ画素データが、座標変換先座標値（ｘ，ｙ）のＲＧＢ画素データとして出力される。

図６は倍率色収差補正座標変換演算部１４２０の二、三の実施例を示したものである。図６（ａ）は、Ｇの色成分は座標変換を行われず、入力された座標値（ｘ，ｙ）をそのまま、Ｇ用座標値（Ｘ，Ｙ）として出力し、ＲとＢの色成分についてのみ、それぞれ座標変換演算部１４２１、１４２２により、入力された座標値（ｘ，ｙ）を変換して、Ｒ用座標値（Ｘ，Ｙ）、Ｂ用座標値（Ｘ，Ｙ）を出力する実施例である。座標変換演算部はＲとＢ色成分のみでよいため、回路規模が少なくてすむ。

図６（ｂ），（ｃ）は、倍率色収差は一般にＧを中心にＲとＢの色成分がほぼ対称にずれることに着目するものである（図２）。ここで、図６（ｂ）は、座標変換演算部１４２３により、座標値（ｘ，ｙ）について補正量を求め、減算部１４２４で補正量分だけ座標値（ｘ，ｙ）から減算した値をＢ用座標値（Ｘ，Ｙ）とし、一方、加算部１４２５で補正量分だけ座標値（ｘ，ｙ）に加算した値をＲ用座標値（Ｘ，Ｙ）とする実施例である。図６（ａ）と同様に、Ｇ用座標値（Ｘ，Ｙ）には入力座標値（ｘ，ｙ）をそのまま出力する。

図６（ｃ）は、対称位置のずれを考慮し、さらにゲイン回路１４２６によりＲ用の補正量を調整するようにしたものである。なお、ゲイン回路はＢ側に設けることでもよい。図６（ｂ），（ｃ）の実施例によれば、座標変換演算部は一つで済み、回路規模を更に小さくできる。

なお、図６（ａ）の座標変換演算部１４２１、１４２２のかわりにＲとＢの各色成分毎に入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。同様に図６（ｂ），（ｃ）の座標変換演算部１４２３のかわりに入力座標値（ｘ，ｙ）と補正量の対応を記憶したＬＵＴを用意し、該ＬＵＴを用いて、座標値（ｘ，ｙ）に対応する補正量を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、倍率色収差補正は、基本的にメモリチップのみで実現可能となる。

次に、図７に歪曲収差補正部１６０の一実施形態の構成図を示す。１６１０はＲＧＢ３つの画素データを一つに合成するＲＧＢ合成部、１６２０はＲＧＢ画素データに共通の歪曲収差補正用座標変換メモリ、１６３０は合成されたＲＧＢ画素データを元の各色成分に分離するＲＧＢ分離部、１６４０は合成されたＲＧＢ画素データに対して、所定の座標変換式に従い歪曲収差補正の変換座標を計算する歪曲収差補正座標変換演算部、１６５０は座標変換式に使用される係数を保持する座標変換係数テーブルである。

歪曲収差は画素のずれ量が大きく、歪曲収差補正処理には、画素データを最大１画面分記憶しておくバッファメモリが必要である。一方、ずれはＲＧＢ各色成分とも同じで、ＲＧＢ画素データの合計ビット幅を持つ一つのバッファメモリでよい。ここでは、解像度がＶＧＡ（６４０×４８０）とし、ＲＧＢ画素データのビット数（色深度）がそれぞれ８ビットとして、座標変換メモリ１６２０は、書込み読出しが２４ビット単位の６４０×４８０ドットのＤＲＡＭで構成されるとする。

このように、歪曲収差補正用座標変換メモリ１６２０は、非常に大きな容量が必要で、画像処理チップ内にＳＲＡＭとして持つのはコスト的に困難であり、かつ、ＲＧＢに対して１ポートのメモリで十分なため、画像処理チップの外に用意したＤＲＡＭを用いるのが望ましい。

ＲＧＢ合成部１６１０は、順次、倍率色収差補正済みの各ＲＧＢ画素データ（各８ビット）を入力し、一つの画素データ（２４ビット）に合成して出力する。この合成されたＲＧＢ画素データが、座標変換メモリ１６２０に、それぞれ座標変換先の座標値（ｘ，ｙ）に従って先頭ラインから順次書き込まれる。

一方、歪曲収差補正座標変換演算部１６４０は、座標変換先の座標値（ｘ，ｙ）を入力として、多項式等の所定の座標変換式に従いＲＧＢ共通の歪曲収差補正の変換座標を計算し、座標変換元の座標値（Ｘ，Ｙ）を出力する。座標変換式は、先の倍率色収差補正と同じ（１）式で表わすことができる。ただし、使用される座標変換係数は当然異なる。その座標変換係数は、あらかじめ座標変換係数テーブル１６５０に保持される。

座標変換メモリ１６２０は、先のＲＧＢ合成画素データ（２４ビット）の書込み動作と平行して（正確には所定時間遅れて）、歪曲収差補正座標変換部１６４０から出力される座標値（Ｘ，Ｙ）に基づいて、ＲＧＢ合成画素データを順次読み出していく。ＲＧＢ分離部１６３０は、座標変換メモリ１６２０から読み出されたＲＧＢ合成画素データ（２４ビット）を元のＲＧＢ各色成分の画素データ（８ビット）に分離する。

以上の処理により、ＲＧＢ分離部１６３０からは、歪曲収差の補正された各ＲＧＢ画素データが出力されることになる。すなわち、各ＲＧＢ画素データが本来の位置である座標値（ｘ，ｙ）にコピーされる。

なお、歪曲収差補正処理でも、入力座標値（ｘ，ｙ）と出力座標値（Ｘ，Ｙ）の対応を記憶したルックアップテーブル（ＬＵＴ）を用意し、該ＬＵＴを用いて、座標変換先の座標値（ｘ，ｙ）に対する座標変換元の座標値（Ｘ，Ｙ）を直接得るようにしてもよい。これにより、座標変換のための計算が省略でき、歪曲収差補正も基本的にメモリチップのみで実現可能となる。

次に、ＭＴＦ補正部１５０について説明する。図８にＭＴＦ補正部１５０の基本構成を示す。ＭＴＦ補正部１５０は、倍率色収差補正されたＲＧＢ画素データを入力して、色・輝度信号分離部１５１０で輝度信号Ｙと色信号Ｃｂ，Ｃｒに分離した後、輝度信号ＹについてＦＩＲフィルタ（エッジ強調フィルタ）１５２０を用いて高域強調（ＭＴＦ補正）処理を施し、色・輝度信号合成部１５３０で、高域強調された輝度信号Ｙと色信号Ｃｂ，Ｃｒを合成してＲＧＢ画素データを出力する。

ここで、色・輝度信号分離部１５１０では、例えば次式によりＲＧＢ画素データを輝度信号Ｙと色信号Ｃｒ，Ｃｂに分離する。
Ｙ＝０.２９９Ｒ＋０.５８７Ｇ＋０.１１４Ｂ （２）
Ｃｒ＝０.５００Ｒ−０.４１９Ｇ−０.０８１Ｂ （３）
Ｃｂ＝−０.１６９Ｒ−０.３３２Ｇ＋０.５００Ｂ （４）
ＦＩＲフィルタ１５２０は、一般に図９に示すような５×５フィルタで構成されて、輝度信号Ｙ、色信号Ｃｂ，Ｃｒのうち、輝度信号Ｙのみを入力して所定の高域強調フィルタリングを行う。Ｙ信号のみの高域強調フィルタリング（ＭＴＦ補正）を行うことで、色ノイズの増幅を抑えた高画質な画像を得ることができる。

色・輝度信号合成部１５３０は、色信号Ｃｂ，Ｃｒ及び高域強調された輝度信号Ｙを入力して、例えば、次式により合成しＲＧＢ画素データを出力する。
Ｒ＝Ｙ＋１.４０２Ｃｒ （５）
Ｇ＝Ｙ−０.７１４Ｃｒ−０.３４４Ｃｂ （６）
Ｂ＝Ｙ＋１.７７２Ｃｂ （７）

本発明は、ＦＩＲフィルタ（エッジ強調フィルタ）１５２０の部分の改良に関する。本発明の構成のＦＩＲフィルタとすることで、画面上の端に行くに従い、高域強調を大きくすることができる。また、光学的に低くなりがちな画面中心からタンジェンシャル方向に特異的に強いエッジ強調を掛けることができる。図９に示したような従来の方向依存性のない均一なフィルタを用いて、本発明の構成と同等のエッジ強調効果を得る場合、全方向に非常に強力なエッジ強調を掛ける必要があり、大きなノイズ増幅という副作用がある。しかしながら、本発明の構成では光学解像度が落ちるタンジェンシャル方向に特異的に強調をかけることで、ノイズの増幅も押さえられる。ここで、画像中心というのは厳密に画像の中心である必要はなく、例えばレンズの製造公差などにより中心がずれる場合には、これを考慮して光軸の中心とするなど調整が可能である。

図１０に、本発明に係るＦＩＲフィルタ（エッジ強調フィルタ）の一実施例の構成図を示す。入力画素データ（輝度信号Ｙ）は、順次、ラインバッファ１１に格納され、注目画素と必要な参照画素の画素値がそれぞれ横方向エッジ抽出フィルタ１２及び縦方向エッジ抽出フィルタ１３に送られる。同時に、注目画素の画素値は加算器２２にも送られる。ラインバッファ１１は、ＳＲＡＭなどで構成され、高々数ライン（例えば、５ライン）程度あればよい。

横方向エッジ抽出フィルタ１２と縦方向エッジ抽出フィルタ１３は、それぞれ注目画素と所定の参照画素の画素値を入力として、横方向（Ｘ方向）と縦方向（Ｙ方向）のエッジ抽出フィルタリング処理を行う。ここで、横方向エッジ抽出フィルタ１２の係数と縦方向エッジ抽出フィルタ１３の係数としては、例えば、図１１に示すような値でよい。図１１中にのａが横方向エッジ抽出フィルタ１２の係数例を示し、ｂが縦方向エッジ抽出フィルタ１３の係数例を示す。なお、これらの係数の値は、使用する光学系に合わせて変更するようにする。

一方、Ｘ方向距離計算器１４とＹ方向距離算出器１５では、それぞれ水平／垂直同期信号に合わせて、現在フィルタリングされている注目画素に対する、画面中心からのＸおよびＹ方向の距離値を算出する。

図１２に画面中心と注目画素の関係を示す。画面中心は、撮影された画像の光学系の中心を意味する。注目画素の画面の中心からの距離算出は、光学系に対応して、図１３（ａ）に示すような単純な一次関数でもよいし、例えば図１３（ｂ）に示す２次あるいは高次の関数でもよい。また、光学系の組み付け誤差に起因する片ぼけと呼ばれる左右の解像度差があるが、それを補正する必要がある場合には、図１３（ｃ）のように、画像中心を中心として左右非対称な関数として、左右のエッジ強調強度に変化を持たせてもよい。また、その際に距離に適当なゲインを掛けることで、周囲に行くことに従って増加するＭＴＦ補正量の値を調整することができる。図１３の（ａ），（ｂ），（ｃ）は、いずれもＸ方向距離算出器１４の入出力特性を示したものであるが、Ｙ方向距離算出器１５についても同様である。

加算器１６では、Ｘ方向距離算出器１４で算出された注目画素の画面中心からのＸ方向距離値と所定の定数の中央部係数ａとを加算する。また、加算器１７では、Ｙ方向距離算出器１５で算出された注目画素の画面中心からのＹ方向距離値と所定の定数の中央部係数ａとを加算する。このように、Ｘ／Ｙ方向の各距離値に中央部係数ａを加算することにより、画面中央に関するＭＴＦの強調量が調整可能となる。中央部係数ａの値は、画面中央のＭＴＦ強調量に応じて変化させることができる。なお、画面中央に関するＭＴＦの強調量の調整を必要としない場合には、中央部係数ａを０とするか、加算器１６，１７をはじめから省略すればよい。

乗算器１８は、横方向エッジ抽出フィルタ１２で算出されたＸ方向エッジ抽出量に、加算器１６からの出力値を乗算する。乗算器１９は、縦方向エッジ抽出フィルタ１３で算出されたＹ方向エッジ抽出量に、加算器１７からの出力値を乗算する。すなわち、乗算器１８，１９は、注目画素の画面中心からの距離に応じて横／縦方向エッジ抽出フィルタ１２，１３のゲインを変化させる働きをしている。また、加算器１６，１７を介在させることにより、同時に画面中央に関するＭＴＦの強調量も調整可能である。

加算器２０は、乗算器１８，１９の出力を加算して、注目画素の中心からの距離に応じてエッジ強調量を得る。加算器２０の出力は、必要ならコアリング器２１により、ノイズの増幅を避けるべくコアリングされる。加算器２２は、ラインバッファ１１から読み出される注目画素の画素値とコアリング器２１の出力とを加算して、出力画素データとする。

ここで、コアリング器２１は、例えば、図１４（ａ），（ｂ）に示すような入出力特性を持ち、一定量以下のエッジ成分はノイズとして出力へ反映しないことで、ノイズの増幅を抑える働きをする。図１４（ａ），（ｂ）のどちらでも適切な方を用いてよいが、閾値を高くすると、ノイズ低減効果は大きくなるが、反面、画像に不自然さが現れたり、エッジ抽出効果が小さくなったりするため、適切な値に設定する。

なお、コアリング器は、乗算器１８，１９の後段にそれぞれ設けることでもよい。この場合、二つのコアリング器の閾値を異なった値とすることで、それぞれの方向ごとに適切なノイズの増幅を抑えることができる。

図１５に、本発明に係るＦＩＲフィルタ（エッジ強調フィルタ）の別の実施例の構成図を示す。これは、先の図１０の構成に対して、コアリング器２３，２４を横／縦方向の各エッジ抽出フィルタ１２，１３の後段に配置したものである。これ以外の構成は図１０と同様であるので、全体の動作説明は省略する。

図１５の構成とすることにより、コアリングの閾値が等価的に画面の位置により変化する。そのため、図１０のように画面均一なコアリングの閾値を持つ場合よりも、より大きなノイズ低減効果が得られる。

図１０や図１５の構成によれば、横方向エッジ抽出フィルタと縦方向エッジ抽出フィルタを、Ｘ／Ｙ方向距離算出器などと組み合わせることで、画面の各部でフィルタの係数を変化させる構成と同等の効果を小さな回路規模と低消費電力で実現することが可能である。なお、エッジ抽出フィルタは、横方向と縦方向に限らず、さらに斜め方向のエッジ抽出フィルタを加えることでもよい。この場合も、乗算器などは各方向ごとに一つずつ持てばよく、回路規模や消費電力の増加はわずかである。

本発明の別の実施形態としては、図１０や図１５の構成のＦＩＲフィルタ（エッジ強調フィルタ）をＲＧＢの各成分信号毎に備えることで、ＲＧＢの各成分信号について、画面上の端に行くに従い、高域強調を大きくすることが可能である。すなわち、ＭＴＦ補正部の構成には、色・輝度信号分離部や色・輝度信号合成部がなく、ＲＧＢの各色成分信号のＦＩＲフィルタのみの場合もある。図１０や図１５の構成のＦＩＲフィルタは、このような場合にもそのまま適用可能である。

なお、図１、図１０や図１５に示した画像処理装置の処理機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明の画像処理方法を実現することができること、あるいは、その処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることで本発明の画像処理方法を実現できることは言うまでもない。また、コンピュータでその処理機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、提供したりすることができるとともに、インターネット等のネットワークを通してそのプログラムを配布したりすることが可能である。

本発明を適用した画像撮像装置の一実施形態の全体構成図。 倍率色収差及び歪曲収差の説明図。 倍率色収差及び歪曲収差を同時に補正する説明図。 倍率色収差及び歪曲収差を独立に補正する説明図。 図１中の倍率色収差補正部の具体的構成図。 図５中の倍率色収差補正座標変換演算部の各実施例の構成図。 図１中の歪曲収差補正部の具体的構成図。 図１中のＭＴＦ補正部の基本構成図。 ＦＩＲフィルタの係数例を示す図。 本発明に係るＦＩＲフィルタの一実施例の具体的構成図。 図１０中の縦／横方向エッジ抽出フィルタの係数例を示す図。 画面中心と注目画素の関係を示す図。 距離算出器の入出力特性の一例を示す図。 コアリング器の入出力特性の一例を示す図。 本発明に係るＦＩＲフィルタの他の実施例の具体的構成図。

符号の説明

１００ 制御部
１１０ 撮像素子
１２０ Ａ／Ｄ変換器
１３０ ベイヤー補完部
１４０ 倍率色収差補正部
１５０ ＭＴＦ補正部
１６０ 歪曲収差補正部
１７０ ガンマ補正部
１５１０ 色・輝度信号分離部
１５２０ ＦＩＲフィルタ（ＭＴＦ補正）
１５３０ 色・輝度信号合成部
１１ ラインバッファ
１２ 横方向エッジ抽出フィルタ
１３ 縦方向エッジ抽出フィルタ
１４ Ｘ方向距離計算器
１５ Ｙ方向距離算出器
１６，１７，２０，２２ 加算器
１８，１９ 乗算器
２１ コアリング器

Claims (19)

1. 画像の鮮鋭度を向上させるエッジ強調フィルタ手段を有する画像処理装置であって、
   前記エッジ強調フィルタ手段は、
   注目画素に対する、撮像された画像の光学系の中心からの２軸以上の距離値を算出する距離算出手段と、
   ２方向以上の各方向のエッジ量を抽出する複数のエッジ抽出フィルタと、
   複数の前記エッジ抽出フィルタで抽出された各エッジ量に、それぞれ前記距離算出手段で算出された対応する軸方向の距離値を乗算する複数の乗算手段と、
   複数の前記乗算手段の出力を加算する第１の加算手段と、
   注目画素の画素値と前記第１の加算手段の出力とを加算する第２の加算手段と、
   を有することを特徴とする画像処理装置。
2. 複数の前記エッジ抽出フィルタは、画面の横方向と縦方向の２つのエッジ抽出フィルタであることを特徴とする請求項１に記載の画像処理装置。
3. 前記第１の加算手段の後段に、入力が所定の閾値以下のときに出力を零とするコアリング手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
4. 複数の前記乗算手段の後段にそれぞれ入力が所定の閾値以下のときに出力を零とするコアリング手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
5. 複数のエッジ抽出フィルタの後段にそれぞれ、入力が所定の閾値以下のときに出力を零とするコアリング手段を更に有することを特徴とする請求項１又は２に記載の画像処理装置。
6. 前記距離算出手段の出力に一定の定数を加える第３の加算手段を更に有することを特徴とする請求項１乃至５のいずれか１項に記載の画像処理装置。
7. 前記距離算出手段の出力は画像の中心に対して非対称であることを特徴とする請求項１乃至６のいずれか１項に記載の画像処理装置。
8. 前記エッジ強調フィルタ手段の前段に、画像情報を色信号と輝度信号に分離する色・輝度分離手段を有し、
   前記エッジ強調フィルタは輝度信号に対してエッジ強調を行うことを特徴とする請求項１乃至７のいずれか１項に記載の画像処理装置。
9. 画像は広画角の光学系を用いて撮像されることを特徴とする請求項１乃至８のいずれか１項に記載の画像処理装置。
10. 画像の鮮鋭度を向上させるエッジ強調フィルタリングステップを有する画像処理方法であって、
    前記エッジ強調フィルタリングステップは、
    注目画素に対する、撮像された画像の光学系の中心からの２軸以上の距離値を算出する距離算出ステップと、
    ２方向以上の各方向のエッジ量をそれぞれ抽出するエッジ抽出フィルタリングステップと、
    前記エッジ抽出フィルタリングステップで抽出された各方向のエッジ量に、それぞれ前記距離算出ステップで算出された対応する軸方向の距離を乗算する乗算ステップと、
    前記乗算ステップで得られた各乗算結果を加算する第１の加算ステップと、
    注目画素の画素値と前記第１の加算ステップの出力とを加算する第２の加算ステップと、
    を有することを特徴とする画像処理方法。
11. 前記エッジ抽出フィルタリングステップは、画面の横方向と縦方向の２方向のエッジ量を抽出することを特徴とする請求項１０に記載の画像処理方法。
12. 前記第１の加算ステップの後に、入力が所定の閾値以下のときに出力を零とするコアリングステップを更に有することを特徴とする請求項１０または１１に記載の画像処理方法。
13. 前記乗算ステップの後に、該乗算ステップで得られた各乗算結果に、それぞれ入力が所定の閾値以下のときに出力を零とするコアリングステップを更に有することを特徴とする請求項１０又は１１に記載の画像処理方法。
14. 前記エッジ抽出フィルタリングステップの後に、該エッジ抽出フィルタリングステップで抽出された各エッジ量に、それぞれ入力が所定の閾値以下のときに出力を零とするコアリングステップを更に有することを特徴とする請求項１０又は１１に記載の画像処理方法。
15. 前記距離算出ステップの出力に一定の定数を加える第３の加算ステップを更に有することを特徴とする請求項１０乃至１４のいずれか１項に記載の画像処理方法。
16. 前記距離算出ステップの出力は画像の中心に対して非対称であることを特徴とする請求項１０乃至１５のいずれか１項に記載の画像処理方法。
17. 前記エッジ強調フィルタフィルタリングステップの前に、画像情報を色信号と輝度信号に分解する色・輝度分離ステップを有し、
    前記エッジ強調フィルタリングステップは輝度信号に対してエッジ強調を行うことを特徴とする請求項１０乃至１６のいずれか１項に記載の画像処理方法。
18. 画像は広画角の光学系を用いて撮像されることを特徴とする請求項１０乃至１７のいずれか１項に記載の画像処理方法。
19. 広画角の光学系と、
    前記光学系を通して撮像された画像を読み取る撮像素子と、
    前記撮像素子で読み取られた画像を処理する請求項１乃至９のいずれか１項に記載の画像処理装置と、
    前記画像処理装置で処理された画像を表示する表示装置と、
    を具備してなる車載カメラ装置。

Images