JP2008301395A - 映像信号処理回路および固体撮像装置 - Google Patents

Abstract

【課題】広角レンズを使用したカメラシステムにおいて、光学歪曲収差の影響により周辺で画像が歪む。これを補正するために、ＹＵＶデータを使って歪補正処理を行うが、ＹＵＶ４４４フォーマットでは画像データ量が大きく、ＹＵＶ４２０フォーマットではデータ量が少ないが画質が劣化するという問題がある。
【解決手段】イメージセンサ２からの画像データをＡＦＥ３にてデジタル化した後でメモリ５にＲＡＷ画像データを蓄えた後で、水平５画素・垂直５ライン分のＲＡＷ画像データを読み出し歪補正処理を行うことにより、画質を損なうことなくメモリ使用量を大幅に削減することができる。また、歪補正後の画像を水平３画素・垂直３ライン分同時に生成することにより、歪補正処理と同時に輪郭強調やノイズ低減処理を施すことができる。
【選択図】図１

Description

本発明は、イメージセンサより入力される映像信号に対して画像処理を行う映像信号処理回路に関する。また、固体撮像装置に関する。

車載カメラなど広角範囲の撮影が必要な撮像装置においては、魚眼レンズなどの広角タイプのレンズを取り付けている。広角レンズを用いると、レンズ中心から離れた画像端では、光学歪曲収差の影響のために撮影画像が歪んでしまう。そこで、あらかじめレンズ特性に基づく計算で補正テーブルを作成しておき、その補正テーブルを用いた補間処理にて歪補正を行うようにしている。

図９は従来の技術における映像信号処理回路の構成を示すブロック図である。図９において、１は広角レンズ、２はイメージセンサ、３はＡＦＥ（Analog Front End）、４はＹＣ処理回路、５はＤＲＡＭなどの大容量の内部メモリ、６は歪補正処理回路、７はＳＤカードなどの外部メモリ、８は液晶などのモニタである。イメージセンサ２の前に広角レンズ１が配置されている。イメージセンサ２で撮像されたアナログ画像データは、ＡＦＥ３によりデジタル変換される。このデジタル変換された画像データをＲＡＷ画像データと呼ぶ。ＲＡＷ画像データは、ＹＣ処理回路４によってＹＣ画像データに処理され、さらに、内部メモリ５および歪補正処理回路６で歪補正処理（補正テーブルによる補間処理）が施される。歪補正処理されたＹＣ画像データは、外部メモリ７に記憶されたり、モニタ８に出力される。

ＲＡＷ画像データは、イメージセンサ２のカラーフィルタ配列により、Ｒ，Ｇ，Ｂの３色分の画像データがベイヤ配列状に並んだ生の（raw）データである。ＲＡＷ画像データは、色味、風合いの調整が可能であるが、ファイルサイズが大きく、記録に時間がかかるという特性をもつ。図１０にベイヤ配列のフォーマットを示す。１画素中にＲまたはＧまたはＢの８ビットデータがある。

図１１にＹＣ処理の１例を示す。入力されたベイヤ配列のＲＡＷ画像データから、中央の画素位置Ｑ１７にＹＵＶデータを作るものとする。この場合、各画素から（数１）に従って補間を行い、ＹＵＶデータを求める。ここで、ＹＵＶは輝度・色差マルチプレクス信号のことであり、Ｙは輝度データ、Ｕは赤の色差データ、Ｖは青の色差データである。

図１２および図１３を用いて、歪補正処理における補間処理について説明する。歪曲収差が発生していないときの画像Ｍ１において、任意画素の座標位置をＣ１とする。Ｍ２は歪曲収差により歪みが発生した画像である。画像Ｍ２において、画像Ｍ１における座標位置Ｃ１が座標位置Ｃ２になったとする。補正テーブルには、座標位置Ｃ１と座標位置Ｃ２の相関関係が格納されている。

次に、補正テーブル上の歪補正後の画素位置が小数点以下で示されたときには、図１３に示すような線形補間処理が施される。Ｄ１〜Ｄ４は補正前の画素で、Ｐ０は線形補間により作られた画素である。画素Ｐ０の画素値Ｈは、各画素との距離に応じて（数２）に基づいて計算される。

以上により、歪補正処理が実施される。なお、関連する歪補正方法が特許文献１に示されている。
特開２００４−３６２０６９号公報

従来の画像処理装置では、１フレーム分のＹＣ画像データを内部メモリ５に蓄える構成となっている。そのため、内部メモリ５は、大容量である必要がある。内部メモリ５をＬＳＩ内部に混載する場合には、ＬＳＩ自体のコストが高くなる。

内部メモリ５の容量を削減するために、画像データをＹＵＶ４４４フォーマットからＹＵＶ４２２フォーマットまたはＹＵＶ４２０フォーマットに変換する方式がある。しかし、色成分の画質劣化の問題が発生する。図１４に各フォーマットを示す。

ＹＵＶ４４４フォーマットでは、１画素毎にＹ（輝度）が８ビット、Ｕ（赤の色差）が８ビット、Ｖ（青の色差）が８ビット分のデータを持つ。すなわち、１画素に付き２４ビットとなっている。

ＹＵＶ４２２フォーマットでは、色差データを水平方向に各１／２に間引いたフォーマットで、２画素毎に１画素分のＵとＶをそれぞれ持つ。この場合、１画素に付き１６ビット分の画像データを持つので、ＹＵＶ４４４フォーマットの２／３のサイズになる。

ＹＵＶ４２０フォーマットでは、色差データを垂直方向に１／２に間引いたフォーマットで、水平２画素、垂直２ラインで１画素分のＵとＶをそれぞれ持つ。この場合、１画素に付き１２ビット分の画像データを持つので、ＹＵＶ４４４フォーマットの１／２のサイズになる。

このように、画像データ量削減と画質劣化抑制とはトレードオフの関係にある。

本発明は、このような事情に鑑みて創作したものであり、特にＬＳＩの内部にＤＲＡＭなどのメモリを混載するが、大容量メモリを採用できない場合に、歪補正処理を小容量のメモリサイズにて実現可能な映像信号処理回路を提供することを目的としている。

本発明による映像信号処理回路は、イメージセンサより入力される映像信号に対する画像処理で光学歪曲収差により画像歪が発生する映像信号処理回路であって、ＹＣ処理前のＲＡＷ画像データに対して歪補正処理を行う歪補正処理回路を備えたものである。

この構成によれば、ＹＣ画像データに変換される前のいわゆる生のデータであるＲＡＷ画像データに対して歪補正処理を行うので、歪補正処理直前のデータ（ＲＡＷ画像データ）を格納しておくためのメモリについて、そのメモリサイズを縮小することが可能となる。

上記構成の映像信号処理回路において、前記ＲＡＷ画像データとして３×３画素分の画像データを対象とし、前記歪補正処理回路は、前記ＲＡＷ画像データから水平２画素・垂直２画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより歪補正された輝度データを１画素分生成するという態様がある。

また上記構成の映像信号処理回路において、前記ＲＡＷ画像データとしてｎ×ｎ画素分（ｎ＝４以上）の画像データを対象とし、前記歪補正処理回路は、前記ＲＡＷ画像データから水平（ｎ−１）画素・垂直（ｎ−１）画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより水平（ｎ−２）画素・垂直（ｎ−２）画素分の歪補正された輝度データを生成するという態様がある。

また上記構成の映像信号処理回路において、前記歪補正処理回路は、歪補正を行った水平（ｎ−２）画素・垂直（ｎ−２）画素分のデータに対して、水平（ｎ−２）画素以下・垂直（ｎ−２）画素以下の輪郭強調フィルタをかけることにより輪郭強調処理を施すという態様がある。

また上記構成の映像信号処理回路において、前記歪補正処理回路は、歪補正を行った水平（ｎ−２）画素・垂直（ｎ−２）画素分のデータに対して、水平（ｎ−２）画素以下・垂直（ｎ−２）画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施すという態様がある。

また上記構成の映像信号処理回路において、前記歪補正処理回路は、５×５画素分の画像データから水平２画素・垂直２画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより歪補正された色差データを１画素分生成するという態様がある。

また上記構成の映像信号処理回路において、前記歪補正処理回路は、前記色差データの生成について、水平２画素毎に１画素分生成するという態様がある。

また上記構成の映像信号処理回路において、前記歪補正処理回路は、前記色差データの生成について、水平２画素・垂直２画素毎に１画素分生成するという態様がある。

また上記構成の映像信号処理回路において、前記歪補正処理回路は、前記色差データの生成について、水平ｎ画素・垂直ｎ画素毎に１画素分生成するという態様がある。

また上記構成の映像信号処理回路において、前記歪補正処理回路は、ｎ×ｎ画素分（ｎ＝６以上）のＲＡＷ画像データから水平（ｎ−３）画素・垂直（ｎ−３）画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより水平（ｎ−４）画素・垂直（ｎ−４）画素分の歪補正された色差データを生成するという態様がある。

また上記構成の映像信号処理回路において、前記歪補正処理回路は、歪補正を行った水平（ｎ−４）画素・垂直（ｎ−４）画素分のデータに対して、水平（ｎ−４）画素以下・垂直（ｎ−４）画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施すという態様がある。

また本発明による固体撮像装置は、上記のいずれかの映像信号処理回路が搭載されている固体撮像装置である。

本発明によれば、歪補正処理を施すためにＲＡＷ画像データを蓄えるメモリのサイズを縮小し、ＬＳＩの小面積化を図ることができる。なお、読み出す画素数が増え従来より広いバス幅のメモリが必要で、ＬＳＩ内部にＤＲＡＭなど内部メモリを混載させる場合には、大きくバス幅をとることができるため、問題にならない。

なお、ベイヤ配列であれば、例えば１画素中にＲまたはＧまたはＢの８ビットデータがあるので、従来のＹＵＶ４４４フォーマットに比べてデータサイズを１／３に縮小することが可能となる。

以下、本発明にかかわる映像信号処理回路の実施の形態を図面を用いて詳細に説明する。

（実施の形態１）
図１は本発明の実施の形態における映像信号処理回路の構成を示すブロック図である。図１において、１は広角レンズ、２はイメージセンサ、３はＡＦＥ（アナログフロントエンド）、５はＤＲＡＭなどの大容量の内部メモリ、６は歪補正処理回路、７はＳＤカードなどの外部メモリ、８は液晶などのモニタである。従来技術の図９との比較において、ＡＦＥ３と内部メモリ５との間のＹＣ処理回路４がなく、ＡＦＥ３が内部メモリ５に接続されている。

イメージセンサ２の前に広角レンズ１を設置した状態で撮像されたアナログデータをＡＦＥ３でデジタル化する。ここで、イメージセンサ２におけるカラーフィルタはベイヤー配列であるとする。ＡＦＥ３によるＲＡＷ画像データは、内部メモリ５に１フレーム分蓄えられる。この内部メモリ５に蓄えられるＲＡＷ画像データは、ＹＣ画像データに変換される前のいわゆる生のデータである。歪補正処理回路６は、補正テーブルに則って内部メモリ５からＲＡＷ画像データを読み出す。歪補正処理回路６では歪補正およびＹＣ処理を同時に行う。これにより、歪補正されたＹＵＶ４４４データが得られる。このＹＵＶ４４４データは、外部メモリ７やモニタ８などに出力される。

本実施の形態の具体的説明として、３画素×３画素の場合を例示する。

図２は、３×３画素分のＲＡＷ画像データから水平２画素・垂直２画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより歪補正された輝度データを１画素分生成する輝度データ生成方法を示す。

図２（ａ）のような配列において、歪補正処理回路６は、内部メモリ５から水平３画素、垂直３ライン分のＲＡＷ画像データを読み出し、図２（ｂ）に示す位置に輝度データＹ０〜Ｙ３を生成する。輝度データＹの生成は（数３）に基づいて行われる。

次に、歪補正処理回路６は、求めた４つの輝度データＹ０〜Ｙ３に対して、従来と同様の補間処理を行うことにより、歪補正後の輝度データ（Ｐ０）を得る。

（実施の形態２）
次に、本発明の実施の形態２における映像信号処理回路について説明する。本実施の形態は、５画素×５画素の場合を例示する。

〔歪補正と輝度データＹの生成〕
図３は、ｎ×ｎ画素分（ｎ＝４以上）のＲＡＷ画像データから水平（ｎ−１）画素・垂直（ｎ−１）画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより、水平（ｎ−２）画素・垂直（ｎ−２）画素分の歪補正された輝度データを生成する輝度データ生成方法を示す。ここでは、ｎ＝５となっている。

図３（ａ）のような配列において、歪補正処理回路６は、内部メモリ５から水平５画素、垂直５ライン分のＲＡＷ画像データを読み出し、図３（ｂ）に示す位置に輝度データＹ０〜Ｙ１５を生成する。輝度データＹの生成は（数４）に基づいて行われる。

次に、歪補正処理回路６は、求めた１６個の輝度データＹ０〜Ｙ１５に対して従来と同様の補間処理を行うことにより、Ｐ０〜Ｐ８位置の輝度データを生成する。ここで、輝度データＰ０，Ｐ１，Ｐ２，Ｐ３，Ｐ５，Ｐ６，Ｐ７，Ｐ８と輝度データＰ４の関係は、（数５）で表される。

次いで、歪補正処理回路６は、９つの輝度データＰ０〜Ｐ８に対して３×３ＴＡＰの輪郭強調フィルタ（例えばラプラシアンフィルタ）の処理を施すことにより、輝度データＰ４で輪郭が強調された輝度画像を生成する。

あるいは、歪補正処理回路６は、歪補正を行った水平（ｎ−２）画素・垂直（ｎ−２）画素分のデータに対して、水平（ｎ−２）画素以下・垂直（ｎ−２）画素以下の輪郭強調フィルタをかけることにより輪郭強調処理を施す。

また、歪補正処理回路６は、９つの輝度データＰ０〜Ｐ８に対して３×３ＴＡＰのノイズ低減フィルタ（例えば平均化フィルタ）の処理を施すことにより、輝度データＰ４でノイズ低減された輝度画像を生成する。

あるいは、歪補正処理回路６は、歪補正を行った水平（ｎ−２）画素・垂直（ｎ−２）画素分のデータに対して、水平（ｎ−２）画素以下・垂直（ｎ−２）画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施す。

なお、上記以外のｎ画素サイズの場合でも同様に計算することができる。

次に、本実施の形態２において、５×５画素分の画像データから水平２画素・垂直２画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより歪補正された色差データを１画素分生成する色差生成方法について説明する。

〔歪補正と赤の色差データＵの生成〕
まず、歪補正処理回路６において歪補正と赤の色差データＵの生成を行うアルゴリズムについて説明する。

図４（ａ）のような配列のＲＡＷ画像データにおいて、歪補正処理回路６は、内部メモリ５から水平５画素、垂直５ライン分のＲＡＷ画像データを読み出し、図４（ｂ）に示す４つの位置に赤の色差データＵ０〜Ｕ３を生成する。赤の色差データＵの生成は（数６）に基づいて行われる。

次に、歪補正処理回路６は、求めた４つの赤の色差データＵ０〜Ｕ３に対して、従来と同様の補間処理を行うことにより、図４（ｃ）の位置に歪補正後の赤の色差データを得る。

〔歪補正と青の色差データＶの生成〕
次に、歪補正処理回路６において歪補正と青の色差データＶの生成を行うアルゴリズムについて説明する。

図５（ａ）のような配列のＲＡＷ画像データにおいて、歪補正処理回路６は、内部メモリ５から水平５画素、垂直５ライン分のＲＡＷ画像データを読み出し、図５（ｂ）に示す４つの位置に青の色差データＶ０〜Ｖ３を生成する。青の色差データＶの生成は（数７）に基づいて行われる。

次に、求めた４つの青の色差データＶ０〜Ｖ３に対して、従来と同様の補間処理を行うことにより、歪補正後の青の色差データＶを得る。

〔ＹＵＶ４２２フォーマット〕
次に、歪補正処理回路６が色差データの生成について、水平２画素毎に１画素分生成する態様について説明する。上記の処理を水平２画素に対して１回処理を施すことにより、ＹＵＶ４２２フォーマット（図１４中央欄参照）に対応した画像データを得る。この場合、内部メモリ５から読み出すデータは、２画素分の処理に対して５×５画素分読み出せばよいので、１画素当たりの読み出し画素数が１／２で済む。

〔ＹＵＶ４２０フォーマット〕
次に、歪補正処理回路６が色差データの生成について、水平２画素・垂直２画素毎に１画素分生成する態様について説明する。水平２画素、垂直２ラインに対して１回処理を施すことにより、ＹＵＶ４２０フォーマット（図１４右欄参照）に対応した画像データを得る。この場合、内部メモリ５から読み出すデータは、４画素分の処理に対して５×５画素分読み出せばよいので、１画素当たりの読み出し画素数が１／４で済む。

水平ｎ画素・垂直ｎ画素毎に１画素処理を行うことにより、内部メモリ５のメモリサイズの削減を図ることができる。

（実施の形態３）
次に、本発明の実施の形態３における映像信号処理回路について説明する。本実施の形態は、７画素×７画素の場合を例示する。

歪補正処理回路６が、ｎ×ｎ画素分（ｎ＝６以上）のＲＡＷ画像データから水平（ｎ−３）画素・垂直（ｎ−３）画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより水平（ｎ−４）画素・垂直（ｎ−４）画素分の歪補正された色差データを生成する色差生成方法について説明する。ここでは、ｎ＝７となっている。

〔歪補正と赤の色差データＵの生成〕
まず、歪補正処理回路６において歪補正と赤の色差データＵの生成を行うアルゴリズムについて説明する。

図６（ａ）のような配列のＲＡＷ画像データにおいて、歪補正処理回路６は、内部メモリ５から水平７画素、垂直７ライン分のＲＡＷ画像データを読み出し、図６（ｂ）に示す１６の位置に赤の色差データＵ０〜Ｕ１５を生成する。赤の色差データＵの生成は（数８）に基づいて行われる。

次に、歪補正処理回路６は、求めた１６個の赤の色差データＵ０〜Ｕ１５に対して、従来と同様の補間処理を行うことにより、図６（ｃ）の位置に水平３画素・垂直３ライン分の歪補正後の赤の色差データＵを生成する。その後、３×３ＴＡＰのノイズ低減フィルタ（例えば平均化フィルタ）の処理を施すことにより、赤の色差成分に対してノイズを低減した画像データを得る。

〔歪補正と青の色差データＶの生成〕
次に、歪補正処理回路６において歪補正と青の色差データＶの生成を行うアルゴリズムについて説明する。

図７（ａ）のような配列のＲＡＷ画像データにおいて、歪補正処理回路６は、内部メモリ５から水平７画素、垂直７ライン分のＲＡＷ画像データを読み出し、図７（ｂ）に示す１６の位置に青の色差データＶ０〜Ｖ１５を生成する。青の色差データＶの生成は（数９）に基づいて行われる。

次に、求めた１６個の青の色差データＶ０〜Ｖ１５に対して、従来と同様の補間処理を行うことにより、図７（ｃ）の位置に水平３画素・垂直３ライン分の歪補正後の青の色差データＶを生成する。その後、３×３ＴＡＰのノイズ低減フィルタ（例えば平均化フィルタ）の処理を施すことにより、青の色差成分に対してノイズを低減した画像データを得る。

（実施の形態４）
図８に示す固体撮像装置は、車載カメラにおいて内部メモリ５および歪補正処理回路６を１つのＬＳＩに搭載したものである。

本発明の映像信号処理回路は、特に車載カメラなどの広角カメラにおいて光学歪曲収差の影響を受けて画像周辺が歪んだ場合などに、光学歪補正を低コストで実現するのに有用である。特に内部メモリ（例えばＤＲＡＭ）をＬＳＩに混載した場合において、容量削減に大きな効果がある。

本発明の実施の形態１における映像信号処理回路の構成を示すブロック図 本発明の実施の形態１における輝度生成方法の説明図 本発明の実施の形態２における輝度成分輪郭強調およびノイズ低減処理方法の説明図 本発明の実施の形態２における赤の色差データの生成方法の説明図 本発明の実施の形態２における青の色差データの生成方法の説明図 本発明の実施の形態３における赤の色差成分のノイズ低減処理方法の説明図 本発明の実施の形態３における青の色差成分のノイズ低減処理方法の説明図 本発明の実施の形態４における固体撮像装置の構成を示すブロック図 従来の技術における映像信号処理回路の構成を示すブロック図 ベイヤー配列図 従来の技術におけるＹＣ処理の説明図 従来の技術における補正テーブルの説明図 従来の技術における補間方法の説明図 各種画像フォーマット図

符号の説明

１ 広角レンズ
２ イメージセンサ
３ ＡＦＥ（アナログフロントエンド）
４ ＹＣ処理回路
５ 内部メモリ
６ 歪補正処理回路
７ 外部メモリ
８ モニタ

Claims (12)

1. イメージセンサより入力される映像信号に対する画像処理で光学歪曲収差により画像歪が発生する映像信号処理回路であって、ＹＣ処理前のＲＡＷ画像データに対して歪補正処理を行う歪補正処理回路を備えた映像信号処理回路。
2. 前記ＲＡＷ画像データとして３×３画素分の画像データを対象とし、前記歪補正処理回路は、前記ＲＡＷ画像データから水平２画素・垂直２画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより歪補正された輝度データを１画素分生成する請求項１に記載の映像信号処理回路。
3. 前記ＲＡＷ画像データとしてｎ×ｎ画素分（ｎ＝４以上）の画像データを対象とし、前記歪補正処理回路は、前記ＲＡＷ画像データから水平（ｎ−１）画素・垂直（ｎ−１）画素分の輝度データを生成し、その輝度データに対して線形補間処理を施すことにより水平（ｎ−２）画素・垂直（ｎ−２）画素分の歪補正された輝度データを生成する請求項１に記載の映像信号処理回路。
4. 前記歪補正処理回路は、歪補正を行った水平（ｎ−２）画素・垂直（ｎ−２）画素分のデータに対して、水平（ｎ−２）画素以下・垂直（ｎ−２）画素以下の輪郭強調フィルタをかけることにより輪郭強調処理を施す請求項３に記載の映像信号処理回路。
5. 前記歪補正処理回路は、歪補正を行った水平（ｎ−２）画素・垂直（ｎ−２）画素分のデータに対して、水平（ｎ−２）画素以下・垂直（ｎ−２）画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施す請求項３に記載の映像信号処理回路。
6. 前記歪補正処理回路は、５×５画素分の画像データから水平２画素・垂直２画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより歪補正された色差データを１画素分生成する請求項１に記載の映像信号処理回路。
7. 前記歪補正処理回路は、前記色差データの生成について、水平２画素毎に１画素分生成する請求項５に記載の映像信号処理回路。
8. 前記歪補正処理回路は、前記色差データの生成について、水平２画素・垂直２画素毎に１画素分生成する請求項５に記載の映像信号処理回路。
9. 前記歪補正処理回路は、前記色差データの生成について、水平ｎ画素・垂直ｎ画素毎に１画素分生成する請求項５に記載の映像信号処理回路。
10. 前記歪補正処理回路は、ｎ×ｎ画素分（ｎ＝６以上）のＲＡＷ画像データから水平（ｎ−３）画素・垂直（ｎ−３）画素分の色差データを生成した後に、これらの色差データに対して線形補間処理を施すことにより水平（ｎ−４）画素・垂直（ｎ−４）画素分の歪補正された色差データを生成する請求項１に記載の映像信号処理回路。
11. 前記歪補正処理回路は、歪補正を行った水平（ｎ−４）画素・垂直（ｎ−４）画素分のデータに対して、水平（ｎ−４）画素以下・垂直（ｎ−４）画素以下のノイズ低減フィルタをかけることによりノイズ低減処理を施す請求項１０に記載の映像信号処理回路。
12. 請求項１から請求項１１までのいずれかに記載の映像信号処理回路が搭載されている固体撮像装置。

Images