JP2019204988A - 画像処理装置及び画像処理方法 - Google Patents

Abstract

【課題】対象物の認識可能範囲を拡大することが可能な画像処理装置及び画像処理方法を提供する。【解決手段】画像処理装置５は、車両Ｖの周辺に向けて赤外光を照射する赤外光照射部１と、車両の周辺の赤外光画像を撮像して赤外光画像信号を出力する撮像部２と、撮像部２からの赤外光画像信号に基づいて赤外光画像内において第一の対象物が撮像された第一の領域を認識し、この第一の領域に関する赤外光画像内の第一の位置情報を出力する認識部３とを有し、撮像部２は、認識部３が出力した第一の位置情報に基づいて、赤外光画像内において第一の領域の第一の輝度よりも低い輝度を有する第二の領域の第二の輝度を第一の輝度に基づいて調整する輝度調整部２３４を有する。【選択図】図６

Description

本発明は、赤外光を照射する赤外光照射部と赤外光画像を撮像する撮像部とを有する画像処理装置及び画像処理方法に関するものである。

車両に搭載され、この車両前方を主に撮像する車載カメラを有する車載カメラシステムが提案、実現されている。特に、最新のＥｕｒｏＮＣＡＰ（European New Car Assessment Programme：ヨーロッパ新車アセスメントプログラム）において、夜間における歩行者等に対するＡＥＢ（Autonomous Emergency Braking：自動緊急ブレーキシステム）が評価項目に含まれることが予定されており、車両前方を撮像するカメラを有する車載カメラシステムの重要性が高まっている。

このような車載カメラシステムに適用されるカメラは、従来から車両に搭載されている可視光のヘッドライトにより照射された対象物からの戻り光を撮像するものが用いられてきた。ここで、夜間の遠方視認性及び安全性の向上を目的としてハイビームヘッドライトを常時点灯させると、このハイビームヘッドライトが対向車に照射されることで対向車のドライバーが眩惑する可能性があるため、ハイビームヘッドライトを常時点灯させることは難しい。このため、可視光のヘッドライトでは光を届かせる範囲に一定の限界が生じていた。

そこで、更なる夜間の遠方視認性及び安全性の向上を目的として、近赤外光が受光可能な車両前方を撮像する車載カメラと、車両前方に近赤外光を投光する投光器とを有する車載カメラシステムが提案されている（例えば特許文献１参照）。人間は近赤外光を視認することができないので、投光器を車両前方に照射していても対向車のドライバーが近赤外光により眩惑されることがない。これにより、可視光のヘッドライトによる光よりも遠くまで投光器により近赤外光を照射させ、車載カメラにより常に遠方などの被写体等を撮像することが可能となり、遠方の視認性及び、安全性の向上が見込まれる。

特許第５４２３６３１号公報

特許文献１に代表される、近赤外光を投光する投光器を有する車載カメラシステムにおいて、より遠方の視認性を高める観点から、投光器から投光される近赤外光を例えば１００ｍ程度の遠方まで届かせていた。これは投光器から投光される近赤外光を絞り込むことでもあるので、結果的に投光器からの近赤外光が届く範囲、つまり近赤外光の照射角を狭めることにもなる。

従って、投光器からの近赤外光が届かない範囲に位置する対象物にまで十分に近赤外光が届かない可能性があり、この対象物を車載カメラシステムにより認識しにくいことがあり得る。

そこで、本発明は、対象物の認識可能範囲を拡大することが可能な画像処理装置及び画像処理方法を提供することを目的としている。

前記目的を達成するために、本発明の画像処理装置は、車両の周辺に向けて赤外光を照射する赤外光照射部と、車両の周辺の赤外光画像を撮像して赤外光画像信号を出力する撮像部と、赤外光画像信号に基づいて、赤外光画像内において第一の対象物が撮像された第一の領域を認識し、この第一の領域に関する赤外光画像内の第一の位置情報を出力する認識部とを有し、撮像部が、第一の位置情報に基づいて、赤外光画像内において第一の領域の第一の輝度よりも低い輝度を有する第二の領域の第二の輝度を、第一の輝度に基づいて調整する輝度調整部を有することを特徴とする。

このように構成された本発明の画像処理装置では、輝度調整部が、認識部から出力された第一の位置情報に基づいて、赤外光画像内において第一の領域の第一の輝度よりも低い輝度を有する第二の領域の第二の輝度を、第一の輝度に基づいて調整している。

このようにすることで、対象物の認識可能範囲を拡大することが可能となる。

本発明の実施の形態である画像処理装置が適用される車載カメラシステムの概略構成を示す図である。 実施の形態である画像処理装置の撮像部及び認識部を示すブロック図である。 実施の形態である画像処理装置の撮像部の概略構成を示すブロック図である。 実施の形態である画像処理装置の信号処理部の概略構成を示すブロック図である。 実施の形態である画像処理装置の認識部の概略構成を示すブロック図である。 実施の形態である画像処理装置の概略構成を示す機能ブロック図である。 実施の形態である画像処理装置の動作を説明するためのフローチャートである。 実施の形態である画像処理装置の輝度調整動作を説明するためのフローチャートである。 実施の形態である画像処理装置による輝度調整前の画像の一例を示す図である。 実施の形態である画像処理装置による輝度調整後の画像の一例を示す図である。 実施の形態である画像処理装置の撮像部及び認識部の他の例を示すブロック図である。

以下、この発明の実施の形態を図面に基づいて説明する。図１は、本発明の実施の形態である画像処理装置が適用される車載カメラシステムの概略構成を示す図である。

なお、本明細書の記載において、「赤外」という用語を「近赤外」と同等に用いることがある。

本実施の形態である車載カメラシステムＳは、この車載カメラシステムＳが搭載されている車両Ｖの進行方向前方（図中左方）に向けて近赤外光を含む光を投光する投光器（赤外光照射部）１と、車両の進行方向前方の近赤外光画像を撮像して近赤外光画像信号を出力するカメラ（撮像部）２と、このカメラ２から出力される近赤外光画像信号に基づいて、近赤外光画像内に撮像された対象物を認識する認識部３と、認識部３による認識結果が入力されるＥＣＵ（エンジンコントロールユニット：Engine Control Unit）等の車両制御部４とを有する。

そして、本発明の実施の形態である画像処理装置５は、投光器１、カメラ２及び認識部３を少なくとも有する。

本実施形態に係る画像処理装置５は、投光器１、及び後述するカメラ２の光学系２０、光学フィルタ２１を除き、ＣＰＵ、ＦＰＧＡなどのプログラマブルロジックデバイス、ＡＳＩＣ等の集積回路に代表される演算素子、及び、ハードディスクドライブ等の大容量記憶媒体やＲＯＭ、ＲＡＭ等の半導体記憶媒体などの記憶媒体、さらには外部機器との間のインタフェース回路を有する。ここで、本実施の形態では、画像処理装置５を構成するカメラ２及び認識部３は一体の演算素子、記憶媒体及びインタフェース回路を有するものとして説明するが、これらが別体の演算素子等により構成されていてもよい。

カメラ２、認識部３には図示しない記憶媒体があり、制御用プログラムが格納されている。この制御用プログラムが車載カメラシステムＳの起動時に演算素子により実行されて、画像処理装置５は図２〜図６に示すような機能構成を備えたものとなる。特に、本実施形態の画像処理装置５は、後述するように高速の画像処理を行うので、高速演算可能な演算素子、例えばＦＰＧＡなどを有することが好ましい。

投光器１は、近赤外光を含む光を車両Ｖの進行方向前方に投光するものであり、一例として、一般的に車両Ｖに搭載されているヘッドライトに、単一または複数の発光ダイオード（ＬＥＤ）等の近赤外光を放射する近赤外光源を併設したものである。当然、単一種類の発光ダイオード等の光源により可視光から近赤外光までの波長帯域を有する光を放射する構成であってもよい。

この投光器１は、可視光及び近赤外光それぞれに所定の放射角をもってこれら可視光等を放射する。近赤外光の放射角は、既に説明したように、可視光の放射角より狭くされており、これにより、可視光よりも近赤外光のほうが遠方まで光が届くように構成されている。

本実施の形態である画像処理装置５では、図２に示すように、カメラ２は車両Ｖ前方の近赤外光画像を撮像して近赤外光画像信号を認識部３に出力する。認識部３はこの近赤外光画像内において人物等の対象物が撮像された領域を既知の画像認識手法を用いて認識し、その認識結果を領域の位置情報として出力する。認識部３から出力された位置情報は、例えばＣＡＮ（Controller Area Network）により車両制御部４に送信されて車両Ｖの走行制御に用いられる一方、カメラ２にもフィードバックされて後述する輝度調整処理等に用いられる。

カメラ２は、図３に示すように、光学系２０、光学フィルタ２１、センサ２２及び信号処理部２３を有する。

光学系２０は、レンズやミラー等の光学素子から構成されて、被写体から出射した光または被写体で反射した光を、後述するセンサ２２の図略の撮像面に結像させる光学系である。光学系２０は、車載カメラシステムＳの場合には、一般に狭角、広角、魚眼等のパンフォーカスレンズが用いられる。さらに、ズーム機構やオートフォーカス機構を備えたレンズ系が用いられてもよいし、絞りやシャッターを備えたレンズ系が用いられてもよい。また、画質や色再現性の向上のために光学ローパスフィルタや帯域分離フィルタや偏光フィルタ等の各種フィルタ類を備えたレンズ系が用いられてもよい。

センサ２２は複数の画素から構成されており、光学系２０によりその撮像面に結像された被写体の像に基づく入射光を、その輝度に応じた出力電圧信号に光電変換する。光電変換された出力電圧信号は、センサ２２の内部に備えられたアンプ（図示省略）、更に同じくセンサ２２の内部に備えたＡＤコンバータ（図示省略）を通してデジタル化されて、出力信号ＲＡＷが生成される。

センサ２２としては、少なくとも近赤外光に対して感度を有するＣＭＯＳイメージセンサやＣＣＤイメージセンサ等の光電変換素子が用いられる。本実施の形態では、センサ２２は所定のフレームレート（例えば１／３０秒、１／６０秒）で車両Ｖの進行方向前方の近赤外光画像を撮像し、出力信号を信号処理部２３に送出する。

なお、センサ２２を構成する各画素の上には、一例として透過する波長帯域が異なる４種類のフィルタ（赤色フィルタＲ、緑色フィルタＧ、青色フィルタＢ、透明フィルタＣ）がそれぞれ規則的に配列され、これら４種類のフィルタにより光学フィルタ２１が構成されている。但し、光学フィルタ２１の構成は、センサ２２からの出力信号ＲＡＷに近赤外光成分が含まれるものであれば既知のものが適用可能である。

信号処理部２３は、センサ２２に対して撮像を行うタイミングを指示するとともに、センサ２２で撮像された出力信号ＲＡＷを受けて各種信号処理を行い、この信号処理の結果である近赤外光画像信号を出力する。既に説明したように、信号処理部２３から出力された近赤外光画像信号は認識部３に入力されるとともに、この認識部３からは対象物が撮像された領域の位置情報がフィードバックされ、信号処理部２３における輝度調整処理等に用いられる。

さらに、信号処理部２３は、各種信号処理の結果に基づいていわゆる自動露出（ＡＥ：Automatic Exposure）制御信号をセンサ２２に送出する。センサ２２は、信号処理部２３からの撮像タイミングに基づいて、自動露出制御信号に従ったシャッタースピード等による撮像動作を行う。

信号処理部２３は、図３に示すように、入力制御部２３０、ノイズ除去部２３１、画素補間部２３２、ホワイトバランス処理部２３３、輝度調整部２３４及び出力制御部２３５を有する。

入力制御部２３０は、センサ２２から出力された出力信号ＲＡＷを受け入れ、これをノイズ除去部２３１及びその後段に送出する。また、入力制御部２３０は、輝度調整部２３４などが検出した近赤外光画像信号の輝度レベル等を受け入れ、これに基づいて自動露出制御信号を生成してセンサ２２に送出する。

ノイズ除去部２３１は、センサ２２からの出力信号ＲＡＷに含まれるノイズを既知の手法により低減、除去する。

画素補間部２３２は、ノイズ除去部２３１の出力であるノイズ除去された出力信号ＲＡＷを、出力信号ＲＡＷを構成する各色に対応する４つの色信号（Ｒ，Ｇ，Ｂ，Ｃ）に分離する。このとき、信号がない画素は出力を０（空白）とする。次いで、画素補間部２３２は、空白の画素において観測されると予想される画素値を、近傍の画素値を用いて線形補間する。そして、全ての画素において、それぞれ４つの色信号（Ｒ，Ｇ，Ｂ，Ｃ）を生成する。さらに、画素補間部２３２は、既知のリニアマトリクス演算により色信号補正処理を行う。

ホワイトバランス処理部２３３は、画素補間部２３２から出力された色信号（Ｒ，Ｇ，Ｂ，Ｃ）それぞれに対し、色温度に応じた補正係数を乗算することで色信号に対するホワイトバランス処理を行う。

輝度調整部２３４は、画素補間部２３２からの出力色信号の輝度レベル等を検出し、検出した輝度レベル等に基づいて、既知の手法であるＡＧＣ（自動利得制御：Automatic Gain Control）などにより出力信号の輝度のゲイン（利得）を調整し、さらに、規定のガンマカーブに基づいてガンマ処理を行う。加えて、輝度調整部２３４は、本実施の形態独特の輝度調整処理を行うが、これについては後に詳述する。

出力制御部２３５は、ホワイトバランス処理部２３３からの出力色信号及び輝度調整部２３４により調整された輝度信号を合成し、近赤外光画像信号として認識部３に送出する。また、出力制御部２３５は、認識部３から対象物が撮像された領域の位置情報を受け入れ、この位置情報を輝度調整部２３４に送出する。

認識部３は、図５に示すように、入出力制御部３０と検知部３１とを有する。

入出力制御部３０は、カメラ２からの出力である近赤外光画像信号を受け入れ、これを検知部３１に送出する。また、入出力制御部３０は、検知部３１からの出力である、対象物が撮像された領域の位置情報を受け入れ、これをカメラ２に送出する。

検知部３１は、カメラ２が撮像した近赤外光画像内に人物等の対象物が撮像されていると、対象物が撮像された領域を検知し、この領域に関する近赤外光画像内の位置情報を出力する。検知部３１による対象物検知（認識）手法は公知のものでよく、一例として、ＨｏＧ（Histogram of Oriented Gradients）特徴量を算出し、この特徴量に基づいて対象物を認識する手法が挙げられる。ここに、ＨｏＧとは、局所領域(セル)の輝度の勾配方向をヒストグラム化したものであり、対象物の輪郭抽出に用いることができる。

検知部３１は、撮像された対象物を認識した結果として、対象物が撮像された関心領域（ＲＯＩ：Region Of Interest）に関する近赤外光画像内の位置情報（ＲＯＩ情報）を出力する。この位置情報は、一例として近赤外光画像内の対象物の位置座標値として、x_start（水平座標の開始値）、y_start（垂直座標の開始値）、x_end（水平座標の終了値）、及びy_end（垂直座標の終了値）で表される。領域が矩形であるならば、座標（x_start，y_start）は矩形領域の左下位置に相当し、座標（x_end，y_end）は矩形領域の右上位置に相当する。

ＨｏＧ特徴量を用いた対象物認識であると、検知部３１は対象物の輪郭を抽出し、この輪郭により囲まれた領域を検知できるので、検知領域（認識領域）が必ずしも矩形領域である必要はないが、本実施の形態である画像処理装置５では、検知部３１は近赤外光画像内において対象物が撮像された領域を含む矩形領域を認識し、この矩形領域に関する位置情報を出力するものとする。

また、検知部３１は、認識した対象物が撮像されている領域よりも外側にやや広げた領域（例えば数画素分）について位置情報を出力する。どの程度広げるかについては任意に設定可能である。加えて、画像の中央部分と周辺部分とでは車両Ｖの車速に伴う変化が大きいと考えられるので、周辺部分については中央部分よりも広げる画素数を多くしてもよい。

なお、検知部３１は、近赤外光画像内に対象物を認識できなかったとき、位置情報としてx_start＝y_start＝x_end＝y_end＝０を出力する。

次に、図６は、本実施の形態である画像処理装置５の概略構成を示す機能ブロック図である。図６に示す各機能構成手段については既に説明した内容を含むので、既に説明した内容については適宜省略する。

本実施の形態である画像処理装置５は、赤外光照射部（投光器）１、撮像部（カメラ）２、及び認識部３を少なくとも有する。

赤外光照射部１は、車両Ｖの周辺に向けて近赤外光を照射する。

撮像部２は、車両Ｖの周辺の近赤外光画像を撮像して近赤外光画像信号を出力する。撮像部２はセンサ２２と信号処理部２３とを有し、この信号処理部２３は輝度調整部２３４を有する。

認識部３は、撮像部２から出力された近赤外光画像信号に基づいて、近赤外光画像内において第一の対象物が撮像された第一の領域を認識し、この第一の領域に関する近赤外光画像内の第一の位置情報を出力する。

そして、輝度調整部２３４は、認識部３が出力した第一の位置情報に基づいて、近赤外光画像内において第一の領域の第一の輝度よりも低い輝度を有する第二の領域の第二の輝度を、第一の輝度に基づいて調整する。

ここで、輝度調整部２３４は、第一の位置情報に基づいて、近赤外光画像内において第一の輝度と略同一の輝度を有し、かつ、第一の領域及び第二の領域のいずれとも異なる第三の領域の輝度を、近赤外光画像信号に係る第三の領域の輝度より下げる。

また、認識部３は、近赤外光画像内において、第一の輝度より低い輝度を有する第二の対象物が撮像された第四の領域を認識し、この第四の領域に関する近赤外光画像内の第二の位置情報を出力し、輝度調整部２３４は、第二の位置情報に基づいて第四の領域の輝度を近赤外光画像信号に係る第四の領域の輝度より上げる。

さらに、撮像部２のセンサ２２はフレーム単位の近赤外光画像信号を生成し、画像処理装置５は第一の位置情報及び第一の輝度がフレーム単位で格納される記憶部６を有し、輝度調整部２３４は、記憶部６に格納されている直近のフレームに係る第一の位置情報及び第一の輝度を読み出し、輝度調整を行うフレームに係る第一の輝度を直近のフレームに係る第一の輝度に調整する。

なお、認識部３及び輝度調整部２３４の動作の詳細、及び、第一〜第四の領域、第一、第二の輝度の定義については後に詳述する。

次に、図９及び図１０を参照して、本実施の形態である画像処理装置５の認識部３及び輝度調整部２３４の動作の概要について説明する。

認識部３による対象物認識処理の結果、近赤外光画像内に対象物が撮像されていない（対象物を認識できない）ために位置情報（ＲＯＩ情報）が出力されないとき、輝度調整部２３４は、ＡＧＣ等により出力信号のゲイン調整を行い、さらにガンマ処理を行った結果を出力する。このように輝度調整部２３４により一般的な輝度調整等が行われた近赤外光画像信号は認識部３に入力され、再度認識部３による対象物認識処理が行われる。

また、画像処理装置５の起動時においても認識部３による対象物認識処理が行われていないので、このときも輝度調整部２３４は、ＡＧＣ等により出力信号のゲイン調整を行い、さらにガンマ処理を行った結果を出力する。

また、輝度調整部２３４は、画素単位の近赤外光画像信号の輝度の差分に基づいて、近赤外光画像の領域判定を行う。より詳細には、輝度調整部２３４は、特定画素の近赤外光画像信号の輝度とこの特定画素の水平方向の隣に位置する画素の近赤外光画像信号の輝度との差分を算出し、この差分に基づいて輝度値が閾値を超える箇所を判定してフラグを立て、この判定結果に基づいて近赤外光画像を輝度値が異なる複数の領域に区分する。

なお、ノイズの影響を受けにくくする観点から、輝度調整部２３４は、上述の閾値を超える画素が複数個続いたときにフラグを立てることもでき、また、水平方向のみならず垂直方向（上下方向）に隣り合う画素間の輝度値の差分に基づいても判定をすることができる。

そして、輝度調整部２３４は、上述した領域判定の結果に基づいて、この領域の輝度調整を行う。

まず、投光器１からの近赤外光が照射され、かつ、認識部３による対象物認識処理の結果、対象物が撮像された領域であると判定された領域については、輝度調整部２３４は輝度のゲインを調整しない（つまりゲインを固定する）。投光器１からの近赤外光が照射されているか否かの判定は、上述の領域判定により判定された領域の内、一定値以上の（つまり明るい）輝度値を有する領域であるかどうかにより行えばよい。このような領域については対象物認識処理を引き続き確実に行う観点から、ゲインを固定する。この領域が上述した第一の領域であり、第一の領域についての位置情報が第一の位置情報であり、第一の領域内に撮像された対象物が第一の対象物であり、領域の輝度が第一の輝度である。

また、投光器１からの近赤外光が照射されているが、認識部３による対象物認識処理の結果、対象物が撮像された領域であると判定されていない領域については、光量は十分であると判断されるので、輝度調整部２３４は輝度のゲインを落とす（下げる）。つまり、明るく処理し過ぎることにより画像に白飛びと呼ばれる現象が生じることを抑制するために輝度調整を行う。この領域が上述した第三の領域である。ゲインを下げる量は任意に設定可能である。

さらに、投光器１からの近赤外光が照射されておらず、かつ、認識部３による対象物認識処理の結果、対象物が撮像された領域であると判定されていない領域については、輝度調整部２３４は、上述した第三の領域において輝度調整を行った輝度値と同等の輝度値にまでなるように輝度のゲインを上げる。これにより、認識部３による対象物認識処理がより確実に行えるようにする。この領域が上述した第二の領域であり、輝度調整を行う前の領域の輝度が第二の輝度である。

そして、投光器１からの近赤外光が照射されておらず、かつ、認識部３による対象物認識処理の結果、対象物が撮像された領域であると判定された領域については、この領域の輝度値が低いにもかかわらず対象物が撮像された領域であると判定されていることから、認識部３がノイズを対象物と判定している可能性と、認識部３が正しく対象物を判定している可能性とが併存している。そこで、輝度調整部２３４は、上述した第二の領域に対して上げたゲイン値の半分程度のゲイン値だけ、この領域の輝度のゲインを上げる。この領域が上述した第四の領域であり、第四の領域についての位置情報が第二の位置情報であり、第四の領域内に撮像された対象物が第二の対象物である。

以上説明した輝度調整部２３４による輝度調整を、輝度調整部２３４による輝度（ゲイン）調整前及び輝度（ゲイン）調整後の近赤外光画像を模式的にそれぞれ示した図９及び図１０を参照して説明する。

図９において、投光器１からの近赤外光が照射されている領域Ａ１は第三の領域であり、この領域Ａ１内において認識部３により対象物Ｂ１が認識された領域Ａ２は第一の領域である。

領域Ａ２を含む領域Ａ１は、対象物Ｂ１をより確実に認識する観点から一定の輝度を確保することが好ましい。一方、近赤外光が照射されていない領域（後述する領域Ａ３、Ａ４）の輝度との間のコントラストをあまり大きくすると白飛びが生じてしまうので、領域Ａ２については輝度のゲインを下げ、領域Ａ１については次のフレームの画像においても確実な認識を引き続き行う観点から、輝度のゲインを調整しない。

一方、投光器１からの近赤外光が照射されていない領域Ａ３は第二の領域である。図９に示すように、投光器１からの近赤外光は狭い範囲に絞ることで遠方まで近赤外光を届かせているため、相対的に領域Ａ３が占める割合は大きくなる。一方で、道路の横から道路に歩いてくる歩行者のように、近赤外光を狭い範囲に絞ることで、こういった歩行者を対象物として認識するためには、この領域Ａ３の輝度をある程度高くする必要がある。そこで、領域Ａ３の輝度が輝度調整後の領域Ａ２の輝度と同程度になるように、この領域Ａ３の輝度のゲインを上げる。

輝度調整部２３４による輝度調整後の近赤外光画像を図１０に示す。なお、図９及び図１０において、ハッチングの斜線の密度が高いほど輝度が暗いことを示している。領域Ａ３の輝度のゲインを上げたことにより、図９において周囲の暗さに隠れていた対象物Ｂ２が視認しやすくなり、この結果、認識部３による対象物認識処理が容易となる。認識部３により対象物Ｂ２が認識されると、この対象物Ｂ２が認識された領域Ａ４が第四の領域となる。また、領域Ａ２と領域Ａ３とのコントラスト比が抑えられ、領域Ａ２において白飛びが発生することを抑制できる。

ここに、輝度調整部２３４による輝度（ゲイン）調整は、対象領域に含まれる画素の輝度値に対して一定値（これがゲインである）を乗算することにより行われる。つまり、線形変換による輝度調整である。あるいは、輝度値に一定値（通常これはオフセット値と呼ばれる）を加算することによって輝度調整を行ってもよい。当然、一定値を乗算するとともに他の一定値を加算する輝度調整を行ってもよい。さらに、対象領域に含まれる画素の輝度値のヒストグラムを作成し、このヒストグラムを所望の形状のヒストグラムに変換する（一例としてヒストグラム平滑化）ことにより輝度調整を行ってもよい。

次に、本実施の形態である画像処理装置５の動作の詳細を図７及び図８のフローチャートを参照して説明する。なお、画像処理装置５を構成する各部の動作のうち、既に詳細に説明している動作については適宜省略する。

図７のフローチャートに示す動作は、画像処理装置５の起動時（基本的に車両制御部４の起動時とほぼ同時）に開始する。まず、ステップＳ１では、カメラ２のセンサ２２が車両Ｖ前方の近赤外光画像を撮像し、出力信号ＲＡＷを信号処理部２３に送出する。ステップＳ２では、センサ２２からの出力信号ＲＡＷを入力制御部２３０が受け入れる。

ステップＳ３では、センサ２２からの出力信号ＲＡＷに対してノイズ除去部２３１がノイズ除去処理を行う。ステップＳ４では、画素補間部２３２が線形補間及び色補正処理を行う。

ステップＳ５では、ステップＳ４において線形補間及び色補正処理がされた信号に対して輝度調整部２３４が近赤外光画像の領域判定を行い、さらに、ステップＳ６では、ステップＳ５における領域判定の結果も参照して輝度調整を行う。輝度調整の詳細なフローチャートについては後述する。

ステップＳ７では、ステップＳ４において線形補間及び色補正処理がされた信号に対してホワイトバランス処理部２３３がホワイトバランス処理を行う。

ステップＳ８では、出力制御部２３５が、ステップＳ６において輝度調整がされた輝度信号とステップＳ７においてホワイトバランス処理がされた色信号とを合成する。ステップＳ９では、出力制御部２３５が、ステップＳ８において合成された信号を近赤外光画像信号として認識部３に出力する。

ステップＳ１０では、認識部３の検知部３１が、対象物検知処理アルゴリズムにより、近赤外光画像信号内に対象物が撮像されているかどうかの認識処理を行う。

そして、ステップＳ１１では、ステップＳ１０の結果、検知部３１が対象物を認識できたか否かが判定され、対象物を認識できたと判定されたらプログラムはステップＳ１２に移行し、対象物を認識できなかったと判定されたらプログラムはステップＳ１３に移行する。

ステップＳ１２では、検知部３１が対象物の位置情報を出力し、ステップＳ１３では検知部３１が対象物を認識できなかったことを示す位置情報（上述の例ではx_start＝y_start＝x_end＝y_end＝０）を出力する。ステップＳ１２またはステップＳ１３において検知部３１から出力された位置情報はステップＳ５における領域判定に用いられる。

次に、図８は、図７のフローチャートのステップＳ６における、輝度調整部２３４による輝度調整動作の具体的内容を説明するためのフローチャートである。

まず、図７のステップＳ５において輝度調整部２３４が領域判定を行い、次いで、ステップＳ２０では、認識部３から位置情報が出力されているか否かが判定される。そして、位置情報が出力されている（ステップＳ２０においてＹＥＳ）と判定されたらプログラムはステップＳ２１に移行し、位置情報が出力されていない（ステップＳ２０においてＮＯ）と判定されたらプログラムはステップＳ３２に移行する。

ステップＳ２１では、図７のステップＳ５における領域判定の結果を用いて、輝度調整を行う特定の領域を抽出する。ステップＳ２２では、記憶部６から１つ前のフレームにおける位置情報及びこの位置情報に係る輝度を読み出す。そして、ステップＳ２１において抽出された領域が、１つ前のフレームにおいて認識部３が対象物を認識した領域であるか否かが判定される。そして、対象物が認識された領域である（ステップＳ２２においてＹＥＳ）と判定されたらプログラムはステップＳ２３に移行し、対象物が認識された領域でない（ステップＳ２２においてＮＯ）と判定されたらプログラムはステップＳ２４に移行する。

ステップＳ２３では、抽出された領域の輝度を、１つ前のフレームにおける輝度に調整する。この後、プログラムはステップＳ３３に移行する。

ステップＳ２４では、抽出された領域を代表する輝度値を算出する。抽出された領域を代表する輝度値は、領域内の画素毎の輝度値のヒストグラムを作成し、このヒストグラムの中間値、または平均値とすることができる。

ステップＳ２５では、ステップＳ２４で算出した輝度値が閾値を超えるか否かが判定され、閾値を超える（ステップＳ２５においてＹＥＳ）と判定されたらプログラムはステップＳ２６に移行し、閾値以下である（ステップＳ２５においてＮＯ）と判定されたらプログラムはステップＳ２９に移行する。

ステップＳ２６では、ステップＳ２１において抽出された領域が認識部３により対象物が認識された領域であるか否かが判定される。そして、そして、対象物が認識された領域である（ステップＳ２６においてＹＥＳ）と判定されたらプログラムはステップＳ２７に移行し、対象物が認識された領域でない（ステップＳ２６においてＮＯ）と判定されたらプログラムはステップＳ２８に移行する。

ステップＳ２７では、抽出された領域の輝度値を調整しない（ゲインを固定する）。この後、プログラムはステップＳ３３に移行する。一方、ステップＳ２８では、抽出された領域の輝度値を所定値αだけ下げる。この所定値αは任意に設定可能である。この後、プログラムはステップＳ３３に移行する。

一方、ステップＳ２９でも、ステップＳ２１において抽出された領域が認識部３により対象物が認識された領域であるか否かが判定される。そして、そして、対象物が認識された領域である（ステップＳ２９においてＹＥＳ）と判定されたらプログラムはステップＳ３０に移行し、対象物が認識された領域でない（ステップＳ２９においてＮＯ）と判定されたらプログラムはステップＳ３１に移行する。

ステップＳ３０では、抽出された領域の輝度値を所定値γだけ上げる。この所定値γは、ステップＳ３１における所定値βの半分程度に設定される。この後、プログラムはステップＳ３３に移行する。一方、ステップＳ３１では、抽出された領域の輝度値を所定値βだけ上げる。この所定値βは、調整後の輝度値がステップＳ２８において所定値αだけ下げられた輝度値と同等となるように設定される。この後、プログラムはステップＳ３３に移行する。

一方、ステップＳ３２では、近赤外光画像全体に対して一般的な輝度調整を行う。この後、プログラムはステップＳ３２に移行する。

ステップＳ３３では、領域判定された全ての領域について輝度調整が行われたか否かが判定され、全ての領域で輝度調整が行われた（ステップＳ３３においてＹＥＳ）と判定されたらプログラムは図７のステップＳ８に移行し、輝度調整が行われていない領域がある（ステップＳ３３においてＮＯ）と判定されたらプログラムはステップＳ３４に移行し、ステップＳ３４において次の領域を抽出した後、ステップＳ２２に戻る。

以上のように構成された本実施形態の画像処理装置５では、認識部３による対象物認識処理の結果出力される第一の位置情報に基づいて、輝度調整部２３４が、近赤外光画像内において第一の領域の第一の輝度よりも低い輝度を有する第二の領域の第二の輝度を、第一の輝度に基づいて調整している。

これにより、赤外光照射部１からの近赤外光が照射されていない領域の輝度を、近赤外光が照射されている領域の輝度に基づいて調整することができ、対象物の認識可能範囲を拡大することが可能な画像処理装置５を実現することができる。

ここで、輝度調整部２３４は、第一の位置情報に基づいて、近赤外光画像内において第一の輝度と略同一の輝度を有し、かつ、第一の領域及び第二の領域のいずれとも異なる第三の領域の輝度を、近赤外光画像信号に係る第三の領域の輝度より下げるので、赤外光照射部１からの近赤外光が照射されているものの、対象物が認識されていない領域の輝度を下げることができ、これにより白飛び等が生じるのを抑制することができる。

また、認識部３は、近赤外光画像内において、第一の輝度より低い輝度を有する第二の対象物が撮像された第四の領域を認識して、この第四の領域に関する近赤外光画像内の第二の位置情報を出力し、輝度調整部２３４は、第二の位置情報に基づいて第四の領域の輝度を近赤外光画像信号に係る第四の領域の輝度より上げているので、認識部３による対象物認識処理結果がノイズに基づく可能性と実際に対象物が認識された結果である可能性との両面を考慮して輝度調整を行うことができる。

さらに、撮像部２のセンサ２２はフレーム単位の近赤外光画像信号を生成し、記憶部６が第一の位置情報及び第一の輝度をフレーム単位で格納し、輝度調整部２３４が、記憶部６に格納されている直近のフレームに係る第一の位置情報及び第一の輝度を読み出し、輝度調整を行うフレームに係る第一の輝度を直近のフレームに係る第一の輝度に調整しているので、直近のフレームにおいて認識部３が認識した対象物に係る輝度を維持することができ、これにより、引き続き認識部３による対象物認識処理を確実に行うことができる。

以上、図面を参照して、本発明の実施の形態を詳述してきたが、具体的な構成は、この実施の形態及び実施例に限らず、本発明の要旨を逸脱しない程度の設計的変更は、本発明に含まれる。

一例として、上述の実施の形態では、カメラ２と認識部３とは一体の演算素子等により構成されていたが、図１１に示すように、画像処理用のＥＣＵ７をカメラ２とは別体に設け、このＥＣＵ７内に認識部３を設けてもよい。また、図６において、画像処理装置５の外に認識部３を配置してもよい。

Ｓ 車載カメラシステム
Ｖ 車両
１ 投光器（赤外光照射部）
２ カメラ（撮像部）
３ 認識部
５ 画像処理装置
６ 記憶部
２２ センサ
２３ 信号処理部
２３４ 輝度調整部

Claims (5)

1. 車両の周辺に向けて赤外光を照射する赤外光照射部と、
   前記車両の周辺の赤外光画像を撮像して赤外光画像信号を出力する撮像部と、
   前記赤外光画像信号に基づいて、前記赤外光画像内において第一の対象物が撮像された第一の領域を認識し、この第一の領域に関する前記赤外光画像内の第一の位置情報を出力する認識部とを有し、
   前記撮像部は、前記第一の位置情報に基づいて、前記赤外光画像内において前記第一の領域の第一の輝度よりも低い輝度を有する第二の領域の第二の輝度を、前記第一の輝度に基づいて調整する輝度調整部を有することを特徴とする画像処理装置。
2. 前記輝度調整部は、前記第一の位置情報に基づいて、前記赤外光画像内において前記第一の輝度と略同一の輝度を有し、かつ、前記第一の領域及び前記第二の領域のいずれとも異なる第三の領域の輝度を、前記赤外光画像信号に係る前記第三の領域の輝度より下げることを特徴とする請求項１に記載の画像処理装置。
3. 前記認識部は、前記赤外光画像内において、前記第一の輝度より低い輝度を有する第二の対象物が撮像された第四の領域を認識し、この第四の領域に関する前記赤外光画像内の第二の位置情報を出力し、
   前記輝度調整部は、前記第二の位置情報に基づいて前記第四の領域の輝度を前記赤外光画像信号に係る前記第四の領域の輝度より上げることを特徴とする請求項１または２に記載の画像処理装置。
4. 前記撮像部はフレーム単位の前記赤外光画像信号を生成し、
   前記第一の位置情報及び前記第一の輝度がフレーム単位で格納される記憶部を有し、
   前記輝度調整部は、前記記憶部に格納されている直近の前記フレームに係る前記第一の位置情報及び前記第一の輝度を読み出し、輝度調整を行う前記フレームに係る前記第一の輝度を直近の前記フレームに係る前記第一の輝度に調整することを特徴とする請求項１〜３のいずれかに記載の画像処理装置。
5. 車両の周辺に向けて赤外光を照射する赤外光照射部と、
   前記車両の周辺の赤外光画像を撮像して赤外光画像信号を出力する撮像部と
   を有する画像処理装置における画像処理方法であって、
   前記赤外光画像信号に基づいて、前記赤外光画像内において第一の対象物が撮像された第一の領域を認識し、この第一の領域に関する前記赤外光画像内の第一の位置情報を出力し、
   前記第一の位置情報に基づいて、前記赤外光画像内において前記第一の領域の第一の輝度よりも低い輝度を有する第二の領域の第二の輝度を、前記第一の輝度に基づいて調整する
   ことを特徴とする画像処理方法。