JP2017199130A - 画像処理装置、画像処理方法、及びプログラム - Google Patents

Abstract

【課題】車載カメラを用いて取得した画像中に、低輝度又は高輝度の領域が存在するか否かを判断することができる画像処理装置、画像処理方法、及びプログラムを提供すること。【解決手段】画像処理装置１は、画像取得ユニット７と、判断ユニット１１とを備える。画像取得ユニットは、カメラを用いて、第１の相対位置にある領域を表す第１の画像、及び、第１の相対位置よりも車両の進行方向側に位置する第２の相対位置にある領域を表す第２の画像を取得する。判断ユニットは、第１の画像と、第１の画像よりも早く取得され、第１の画像と重複する領域を表す第２の画像について、輝度、及び／又は、所定の色成分の強さを対比することで、周囲に比べて輝度が高い、又は、周囲に比べて輝度が低い特定領域が第１の画像に存在するか否かを判断する。【選択図】図２

Description

本発明は、画像処理装置、画像処理方法、及びプログラムに関する。

従来、車載カメラを用いて車両の周辺の画像を取得し、その画像を用いて様々な処理を行う技術が知られている。例えば、取得した画像においてレーンマーカを認識する技術が知られている。

また、以下のような画像処理が知られている。まず、車載カメラを用いて、車両の周辺の画像を、時間差をおいて複数取得する。次に、複数の画像のそれぞれを鳥瞰図画像に変換する。次に、複数の鳥瞰図画像を合成して合成画像を作成する。このような画像処理は、特許文献１に開示されている。

特許第４１５６２１４号公報

車載カメラを用いて取得した画像中に、周囲に比べて輝度が低い領域や、周囲に比べて輝度が高い領域が存在することがある。周囲に比べて輝度が低い領域としては、例えば、車両の影の領域がある。また、周囲に比べて輝度が高い領域としては、例えば、ヘッドライト等の照明光が照射された領域等がある。車載カメラを用いて取得した画像中に、周囲に比べて輝度が低い領域や、周囲に比べて輝度が高い領域が存在する場合、画像を用いた処理を適切に行えないことがある。

本発明は、こうした問題に鑑みてなされたものであり、カメラを用いて取得した画像中に、周囲に比べて輝度が低い領域や、周囲に比べて輝度が高い領域が存在するか否かを判断することができる画像処理装置、画像処理方法、及びプログラムを提供することを目的としている。

本開示の画像処理装置（１）は、車両（２７）に搭載されたカメラ（１９、２１、５７、５９）を用いて、車両に対して第１の相対位置（３７、４１、６４、６６）にある領域を表す第１の画像（４５、６３、６５）、及び、第１の相対位置よりも車両の進行方向側に位置する第２の相対位置（３９、４３）にある領域を表す第２の画像（４７、４９、６９、７１）を取得する画像取得ユニット（７）と、第１の画像と、第１の画像よりも早く取得され、第１の画像と重複する領域を表す第２の画像（４７、６９）とについて、輝度、及び／又は、所定の色成分の強さを対比することで、周囲に比べて輝度が高い、又は、周囲に比べて輝度が低い特定領域（５５）が第１の画像に存在するか否かを判断する判断ユニット（１１）とを備える。

本開示の画像処理装置によれば、第１の画像内に、周囲に比べて輝度が高い、又は、周囲に比べて輝度が低い特定領域が存在するか否かを容易に判断することができる。
本開示の画像処理方法は、車両（２７）に搭載されたカメラ（１９、２１、５７、５９）を用いて、車両に対して第１の相対位置（３７、４１、６４、６６）にある領域を表す第１の画像（４５、６３、６５）、及び、第１の相対位置よりも車両の進行方向側に位置する第２の相対位置（３９、４３）にある領域を表す第２の画像（４７、４９、６９、７１）を取得し（Ｓ１、Ｓ４、Ｓ６、Ｓ２１、Ｓ２４、Ｓ２６、Ｓ４１、Ｓ４４、Ｓ４６）、第１の画像と、第１の画像よりも早く取得され、第１の画像と重複する領域を表す第２の画像（４７、６９）とについて、輝度、及び／又は、所定の色成分の強さを対比することで、周囲に比べて輝度が高い、又は、周囲に比べて輝度が低い特定領域（５５）が第１の画像に存在するか否かを判断する（Ｓ８〜Ｓ１３、Ｓ２８〜Ｓ３１、Ｓ４８〜Ｓ５１）。

本開示の画像処理方法によれば、第１の画像内に、周囲に比べて輝度が高い、又は、周囲に比べて輝度が低い特定領域が存在するか否かを容易に判断することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本発明の技術的範囲を限定するものではない。

画像処理装置１の構成を表すブロック図である。 画像処理装置１の機能的な構成を表すブロック図である。 フロントカメラ１９、リアカメラ２１、第１の相対位置３７、４１、第２の相対位置３９、４３の位置関係を表す説明図である。 画像処理装置１が一定の周期Ｉで繰り返し実行する画像処理を表すフローチャートである。 自車両２７、第１の相対位置４１、第２の相対位置４３、第１の画像４５、第２の画像４９の位置関係を表す説明図である。 自車両２７、第１の相対位置４１、第２の相対位置４３、第１の画像４５、第２の画像４９（ｉ）、４９（ｉ−ｊ）、第２の合成画像４７の位置関係を表す説明図である。 自車両２７、第１の相対位置４１、第２の相対位置４３、第１の画像４５（ｉ）、４５（ｉ―ｊ）、第２の画像４９（ｉ）、第１の合成画像５１の位置関係を表す説明図である。 画像処理装置１の構成を表すブロック図である。 画像処理装置１の機能的な構成を表すブロック図である。 画像処理装置１が一定の周期Ｉで繰り返し実行する画像処理を表すフローチャートである。 自車両２７、第２の相対位置３９、第２の画像７１（ｉ）、鳥瞰図画像６３、６５の位置関係を表す説明図である。 自車両２７、第２の相対位置３９、第２の画像７１（ｉ）、７１（ｉ―ｊ）、第２の合成画像６９の位置関係を表す説明図である。 画像処理装置１の機能的な構成を表すブロック図である。 画像処理装置１が一定の周期Ｉで繰り返し実行する画像処理を表すフローチャートである。

本発明の実施形態を図面に基づき説明する。
＜第１実施形態＞
１．画像処理装置１の構成
画像処理装置１の構成を、図１〜図３に基づき説明する。画像処理装置１は、車両に搭載される車載装置である。以下では、画像処理装置１を搭載する車両を自車両とする。画像処理装置１は、ＣＰＵ３と、ＲＡＭ、ＲＯＭ、フラッシュメモリ等の半導体メモリ（以下、メモリ５とする）と、を有する周知のマイクロコンピュータを中心に構成される。画像処理装置１の各種機能は、ＣＰＵ３が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ５が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムの実行により、プログラムに対応する方法が実行される。なお、画像処理装置１を構成するマイクロコンピュータの数は１つでも複数でもよい。

画像処理装置１は、ＣＰＵ３がプログラムを実行することで実現される機能の構成として、図２に示すように、画像取得ユニット７と、車両信号処理ユニット９と、判断ユニット１１と、変換ユニット１２と、合成ユニット１３と、表示停止ユニット１５と、表示ユニット１７と、を備える。画像処理装置１を構成するこれらの要素を実現する手法はソフトウェアに限るものではなく、その一部又は全部の要素を、論理回路やアナログ回路等を組み合わせたハードウェアを用いて実現してもよい。

自車両は、画像処理装置１に加えて、フロントカメラ１９、リアカメラ２１、ディスプレイ２３、及び車載ネットワーク２５を備える。図３に示すように、フロントカメラ１９は、自車両２７の前部に搭載されている。フロントカメラ１９は、自車両２７から見て前方にある風景を撮影し、画像を作成する。また、リアカメラ２１は、自車両２７の後部に搭載されている。リアカメラ２１は、自車両２７から見て後方にある風景を撮影し、画像を作成する。

自車両２７を上方から見たとき、フロントカメラ１９の光軸２９及びリアカメラ２１の光軸３１は、自車両２７の前後軸と平行である。また、光軸２９及び光軸３１は俯角を有する。自車両２７を基準としたとき、光軸２９及び光軸３１は常に一定である。そのため、自車両２７の傾きがなく、道路が平坦であれば、フロントカメラ１９が撮影する画像に含まれる範囲３３、及びリアカメラ２１が撮影する画像に含まれる範囲３５は、自車両２７に対し、常に一定の位置にある。範囲３３、３５には、路面が含まれる。

範囲３３のうち、自車両２７に近い部分を第１の相対位置３７とし、第１の相対位置３７よりも自車両２７から遠い部分を第２の相対位置３９とする。自車両２７の進行方法が前方である場合、第２の相対位置３９は、第１の相対位置３７よりも進行方向側に位置する。第１の相対位置３７及び第２の相対位置３９は、それぞれ一定の大きさを有する。

範囲３５のうち、自車両２７に近い部分を第１の相対位置４１とし、第１の相対位置４１よりも自車両２７から遠い部分を第２の相対位置４３とする。自車両２７の進行方法が後方である場合、第２の相対位置４３は、第１の相対位置４１よりも進行方向側に位置する。第１の相対位置４１及び第２の相対位置４３は、それぞれ一定の大きさを有する。

ディスプレイ２３は、図３に示すように、自車両２７の車室内に設けられている。自車両２７のドライバはディスプレイ２３を視認可能である。ディスプレイ２３は、画像処理装置１により制御され、画像を表示する。

車載ネットワーク２５は、画像処理装置１に接続している。画像処理装置１は、車載ネットワーク２５から、自車両の挙動を表す車両信号を取得することができる。車両信号は、具体的には、自車両の車速を表す信号である。車載ネットワーク２５としては、例えば、ＣＡＮ（登録商標）が挙げられる。

２．画像処理装置１が実行する画像処理
画像処理装置１が一定の周期Ｉで繰り返し実行する画像処理を、図４〜図７に基づき説明する。周期Iの単位は時間である。以下では、図４に示す処理を１回実行することを、１サイクルということがある。

なお、ここでは、自車両が後進する場合を例に挙げて説明する。自車両が前進する場合の処理も、リアカメラ２１で取得した画像の代わりにフロントカメラ１９で取得した画像を用いる点以外は同様である。

図４のステップ１では、画像取得ユニット７が、フロントカメラ１９及びリアカメラ２１を用いて画像を取得する。
ステップ２では、車両信号処理ユニット９が、車載ネットワーク２５から車両信号を取得する。

ステップ３では、車両信号処理ユニット９が、前記ステップ２で取得した車両信号を、それを取得した時刻と関連付けてメモリ５に記憶する。
ステップ４では、変換ユニット１２が、前記ステップ１で取得した画像を鳥瞰図画像に変換する。鳥瞰図画像に変換する方法として、周知の方法を用いることができる。鳥瞰図画像に変換する方法の例として、例えば、特開平１０−２１１８４９号公報に記載されている方法等を用いることができる。

ステップ５では、変換ユニット１２が、前記ステップ４で変換した鳥瞰図画像をメモリ５に記憶する。
ステップ６では、図５に示すように、画像取得ユニット７が、前記ステップ４で作成した鳥瞰図画像４０の一部であって、第１の相対位置４１にあった領域を表す画像（以下では、第１の画像４５とする）を取得する。第１の画像４５は、リアカメラ２１が撮影を行った時点において、第１の相対位置４１にあった領域を表す画像である。なお、図５におけるＤは自車両２７の進行方向を表す。図５における進行方向Ｄは、自車両２７が後進する方向である。図５におけるＦは自車両２７の前端を表し、Ｒは自車両２７の後端を表す。

ステップ７では、合成ユニット１３が、図６に示す第２の合成画像４７を、以下の方法で作成する。
図５に示すように、前記ステップ４で作成する鳥瞰図画像４０の一部であって、第２の相対位置４３にある領域を表す画像を、第２の画像４９とする。第２の画像４９は、リアカメラ２１が撮影を行った時点において、第２の相対位置４３にあった領域を表す画像である。以下では、第２の画像４９のうち、今回のサイクルで作成されたものを４９（ｉ）と表記し、ｊ回前のサイクルで作成されたものを４９（ｉ−ｊ）と表記する。ｊは１以上の自然数である。

合成ユニット１３は、第２の画像４９（ｉ−ｊ）が表す領域の位置を算出する。第２の画像４９（ｉ−ｊ）が表す領域の位置は、自車両２７を基準とする相対的な位置である。第２の画像４９（ｉ−ｊ）が表す領域の位置は、第２の画像４９（ｉ）が表す領域の位置から、ΔＸ_ｊだけ、方向Ｄとは反対方向に移動した位置である。第２の画像４９（ｉ）が表す領域の位置は、現時点における第２の相対位置４３に等しい。

ΔＸ_ｊとは、第２の画像４９（ｉ−ｊ）を作成した時点から現時点までに自車両２７が方向Ｄに進行した距離である。合成ユニット１３は、前記ステップ３で取得し、前記ステップ４で記憶した車両信号を用いて、ΔＸ_ｊを算出することができる。

次に、合成ユニット１３は、第２の画像４９（ｉ−ｊ）のうち、第１の画像４５と、表す領域が重複する第２の画像４９（ｉ−ｊ）を選択する。図６に示す例では、第２の画像４９（ｉ−１）〜４９（ｉ−５）が、第１の画像４５と、表す領域が重複する。

次に、合成ユニット１３は、上記のように選択した第２の画像４９（ｉ−ｊ）を全て組み合わせて、第２の合成画像４７を作成する。なお、第２の合成画像４７に含まれる第２の画像４９（ｉ−ｊ）は、今回のサイクルで取得した第１の画像４５よりも早く取得された画像である。

ステップ８では、判断ユニット１１が、今回のサイクルで取得した第１の画像４５の輝度と、前記ステップ７で作成した第２の合成画像４７の輝度とを対比する。
ステップ９では、第１の画像４５の輝度と、第２の合成画像４７の輝度との差分が、予め設定された閾値より大きいか否かを判断ユニット１１が判断する。差分が閾値より大きい場合はステップ１０に進み、差分が閾値以下である場合はステップ１６に進む。

ステップ１０では、判断ユニット１１が、第１の画像４５と、第２の合成画像４７とのそれぞれについて、輝度のチェックを行う。
ステップ１１では、前記ステップ１０での輝度のチェックの結果に基づき、第１の画像４５と、第２の合成画像４７とのそれぞれについて、影又は照明光に特有の特徴が表れているか否かを判断ユニット１１が判断する。

影に特有の特徴とは、影のある領域の輝度が予め設定された閾値以下、及び/又は、所定の色成分の強さが予め設定された閾値以上であるという特徴である。照明光に特有の特徴とは、照明光のある領域の輝度が予め設定された閾値以上であるという特徴である。

第１の画像４５に影又は照明光に特有の特徴が表れており、第２の合成画像４７には影又は照明光に特有の特徴が表れていない場合は、ステップ１２に進み、それ以外の場合はステップ１７に進む。

ステップ１２では、判断ユニット１１が、カウント値を１つだけ増す。なお、カウント値は、本ステップ１２で１つだけ増し、後述するステップ１６で０にリセットされる値である。

ステップ１３では、カウント値が予め設定された閾値を超えたか否かを判断ユニット１１が判断する。カウント値が閾値を超えた場合はステップ１４に進み、カウンタ値が閾値以下である場合はステップ１７に進む。

ステップ１４では、表示停止ユニット１５が、ディスプレイ２３に表示する画像として、後述する第１の合成画像ではなく、背景画像を選択する。背景画像は、予めメモリ５に記憶されている画像である。

ステップ１５では、表示ユニット１７が、背景画像をディスプレイ２３に表示する。背景画像を表示する範囲は、後述するステップ１８で第１の合成画像を表示する範囲と同じである。

前記ステップ９で否定判断した場合はステップ１６に進む。ステップ１６では、判断ユニット１１が、カウント値を０にリセットする。
ステップ１７では、合成ユニット１３が、第１の合成画像を作成する。第１の合成画像の作成方法は、基本的には第２の合成画像４７の作成方法と同様である。ただし、第１の合成画像を作成する場合は、第２の画像４９（ｉ−ｊ）ではなく、過去のサイクルにおいて取得した第１の画像４５（ｉ−ｊ）を用いて作成する。第１の画像４５（ｉ−ｊ）は、ｊ回前のサイクルにおいて作成した第１の画像である。

第１の合成画像の具体的な作成方法は以下のとおりである。合成ユニット１３は、第１の画像４５（ｉ−ｊ）が表す領域の位置を算出する。第１の画像４５（ｉ−ｊ）が表す領域の位置は、自車両２７を基準とする相対的な位置である。第１の画像４５（ｉ−ｊ）が表す領域の位置は、第１の相対位置４１から、ΔＸ_ｊだけ、方向Ｄとは反対方向に移動した位置である。

次に、合成ユニット１３は、第１の画像４５（ｉ−ｊ）のうち、自車両２７が占める領域と重複する第１の画像４５（ｉ−ｊ）を選択する。図７に示す例では、第１の画像４５（ｉ−１）〜４５（ｉ−６）が、自車両２７が占める領域と重複する。

次に、合成ユニット１３は、上記のように選択した第１の画像４５（ｉ−ｊ）を全て組み合わせて、第１の合成画像５１を作成する。
ステップ１８では、表示ユニット１７が、前記ステップ１７で作成した第１の合成画像５１をディスプレイ２３に表示する。第１の合成画像５１を表示する範囲は、自車両２７が占める範囲である。

なお、図７に示す例では、第１の合成画像５１の下側に、第１の画像４５（ｉ）を表示する。第１の画像４５（ｉ）は、今回のサイクルで作成した第１の画像４５である。また、図７に示す例では、第１の合成画像５１の上側に、今回のサイクルにおいてフロントカメラ１９を用いて取得した画像を鳥瞰図画像に変換した画像５３を表示する。また、図７に示す例では、自車両２７を、コンピュータグラフィックにより表示する。

３．画像処理装置１が奏する効果
（１Ａ）図５に示すように、第１の相対位置４１にある領域を表す第１の画像４５内に影の領域５５が存在する場合がある。この影は、自車両２７の影であってもよいし、その他の物標の影であってもよい。影の領域５５は、その周囲に比べて輝度が低い特定領域に対応する。

第１の画像４５内に影の領域５５が存在する場合でも、第２の相対位置４３にある領域を表す第２の画像４９内には、影の領域５５は存在しにくい。また、第２の画像４９を合成して作成される第２の合成画像４７内にも、影の領域５５は存在しにくい。

画像処理装置１は、第１の画像４５の輝度と、第２の合成画像４７の輝度とを対比することで、第１の画像４５内に、影の領域５５が存在するか否かを容易に判断することができる。

また、画像処理装置１は、同様の対比により、第１の画像４５内に、照明光が照射されている領域が存在するか否かを容易に判断することができる。照明光が照射されている領域は、その周囲に比べて輝度が高い特定領域に対応する。照明光としては、例えば、他の車両のヘッドライトの光が挙げられる。

（１Ｂ）画像処理装置１は、第１の合成画像５１を作成し、ディスプレイ２３に表示することができる。ただし、第１の合成画像５１を構成する第１の画像４５に、影の領域、又は、照明光が照射された領域が存在する場合、第１の合成画像５１の表示を停止する。そのことにより、影の領域、又は、照明光が照射された領域を含む第１の合成画像５１を表示してしまうことを抑制できる。
＜第２実施形態＞
１．第１実施形態との相違点
第２実施形態は、基本的な構成は第１実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第１実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

自車両は、図８に示すように、さらに、右カメラ５７、及び左カメラ５９を備える。右カメラ５７は、自車両の右側における風景を撮影し、画像を作成する。左カメラ５９は、自車両の左側における風景を撮影し、画像を作成する。

画像処理装置１は、ＣＰＵ３がプログラムを実行することで実現される機能の構成として、図９に示すように、画像取得ユニット７と、車両信号処理ユニット９と、判断ユニット１１と、変換ユニット１２と、合成ユニット１３と、認識ユニット５６と、認識停止ユニット５８と、を備える。

２．画像処理装置１が実行する処理
画像処理装置１が実行する処理を図１０〜図１２に基づき説明する。なお、ここでは、自車両が前進する場合を例に挙げて説明する。

図１０におけるステップ２１〜２５の処理は、基本的には、第１実施形態におけるステップ１〜５の処理と同様である。
ただし、ステップ２１では、フロントカメラ１９、リアカメラ２１、右カメラ５７、及び左カメラ５９からそれぞれ画像を取得する。

また、ステップ２４では、フロントカメラ１９、リアカメラ２１、右カメラ５７、及び左カメラ５９から取得した画像のそれぞれを鳥瞰図画像に変換する。図１１に、フロントカメラ１９から取得した画像を変換した鳥瞰図画像６１と、リアカメラ２１から取得した画像を変換した鳥瞰図画像４０と、右カメラ５７から取得した画像を変換した鳥瞰図画像６３と、左カメラ５９から取得した画像を変換した鳥瞰図画像６５と、を示す。

ステップ２６では、画像取得ユニット７が、前記ステップ２４で作成した鳥瞰図画像６３、６５を取得する。鳥瞰図画像６３、６５は、第１の画像に対応する。また、自車両２７に対する、鳥瞰図画像６３の相対位置６４と、自車両２７に対する、鳥瞰図画像６５の相対位置６６とは、第１の相対位置に対応する。

ステップ２７では、合成ユニット１３が、図１２に示す第２の合成画像６９を、以下の方法で作成する。
図１１に示すように、鳥瞰図画像６１の一部であって、第２の相対位置３９にある領域を表す画像を、第２の画像７１とする。以下では、第２の画像７１のうち、今回のサイクルで作成されたものを７１（ｉ）と表記し、ｊ回前のサイクルで作成されたものを７１（ｉ−ｊ）と表記する。ｊは１以上の自然数である。

合成ユニット１３は、第２の画像７１（ｉ−ｊ）が表す領域の位置を算出する。第２の画像７１（ｉ−ｊ）が表す領域の位置は、自車両２７を基準とする相対的な位置である。第２の画像７１（ｉ−ｊ）が表す領域の位置は、第２の画像７１（ｉ）が表す領域の位置から、ΔＸ_ｊだけ、方向Ｄとは反対方向に移動した位置である。第２の画像７１（ｉ）が表す領域の位置は、現時点における第２の相対位置３９に等しい。

ΔＸ_ｊとは、第２の画像７１（ｉ−ｊ）を作成した時点から現時点までに自車両２７が方向Ｄに進行した距離である。合成ユニット１３は、前記ステップ２３で取得し、前記ステップ２４で記憶した車両信号を用いて、ΔＸ_ｊを算出することができる。

次に、合成ユニット１３は、第２の画像７１（ｉ−ｊ）のうち、鳥瞰図画像６３、６５と、表す領域が重複する第２の画像７１（ｉ−ｊ）を選択する。図１２に示す例では、第２の画像７１（ｉ−５）〜７１（ｉ−１０）が、鳥瞰図画像６３、６５と、表す領域が重複する。次に、合成ユニット１３は、上記のように選択した第２の画像７１（ｉ−ｊ）を全て組み合わせて、第２の合成画像６９を作成する。

ステップ２８では、判断ユニット１１が、前記ステップ２６で取得した鳥瞰図画像６３、６５の輝度と、前記ステップ２７で作成した第２の合成画像６９の輝度とを対比する。
また、ステップ２９では、鳥瞰図画像６３、６５の輝度と、第２の合成画像６９の輝度との差分が、予め設定された閾値より大きいか否かを判断ユニット１１が判断する。差分が閾値より大きい場合はステップ３０に進み、差分が閾値以下である場合はステップ３４に進む。

ステップ３０では、判断ユニット１１が、鳥瞰図画像６３、６５と、第２の合成画像６９とのそれぞれについて、輝度のチェックを行う。
ステップ３１では、前記ステップ３０での輝度のチェックの結果に基づき、鳥瞰図画像６３、６５と、第２の合成画像６９とのそれぞれについて、影に特有の特徴が表れているか否かを判断ユニット１１が判断する。鳥瞰図画像６３、６５には影に特有の特徴が表れており、第２の合成画像６９には影に特有の特徴が表れていない場合は、ステップ３２に進み、それ以外の場合はステップ３４に進む。

ステップ３２では、認識停止ユニット５８が、レーンマーカの認識を停止する。レーンマーカとは、走行車線を区画するものを意味する。レーンマーカとして、例えば、白線等が挙げられる。

ステップ３３では、認識停止ユニット５８が、ディスプレイ２３にエラー表示を行う。そのエラー表示は、レーンマーカを認識できないことを意味する。
前記ステップ２９又は前記ステップ３１で否定判断した場合はステップ３４に進む。ステップ３４では、認識ユニット５６が、周知の方法により、レーンマーカを認識する処理を行う。その処理の概略は以下のとおりである。図１１に、レーンマーカ７２の例を示す。

鳥瞰図画像６３、６５において、特徴点を検出する。特徴点とは、輝度変化が予め設定された閾値より大きい点である。次に、特徴点を通る近似曲線を算出する。次に、近似曲線のうち、レーンマーカらしさが所定の閾値以上であるものを、レーンマーカとして認識する。

ステップ３５では、認識ユニット５６が、前記ステップ３４における認識結果を他の装置に出力する。他の装置は、レーンマーカの認識結果を、運転支援処理に使用することができる。運転支援処理としては、例えば、レーンキープアシスト等が挙げられる。

３．画像処理装置１が奏する効果
以上詳述した第２実施形態によれば、前述した第１実施形態の効果（１Ａ）に加え、以下の効果が得られる。

（２Ａ）画像処理装置１は、図１１に示すように、鳥瞰図画像６３、６５に影の領域５５が存在する場合、レーンマーカ７２の認識を停止する。そのことにより、影の領域５５に起因して、レーンマーカ７２の認識を誤ってしまうことを抑制できる。
＜第３実施形態＞
１．第２実施形態との相違点
第３実施形態は、基本的な構成は第２実施形態と同様であるため、共通する構成については説明を省略し、相違点を中心に説明する。なお、第２実施形態と同じ符号は、同一の構成を示すものであって、先行する説明を参照する。

画像処理装置１は、ＣＰＵ３がプログラムを実行することで実現される機能の構成として、図１３に示すように、画像取得ユニット７と、車両信号処理ユニット９と、判断ユニット１１と、変換ユニット１２と、合成ユニット１３と、認識ユニット５６と、条件変更ユニット７３と、を備える。

２．画像処理装置１が実行する処理
画像処理装置１が実行する処理を図１４に基づき説明する。図１４におけるステップ４１〜５１の処理は、第２実施形態におけるステップ２１〜３１の処理と同様である。

ステップ５２では、鳥瞰図画像６３、６５における影の領域の座標を、条件変更ユニット７３が算出する。
ステップ５３では、条件変更ユニット７３が、後述するステップ５４で特徴点を検出するときの閾値を変更する。すなわち、鳥瞰図画像６３、６５のうち、影の領域内については、特徴点を検出するときの閾値を通常の値より大きくする。なお、影の領域外では、特徴点を検出するときの閾値の値は通常の値である。特徴点を検出するときの閾値は、レーンマーカを認識するときの設定条件に対応する。

ステップ５４では、認識ユニット５６が、鳥瞰図画像６３、６５において特徴点を検出する。このとき、特徴点の検出に用いる閾値の値は、前記ステップ５３で変更した値とする。

ステップ５５では、認識ユニット５６が、前記ステップ５４で検出した特徴点のうち、影の領域の境界線上にあるものを除去する。
ステップ５６では、認識ユニット５６が、特徴点を通る近似曲線を算出する。近似曲線の算出に用いる特徴点は、前記ステップ５４で検出され、前記ステップ５５で除去されずに残ったものである。

ステップ５７では、認識ユニット５６が、近似曲線のうち、レーンマーカらしさが所定の閾値以上であるものを、レーンマーカとして認識する。
ステップ５８では、認識ユニット５６が、前記ステップ５７、又は後述するステップ５９における認識結果を他の装置に出力する。

前記ステップ４９、又は前記ステップ５１で否定判断した場合はステップ５９に進む。ステップ５９では、認識ユニット５６が、通常の設定でレーンマーカの認識を行う。通常の設定とは、鳥瞰図画像６３、６５の全体において、特徴点の検出に用いる閾値の値を通常の値にすることを意味する。また、通常の設定とは、影の領域の境界線上にある特徴点を除外する処理を行わない設定を意味する。

３．画像処理装置１が奏する効果
以上詳述した第３実施形態によれば、前述した第１実施形態の効果（１Ａ）に加え、以下の効果が得られる。

（３Ａ）画像処理装置１は、鳥瞰図画像６３、６５に影の領域５５が存在する場合、レーンマーカを認識するときの設定条件を、影の領域５５が存在しない場合とは異なるものとする。そのことにより、影の領域に起因して、レーンマーカの認識を誤ってしまうことを抑制できる。

（３Ｂ）画像処理装置１は、前記ステップ５３において、影の領域５５内で特徴点を検出するときの閾値を通常の値より大きくする。また、前記ステップ５５において、検出した特徴点のうち、影の領域５５の境界線上にある特徴点を除外する。そのことにより、影の領域５５に起因して、レーンマーカの認識を誤ってしまうことを一層抑制できる。
＜他の実施形態＞
以上、本発明を実施するための形態について説明したが、本発明は上述の実施形態に限定されることなく、種々変形して実施することができる。

（１）第１実施形態における前記ステップ８では、第１の画像４５の輝度と、第２の画像４９（ｉ−ｊ）の輝度とを対比してもよい。また、前記ステップ９では、第１の画像４５の輝度と、第２の画像４９（ｉ−ｊ）の輝度との差分が、予め設定された閾値より大きいか否かを判断してもよい。

また、第２実施形態における前記ステップ２８、第３実施形態における前記ステップ４８では、鳥瞰図画像６３、６５の輝度と、第２の画像７１（ｉ−ｊ）の輝度とを対比してもよい。また、第２実施形態における前記ステップ２９、第３実施形態における前記ステップ４９では、鳥瞰図画像６３、６５の輝度と、第２の画像７１（ｉ−ｊ）の輝度との差分が、予め設定された閾値より大きいか否かを判断してもよい。

（２）第１実施形態における前記ステップ８で対比する画像は、鳥瞰図画像に変換する前の、第１の相対位置４１を表す画像と、鳥瞰図画像に変換する前の、第２の相対位置４３を表す画像であってもよい。

第２実施形態における前記ステップ２８、第３実施形態における前記ステップ４８で対比する画像は、鳥瞰図画像に変換する前の、右カメラ５７及び左カメラ５９から取得した画像と、鳥瞰図画像に変換する前の、第２の相対位置３９を表す画像であってもよい。

（３）第１実施形態の前記ステップ８では、第１の画像４５における所定の色成分ＣＩの強さと、第２の合成画像４７における、同じ色成分ＣＩの強さとを対比してもよい。
そして、前記ステップ９では、第１の画像４５と、第２の合成画像４７との、色成分ＣＩの強さにおける差分が、予め設定された閾値より大きいか否かを判断ユニット１１が判断してもよい。色成分ＣＩの強さにおける差分が閾値より大きい場合はステップ１０に進み、色成分ＣＩの強さにおける差分が閾値以下である場合はステップ１６に進む。

また、第２実施形態における前記ステップ２８、２９、第３実施形態における前記ステップ４８、４９においても、上記のように、所定の色成分ＣＩの強さを対比し、その所定の色成分ＣＩの強さにおける差分に基づき、判断を行ってもよい。

色成分ＣＩとしては、例えば、青色成分等が挙げられる。
（４）第１実施形態の前記ステップ８では、第１の画像４５と第２の合成画像４７とについて、輝度の対比と、所定の色成分ＣＩの強さの対比とをそれぞれ行ってもよい。

そして、前記ステップ９では、第１の画像４５と、第２の合成画像４７との、輝度の差分と、色成分ＣＩの強さにおける差分とに基づき、判断を行ってもよい。例えば、輝度の差分と、色成分の強さの差分とが、いずれも、閾値より大きい場合はステップ１０に進み、それ以外の場合はステップ１６に進むようにすることができる。

あるいは、輝度の差分と、色成分の強さの差分とのうち、一方でも、閾値より大きい場合はステップ１０に進み、それ以外の場合はステップ１６に進むようにすることができる。

また、第２実施形態における前記ステップ２８、２９、第３実施形態における前記ステップ４８、４９においても、上記のように、輝度の対比と、所定の色成分ＣＩの強さの対比との両方を行い、それらの対比の結果に基づき、判断を行ってもよい。

（５）上記実施形態における１つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、１つの構成要素が有する１つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、１つの構成要素によって実現したり、複数の構成要素によって実現される１つの機能を、１つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言のみによって特定される技術思想に含まれるあらゆる態様が本発明の実施形態である。

（６）上述した画像処理装置１の他、当該画像処理装置１を構成要素とするシステム、当該画像処理装置１としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像処理方法、合成画像作成方法、レーンマーカ認識方法等、種々の形態で本発明を実現することもできる。

１…画像処理装置、７…画像取得ユニット、１１…判断ユニット、１９…フロントカメラ、２１…リアカメラ、２７…自車両、３７、４１…第１の相対位置、３９、４３…第２の相対位置、４５…第１の画像、４７、６９…第２の合成画像、４９、７１…第２の画像、５５…影の領域、５７…右カメラ、５９…左カメラ、６３、６５…鳥瞰図画像

Claims (11)

1. 車両（２７）に搭載されたカメラ（１９、２１、５７、５９）を用いて、前記車両に対して第１の相対位置（３７、４１、６４、６６）にある領域を表す第１の画像（４５、６３、６５）、及び、前記第１の相対位置よりも前記車両の進行方向側に位置する第２の相対位置（３９、４３）にある領域を表す第２の画像（４７、４９、６９、７１）を取得する画像取得ユニット（７）と、
   前記第１の画像と、前記第１の画像よりも早く取得され、前記第１の画像と重複する領域を表す前記第２の画像（４７、６９）とについて、輝度、及び／又は、所定の色成分の強さを対比することで、周囲に比べて輝度が高い、又は、周囲に比べて輝度が低い特定領域（５５）が前記第１の画像に存在するか否かを判断する判断ユニット（１１）と、
   を備える画像処理装置（１）。
2. 請求項１に記載の画像処理装置であって、
   前記特定領域は、物標の影の領域、又は、照明光が照射された領域である画像処理装置。
3. 請求項１又は２に記載の画像処理装置であって、
   前記第１の画像取得ユニットを用いて取得した前記第１の画像を鳥瞰図画像に変換する変換ユニット（１２）と、
   複数の前記鳥瞰図画像を合成して合成画像（５１）を作成する合成ユニット（１３）と、
   前記合成画像を表示する表示ユニット（１７）と、
   前記第１の画像に前記特定領域が存在すると前記判断ユニットが判断した場合、前記合成画像の表示を停止する表示停止ユニット（１５）と、
   をさらに備える画像処理装置。
4. 請求項１又は２に記載の画像処理装置であって、
   前記第１の画像においてレーンマーカ（７２）を認識する認識ユニット（５６）と、
   前記第１の画像に前記特定領域が存在すると前記判断ユニットが判断した場合、前記認識ユニットによる前記レーンマーカの認識を停止する認識停止ユニット（５８）と、
   をさらに備える画像処理装置。
5. 請求項１又は２に記載の画像処理装置であって、
   前記第１の画像においてレーンマーカ（７２）を認識する認識ユニット（５６）と、
   前記第１の画像に前記特定領域が存在すると前記判断ユニットが判断した場合、前記認識ユニットが前記レーンマーカを認識するときの設定条件を、前記第１の画像に前記特定領域が存在しないと前記判断ユニットが判断した場合とは異なる条件とする条件変更ユニット（７３）と、
   をさらに備える画像処理装置。
6. 車両（２７）に搭載されたカメラ（１９、２１、５７、５９）を用いて、前記車両に対して第１の相対位置（３７、４１、６４、６６）にある領域を表す第１の画像（４５、６３、６５）、及び、前記第１の相対位置よりも前記車両の進行方向側に位置する第２の相対位置（３９、４３）にある領域を表す第２の画像（４７、４９、６９、７１）を取得し（Ｓ１、Ｓ４、Ｓ６、Ｓ２１、Ｓ２４、Ｓ２６、Ｓ４１、Ｓ４４、Ｓ４６）、
   前記第１の画像と、前記第１の画像よりも早く取得され、前記第１の画像と重複する領域を表す前記第２の画像（４７、６９）とについて、輝度、及び／又は、所定の色成分の強さを対比することで、周囲に比べて輝度が高い、又は、周囲に比べて輝度が低い特定領域（５５）が前記第１の画像に存在するか否かを判断する（Ｓ８〜Ｓ１３、Ｓ２８〜Ｓ３１、Ｓ４８〜Ｓ５１）画像処理方法。
7. 請求項６に記載の画像処理方法であって、
   前記特定領域は、物標の影の領域、又は、照明光が照射された領域である画像処理方法。
8. 請求項６又は７に記載の画像処理方法であって、
   前記第１の画像を鳥瞰図画像に変換し（Ｓ４）、
   複数の前記鳥瞰図画像を合成して合成画像（５１）を作成し（Ｓ１７）、
   前記合成画像を表示し（Ｓ１８）、
   前記第１の画像に前記特定領域が存在する場合、前記合成画像の表示を停止する（Ｓ１１〜Ｓ１５）画像処理方法。
9. 請求項６又は７に記載の画像処理方法であって、
   前記第１の画像においてレーンマーカ（７２）を認識し（Ｓ３４、Ｓ５７、Ｓ５９）
   前記第１の画像に前記特定領域が存在する場合、前記レーンマーカの認識を停止する（Ｓ３１、Ｓ３２）画像処理方法。
10. 請求項６又は７に記載の画像処理方法であって、
    前記第１の画像においてレーンマーカ（７２）を認識し（Ｓ３４、Ｓ５７、Ｓ５９）、
    前記第１の画像に前記特定領域が存在すると判断した場合、前記レーンマーカを認識するときの設定条件を、前記第１の画像に前記特定領域が存在しないと判断した場合とは異なる条件とする（Ｓ５１〜Ｓ５５）画像処理方法。
11. 請求項１〜５のいずれか１項に記載の画像処理装置における各ユニットとしてコンピュータを機能させるプログラム。

Images