JP2019001324A - 車両用撮影装置 - Google Patents

Abstract

【課題】
最適な可視光映像または赤外光映像を選択することを可能とした車載用撮影装置を提供すること。
【解決手段】
自車両の周辺の可視光像を撮像する可視光撮像手段と、自車両の周辺の赤外光像を撮像する赤外光撮像手段と、前記可視光像の映像か前記赤外光像の映像どちらを出力するか選択する出力選択手段と、前記出力選択手段により選択された映像を表示する映像表示手段と、自車両の周辺が暗所か否かを検出する暗所検出手段と、自車両の車両情報を取得する車両情報取得手段と、を有し、前記出力選択手段は、前記暗所か否かと前記車両情報に基づいて出力を選択することを特徴とする構成とした。
【選択図】 図１

Description

本発明は、車両用撮影装置に関し、特に可視光および赤外光を用いた車両用撮影装置に関するものである。

従来、例えば特許第５４５２１３７号には、車両周辺の状態を、赤外光カメラを用いて撮像し、その撮像した画像を運転席の前方に表示する装置が提案されている。また、光電変換部の平均照度を検出する平均照度検出部を設け、該平均照度に基づいて、可視光による撮影映像から赤外光による暗視撮影映像に切換えることが提案されている。この装置によれば、人間の視覚特性によりドライバが認識することが困難な、夜間の車両周辺状況においても、実際には存在する人間や障害物等の状態をドライバは容易に把握することができ、運転操作を効果的に支援することができる。

特許第５４５２１３７号公報

しかしながら、上述の特許文献に開示された従来技術では、夜間などの周辺が暗く、遠くが肉眼では見え難い状況であるか否かという判断により、赤外光カメラの映像に切換えることを行っているが、必ずしもこの判断が望ましいとは限らない。言い換えれば、夜間であっても可視光カメラの映像が効果的である場合、または、昼間であっても赤外光カメラの映像が効果的である場合がある。

そこで、本発明の目的は、最適な可視光映像または赤外光映像を選択することを可能とした車載用撮影装置を提供することである。

上記目的を達成するために、本発明は、自車両の周辺の可視光像を撮像する可視光撮像手段と、自車両の周辺の赤外光像を撮像する赤外光撮像手段と、前記可視光像の映像か前記赤外光像の映像どちらを出力するか選択する出力選択手段と、前記出力選択手段により選択された映像を表示する映像表示手段と、自車両の周辺が暗所か否かを検出する暗所検出手段と、自車両の車両情報を取得する車両情報取得手段と、を有し、前記出力選択手段は、前記暗所か否かと前記車両情報に基づいて出力を選択することを特徴とする。

本発明によれば、最適な可視光映像または赤外光映像を選択することを可能とした車載用撮影装置を提供することができる。

実施例１における撮影装置の構成を示すブロック図。 実施例１における出力選択処理の流れを示すフローチャート。 実施例２における撮影装置の構成を示すブロック図。 実施例２における撮像素子のカラーフィルタ配列の例。 実施例２における出力選択処理の流れを示すフローチャート。

以下に、本発明の好ましい実施の形態を、添付の図面に基づいて詳細に説明する。

［実施例１］
以下、図１、２を参照して、本発明の第１の実施例による、撮影装置について説明する。図１に、本発明の第１の実施例に係る撮影装置の構成を示す。

撮影装置１００は、車両に搭載される車両用撮影装置であり、運転支援用もしくは周辺監視用に車両の前方を撮影する。車両制御装置２００は車両全体を制御するコンピュータ等からなる制御装置で、運転手の操作に応じて、動力およびブレーキなどを有する車両機能を制御し、車両を走行させるなど、車両に関する様々な制御を行う。本実施例では、車両制御装置２００は、運転手による操作に応じて、フロントガラスに付いた水滴を除去するためのワイパーの動作を制御する機能を有する例について説明する。さらに、モニタ装置３００は、運転手に対して映像を表示する映像表示手段であり、前記撮影装置１００により撮影された映像を表示する。

撮影装置１００は、可視光撮像レンズ１０１、可視光撮像素子１０２、可視光画像処理部１０３から成る可視光撮像手段と、赤外光撮像レンズ１０４、赤外光撮像素子１０５、赤外光画像処理部１０６から成る赤外光撮像手段を有する。さらに、撮像装置１００は、出力選択部１０７（出力選択手段）、照度センサ１０８（暗所検出手段）、車両情報取得部１０９（車両情報取得手段）を有する。

可視光撮像レンズ１０１は、光を可視光撮像素子１０２に集光させるためのレンズであり、可視光撮像素子１０２は、可視光の波長領域の光を透過させるバンドパスフィルタを有し、該可視光撮像レンズ１０１を介した光のうち、可視光のみを受光し光電変換する。可視光画像処理部１０３は、可視光撮像素子１０２からの信号を画像処理し、可視光映像を生成する。

赤外光撮像レンズ１０４は、光を赤外光撮像素子１０５に集光させるためのレンズであり、赤外光撮像素子１０５は、赤外光の波長領域の光を透過させるバンドパスフィルタを有し、該赤外光撮像レンズ１０４を介した光のうち、赤外光のみを受光し光電変換する。赤外光画像処理部１０６は、赤外光撮像素子１０５からの信号を画像処理し、赤外光映像を生成する。

出力選択部１０７は、可視光画像処理部１０３と赤外光画像処理部１０６の映像を入力し、後述する出力選択処理に従って、モニタ装置３００に出力する映像を選択する。照度センサ１０８は、車両周辺の明るさを検出するセンサであり、検出データを出力選択部１０７に出力する。車両情報取得部１０９は、車両制御装置２００と接続され、車両制御装置２００が制御している様々な車両情報を取得する。本実施例では、ワイパーが動作中か否かという情報を取得する例を説明する。

図２は、実施例１における出力選択処理の流れを示したフローチャートである。まずステップＳ１０では、照度センサ１０８から検出データを取得する。次に、ステップＳ１１では、車両情報取得部１０９から車両情報として、ワイパーが動作中か否かの情報を取得する。ステップＳ１２では、ステップＳ１０で取得した検出データから車両の周辺が暗いか否かを判断する。当該判断は、照度が閾値以下か否かで判断し、例えば、夜間か否か、またはトンネルか否かといった、周辺が暗いためにヘッドライトが届かない遠方の視認が容易か否かを判断するための閾値とする。

ステップＳ１２で周辺が暗いと判断できる場合は、ステップＳ１３へ、周辺が明るいと判断できる場合は、ステップＳ１４へ進む。ステップＳ１３では、出力選択部１０７は、赤外光画像処理部１０６の映像を選択し、モニタ装置３００へ出力する。よって、夜間などの車両周辺が暗い場合は、赤外光の映像がモニタ装置３００に表示されるため、ヘッドライトが届かない遠方もモニタ装置３００を見ることで人間や障害物などをいち早く認識することができる。

したがって、運転手への運転支援の効果が得られる。また、周辺が明るい場合、ステップＳ１４では、ステップＳ１１で取得した車両情報を元に、ワイパーが動作中か否かを判断する。ワイパーが動作中の場合は、ステップＳ１３へ進み、ワイパーが停止中の場合は、ステップＳ１５へ進む。ステップＳ１５では、出力選択部１０７は、可視光画像処理部１０３の映像を選択し、モニタ装置３００へ出力する。よって、昼間などの車両周辺が明るい場合は、可視光の映像がモニタ装置３００に表示されるため、車体の死角をモニタ装置３００で確認するなどできる。

しかし、ワイパーが動作中の場合は、雨や雪が降っていることが予測され、例え周辺が明るかったとしても、雨や雪の影響により周辺の環境が認識しづらい場合がある。さらに、赤外光は水の透過率や散乱の影響などが可視とは異なり、また、遠赤外領域では熱を検知するため、雨や雪の環境下では可視光映像よりも赤外光映像の方が、周辺の人間などを見る際に、認識しやすくなる。ゆえに、ワイパーが動作中は、ステップＳ１３で赤外光の映像を表示することで、雨や雪の環境下での周辺の視認を補うことができる。

以上により、夜間などの暗くて遠方が見えない場合は、暗視可能な赤外光映像の表示を行い、昼間などの明るい場合は、車体の死角などを認識するために、可視光映像の表示を行う。さらには、昼間などの明るい場合であっても、ワイパー動作中か否かにより、雨や雪などの視界が良くない状況か否かを判断し、これらの影響を受けにくい赤外光映像の表示を行う。よって、単純に暗いか否かで可視光映像と赤外光映像を切換えるだけでなく、車両情報を合わせて判断することにより、より最適な運転支援のための映像表示を実現することができる。

また、本実施例においては、可視光撮像手段と赤外光撮像手段をそれぞれ個別に有する例に関して説明したが、これに限られる訳ではなく、可視光と赤外光の撮像手段が一体型の撮像手段であっても良い。

さらに、本実施例においては、撮影装置とは別にモニタ装置が構成される例に関して説明したが、これに限られる訳ではなく、撮影装置内に表示手段を構成しても当然良い。さらに、本実施例においては、周辺が暗いか否かの判断に照度センサを用いた例に関して説明したが、これに限られる訳ではない。例えば、可視光映像の輝度から判断するなどしても当然良い。

［実施例２］
以下、図３〜５を参照して、本発明の第２の実施例による、撮影装置について説明する。図３には、本発明の第２の実施例に係る撮影装置の構成を示す。図１で説明した内容と同様の構成要素は、同一符号で示し、説明を省略する。

撮影装置４００は、車両に搭載される車両用撮影装置であり、運転支援用もしくは周辺監視用に車両の前方を撮影する。車両制御装置２００は車両全体を制御するコンピュータ等からなる制御装置で、運転手の操作に応じて、動力およびブレーキなどを有する車両機能を制御し車両を走行させるなど、車両に関する様々な制御を行う。本実施例では、車両制御装置２００は、車両の走行速度を検出する機能を有する例について説明する。さらに、記録装置５００は、映像を記録する映像記録手段であり、前記撮影装置４００により撮影された映像を記録する。記録装置５００で映像を記録することで、モニタ装置３００による運転手への運転支援だけでなく、事故時などの記録用として映像を用いることができる。

撮影装置４００は、撮像レンズ１１０、撮像素子１１１、画像処理部１１２から成る可視光および赤外光一体型の撮像手段を有する。さらに、撮像装置４００は、出力選択部１０７（出力選択手段）、赤外投光部１１３、輝度検出部１１４（暗所検出手段）、車両情報取得部１０９（車両情報取得手段）を有する。

撮像レンズ１１０は、光を撮像素子１１１に集光させるためのレンズであり、撮像素子１１１は、可視光から赤外光までの広い波長の分光感度特性を持つ撮像素子である。撮像素子１１１のカラーフィルタ配列の例を図４に示す。赤通過フィルタ６０１、緑通過フィルタ６０２、青通過フィルタ６０３、赤外通過フィルタ６０４が図示のように配列され、これを一つの単位として繰り返す配列となっている。撮像素子１１１は、可視光から赤外光までの分光感度域を持つため、このような可視光および赤外光のカラーフィルタを設けることにより、可視光と赤外光を同時に受光し、光電変換する。画像処理部１１２は、撮像素子１１１からの信号を画像処理し、可視光映像および赤外光映像をそれぞれ生成する。

赤外投光部１１３は、撮像素子１１１が受光する赤外光の強度を上げるために、車両の前方に赤外光を照射する。出力選択部１０７は、画像処理部１１２で生成した可視光映像および赤外光映像を入力し、後述する出力選択処理に従って、モニタ装置３００および記録装置５００に出力する映像を選択する。

輝度検出部１１４は、画像処理部１１２で生成した可視光映像から輝度を算出し、該輝度データを出力選択部１０７に出力する。車両情報取得部１０９は、車両制御装置２００と接続され、車両制御装置２００が制御している様々な車両情報を取得する。本実施例では、車両の走行速度の情報を取得する例を説明する。

図５は、実施例２における出力選択処理の流れを示したフローチャートである。まずステップＳ２０では、輝度検出部１１４から輝度データを取得する。次に、ステップＳ２１では、車両情報取得部１０９から車両情報として、車両の走行速度の情報を取得する。ステップＳ２２では、ステップＳ２０で取得した輝度データから車両の周辺が暗いか否かを判断する。当該判断は、輝度が閾値以下か否かで判断し、例えば、夜間か否か、またはトンネルか否かといった、周辺が暗いためにヘッドライトが届かない遠方の視認が容易か否かを判断するための閾値とする。ステップＳ２２で周辺が暗いと判断できる場合は、ステップＳ２３へ、周辺が明るいと判断できる場合は、ステップＳ２５へ進む。

ステップＳ２３では、ステップＳ２１で取得した車両情報を元に、車両の走行速度が閾値以上か否かを判断する。該閾値は、例えば時速１０ｋｍ以上などとし、停止や徐行運転でない走行速度であるか否かを判断する。走行速度が速い場合は、ステップＳ２４に進み、停止や徐行の場合は、ステップＳ２５に進む。ステップＳ２４では、出力選択部１０７は、赤外光映像を選択し、モニタ装置３００および記録装置５００へ出力する。ステップＳ２５では、出力選択部１０７は、可視光映像を選択し、モニタ装置３００および記録装置５００へ出力する。

よって、昼間などの車両周辺が明るい場合は、可視光の映像がモニタ装置３００に表示されるため、車体の死角をモニタ装置３００で確認するなどできる。また、夜間などの車両周辺が暗い場合かつ走行速度が速い場合は、赤外光の映像がモニタ装置３００に表示されるため、ヘッドライトが届かない遠方もモニタ装置３００を見ることで人間や障害物などをいち早く認識することができる。さらには、夜間などの車両周辺が暗い場合であっても、走行速度が遅い場合は、可視光の映像がモニタ装置３００に表示される。

この場合は、停止や徐行時であり、遠方よりも車両近傍に注意を払うことが望まれる。例えば、車両の死角の確認や、撮像レンズが広角の場合は、十字路などの侵入時の左右確認などの運転支援に映像を用いたい。また車両近傍を確認する際は、周辺が暗かったとしても、ヘッドライトの明かりなどがあるため、赤外光映像よりも鮮明である可視光映像を表示する方が効果的である。したがって、単純に昼間などの明るい場合は可視光映像、夜間などの暗い場合は赤外光映像を表示するだけでなく、夜間であっても停止や徐行時は、可視光映像を表示することにより、より注意を払いたい車両近傍の認識が容易となる。ゆえに、最適な運転支援の映像表示が可能となる。

また、本実施例においては、可視光と赤外光の撮像手段が一体型の撮像手段である例に関して説明したが、これに限られる訳ではなく、可視光撮像手段と赤外光撮像手段をそれぞれ個別に有する撮影装置であっても良い。

また、本実施例においては、車両情報として走行速度の情報を取得する例に関して説明したが、これに限られる訳ではない。例えば、車両情報として周辺温度の情報を取得するなどしても良い。赤外光の撮像手段が遠赤外の波長領域である場合、赤外光映像は被写体の温度が可視化された映像となるが、夜間などの暗い場合であっても、周辺の温度が高い場合は、映像にコントラストがなくなり、運転支援としての機能を果たす映像とはならない。

その場合は、可視光映像を表示し、ヘッドライトなどの明かりの当たる部分だけでも認識可能とした方が望ましい。よって、車両情報として、周辺温度の情報を取得し、周辺温度が、人間や動物の体温に近い温度（例えば、摂氏３５度）より高いか否かを判断し、低い場合は赤外光映像を選択、高い場合は、可視光映像を選択するなどしても良い。

また他の例として、車両情報として運転手の視線の情報を取得するなどしても良い。運転支援のために撮影映像をモニタ装置に表示していたとしても、運転手がモニタ装置を見ていなければ、運転支援の効果は得られない。その場合は、運転支援の目的よりも事故時の記録用などの周辺監視の目的で使用する方が効果的である。前述したように、赤外光の撮像手段が遠赤外の波長領域である場合、赤外光映像は被写体の温度が可視化された映像となるため、人間や動物が存在するか否かといった判断はできるが、映像としては鮮明ではない。

よって、それ以上の情報を映像から判断することが難しいため、周辺監視の目的で使用する映像としては、赤外光映像は効果的でない。また、事故時の記録用としては、車両近傍の様子が重要となり、周辺が暗かったとしても、ヘッドライトの明かりなどがあるため、赤外光映像よりも鮮明である可視光映像を記録する方が効果的である。よって、車両情報として、運転手の視線の情報を取得し、視線がモニタ装置にあるか否かを判断し、視線がモニタ装置にある場合は赤外光映像を選択、視線がモニタ装置にない場合は、可視光映像を選択するなどしても良い。

以上、本発明の好ましい実施形態について説明したが、本発明はこれらの実施形態に限定されず、その要旨の範囲内で種々の変形及び変更が可能である。

１００ 撮影装置
１０３ 可視光画像処理部
１０６ 赤外光画像処理部
１０７ 出力選択部
１０８ 照度センサ
１０９ 車両情報取得部
１１４ 輝度検出部
２００ モニタ装置
５００ 記録装置

Claims (6)

1. 自車両の周辺の可視光像を撮像する可視光撮像手段と、
   自車両の周辺の赤外光像を撮像する赤外光撮像手段と、
   前記可視光像の映像か前記赤外光像の映像どちらを出力するか選択する出力選択手段と、
   前記出力選択手段により選択された映像を表示する映像表示手段と、
   自車両の周辺が暗所か否かを検出する暗所検出手段と、
   自車両の車両情報を取得する車両情報取得手段と、を有し、
   前記出力選択手段は、
   前記暗所か否かと前記車両情報に基づいて出力を選択する
   ことを特徴とする車載用撮影装置。
2. 前記車両情報は、
   自車両のワイパーが動作中か否かのワイパー状態を示した情報であり、
   前記出力選択手段は、
   前記自車両周辺が暗所ではなく、かつ前記ワイパー状態が動作中の場合は、
   赤外光像の出力を選択する
   ことを特徴とする請求項１に記載の車載用撮影装置。
3. 前記車両情報は、
   自車両の走行速度の情報であり、
   前記出力選択手段は、
   前記自車両周辺が暗所であり、かつ前記走行速度が所定値以下の場合は、
   可視光像の出力を選択する
   ことを特徴とする請求項１に記載の車載用撮影装置。
4. 前記車両情報は、
   自車両を運転している運転手の視線の情報であり、
   前記出力選択手段は、
   前記自車両周辺が暗所であり、かつ前記視線が映像表示手段以外の場合は、
   可視光像の出力を選択する
   ことを特徴とする請求項１に記載の車載用撮影装置。
5. 前記車両情報は、
   自車両の周辺温度の情報であり、
   前記出力選択手段は、
   前記自車両周辺が暗所であり、かつ前記周辺温度が所定値以上の場合は、
   可視光像の出力を選択する
   ことを特徴とする請求項１に記載の車載用撮影装置。
6. 映像を記録する映像記録手段を有し、
   前記映像記録手段は、
   前記出力選択手段により選択された出力映像を記録する
   ことを特徴とする請求項１に記載の車載用撮影装置。