JP7673589B2 - 制御システムおよびプログラム - Google Patents

Description

本発明は制御システムおよびプログラムに関する。

物体の熱を検出する赤外線カメラを利用した物体検出システムが多く開発されている。またこのような物体検出システムを用いて、例えば自動車の安全性を向上させることが期待されている。一方、赤外線カメラは、物体の熱を検出するという特性上、太陽光を撮像すると赤外線撮像素子として用いられているサーマルセンサが異常を起こす可能性がある。そのため、太陽光の影響を抑制するための技術が必要とされている。

例えば、焦点面アレイによって撮像された熱画像の欠点を表示する原因となる焼き付き事象を、フラットフィールドコレクションを利用して検出する方法が開示されている（特許文献１）。

特開２０２０－０２７３８０号公報

赤外線カメラを利用した物体検出システムは、赤外線カメラに直射日光が当たったことを素早く検出してサーマルセンサを保護するとともに、直射日光が当たっていない場合にはセンサ機能を好適に継続することが期待されている。

本発明は、このような課題を解決するためになされたものであって、熱画像の画質劣化を抑制し、且つ、センサ機能の中断を抑制する制御システム等を提供するものである。

本発明にかかる制御システムは、画像データ取得部、飽和領域検出部、低温領域検出部、判断部および指示部を有する。画像データ取得部は、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。飽和領域検出部は、熱画像に飽和領域が存在することを検出する。低温領域検出部は、熱画像に空に相当する低温領域が存在することを検出する。判断部は、飽和領域の周囲に低温領域が存在するか否かを判断する。指示部は、判断部が、飽和領域の周囲における所定の判断領域内に低温領域が存在すると判断した場合、赤外線カメラのセンサ部の保護を指示する信号を出力する。

本発明に係るプログラムは、コンピュータに以下の制御方法を実行させる。制御方法は、画像データ取得ステップ、飽和領域検出ステップ、低温領域検出ステップ、判断ステップおよび指示ステップを有する。画像データ取得ステップは、車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する。飽和領域検出ステップは、熱画像に飽和領域が存在することを検出する。低温領域検出ステップは、熱画像に空に相当する低温領域が存在することを検出する。判断ステップは、飽和領域の周囲に低温領域が存在するか否かを判断する。指示ステップは、判断ステップにおいて、飽和領域の周囲に低温領域が存在すると判断した場合、赤外線カメラの赤外線センサの保護を指示する信号を出力する。

本発明によれば、熱画像の画質劣化を抑制し、且つ、センサ機能の中断を抑制する制御システム、制御方法およびプログラムを提供することができる。

実施の形態１にかかる制御システムを搭載した車両の構成図である。 赤外線カメラの構成図である。 実施の形態１にかかる制御システムのブロック図である。 実施の形態１にかかる画像処理部のブロック図である。 実施の形態１にかかる制御方法のフローチャートである。 実施の形態１にかかる制御システムの機能を説明するための図である。 実施の形態２にかかる制御方法のフローチャートである。 実施の形態２にかかる制御システムの機能を説明するための図である。 実施の形態３にかかる制御方法のフローチャートである。 実施の形態３にかかる制御システムの機能を説明するための図である。 実施の形態４にかかる制御方法のフローチャートである。 実施の形態４にかかる制御システムの機能を説明するための図である。

以下、発明の実施の形態を通じて本発明を説明するが、特許請求の範囲にかかる発明を以下の実施形態に限定するものではない。また、実施形態で説明する構成の全てが課題を解決するための手段として必須であるとは限らない。説明の明確化のため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。

＜実施の形態１＞
以下、図面を参照して本発明の実施の形態について説明する。図１は、実施の形態１にかかる制御システムを搭載した車両の構成図である。本実施の形態にかかる制御システムは、車両に設けられた赤外線カメラを制御する。図１に示す車両９０は、赤外線カメラ１０、制御システム１１およびディスプレイ１２を含む。

赤外線カメラ１０は、車両９０の周辺を撮像するように車両９０に設けられている。赤外線カメラ１０は例えば車両９０の前方に固定され、車両９０の前方を撮像する。赤外線カメラ１０は制御システム１１と通信可能に接続し、制御システム１１から所定の指示信号を受け取り、受け取った指示信号に応じて動作する。また赤外線カメラ１０は、制御システム１１に対して、赤外線カメラ１０が撮像した画像（熱画像ともいう）にかかる画像データ（熱画像データともいう）を供給する。赤外線カメラ１０は、所謂遠赤外線カメラである。

制御システム１１は、車両９０の任意の場所に固定され、赤外線カメラ１０およびディスプレイ１２のそれぞれと通信可能に接続している。制御システム１１は、赤外線カメラ１０を制御して、赤外線カメラ１０が生成した画像データを取得し、取得した画像データをディスプレイ１２に表示させる。

ディスプレイ１２は、例えば液晶パネルや有機エレクトロルミネッセンスパネルを含む表示装置であって、車両９０において運転者が視認可能な位置に設けられている。ディスプレイ１２は、制御システム１１を介して赤外線カメラ１０が撮像した画像を表示する。

上述の構成により、制御システム１１は、赤外線カメラ１０が撮像した画像を運転者が視認可能な態様によりディスプレイ１２に表示させる。これにより、制御システム１１は、車両９０の周辺の物体を運転者に認識させることができる。

次に、図２を参照して、赤外線カメラ１０の構成について説明する。図２は、赤外線カメラの構成図である。図２に示す赤外線カメラ１０は主な構成として、筐体１０１、対物レンズ１０２、シャッタ１０３、赤外線センサ１０４、カメラ制御回路１０５および温度センサ１０６を有している。

筐体１０１は、赤外線カメラ１０の各構成を収容し、車両９０に固定される。対物レンズ１０２は、赤外線カメラ１０が撮像する範囲から入射する赤外線を受け、赤外線センサ１０４に投射する。シャッタ１０３は、遮光性の板材を含み、対物レンズ１０２と赤外線センサ１０４との間に開閉可能に介在する。

シャッタ１０３は、閉じた状態のときに、対物レンズ１０２から赤外線センサ１０４へ入射する光を遮る。一方、シャッタ１０３は、開いた状態のときに、対物レンズ１０２から赤外線センサ１０４へ入射する光を遮らない。また、シャッタ１０３は、赤外線センサ１０４から見て黒体であり、シャッタ１０３を閉じた状態で、赤外線センサ１０４のキャリブレーションを行う。

赤外線センサ１０４は、アレイ状に配置された感熱素子で構成され、対物レンズ１０２を介して入射する赤外光を受け、感熱素子の各々の抵抗値変化によって画像データを生成する。赤外線センサ１０４はカメラ制御回路１０５と通信可能に接続し、カメラ制御回路１０５から所定の制御信号を受けて動作する。赤外線センサ１０４は、画像データを生成すると、生成した画像データをカメラ制御回路１０５に供給する。

なお、赤外線センサ１０４は、所定の強さより強い太陽光を所定期間以上受けると、太陽光を受けた範囲の素子の出力が飽和する。また、太陽光を受けた範囲の素子の温度が規定値以上に上昇するため、素子の不可逆な変形や特性の変化などの異常状態が生じる。そのため、赤外線カメラ１０は、赤外線センサ１０４を直射日光から保護するために、シャッタ１０３を有する。

また、赤外線センサ１０４のダイナミックレンジは、歩行者等の物体を検出するための分解能が比較的に高くなるように設定されている。そのため、赤外線センサ１０４は、異常を起こさない温度範囲であっても、温度の高い物体を撮影した範囲の素子の出力が飽和する。

カメラ制御回路１０５は、ＭＣＵ（Micro Controller Unit）を含む制御回路であって、シャッタ１０３および赤外線センサ１０４を制御する。またカメラ制御回路１０５は制御システム１１と通信可能に接続し、制御システム１１から制御信号を受け取り、受け取った制御信号に応じて、赤外線カメラ１０の各構成を制御する。カメラ制御回路１０５は、赤外線カメラ１０が撮像をしない場合にはシャッタ１０３が閉じた状態を保つよう制御する。カメラ制御回路１０５は、赤外線カメラ１０が撮像をする場合にはシャッタ１０３が開いた状態となるよう制御する。またこのとき、カメラ制御回路１０５は、赤外線センサ１０４が生成した画像データを、制御システム１１に供給する。

またカメラ制御回路１０５は、所定の条件下、シャッタ１０３を一時的に閉じる。所定の条件とは例えば、赤外線センサ１０４を保護する目的でシャッタ１０３を一時的に閉じる場合や、キャリブレーションを行う場合である。この場合、例えばカメラ制御回路１０５は、制御システム１１からシャッタ１０３を一時的に閉じる指示を受ける。

カメラ制御回路１０５は温度センサ１０６と通信可能に接続し、温度センサ１０６から赤外線カメラ１０内部の温度に関する測定データを受け取る。またカメラ制御回路１０５は温度センサ１０６から受け取った測定データを制御システム１１に供給する。またカメラ制御回路１０５は温度センサ１０６から測定データを受け取り、受け取った測定データに応じてキャリブレーションを行ってもよい。

温度センサ１０６は赤外線カメラ１０内部に設置され、赤外線カメラ１０の温度を測定し、測定データをカメラ制御回路１０５に供給する。温度センサ１０６は赤外線センサ１０４の近傍に設置されているのが好ましい。

次に、図３を参照して、制御システム１１について説明する。図３は、実施の形態１にかかる制御システムのブロック図である。制御システム１１は主な構成として、制御ＩＦ１２０、ＲＯＭ１３０、ＲＡＭ１４０、システム制御回路１５０、画像データ取得部１６０、画像処理部１７０、画像認識部１８０および画像データ出力部１９０を有している。またこれらの構成は、バス１１０を介して適宜通信可能に接続されている。

制御ＩＦ１２０は、赤外線カメラ１０を制御するための通信回線のインタフェースである。制御ＩＦ１２０は制御システム１１が赤外線カメラ１０を制御するための制御信号を、赤外線カメラ１０に供給する。

ＲＯＭ１３０（ＲＯＭ（Read Only Memory））は、予め設定された情報またはデータを記憶する不揮発性のメモリである。ＲＯＭ１３０は、例えば制御システム１１が本実施の形態にかかる機能を実現するためのプログラムを予め記憶している。

ＲＡＭ１４０（ＲＡＭ（Random Access Memory））は、制御システム１１が一時的にデータを展開できる記憶領域を有する揮発性のメモリである。ＲＡＭ１４０は、例えばＤＲＡＭ（Dynamic Random Access Memory）であってもよいし、システム制御回路１５０等に付随するレジスタを含んでもよい。ＲＡＭ１４０は、ＲＯＭ１３０が記憶するプログラムを展開して実行する領域を含む。またＲＡＭ１４０は、例えば赤外線カメラ１０から供給された画像データを処理する場合等に利用され得る。

システム制御回路１５０は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）などの演算装置を含む。システム制御回路１５０は機能ブロックとして、判断部１５１および指示部１５２を含む。

判断部１５１は、制御システム１１から取得した画像データにかかる熱画像について、この熱画像に飽和領域と低温領域とがいずれも含まれる場合に、これらの位置関係について所定の判断をする。より具体的には、判断部１５１は、この熱画像における飽和領域の周囲における所定の範囲内に低温領域が存在するか否かを判断する。

すなわち赤外線カメラ１０が撮像する熱画像には、飽和領域として太陽の画像が含まれる可能性がある。また熱画像には、飽和領域として他車両のマフラ等の高温部分の画像が含まれる可能性もある。さらに、太陽の画像の周囲には空が撮像される可能性が高い。また熱画像に含まれる空の範囲は温度が非常に低い。一方、他車両のマフラ等の高温部分の画像の周囲には、空の温度を示すような低温領域が存在する可能性が低い。そのため、飽和領域の周囲に空に相当する低温領域、つまり空の温度を示す低温領域が存在する場合には、その飽和領域は太陽を撮像したものであると推定され得る。そこで、制御システム１１は、飽和領域の周囲に空に相当する低温領域が存在するか否かの判断をする。判断部１５１は、この判断の結果を指示部１５２に供給する。

指示部１５２は、赤外線カメラ１０に対して所定の指示を出力する。より具体的には、指示部１５２は例えば、判断部１５１の判断結果を受け取る。そしてこの判断結果が、飽和領域の周囲に空の温度を示す低温領域が存在すると判断するものであった場合、指示部１５２は、赤外線カメラ１０に対して赤外線センサ１０４の保護を指示する信号を出力する。より具体的には、指示部１５２は、赤外線カメラ１０のシャッタ１０３を閉じる指示を出力する。制御ＩＦ１２０は、指示部１５２が出力した指示を、赤外線カメラ１０に供給する。

画像データ取得部１６０は、赤外線カメラ１０から熱画像にかかるデータである熱画像データ（入力熱画像データ）を取得するインタフェースである。画像データ取得部１６０は例えば赤外線カメラ１０から定期的に画像データを取得する。例えば画像データ取得部１６０は、１フレームの画像を、１５分の１秒毎に受け取る。画像データ取得部１６０は画像データを受け取ると、受け取った画像データを画像処理部１７０に供給する。

画像処理部１７０は、例えばＧＰＵ（Graphics Processing Unit）を含む画像処理回路によって実現される。画像処理部１７０は、ＲＡＭ１４０と連携して、熱画像データに対して所定の処理を施す。画像処理部１７０の詳細は、後述する。

画像認識部１８０は、画像データ取得部１６０から熱画像データを受け取り、受け取った熱画像データにかかる熱画像から車両や人物等を検出する。より具体的には、画像認識部１８０は、例えば車両や人物などの検出対象物体を検出するための認識辞書を有し、認識辞書のデータを参照して、車両や人物などを検出する。画像認識部１８０は、車両や人物を検出すると、検出した車両や人物の位置、大きさに関する情報を生成し、生成した情報を、システム制御回路１５０に供給する。

画像データ出力部１９０は、画像処理部１７０が処理した画像データ（出力熱画像データ）を、ディスプレイ１２に出力するためのインタフェースである。画像データ出力部１９０が出力する画像データはディスプレイ１２の仕様に対応したデータフォーマットにしたがって出力される。このデータフォーマットは、例えばＨＤＭＩ（High-Definition Multimedia Interface）（登録商標）やＤＶＩ（Digital Visual Interface）等である。

次に、図４を参照して、画像処理部１７０について説明する。図４は、実施の形態１にかかる画像処理部１７０のブロック図である。画像処理部１７０は主な構成として、欠陥画素補正部１７１、ＮＵＣ部１７２、飽和領域検出部１７３および低温領域検出部１７４を有する。

欠陥画素補正部１７１は、赤外線センサ１０４の欠陥画素を予め記憶し、記憶した欠陥画素の画素値を、周辺の画素の画素値から補間する処理（補間処理）を施す。欠陥画素補正部１７１は、画像データ取得部１６０を介して、赤外線カメラ１０から入力熱画像データを受け取り、受け取った画像データに対して、上述の補間処理を施す。欠陥画素補正部１７１は補間処理を施した画像データを、ＮＵＣ部１７２および飽和領域検出部１７３に供給する。

ＮＵＣ部１７２は、入力された光に対して出力する画素値のばらつきを抑制するための較正処理であるＮＵＣ（Non-Uniformity Correction）を行う。ＮＵＣ部１７２は、赤外線センサ１０４のそれぞれの画素が有する特性に対応したゲインとオフセット値の設定を予め有している。ＮＵＣ部１７２は、欠陥画素補正部１７１から受け取った画像データに対して、予め有しているこの設定にしたがい、画像データのそれぞれの画素値を較正する。

飽和領域検出部１７３は、欠陥画素補正部１７１から欠陥画素が補正された画像データを受け取り、受け取った画像データの飽和領域を検出する。より詳細には、飽和領域検出部１７３は、飽和領域を検出するために、画像データ内の飽和領域を検索する。飽和領域は、飽和画素ないし実質的に飽和している画素が存在する領域である。飽和画素とは、画素データが上限値となった状態の画素をいう。例えば、撮像データの各画素の輝度レベルがゼロから１６３８３までの１４ビットで表現されている場合に、輝度レベルが１６３８３の値を有する座標の画素を飽和画素という。

飽和領域検出部１７３は、例えば隣接する４個の画素が飽和画素であることを検出した場合に、飽和領域が存在すると判断する。あるいは飽和領域検出部１７３は、例えば近接する９個以上の画素が輝度値の上限の９８パーセント以上である場合に、飽和領域が存在すると判断してもよい。飽和領域検出部１７３は、受け取った撮像データに飽和領域が存在すると検出した場合、飽和領域の検出結果を示す信号を、システム制御回路１５０に出力する。飽和領域の検出結果を示す信号には、飽和領域と判定された画素の位置に関するデータが含まれ得る。

低温領域検出部１７４は、画像データの所定領域において低温領域を検出する。より詳細には、低温領域検出部１７４は、所定領域において低温領域を検出するために、画像データの所定領域において低温領域を検索する。低温領域検出部１７４が低温領域の検索を行う所定領域とは、画像データ全体であってもよいし、飽和領域に応じて設定される領域であってもよい。

低温領域は、熱画像において比較的に低い温度を示す画素値を含む領域である。より具体的には、低温領域は、輝度値が比較的に小さい画素であって、飽和画素との輝度値の差が所定の閾値より大きい画素が存在する領域である。本実施の形態にかかる低温領域は、空の温度を検出することを目的として設定される。一般に熱画像において、空は例えば摂氏マイナス２０度程度またはそれ以下に相当する画素値となる。そのため飽和画素との輝度値の差である閾値は、上述の温度が検出できるように設定される。赤外線センサ１０４が測定して出力する熱画像の輝度値は、環境温度により変化する。そのため、上述の閾値は、温度センサ１０６が測定する温度に応じて設定され得る。

なお、低温領域検出部１７４は、飽和画素との輝度値の差が上述の閾値より大きいことを判定するのに代えて、各画素の輝度値が所定の下限値を下回っていることを判定するものであってもよい。この場合の下限値は、温度センサ１０６が測定する温度に応じて設定されるものであってもよい。低温領域検出部１７４は、受け取った撮像データに低温領域が存在すると検出した場合、低温領域の検出結果を示す信号を、システム制御回路１５０に出力する。低温領域の検出結果を示す信号には、低温領域と判定された画素の位置に関するデータが含まれ得る。

次に、図５を参照して、制御システム１１が実行する処理について説明する。図５は、実施の形態１にかかる制御方法のフローチャートである。図５に示すフローチャートは、例えば、制御システム１１による赤外線カメラ１０を用いた撮像が開始されることによって開始され、赤外線カメラ１０を用いた撮像が行われている期間、繰り返し実行される。

まず、制御システム１１の画像データ取得部１６０は、赤外線カメラ１０から熱画像データを取得し（ステップＳ１０）、これを画像処理部１７０に供給する。

次に、画像処理部１７０の飽和領域検出部１７３および低温領域検出部１７４は、欠陥補正が施された画像データから飽和領域および空の温度を示す低温領域を検索する（ステップＳ１１）。画像処理部１７０は、かかる検索の結果として飽和領域および低温領域を検出すると、検出した飽和領域および低温領域の位置等に関するデータをシステム制御回路１５０に供給する。

次に、システム制御回路１５０は、画像処理部１７０が熱画像データに飽和領域および低温領域が存在することを検出したか否かを判断する（ステップＳ１２）。より具体的には、システム制御回路１５０が有する判断部１５１が、この判断を行う。熱画像データに飽和領域および低温領域が存在することを検出したと判断する場合（ステップＳ１２：ＹＥＳ）、システム制御回路１５０はステップＳ１３に進む。一方、画像データに飽和領域および低温領域が存在することを検出したと判断しない場合（ステップＳ１２：ＮＯ）、制御システム１１は一連の処理を終了する。

ステップＳ１３において、システム制御回路１５０の判断部１５１は、熱画像における飽和領域の周囲に低温領域が含まれるか否かを判断する（ステップＳ１３）。飽和領域の周囲に低温領域が含まれると判断する場合（ステップＳ１３：ＹＥＳ）、制御システム１１はステップＳ１４に進む。一方、飽和領域の周囲に低温領域が含まれると判断しない場合、（ステップＳ１３：ＮＯ）、制御システム１１は一連の処理を終了する。

ステップＳ１４において、システム制御回路１５０の指示部１５２は、赤外線カメラ１０の赤外線センサ１０４を保護することを指示する信号を出力する（ステップＳ１４）。より具体的には例えば、指示部１５２は、赤外線カメラ１０のシャッタ１０３を閉じる指示を出力する。制御システム１１は、この指示に関する信号を、制御ＩＦ１２０を介して赤外線カメラ１０に供給する。制御システム１１は、シャッタ１０３を閉じる指示の信号を出力すると、一連の処理を終了する。

ステップＳ１４において、シャッタ１０３を閉じた場合、指示部１５２は、例えば所定期間経過してからシャッタ１０３を開く指示の信号を出力する。この場合の所定期間とは、例えば、赤外線センサ１０４のキャリブレーションを行うための期間などである。または、例えば１秒間など予め設定された期間であってもよい。

以上、制御システム１１が実行する処理である制御方法について説明した。上述の制御方法において、制御システム１１は、飽和領域と低温領域との位置関係に応じて赤外線センサ１０４を保護する指示の信号を出力する。すなわち制御システム１１は、飽和領域の周囲において空に相当する低温領域が存在する場合には、赤外線センサ１０４の保護を指示する信号を出力する。一方、制御システム１１は、飽和領域の周囲において空に相当する低温領域が存在しない場合には、赤外線センサ１０４の保護を指示する信号を出力しない。これにより、上述の制御方法は、熱画像の画質劣化を抑制し、且つ、センサ機能の中断を抑制することができる。

次に、図６を参照して本実施の形態にかかる制御システム１１の機能について説明する。図６は、実施の形態１にかかる制御システムの機能を説明するための図である。図６は、赤外線カメラ１０が撮像した画像の一例を示している。図６に示す画像Ｄ１１は、走行中の車両９０の前方を赤外線カメラ１０が撮像したものである。画像Ｄ１１は、車両９０の前方を走行する他車両９９０の画像を含む。他車両９９０の画像は、マフラ９９１の画像を含む。また画像Ｄ１１は、太陽８００の画像および空８０１の画像も含む。

画像Ｄ１１は、マフラ９９１の画像に相当する画素に飽和領域が生じ得る。すなわち、飽和領域検出部１７３は、マフラ９９１の領域（破線のハッチングが施された楕円の領域）において飽和した画素を飽和領域として検出し得る。同様に、画像Ｄ１１は、太陽８００の画像に相当する画素に飽和領域が生じ得る。すなわち、飽和領域検出部１７３は、太陽８００の領域（破線のハッチングが施された円の領域）において飽和した画素を飽和領域として検出し得る。また画像Ｄ１１は、空８０１の画像に相当する画素に低温領域が生じ得る。すなわち、低温領域検出部１７４は、空８０１の領域（実線のハッチングが施された領域）を低温領域として検出し得る。

このとき判断部１５１は、飽和領域の周囲に低温領域が存在するか否かを判断する。具体的には、判断部１５１は、飽和領域の周囲に、所定の判断領域を設定する。判断領域は、飽和領域を中心として画定される所定の領域である。図６において、太陽８００の周囲において太線の二点鎖線により示された矩形は、太陽８００に対応する飽和領域の周囲に設定された判断領域Ａ１１の境界を示している。同様に、マフラ９９１の周囲において太線の二点鎖線により示された矩形は、マフラ９９１に対応する飽和領域の周囲に設定された判断領域Ａ１１の境界を示している。

上述の状況において、判断部１５１は、太陽８００とマフラ９９１のそれぞれに対応する飽和領域に設定した判断領域内に、低温領域が存在するか否かを判断する。図６に示すように、判断領域Ａ１２には低温領域が含まれない。そのため、判断部１５１は、マフラ９９１の画像に対応する飽和領域の周囲には、空に相当する低温領域が存在すると判断しない。したがって、指示部１５２は、マフラ９９１の画像に対応する飽和領域から赤外線センサ１０４の保護を指示する信号を出力しない。

一方、図６に示すように、判断領域Ａ１１には空８０１の画像に対応する低温領域が含まれる。そのため、判断部１５１は、太陽８００の画像に対応する飽和領域の周囲に低温領域が存在すると判断する。したがって、指示部１５２は、太陽８００の画像に対応する飽和領域から赤外線センサ１０４の保護を指示する信号を出力する。

なお、上述の赤外線センサ１０４は、サーマルセンサ、または、ボロメータと言い換えてもよい。上述の制御システム１１は、赤外線カメラ１０およびディスプレイ１２の少なくともいずれか一方を含む構成であってもよい。

以上、実施の形態１について説明した。上述の通り、実施の形態１によれば、熱画像の画質劣化を抑制し、且つ、センサ機能の中断を抑制する制御システム、制御方法およびプログラムを提供することができる。

＜実施の形態２＞
次に、実施の形態２について説明する。実施の形態２は、制御システム１１が実行する処理が、実施の形態１と異なる。

実施の形態２にかかる制御システム１１は、画像処理部１７０の飽和領域検出部１７３が飽和領域を検出すると、検出した飽和領域に対して判断領域を設定する。さらに画像処理部１７０は、設定した判断領域内において低温領域を検出するために、判断領域において低温領域を検索する。そして低温領域検出部１７４は、検索の結果をシステム制御回路１５０に供給する。

図７は、実施の形態２にかかる制御方法のフローチャートである。図７に示すフローチャートは、ステップＳ１１およびステップＳ１２に代えて、ステップＳ２１からステップＳ２４を実行する点が、図５に示すフローチャートと異なる。

まず、実施の形態２にかかる制御システム１１の画像データ取得部１６０は、赤外線カメラ１０から熱画像データを取得し（ステップＳ１０）、これを画像処理部１７０に供給する。

次に、画像処理部１７０の飽和領域検出部１７３は、欠陥補正が施された画像データから飽和領域を検索する（ステップＳ２１）。

次に、画像処理部１７０は、飽和領域検出部１７３が飽和領域を検出したか否かを判断する（ステップＳ２２）。飽和領域検出部１７３が飽和領域を検出しなかった場合には、画像処理部１７０は飽和領域検出部１７３が飽和領域を検出したと判断しない。この場合（ステップＳ２２：ＮＯ）、制御システム１１は一連の処理を終了する。飽和領域検出部１７３が飽和領域を検出したと判断する場合（ステップＳ２２：ＹＥＳ）、飽和領域検出部１７３は、検出した飽和領域の位置等に関するデータを低温領域検出部１７４に供給し、画像処理部１７０はステップＳ２３に進む。

ステップＳ２３において、低温領域検出部１７４は、画像データの飽和領域に対して判断領域を設定し、判断領域内の低温領域を検索する（ステップＳ２３）。

次に、システム制御回路１５０の判断部１５１は、低温領域検出部１７４が判断領域において空に相当する低温領域を検出したか否かを判断する（ステップＳ２４）。低温領域検出部１７４が低温領域を検出しなかった場合には、判断部１５１は低温領域検出部１７４が低温領域を検出したと判断しない。すなわちこの場合は、画像データに飽和領域は存在するものの、空に相当する低温領域が飽和領域の周囲に存在しなかったことを意味している。この場合（ステップＳ２４：ＮＯ）、制御システム１１は一連の処理を終了する。一方、低温領域検出部１７４が低温領域を検出したと判断する場合（ステップＳ２４：ＹＥＳ）、画像処理部１７０は、検出した飽和領域および低温領域の位置等に関するデータをシステム制御回路１５０に供給し、システム制御回路１５０はステップＳ１３に進む。

ステップＳ１３において、システム制御回路１５０の判断部１５１は、熱画像における飽和領域の周囲に低温領域が含まれるか否かを判断する（ステップＳ１３）。なお、本実施の形態にかかる「飽和領域の周囲」とは、低温領域検出部１７４が設定した判断領域を指す。飽和領域の周囲すなわち判断領域に低温領域が含まれると判断する場合（ステップＳ１３：ＹＥＳ）、制御システム１１はステップＳ１４に進む。一方、この判断領域に低温領域が含まれると判断しない場合、（ステップＳ１３：ＮＯ）、制御システム１１は一連の処理を終了する。

次に、図８を参照して、本実施の形態にかかる制御システム１１の機能について説明する。図８は、実施の形態２にかかる制御システムの機能を説明するための図である。図８に示す画像Ｄ２１は、図６と同様に、太陽８００、空８０１および他車両９９０の画像がそれぞれ含まれる。

図８に示すように、実施の形態２にかかる制御システム１１は、飽和領域に対応した判断領域Ａ１１および判断領域Ａ１２において低温領域を検索する。そのため、本実施の形態にかかる低温領域検出部１７４は、判断領域Ａ１１の内部の領域に低温領域を検出するが、その他の領域について低温領域を検出しない。

このような構成により、本実施の形態にかかる制御システム１１は、飽和領域に対応した判断領域内の低温領域を検索すればよい。そのため、赤外線センサ１０４の保護を指示する信号を出力するまでの処理を早くすることができる。

以上、実施の形態２について説明した。実施の形態２によれば、熱画像の画質劣化を効率よく抑制し、且つ、センサ機能の中断を抑制する制御システム、制御方法およびプログラムを提供することができる。

＜実施の形態３＞
次に、実施の形態３について説明する。実施の形態３にかかる制御システム１１は、低温領域を検索する手法および低温領域を検出する方法が、上述の実施の形態と異なる。

本実施の形態にかかる判断部１５１は、判断領域内における飽和領域と低温領域との距離を測定する。この場合、例えば判断部１５１は、飽和領域の中心部から低温領域の中心部までの距離を測定する。そして判断部１５１は、飽和領域と低温領域との距離が所定の閾値距離未満である場合に、飽和領域の周囲に低温領域が存在すると判断する。なお、判断部１５１は、飽和領域の端部と低温領域の端部との最短距離を測定するものであってもよい。

本実施の形態にかかる画像処理部１７０は、飽和領域の大きさを測定してもよい。またこの場合、判断部１５１は、測定した飽和領域の大きさに応じて判断領域の大きさおよび閾値距離のうち少なくともいずれか一方を設定するものであってもよい。さらにこの場合、判断部１５１は、低温領域検出部１７４に対して設定した判断領域または閾値距離に関する情報を提供してもよい。

次に、図９を参照して、実施の形態３にかかる制御システム１１の処理について説明する。図９は、実施の形態３にかかる制御方法のフローチャートである。実施の形態３にかかる制御方法は、ステップＳ１３に代えてステップＳ３１を有する点が、図７に示したフローチャートと異なる。

ステップＳ２４において、システム制御回路１５０の判断部１５１は、低温領域検出部１７４が低温領域を検出したか否かを判断する（ステップＳ２４）。低温領域検出部１７４が低温領域を検出したと判断する場合（ステップＳ２４：ＹＥＳ）、システム制御回路１５０はステップＳ３１に進む。

ステップＳ３１において、判断部１５１は、飽和領域と低温領域とが閾値距離未満であるか否かを判断する（ステップＳ３１）。飽和領域と低温領域とが閾値距離未満であると判断されない場合（ステップＳ３１：ＮＯ）、制御システム１１は一連の処理を終了する。一方、飽和領域と低温領域とが閾値距離未満であると判断する場合（ステップＳ３１：ＹＥＳ）、判断部１５１はステップＳ１４に進み、指示部１５２が赤外線センサ１０４の保護を指示する信号を出力する（ステップＳ１４）。

次に、図１０を参照して実施の形態３にかかる制御システム１１の機能についてさらに説明する。図１０は、実施の形態３にかかる制御システムの機能を説明するための図である。図１０に示す画像Ｄ３１は、図８と同様に、太陽８００、空８０１および他車両９９０の画像がそれぞれ含まれる。

実施の形態３にかかる制御システム１１は、飽和領域に対応した判断領域Ａ３１および判断領域Ａ３２において低温領域を検索する。このとき低温領域検出部１７４は、判断領域Ａ３２および判断領域Ａ３２を所定の単位領域に分割し、かかる単位領域が低温領域となり得るかを判断する。この場合、例えば低温領域検出部１７４はこの単位領域に含まれる画素のヒストグラムを集計し、低温領域に相当する画素の割合が例えば９０パーセント以上の場合にはかかる単位領域を低温領域と判断する。なお、上述の９０パーセントは一例である。低温領域検出部１７４が低温領域と判断するためのパーセンテージは９０パーセントに限られない。

図１０に示す判断領域Ａ３１において、低温領域検出部１７４は複数の単位領域Ｕ３１を設定し、それぞれの単位領域Ｕ３１１が低温領域であるか否かを判断する。低温領域検出部１７４は、それぞれの単位領域Ｕ３１が低温領域であるか否かを示すデータを、システム制御回路１５０に供給する。

システム制御回路１５０の判断部１５１は、画像処理部１７０から飽和領域および低温領域に関するデータを受け取ると、受け取ったデータを用いて、飽和領域と低温領域との距離を算出する。そして判断部１５１は、飽和領域と低温領域とが閾値距離未満か否かを判断する。この場合、判断部１５１は、例えば飽和領域の中心と、低温領域であると判断された単位領域の中心とを結んだベクトルのベクトル値を用いて飽和領域と低温領域との距離を算出する。

図１０に示す画像Ｄ３１において、低温領域検出部１７４は判断領域Ａ３１に対して低温領域を検索する。その結果、低温領域検出部１７４は、判断領域Ａ３１における複数の単位領域を低温領域であると判断する。一方、低温領域検出部１７４は判断領域Ａ３２に対して低温領域を検索するが、低温領域を検出しない。

太陽８００の画像の周囲に点線により示された円は、太陽８００に相当する飽和領域の中心から半径Ｄ８００の閾値距離を示している。また、太い実線により示された単位領域Ｕ３１１の中心は、閾値距離未満の位置に存在している。この場合、判断部１５１は、太陽８００に相当する飽和領域と単位領域Ｕ３１１とが閾値距離未満であると判断する。

なお、判断部１５１は、上述した判断以外の判断を行ってもよい。例えば判断部１５１は、飽和領域と低温領域との間に存在する画素数から所定の閾値距離を算出してもよい。より具体的には例えば判断部１５１は、熱画像データが横方向３２０画素、縦方向２４０画素の場合、飽和領域から１０画素などの値を閾値と設定し、飽和領域と低温領域とが所定の閾値距離未満であることを判定してもよい。

なお、上述の例において、判断領域Ａ３１は正方形であって、一辺は長さＤ３１である。この長さＤ３１は、太陽８００に相当する飽和領域の大きさにより設定され得る。また判断領域Ａ３２の一辺は、長さＤ３２である。この長さＤ３２は、マフラ９９１に相当する飽和領域の大きさにより設定され得る。すなわち飽和領域の大きさが比較的に小さい場合における判断領域の一辺の長さは、飽和領域の大きさが比較的に大きい場合における判断領域の一辺の長さよりも小さく設定され得る。

以上、実施の形態３について説明した。なお、図１０に示した例は、実施の形態２に示した図８の例と同様に、判断領域を設定し、設定した判断領域内の低温領域を検索する例を示した。しかし、実施の形態３にかかる制御システム１１は、実施の形態１に示したように、画像データ全体の低温領域を検索し、そのうえで、飽和領域と低温領域との距離を判断するものであってもよい。

以上、実施の形態３について説明した。実施の形態３によれば、熱画像の画質劣化を好適に抑制し、且つ、センサ機能の中断を好適に抑制する制御システム、制御方法およびプログラムを提供することができる。

＜実施の形態４＞
次に、実施の形態４について説明する。実施の形態４にかかる制御システム１１は、判断部１５１の処理が、上述の実施の形態と異なる。

本実施の形態にかかる判断部１５１は、熱画像における飽和領域が存在する位置より高い位置に低温領域が存在するか否かをさらに判断する点が、上述の実施の形態と異なる。すなわち本実施の形態にかかる判断部１５１は例えば、飽和領域の周囲に低温領域が存在すると判断した場合に、この低温領域が熱画像において飽和領域の位置より高い位置に存在するか否かを判断する。ここで飽和領域の位置より高い位置か否かは、例えば飽和領域の中心の画素より高さ方向で上の位置に低温領域が含まれるか否かにより判断される。

図１１は、実施の形態４にかかる制御方法のフローチャートである。本実施の形態にかかる制御方法は、ステップＳ１３に代えてステップＳ４１を有する点が、図７に示したフローチャートと異なる。また本実施の形態にかかるフローチャートは、ステップＳ３１に代えてステップＳ４１を有する点が、図９に示したフローチャートと異なる。

図１１のフローチャートのステップＳ２４において、システム制御回路１５０の判断部１５１は、低温領域検出部１７４が低温領域を検出したか否かを判断する（ステップＳ２４）。低温領域検出部１７４が低温領域を検出したと判断する場合（ステップＳ２４：ＹＥＳ）、システム制御回路１５０はステップＳ４１に進む。

ステップＳ４１において、判断部１５１は、飽和領域の上方に低温領域が存在するか否かを判断する（ステップＳ４１）。飽和領域の上方に低温領域が存在すると判断しない場合（ステップＳ４１：ＮＯ）、制御システム１１は一連の処理を終了する。一方、飽和領域の上方に低温領域が存在すると判断する場合（ステップＳ４１：ＹＥＳ）、判断部１５１はステップＳ１４に進み、指示部１５２が赤外線センサ１０４の保護を指示する信号を出力する（ステップＳ１４）。

次に、図１２を参照して実施の形態４にかかる制御システム１１の機能についてさらに説明する。図１２は、実施の形態４にかかる制御システムの機能を説明するための図である。図１２に示す画像Ｄ４１は、太陽８００、空８０１および他車両９９０の画像がそれぞれ含まれる。

本実施の形態にかかる低温領域検出部１７４は、飽和領域の検出をした後に、飽和領域の上方に対応する判断領域を設定し、この判断領域において低温領域を検索する。図１２において、判断領域Ａ４１は、太陽８００の上方に対応する判断領域である。従って、飽和領域の上方とは、飽和領域に連続した上方ともいえる。また判断領域Ａ４２は、マフラ９９１の上方に対応する判断領域である。低温領域検出部１７４はこのように判断領域を設定し、設定した判断領域に低温領域が存在するか否かを判断する。図１２に示した例では、判断部１５１は判断領域Ａ４１に低温領域が存在すると判断する。これにより、制御システム１１は、図１２に示すように、太陽の下方に空が存在しない場合に、効率よく低温領域を検出できる。

以上、実施の形態４について説明した。なお、図１２に示した例は、実施の形態２に示した図８の例と同様に、判断領域を設定し、設定した判断領域内の低温領域を検索する例を示した。しかし、実施の形態４にかかる制御システム１１は、実施の形態１に示したように、画像データ全体の低温領域を検索し、そのうえで、飽和領域の上方に低温領域が存在することを判断するものであってもよい。

また実施の形態４において説明した機能は、飽和領域の位置に応じて実行されてもよい。実施の形態４にかかる制御システム１１は、例えば飽和領域の中心の位置が熱画像の下端から３分の２の範囲に存在する場合に、上述の機能を発揮するものであってもよい。またこの場合、飽和領域の中心の位置が熱画像の下端から３分の２より上方に存在する場合には、制御システム１１は例えば実施の形態１または実施の形態２に相当する機能を発揮するものであってもよい。

以上、実施の形態４について説明した。実施の形態４によれば、熱画像の画質劣化を抑制し、且つ、センサ機能の中断を抑制する制御システム、制御方法およびプログラムを提供することができる。

上述のプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

１０ 赤外線カメラ
１１ 制御システム
１２ ディスプレイ
９０ 車両
１０１ 筐体
１０２ 対物レンズ
１０３ シャッタ
１０４ 赤外線センサ
１０５ カメラ制御回路
１０６ 温度センサ
１１０ バス
１２０ 制御ＩＦ
１３０ ＲＯＭ
１４０ ＲＡＭ
１５０ システム制御回路
１５１ 判断部
１５２ 指示部
１６０ 画像データ取得部
１７０ 画像処理部
１７１ 欠陥画素補正部
１７２ ＮＵＣ部
１７３ 飽和領域検出部
１７４ 低温領域検出部
１８０ 画像認識部
１９０ 画像データ出力部
２７０ 画像処理部
８００ 太陽
８０１ 空
９９０ 他車両
９９１ マフラ

Claims (5)

1. 車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する画像データ取得部と、
   前記熱画像に飽和領域が存在することを検出する飽和領域検出部と、
   前記熱画像に空に相当する低温領域が存在することを検出する低温領域検出部と、
   前記飽和領域の周囲に前記低温領域が存在するか否かを判断する判断部と、
   前記判断部が、前記飽和領域の周囲における所定の判断領域内に前記低温領域が存在すると判断した場合、前記赤外線カメラのセンサ部の保護を指示する信号を出力する指示部と、
   を備える制御システム。
2. 前記判断部は、前記判断領域内における前記飽和領域と前記低温領域とが所定の閾値距離未満である場合に、前記飽和領域の周囲に前記低温領域が存在すると判断する、
   請求項１に記載の制御システム。
3. 前記判断部は、前記飽和領域の大きさに応じて前記判断領域の大きさおよび前記閾値距離のうち少なくともいずれか一方を設定する、
   請求項２に記載の制御システム。
4. 前記判断部は、前記熱画像における前記飽和領域が存在する位置より高い位置に前記低温領域が存在するか否かをさらに判断する、
   請求項１から３のいずれか１項に記載の制御システム。
5. 車両の周辺の熱画像を撮像する赤外線カメラから熱画像データを取得する画像データ取得ステップと、
   前記熱画像に飽和領域が存在することを検出する飽和領域検出ステップと、
   前記熱画像に空に相当する低温領域が存在することを検出する低温領域検出ステップと、
   前記飽和領域の周囲に前記低温領域が存在するか否かを判断する判断ステップと、
   前記判断ステップにおいて、前記飽和領域の周囲に前記低温領域が存在すると判断した場合、前記赤外線カメラの赤外線センサの保護を指示する信号を出力する指示ステップと、
   を備える制御方法を、コンピュータに実行させる
   プログラム。

Images