JP2018163110A

JP2018163110A - 周辺監視システムおよび撮像装置

Info

Publication number: JP2018163110A
Application number: JP2017061614A
Authority: JP
Inventors: 岩井　浩; Hiroshi Iwai; 岩井　　浩; 柴田　修; Osamu Shibata; 修柴田; 智宏本多; Tomohiro Honda; 朋史永田; Tomofumi Nagata
Original assignee: Panasonic Intellectual Property Management Co Ltd
Current assignee: Panasonic Intellectual Property Management Co Ltd
Priority date: 2017-03-27
Filing date: 2017-03-27
Publication date: 2018-10-18
Also published as: US20180275279A1

Abstract

【課題】低出力の光源で、光飛行時間測距法による測定可能距離を長くすることが可能な周辺監視システムを提供すること。【解決手段】本開示の一形態は、車両に搭載可能な周辺監視システムであって、不可視光を出射する光源と、前記光源から出射され、前記車両の周囲のうちの一部の視野である第一視野内の物標で反射された不可視光が入射されると、入射光量を示す信号を出力する複数の第一光電変換素子と、前記複数の第一光電変換素子と共に光電変換素子アレイを構成し、前記第一視野を内部に含む第二視野からの可視光が入射されると、入射光量を示す信号を出力する複数の第二光電変換素子と、光飛行時間測距法により、前記複数の第一光電変換素子の出力信号に基づき、前記物標までの距離を導出する制御装置と、を備え、前記光源は、前記第一視野に向けて不可視光を出射する。【選択図】図１

Description

本発明は、車両周囲の物標までの距離を導出可能な周辺監視システム、およびそれに用いられる撮像装置に関する。

従来、車両周囲を撮影した可視画像そのものを表示したり、可視画像からパターンマッチング等の処理により検出した物標を示すマーキングを可視画像上に合成表示したりする周辺監視システムが知られている。

しかし、可視画像のパターンマッチングでは物標の誤検知が起こるという問題があった。例えば、可視画像に映る道路標示（横断歩道等）や樹木等が歩行者として誤検知されることがあった。

上記問題点に鑑み、周辺監視システムは、不可視光（赤外光や近赤外光）を光源から出射し、周囲の物標で反射された戻り光を距離画像センサで受光し、光飛行時間測距法により物標までの距離を求めていた。

特開２００７−２２１７６号公報

しかし、光源の出力は例えば法律等で規制されるため、距離画像センサにおける測定可能距離と画角（視野）とはトレードオフの関係がある。その結果、従来の周辺監視システムでは、十分な測定可能距離を得ることが難しいという課題があった。

本開示の目的は、低出力の光源で、光飛行時間測距法による測定可能距離を長くすることが可能な周辺監視システム、およびそれに用いられる撮像装置を提供することである。

本開示の一形態は、車両に搭載可能な周辺監視システムであって、不可視光を出射する光源と、前記光源から出射され、前記車両の周囲のうちの一部の視野である第一視野内の物標で反射された不可視光が入射されると、入射光量を示す信号を出力する複数の第一光電変換素子と、前記複数の第一光電変換素子と共に光電変換素子アレイを構成し、前記第一視野を内部に含む第二視野からの可視光が入射されると、入射光量を示す信号を出力する複数の第二光電変換素子と、光飛行時間測距法により、前記複数の第一光電変換素子の出力信号に基づき、前記物標までの距離を導出する制御装置と、を備え、前記光源は、前記第一視野に向けて不可視光を出射する。

本開示の他の形態は、車両に搭載可能な撮像装置であって、不可視光を出射する光源と、前記光源から出射され、前記車両の周囲のうちの一部の視野である第一視野内の物標で反射された不可視光が入射されると、入射光量を示す信号を出力する複数の第一光電変換素子と、前記複数の第一光電変換素子と共に光電変換素子アレイを構成し、前記第一視野を内部に含む第二視野からの可視光が入射されると、入射光量を示す信号を出力する複数の第二光電変換素子と、を備え、前記光源は、前記第一視野に向けて不可視光を出射する。

上記各形態によれば、低出力の光源であっても、第一視野に限っては測定可能距離を長くすることが可能な周辺監視システム、およびそれに用いられる撮像装置を提供することが出来る。

本開示の周辺監視システムの垂直視野を示す図本開示の周辺監視システムの水平視野を示す図図１等の周辺監視システムと、それに用いられる撮像装置と、の構成を示す図図３の画像センサにおける光電変換素子の配列を示す模式図図１の第二視野の垂直視野角を説明するための模式図図１等に示す各視野と、画素配列との関係を示す模式図光飛行時間測距法の概要を示す図通常状態における出射光と戻り光を示す模式図戻り光の強度不足の場合における出射光と、戻り光を示す模式図本開示の光電変換素子ＯＥＣの配列の示す模式図ＯＥＣの配列の第一代替例を示す模式図ＯＥＣの配列の第二代替例を示す模式図ＯＥＣの配列の第三代替例を示す模式図ＯＥＣの配列の第四代替例を示す模式図

［１定義］
図１他には、互いに直交するｘ軸、ｙ軸およびｚ軸が示される。本開示では、ｘ軸は車両Ｖの前部から後部に向かう方向（以下、前後方向ｘという）を示す。ｙ軸は、車両Ｖの左側から右側に向かう方向（以下、左右方向ｙという）を示す。ｚ軸は車両Ｖの下部から上部に向かう方向（以下、上下方向ｚという）を示す。

また、本開示では、便宜上、ｘｙ平面は路面で、ｚｘ平面は車両Ｖの縦中心面とする。ｘ軸は、上下方向ｚからの平面視で縦中心線となる。

また、下表１は、以下の説明で使用される頭字語や略語の意味を示す。

［２実施形態］
以下、上記図面を参照して、本開示の一実施形態に係る周辺監視システム１および撮像装置１１について詳説する。

［２．１周辺監視システム１の概略構成について］
図１，図２に示すように、周辺監視システム１は車両Ｖに搭載される。以下、周辺監視システム１は、車両Ｖの後方を監視するとして説明を続けるが、車両Ｖの後方以外（側方、前方または全周囲方向）を監視しても良い。

周辺監視システム１は、図３に示すように、光源１５および画像センサ１７を一体化した撮像装置１１と、制御装置１３と、を備える。

撮像装置１１は、図１等に示すように、車両Ｖの背面上で、路面から離れた場所Ｏに取り付けられる。

［２．１．１光源１５について］
図１〜図３を参照する。光源１５は、第一視野２１ａ（詳細は後述）に向けて、パルス状の不可視光（例えば、赤外光や近赤外光）を出射可能に取り付けられる。

［２．１．２画像センサ１７について］
画像センサ１７は、例えば、ＣＭＯＳイメージセンサであって、光源１５と概ね場所に、自身の光軸Ａが概ねｘ軸に沿って延在するように取り付けられる。

画像センサ１７は、図４に例示するように、行列状に配列されたＮ_Ｒ×Ｎ_Ｃ個の光電変換素子（以下、ＯＥＣと略記する）１１５からなる光電変換素子アレイを含む。具体的には、行方向Ｒに沿ってＮ_Ｒ個のＯＥＣ１１５が、列方向Ｃに沿ってＮ_Ｃ個のＯＥＣ１１５が並ぶ。Ｎ_Ｒ，Ｎ_Ｃは適宜適切に定められる。

本開示では、一画素は、隣接する四個のＯＥＣ１１５から構成される。但し、隣接する複数画素間でＯＥＣ１１５は重複しない。なお、代替的に、一画素は、一つＯＥＣ１１５から構成されても良い。

本開示では、各画素に含まれる一個のＯＥＣ１１５の受光面は、不可視光が赤外光の場合、ＩＲフィルタ１１７ｉで覆われる。この受光面には、光源１５の出射光が第一視野２１ａおよび第三視野２１ｃのいずれかに存在する物標Ｔで反射して戻ってきた戻り光（不可視光）が入射され、ＯＥＣ１１５は、入射光量を示す電気信号を制御装置１３に出力する。本開示では、第一視野２１ａ／第三視野２１ｃ（詳細は後述）から不可視光が入射されるＯＥＣ１１５を、図３に示すように第一ＯＥＣ１１５ａ／第三ＯＥＣ１１５ｃと呼ぶ。

なお、不可視光が近赤外光であれば、ＩＲフィルタ１１７ｉの代わりにＮＩＲフィルタ（図示せず）が用いられる。

また、各画素に含まれる残り三個のＯＥＣ１１５の受光面は、赤フィルタ１１７ｒ、緑フィルタ１１７ｇおよび青フィルタ１１７ｂで覆われる。従って、これら受光面のそれぞれには、第二視野２１ｂから到来する可視光のうち、赤色光、緑色光および青色光のいずれかが入射される。ＯＥＣ１１５は、対応色の入射光量を示す電気信号を制御装置１３に出力する。本開示では、このような可視光を受光可能なＯＥＣ１１５を第二ＯＥＣ１１５ｂと呼ぶ。

本開示では、画像センサ１７を簡単に製造する観点から、全ての画素は同様のフィルタ配列（図４を参照）を有するとする。

［２．１．３各視野について］
再度、図１，図２を参照する。次に、画像センサ１７の第一視野２１ａないし第三視野２１ｃを詳説する。

車両Ｖの後方監視の目的の一つは、車両Ｖの後退中に起こる子供や老人を巻き込んだ事故を減らすことである。よって、周辺監視システム１は、図２に示すように、少なくとも、車両Ｖの後方直近における注目領域（以下、ＲＯＩという）２３内では、誤検知無く高精度に物標（子供等）を検出することが要求される。この用途には、「背景技術」の欄に記載した通り、可視画像を用いたパターンマッチングは不向きである。ＲＯＩ２３は、図２に破線にて例示するように、上方からの平面視で矩形形状を有し、車両Ｖの後端を基準としてｘ軸方向に６ｍ、ｙ軸方向には縦中心線を基準として左右に１．５ｍずつの範囲を有する。

次に、第一視野２１ａについて説明する。

第一視野２１ａは、少なくとも、ＲＯＩ２３における後ろ寄り、即ち車両Ｖから離れた側の部分をカバーするように、上下方向ｚにおける視野角（以下、垂直視野角という）θ１ｖを、水平方向における視野角（以下、水平視野角という）θ１ｈを有する。

視野角θ１ｖは、左右方向ｙからの平面視で、光軸Ａと線分ＯＰ２で挟まれた劣角であり、後述の視野角θ２ｖよりも小さい。また、点Ｐ２は、点Ｏからｘ軸方向にｄ２（ｍ）離れた路面上の点である。ｄ２は例えばｄ１＜ｄ２＜６（ｍ）である。なお、ｄ１の詳細は後述される。

視野角θ１ｈは、上下方向ｚからの平面視で、後述の視野角θ２ｈよりも小さい。

上記のような第一視野２１ａからの戻り光が、レンズ等を含む光学系（図示せず）を介して、第一ＯＥＣ１１５ａの受光面（前述）に入射される。

また、画像センサ１７は、図示しない周辺回路の作用により、第一ＯＥＣ１１５ａからの出力信号を、第一視野２１ａに関する不可視画像信号（詳細は後述）として制御装置１３に出力する。

次に、第二視野２１ｂについて説明する。

また、第二視野２１ｂは、例えば、第一視野２１ａを内部に含みかつ第一視野２１ａよりも広く、垂直視野角としてθ２ｖを有し、水平視野角としてθ２ｈを有する。

垂直視野角θ２ｖは、θ２ｖ>>θ１ｖを満たす値（例えば１８０°に近い値）であって、図５に示すように、第二視野２１ｂに車両Ｖの後端部分（例えば、バンパー）Ｖａが含まれるように選ばれる。水平視野角θ２ｈは、θ２ｈ>>θ１ｈを満たす値（例えば１８０°を超える値）に選ばれる。

上記のような第二視野２１ｂから到来する可視光が、上述の光学系（図示せず）を介して、第二光電変換素子ＯＥＣ１１５ｂに入射される。各第二光電変換素子ＯＥＣ１１５ｂは、自身への入射光量を示す信号を出力する。また、画像センサ１７は、周辺回路の作用により、各第二光電変換素子ＯＥＣ１１５ｂからの出力信号を、後述の可視画像信号として制御装置１３に出力する。

次に、第三視野２１ｃについて説明する。

第三視野２１ｃは、例えば、第一視野２１ａに隣接する。本開示では、第一視野２１ａおよび第三視野２１ｃの組み合わせにより、上記ＲＯＩ２３のほぼ全域をカバーできるよう、第三視野２１ｃは、第一視野２１ａの直下に定義されて、ＲＯＩ２３における前方寄りの部分（即ち、第一視野２１ａでカバーし切れない部分を意味し、つまりＲＯＩ２３における車両Ｖに近い側の部分）をカバーする。

第三視野２１ｃは、第二視野２１ｂを内部に含まれかつ第二視野２１ｂよりも狭く、垂直視野角θ３ｖを、また、水平視野角θ３ｈを有する。

視野角θ３ｖは、左右方向ｙからの平面視で、線分ＯＰ２と線分ＯＰ１で挟まれた劣角であって、視野角θ２ｖよりも小さい。また、点Ｐ１は、点Ｏを基準としてｘ軸方向にｄ１（ｍ）だけ離れた路面上の点である。ここで、ｄ１は０＜ｄ１＜ｄ２である。

上記のような第三視野２１ｃからの戻り光が、上述の光学系（図示せず）を介して、第三ＯＥＣ１１５ｃの受光面に入射される。各第三ＯＥＣ１１５ｃは、自身への入射光量を示す信号を制御装置１３に出力する。また、画像センサ１７は、周辺回路の作用により、各第三ＯＥＣ１１５ｃからの出力信号を、第三視野２１ｃに関する不可視画像信号（詳細は後述）として制御装置１３に出力する。

［２．１．４制御装置１３について］
制御装置１３は、例えばＥＣＵであって、車両Ｖの後方監視を制御するために、制御基板上に実装された入力端子、出力端子、マイコン、プログラムメモリおよびメインメモリを含む。

マイコンは、プログラムメモリに格納されたプログラムをメインメモリを用いて実行して、入力端子を介して受け取った各種信号を処理すると共に、出力端子を介して光源１５および画像センサ１７に各種制御信号を送信する。

上記制御装置１３は、マイコンがプログラムを実行することで、図３に示すように、制御部１３１、測距部１３３、輪郭抽出部１３５および物標抽出部１３７として機能する。以下、これら機能ブロック１３１〜１３７について詳説する。

［２．１．５制御部１３１による光源制御や画像センサでの受光制御について］
制御部１３１は、光源１５からの出射光の諸条件（具体的には、パルス幅、パルス振幅、パルス間隔またはパルス数等）を制御すべく、光源１５に制御信号を出力する。

上記光源制御により、ＲＯＩ２３の監視のために、光源１５は、パワー密度Ｄａを有する可視光を、第一視野２１ａという限定的な視野に出射するが、第三視野２１ｃには不可視光を出射しない。これは、法規制等で出力パワーが制限される光源１５の出射光を、車両後方のより遠くまで（例えば、車両Ｖから１０ｍ超のところまで）届かせることに寄与する。

なお、第三視野２１ｃへの出射光のパワー密度をＤｃとすると、本開示では、好ましい形態としてＤａ＞Ｄｃ（Ｄｃ＝０）の場合を説明する。しかし、これに限らず、Ｄａ＞Ｄｃ（Ｄｃ≠０）であっても、光源１５の出力パワーを効率的に使っていることになる。

制御部１３１はさらに、画像センサ１７による受光の諸条件（具体的には、露光時間、露光タイミング、露光回数等）を制御すべく、画像センサ１７に含まれる周辺回路に対し制御信号を出力する。本開示では、全ＯＥＣ１１５は共通の周辺回路と接続され、各ＯＥＣ１１５の露光時間および露光タイミングは同期する。

上記露光制御等により、画像センサ１７は、所定周期（所定フレームレート）で不可視画像信号および可視画像信号を制御装置１３に出力することとなる。

より具体的には、不可視画像信号は、複数の第一ＯＥＣ１１５ａおよび複数の第三ＯＥＣ１１５ｃのそれぞれから出力されるパルスであって、画素毎に戻り光を示すパルスを含んでいる。ここで、第三視野２１ｃは第一視野２１ａの直下に隣接する狭い視野であるため、第一視野２１ａに不可視光を出射すれば、第三ＯＥＣ１１５ｃは第三視野２１ｃの被写体からの反射光を受光可能である。

また、可視画像信号は、複数の第二ＯＥＣ１１５ｂから出力され、本開示では、第二視野２１ｂ内の被写体を、赤色光、緑色光および青色光の強度により濃淡を表したものである。なお、可視画像信号は、グレースケールで表されたものでも良い。

以上、第一視野２１ａないし第三視野２１ｃについて説明した。このように視野を定義すると、図６に示すように、可視画像は、第二視野２１ｂ内の被写体を、全画素エリア３１ｂを用いて表現可能であるのに対し、不可視画像は、第一視野２１ａおよび第三視野２１ｃ内に存在しうる物標を、限定的な第一画素エリア３１ａおよび第三画素エリア３１ｃを用いて表現可能である。

なお、図６では、第一視野２１ａないし第三視野２１ｃと、各画素エリア３１ａ〜３１ｃとの対応関係を分かりやすくするため、各画素エリア３１ａ〜３１ｃのサイズを画素数だけでなく角度も交えて示している。

また、図６には、可視画像・不可視画像における車両Ｖの前後方向ｘ等も示される。

［２．１．６測距部１３３の処理について］
再度、図１〜図３を参照する。測距部１３３は、光飛行時間測距法（以下、ＴＯＦ方式という）により、好ましくは、画像センサ１７から出力された不可視画像信号に基づき、第一視野２１ａおよび第三視野２１ｃを組み合わせた視野（以下、合成視野という）内の物標Ｔまでの距離を導出する。

ここで、ＴＯＦ方式による測距について説明する。

ＴＯＦ方式による物標Ｔまでの測距は、光源１５、画像センサ１７を構成する複数の第一ＯＥＣ１１５ａおよび第三ＯＥＣ１１５ｃならびに測距部１３３の組み合わせにより実現される。

測距部１３３は、光源１５の発光タイミングと、画像センサ１７における戻り光の受光タイミングとの時間差に基づいて、ＴＯＦ方式により、図７に示す物標Ｔまでの距離ｄｔを導出する。

以下、より具体的な測距の一例について説明する。

まず、制御部１３１が、所定周期における光源１５からの出射パルス数を相対的に少なくしている場合（以下、通常状態という）がある（図８Ａを参照）。

通常状態において、光源１５の出射光は、図８Ａに示すように、単位周期において、第一パルスＰａと、第二パルスＰｂとを少なくとも一組含む。これらのパルス間隔（即ち、第一パルスＰａの立下りエッジから第二パルスＰｂの立ち上がりエッジの時間）はＧａである。また、これらのパルス振幅は互いに等しくＳａとし、これらのパルス幅は互いに等しくＷａとする。

画像センサ１７は、第一パルスＰａおよび第二パルスＰｂの出射タイミングに基づくタイミングで露光するように制御部１３１により制御される。具体例を挙げると、画像センサ１７は、図８Ａに例示するように、光源１５の出射光が合成視野内の物標Ｔで反射された戻り光に対し、第一露光、第二露光および第三露光を行う。

具体的には、第一露光は、第一パルスＰａの立ち上りと同時に始まり、光源１５の出射光との関係で予め設定される露光時間Ｔｘ後に終了する。このような第一露光は、第一パルスＰａに対する戻り光の受光することを目的としている。

第一露光による第一ＯＥＣ１１５ａ等の出力Ｏａは、斜格子状のハッチングを付した戻り光成分Ｃａと、ドットのハッチングを付した背景成分ＢＧと、を含む。戻り光成分Ｃａの振幅は、第一パルスＰａの振幅よりも小さい。

ここで、第一パルスＰａおよびその戻り光成分Ｃａの各立ち上がりエッジの時間差をΔｔとする。Δｔは、撮像装置１１から物標Ｔまでの空間距離ｄｔを、不可視光が往復するのに要する時間である。

第二露光は、第二パルスＰｂに対する戻り光の受光を目的に、第二パルスＰｂの立ち下りエッジと同時に始まり、時間Ｔｘの間だけ実施される。

第二露光による第一ＯＥＣ１１５ａ等の出力Ｏｂは、全ての戻り光成分ではなく部分的な成分Ｃｂ（斜格子状のハッチング部分を参照）と、背景成分ＢＧ（ドットのハッチング部分を参照）を含む。

なお、上記成分Ｃｂは、次の式（１）で表せる。
Ｃｂ＝Ｃａ×（Δｔ／Ｗａ） …（１）

第三露光は、戻り光成分と無関係な不可視光成分（背景成分）だけを得るために、第一パルスＰａおよび第二パルスＰｂの戻り光成分を含まないタイミングで始まり、時間Ｔｘの間だけ実施される。

第三露光による第一ＯＥＣ１１５ａ等の出力信号（出力レベル）Ｏｃは、背景成分ＢＧ（ドットのハッチング部分を参照）だけを含む。

上記のような出射光と戻り光との関係から、撮像装置１１から物標Ｔまでの距離ｄｔは、下式（２）〜（４）から導出出来る。

Ｃａ＝Ｏａ−ＢＧ …（２）
Ｃｂ＝Ｏｂ−ＢＧ …（３）
ｄｔ＝ｃ×（Δｔ/２）＝｛（ｃ×Ｗａ）／２｝×（Δｔ／Ｗａ）
＝｛（ｃ×Ｗａ）／２｝×（Ｃｂ／Ｃａ） …（４）
ここでｃは光速である。

ところで、上記方法で距離ｄｔを導出する場合、第一パルスＰａおよび第二パルスＰｂのそれぞれに対する戻り光の強度が小さいと、第一ＯＥＣ１１５ａ等の出力Ｏａ，ＯｂのＳＮＲが小さくなり、導出した距離ｄｔの精度が低下する可能性がある。

そこで、本開示では、戻り光の強度が小さい場合、制御部１３１が、出射パルス数を増やすように光源１５を制御する。なお、戻り光の強度が小さいか否かの判定に関しては公知技術を適用可能であり、本開示の要部でないため、その詳説を控える。

次に、出射パルス数を通常状態よりも、単位周期あたりで二倍に増加させた場合を例にとり、距離ｄｔの導出手法を、図８Ｂを参照して説明する。

光源１５からの出射光は、前述と同条件の第一パルスＰａおよび第二パルスＰｂを、単位周期あたり二組含む。その結果、不可視画像信号および可視画像信号のフレームレートは、通常状態と比較して低下する。

画像センサ１７は、通常状態と同様に、第一パルスＰａおよび第二パルスＰｂの出射タイミングに基づくタイミングで露光するように制御部１３１により制御される。即ち、一組の第一パルスＰａおよび第二パルスＰｂに対し、第一露光、第二露光および第三露光からなる露光制御を一度行う。

そして、各露光制御で得た戻り光成分Ｃａ（前式（２）を参照）同士が加算され、各露光制御で得た戻り光の部分成分Ｃｂ（前式（３）を参照）同士が加算される。なお、これら加算により、ホワイトノイズは低減される。

その後、戻り光成分Ｃａの加算値と、部分成分Ｃｂの加算値とが、前式（４）に代入されて、距離ｄｔが導出される。上記の通り、ホワイトノイズが低減されるため、導出された距離ｄｔの精度へのホワイトノイズの影響は抑えられる。

測距部１３３は、例えば単位周期毎に、距離ｄｔの導出を画素単位で実施し、合成視野内の距離画像情報を生成する。

［２．１．７輪郭抽出部１３５について］
輪郭抽出部１３５は、複数の第二ＯＥＣ１１５ｂから可視画像信号を単位周期毎に受け取り、受け取った可視画像信号に基づき、第二視野２１ｂ内の被写体の輪郭を抽出し、抽出した輪郭を定義する輪郭情報を生成する。

［２．１．８物標抽出部１３７について］
物標抽出部１３７は、例えば単位周期毎に、測距部１３３から距離画像情報を得ると共に、輪郭抽出部１３５から輪郭情報を得る。

物標抽出部１３７は、受け取った距離画像情報から、合成視野内に存在する物標を表す部分を、第一物標情報として抽出する。

物標抽出部１３７はさらに、輪郭抽出部１３５から今回得た輪郭情報と、過去に得た輪郭情報から、例えばオプティカルフロー推定により、第二視野２１ｂ内に存在する物標を表す部分を、第二物標情報として抽出する。

物標抽出部１３７は、抽出した第一物標情報および／または第二物標情報に、検出した物標を一意に特定可能な物標ＩＤを付与する。

ここで、時間経過により、同一物標が合成視野（第一視野２１ａと第三視野２１ｃの組み合わせ）内に合成視野外（第二視野２１ｂ）から進入してくることがある。逆に、同一物標が合成視野内から合成視野外に出ていくこともある。

物標抽出部１３７は、合成視野内に進入する物標に関しては、合成視野内への進入を検出した時点で、ある物標を表す第二物標情報を、同一物標を表す第一物標情報に置き換える。

それに対し、物標抽出部１３７は、合成視野外に出ていく物標に関しては、その時点で、ある物標を表す第一物標情報を、同一物標を表す第二物標情報に置き換える。この時、オプティカルフロー推定は、光飛行時間測距法と比較して測定誤差が大きいので、測定誤差を考慮して、置き換えるべき第二物標情報を選択することが望ましい。

［２．１．９周辺監視システム１の出力について］
周辺監視システム１からは、上述の第一物標情報および物標ＩＤの組み合わせや、第二物標情報および物標ＩＤの組み合わせ、距離画像情報は、不可視画像信号および可視画像信号は、図示しないＡＤＡＳＥＣＵに送信される。ＡＤＡＳＥＣＵでは、これら情報や信号を用いて、車両Ｖの自動運転を行う。

また、制御部１３１は、上述の第一物標情報および物標ＩＤの組み合わせや、第二物標情報および物標ＩＤの組み合わせ、距離画像情報、不可視画像信号および可視画像信号に基づき、図示しないディスプレイに表示すべき画像情報を生成しても良い。

［２．２周辺監視システム１の作用・効果］
本開示の周辺監視システム１において、光源１５からの出力パワー密度等は法等により規制される。それ故、本周辺監視システム１において、第一視野２１ａを広げると、測距部１３３による測定可能距離は短くなる。

その一方で、本周辺監視システム１のように、目的に応じたＲＯＩ２３を定義することで第一視野２１ａを第二視野２１ｂと比較して限定的にすることが出来る。これにより、第二視野２１ｂは、第一視野２１ａの内部に含まれて、第一視野２１ａよりも狭い定義できる。その結果、光源１５は、第一視野２１ａ内に集中的に不可視光を出射可能となるため、第一視野２１ａにおいて、光源１５の出射光はより遠くまで届くようになる。これにより、測距部１３３においては、ＴＯＦ方式による測定可能距離を長くすることが可能となる。

また、本周辺監視装置１では、第一視野２１ａと共にＲＯＩ２３をカバーすべく、第一視野２１ａの直下に第三視野２１ｃが定義される。この第三視野２１ｃには、好ましくは、光源１５から不可視光は出射されない。換言すると、第一視野２１ａへの出射光のパワー密度をＤａとし、第三視野２１ｃへの出射光のパワー密度をＤｃとした時、Ｄａ＞Ｄｃ（Ｄｃ＝０）である。測距部１３３は、上記のような第三ＯＥＣ１１５ｃの出力信号に基づいても測距を行う。従って、第二視野２１ｂをさらに限定的に出来るため、測距部１３３の測定可能距離をさらに長くすることが可能となる。

［３．付記］
上記では周辺監視システム１の全体構成を説明した。しかし、本開示の範囲は周辺監視システム１のみに向けられるのではなく、市場に単独で流通可能な撮像装置１１にも向けられる。

［３．１光電変換素子ＯＥＣの配列の第一代替例］
本開示では、画像センサ１７において、図９Ａに示すように、全画素は同じフィルタ配列を有するとして説明した。なお、図９Ａには、代表的に、一画素に対するフィルタ配列のみを示しているが、左下がりのハッチングは赤フィルタ１１７ｒを、右下がりのハッチングは緑フィルタ１１７ｇを、格子状のハッチングは青フィルタ１１７ｂを、ドットのハッチングはＩＲフィルタ１１７ｉを表すとする。この点は、図９Ｂ〜図９Ｄについても同様である。

しかし、これに限らず、本開示のように、周辺監視システム１が後方監視を目的とするのであれば、垂直方向（上下方向ｚ）への分解能の方が水平方向（左右方向ｙ）への分解能よりも重要である。

そこで、図９Ｂに示すように、列方向Ｃにおける単位長さあたりのＩＲフィルタ１１７ｉの個数を、行方向Ｒにおけるそれよりも多くしても良い。

［３．２光電変換素子ＯＥＣの配列の第二代替例］
また、図９Ｃに示すように、列方向Ｒにおいて連続する二個のＯＥＣ１１５を個々にＩＲフィルタ１１７ｉで覆っても良い。このような二個のＯＥＣ１１５（即ち、第一ＯＥＣ１１５ａ，第三ＯＥＣ１１５ｃ）の出力信号は同一被写体からの戻り光から得られたものとみなすことが出来るので、測距部１３３は、隣接する二個の第一ＯＥＣ１１５ａからの出力信号の加算結果に基づき、ＴＯＦ方式による測距を行っても良い。これにより、良好なＳＮＲを有する加算結果を用いるため、測距精度を向上させることが出来る。

［３．２光電変換素子ＯＥＣの配列の第三代替例］
また、図９Ｄに示すように、斜め方向において連続する二個のＯＥＣ１１５を個々にＩＲフィルタ１１７ｉで覆っても良い。

［３．３光電変換素子ＯＥＣの配列の第四代替例］
また、図９Ｅに示すように、可視画像信号の見かけ上の解像度を増やすため、緑フィルタ１１７ｇの数を赤フィルタ１１７ｒの数よりも１．５倍にし、ＩＲフィルタ１１７ｉの数を赤フィルタ１１７ｒの０．５倍にしても良い。

本開示に係る周辺監視システムおよび撮像装置は、測定可能距離を長くすることが可能であり、車載用途に好適である。

１周辺監視システム
１１撮像装置
１５光源
１７画像センサ
１１５ａ第一光電変換素子
１１５ｂ第二光電変換素子
１１５ｃ第三光電変換素子
１３制御装置

Claims

車両に搭載可能な周辺監視システムであって、
不可視光を出射する光源と、
前記光源から出射され、前記車両の周囲のうちの一部の視野である第一視野内の物標で反射された不可視光が入射されると、入射光量を示す信号を出力する複数の第一光電変換素子と、
前記複数の第一光電変換素子と共に光電変換素子アレイを構成し、前記第一視野を内部に含む第二視野からの可視光が入射されると、入射光量を示す信号を出力する複数の第二光電変換素子と、
光飛行時間測距法により、前記複数の第一光電変換素子の出力信号に基づき、前記物標までの距離を導出する制御装置と、を備え、
前記光源は、前記第一視野に向けて不可視光を出射する、
周辺監視システム。
前記第一視野に隣接する第三視野内の物標で反射された不可視光が入射されると、入射光量を示す信号を出力する複数の第三光電変換素子と、
前記制御装置は、前記複数の第一光電変換素子からの出力信号に加え前記複数の第三光電変換素子からの出力信号に基づき、前記第一視野および前記第三視野に存在する物標を検出する、
請求項１に記載の周辺監視システム。
前記第三視野は前記第一視野よりも前記車両に近い位置にある、
請求項２に記載の周辺監視システム。
前記光源は前記第三視野に向けて不可視光を出射しない、もしくは、前記第一視野に向けて出射される不可視光のパワー密度は、前記第三視野に向けて出射される不可視光のパワー密度よりも大きい、
請求項２に記載の周辺監視システム。
前記制御装置はさらに、前記複数の第二光電変換素子の出力信号に基づき、前記第二視野内に存在する物標を検出する、
請求項１に記載の周辺監視システム。
車両に搭載可能な撮像装置であって、
不可視光を出射する光源と、
前記光源から出射され、前記車両の周囲のうちの一部の視野である第一視野内の物標で反射された不可視光が入射されると、入射光量を示す信号を出力する複数の第一光電変換素子と、
前記複数の第一光電変換素子と共に光電変換素子アレイを構成し、前記第一視野を内部に含む第二視野からの可視光が入射されると、入射光量を示す信号を出力する複数の第二光電変換素子と、を備え、
前記光源は、前記第一視野に向けて不可視光を出射する、
撮像装置。