JP5360491B2 - 多機能カメラシステム - Google Patents

Description

本発明は、車載のカメラを複数の用途に適用する多機能カメラシステムに関する。

ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子の普及により、車両にカメラが搭載される事例が増加している。特開２００６−１６８５５３号公報（特許文献１）には、車内から運転席ドアの外側に立つ人の顔を撮像し、その顔を生体認証する認証システムが開示されている。特開２００７−１５３１９３号公報（特許文献２）には、サイドミラーに設置されたカメラの撮影画像に基づき、フロントドアを開ける際の障害物が車両周辺に存在するか否か、あるいは車両後方から障害物が接近しつつあるか否かを検知する技術が開示されている。また、特開２００５−８８７５９号公報（特許文献３）、特開２００６−１８２２３４号公報（特許文献４）には、ドアミラーにカメラを設置し、場面に応じて異なる用途に当該カメラを用いる技術が開示されている。特許文献３では、幅寄せ時の側方確認と搭乗者の顔とを撮影する用途に用いられる。このカメラは、車両走行中にはドアミラーから下方を撮影し、車両が停車しドアミラーが閉じられた際には、カメラの撮影方向を切り換えて車内を撮影する。特許文献４のカメラは、車両の使用時には運転者の死角となる車両の前側方の情景を撮影してサイドブラインド用カメラとして機能すると共に、車両の未使用時にはドアミラーの筐体中で１８０度回転されて車室内の情景を撮影して車室監視用カメラとして機能する。

特開２００６−１６８５５３号公報（第２３、３１〜３３段落等） 特開２００７−１５３１９３号公報（第９、１５段落等） 特開２００５−８８７５９号公報（第２１、２４〜２８段落等） 特開２００６−１８２２３４号公報（第１１〜１４、１７段落等）

カメラを用いて種々の機能が車両に搭載されることが期待されるが、多くの機能を搭載するためにはカメラを多く設置しなければならず、製品原価が高くなってしまう。また、車両重量も増加し、燃料消費率や運動性能を低下させる可能性もある。従って、できるだけ少ない数のカメラにより多くの機能を実現することが好ましい。上述した特許文献３や特許文献４のカメラは、２つの用途に用いられており、カメラの総数を抑制する上で好ましい形態である。しかし、１つのカメラを複数の用途に用いるために、カメラの撮影方向を変更する必要があり、撮影方向を変更するための別の機構を必要としている。このため、カメラの数が抑制できても、当該別の機構を搭載するための原価が必要となり、また、その機構の分だけ車両重量も増加する可能性がある。

従って、車両重量を増加させるような機構を備えることなく、低コストで車載のカメラを複数の用途に適用できる技術が求められる。

上記課題を解決するための本発明に係る多機能カメラシステムの特徴構成は、
車両の側面において車両部品に固定され、当該車両の側方を撮影するカメラと、
複数の機能部の実行条件を判定する条件判定部と、
前記機能部の１つであり、前記条件判定部の判定結果に基づいて実行され、前記カメラの撮影画像に基づいて、前記車両の周辺に存在する又は前記車両に接近する障害物を画像認識により検出する障害物検出部と、
前記機能部の１つであり、前記条件判定部の判定結果に基づいて実行され、前記カメラの撮影画像に基づいて、前記車両に到達した人物が前記車両に予め登録された利用者であるか否かを画像認識により認証する個人認証部と、を有する点にある。

この特徴構成によれば、カメラは車両部品に固定されているので、カメラの撮影方向を変更するための別の機構は不要である。従って、別の機構を搭載するための原価が必要となることもなく、また、その機構の分だけ車両重量が増加することもない。多機能カメラシステムは、障害物検出部と個人認証部との複数の機能部を備えているが、それぞれの機能部は常に実行されるものではなく、条件判定部による実行条件の判定結果に基づいて適宜実行される。従って、複数の機能部を有していても演算負荷の増大は抑制され、高機能の演算装置を利用することなく低コストで多機能カメラシステムを構築することができる。尚、当然ながら、実行条件に応じて複数の機能部が同じタイミングで実行されることを妨げるものではない。

また、本発明に係る多機能カメラシステムの前記条件判定部は、前記車両が一時停車を含む走行中、又は施錠されずに停車している際には前記障害物検出部の実行条件が成立すると判定し、前記車両が前記走行中ではなく、施錠されて停車している際には前記個人認証部の実行条件が成立すると判定すると好適である。車両の使用状態に応じた適切な実行条件により、各機能部を有効に実行させることが可能となる。

また、本発明に係る多機能カメラシステムは、さらに、前記機能部の１つであり、前記条件判定部の判定結果に基づいて実行され、前記カメラにより撮影されて、前記車両の運転者からの死角を撮影範囲に含む撮影画像を車室内の表示装置へ出力するブラインドモニタ部を備え、前記条件判定部が、前記運転者を含む前記車両の搭乗者により前記撮影画像の表示を指示された際、又は前記障害物検出部により障害物が認識された際に前記ブラインドモニタ部の実行条件が成立すると判定すると好適である。多機能カメラシステムが、さらに多くの機能部を備えていても、それぞれの機能部は、条件判定部による車両の使用状態に応じた適切な実行条件の判定結果に基づいて適宜実行される。利便性の高いブラインドモニタ部を有していても、演算負荷の増大は抑制され、高機能の演算装置を利用することなく低コストで多機能カメラシステムを構築することができる。尚、当然ながら、実行条件に応じてブラインドモニタ部と他の機能部とが同じタイミングで実行されてもよい。

また、本発明に係る多機能カメラシステムは、前記条件判定部が、前記車両の前方側の側方に対する画像認識と、後方側の側方に対する画像認識との何れを優先的に実行するかの優先条件を判定し、前記障害物検出部が、前記条件判定部の判定結果に基づいて、前方側と後方側との何れかに対する画像認識を優先的に実行すると好適である。車載のカメラを複数の用途に適用するためには、当該カメラは、運転者からの死角が撮影範囲に含まれるような広角カメラであることが好ましい。当然ながら、広角カメラの撮影画像は、広い領域を撮影対象としている。従って、撮影画像の全体に亘って画像認識を実施して障害物を検出するよりも、領域を絞って画像認識を実施する方が時間的にも演算負荷的にも効率的である。上記構成によれば、広域の撮影画像を車両の前方側と後方側との２つの領域に分けて画像認識を優先的に実行させる領域が設定されるので、効率的な障害物検出が実行できる。

また、前記車両が、前記車両の前方側を支点として回動するスイングドアを有するものであるとき、本発明に係る多機能カメラシステムは、前記条件判定部が、前記スイングドアの開き度合いに応じて前記優先条件を判定するものであり、前記スイングドアの開き度合いが所定の開き度合いよりも小さい時には前方側の画像認識を優先させ、前記スイングドアの開き度合いが所定の開き度合い以上の時には後方側の画像認識を優先させると好適である。前方側を支点として回動するスイングドアが開く際には、ドアの端部は前方側へと移動する。開き始めなど、スイングドアの開き度合いが所定の開き度合いよりも小さい時に前方側の画像認識が優先されると、ドアの端部に接触する可能性のある障害物が確実且つ早期に検出される可能性が高くなる。このような障害物は、縁石など低い位置にあって、搭乗者の死角となっていることもあるので画像認識により検出されると好適である。一方、スイングドアが所定の開き度合い以上開いた場合には、車両の後方から接近して車両の側方を通り過ぎようとする移動体（障害物）が、車両の側方に突出するスイングドアに接触することを防止する必要がある。搭乗者は前方を向いているため、前方から接近する移動体に比べて後方から接近する移動体には気が付きにくい。従って、画像認識により移動体の接近が検出されると好適である。

また、本発明に係る多機能カメラシステムの前記カメラは、前記スイングドア又は前記スイングドアに設置される車両部品に設置されるものであり、当該多機能カメラシステムは、さらに、前記カメラの撮影画像に基づいて、前記スイングドアの開き度合いを演算する開度演算部を有すると好適である。この構成によれば、カメラは、スイングドアと共に動くことになる。一方、車体は動いていないので、スイングドアとは別の車両部品や車体などの位置は撮影画像の中で移動（変化）することとなる。この移動量（変化量）により、スイングドアの開き度合いを演算することができる。従って、スイングドアに別途センサ等を設ける必要なく、高い精度でスイングドアの開き度合いを取得することが可能となる。

また、本発明に係る多機能カメラシステムの前記カメラ、前記条件判定部、複数備えられた前記各機能部は、前記車両の主電源が投入されている際に機能するものであり、当該多機能カメラシステムは、さらに、前記車両の主電源が投入されているか否かに拘わらず機能し、前記車両の主電源が投入されていない時であっても前記車両のドアへの操作に応じて、前記カメラ、前記条件判定部、前記各機能部の少なくとも１つを機能させる電源制御部を備えると好適である。多機能カメラシステムは、車両の主電源が投入されていないとき、例えば駐車されている車両に乗車する際や、主電源を切った後、例えば車両を駐車して下車する際にも実行させたい機能部を有している。しかし、駐車中も含めて常に全ての機能部に電力を供給しておくと、車両のバッテリを消耗し、好ましくない。上記構成によれば、車両の主電源が投入されていないときは電源制御部が機能し、車両のドアへの操作に応じて必要な機能部に電力を供給することになる。従って、省電力で利便性の高い多機能カメラシステムが構築される。

ここで、前記車両のドアへの操作は、前記車両に到達した人物が前記車両の車室外に設けられたドアハンドルに触れたこととすることができる。また、前記車両のドアへの操作は、前記車両の運転者を含む前記車両の搭乗者が前記車両の車室内に設けられたドアハンドルに触れたこととすることができる。ドアハンドルへの接触を検出することにより、より早く車両のドアへの操作を検出することができ、電源制御部を介して、カメラや条件判定部を含む各機能部へ早期に電力の供給を開始し、それらを実行させることが可能となる。

多機能カメラシステムの一例を模試的に示すブロック図 カメラの設置箇所の一例を示す斜視図 カメラの撮影範囲の一例を示す説明図 乗車時の多機能カメラシステムの動作例を示すフローチャート ブラインドモニタ部の動作例を示すフローチャート 障害物検出部の動作例を示すフローチャート 下車時の多機能カメラシステムの動作例を示すフローチャート 多機能カメラシステムの動作と撮影範囲との関係を示す説明図 多機能カメラシステムの動作と撮影範囲との関係を示す説明図

以下、本発明の実施形態を図面に基づいて説明する。多機能カメラシステム１０は、図１、図２、図３に示すように、車両１００の側面においてドアハンドル６１に固定され、車両１００の側方を撮影するカメラ１を有して構成される。本実施形態においては、カメラ１が固定される車両部品はドアハンドル６１であるが、当然ながら他の部品であってもよい。例えば、当該車両部品は、ドア６０のドアパネルであってもよいし、サイドミラーやフェンダーであってもよい。また、カメラ１がドアハンドル６１に固定される場合においても、ハンドル本体６１ａに設置されてもよいし、ハンドルキャップ６１ｂに設置されてもよい。

本実施形態では、車両１００は、側面に４つのドア６０を有している。具体的には、運転席ドア６０Ａ、助手席ドア６０Ｂ、運転席側後部ドア６０Ｃ、助手席側後部ドア６０Ｄである。各ドア６０の形態は本実施形態に限定されるものではないが、本実施形態においては、運転席ドア６０Ａと助手席ドア６０Ｂとは、車両１００の前方側を支点として回動するスイングドアである。また、運転席側後部ドア６０Ｃと助手席側後部ドア６０Ｄとは、スライドドアである。

カメラ１は、運転席ドア６０Ａと助手席ドア６０Ｂとに１つずつ設置される。当然ながら、２つに限定されることなく、後部ドア６０Ｃ及び６０Ｄにも設置されて、合計３つ以上のカメラが車両１００に設置されてもよい。本実施形態においては、カメラ１Ａは、運転席ドア６０Ａのドアハンドル６１Ａに光軸を固定して設置され、カメラ１Ｂは、助手席ドア６０Ｂのドアハンドル６１Ｂに光軸を固定して設置される。カメラ１は、視野角がおよそ１８０度の広角カメラであり、５〜１０度程度の俯角を有して設置されると好適である。俯角を有していても、ドア６０の近傍において地上から２ｍ程度の高さまでを撮影範囲に含み、ドア６０の脇に立つ人物の頭部を撮影可能である。また、カメラ１は、１秒間に１５〜６０フレームの動画像をデジタル撮影可能なデジタルカメラである。図３に示すように、カメラ１の撮影範囲Ｅは、車両１００の側面、側面側の前端及び後端を含む。詳細は、後述するが、撮影範囲Ｅの内、前方側をＦ、後方側をＲとする。カメラ１Ａと１Ｂの撮影範囲Ｅを区別する場合、カメラ１Ａの撮影範囲はＥ１であり、前方側はＦ１、後方側はＲ１である。カメラ１Ｂの撮影範囲はＥ２、前方側はＦ２、後方側はＲ２である。

図１に示すように、多機能カメラシステム１０は、条件判定部３、ブラインドモニタ部４と、障害物検出部５と、個人認証部６となどの複数の機能部を有している。広義には、カメラ１も含み、多機能カメラシステム１０を構成する各部が機能部に相当する。ブラインドモニタ部４と、障害物検出部５と、個人認証部６とは、カメラ１を複数の用途に適用する際の「各用途」を実現する機能部であり、特に区別する場合には、用途機能部と称する。本実施形態においては、ブラインドモニタ部４と、障害物検出部５と、個人認証部６とを例示しているが、当然他の用途を実現する用途機能部が、多機能カメラシステム１０に含まれてもよい。例えば、車両１００の駐車時に運転者を案内する駐車支援部が多機能カメラシステム１０に含まれてもよい。逆に、カメラ１を複数の用途に適用する多機能カメラシステム１０には少なくとも２つの用途機能部が含まれていればよく、例えば、用途機能部として障害物検出部５及び個人認証部６のみを有したシステムであってもよい。

ブラインドモニタ部４は、カメラ１により撮影され、車両１００の運転者からの死角を撮影範囲Ｅに含む撮影画像を車室内の表示装置２０へ出力する機能部である。運転者からの死角とは、フェンダーの横や、フェンダーやドア６０の下方などである。また、表示装置２０は、車室内に設置された液晶ディスプレイなどのモニタ装置である。表示装置２０は、ブラインドモニタ部４専用のものが設置されてもよいが、オーディオ装置の情報表示部や、ナビゲーションシステムの表示部が兼用されてもよい。障害物検出部５は、撮影画像に基づいて、車両１００の周辺に存在する物体、又は車両１００に接近する移動体を画像認識により障害物として検出する機能部である。ここで、物体とは、例えば縁石やポールなどであり、移動体とは、例えば歩行者や自転車、オートバイ、自動車などである。静止物体及び移動体の画像認識は、公知の画像処理手法によって実行される。個人認証部６は、撮影画像に基づいて、車両１００に到達した人物が車両１００に予め登録された利用者であるか否かを画像認識により認証する機能部である。この認証は、顔認識、目の虹彩認識、指紋認識、静脈認識などの公知の手法によって実行される。

ブラインドモニタ部４と、障害物検出部５と、個人認証部６とは、機能部ごとの実行条件を判定する条件判定部３の判定結果に基づいて実行される。条件判定部３は、運転者を含む車両１００の搭乗者により撮影画像の表示を指示された際に、ブラインドモニタ部４の実行条件が成立すると判定する。ここで、搭乗者による指示とは、例えば、車室内に設けられた表示スイッチ２１（図１参照）を操作することである。表示スイッチ２１は、専用のスイッチでもよいし、表示装置２０がタッチパネルを有する際には当該タッチパネルに設定されてもよい。表示スイッチ２１を介した指示には、カメラ１Ａ又はカメラ１Ｂの撮影画像の何れかを選択する指示や、双方を表示させる指示、また、部分拡大などの指示も含む。また、条件判定部３は、障害物検出部５により障害物が認識された際にブラインドモニタ部４の実行条件が成立すると判定する。障害物検出部５は、障害物を検出すると撮影画像の表示要求を発する。条件判定部３は、この表示要求に基づき、ブラインドモニタ部４の実行条件が成立すると判定する。運転者は、撮影画像を見ることによって、障害物検出部５の検出結果をその真偽も含めて早期に確認することができる。

また、条件判定部３は、車両１００が一時停車を含む走行中であるとき、障害物検出部５の実行条件が成立すると判定する。具体的には、イグニッションスイッチがオン状態であるなど、車両１００の主電源が投入されているとき、イグニッション信号などに基づいて条件判定部３は、障害物検出部５の実行条件が成立すると判定する。内燃機関とモータとを駆動源とするハイブリッド自動車や、モータを駆動源とする電気自動車では、いわゆる内燃機関を始動させるためのイグニッションスイッチが無い場合がある。しかし、これらの車両においても、車両の駆動源を有効にするために主電源（メインスイッチ）は存在する。従って、主電源が投入され、アクセルの操作、ブレーキの解除などによって、車両１００が走行可能な状態であるとき、条件判定部３は、車両１００が一時停車を含む走行中であるとして、障害物検出部５の実行条件が成立すると判定する。また、条件判定部３は、主電源が切断され、車両１００が走行可能な状態ではないときであっても、車両１００が施錠されずに停車している際には障害物検出部５の実行条件が成立すると判定する。これは、例えば、主電源を切断して、搭乗者が下車しようとしている時などに相当する。

また、条件判定部３は、車両１００が走行中ではなく、施錠されて停車している際には個人認証部６の実行条件が成立すると判定する。車両１００が走行中ではない時は、上述したように、主電源が投入されておらず、アクセルの操作、ブレーキの解除などによっても、車両１００が走行できない状態である。この状態において、車両１００が施錠されて停車しているとき、つまり、駐車されているときに個人認証部６の実行条件が成立すると判定する。

さらに、条件判定部３は、車両１００の撮影範囲Ｆに相当する前方側の側方に対する画像認識と、撮影範囲Ｒに相当する後方側の側方に対する画像認識との何れを優先的に実行するかの優先条件を判定する。詳細は後述するが、障害物検出部５は、条件判定部３による優先条件の判定結果に基づいて、前方側（Ｆ）と後方側（Ｒ）との何れかに対する画像認識を優先的に実行する。上述したように、本実施形態においては、車両１００は、車両１００の前方側を支点として回動するスイングドア（ドア６０Ａ、６０Ｂ）を有している。条件判定部３は、スイングドア６０Ａ、６０Ｂの開き度合いに応じて優先条件を判定する。具体的には、スイングドア６０Ａ、６０Ｂの開き度合いが所定の開き度合い（優先しきい値）よりも小さい時には前方側（Ｆ）の画像認識を優先させる判定を行う。スイングドア６０Ａ、６０Ｂの開き度合いが所定の開き度合い（優先しきい値）以上の時には後方側（Ｒ）の画像認識を優先させる判定を行う。

上述したように、カメラ1Ａ及び１Ｂは、それぞれスイングドア６０Ａ及び６０Ｂに設置される。具体的には、スイングドア６０Ａ及び６０Ｂに設置される車両部品であるドアハンドル６１Ａ及び６１Ｂに設置される。従って、光軸を固定して設置されるカメラ１（１Ａ及び１Ｂ）も、スイングドア６０（６０Ａ及び６０Ｂ）の回動に応じて移動することになり、撮影画像もそれに伴って変化する。一方、車体は動いていないので、スイングドア６０やドアハンドル６１（６１Ａ及び６１Ｂ）とは別の車両部品や車体などの位置は撮影画像の中で移動することとなる。そこで、本実施形態では、多機能カメラシステム１０は、さらに、撮影画像に基づいて、画像処理によってスイングドア６０の開き度合いを演算する開度演算部７を有する。

開度演算部７は、カメラ１の移動によって撮影画像の中で移動する、ドア６０やドアハンドル６１とは別の車両部品や車体などの位置の相対的な移動量（変化量）により、スイングドアの開き度合いを演算する。ここで、別の車両部品や車体などには、例えば、バンパーやタイヤ、ホイール、車体外板の隙間や端部などが相当する。勿論、スイングドア６０に別途センサ等を設置して開き度合いを検出することも可能である。しかし、開度演算部７は、画像処理によってスイングドア６０の開き度合いを演算するので、当該センサを設ける必要がなくなり、生産コストを低減することができる。

上述した多機能カメラシステム１０の各機能部、具体的には、カメラ１、条件判定部３、ブラインドモニタ部４、障害物検出部５、個人認証部６、開度演算部７は、車両１００の主電源が投入されている際に、電力の供給を受けて機能するものである。しかし、例えば、個人認証部６は、車両１００が走行中ではなく、施錠されて停車している際に実行条件が成立するが、主電源が未投入では電力の供給を受けることができず、その機能が実行できないことになる。また、障害物検出部５は、主電源が切断され、車両１００が走行可能な状態ではないときであっても、車両１００が施錠されずに停車している際には実行条件が成立するが、電力の供給を受けることができず、その機能が実行できないことになる。また、実行条件を判定する条件判定部３も、主電源が未投入では電力の供給を受けることができず、判定ができないことになる。

そこで、多機能カメラシステム１０は、さらに、車両１００の主電源が投入されていない時であっても、所定の条件の元で所定の機能部へ電力を供給する電源制御部８を備えて構成される。電源制御部８は、車両１００の主電源が投入されているか否かに拘わらず機能する。そして、電源制御部８は、車両１００の主電源が投入されていない時であってもドア６０への操作に応じて、各機能部の少なくとも１つを機能させる。具体的には、電源制御部８は、カメラ１、条件判定部３、及び各用途機能部の少なくとも１つを機能させる。本実施形態では、電源制御部８は、カメラ１、条件判定部３、ブラインドモニタ部４、障害物検出部５、個人認証部６の少なくとも１つを機能させる。ここで、「ドア６０への操作」は、車両１００に到達した人物が車室外に設けられたドアハンドル６１に触れたこととすることができる。また、「ドア６０への操作」は、車両１００の運転者を含む搭乗者が車室内に設けられたドアハンドルに触れたこととすることができる。これら、「ドア６０への操作」については、具体的な例を用いて後述する。

さて、多機能カメラシステム１０の各機能部、特に、用途機能部であるブラインドモニタ部４、障害物検出部５、個人認証部６は、個別の装置として構成されてもよいが、本実施形態では、マイクロコンピュータ（ＣＰＵ）１２ｃを有するＥＣＵ（electronic control unit）１２を中核として構成される。つまり、各機能部は、マイクロコンピュータ（ＣＰＵ）１２ｃを中核とするハードウェアと、プログラムメモリ１２ｐに格納されたソフトウェアとの協働により実現される。カメラ１により撮影された撮影画像は、画像インターフェースユニット１１を介してＥＣＵ１２入力される。ＥＣＵ１２は、ワークメモリ１２ｗを有しており、適宜、撮影画像やその他の一時データを記憶して画像処理などの演算処理を実施する。尚、ＣＰＵ１２ｃとプログラムメモリ１２ｐとワークメモリ１２ｗとは、当然ながら１つのプロセッサとして集積されていてもよい。ＥＣＵ１２は、ブザーなどの警報装置３０や表示装置２０とも連携する。

また、ＥＣＵ１２は、ＣＡＮ（controller area network）などの車内ネットワーク５０により、他のＥＣＵとも連携する。本実施形態においては、４つの各ドア６０を制御するドア制御システム４０と、車内ネットワーク５０を介して連携している。４つのドア制御システム４０は、それぞれ、運転席ドア制御システム４０Ａ、助手席ドア制御システム４０Ｂ、運転席側後部ドア制御システム４０Ｃ、助手席側後部ドア制御システム４０Ｄである。４つのドア制御システム４０は、それぞれ、システムの中核となるドアＥＣＵ４１（４１Ａ、４１Ｂ、４１Ｃ、４１Ｄ）、ドアが開いているかどうかなどの状態を検出するドアセンサ４２（４２Ａ、４２Ｂ、４２Ｃ、４２Ｄ）、電動によりドアの施解錠を行うロックアクチュエータ４３（４３Ａ、４３Ｂ、４３Ｃ、４３Ｄ）、電動によりドアの開閉を行う開閉アクチュエータ４４（４４Ａ、４４Ｂ、４４Ｃ、４４Ｄ）を備えて構成される。本実施形態では、車内ネットワーク５０を介してＥＣＵ１２とドア制御システム４０とが連携する例を示したが、当然ながら、ＥＣＵ１２とドア制御システム４０とが専用線で接続されてもよい。

ドアＥＣＵ４１は、多機能カメラシステム１０のＥＣＵ１２と同様に、マイクロコンピュータなどを中核として構成される。ドアセンサ４２は、単純にドア６０が車体に締結された状態か、締結が解除された状態かを検出するドアスイッチであってもよい。また、スイングドア６０Ａや６０Ｂの開き度合いを検出するセンサでもよい。また、車室内に設けられたドアハンドル（ドアノブ）への操作の有無を検出センサであってもよい。ロックアクチュエータ４３は、例えばソレノイドであり、ドアＥＣＵ４１の制御によりドア６０を施解錠する。開閉アクチュエータ４４は、例えばモータである。後部ドアであるドア６０Ｃ及び６０Ｄがスライドドアである場合には、開閉アクチュエータ４４は、ドアＥＣＵ４１の制御によりドア６０Ｃ及び６０Ｄを前開から前閉の間で開閉する。運転席ドア６０Ａ、助手席ドア６０Ｂのようにスイングドアである場合には、開閉アクチュエータ４４は、前開から前閉の間でドア６０を開閉させることなく、全閉から少し開くまでの間など、限られた範囲を開閉するものであってよい。また、自動的に開閉させることに限定されることはなく、開閉アクチュエータ４４は、手動による開閉を抑制するために用いられてもよい。

運転席ドア制御システム４０Ａ及び助手席ドア制御システム４０Ｂは、さらに、車外にタッチセンサ４５（４５Ａ、４５Ｂ）を有して構成される。タッチセンサ４５は、例えば静電容量センサであり、図２に示すようにドアハンドル６１のドア６０と対面する側に内蔵される。図２は運転席ドア６０Ａを例示しているが、助手席ドア６０Ｂも同様である。タッチセンサ４５は、ドア６０を開けるためにドアハンドル６１を操作しようとする利用者の手がドアハンドル６１に触れたことを検出する。タッチセンサ４５は、車両１００の主電源が投入されているか否かに拘わらず常時、微弱な電力が供給されたり、間欠的に電力を供給されたりすると好適である。タッチセンサ４５は、この実施形態に限定されることなく、ドアハンドル６０がドア６０と対面する側とは反対側にスイッチを設け、利用者がこのスイッチを操作することを検出するものであってもよい。

多機能カメラシステム１０は、上述したような車両１００の各装備と連携して、種々の場面において種々の機能を発揮する。以下、図４〜図７に示すフローチャート、図８及び図９に示す説明図も利用して、各場面における多機能カメラシステム１０の動作を説明する。

はじめに、図４を利用して、乗車時の多機能カメラシステム１０の動作例を説明する。車両１００は、走行中ではなく、施錠されて停車しているものとする。上述したように、タッチセンサ４５は、常時、微弱な電力を供給されたり、間欠的に電力を供給されたりしており、車両１００の主電源が投入されているか否かに拘わらず利用者によるドアハンドル６１への操作を検出可能である。タッチセンサ４５の検出結果は、車内ネットワーク５０を介してＥＣＵ１２へ伝達される。

ここで、ＥＣＵ１２のＣＰＵ１２ｃは、タッチセンサ４５の検出結果を割り込みとして受け付けると好適である。ＣＰＵ１２ｃが省電力モードなどで休止していても、タッチセンサ４５の検出結果を受け付けることによって、再起動（ウェイクアップ）される。このような割り込みの受け付けや、ＣＰＵ１２ｃの再起動は、電源制御部８が主体となって実行する。電源制御部８は、タッチセンサ４５による検出が有ったと判定すると、カメラ１、条件判定部３、個人認証部６へ一定期間の実行を指示する（＃１１、＃１２）。電源制御部８は、運転席ドア６０Ａのタッチセンサ４５Ａから検出結果を受け取った場合にはカメラ１Ａのみを起動し、助手席ドア６０Ｂのタッチセンサ４５Ｂから検出結果を受け取った場合にはカメラ１Ｂのみを起動すると省電力である。また、タッチセンサ４５が利用者の操作を検出していない側において個人認証を実行しないことにより、誤って認証が成立してしまうことを抑制できるので、セキュリティ上も好適である。

起動された条件判定部３は、車両１００が走行中ではなく、施錠されて停車していることから、個人認証部６の実行条件が成立すると判定する。個人認証部３は、実行条件が成立したことにより、撮影画像を画像認識して撮影画像中の人物が予め当該車両１００に登録された利用者であるか否かを認証する。認証結果が合格であった場合には、ＥＣＵ１２からドア制御システム４０（４０Ａ〜４０Ｄ）へロック解除指示が伝達される（＃１３、＃１４）。ロック解除指示を伝達すると、ＥＣＵ１２は処理を終了する。ドア制御システム４０の各ドアＥＣＵ４１（４１Ａ〜４１Ｄ）により各ロックアクチュエータ４３（４３Ａ〜４３Ｄ）が制御されて車両１００が解錠される。認証結果が合格であった場合には、ＥＣＵ１２は処理を終了する。

カメラ１、条件判定部３、個人認証部６は、電源制御部８により一定期間の実行を指示されており、一定期間を経過すると再び省電力モードなどで休止状態となる。個人認証が不合格である場合に、カメラ１などに電力を供給すると電力が無駄になる可能性がある。また、個人認証が成功し、ドア６０を開けて利用者が乗車した場合でも、直ぐに主電源を投入して車両１００を発進させるとは限らない。従って、合格・不合格によらず、個人認証が終わった後は、再び省電力モードなどで休止状態となると好適である。尚、本実施形態では、「一定期間」としたが、これに限定されるものではない。そのまま通常動作をさせておき、個人認証が不合格となった時や、個人認証が成功してドア６０が開いた時、などの別の事象をトリガとして休止状態に戻ってもよい。

次に、図５を利用して、ブラインドモニタ部４の動作例を説明する。ここでは、車両１００の主電源が投入されているものとして説明する。つまり、車両１００が一時停車を含む走行中であるものとして説明する。カメラ１、ＥＣＵ１２など、多機能カメラシステム１０の各部は、休止状態ではなく通常実行状態である。条件判定部３は、表示要求があるか否かを判定し（＃２１）、表示要求がある場合には、ブラインドモニタ部４に撮影画像の表示を指示する（＃２２）。ブラインドモニタ部４は、画像インターフェースユニット１１及び表示装置２０に撮影画像表示の指示を出し、表示装置２０に撮影画像が表示される。尚、撮影画像表示の指示には、カメラ１Ａ又はカメラ１Ｂの撮影画像の何れかを選択する指示や、双方を表示させる指示、また、部分拡大などの指示も含む。

条件判定部３は、障害物検出部５により障害物が認識された際にブラインドモニタ部４の実行条件が成立すると判定する。また、条件判定部３は、運転者を含む車両１００の搭乗者により表示スイッチ２１が操作されたなど、撮影画像の表示を指示された際に、ブラインドモニタ部４の実行条件が成立すると判定する。例えば、表示スイッチ２１が操作された際に、電源制御部８がＥＣＵ１２を再起動するように構成されていれば、図４に示した手順と同様に、車両１００に主電源が投入されていない時でもブラインドモニタ部４を実行させることが可能である。

次に、図６を利用して、障害物検出部５の動作例を説明する。ここでは、車両１００の主電源が投入されているものとして、又は上述したように主電源が未投入で一定期間、電力の供給を受けて動作しているものとして説明する。条件判定部３は、車両１００が一時停車を含む走行中であるとき、障害物検出部５の実行条件が成立すると判定する。障害物検出部５は、各フレーム間の差分や、１枚のフレーム内のパターンマッチング等の公知の画像認識技術により、撮影画像中の障害物の有無や接近を検出する。障害物検出部５は、障害物を検出すると、ブザーなどの警報装置３０に警報の発信を指示する（＃３２）。また、ブラインドモニタ部４に対して撮影画像の表示要求を行う（＃３３）。この際、検出された障害物の位置に応じて、前方側Ｆ又は後方側Ｒを拡大するような指示を加味してもよい。ブラインドモニタ部４は画像インターフェースユニット１１と連携して拡大された撮影画像を表示装置２０に表示させることができる。撮影画像の表示要求を受けたブラインドモニタ部４の動作については、図５に基づいて上述した通りである。

尚、上述したように、条件判定部３は、主電源が未投入で車両１００が走行可能な状態ではないときであっても、車両１００が施錠されずに停車している際には障害物検出部５の実行条件が成立すると判定する。これは、例えば、主電源を切断して、搭乗者が下車しようとしている時などに相当する。以下、図７を利用して、下車時の多機能カメラシステムの動作例について説明する。

はじめに、ドアセンサ４２の検出があるか否かが、電源制御部８により判定される（＃４１）。上述したように、ドアセンサ４２は、単純にドア６０が車体に締結された状態か締結が解除された状態かを検出するドアスイッチであってもよいし、車室内に設けられたドアハンドル（ドアノブ）への操作の有無を検出するセンサであってもよい。例えば、操作の有無の検出は、運転者を含む搭乗者が室内に設けられたドアハンドル（ドアノブ）に触れたことの検出とすることができる。

つまり、搭乗者が、車外に出ようとしていることを、好ましくはドア６０が開き始める前に検出可能な検出手段であればよい。ドアセンサ４２により搭乗者が下車しようとしていることの検出が有った場合には、次に電源制御部８は、主電源が投入されているか否かを判定する（＃４２）。そして、主電源が投入されていない場合には、少なくとも、カメラ１、条件判定部３、ブラインドモニタ部４、障害物検出部５に対して一定期間の実行を指示する（＃４３）。つまり、個人認証部６について説明したものと同様に、休止状態のＣＰＵ１２ｃを起動させる。この一定期間は、個人認証部６が機能する際と同じ期間でもよいし、異なる期間であってもよい。尚、本実施形態では、「一定期間」としたが、これに限定されるものではない。ＣＰＵ１２ｃが起動された後、そのまま通常動作をさせておき、ドア６０が閉まる、ドア６０が施錠されるなどの別の事象をトリガとして休止状態に戻ってもよい。

また、休止状態から起動されるカメラ１は、搭乗者が下車しようとしていることを検出したドアセンサ４２が配置されている側のカメラであると、電力を無駄に消費することがなく好適である。例えば、運転席ドア６０Ａのドアセンサ４２Ａ、又は運転席側後部ドア６０Ｃのドアセンサ４２Ｃにより検出された場合には、運転席ドア６０Ａに設置されたカメラ１Ａが起動される。助手席ドア６０Ｂのドアセンサ４２Ｂ、又は助手席側後部ドア６０Ｄのドアセンサ４２Ｄにより検出された場合には、助手席ドア６０Ｂに設置されたカメラ１Ｂが起動される。

上記では、主電源を切断して、搭乗者が下車しようとしている時を想定して説明したが、主電源が投入状態で、即ち車両１００が一時停車している時に搭乗者が一時的に下車することもある。この場合には、ドアセンサ４２の検出があるか無いかの判定＃４１を電源制御部８ではなく、条件判定部３や障害物検出部５が実行してもよい。主電源が投入されているとき、条件判定部３は、障害物検出部５の実行条件が成立すると判定するので、既に条件判定部３や障害物検出部５も動作しているからである。実質的に、ＣＰＵ１２ｃが有する割り込み受け付け機能がドアセンサ４２の検出結果を受け付ければ足りるので、厳密に判定処理＃４１を実行する機能部を何れか１つの機能部に限定する必要はない。プログラムの進行に応じて、適宜複数の機能部により実行可能に構成されていてもよい。

ここでは、搭乗者が下車しようとしているドア６０が、スイングドアである運転席ドア６０Ａ又は助手席ドア６０Ｂであるとして以下説明を続ける。条件判定部３は、ドア６０の開き度が優先しきい値未満か否かを判定する（＃４４）。つまり、ドア６０Ａ（又は６０Ｂ）の開き度合いが所定の開き度合いである優先しきい値よりも小さいか否かを判定する。ドア６０Ａの開き度合いが小さい時には搭乗者が下車するために、ドア６０Ａは図８における矢印Ｙの方向へさらに開かれていく。この時、ドア６０Ａの近傍に、縁石などの障害物が存在すると、ドア６０Ａがこの障害物に接触する可能性がある。従って、撮影範囲Ｅの内、前方側Ｆの画像認識を優先させるように、条件判定部３は、ドア６０Ａ（又は６０Ｂ）の開き度合いに応じて優先条件を判定する（＃４４、＃４６）。

一方、ドア６０Ａ（又は６０Ｂ）の開き度合いが所定の開き度合いである優先しきい値以上の場合には、条件判定部３は、撮影範囲Ｅの内、後方側Ｒの画像認識を優先させるように、ドア６０Ａ（又は６０Ｂ）の開き度合いに応じて優先条件を判定する（＃４４、＃４７）。この時には、図８における矢印Ｚの方向（車両１００の後方）から接近する歩行者や自転車、他の車両などの移動体が、開いたドア６０Ａ（６０Ｂ）に接触する可能性があり、このような移動体を検出する必要があるからである。尚、ドア６０Ａ（６０Ｂ）の開き度が所定の開放しきい値以上となると、図９に示すように障害物検出の意義が低下する。つまり、車両１００の後方から接近する移動体は撮影範囲Ｅに入らず、撮影範囲Ｅの前方側Ｆは車両１００を撮影することになる。従って、ドア６０Ａ（６０Ｂ）の開き度が所定の開放しきい値以上となると障害物検出処理が終了される（＃４５）。

障害物検出部５は、障害物を検出するとドア制御システム４０に対してドア開放抑制指示を発する（＃４８、＃４９）。ドアＥＣＵ４１は、開閉アクチュエータ４４を制御して、ドア６０の開閉を抑制する。さらに、障害物検出部５は、図６に基づいて上述したように、ブザーなどの警報装置３０に警報を発するように指示し（＃５０）、ブラインドモニタ部４に対して撮影画像の表示要求を出力する（＃５１）。尚、搭乗者は、下車に際して、車両１００の側方に、溝などが存在するか否かを確認するために、図５に基づいて上述したしたように、自発的にブラインドモニタ部４に対して表示装置２０への撮影画像の表示を指示することもできる。

上記説明においては、搭乗者がスイングドアである運転席ドア６０Ａ及び助手席ドア６０Ｂから下車する例を用いたが、搭乗者がスライドドアである後部ドア６０Ｃ及び６０Ｄから下車する際にも障害物検出部５が障害物を検出すると好適である。但し、後部ドア６０Ｃ及び６０Ｄの可動部及び乗降口は、カメラ１よりも後方に存在するので、ドアの開き度による判定は必要なく、撮影範囲Ｅの全体を検出範囲としてよい。又は、処理＃４４を実行することなく、処理＃４５、＃４７に進み、後方側Ｒを優先してもよい。対象となるドア６０が何れであるかについては、検出結果を出力したドアセンサ４２により明らかであるから、ドア６０に応じた障害物検出が可能である。

上述した実施形態においては、多機能カメラシステム１０の構成と、その効用を理解しやすいようにカメラ１がドアハンドル６１に設置された場合を例として説明した。当業者であれば、その実施形態を参考に、カメラ１をドアミラーに設置して同様の多機能カメラシステム１０を構築することが可能であろうが、そのような改変も本発明の技術的範囲に属するものである。サイドミラーにカメラ１が設置される場合にはサイドミラーが使用状態にある時と、格納状態にある時とによって、撮影範囲Ｅが異なることになる。しかし、サイドミラーの状態を検出し、サイドミラーの状態に応じた撮影画像を用いて画像処理を実行することで複数の機能を発揮する多機能カメラシステム１０が構成可能である。サイドミラーの状態の検出は、開度演算部７と同様に撮影画像中における車両１００の部位の存在位置を画像処理により認識することによって行われてもよい。

例えば、使用状態のサイドミラーの最も側方側にカメラ１が設置され、視野角が１８０〜１９０度程度あれば、ドアハンドル６１にカメラ１が設置された場合とほぼ同等の撮影範囲Ｅが確保される。また、サイドミラーが格納状態においても、サイドミラーよりも車両１００の後方側については、ドアハンドル６１にカメラ１が設置された場合とほぼ同等の撮影範囲Ｅ（後方側Ｒ）が確保される。従って、ドアミラーの姿勢によって上記において説明した実施形態の一部機能が限定されることにはなるが、車両部品に固定され、カメラ自身は姿勢変更しないカメラ１を用いた多機能カメラシステム１０は充分に実現可能である。

以上、説明したように、本発明によれば、車両重量を増加させるような機構を備えることなく、低コストで車載のカメラを複数の用途に適用できる技術が実現される。

１、１Ａ、１Ｂ：カメラ
３：条件判定部
４：ブラインドモニタ部
５：障害物検出部
６：個人認証部
７：開度演算部
８：電源制御部
１０：多機能カメラシステム
２０：表示装置
６０、６０Ａ、６０Ｂ、６０Ｃ、６０Ｄ：ドア（車両部品）
６０Ａ、６０Ｂ：スイングドア
６１：ドアハンドル（車両部品）
１００：車両
Ｅ、Ｅ１、Ｅ２：撮影範囲
Ｆ、Ｆ１、Ｆ２：前方側
Ｒ、Ｒ１、Ｒ２：後方側

Claims (7)

1. 車両の前方側を支点として回動するスイングドアを有する前記車両の側面において車両部品に固定され、当該車両の側方を撮影するカメラと、
   複数の機能部の実行条件を判定する条件判定部と、
   前記機能部の１つであり、前記条件判定部の判定結果に基づいて実行され、前記カメラの撮影画像に基づいて、前記車両の周辺に存在する又は前記車両に接近する障害物を画像認識により検出する障害物検出部と、
   前記機能部の１つであり、前記条件判定部の判定結果に基づいて実行され、前記カメラの撮影画像に基づいて、前記車両に到達した人物が前記車両に予め登録された利用者であるか否かを画像認識により認証する個人認証部と、を有し、
   前記条件判定部は、前記スイングドアの開き度合いに応じて前記車両の前方側の側方に対する画像認識と、後方側の側方に対する画像認識との何れを優先的に実行するかの優先条件を判定するものであり、前記スイングドアの開き度合いが所定の開き度合いよりも小さい時には前方側の画像認識を優先させ、前記スイングドアの開き度合いが所定の開き度合い以上の時には後方側の画像認識を優先させ、
   前記障害物検出部は、前記条件判定部の判定結果に基づいて、前方側と後方側との何れかに対する画像認識を優先的に実行する多機能カメラシステム。
2. 前記条件判定部は、
   前記車両が一時停車を含む走行中、又は施錠されずに停車している際には前記障害物検出部の実行条件が成立すると判定し、
   前記車両が前記走行中ではなく、施錠されて停車している際には前記個人認証部の実行条件が成立すると判定する、請求項１に記載の多機能カメラシステム。
3. 前記機能部の１つであり、前記条件判定部の判定結果に基づいて実行され、前記カメラにより撮影されて、前記車両の運転者からの死角を撮影範囲に含む撮影画像を車室内の表示装置へ出力するブラインドモニタ部を備え、
   前記条件判定部は、前記運転者を含む前記車両の搭乗者により前記撮影画像の表示を指示された際、又は前記障害物検出部により障害物が認識された際に前記ブラインドモニタ部の実行条件が成立すると判定する請求項１又は２に記載の多機能カメラシステム。
4. 前記カメラは、前記スイングドア又は前記スイングドアに設置される車両部品に設置されるものであり、
   当該多機能カメラシステムは、さらに、前記カメラの撮影画像に基づいて、前記スイングドアの開き度合いを演算する開度演算部を有する請求項１に記載の多機能カメラシステム。
5. 前記カメラ、前記条件判定部、複数備えられた前記各機能部は、前記車両の主電源が投入されている際に機能するものであり、
   当該多機能カメラシステムは、さらに、前記車両の主電源が投入されているか否かに拘わらず機能し、前記車両の主電源が投入されていない時であっても前記車両のドアへの操作に応じて、前記カメラ、前記条件判定部、前記各機能部の少なくとも１つを機能させる電源制御部を備える請求項１〜４の何れか一項に記載の多機能カメラシステム。
6. 前記車両のドアへの操作は、前記車両に到達した人物が前記車両の車室外に設けられたドアハンドルに触れたことである請求項５に記載の多機能カメラシステム。
7. 前記車両のドアへの操作は、前記車両の運転者を含む前記車両の搭乗者が前記車両の車室内に設けられたドアハンドルに触れたことである請求項５に記載の多機能カメラシステム。

Images