JP2005062911A

JP2005062911A - Vehicle controller

Info

Publication number: JP2005062911A
Application number: JP2003204921A
Authority: JP
Inventors: Satoru Harumoto; 哲春本; Toshitaka Yamato; 俊孝大和; Hiroshi Takeuchi; 博竹内; Yoshihiko Maeno; 義彦前野; Naotoshi Miyamoto; 直敏宮本
Original assignee: Denso Ten Ltd
Current assignee: Denso Ten Ltd
Priority date: 2003-06-16
Filing date: 2003-07-31
Publication date: 2005-03-10

Abstract

<P>PROBLEM TO BE SOLVED: To provide a vehicle cotroller capable of effectively detecting the doze of a driver thereby awaking the driver by . <P>SOLUTION: The image of a driver photographed by an indoor camera 103 is processed by an image recognition ECU203 so that the looking-aside or doze of the driver can be detected. A warning/awakening processing selecting part 301a selects processing to be executed by referring to a storage part 301b based on the detected status of the driver, and encourages the driver to pay attention or wake up by making a speaker 504 output a warming sound, making a blower 116 blow wind, making a vehicle control ECU 206 vibrate a seat 111 and opening a window 110. <P>COPYRIGHT: (C)2005,JPO&NCIPI

Description

【０００１】
【発明の属する技術分野】
この発明は、車両の運転手の状態に基づいて該車両の制御をおこなう車両制御装置に関し、特に運転手の脇見や居眠りを検出して注意や覚醒を促すことの可能な車両制御装置に関する。
【０００２】
【従来の技術】
近年、車両の走行にかかる各種情報を取得し、運転手に対する通知や、運転の補助、さらには運転への介入を行うことで車両事故を防止する車両制御装置が考案されている。
【０００３】
特に、脇見運転や居眠り運転は自動車事故の直接的な原因となるので、運転手の脇見や居眠りを効果的に検出し、警告を与えることは事故防止に大きな効果がある。例えば、特許文献１に開示された運転手監視システムでは、運転手の顔に投影した輝点パターンにより、運転手の顔の傾きを求めて運転手が危険な状態（前を向いていない状態）にあるか否かを判定している。
【０００４】
また、特許文献２に開示された走行環境監視警報装置では、運転手の視線方向を検出し、運転手が障害物を見ているか否かによって出力する警告の内容を変更し、不要な警告を出さないようにしている。
【０００５】
【特許文献１】
特開平１０−９６０号公報
【特許文献２】
特開平１１−１３９２２９号公報
【０００６】
【発明が解決しようとする課題】
しかしながら、従来の技術では、運転手が正常に前を向いていないことを検出し、警告するのみであり、運転手の状態に応じた適切な対処がなされていなかった。
【０００７】
たとえば、運転手が脇見をしている状態であれば、スピーカから警告音を発するのみで運転手に注意を促すことができる。しかし、運転手が居眠りをしている場合やスピーカから音楽をかけている場合など、音声による警告では不十分な状況においては、運転手の覚醒を促すことのできる手段が必要となる。
【０００８】
ところが、従来技術では画一的な警告手段によって警告するのみであり、また、運転手の目を覚まさせることは考慮されていなかった。すなわち、従来の技術では、運転手の状態に応じて適切な対処を選択することができず、また、運転手の覚醒を促すに足る手段がないという問題点があった。
【０００９】
この発明は、上述した従来技術による問題点を解消し、課題を解決するためになされたものであり、運転手の状況に対応して適切な対処を選択し、運転手が居眠りをしている場合には覚醒させることのできる車両制御装置を実現し、もって自動車事故を防止することを目的とする。
【００１０】
【課題を解決するための手段】
上述した課題を解決し、目的を達成するため、請求項１の発明に係る車両制御装置は、車両の運転手の状態に基づいて該車両の制御をおこなう車両制御装置であって、前記運転手の状態を判定する状態判定手段と、前記状態判定部による判定結果をもとに、注意もしくは覚醒を促す警告覚醒処理手段と、を備えたことを特徴とする。
【００１１】
この請求項１の発明によれば、車両制御装置は、運転手の状態を判定し、その判定結果に基づいて運転手に対して注意もしくは覚醒を促す処理を実行する。
【００１２】
また、請求項２の発明に係る車両制御装置は、請求項１の発明において、前記警告覚醒処理手段は、前記運転手に対して注意もしくは覚醒を促す複数の警告手段および／または覚醒手段を備え、前記状態判定部による判定結果をもとに使用する警告手段および／または覚醒手段を選択することを特徴とする。
【００１３】
この請求項２の発明によれば車両制御装置は、運転手の状態を判定し、その判定結果に基づいて運転手に対して注意もしくは覚醒を促す処理を複数の警告手段や覚醒手段から選択して実行する。
【００１４】
また、請求項３の発明に係る車両制御装置は、請求項１または２の発明において、前記警告覚醒処理手段は、ウインドウの開閉制御を行うことで前記運転手に対して注意もしくは覚醒を促すことを特徴とする。
【００１５】
この請求項３の発明によれば車両制御装置は、運転手に注意や覚醒を促す場合に、ウインドウを開放する処理をおこなう。
【００１６】
また、請求項４の発明に係る車両制御装置は、請求項１，２または３の発明において、前記警告覚醒処理手段は、送風器を制御することで前記運転手に対して注意もしくは覚醒を促すことを特徴とする。
【００１７】
この請求項４の発明によれば車両制御装置は、運転手に注意や覚醒を促す場合に、送風器を制御する処理をおこなう。
【００１８】
また、請求項５の発明に係る車両制御装置は、請求項１〜４の発明において、前記警告覚醒処理手段は、前記運転手のシートを振動させることで注意もしくは覚醒を促すことを特徴とする。
【００１９】
この請求項５の発明によれば車両制御装置は、運転手に注意や覚醒を促す場合に、運転手のシートを振動させる処理をおこなう。
【００２０】
また、請求項６の発明に係る車両制御装置は、請求項１〜５の発明において、前記警告覚醒処理手段は、音声を出力することにより前記運転手に対して注意もしくは警告を促すことを特徴とする。
【００２１】
この請求項６の発明によれば車両制御装置は、運転手に注意や覚醒を促す場合に、音声を出力する処理をおこなう。
【００２２】
また、請求項７の発明に係る車両制御装置は、請求項１〜６の発明において、前記警告覚醒処理手段は、シートベルトの状態を制御することで前記運転手に対して注意もしくは警告を促すことを特徴とする。
【００２３】
この請求項７の発明によれば車両制御装置は、運転手に注意や覚醒を促す場合に、シートベルトを制御する処理をおこなう。
【００２４】
また、請求項８の発明に係る車両制御装置は、請求項１〜７の発明において、前記警告覚醒処理手段は、ステアリングハンドルを振動させることで前記運転手に対して注意もしくは警告を促すことを特徴とする。
【００２５】
この請求項８の発明によれば車両制御装置は、運転手に注意や覚醒を促す場合に、ステアリングハンドルを振動させる処理をおこなう。
【００２６】
また、請求項９の発明に係る車両制御装置は、請求項１〜８の発明において、前記警告覚醒処理手段は、車内灯の点灯状態を制御することで注意もしくは警告を促すことを特徴とする。
【００２７】
この請求項９の発明によれば車両制御装置は、注意や覚醒を促す場合に、車内灯の点灯状態を制御する処理をおこなう。
【００２８】
また、請求項１０の発明に係る車両制御装置は、請求項１〜９の発明において、前記警告覚醒処理手段は、空調の設定温度を制御することで注意もしくは警告を促すことを特徴とする。
【００２９】
この請求項１０の発明によれば車両制御装置は、注意や覚醒を促す場合に、空調の設定温度を制御する処理をおこなう。
【００３０】
また、請求項１１の発明に係る車両制御装置は、請求項１〜１０の発明において、前記警告覚醒処理手段は、前記車両の同乗者に対して注意もしくは警告を促すことを特徴とする。
【００３１】
この請求項１１の発明によれば車両制御装置は、車両の同乗者に対して注意や覚醒を促す処理をおこなう。
【００３２】
また、請求項１２の発明に係る車両制御装置は、請求項１〜１１の発明において、前記警告覚醒処理手段は、前記車両の外部に対して注意もしくは警告を促すことを特徴とする。
【００３３】
この請求項１２の発明によれば車両制御装置は、車両の外部に対して注意や覚醒を促す処理をおこなう。
【００３４】
また、請求項１３の発明に係る車両制御装置は、請求項１２の発明において、前記警告覚醒処理手段は、車両間通信を使用して前記車両周辺の他の車両に対して注意もしくは警告を促すことを特徴とする。
【００３５】
この請求項１３の発明によれば車両制御装置は、車両間通信を使用して車両周辺の他の車両に対して注意もしくは警告を促す。
【００３６】
また、請求項１４の発明に係る車両制御装置は、請求項１２または１３の発明において、前記警告覚醒処理手段は、ウインカー、ブレーキランプおよび／またはハザードを使用して前記車両の外部に対して注意もしくは警告を促すことを特徴とする。
【００３７】
この請求項１４の発明によれば車両制御装置は、ウインカー、ブレーキランプおよび／またはハザードを使用して車両の外部に対して注意もしくは警告を促す。
【００３８】
また、請求項１５の発明に係る車両制御装置は、請求項１〜１４の発明において、前記警告覚醒処理手段は、前記車両を安全に停止させる動作制御をさらに実行することを特徴とする。
【００３９】
この請求項１５の発明によれば車両制御装置は、運転手の状態を判定し、その判定結果に基づいて運転手に対して注意もしくは覚醒を促すとともに、車両を安全に停止させる動作制御をさらに実行する。
【００４０】
【発明の実施の形態】
以下に添付図面を参照し、この発明に係る車両制御装置の好適な実施の形態について説明する。
【００４１】
（実施の形態１）
図１は、本発明の実施の形態１である車両制御装置の概要構成を示す概要構成図である。
【００４２】
図１において、予測判断ＥＣＵ（ＥｌｅｃｔｒｉｃａｌＣｏｎｔｒｏｌＵｎｉｔ）３０１は、通信ＥＣＵ２０１，２０２、画像認識ＥＣＵ２０３、プリクラッシュシステム２０４、エアバックＥＣＵ２０５、車体制御ＥＣＵ２０６、セキュリティシステム２０７、制御用ロケータ２０９、表示制御ＥＣＵ４０３、音声制御ＥＣＵ４０４およびナビゲーションシステム４０５および車両運動制御系４００と接続している。
【００４３】
通信ＥＣＵ２０１は、Ｗ−ＣＤＭＡやＣＤＭＡ２０００、８０２．１１ｂなどを用いた一般通信網１０１に接続され、通信の内容をオブジェクトデータとして予測判断ＥＣＵ３０１に送信する。通信ＥＣＵ２０２は、他の車両や路面などと通信する近距離無線（ＤＳＲＣ）等の車両通信装置１０２に接続され、車両間通信の内容をオブジェクトデータとして予測判断ＥＣＵ３０１に送信する。また、画像認識ＥＣＵ２０３は、室内カメラ１０３と接続され、室内カメラ１０３が撮影した車両内の映像に対して画像認識処理を行い、その結果をオブジェクトデータとして予測判断ＥＣＵ３０１に送信する。
【００４４】
プリクラッシュシステム２０４は、車両周辺の障害物からの反射電波を受信するレーダ１０４，１０５と接続され、反射電波に基づいて障害物との相対距離や速度を検出して予測判断ＥＣＵ３０１に送信するとともに、前記相対距離や速度を基にシートベルト１０６の巻上げ制御をおこなう。ここで、レーダ１０４は中・遠距離用のレーダ方式であり、レーダ１０５は近距離用のレーダ方式である。
【００４５】
さらに、エアバックＥＣＵ２０５は、加速度を検出する加速度センサ１０７から自車の衝撃情報を取得して予測判断ＥＣＵ３０１に送信するとともに、衝撃情報に基づいてエアバック１０８の動作を制御する。ここで、プリクラッシュシステム２０４とエアバックＥＣＵ２０５は、車両の衝突時の安全性を向上する衝突安全制御系２００を構成している。この衝突安全制御系２００は、予測判断ＥＣＵ３０１と協働して動作するのみならず、予測判断ＥＣＵ３０１が故障しても影響されずに独立して動作可能となる。
【００４６】
車体ＥＣＵ２０６は、ドアマイコン１０９などに接続され、ドアや車体に配置されたライト、ウィンカーなどの各種機器の状態を予測判断ＥＣＵ３０１に供給するとともに、ウインドウ１１０、シート１１１の制御や、ドア、ドアロック、灯火系の制御などをおこなう。
【００４７】
セキュリティシステム２０７は、車体とイグニッションキーとの距離を検知するキーセンサ１１２、自車両に接近する人物などを検知する接近センサ１１３、ガラスの振動を検知するガラスセンサ１１４などに接続され、各種情報を予測判断ＥＣＵ３０１に供給するとともに、セキュリティインジケータ２０８の制御をおこなう。
【００４８】
エアコンＥＣＵ２１０は、温度センサ１１５と接続され、温度情報をオブジェクトデータとして予測判断ＥＣＵ３０１に供給し、予測判断ＥＣＵ３０１からの制御に基いて、もしくは自律的に送風器１１６の制御を行う。
【００４９】
表示制御ＥＣＵ４０３および音声制御ＥＣＵ４０４は、それぞれ予測判断ＥＣＵ３０１と接続され、予測判断ＥＣＵから受信したオブジェクトデータをもとに、どのような警告や表示を実行するかを警告・表示ロジックによって決定し手出力する。
【００５０】
表示制御ＥＣＵ４０３は、車両内における各種表示機器を制御する処理部であり、タッチパネル５０１およびモニタ５０２などと接続される。また、音声制御ＥＣＵ４０４は、車両内における各種音声出力機器を制御する処理部であり、スイッチ５０３およびスピーカ５０４などと接続される。
【００５１】
制御用ロケータ２０９は、ナビゲーションシステム４０５から位置情報を取得し、オブジェクトデータとして予測判断ＥＣＵ３０１に供給する処理をおこなう。
【００５２】
車両運動制御系４００は、エンジン制御ＥＣＵ４０６、変速制御ＥＣＵ４０７、ブレーキ制御ＥＣＵ４０８、サスペンションＥＣＵ４０９、ステアリングＥＣＵ４１０から構成され、予測判断ＥＣＵ３０１から受信したオブジェクトデータに基づいて、もしくは自律的に各ＥＣＵの制御をおこなう。エンジン制御ＥＣＵ４０６は、スロットル開度センサ５０５と接続され、スロットル状態の取得およびスロットルバルブ５０６制御をおこなう。また、変速制御ＥＣＵ４０７は、アクセル開度５０７を取得して、シフト５０８を制御する。ブレーキ制御ＥＣＵ４０８は、ブレーキスイッチのオンオフ信号や車輪速５０９を取得し、ブレーキ圧５１０を制御する。さらにサスペンション制御ＥＣＵは、ストロークセンサ５１１によってサスペンションの状態を取得するとともにエア圧５１２を制御する。ステアリング制御ＥＣＵ４１０は、操舵角センサ５１３の状態を取得して所望の操舵角になるようステアリング５１４を制御する処理をおこなう。
【００５３】
予測判断ＥＣＵ３０１は、各種オブジェクトデータにより車両の危険を予測するロジックを有しており、その一つとして、画像認識ＥＣＵ２０３から得た画像情報に基いて、運転者のよそ見や居眠りを認識し、警告や覚醒を行う処理を実行する機能を有する。
【００５４】
つぎに、車両制御装置１によるよそ見や居眠りの認識、および警告、覚醒について説明する。室内カメラ１０３は、元来、車両内への不審者の進入検知を行うために用いられるものであり、車両制御装置１では、この室内カメラ１０３を運転手のよそ見や居眠りの検知に利用している。
【００５５】
具体的には、室内カメラ１０３は、図２に示すように運転手２０の近傍に配設され、室内カメラ１０３の撮影範囲１０３ａは、運転手２０の頭部を撮影可能である。室内カメラ１０３は、撮影した運転手の画像を画像認識ＥＣＵ２０３に送信する。
【００５６】
画像認識ＥＣＵ２０３は、室内カメラ１０３が取得した画像に対する画像認識処理を行い、運転手の視線方向、顔の向き、および頭の位置を認識する。より具体的には、運転手の頭部の画像を基準画像と比較し、頭部がどれだけ傾いているか、あるいはどれだけ横方向に振り向いているか等、運転の動作情報を取得し、オブジェクトデータとして予測判断ＥＣＵ３０１に送信する。
【００５７】
予測判断ＥＣＵ３０１は、その内部に警告覚醒処理選択部３０１ａおよび記憶部３０１ｂを有する。警告覚醒処理選択部３０１ａは、画像認識ＥＣＵ２０３から受信したオブジェクトデータをもとに、運転手２０の状態を判定し、記憶部３０１ｂから実行すべき処理の内容を選択する。
【００５８】
運転手２０の状態の判定では、例えば、視線方向や顔の向きから運転手が一定時間以上前方を見ていない場合には、脇見や居眠りなどをしており、正常な運転状態にないと判定する。また運転手の頭が、一定時間以上正規の位置にない場合も運転手が正常な運転状態にないと判定する。
【００５９】
さらに、運転手が脇見をしているか居眠りをしているかの判定は、視線の検知や、運転手の頭の動きにおける周期性の有無、さらには運転手による運転操作の有無などをもとに判定することができる。
【００６０】
記憶部３０１ｂは、その内部に警告・覚醒処理データベースを記憶している。図３は、警告・覚醒処理データベースの具体例を説明する説明図である。図３に示すように、警告・覚醒処理データベースは、運転手の状態が「脇見」である場合と、「居眠り」である場合とのそれぞれに対して実行する動作を設定している。
【００６１】
より具体的には、運転手の状態が「脇見」である場合に実行する動作は「警告音」である。しかし、運転手の状態が「居眠り」である場合に実行する動作は「警告音」、「送風」、「シート振動」および「ウインドウ開放」である。
【００６２】
すなわち、運転手が脇見をしている状態であれば、音声による警告で十分に警告を与えることができ、運転手が前を見ることが期待できる。しかし、運転手が居眠りをしている状態であれば、音声による警告のみでは運転手の目を覚まさせることができない可能性がある。特に、スピーカから音楽などが出力されている状態では、音声による警告を行ったとしても運転手が目を覚まさない可能性が高い。
【００６３】
このように、運転手が居眠りをしている場合であれば、音声による警告のみならず、他の手段を用いることが効果的である。例えば、車両に設けた空調設備を用いて運転手に対して送風する、運転席側のウインドウを空けて運転手に外気を当てるなどは、目を覚まさせる方法として特に効果がある。また、運転手のシートに設置した振動手段によって運転手に振動を伝えることでも、効果的に運転手の覚醒を促すことができる。
【００６４】
警告覚醒処理選択部３０１ａは、この警告・覚醒処理データベースを参照して実行する処理を選択し、車載サーバ４０１内の警告・表示ロジックや車体制御ＥＣＵ２０６など、選択した処理を実行する処理部にオブジェクトデータとして送信する。選択する処理は、運転手の状態に対応したいずれか一つの処理であってもよいし、複数の処理を組み合わせて用いても良い。たとえば、警告音を表示させるとともにシートを振動させ、さらにウインドウを開けるようにしてもよい。
【００６５】
車載サーバ４０１内の警告・表示ロジックは、警告覚醒処理選択部３０１ａから受信したオブジェクトデータに従って、スピーカ５０４による警告音の出力をおこなう。スピーカ５０４は、車両内部に音声を出力する手段である。このスピーカ５０４は、専用に設けたものであってもよいが、車載オーディオ装置などの他の手段と共用することが好適である。
【００６６】
エアコンＥＣＵ２１０は、警告覚醒処理選択部３０１ａから受信したオブジェクトデータに従って、送風器１１６を動作させる。送風器１１６は、エアコンＥＣＵ２１０の指示に基き、運転手に対して送風を行うことで覚醒を促す。このエアコンＥＣＵ２１０および送風器１１６は、本来、車両内の温度調節に用いる処理部であるが、車両制御装置１では、運転手を覚醒させる覚醒手段として使用する。
【００６７】
車体制御ＥＣＵ２０６は、警告覚醒処理選択部３０１ａから受信したオブジェクトデータに従って、ウインドウ１１０やシート１１１を動作させる。車両に設けられたウインドウ１１０は、車体制御ＥＣＵ２０６の制御によって開閉する。車両制御装置１では、特に運転手側の窓を開ける制御を行うことで運転手を覚醒させる覚醒手段として使用する。さらに、シート１１１は、車体制御ＥＣＵ２０６からの制御によって振動する。このシートの振動は、元来、マッサージ用などに設けられているが、車両制御装置１では、運転席を振動させることで運転手を覚醒させる覚醒手段として使用する。
【００６８】
つぎに、警告・覚醒処理選択部３０１ａの具体的な処理内容について説明する。図４は、警告・覚醒処理選択部３０１ａの処理を説明するフローチャートである。同図に示すように、警告・覚醒処理選択部３０１ａは、画像認識ＥＣＵ２０３から運転手の状態を取得したならば（ステップＳ１０１）、まず、運転手が前を見ているか否かを判定する（ステップＳ１０２）。
【００６９】
運転手が前を見ていない、すなわち運転手が正常な運転状態に無い場合（ステップＳ１０２，Ｎｏ）、警告・覚醒処理選択部３０１ａは、運転手が脇見をしているか否かを判定する（ステップＳ１０３）。運転手が脇見をしているならば（ステップＳ１０３，Ｙｅｓ）、警告・覚醒処理選択部３０１ａは、警告・覚醒処理データベースを参照して警告音の出力を決定し、スピーカ５０４から警告音を出力させる（ステップＳ１０４）。
【００７０】
ステップＳ１０４の終了後、警告・覚醒処理選択部３０１ａは、運転手が前を見たか否かを判定し（ステップＳ１０５）、運転手が前を見ていなければ（ステップＳ１０５，Ｎｏ）、すなわち運転手の状態が正常に戻っていなければ、再度警告音を出力する（ステップＳ１０４）。ここで、警告音の種類は一種類に限らず、複数の警告音から選択したり、警告音の音量を徐々に大きくするようにしても良い。
【００７１】
一方、運転手が脇見をしていると確定できない場合（ステップＳ１０３，Ｎｏ）、警告・覚醒処理選択部３０１ａは、警告・覚醒処理データベースを参照して覚醒手段を選択し（ステップＳ１０６）、選択した覚醒手段を実行する（ステップＳ１０７）。
【００７２】
ステップＳ１０７による覚醒手段の実行の結果、運転手が目を覚ましていないならば（ステップＳ１０８，Ｎｏ）、警告・覚醒処理部３０１ａは、使用する覚醒手段を変更し（ステップＳ１０９）、再度覚醒手段を実行する（ステップＳ１０７）。
【００７３】
運転手が正常に前を向いている場合（ステップＳ１０２，Ｙｅｓ）、警告音によって運転手が前を見た場合（ステップＳ１０５，Ｙｅｓ）、もしくは覚醒手段によって運転手が目を覚ました場合（ステップＳ１０８，Ｙｅｓ）、警告・覚醒処理部３０１ａは処理を終了する。
【００７４】
なお、図４に示したフローチャートでは、運転手が脇見をしていると判定した場合は音声による警告を行い、脇見をしていると判定できない場合、正常な運転状態に無いが脇見か居眠りかの判定がつかない場合には「居眠り状態」として覚醒手段を実行するようにしている。
【００７５】
これは、仮に運転手の脇見を「居眠り」と判定したとしても、各種覚醒手段（送風・シート振動・ウインドウ開放）によって、運転手に注意を促すという目的を果たすことができるためである。
【００７６】
すなわち、居眠り状態にある運転手を覚醒させるための手段は、脇見中の運転手に対する警告としても機能させることができる。しかしながら、単一の手段を頻繁に使用すると、運転手がその手段に慣れ、警告や覚醒の効果が減ずることとなる。
【００７７】
したがって、図４のフローチャートに示したように、明らかに「脇見」と判定できた場合には音声による警告のみを用いることとし、覚醒手段の使用頻度を抑制することによって、実際に居眠りが発生した場合に効果的に目を覚まさせることができる。
【００７８】
また、覚醒手段として「音声」、「送風」、「シート振動」、「ウインドウ開放」などの複数の手段を備え、使用する手段をランダムに選択可能とすることで、運転手の慣れを防止することができる。
【００７９】
上述してきたように、本実施の形態１では、室内カメラ１０３が撮影した運転手の画像に基づいて運転手の脇見や居眠りを検出し、運転手の状態に対応した処理を警告・覚醒処理データベースから読み出して実行することで、運転手に注意や覚醒を促し、自動車事故を防止することができる。
【００８０】
さらに、スピーカ５０４による音声の出力に加え、送風器１１６からの送風や、シート振動制御部１１１による運転席の振動、さらにウインドウ制御部１１０による窓の開放などを用いることで、居眠り状態にある運転手を効果的に覚醒させることができる。
【００８１】
また、送風器１１６やウインドウ制御部１１２は、既存の車載機器に搭載されている機能を利用することができる。
【００８２】
（実施の形態２）
つぎに、本発明の実施の形態２について説明する。上述した実施の形態１では、運転者の状態を「わき見」であるか「居眠り」であるかを判定し、この運転手の状態によって実行する処理を決定するようにしていた。しかし、本発明の利用はこれに限定されるものではない。
【００８３】
たとえば、運転手の状態に対して危険レベルを設定し、この危険レベルによって実行する処理を決定するように構成しても良い。また、警告覚醒手段も実施の形態１に示した「警告音」、「送風」、「シート振動」、「ウィンドウ解放」に限定されるものではなく、他の任意の手段を利用することができる。
【００８４】
図５は、運転手の状態に対応する危険レベルと、危険レベルによって定まる動作内容を説明する説明図である。図５では、危険レベルは「１」〜「１０」の１０段階に分類され、それぞれの危険レベルにおいて実行する動作内容が定められている。
【００８５】
具体的には、「危険レベル１」では、動作内容は「注意音声出力」である。しかし、「危険レベル２」では、動作内容は「警告音出力」である。さらに，「危険レベル３」では、動作内容は「警告音、モニタ表示」である。さらに「危険レベル４」では「警告音、モニタ表示、ルームライト」である。
【００８６】
また、「危険レベル５」以降では、「シートベルト」が追加され、「危険レベル６」以降では「空調」が追加される。さらに、「危険レベル７」以降では「シート」、「ステアリング」が追加され、「危険レベル８」以降では「通信」が追加される。また、「危険レベル９」以降では「ブレーキランプ、ハザード」が追加され、「危険レベル１０」では「退避」が追加される。
【００８７】
このように、危険レベルが大きくなるに従って、より強力な動作を追加することで警告処理や覚醒処理の使い分けを行うことができる。
【００８８】
ここで、「注意音声出力」は、通常の音声出力と同時に注意を促すメッセージを出力する処理であり、「警告音」は、通常の音声出力を中断して警告メッセージを出力する処理である。また、「モニタ表示」は、モニタ画面上に警告メッセージを表示する処理である。
【００８９】
さらに、「ルームライト」は、車両のルームライト（車内灯）の点灯状態を変化させることで、運転者や同乗者に注意・警告する処理である。また、「シートベルト」は、シートベルトの締めつけ強度を変更することで、注意・警告する処理である。
【００９０】
「空調」は、ブロアによる送風、窓の開閉、設定温度の変更などによって運転者や同乗者に注意・警告する処理である。また、「シート」は座席を振動させることによって注意・警告する処理であり、「ステアリング」はハンドルを振動させることにより運転者に警告を行う処理である。
【００９１】
さらに、「通信」は、車載通信装置によって他の車両に対して注意・警告を行う処理である。同様に「ブレーキランプ」や「ハザード」は、周辺の他車両に対して警告を行う処理である。また、「退避」は、自車両を自動的に停止させる処理である。
【００９２】
このように、わき見や居眠りにおける警告の対象は、運転手に限られず、同乗者や、周辺の車両に対しても実行することが望ましい。特に、周辺の車両に対して「通信」、「ブレーキランプ」、「ハザード」を用いた警告を行うことで、周辺の車両が能動的に事故を回避可能となる。
【００９３】
さらに、自車両の運転手の覚醒ができない場合など、危険レベルが大きい場合には、「退避」行動によって自車両を安全な位置へ自動的に移動・停止させ、事故を防止することができる。
【００９４】
ここで、危険レベルの設定は、運転手の状態や車両の状態、さらに周囲の状況をもとに設定すればよい。たとえば、運転手の状態としては、わき見や居眠りの時間が長いほど、危険レベルを大きく設定する。また、わき見に比して居眠りの危険レベルを高く設定する。
【００９５】
車両の状態としては、走行速度が高いほど危険レベルを高く設定する。また、周囲の状況としては、周囲に他の車両や歩行者などがいる状態で危険レベルが高くなるように設定すればよい。
【００９６】
わき見や居眠りの時間に対応して危険レベルを設定する場合の処理フローの具体例を図６に示す。同図に示す処理フローでは、画像認識ＥＣＵ２０３から運転手の状態を取得したならば（ステップＳ２０１）、運転手が前を見ているか否かを判定し（ステップＳ２０２）、運転手が前を見ていれば（ステップＳ２０２，Ｙｅｓ）、処理を終了する。
【００９７】
一方、運転手が前を見ていない、すなわち運転手が正常な運転状態に無い場合（ステップＳ２０２，Ｎｏ）、警告・覚醒処理選択部３０１ａは、運転手が居眠りをしているか否かを判定する（ステップＳ２０３）。運転手が居眠りをしていないならば（ステップＳ２０３，Ｎｏ）、警告・覚醒処理選択部３０１ａは、危険レベルを「１」増加させる（ステップＳ２０４）。なお、危険レベルの初期値は「０」とする。
【００９８】
ステップＳ２０４終了後、警告・覚醒処理選択部３０１ａは、危険レベルの値に従って警告・覚醒処理を実行し（ステップＳ２０５）、再度画像処理部の出力を取得する（ステップＳ２０６）。その結果、運転手が前を向いたならば（ステップＳ２０７，Ｙｅｓ）、処理を終了し、運転手が前を向いていないならば（ステップＳ２０７，Ｎｏ）、再度ステップＳ２０３に移行する。
【００９９】
一方、運転手が居眠りをしている場合（ステップＳ２０３，Ｙｅｓ）、警告・覚醒処理選択部３０１ａは、危険レベルを「５」増加させる（ステップＳ２１１）。ステップＳ２１１終了後、警告・覚醒処理選択部３０１ａは、危険レベルの値に従って警告・覚醒処理を実行し（ステップＳ２１２）、再度画像処理部の出力を取得する（ステップＳ２１３）。その結果、運転手が目を覚ましたならば（ステップＳ２１４，Ｙｅｓ）、処理を終了する。
【０１００】
一方、運転手が目を覚ましていないならば（ステップＳ２１４，Ｎｏ）、警告・覚醒処理選択部３０１ａは、危険レベルを「１」増加させる（ステップＳ２２１）。ステップＳ２２１終了後、警告・覚醒処理選択部３０１ａは、危険レベルの値に従って警告・覚醒処理を実行し（ステップＳ２２２）、再度画像処理部の出力を取得する（ステップＳ２２３）。その結果、運転手が目を覚ました（ステップＳ２２４，Ｙｅｓ）、処理を終了し、運転手が目を覚ましていないならば（ステップＳ２２４，Ｎｏ）、再度ステップＳ２２１に移行する。
【０１０１】
このように、運転手の状態（わき見・居眠り）をもとに危険レベルを設定し、さらにわき見や居眠りの継続時間に対応して徐々に危険レベルを上昇させることで、危険レベルを適切に設定し、実行すべき動作を決定することができる。
【０１０２】
なお、図６では説明を簡明にするため、運転手の状態とわき見・居眠りの継続時間によって危険レベルを設定する場合について説明したが、走行速度などの車両状態や、周囲の状況などをさらに用いて危険レベルを設定するように構成しても良いことは言うまでもない。
【０１０３】
上述してきたように、本実施の形態２では、運転手の状態に対して危険レベルを設定し、この危険レベルによって実行する処理を決定している。また、運転手の状態のみならず、車両の状態や周辺の交通状況をもとに、危険レベルを設定するので、自車両の状態を総合的に判断し、実行すべき動作を決定することができる。
【０１０４】
さらに、運転手に対する注意・警告のみならず、同乗者や周辺の車両に対して注意・警告をおこなうことで、わき見や居眠りなどによる事故を効果的に防止することが可能となる。また、危険レベルが非常に大きい場合には、退避行動を実行して自車両を安全な位置へ自動的に移動・停止させ、事故を防止することができる。
【０１０５】
【発明の効果】
以上説明したように、請求項１の発明によれば、車両制御装置は、運転手の状態を判定し、その判定結果に基づいて運転手に対して注意もしくは覚醒を促す処理を実行するので、運転手の状況に対応して適切な対処を実行し、運転手が居眠りをしている場合には覚醒させることのできる車両制御装置が得られるという効果を奏する。
【０１０６】
また、請求項２の発明によれば車両制御装置は、運転手の状態を判定し、その判定結果に基づいて運転手に対して注意もしくは覚醒を促す処理を複数の警告手段や覚醒手段から選択して実行するので、運転手の状況に対応して適切な対処を選択し、運転手が居眠りをしている場合には覚醒させることのできる車両制御装置が得られるという効果を奏する。
【０１０７】
また、請求項３の発明によれば車両制御装置は、運転手に注意や覚醒を促す場合に、ウインドウを開放する処理をおこなうので、運転手を効果的に覚醒させることのできる車両制御装置が得られるという効果を奏する。
【０１０８】
また、請求項４の発明によれば車両制御装置は、運転手に注意や覚醒を促す場合に、送風器を制御する処理をおこなうので、運転手を効果的に覚醒させることのできる車両制御装置が得られるという効果を奏する。
【０１０９】
また、請求項５の発明によれば車両制御装置は、運転手に注意や覚醒を促す場合に、運転手のシートを振動させる処理をおこなうので、運転手を効果的に覚醒させることのできる車両制御装置が得られるという効果を奏する。
【０１１０】
また、請求項６の発明によれば車両制御装置は、運転手に注意や覚醒を促す場合に、音声を出力する処理をおこなうので、運転手を効果的に覚醒させることのできる車両制御装置が得られるという効果を奏する。
【０１１１】
また、請求項７の発明によれば車両制御装置は、運転手に注意や覚醒を促す場合に、シートベルトを制御する処理をおこなうので、運転手を効果的に覚醒させることのできる車両制御装置が得られるという効果を奏する。
【０１１２】
また、請求項８の発明によれば車両制御装置は、運転手に注意や覚醒を促す場合に、ステアリングハンドルを振動させる処理をおこなうので、運転手を効果的に覚醒させることのできる車両制御装置が得られるという効果を奏する。
【０１１３】
また、請求項９の発明によれば車両制御装置は、注意や覚醒を促す場合に、車内灯の点灯状態を制御する処理をおこなうので、運転手を効果的に覚醒させることのできる車両制御装置が得られるという効果を奏する。
【０１１４】
また、請求項１０の発明によれば車両制御装置は、注意や覚醒を促す場合に、空調の設定温度を制御する処理をおこなうので、運転手を効果的に覚醒させることのできる車両制御装置が得られるという効果を奏する。
【０１１５】
また、請求項１１の発明によれば車両制御装置は、車両の同乗者に対して注意や覚醒を促す処理をおこなうので、運転手を効果的に覚醒させるとともに、同乗者にも警告を実行可能な車両制御装置が得られるという効果を奏する。
【０１１６】
また、請求項１２の発明によれば車両制御装置は、車両の外部に対して注意や覚醒を促す処理をおこなうので、周辺の車両に警戒を呼びかけ、車両事故を効果的に防止可能な車両制御装置が得られるという効果を奏する。
【０１１７】
また、請求項１３の発明によれば車両制御装置は、車両間通信を使用して車両周辺の他の車両に対して注意もしくは警告を促すので、周辺の車両に警戒を呼びかけ、車両事故を効果的に防止可能な車両制御装置が得られるという効果を奏する。
【０１１８】
また、請求項１４の発明によれば車両制御装置は、ウインカー、ブレーキランプおよび／またはハザードを使用して車両の外部に対して注意もしくは警告を促すので、簡易な構成で周辺の車両に警戒を呼びかけ、車両事故を効果的に防止可能な車両制御装置が得られるという効果を奏する。
【０１１９】
また、請求項１５の発明によれば車両制御装置は、運転手の状態を判定し、その判定結果に基づいて運転手に対して注意もしくは覚醒を促すとともに、車両を安全に停止させる動作制御をさらに実行するので、車両事故を自律的に防止可能な車両制御装置が得られるという効果を奏する。
【図面の簡単な説明】
【図１】本発明の実施の形態１である車両制御装置の概要構成を示す概要構成図である。
【図２】図１に示したカメラによる運転手の撮影を説明する説明図である。
【図３】図１に示した警告・覚醒処理データベースの具体例を説明する説明図である。
【図４】図１に示した警告・覚醒処理選択部の処理を説明するフローチャートである。
【図５】運転手の状態に対応する危険レベルと、危険レベルによって定まる動作内容を説明する説明図である。
【図６】わき見や居眠りの時間に対応して危険レベルを設定する場合のフローチャートである。
【符号の説明】
１車両制御装置
２０運転手
１０３室内カメラ
１０３ａ撮影範囲
１１０ウインドウ
１１１シート
１１５温度センサ
１１６送風器
２０３画像認識ＥＣＵ
２０６車体制御ＥＣＵ
２１０エアコンＥＣＵ
３０１予測判断ＥＣＵ
３０１ａ警告・覚醒処理選択部
３０１ｂ記憶部
４０４音声制御ＥＣＵ
５０４スピーカ[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a vehicle control device that controls the vehicle based on the state of the driver of the vehicle, and more particularly, to a vehicle control device that can detect a driver's side effects and doze and prompt attention and arousal.
[0002]
[Prior art]
2. Description of the Related Art In recent years, a vehicle control device has been devised that acquires various types of information related to vehicle travel and prevents vehicle accidents by notifying the driver, assisting driving, and intervening in driving.
[0003]
In particular, aside driving and dozing are the direct causes of car accidents. Therefore, effectively detecting the driver's looking aside and falling asleep and giving a warning has a great effect on preventing accidents. For example, in the driver monitoring system disclosed in Patent Document 1, the driver is in a dangerous state by searching for the inclination of the driver's face by the bright spot pattern projected on the driver's face (the state where the driver is not facing forward). It is determined whether or not.
[0004]
Moreover, in the driving | running | working environment monitoring alarm apparatus disclosed by patent document 2, the content of the warning output according to whether a driver | operator's gaze direction is detected, whether the driver is looking at the obstacle is changed, and an unnecessary warning is output. I try not to put it out.
[0005]
[Patent Document 1]
Japanese Patent Laid-Open No. 10-960
[Patent Document 2]
JP 11-139229 A
[0006]
[Problems to be solved by the invention]
However, the conventional technology only detects and warns that the driver is not facing forward normally, and has not taken appropriate measures according to the driver's condition.
[0007]
For example, if the driver is looking aside, the driver can be alerted only by emitting a warning sound from a speaker. However, in a situation where voice warning is insufficient, such as when the driver is asleep or playing music from a speaker, a means that can wake the driver is required.
[0008]
However, in the prior art, warning is only performed by a uniform warning means, and it is not considered to wake up the driver. In other words, the conventional technology has a problem in that it is not possible to select an appropriate countermeasure according to the driver's condition, and there is no means for promoting the driver's awakening.
[0009]
The present invention has been made to solve the above-described problems caused by the prior art and to solve the problems. The appropriate action is selected according to the situation of the driver, and the driver is asleep. In some cases, an object is to realize a vehicle control device that can be awakened, thereby preventing an automobile accident.
[0010]
[Means for Solving the Problems]
In order to solve the above-mentioned problems and achieve the object, a vehicle control device according to the invention of claim 1 is a vehicle control device that controls the vehicle based on the state of the driver of the vehicle, and the driver And a warning / awakening processing means for urging attention or arousal based on the determination result by the state determination unit.
[0011]
According to the first aspect of the invention, the vehicle control device determines the state of the driver, and executes a process for prompting the driver to be alert or awake based on the determination result.
[0012]
According to a second aspect of the present invention, there is provided the vehicle control device according to the first aspect, wherein the warning / awakening processing means comprises a plurality of warning means and / or awakening means for urging the driver to be careful or arousal. The warning means and / or the awakening means to be used are selected based on the determination result by the state determination unit.
[0013]
According to the second aspect of the present invention, the vehicle control device determines the state of the driver, and selects processing for prompting the driver to be alert or aroused based on the determination result from a plurality of warning means and awakening means. And execute.
[0014]
According to a third aspect of the present invention, there is provided the vehicle control device according to the first or second aspect, wherein the warning / awakening processing means urges the driver to be alert or awakened by performing window opening / closing control. It is characterized by.
[0015]
According to the invention of claim 3, the vehicle control device performs the process of opening the window when the driver is warned or awakened.
[0016]
According to a fourth aspect of the present invention, in the vehicle control device according to the first, second, or third aspect of the invention, the warning and awakening processing means urges the driver to be alert or awakened by controlling the blower. It is characterized by that.
[0017]
According to the fourth aspect of the present invention, the vehicle control device performs the process of controlling the blower when the driver is cautioned or awakened.
[0018]
According to a fifth aspect of the present invention, in the vehicle control device according to the first to fourth aspects of the present invention, the warning and awakening processing means urges attention or arousal by vibrating the driver's seat. .
[0019]
According to the fifth aspect of the present invention, the vehicle control device performs a process of vibrating the driver's seat when the driver is cautioned or awakened.
[0020]
According to a sixth aspect of the present invention, in the vehicle control apparatus according to the first to fifth aspects of the present invention, the warning and awakening processing means urges the driver to pay attention or warning by outputting a sound. And
[0021]
According to the sixth aspect of the present invention, the vehicle control device performs a process of outputting a sound when prompting the driver to be alert or awake.
[0022]
According to a seventh aspect of the present invention, in the vehicle control device according to the first to sixth aspects of the present invention, the warning / awakening processing means urges the driver to pay attention or warning by controlling the state of the seat belt. It is characterized by that.
[0023]
According to the seventh aspect of the invention, the vehicle control device performs the process of controlling the seat belt when the driver is cautioned or awakened.
[0024]
The vehicle control device according to an eighth aspect of the present invention is the vehicle control apparatus according to the first to seventh aspects of the present invention, wherein the warning / awakening processing means urges the driver to pay attention or warning by vibrating a steering handle. Features.
[0025]
According to the eighth aspect of the present invention, the vehicle control device performs a process of vibrating the steering handle when the driver is warned or awakened.
[0026]
According to a ninth aspect of the present invention, there is provided the vehicle control device according to any one of the first to eighth aspects, wherein the warning / awakening processing means urges a warning or warning by controlling a lighting state of the interior lamp. .
[0027]
According to the ninth aspect of the invention, the vehicle control device performs a process of controlling the lighting state of the interior lamp when caution and arousal are promoted.
[0028]
According to a tenth aspect of the present invention, there is provided the vehicle control device according to any one of the first to ninth aspects, wherein the warning / awakening processing means urges attention or warning by controlling a set temperature of the air conditioning.
[0029]
According to the tenth aspect of the invention, the vehicle control device performs the process of controlling the set temperature of the air conditioning when prompting attention or awakening.
[0030]
The vehicle control device according to an eleventh aspect of the present invention is the vehicle control apparatus according to any of the first to tenth aspects, wherein the warning / awakening processing means urges a passenger of the vehicle to pay attention or warning.
[0031]
According to the invention of claim 11, the vehicle control device performs a process of prompting the passenger of the vehicle to be alert and awake.
[0032]
According to a twelfth aspect of the present invention, the vehicle control apparatus according to the first to eleventh aspects of the present invention is characterized in that the warning and awakening processing means prompts attention or warning to the outside of the vehicle.
[0033]
According to the twelfth aspect of the present invention, the vehicle control device performs a process of urging attention and arousal to the outside of the vehicle.
[0034]
According to a thirteenth aspect of the present invention, in the vehicle control device according to the twelfth aspect of the present invention, the warning and awakening processing means urges attention or warning to other vehicles around the vehicle using inter-vehicle communication. It is characterized by that.
[0035]
According to the thirteenth aspect of the invention, the vehicle control device uses an inter-vehicle communication to prompt attention or warning to other vehicles around the vehicle.
[0036]
Further, in the vehicle control device according to the invention of claim 14, in the invention of claim 12 or 13, the warning wake-up processing means pays attention to the outside of the vehicle using a blinker, a brake lamp and / or a hazard. Or it is characterized by prompting a warning.
[0037]
According to the fourteenth aspect of the present invention, the vehicle control device uses a turn signal, a brake lamp, and / or a hazard to urge attention or warning to the outside of the vehicle.
[0038]
The vehicle control apparatus according to a fifteenth aspect of the invention is characterized in that, in the first to fourteenth aspects of the invention, the warning and awakening processing means further performs an operation control for safely stopping the vehicle.
[0039]
According to the fifteenth aspect of the present invention, the vehicle control device further determines the state of the driver, urges the driver to be alert or awake based on the determination result, and further performs operation control to stop the vehicle safely. Execute.
[0040]
DETAILED DESCRIPTION OF THE INVENTION
Exemplary embodiments of a vehicle control apparatus according to the present invention will be described below with reference to the accompanying drawings.
[0041]
(Embodiment 1)
FIG. 1 is a schematic configuration diagram showing a schematic configuration of the vehicle control apparatus according to the first embodiment of the present invention.
[0042]
In FIG. 1, a prediction judgment ECU (Electrical Control Unit) 301 includes communication ECUs 201 and 202, an image recognition ECU 203, a pre-crash system 204, an airbag ECU 205, a vehicle body control ECU 206, a security system 207, a control locator 209, a display control ECU 403, The voice control ECU 404, the navigation system 405, and the vehicle motion control system 400 are connected.
[0043]
The communication ECU 201 is connected to the general communication network 101 using W-CDMA, CDMA2000, 802.11b, or the like, and transmits the content of communication to the prediction determination ECU 301 as object data. The communication ECU 202 is connected to a vehicle communication device 102 such as a short-range radio (DSRC) that communicates with other vehicles, road surfaces, and the like, and transmits the contents of the inter-vehicle communication to the prediction determination ECU 301 as object data. The image recognition ECU 203 is connected to the indoor camera 103, performs image recognition processing on the video in the vehicle captured by the indoor camera 103, and transmits the result to the prediction determination ECU 301 as object data.
[0044]
The pre-crash system 204 is connected to radars 104 and 105 that receive reflected radio waves from obstacles around the vehicle, detects a relative distance and speed from the obstacle based on the reflected radio waves, and transmits the detected distance to the prediction determination ECU 301. Then, the seat belt 106 is wound up based on the relative distance and speed. Here, the radar 104 is a medium / long-range radar system, and the radar 105 is a short-range radar system.
[0045]
Further, the airbag ECU 205 acquires the impact information of the own vehicle from the acceleration sensor 107 that detects acceleration and transmits it to the prediction determination ECU 301, and controls the operation of the airbag 108 based on the impact information. Here, the pre-crash system 204 and the airbag ECU 205 constitute a collision safety control system 200 that improves safety in the event of a vehicle collision. The collision safety control system 200 not only operates in cooperation with the prediction determination ECU 301 but can operate independently without being affected even if the prediction determination ECU 301 fails.
[0046]
The vehicle body ECU 206 is connected to the door microcomputer 109 and the like, and supplies the state of various devices such as lights and winkers arranged on the door and the vehicle body to the prediction determination ECU 301, and controls the window 110 and the seat 111, and doors and door locks. Control the lighting system.
[0047]
The security system 207 is connected to a key sensor 112 that detects the distance between the vehicle body and the ignition key, an approach sensor 113 that detects a person approaching the host vehicle, a glass sensor 114 that detects glass vibration, and the like, and predicts various types of information. While supplying to judgment ECU301, the security indicator 208 is controlled.
[0048]
The air conditioner ECU 210 is connected to the temperature sensor 115, supplies temperature information as object data to the prediction determination ECU 301, and controls the blower 116 based on control from the prediction determination ECU 301 or autonomously.
[0049]
The display control ECU 403 and the voice control ECU 404 are respectively connected to the prediction determination ECU 301, and based on the object data received from the prediction determination ECU, the warning / display logic determines what warning or display is to be executed and outputs manually. To do.
[0050]
The display control ECU 403 is a processing unit that controls various display devices in the vehicle, and is connected to the touch panel 501 and the monitor 502. The voice control ECU 404 is a processing unit that controls various voice output devices in the vehicle, and is connected to the switch 503, the speaker 504, and the like.
[0051]
The control locator 209 performs a process of acquiring position information from the navigation system 405 and supplying it to the prediction determination ECU 301 as object data.
[0052]
The vehicle motion control system 400 includes an engine control ECU 406, a speed change control ECU 407, a brake control ECU 408, a suspension ECU 409, and a steering ECU 410, and controls each ECU based on object data received from the prediction determination ECU 301 or autonomously. . The engine control ECU 406 is connected to the throttle opening sensor 505, and acquires the throttle state and controls the throttle valve 506. Further, the shift control ECU 407 acquires the accelerator opening 507 and controls the shift 508. The brake control ECU 408 acquires the brake switch on / off signal and the wheel speed 509 and controls the brake pressure 510. Further, the suspension control ECU acquires the suspension state by the stroke sensor 511 and controls the air pressure 512. The steering control ECU 410 acquires the state of the steering angle sensor 513 and performs a process of controlling the steering 514 so that a desired steering angle is obtained.
[0053]
The prediction judgment ECU 301 has a logic for predicting the danger of the vehicle based on various object data. As one of them, the prediction judgment ECU 301 recognizes the driver's look-ahead and doze based on the image information obtained from the image recognition ECU 203, and warns. And a function of executing a process of awakening.
[0054]
Next, the look-ahead and doze recognition, warning, and awakening by the vehicle control device 1 will be described. The indoor camera 103 is originally used to detect the entry of a suspicious person into the vehicle. In the vehicle control device 1, the indoor camera 103 is used to detect a driver's looking away or doze. Yes.
[0055]
Specifically, as shown in FIG. 2, the indoor camera 103 is disposed in the vicinity of the driver 20, and the imaging range 103 a of the indoor camera 103 can capture the head of the driver 20. The indoor camera 103 transmits the captured driver image to the image recognition ECU 203.
[0056]
The image recognition ECU 203 performs image recognition processing on the image acquired by the indoor camera 103 and recognizes the driver's line-of-sight direction, face orientation, and head position. More specifically, the driver's head image is compared with the reference image, and the driving operation information such as how much the head is tilted or how much it is turned sideways is obtained, and the object data To the prediction judgment ECU 301.
[0057]
The prediction determination ECU 301 includes a warning / awakening process selection unit 301a and a storage unit 301b. The warning awakening process selection unit 301a determines the state of the driver 20 based on the object data received from the image recognition ECU 203, and selects the content of the process to be executed from the storage unit 301b.
[0058]
In the determination of the state of the driver 20, for example, when the driver has not looked forward from the gaze direction or the face direction for a certain period of time or more, it is determined that the driver is aside or asleep and is not in a normal driving state. To do. Further, it is determined that the driver is not in a normal driving state even when the driver's head is not in a normal position for a certain time or longer.
[0059]
Furthermore, the determination of whether the driver is looking aside or asleep is based on gaze detection, periodicity in the driver's head movement, and whether the driver is driving Can be determined.
[0060]
The storage unit 301b stores a warning / wake processing database therein. FIG. 3 is an explanatory diagram illustrating a specific example of a warning / wakefulness processing database. As shown in FIG. 3, the warning / wakefulness processing database sets an operation to be executed for each of the case where the driver's state is “armpit” and the case where the driver is “sleeping”.
[0061]
More specifically, the operation to be executed when the driver's state is “aside look” is “warning sound”. However, the operations executed when the driver's state is “sleeping” are “warning sound”, “air blowing”, “seat vibration”, and “window opening”.
[0062]
In other words, if the driver is looking aside, it is possible to give a sufficient warning by voice warning, and the driver can expect to look forward. However, if the driver is asleep, there is a possibility that the driver cannot be awakened only by voice warning. In particular, when music or the like is being output from a speaker, there is a high possibility that the driver will not wake up even if an audio warning is given.
[0063]
Thus, when the driver is asleep, it is effective to use not only a warning by voice but also other means. For example, blowing air to the driver using an air conditioning facility provided in the vehicle, or opening the window on the driver's seat and exposing the driver to outside air is particularly effective as a method for waking up. Further, it is possible to effectively wake up the driver by transmitting the vibration to the driver by the vibration means installed on the driver's seat.
[0064]
The warning / awakening process selection unit 301a selects a process to be executed with reference to the warning / awakening process database, and sets an object in a processing unit that executes the selected process, such as the warning / display logic in the in-vehicle server 401 or the vehicle body control ECU 206. Send as data. The process to be selected may be any one process corresponding to the driver's condition, or a combination of a plurality of processes. For example, a warning sound may be displayed, the seat may be vibrated, and a window may be opened.
[0065]
The warning / display logic in the in-vehicle server 401 outputs a warning sound from the speaker 504 in accordance with the object data received from the warning / wake-up process selection unit 301a. The speaker 504 is a means for outputting sound inside the vehicle. The speaker 504 may be provided exclusively, but is preferably shared with other means such as an in-vehicle audio device.
[0066]
The air conditioner ECU 210 operates the blower 116 in accordance with the object data received from the warning / awakening process selection unit 301a. The blower 116 urges the driver to awaken by blowing air based on an instruction from the air conditioner ECU 210. The air conditioner ECU 210 and the blower 116 are originally processing units used for temperature adjustment in the vehicle, but the vehicle control device 1 is used as an awakening means for awakening the driver.
[0067]
The vehicle body control ECU 206 operates the window 110 and the seat 111 in accordance with the object data received from the warning / awakening process selection unit 301a. A window 110 provided in the vehicle is opened and closed under the control of the vehicle body control ECU 206. The vehicle control device 1 is used as an awakening means for awakening the driver by performing control for opening the driver side window. Further, the seat 111 vibrates under the control of the vehicle body control ECU 206. The vibration of the seat is originally provided for massage or the like, but the vehicle control device 1 is used as an awakening means for awakening the driver by vibrating the driver's seat.
[0068]
Next, the specific processing content of the warning / wakefulness selection unit 301a will be described. FIG. 4 is a flowchart for explaining the processing of the warning / wakeup processing selection unit 301a. As shown in the figure, when the warning / wake processing selection unit 301a acquires the driver's state from the image recognition ECU 203 (step S101), first, it is determined whether or not the driver is looking forward (step S101). Step S102).
[0069]
When the driver is not looking forward, that is, when the driver is not in a normal driving state (No at Step S102), the warning / wake processing selection unit 301a determines whether or not the driver is looking aside ( Step S103). If the driver is looking aside (step S103, Yes), the warning / wake processing selection unit 301a refers to the warning / wake processing database to determine the output of the warning sound and outputs the warning sound from the speaker 504. (Step S104).
[0070]
After the end of step S104, the warning / wake processing selection unit 301a determines whether or not the driver has looked forward (step S105). If the driver is not looking forward (No in step S105), that is, driving If the hand state does not return to normal, a warning sound is output again (step S104). Here, the type of warning sound is not limited to one type, and a plurality of warning sounds may be selected or the volume of the warning sound may be gradually increased.
[0071]
On the other hand, when it cannot be determined that the driver is looking aside (No at Step S103), the warning / wake processing selection unit 301a refers to the warning / wake processing database and selects the wake-up means (Step S106). The awakening means is executed (step S107).
[0072]
If the driver is not awake as a result of the execution of the awakening means in step S107 (No in step S108), the warning / wakefulness processing unit 301a changes the awakening means to be used (step S109) and again the awakening means. Is executed (step S107).
[0073]
When the driver is normally looking forward (step S102, Yes), when the driver looks forward with a warning sound (step S105, Yes), or when the driver is awakened by awakening means (step) S108, Yes), the warning / wakefulness processing unit 301a ends the process.
[0074]
In the flowchart shown in FIG. 4, if the driver determines that he is looking aside, he / she gives a warning by voice. If he / she cannot determine that he / she is looking aside, he / she is not in a normal driving state but is not aside. If the determination is not possible, the awakening means is executed as a “sleeping state”.
[0075]
This is because even if it is determined that the driver's side aside is “sleeping”, the purpose of calling attention to the driver can be achieved by various awakening means (air blowing, seat vibration, window opening).
[0076]
That is, the means for awakening the driver who is in a dozing state can also function as a warning for the driver who is looking aside. However, if a single means is used frequently, the driver gets used to that means and the effect of warning or awakening is reduced.
[0077]
Therefore, as shown in the flowchart of FIG. 4, when it is clearly determined to be “aside look”, only a warning by voice is used, and the frequency of use of the awakening means is suppressed, and a doze actually occurs. Can effectively wake you up.
[0078]
In addition, it is equipped with a plurality of means such as “speech”, “blower”, “seat vibration”, “open window” as awakening means, and it is possible to select the means to be used at random to prevent the driver from getting used to it. be able to.
[0079]
As described above, according to the first embodiment, the driver's side effects and doze are detected based on the driver's image captured by the indoor camera 103, and the processing corresponding to the driver's state is performed as a warning / wakefulness processing database. By reading and executing from, the driver can be alerted and aroused, and a car accident can be prevented.
[0080]
Furthermore, in addition to the sound output from the speaker 504, driving from the blower 116, vibration of the driver's seat by the seat vibration control unit 111, opening of the window by the window control unit 110, and the like, driving in a dozing state The hand can be effectively awakened.
[0081]
The blower 116 and the window control unit 112 can use functions installed in existing in-vehicle devices.
[0082]
(Embodiment 2)
Next, a second embodiment of the present invention will be described. In the first embodiment described above, it is determined whether the driver's state is “aside” or “sleeping”, and the process to be executed is determined according to the state of the driver. However, the use of the present invention is not limited to this.
[0083]
For example, a danger level may be set for the driver's condition, and processing to be executed may be determined based on the danger level. Further, the warning and awakening means is not limited to the “warning sound”, “fan”, “seat vibration”, and “window release” shown in the first embodiment, and any other means can be used. .
[0084]
FIG. 5 is an explanatory diagram for explaining the danger level corresponding to the driver's condition and the operation content determined by the danger level. In FIG. 5, the danger levels are classified into 10 levels “1” to “10”, and the operation content to be executed at each danger level is defined.
[0085]
Specifically, at “danger level 1”, the operation content is “caution voice output”. However, at “danger level 2”, the operation content is “warning sound output”. Further, at “danger level 3”, the operation content is “warning sound, monitor display”. Furthermore, the “danger level 4” is “warning sound, monitor display, room light”.
[0086]
In addition, “seat belt” is added after “danger level 5”, and “air conditioning” is added after “danger level 6”. Further, “seat” and “steering” are added after “danger level 7”, and “communication” is added after “danger level 8”. In addition, “brake lamp and hazard” are added after “danger level 9”, and “evacuation” is added for “danger level 10”.
[0087]
Thus, the warning process and the awakening process can be selectively used by adding more powerful actions as the danger level increases.
[0088]
Here, “attention voice output” is a process for outputting a message for calling attention at the same time as normal voice output, and “warning sound” is a process for outputting a warning message by interrupting normal voice output. “Monitor display” is a process for displaying a warning message on the monitor screen.
[0089]
Furthermore, the “room light” is a process for warning / warning the driver and passengers by changing the lighting state of the vehicle room light (interior light). The “seat belt” is a process for warning / warning by changing the tightening strength of the seat belt.
[0090]
“Air conditioning” is a process of warning / warning the driver and passengers by blowing air from the blower, opening / closing windows, changing the set temperature, and the like. The “seat” is a process for warning / warning by vibrating the seat, and the “steering” is a process for warning the driver by vibrating the steering wheel.
[0091]
Furthermore, “communication” is a process of giving a warning / warning to another vehicle by the in-vehicle communication device. Similarly, “brake lamp” and “hazard” are processes for warning other vehicles in the vicinity. In addition, “evacuation” is a process of automatically stopping the host vehicle.
[0092]
Thus, it is desirable that the warning target in a sidewalk or doze is not limited to the driver, but is also executed for passengers and surrounding vehicles. In particular, the surrounding vehicles can actively avoid accidents by giving warnings to surrounding vehicles using “communication”, “brake lamp”, and “hazard”.
[0093]
Furthermore, when the danger level is high, such as when the driver of the own vehicle cannot be awakened, the “retreat” action can automatically move and stop the own vehicle to a safe position, thereby preventing an accident.
[0094]
Here, the danger level may be set based on the state of the driver, the state of the vehicle, and the surrounding situation. For example, as the state of the driver, the danger level is set to be larger as the time of side-viewing or snoozing is longer. Also, the level of danger of falling asleep is set higher than that of a sidewalk.
[0095]
As the state of the vehicle, the higher the traveling speed, the higher the danger level. Moreover, what is necessary is just to set it as a surrounding condition so that a danger level may become high in the state where other vehicles, a pedestrian, etc. exist around.
[0096]
FIG. 6 shows a specific example of a processing flow in the case where the danger level is set corresponding to the sidewalk or dozing time. In the processing flow shown in the figure, if the driver state is acquired from the image recognition ECU 203 (step S201), it is determined whether or not the driver is looking forward (step S202), and the driver looks forward. If so (step S202, Yes), the process is terminated.
[0097]
On the other hand, when the driver is not looking forward, that is, when the driver is not in a normal driving state (No in step S202), the warning / wake processing selection unit 301a determines whether or not the driver is asleep. (Step S203). If the driver does not fall asleep (No at Step S203), the warning / wake process selection unit 301a increases the danger level by “1” (Step S204). The initial value of the danger level is “0”.
[0098]
After step S204 is completed, the warning / wake process selection unit 301a executes the warning / wake process according to the value of the danger level (step S205), and obtains the output of the image processing unit again (step S206). As a result, if the driver is looking forward (Yes at Step S207), the process is terminated. If the driver is not looking forward (No at Step S207), the process proceeds to Step S203 again.
[0099]
On the other hand, when the driver is asleep (step S203, Yes), the warning / wakefulness selection unit 301a increases the danger level by “5” (step S211). After step S211, the warning / wake processing selection unit 301a executes the warning / wake processing according to the value of the danger level (step S212), and obtains the output of the image processing unit again (step S213). As a result, if the driver is awakened (step S214, Yes), the process is terminated.
[0100]
On the other hand, if the driver is not awake (No in step S214), the warning / wake-up process selection unit 301a increases the danger level by “1” (step S221). After step S221 ends, the warning / wake processing selection unit 301a executes the warning / wake processing according to the value of the danger level (step S222), and obtains the output of the image processing unit again (step S223). As a result, when the driver wakes up (step S224, Yes), the process is terminated. If the driver does not wake up (step S224, No), the process proceeds to step S221 again.
[0101]
In this way, the danger level is set based on the driver's condition (side by side / sleeping), and the danger level is gradually increased in accordance with the duration of the sidewalk and falling asleep. The operation to be performed can be determined.
[0102]
In FIG. 6, for the sake of simplicity, the case where the danger level is set according to the driver's condition and the duration of the sidewalk / sleeping has been described, but the vehicle state such as the traveling speed and the surrounding situation are further used. Needless to say, it may be configured to set the danger level.
[0103]
As described above, in the second embodiment, a danger level is set for the driver's condition, and processing to be executed is determined based on this danger level. Also, since the danger level is set based not only on the driver's condition but also on the condition of the vehicle and surrounding traffic conditions, it is possible to comprehensively determine the condition of the host vehicle and determine the action to be performed. it can.
[0104]
Furthermore, not only the driver's attention / warning, but also the warning / warning for passengers and nearby vehicles can effectively prevent accidents due to sidewalks and snoozing. In addition, when the danger level is very large, an evacuation action is executed to automatically move and stop the own vehicle to a safe position, thereby preventing an accident.
[0105]
【The invention's effect】
As described above, according to the invention of claim 1, the vehicle control device determines the state of the driver, and executes a process for prompting the driver to be alert or awake based on the determination result. There is an effect that a vehicle control device can be obtained that performs appropriate measures in response to the driver's situation and can be awakened when the driver is asleep.
[0106]
Further, according to the invention of claim 2, the vehicle control device determines the state of the driver, and selects from the plurality of warning means and awakening means a process for prompting the driver to be alert or awakened based on the determination result Therefore, it is possible to obtain a vehicle control device that can select an appropriate countermeasure corresponding to the driver's situation and can be awakened when the driver is asleep.
[0107]
According to the invention of claim 3, when the vehicle control device prompts the driver to be alert or awaken, the vehicle control device performs a process of opening the window. Therefore, the vehicle control device capable of effectively awakening the driver is provided. The effect is obtained.
[0108]
According to the invention of claim 4, the vehicle control device performs the process of controlling the blower when urging the driver to pay attention and awakening, so that the vehicle control device can effectively awaken the driver. The effect that is obtained.
[0109]
According to the invention of claim 5, the vehicle control device performs a process of vibrating the driver's seat when the driver is cautioned or awakened, so that the vehicle can effectively awaken the driver. There is an effect that a control device can be obtained.
[0110]
According to the invention of claim 6, the vehicle control device performs a process of outputting a sound when the driver is urged to be alert or awaken. Therefore, the vehicle control device capable of effectively awakening the driver is provided. The effect is obtained.
[0111]
According to the seventh aspect of the present invention, the vehicle control device performs the process of controlling the seat belt when urging the driver to pay attention and awakening. Therefore, the vehicle control device can effectively awaken the driver. The effect that is obtained.
[0112]
According to the invention of claim 8, the vehicle control device performs a process of vibrating the steering handle when urging the driver to pay attention and awakening. Therefore, the vehicle control device can effectively awaken the driver. The effect that is obtained.
[0113]
According to the ninth aspect of the present invention, the vehicle control device performs the process of controlling the lighting state of the interior light when urging attention and awakening, so that the vehicle control device can effectively awaken the driver. The effect that is obtained.
[0114]
According to the invention of claim 10, the vehicle control device performs a process of controlling the set temperature of the air conditioning when urging attention and awakening. Therefore, the vehicle control device capable of effectively awakening the driver is provided. The effect is obtained.
[0115]
According to the eleventh aspect of the invention, the vehicle control device performs a process of prompting the passenger of the vehicle to be alert and awaken, so that the driver can be effectively awakened and a warning can be issued to the passenger. An advantageous effect is obtained that a simple vehicle control device can be obtained.
[0116]
According to the twelfth aspect of the present invention, the vehicle control device performs a process for urging attention and awakening to the outside of the vehicle. There exists an effect that an apparatus is obtained.
[0117]
According to the invention of claim 13, the vehicle control device uses inter-vehicle communication to call attention or warning to other vehicles in the vicinity of the vehicle. The vehicle control device that can be automatically prevented is obtained.
[0118]
According to the fourteenth aspect of the present invention, the vehicle control device uses a blinker, a brake lamp, and / or a hazard to alert the outside of the vehicle to be alerted or warned. The vehicle control device capable of effectively preventing vehicle accidents is obtained.
[0119]
According to a fifteenth aspect of the present invention, the vehicle control device determines the state of the driver, urges the driver to be alert or aroused based on the determination result, and performs operation control to stop the vehicle safely. Furthermore, since it performs, there exists an effect that the vehicle control apparatus which can prevent a vehicle accident autonomously is obtained.
[Brief description of the drawings]
FIG. 1 is a schematic configuration diagram showing a schematic configuration of a vehicle control device according to a first embodiment of the present invention.
FIG. 2 is an explanatory diagram for explaining shooting of a driver by the camera shown in FIG. 1;
FIG. 3 is an explanatory diagram illustrating a specific example of a warning / wake processing database shown in FIG. 1;
FIG. 4 is a flowchart for explaining processing of a warning / wake processing selection unit shown in FIG. 1;
FIG. 5 is an explanatory diagram illustrating a danger level corresponding to a driver's condition and an operation content determined by the danger level.
FIG. 6 is a flowchart in a case where a danger level is set corresponding to a sidewalk or a dozing time.
[Explanation of symbols]
1 Vehicle control device
20 Driver
103 Indoor camera
103a Shooting range
110 windows
111 sheets
115 Temperature sensor
116 Blower
203 Image recognition ECU
206 Car body control ECU
210 Air conditioner ECU
301 Predictive judgment ECU
301a Warning / wake processing selection part
301b storage unit
404 Voice control ECU
504 Speaker

Claims

A vehicle control device that controls the vehicle based on the state of the driver of the vehicle,
State determining means for determining the state of the driver;
Based on the determination result by the state determination unit, warning awakening processing means for urging attention or awakening,
A vehicle control device comprising:

The warning and awakening processing means includes a plurality of warning means and / or awakening means for urging the driver to caution or awaken, and uses the warning means and / or awakening means used based on the determination result by the state determination unit. The vehicle control device according to claim 1, wherein the vehicle control device is selected.

3. The vehicle control device according to claim 1, wherein the warning and awakening processing means urges the driver to be alert or awaken by performing window opening / closing control. 4.

4. The vehicle control device according to claim 1, wherein the warning and awakening processing means urges the driver to pay attention or awakening by controlling a blower. 5.

The vehicle control device according to any one of claims 1 to 4, wherein the warning and awakening processing means prompts attention or arousal by vibrating the driver's seat.

The vehicle control device according to any one of claims 1 to 5, wherein the warning and awakening processing means prompts a warning or warning to the driver by outputting a sound.

The vehicle control device according to any one of claims 1 to 6, wherein the warning and awakening processing means urges the driver to pay attention or warning by controlling a state of a seat belt.

The vehicle control device according to any one of claims 1 to 7, wherein the warning and awakening processing means urges the driver to pay attention or warning by vibrating a steering wheel.

The vehicle control device according to any one of claims 1 to 8, wherein the warning and awakening processing means urges attention or warning by controlling a lighting state of an interior lamp.

The vehicle control device according to any one of claims 1 to 9, wherein the warning and awakening processing means urges attention or warning by controlling a set temperature of air conditioning.

The vehicle control device according to any one of claims 1 to 10, wherein the warning and awakening processing means prompts a passenger or a passenger of the vehicle to pay attention or warning.

The vehicle control device according to any one of claims 1 to 11, wherein the warning and awakening processing means prompts attention or warning to the outside of the vehicle.

13. The vehicle control device according to claim 12, wherein the warning / awakening processing means urges attention or warning to other vehicles around the vehicle using inter-vehicle communication.

14. The vehicle control device according to claim 12 or 13, wherein the warning and awakening processing means urges attention or warning to the outside of the vehicle using a blinker, a brake lamp, and / or a hazard.

The vehicle control device according to any one of claims 1 to 14, wherein the warning and awakening processing unit further performs operation control for safely stopping the vehicle.