[go: up one dir, main page]

JP4052081B2 - 視線方向検出装置 - Google Patents

視線方向検出装置 Download PDF

Info

Publication number
JP4052081B2
JP4052081B2 JP2002297866A JP2002297866A JP4052081B2 JP 4052081 B2 JP4052081 B2 JP 4052081B2 JP 2002297866 A JP2002297866 A JP 2002297866A JP 2002297866 A JP2002297866 A JP 2002297866A JP 4052081 B2 JP4052081 B2 JP 4052081B2
Authority
JP
Japan
Prior art keywords
initial setting
vehicle
setting accuracy
inter
detected
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002297866A
Other languages
English (en)
Other versions
JP2004130940A (ja
Inventor
欣也 岩本
真知子 平松
雅之 金田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2002297866A priority Critical patent/JP4052081B2/ja
Publication of JP2004130940A publication Critical patent/JP2004130940A/ja
Application granted granted Critical
Publication of JP4052081B2 publication Critical patent/JP4052081B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Auxiliary Drives, Propulsion Controls, And Safety Devices (AREA)
  • Traffic Control Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車両の運転者の視線方向を検出する視線方向検出装置に関する。
【0002】
【従来の技術】
車両の運転者の視線方向を検出する技術として、従来より、特開平8−178712公報(以下、特許文献1という)に記載された「漫然運転検出装置」が知られている。該特許文献1では、視線検出センサで検出された視線データを、所定の周波数(例えば30Hz)でサンプリングし、視線座標をメモリに格納する。そして、サンプリング数が所定数(例えば10,000)を超えた場合には、その10,000個のサンプリングデータの中から最も度数の多い座標を視線中心座標として認識する。
【0003】
【特許文献1】
特開平8−178712号公報
【0004】
【発明が解決しようとする課題】
上述した特許文献1に開示された技術では、状況を特定せずサンプリングするデータ数を決めているため、どんな状況下でもイニシャル位置が確実に検出できるようなサンプル数を指定しておかなければならない。特許文献1に示されている例であれば、サンプリングレートが30Hzのビデオレートの時でも10,000個のサンプルを収集するのに5分以上かかることになる。
【0005】
【課題を解決するための手段】
上記目的を達成するため、本発明は、運転者の眼のイニシャル位置を求め、当該イニシャル位置を基準として前記運転者の視線方向を検出する視線方向検出装置において、前記運転者の、眼の位置を検出する眼の位置検出手段と、前記眼の位置検出手段によって検出された運転者の眼の位置データに基づいて、運転者が正面を向いているときの眼の位置をイニシャル位置として設定するイニシャル設定手段と、車両の走行速度を検出する車速検出手段と、当該車両と、その前方を走行する先行車との間の車間距離を検出する車間距離検出手段と、前記車速検出手段にて検出された車速データと前記車間距離検出手段にて検出された車間距離データとに基づいて、前記先行車との車間時間を演算する車間時間算出手段と、前記車間時間算出手段にて得られた車間時間に基づいて、前記イニシャル位置を決定するための精度をイニシャル設定精度として設定するイニシャル設定精度設定手段と、を有し、前記イニシャル設定手段は、前記イニシャル設定精度設定手段により設定されたイニシャル設定精度で、前記運転者の眼のイニシャル位置を求めることを特徴とする。
【0006】
【発明の効果】
本発明に係る視線方向検出装置では、運転者の視線方向を検出する際のイニシャル位置の設定精度(イニシャル設定精度)を、車間時間に応じて変更するようにしている。即ち、車速検出手段にて検出された車両の走行速度(V)と、車間距離検出手段にて検出された車間距離(L)に基づいて、車間時間(L/V)を算出し、この車間時間に基づき、イニシャル設定精度を設定している。従って、高精度に、且つ短時間で、運転者の眼のイニシャル位置を求めることができるようになる。
【0007】
【発明の実施の形態】
以下、本発明の実施形態を図面に基づいて説明する。
【0008】
<第1の実施形態>
先行車との間の車間時間L/V(車間距離を走行速度で除した値)に基づいて検出測定回数に関するイニシャル設定精度imaxを設定するようにした第1の実施の形態を説明する。
【0009】
[システムブロック図]
図1は、本発明に係る視線方向検出装置の、第1の実施形態の構成を示すブロック図である。同図に示す視線方向検出装置は、顔画像撮像手段CL1と、眼の位置検出手段CL2と、イニシャル設定手段CL3と、車速検出手段CL4と、車間距離検出手段CL5と、車間時間算出手段CL6と、イニシャル設定精度設定手段CL7と、を備えている。
【0010】
撮像手段CL1は、車両の乗員の顔を撮像して、当該乗員の顔画像データを出力する。眼の位置検出手段CL2は、顔画像撮像手段CL1から出力された顔画像データを処理して、乗員の眼の位置を特定する。
【0011】
イニシャル設定手段CL3は、眼の位置検出手段CL2で検出された眼の位置に基づき、乗員が車両の正面を見ているときの、眼の代表位置を設定する。車速検出手段CL4は、自車の走行速度Vを検出する。
【0012】
車間距離検出手段CL5は、先行車の有無を検出し、更に、先行車が存在する場合には、この先行車との間の車間距離Lを検出する。
【0013】
車間時間算出手段CL6は、車速検出手段CL4より検出された自車の走行速度Vと、車間距離検出手段CL5より検出された車間距離Lに基づいて、先行車と自車との車間時間(L/V)を算出する。ここで、車頭時間はある地点を前車が通過し始めてから後車が通過し始めるまでの時間をいう。また、類似のものとして車間時間があり、当該時間はある地点を前車が通過完了した後、後車が通過を完了するまでの時間をいう。このため、車頭時間には前車の車長分が含まれることになり、同じ車頭時間でも前車の全長が長ければ車間時間は短くなる。
【0014】
イニシャル設定精度設定手段CL7は、イニシャル設定手段CL3で設定するイニシャルの設定精度を、車間時間算出手段CL6より算出された車間時間に基づいて設定する。
【0015】
[機器の配置]
図2は、第1の実施形態に係る視線方向検出装置の、各機器の配置図である。
【0016】
顔画像撮像手段CL1として、TVカメラ1が自動車のインストルメント上で運転者を略正面で撮像できる位置に設置され、運転者の顔部分を撮影する。
【0017】
TVカメラ1の入力画像は、本実施形態では、例えば横方向(X)640画素、縦方向(Y)480画素からなる。TVカメラ1で撮像された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ2に画像データとして入力される。
【0018】
マイクロコンピュータ2には、眼の位置検出手段CL2と、イニシャル設定手段CL3と、車間時間算出手段CL6と、イニシャル設定精度設定手段CL7がプログラミングされている。
【0019】
車速検出手段CL4として、インストパネル上の速度メータと連動した車速センサー3が設置されている。
【0020】
車間距離検出手段CL5として、レーザレーダ4が車両先頭部に備え付けられている。
【0021】
[システム全体の処理]
次に、システムの処理状況について説明する。
【0022】
図3は、システムの全体の処理の流れを示すフローチャートである。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0023】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車が見つかると、先行車との車間距離Lを検知する。
【0024】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lとに基づいて、車間時間L/Vを算出する。
【0025】
イニシャル設定精度imax読込処理S04では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度imaxのテーブル(図4参照、詳細後述)から、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度imaxを読み込む。
【0026】
S05では、変数iを0に初期化する。眼の位置検出処理S06では、TVカメラ1で顔画像を撮像され、マイクロコンピュータ2に入力された画像データを画像処理することによって、画像上の眼の位置を特定する。
【0027】
S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。
【0028】
S09では、変数iがイニシャル設定精度imaxに達したか否かを判断する。変数iがイニシャル設定精度imaxに達した場合は(S09でYES)、イニシャル位置算出処理S10へ処理を進める。他方、変数iがイニシャル設定精度imaxに達していない場合は(S09でNO)、眼の位置検出処理S06へ処理を戻す。
【0029】
イニシャル位置算出処理S10では、データ配列EP(i)の総和をイニシャル設定精度imaxで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。
【0030】
もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけ、イニシャル設定精度imaxを減じた値で平均位置の算出を行う。
【0031】
[イニシャル設定精度imaxのテーブル]
図4は、車間時間L/Vに対するイニシャル設定精度imaxのマップを示す。なお、実際にはこのマップは数値化され、データテーブルとしてマイクロコンピュータ2に記憶される。
【0032】
発明者らによる幹線道路走行時の脇見運転状況の計測結果によると、通常の運転中に脇見状態が発生するのは、車間時間L/Vが長すぎず、短すぎず、ある程度の車間時間の範囲内で発生する確率が高くなることが確認されている。これは、車間時間が短いときは前方の先行車の監視に努め、車間時間が長いときは先行車以外の前方の障害物の探索を行っているためと考えられる。
【0033】
図5は、脇見の発生確率の高い時と脇見の発生確率の小さい時の、片側の眼の位置(x方向)の度数分布を示したものである。脇見の発生確率の高い時も、脇見の発生確率の小さい時も、ほぼ同じ場所を頂点とした山型の分布となる。脇見の発生確率の高い時も、脇見の発生確率の小さい時も、運転者が正面を見ている時の度数が一番多くなり、この頂点の部分が運転者が正面を見ている時の眼の位置となる。
【0034】
しかし、脇見の発生確率の高い時は、頂点が低くすそ野が広い分布となり、脇見の発生確率の小さい時は、頂上が高くすそ野の狭い分布となる。このことから、脇見の発生確率の小さい時は、少ないサンプル数でも確からしい代表位置(平均位置、最頻位置、中央位置等の統計値が使える)を求めることができるが、脇見の発生確率の高い時は、サンプル数を多くしなければ確からしい代表位置を求めることはできない。
【0035】
よって、イニシャル設定精度imaxが大きくなると必要となるイニシャル位置を求めるために必要となるサンプル数が多くなり、処理時間が大きくなり、イニシャル設定精度imaxが小さくなればイニシャル位置を求めるために必要となるサンプル数が少なくてすみ、処理時間は短くなる。
【0036】
図4に示したテーブルは、発明者らによる上述した車間時間と脇見の発生確率と眼の位置の関係に基づいて実験的に設定したものである。イニシャル設定精度imaxは、同図(a)に示すように、車間時間L/Vに対して連続的に設定してもよいし、同図(b)に示すように、車間時間L/Vに対してステップ状に設定してもよい。或いは、同図(c)に示すように、実験結果に沿って設定してもよい。
【0037】
なお、図4に示すテーブルでは、所定の車間時間においてイニシャル設定精度imaxが最大値imaxpとなる設定例を示すが、所定の車間時間範囲において、イニシャル設定精度imaxが最大値imaxpとなるように設定してもよい。
【0038】
いずれのテーブルでも、所定の車間時間、或いは所定の車間時間範囲において、イニシャル設定精度imaxが最大値imaxpとなるように設定しているので、所定の車間時間、或いは所定の車間時間範囲を境界に、車間時間が短くなるほど、或いは車間時間が長くなるほど、イニシャル設定精度imaxを小さくする。
【0039】
[眼の位置特定処理]
眼の位置特定処理S06を、図6に示すフローチャートを用いて説明する。まず、図6のS061では、顔画像の撮像処理S061が実行され、TVカメラ1で検出対象者の顔画像を撮像し、マイクロコンピュータ2に画像データとして入力される。
【0040】
S062では、顔画像の撮像処理S061で撮像された画像から、眼の候補の位置の特定の処理が実行される。S063では、眼判定処理を行う。
【0041】
S064では、S061で眼の候補の位置の特定の処理で検出した眼の候補点すべてを判定したかどうかを判定する。眼の候補点すべてを判定した場合(S064でYES)は、図3のS07に処理が移る。眼の候補点すべてを判定し終わっていない場合(S064でNO)は、S063眼判定処理に戻る。
【0042】
[眼の候補の位置の特定の処理]
眼の候補の位置の特定の処理S062の流れを、図7に示すフローチャート、及び図8〜図12を用いて説明する。
【0043】
まず、図7のステップS0621では、顔画像の撮像処理S061で撮像し、マイクロコンピュータ2に入力された画像データ全体を全体画像Gとして画像メモリに保存する。
【0044】
次に、ステップS0622では、縦方向に1ライン終了後に、一つ隣のラインの処理に移して行き、縦方向の全ラインでのポイント抽出が終了したか否かを判断する。ステップS0622で、全ラインにおいてポイント抽出が行われていないと判断された場合は、ステップS0623に移行する。
【0045】
ステップS0623では、縦方向(Y軸方向)の1ラインの濃度値の相加平均演算を行う。この処理は、画像データ撮影時の濃度値の変化の小さなバラツキを無くすことを目的としており、濃度値の大局的な変化を捉えるためである。
【0046】
ステップS0624では、ステップS0623の演算結果である相加平均値における微分演算を行う。ステップS0625では、ステップS0624の演算結果である微分値によるポイント抽出を行う。この処理が1ライン終了した後、ステップS0626で、次のラインの処理に切り替えて行く。
【0047】
前述のステップS0622で、全ラインのポイント抽出が終了したと判断されると、ステップS0627へ移行し、隣合う各ラインの抽出ポイントのY座標値を比較し、Y座標値が所定値以内の場合、連続データとして、▲1▼連続データのグループ番号、▲2▼連続開始ライン番号、▲3▼連続データ数、▲4▼連続データを構成する各抽出ポイントの縦方向位置の平均値(その連続データの代表上下位置)、▲5▼連続開始ラインと終了ラインの横方向位置の平均値(その連続データの代表左右位置)をメモリする。
【0048】
ここでの検出対象は眼としているため、その特徴量は横に比較的長く続くデータであるといえるので、横方向に所定値以上続くことを条件に、連続データを選択することができる。
【0049】
このようにして選択した顔の特徴量を連続データGとして表したものを、図8に示す。なお、連続データGの抽出方法をフローチャートの流れのみで簡単に説明したが、処理状態の詳細については、「特開平10−40361号公報」、及び「特開平10−143669号公報」等にも記載されている。
【0050】
連続データGがいわば眼の候補となり、こお連続データGの代表座標値Cが眼の候補点の位置となる。
【0051】
次に、ステップS0628において、図8に示すような各連続データGの代表座標値Cを基準に各連続データGを含む存在領域EAを設定する。この存在領域EAは、次のようにして決定する。
【0052】
(存在領域EAの大きさの決め方)
存在領域EAの大きさは、図9〜図12のようにして決めている。図9は、存在領域EAの大きさを示し、図10,図11は数人の眼の大きさを調べた横、縦の長さの統計データを示している。ここで、存在領域EAの大きさは、ノイズ(顔の皺や明暗などを抽出してしまう)の低減や処理速度を落とさないためにも、可能な限り小さい領域が良い。
【0053】
現在の居眠り検出などの処理で使っている大きさは数人の眼の大きさを調べ、それに余裕分(例えば×1.5倍)を加味した大きさにしている。数人の眼の大きさを統計的に求める方法としては、図10,図11のように、眼の縦横寸法のデータを集め、その分布の例えば95%をカバーする寸法に余裕分をみて決定する方法が考えられる。そして、この95%をカバーする寸法、即ち、横寸法xa、縦寸法yaに、図9のように余裕分(×1.5)をみて決定している。なお、画像処理により眼の幅や高さを推定し、縦横の大きさに余裕分を加える方法も考えられる。
【0054】
(存在領域EAの位置の決め方)
図12は、例えば右眼の存在領域EAを位置決めする方法について示している。眼の座標値(x1,y1)を基準に、距離x2,y2の位置に存在領域EAを描く基準点Pを決め、P点から予め決めておいた存在領域EAの寸法x3,y3を描画し、位置を決める。x2及びy2はx3,y3の1/2で予め存在領域EAが眼の中心にくるような長さとしている。存在領域EAを画像全体で見つかった連続データGすべてについて設定する。
【0055】
[眼判定処理]
図6に示した眼判定処理S063を、図13に示すフローチャート、及び図14〜図16を用いて説明する。
【0056】
まず、図13のステップS06301では、眼の候補点の存在領域EAの画像データを微少画像IGとして画像メモリに保存する。全体画像Gと保存される微小画像IGの状態を、図14に示す。
【0057】
更に、顔画像の撮像処理S061(図6)で撮像しマイクロコンピュータ2に入力された画像データ全体を、全体画像Gとして画像メモリに保存する。
【0058】
次に、ステップS06302では、全体画像Gの代表座標値Cに相当する微小画像IGの、代表座標値ICを基準とした範囲ARの濃度情報をもとに、二値化閾値を設定する。この範囲ARは、存在領域EAより小さくし、二値化閾値を正確に設定できるようにしている。
【0059】
各範囲ARでの二値化閾値の算出方法の一例を、図15を用いて説明する。範囲ARにおいて、縦方向に数ラインの濃度値の読み出しを行う。図15では、この縦方向へのラインが4本あることを示している。この各ラインにおいて、最も高い(明るい)濃度値と、最も低い(暗い)濃度値をメモリして行き、全ラインのメモリが終了したら、各ラインの最も高い(明るい)濃度値の中で、一番低い濃度値(皮膚の部分)と、各ラインの最も低い(暗い)濃度値の中で、一番低い濃度値(眼の部分)とを求め、その中央値を二値化閾値とする。
【0060】
この二値化閾値のための範囲ARは、眼の黒い部分と眼の周囲の皮膚の白い部分が入るように設定し、また、画像の明るさのバラツキによる影響を少なくするために必要最小限の大きさにしている。また、二値化閾値は、その領域内の眼の一番低い(暗い)濃度値と、皮膚の部分の一番低い(暗い)濃度値の中央値とすることで、皮膚の部分から眼の部分を切り出すのに適した値になる。
【0061】
更に、二値化閾値を決定するのに皮膚の部分の濃度値の一番低い(暗い)濃度値を用いている理由は、次の通りである。
【0062】
即ち、眼の周囲の明るさのバラツキによる影響を少なくするために、濃度値を読み出す範囲ARを極力小さくしていても、該範囲ARの一部に直射光が当たっているような部分が外乱として入ることがあり、この部分を二値化閾値の決定に用いないようにするためである。
【0063】
ステップS06303では、こうして決定した二値化閾値を用いて微少画像IGを二値化処理し、二値画像bGとして画像メモリに保存する。
【0064】
このような二値化閾値を用いて、二値化した候補オブジェクトを検出することにより、眼を正確に捉えて候補オブジェクトの幾何形状を用いた判定をより正確に行うことができ、眼の位置検出精度をより向上することができる。
【0065】
次に、S06304に移行し、全体画像Gの代表座標値Cに相当する二値画像bGの位置bCを初期位置に設定する。
【0066】
設定位置が黒画素か否かを判定S06305し、設定位置が黒画素と判定されれば(S06305でYES)、処理をステップS06306に移行し、設定位置が黒画素と判定されなければ、S06305でNOとして、設定位置を上下左右に1画素ずつずらして、再度、設定位置が黒画素か否かの判定S06305を行い、設定位置が黒画素になるまで処理を行う。
【0067】
ステップS06306では、その黒画素を包括する連結成分を候補オブジェクトとして設定する。
【0068】
ステップS06307では、候補オブジェクトの幾何形状を算出し、ステップS06308で特定したい眼テンプレートの幾何形状と候補オブジェクトの幾何形状を比較する。
【0069】
ステップS06308の候補オブジェクトと眼テンプレートの幾何形状の比較方法の一例を眼の場合について、図16を用いて説明する。
【0070】
眼の二値化した形状は光環境が良く安定した画像であれば、図16の(a)に示すようなものになるが、車室内に直射日光が一側から当たる等して光環境が悪化した時は、図16の(b)や(c)のような形状になることもある。
【0071】
眼のテンプレートは、横幅が眼の相場値の2/3以上あり、且つ上に凸の所定範囲の曲率を持っていることの条件▲1▼と、黒眼の左側の凹み形状条件の▲2▼と、黒眼の右側の凹み形状条件の▲3▼と、を組み合わせることにより設定し、図16の(b),(c)の例を許容するために、▲1▼と▲2▼、または、▲1▼と▲3▼の条件を満たすものであっても良いものとする。
【0072】
ステップS06309では、ステップS06308の結果、候補オブジェクトと眼テンプレートの幾何形状が一致するか否かを判定する。候補オブジェクトと眼テンプレートの幾何形状が一致する場合には(S06309でYES)、S06310で、その候補オブジェクトを眼と判定する。候補オブジェクトと眼テンプレートの幾何形状が一致しない場合には(S06309でNO)、S06314でその候補オブジェクトを眼ではないと判定する。
【0073】
ステップS06311では、眼と判定された候補オブジェクトの全体画像Gでの代表座標値Cをこの画像フレームでの眼の座標としてメモリする。
【0074】
ステップS06312では、眼であると判定された代表候補点の微少画像IGを、眼画像MGiとして画像メモリに保存する。
【0075】
このようにして、第1の実施形態に係る視線方向検出装置では、運転者が正面を向いているときの眼の位置をイニシャル位置として求めると共に、車間時間(自車両と先行車両との車間距離Lを走行速度Vで除した値)に基づいて、このイニシャル精度を変更するので、車間時間に応じた好適なイニシャル精度を得ることができる。
【0076】
また、イニシャル設定精度を眼の位置データのサンプル数、合う理は眼の位置データを測定するサンプル時間、のうちのいずれかにより決定されるので、高精度なイニシャル精度設定が可能となる。
【0077】
更に、撮像手段により撮像された画像にて判別された眼の位置を、運転者の眼の位置とするので、高精度な眼の位置検出が可能となる。
【0078】
<第2の実施形態>
先行車との間の車間時間L/Vに基づいて、検出測定時間に関するイニシャル設定精度Tmaxを設定するようにした、第2の実施形態を説明する。
【0079】
[システムブロック図]
第1の実施形態と同様のものを用いている
[機器の配置]
第1の実施形態と同様のものを用いている。
【0080】
[システム全体の処理]
次に、システムの処理状況について説明する。図17は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理S01で自車の車速を検知する。
【0081】
次いで、先行車検知、車間距離L検知処理S02で先行車を検知し、先行車の存在が見つかると、先行車との車間距離Lを検知する。
【0082】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。
【0083】
イニシャル設定精度Tmax読込処理S11では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度Tmaxのテーブル(図18参照、詳細後述)から、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度Tmaxを読み込む。
【0084】
S12では、現在の時間を検知して変数T0に代入する。S05では、変数iを0に初期化する。
【0085】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって、画像上の眼の位置を特定する。
【0086】
S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。S13では、現在の時間を検知して変数T1に代入する。
【0087】
S14では、変数T1と変数T0の差がイニシャル設定精度Tmaxに達したか否かを判断する。そして、変数T1と変数T0の差がイニシャル設定精度Tmaxに達した場合(S14でYES)は、イニシャル位置算出処理S15へ処理を進める。他方、変数T1と変数T0の差がイニシャル設定精度Tmaxに達していない場合(S14でNO)は、眼の位置検出処理S06へ処理を戻す。
【0088】
イニシャル位置算出処理S15では、データ配列EP(i)の総和ΣEP(i)を変数iで除算することによって、平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけ変数iを減じた値で平均位置の算出を行う。
【0089】
[イニシャル設定精度Tmaxのテーブル]
図18は、車間時間L/Vに対するイニシャル設定精度Tmaxのマップを示す。なお、実際にはこのマップは数値化され、データテーブルとしてマイクロコンピュータ2に記憶される。
【0090】
図18に示すテーブルは、第1の実施形態で示した車間時間と脇見の発生確率と眼の位置の関係に基づいて実験的に設定したものである。イニシャル設定精度Tmaxは、同図(a)に示すように、車間時間L/Vに対して連続的に設定してもよいし、同図(b)に示すように、車間時間L/Vに対してステップ状に設定してもよい。或いは、同図(c)に示すように、実験結果に沿って設定してもよい。
【0091】
なお、図4に示すテーブルでは、所定の車間時間においてイニシャル設定精度Tmaxが最大値Tmaxpとなる設定例を示すが、所定の車間時間範囲においてイニシャル設定精度Tmaxが最大値Tmaxpとなるように設定してもよい。いずれのテーブルでも所定の車間時間、或いは所定の車間時間範囲において、イニシャル設定精度Tmaxが最大値Tmaxpとなるように設定しているので、所定の車間時間或いは所定の車間時間範囲を境界に車間時間が短くなるほど、或いは車間時間が長くなるほどイニシャル設定精度Tmaxを小さくする。
【0092】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0093】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0094】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0095】
このようにして、第2の実施形態に係る視線方向検出装置では、前述した第1の実施形態と同様に、運転者が正面を向いているときの眼の位置をイニシャル位置として求めると共に、車間時間(自車両と先行車両との車間距離Lを走行速度Vで除した値)に基づいて、このイニシャル精度を変更するので、車間時間に応じた好適なイニシャル精度を得ることができる。
【0096】
また、イニシャル設定精度を眼の位置データのサンプル数、合う理は眼の位置データを測定するサンプル時間、のうちのいずれかにより決定されるので、高精度なイニシャル精度設定が可能となる。
【0097】
更に、撮像手段により撮像された画像にて判別された眼の位置を、運転者の眼の位置とするので、高精度な眼の位置検出が可能となる。
【0098】
<第3の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定回数に関するイニシャル設定精度imaxを、車速Vに応じて補正するようにした第3の実施形態を説明する。
【0099】
[システムブロック図]
第1の実施形態と同様のものを用いている。
【0100】
[機器の配置]
第1の実施形態と同様のものを用いている。
【0101】
[システム全体の処理]
次に、システムの処理状況について説明する。図19は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理S01で自車の車速を検知する。
【0102】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が確認されると、先行車との車間距離Lを検知する。車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて、車間時間L/Vを算出する。
【0103】
イニシャル設定精度imax読込処理S04では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度imaxのテーブルから、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度imaxを読み込む。
【0104】
イニシャル設定精度imaxの補正処理S16では、車速Vに応じて、イニシャル設定精度imaxを補正する。この補正方法については後述する。
【0105】
S05では、変数iを0に初期化する。眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって、画像上の眼の位置を特定する。
【0106】
S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。
【0107】
S09では、変数iがイニシャル設定精度imaxに達したか否かを判断する。変数iが、イニシャル設定精度imaxに達した場合は(S09でYES)、イニシャル位置算出処理S10へ処理を進める。変数iが、イニシャル設定精度imaxに達していない場合は(S09でNO)、眼の位置検出処理S06へ処理を戻す。
【0108】
イニシャル位置算出処理S10では、データ配列EP(i)の総和ΣEP(i)をイニシャル設定精度imaxで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけイニシャル設定精度imaxを減じた値で、平均位置の算出を行う。
【0109】
[イニシャル設定精度imaxのテーブル]
第1の実施形態と同様のものを用いている。
【0110】
[イニシャル設定精度imaxの補正]
図20は、車速Vに応じたイニシャル設定精度imaxの補正例を示す。運転者は車速が速いほど、また車間距離が短いほど、車両正面を凝視する傾向があり、脇見の発生率が小さくなる。従って、同図(a)に示すように、イニシャル設定精度imaxの最大値imaxpを、車速Vが速くなるほど小さくする。
【0111】
この補正により、車間時間L/Vとイニシャル設定精度imaxとの関係は、同図(c)に示す如くの関係になり、車速が速いほどイニシャル設定精度imaxを小さくすることができる。
【0112】
なお、図20(b)に示すように、イニシャル設定精度imaxが最大値imaxpとなる車間時間を、車速Vに応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2の双方を行った場合に、車間時間L/Vとイニシャル設定精度imaxとの関係は、同図(d)に示す如くの関係となり、車速Vが高いほどイニシャル設定精度imax、及び最大値imaxpが短くなり、イニシャル設定精度imaxが最大値imaxpとなる車間時間L/Vも短くなる。これにより、車速が速いほどイニシャル設定精度imaxを小さくすることができる。
【0113】
上述した第3の実施形態では、車速Vに応じてイニシャル設定精度imaxの最大値imaxpを補正する例を示したが、車間距離Lに応じてイニシャル設定精度imaxの最大値imaxpを補正してもよい。つまり、運転者は車間距離が短いほど車両正面を凝視する傾向があるので、車間距離Lが短いほどイニシャル設定精度imaxの最大値imaxpが短くなるように補正する。これにより、車間距離Lが短いほど車速が速いほどイニシャル設定精度imaxを小さくすることができる。
【0114】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0115】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0116】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0117】
このようにして、第3の実施形態に係る視線方向検出装置では、自車両の走行速度V、或いは先行車との間の車間距離Lに応じて、イニシャル設定精度imaxを補正するようにしているので、走行速度V或いは車間距離Lに応じた、高精度且つ短時間でイニシャル位置を検出することができる。
【0118】
<第4の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定時間に関するイニシャル設定精度Tmaxを、車速Vに応じて補正するようにした第4の実施形態を説明する。
【0119】
[システムブロック図]
第1実施形態と同様のものを用いている。
【0120】
[機器の配置]
第1実施形態と同様のものを用いている。
【0121】
[システム全体の処理]
次に、システムの処理状況について説明する。図21は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理S01で自車の車速を検知する。
【0122】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が見つかると先行車との車間距離Lを検知する。
【0123】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて、車間時間L/Vを算出する。
【0124】
イニシャル設定精度Tmax読込処理S11では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度Tmaxのテーブル(図18)から、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度Tmaxを読み込む。
【0125】
イニシャル設定精度imaxの補正処理S17では、車速Vに応じてイニシャル設定精度Tmaxを補正する。この補正については後述する。
【0126】
S12では、現在の時間を検知して変数T0に代入する。S05では、変数iを0に初期化する。
【0127】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって、画像上の眼の位置を特定する。
【0128】
S07では、眼の位置検出処理S06で検出され眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。S13では、現在の時間を検知して変数T1に代入する。
【0129】
S14では、変数T1と変数T0の差がイニシャル設定精度Tmaxに達したか否かを判断する。そして、変数T1と変数T0の差がイニシャル設定精度Tmaxに達した場合は(S14でYES)、イニシャル位置算出処理S15へ処理を進める。他方、変数T1と変数T0の差がイニシャル設定精度Tmaxに達していない場合は(S14でNO)、眼の位置検出処理S06へ処理を戻す。
【0130】
イニシャル位置算出処理S14では、データ配列EP(i)の総和ΣEP(i)を変数iで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけ変数iを減じた値で、平均位置の算出を行う。
【0131】
[イニシャル設定精度Tmaxのテーブル]
第2の実施形態と同様のものを用いている。
【0132】
[イニシャル設定精度Tmaxの補正]
図22は、車速Vに応じたイニシャル設定精度Tmaxの補正例を示す。運転者は車速が速いほど、また車間距離が短いほど、車両正面を凝視する傾向があり、脇見の発生率が小さくなる。従って、同図(a)に示すように、イニシャル設定精度Tmaxの最大値Tmaxpを、車速Vが速くなるほど小さくする。この補正により、車間時間L/Vとイニシャル設定精度Tmaxとの関係は、同図(c)に示す如くの関係になり、車速が速いほどイニシャル設定精度Tmaxを小さくすることができる。
【0133】
なお、図22(b)に示すように、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間を、車速Vに応じて補正してもよい。同図(a)に示す補正1と、同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度Tmaxとの関係は、同図(d)に示す如くの関係となり、車速Vが高いほど、イニシャル設定精度Tmaxの最大値Tmaxpが短くなり、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間L/Vも短くなる。これにより、車速が速いほどイニシャル設定精度Tmaxを小さくすることができる。
【0134】
上述した第4の実施形態では、車速Vに応じてイニシャル設定精度Tmaxの最大値Tmaxpを補正する例を示したが、車間距離Lに応じて、イニシャル設定精度Tmaxの最大値Tmaxpを補正してもよい。つまり、運転者は車間距離が短いほど車両正面を凝視する傾向があるので、車間距離Lが短いほど、イニシャル設定精度Tmaxの最大値Tmaxpが短くなるように補正する。これにより、車間距離Lが短いほど、また、車速が速いほど、イニシャル設定精度Tmaxを小さくすることができる。
【0135】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0136】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0137】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0138】
このようにして、第4の実施形態に係る視線方向検出装置では、自車両の走行速度V、或いは先行車との間の車間距離Lに応じて、イニシャル設定精度Tmaxを補正するようにしているので、走行速度V或いは車間距離Lに応じた、高精度且つ短時間でイニシャル位置を検出することができる。
【0139】
<第5の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定回数に関するイニシャル設定精度imaxを、加速度Aに応じて補正するようにした、第5の実施形態を説明する。
【0140】
[システムブロック図]
図23は、本発明に係る視線方向検出装置の、第5の実施形態の構成を示すブロック図である。同図に示すように、該視線方向検出装置は、顔画像撮像手段CL1と、眼の位置検出手段CL2と、イニシャル設定手段CL3と、車速検出手段CL4と、車間距離検出手段CL5と、車間時間算出手段CL6と、イニシャル設定精度設定手段CL7と、加速度検出手段CL8と、を備えている。
【0141】
顔画像撮像手段CL1は、乗員の顔を撮像して顔画像データを出力する。眼の位置検出手段CL2は、顔画像撮像手段CL1から出力された顔画像データを処理して眼の位置を特定する。
【0142】
イニシャル設定手段CL3は、眼の位置検出手段CL2で検出された眼の位置に基づいて、乗員が車両の正面を見ているときの眼の代表位置を設定する。
【0143】
車速検出手段CL4は、自車の走行速度Vを検出する。車間距離検出手段CL5は、先行車の有無と車間距離Lを検出する。車間時間算出手段CL6は、車速検出手段CL4より検出された自車の走行速度Vと、車間距離検出手段CL5より検出された車間距離Lより、先行車と自車との車間時間L/Vを算出する。
【0144】
加速度検出手段CL8は、自車の加速度を検出する。イニシャル設定精度設定手段CL7は、イニシャル設定手段CL3で設定するイニシャルの設定精度を、車間時間算出手段CL6より算出された車間時間及び加速度検出手段CL8によって検出された自車の加速度Aに基づいて設定する。
【0145】
[機器の配置]
図24は、本発明の機器の配置図である。同図に示すように、顔画像撮像手段CL1として、TVカメラ1が自動車のインストルメント上で運転者を略正面で撮像できる位置に設置され、運転者の顔部分を撮影する。TVカメラ1の入力画像は、本実施形態では、例えば横方向(X)640画素、縦方向(Y)480画素からなる。TVカメラ1で撮像された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ2に画像データとして入力される。
【0146】
マイクロコンピュータ2には、眼の位置検出手段CL2と、イニシャル設定手段CL3と、車間時間算出手段CL6と、イニシャル設定精度設定手段CL7がプログラミングされている。
【0147】
車速検出手段CL4として、インストパネル上の速度メータと連動した車速センサー3が設置されている。車間距離検出手段CL5としてレーザレーダ4が車両先頭部に備え付けられている。
【0148】
加速度検出手段CL8として、加速度センサー5がインストルメント裏側など車体内部設置されている。なお、加速度センサー5を設けずに、車速センサー3により検出した車速Vの単位時間あたりの変化を算出して加速度Aとしてもよい。
【0149】
[システム全体の処理]
次に、システムの処理状況について説明する。図25は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で、自車の車速を検知する。
【0150】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が見つかると、先行車との車間距離Lを検知する。
【0151】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。加速度A検出処理S18では、自車の加速度Aを検出する。
【0152】
イニシャル設定精度imax読込処理S04では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度imaxのテーブルから、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度imaxを読み込む。
【0153】
イニシャル設定精度imaxの補正処理S19では、加速度Aに応じてイニシャル設定精度imaxを補正する。この補正については後述する。S05では、変数iを0に初期化する。
【0154】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって、画像上の眼の位置を特定する。
【0155】
S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。S09では、変数iがイニシャル設定精度imaxに達したか否かを判断する。変数iがイニシャル設定精度imaxに達した場合は(S09でYES)、イニシャル位置算出処理S10へ処理を進める。他方、変数iがイニシャル設定精度imaxに達していない場合は(S09でNO)、眼の位置検出処理S06へ処理を戻す。
【0156】
イニシャル位置算出処理S10では、データ配列EP(i)の総和ΣEP(i)をイニシャル設定精度imaxで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で、眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけイニシャル設定精度imaxを減じた値で平均位置の算出を行う。
【0157】
[イニシャル設定精度imaxのテーブル]
第1の実施形態と同様のものを用いている。
【0158】
[イニシャル設定精度imaxの補正]
図26は、加速度Aに応じたイニシャル設定精度imaxの補正例を示す。車両の加速中は、脇見の発生確率は小さく、減速中は脇見の発生確率が大きくなる。
これは、車両の加速中に脇見をすると先行車に接近した状態になりやすく、ドライバーは、常に先行車との車間を監視する必要があるため、前方を凝視して、脇見をすることが少なくなり、これに対して車両の減速中に比較的長い時間の脇見をしても先行車に接近した状態になりにくいため、脇見をする余裕ができるためである。
【0159】
第5の実施形態では、加速度センサー5により検出した加速度Aに基づいて自車が加速中か、等速走行中か、減速中かを判断し、図26(a)に示すように、車両の加減速度に応じて、イニシャル設定精度imaxの最大値imaxpを補正する。つまり、加速度Aが0の等速走行中を基準にして、加速度Aが正の値をとる加速中は、加速度Aが大きくなるほどイニシャル設定精度imaxの最大値imaxpを小さくする。
【0160】
また、加速度Aが負の値をとる減速中は、加速度Aが小さくなるほど、つまり減速度が大きくなるほどイニシャル設定精度imaxの最大値imaxpを大きくする。この補正により車間時間L/Vとイニシャル設定精度imaxの関係は、同図(c)に示す関係になり、加速度が大きいほどイニシャル設定精度imaxを小さくすることができる。
【0161】
なお、図26(b)に示すように、イニシャル設定精度imaxが最大値imaxpとなる車間時間を加速度Aに応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度imaxとの関係は、同図(d)に示す如くの関係となり、加速度Aが大きいほどイニシャル設定精度imaxの最大値imaxpが小さくなり、イニシャル設定精度imaxが最大値imaxpとなる車間時間L/Vも短くなる。これにより、加速度が大きいほどほどイニシャル設定精度imaxは小さくすることができる。
【0162】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0163】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0164】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0165】
このようにして、第5の実施形態に係る視線方向検出装置では、自車両の加速度Aに応じて、イニシャル設定精度imaxを補正するようにしているので、加速度Aに基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0166】
<第6の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定時間に関するイニシャル設定精度Tmaxを、加速度Aに応じて補正するようにした第6の実施形態を説明する。
【0167】
[システムブロック図]
第5の実施形態と同様のものを用いている。
【0168】
[機器の配置]
第5の実施形態と同様のものを用いている。
【0169】
[システム全体の処理]
次に、システムの処理状況について説明する。図27は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0170】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が見つかると、先行車との車間距離Lを検知する。
【0171】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。
【0172】
加速度A検出処理S18では、自車の加速度Aを検出する。イニシャル設定精度Tmax読込処理S11では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度Tmaxのテーブル(図18)から、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度Tmaxを読み込む。
【0173】
イニシャル設定精度Tmaxの補正処理S20では、加速度Aに応じてイニシャル設定精度Tmaxを補正する。この補正については後述する。S12では、現在の時間を検知して変数T0に代入する。S05では、変数iを0に初期化する。
【0174】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって画像上の眼の位置を特定する。
【0175】
S07では、眼の位置検出処理S06で検出され眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。S13では、現在の時間を検知して変数T1に代入する。
【0176】
S14では、変数T1と変数T0の差がイニシャル設定精度Tmaxに達したか否かを判断する。そして、変数T1と変数T0の差がイニシャル設定精度Tmaxに達した場合は(S14でYES)、イニシャル位置算出処理S15へ処理を進める。他方、変数T1と変数T0の差がイニシャル設定精度Tmaxに達していない場合は(S14でNO)、眼の位置検出処理S06へ処理を戻す。
【0177】
イニシャル位置算出処理S14では、データ配列EP(i)の総和ΣEP(i)を変数iで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなかったループがある場合は、検出できなっかったループの回数だけ変数iを減じた値で平均位置の算出を行う。
【0178】
[イニシャル設定精度Tmaxのテーブル]
第2の実施形態と同様のものを用いている。
【0179】
[イニシャル設定精度Tmaxの補正]
図28は、加速度Aに応じたイニシャル設定精度Tmaxの補正例を示す。車両の加速中は脇見の発生確率は小さく、減速中は脇見の発生確率が大きくなる。これは、車両の加速中に脇見をすると先行車に接近した状態になりやすく、ドライバーは常に先行車との車間を監視する必要があるため、前方を凝視して、脇見をすることが少なくなり、これに対して車両の減速中に比較的長い時間の脇見をしても先行車に接近した状態になりにくいため、脇見をする余裕ができるためである。
【0180】
第6の実施形態では、加速度センサー5により検出した加速度Aに基づいて自車が加速中か、等速走行中か、減速中かを判断し、図28(a)に示すように、車両の加減速度に応じて、イニシャル設定精度Tmaxの最大値Tmaxpを補正する。
【0181】
つまり、加速度Aが0の等速走行中を基準にして、加速度Aが正の値をとる加速中は、加速度Aが大きくなるほどイニシャル設定精度Tmaxの最大値Tmaxpを小さくする。また、加速度Aが負の値をとる減速中は、加速度Aが小さくなるほど、つまり減速度が大きくなるほどイニシャル設定精度Tmaxの最大値Tmaxpを大きくする。この補正により車間時間L/Vとイニシャル設定精度Tmaxの関係は同図(c)に示す関係になり、加速度が大きいほどイニシャル設定精度Tmaxは小さくすることができる。
【0182】
なお、図28(b)に示すように、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間を加速度Aに応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度Tmaxとの関係は同図(d)に示す如くの関係となり、加速度Aが大きいほどイニシャル設定精度Tmaxの最大値Tmaxpが小さくなり、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間L/Vも短くなる。これにより、加速度が大きいほどほどイニシャル設定精度Tmaxは小さくすることができる。
【0183】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0184】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0185】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0186】
このようにして、第6の実施形態に係る視線方向検出装置では、自車両の加速度Aに応じて、イニシャル設定精度Tmaxを補正するようにしているので、前述した第5の実施形態と同様に、加速度Aに基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0187】
<第7の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定回数に関するイニシャル設定精度imaxを、車両の繰舵角θに応じて補正するようにした第7の実施形態を説明する。
【0188】
[システムブロック図]
図29は、本発明を適用した視線方向検出装置の第7の実施形態の構成ブロック図にかかり、該装置は、顔画像撮像手段CL1と、眼の位置検出手段CL2と、イニシャル設定手段CL3と、車速検出手段CL4と、車間距離検出手段CL5と、車間時間算出手段CL6と、イニシャル設定精度設定手段CL7と、操舵角検出手段CL9と、を備えている。
【0189】
撮像手段CL1は、乗員の顔を撮像して顔画像データを出力する。眼の位置検出手段CL2は、顔画像撮像手段CL1から出力された顔画像データを処理して眼の位置を特定する。
【0190】
イニシャル設定手段CL3は、眼の位置検出手段CL2で検出された眼の位置を元に乗員が車両の正面を見ているときの眼の代表位置を設定する。車速検出手段CL4は、自車の走行速度Vを検出する。車間距離検出手段CL5は、先行車の有無と車間距離Lを検出する。
【0191】
車間時間算出手段CL6は、車速検出手段CL4より検出された自車の走行速度Vと車間距離検出手段CL5より検出された車間距離Lより先行車と自車との車間時間を算出する。
【0192】
繰舵角検出手段CL9は、自車の繰舵角を検出する。イニシャル設定精度設定手段CL7は、イニシャル設定手段CL3で設定するイニシャルの設定精度を、車間時間算出手段CL6より算出された車間時間と、繰舵角検出手段CL9によって検出された自車の繰舵角度と、に基づいて設定する。
【0193】
[機器の配置]
図30は、本発明の機器の配置図である。顔画像撮像手段CL1としてTVカメラ1が自動車のインストルメント上で運転者を略正面で撮像できる位置に設置され、運転者の顔部分を撮影する。TVカメラ1の入力画像は、本実施形態では、例えば横方向(X)640画素、縦方向(Y)480画素からなる。前記TVカメラ1で撮像された入力画像は、インストルメント裏側など車体内部に設置されたマイクロコンピュータ2に画像データとして入力される。
【0194】
マイクロコンピュータ2には、眼の位置検出手段CL2と、イニシャル設定手段CL3と、車間時間算出手段CL6と、イニシャル設定精度設定手段CL7がプログラミングされている。
【0195】
車速検出手段CL4として、インストパネル上の速度メータと連動した車速センサー3が設置されている。車間距離検出手段CL5として、レーザレーダ4が車両先頭部に備え付けられている。繰舵角検出手段CL9として、繰舵角センサー6がハンドル内部の回転軸に設置されている。
【0196】
[システム全体の処理]
次に、システムの処理状況について説明する。図31は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0197】
次いで、先行車検知、車間距離L検知処理S02で先行車を検知して先行車の存在が見つかると先行車との車間距離Lを検知する。
【0198】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。繰舵角θ検出処理S21では、自車の繰舵角θを検出する。
【0199】
イニシャル設定精度imax読込処理S04では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度imaxのテーブルから、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度imaxを読み込む。
【0200】
イニシャル設定精度imaxの補正処理S22では、繰舵角θに応じてイニシャル設定精度imaxを補正する。この補正については後述する。S05では、変数iを0に初期化する。
【0201】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって画像上の眼の位置を特定する。
【0202】
S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。
【0203】
S09では、変数iがイニシャル設定精度imaxに達したか否かを判断する。変数iがイニシャル設定精度imaxに達した場合は(S09でYES)、イニシャル位置算出処理S10へ処理を進める。他方、変数iがイニシャル設定精度imaxに達していない場合は(S09でNO)、眼の位置検出処理S06へ処理を戻す。
【0204】
イニシャル位置算出処理S10では、データ配列EP(i)の総和ΣEP(i)をイニシャル設定精度imaxで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は検出できなっかったループの回数だけイニシャル設定精度imaxを減じた値で平均位置の算出を行う。
【0205】
[イニシャル設定精度imaxのテーブル]
第1の実施形態と同様のものを用いている。
【0206】
[イニシャル設定精度imaxの補正]
図32は、繰舵角θに応じたイニシャル設定精度imaxの補正例を示す。曲線路の通過、交差点での右左折、車線変更、進路変更などを行うときは転舵を行うが、このとき転舵方向の状況を充分に監視しなければならない。そのため頻繁に操舵を繰り返している状況では運転手は転舵する方向を視認する必要があるため、大きく転舵するほど車両の正面から転舵方向に離れた方向を視認するようになる。
【0207】
第7の実施形態では、繰舵角センサー6により検出した繰舵角θに応じて、イニシャル設定精度imaxの最大値imaxpを補正する。図32(a)に示すように、操舵角θ(θ1>θ2>θ3)が大きいほど、イニシャル設定精度imaxの最大値imaxpを大きくする。この補正により車間時間L/Vとイニシャル設定精度imaxpの関係は同図(c)に示す如くの関係となり、繰舵角θが大きいほど、イニシャル設定精度imaxを大きくすることができる。
【0208】
なお、図32(b)に示すように、イニシャル設定精度imaxが最大値imaxpとなる車間時間を繰舵角θに応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度imaxとの関係は、同図(d)に示す如くの関係となり、繰舵角θが大きいほどイニシャル設定精度imaxの最大値imaxpが大きくなり、イニシャル設定精度imaxが最大値imaxpとなる車間時間L/Vも長くなる。これにより、繰舵角θが大きいほど、イニシャル設定精度imaxを大きくすることができる。
【0209】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0210】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0211】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0212】
このようにして、第7の実施形態に係る視線方向検出装置では、自車両の操舵角θに応じて、イニシャル設定精度imaxを補正するようにしているので、操舵角θに基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0213】
<第8の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定時間に関するイニシャル設定精度Tmaxを、繰舵角θに応じて補正するようにした、第8の実施形態を説明する。
【0214】
[システムブロック図]
第7の実施形態と同様のものを用いている。
【0215】
[機器の配置]
第7の実施形態と同様のものを用いている。
【0216】
[システム全体の処理]
次に、システムの処理状況について説明する。図33は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0217】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が見つかると、先行車との車間距離Lを検知する。車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて、車間時間L/Vを算出する。
【0218】
繰舵角θ検出処理S21では、自車の繰舵角θを検出する。イニシャル設定精度Tmax読込処理S11では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度Tmaxのテーブル(図18)から、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度Tmaxを読み込む。
【0219】
イニシャル設定精度Tmaxの補正処理S23では、繰舵角θに応じてイニシャル設定精度Tmaxを補正する。この補正については後述する。S12では、現在の時間を検知して変数T0に代入する。
【0220】
S05では、変数iを0に初期化する。眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって画像上の眼の位置を特定する。S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。
【0221】
S08では、変数iをインクリメントする。S13では、現在の時間を検知して変数T1に代入する。S14では、変数T1と変数T0の差がイニシャル設定精度Tmaxに達したか否かを判断する。そして、変数T1と変数T0の差がイニシャル設定精度Tmaxに達した場合は(S14でYES)、イニシャル位置算出処理S15へ処理を進める。他方、変数T1と変数T0の差がイニシャル設定精度Tmaxに達していない場合は(S14でNO)、眼の位置検出処理S06へ処理を戻す。
【0222】
イニシャル位置算出処理S14では、データ配列EP(i)の総和ΣEP(i)を変数iで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で、眼が検出できなっかったループがある場合は検出できなっかったループの回数だけ変数iを減じた値で平均位置の算出を行う。
【0223】
[イニシャル設定精度Tmaxのテーブル]
第2の実施形態と同様のものを用いている。
【0224】
[イニシャル設定精度Tmaxの補正]
図34は、繰舵角θに応じたイニシャル設定精度Tmaxの補正例を示す。曲線路の通過、交差点での右左折、車線変更、進路変更などを行うときは転舵を行うが、このとき転舵方向の状況を充分に監視しなければならない。そのため頻繁に操舵を繰り返している状況では運転手は転舵する方向を視認する必要があるため、大きく転舵するほど車両の正面から転舵方向に離れた方向を視認するようになる。
【0225】
第8の実施形態では、繰舵角センサー6により検出した繰舵角θに応じて、イニシャル設定精度Tmaxの最大値Tmaxpを補正する。図34(a)に示すように、操舵角θ(θ1>θ2>θ3)が大きいほど、イニシャル設定精度Tmaxの最大値Tmaxpを大きくする。この補正により車間時間L/Vとイニシャル設定精度Tmaxの関係は同図(c)に示す関係になり、繰舵角θが大きいほど、イニシャル設定精度Tmaxを大きくすることができる。
【0226】
なお、図34(b)に示すように、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間を繰舵角θに応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度Tmaxとの関係は、同図(d)に示す関係となり、繰舵角θが大きいほどイニシャル設定精度Tmaxの最大値Tmaxpが大きくなり、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間L/Vも長くなる。これにより、繰舵角θが大きいほどイニシャル設定精度Tmaxを大きくすることができる。
【0227】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0228】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0229】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0230】
このようにして、第8の実施形態に係る視線方向検出装置では、自車両の操舵角θに応じて、イニシャル設定精度Tmaxを補正するようにしているので、前述した第7の実施形態と同様に、操舵角θに基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0231】
<第9の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定回数に関するイニシャル設定精度imaxを、渋滞状況に応じて補正するようにした、第9の実施形態を説明する。
【0232】
[システムブロック図]
図35は、本発明を適用した視線方向検出装置の、第9の実施形態の構成ブロック図にかかり、該装置は、顔画像撮像手段CL1と、眼の位置検出手段CL2と、イニシャル設定手段CL3と、車速検出手段CL4と、車間距離検出手段CL5と、車間時間算出手段CL6と、イニシャル設定精度設定手段CL7と、走行環境検出手段CL10と、を備えている。
【0233】
撮像手段CL1は、乗員の顔を撮像して顔画像データを出力する。眼の位置検出手段CL2は、顔画像撮像手段CL1から出力された顔画像データを処理して眼の位置を特定する。
【0234】
イニシャル設定手段CL3は、眼の位置検出手段CL2で検出された眼の位置を元に乗員が車両の正面を見ているときの眼の代表位置を設定する。車速検出手段CL4は、自車の走行速度Vを検出する。車間距離検出手段CL5は、先行車の有無と車間距離Lを検出する。
【0235】
車間時間算出手段CL6は、車速検出手段CL4より検出された自車の走行速度Vと車間距離検出手段CL5より検出された車間距離Lより先行車と自車との車間時間を算出する。走行環境検出手段CL10は、渋滞状況、昼夜、天候といった自車の走行環境を検出する。
【0236】
イニシャル設定精度設定手段CL7は、イニシャル設定手段CL3で設定するイニシャルの設定精度を、車間時間算出手段CL6より算出された車間時間と、走行環境検出手段CL10によって検出された自車の走行環境に基づいて設定する。
【0237】
[機器の配置]
配置図は、図2に示したものと同様であるので、説明と共に省略する。マイクロコンピュータ2が、走行環境検出手段CL10の機能をも担う。渋滞状況は、マイクロコンピュータ2がインターネット、VICS等の、外部通信網に接続することで検知できる。道路種別は、マイクロコンピュータ2に内蔵された地図機能によって判定できる。
【0238】
[システム全体の処理]
次に、システムの処理状況について説明する。図36は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0239】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が見つかると、先行車との車間距離Lを検知する。
【0240】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。渋滞状況検知処理S24では、渋滞状況を検出する。
【0241】
イニシャル設定精度imax読込処理S04では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度imaxのテーブルから、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度imaxを読み込む。
【0242】
イニシャル設定精度imaxの補正処理S25では、渋滞状況に応じてイニシャル設定精度imaxを補正する。この補正については後述する。S05では、変数iを0に初期化する。眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって画像上の眼の位置を特定する。
【0243】
S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。
【0244】
S09では、変数iがイニシャル設定精度imaxに達したか否かを判断する。変数iがイニシャル設定精度imaxに達した場合は(S09でYES)、イニシャル位置算出処理S10へ処理を進める。他方、変数iがイニシャル設定精度imaxに達していない場合は(S09でNO)、眼の位置検出処理S06へ処理を戻す。
【0245】
イニシャル位置算出処理S10では、データ配列EP(i)の総和ΣEP(i)をイニシャル設定精度imaxで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけイニシャル設定精度imaxを減じた値で平均位置の算出を行う。
【0246】
[イニシャル設定精度imaxのテーブル]
第1の実施形態と同様のものを用いている。
【0247】
[イニシャル設定精度imaxの補正]
図37は、渋滞状況に応じたイニシャル設定精度imaxの補正例を示す。渋滞時には速度が低下し、混雑度が増すと脇見の発生確率は大きくなる。
【0248】
第9の実施形態では、検出した渋滞状況に応じて、イニシャル設定精度imaxの最大値imaxpを補正する。図37(a)に示すように、渋滞状況の混雑度が大きいほど、イニシャル設定精度imaxの最大値imaxpを大きくする。この補正により、車間時間L/Vとイニシャル設定精度imaxの関係は同図(c)に示す関係となり、渋滞状況の混雑度が大きいほどイニシャル設定精度imaxを大きくすることができる。
【0249】
なお、図37(b)に示すように、イニシャル設定精度imaxが最大値imaxpとなる車間時間を渋滞状況に応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度imaxとの関係は、同図(d)に示す如くの関係となり、渋滞状況の混雑度が大きいほどイニシャル設定精度imaxの最大値imaxpが大きくなり、イニシャル設定精度imaxが最大値imaxpとなる車間時間L/Vも長くなる。これにより、渋滞状況の混雑度が大きいほどイニシャル設定精度imaxを大きくすることができる。
【0250】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0251】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0252】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0253】
このようにして、第9の実施形態に係る視線方向検出装置では、自車両周辺の渋滞状況に応じて、イニシャル設定精度imaxを補正するようにしているので、渋滞状況に基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0254】
<第10の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定時間に関するイニシャル設定精度Tmaxを、渋滞状況に応じて補正するようにした第10の実施形態を説明する。
【0255】
[システムブロック図]
第9の実施形態と同様のものを用いている。
【0256】
[機器の配置]
第9の実施形態と同様のものを用いている。
【0257】
[システム全体の処理]
次にシステムの処理状況について説明する。図38はシステムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0258】
次いで、先行車検知、車間距離L検知処理S02で先行車を検知して先行車の存在が見つかると、先行車との車間距離Lを検知する。
【0259】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。渋滞状況検知処理S24では、渋滞状況を検出する。
【0260】
イニシャル設定精度Tmax読込処理S11では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度Tmaxのテーブル(図18)から、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度Tmaxを読み込む。
【0261】
イニシャル設定精度Tmaxの補正処理S26では、渋滞状況に応じてイニシャル設定精度Tmaxを補正する。この補正については後述する。S12では、現在の時間を検知して変数T0に代入する。
【0262】
S05では変数iを0に初期化する。眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって画像上の眼の位置を特定する。
【0263】
S07では、眼の位置検出処理S06で検出され眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。S13では、現在の時間を検知して変数T1に代入する。
【0264】
S14では、変数T1と変数T0の差がイニシャル設定精度Tmaxに達したか否かを判断する。そして、変数T1と変数T0の差がイニシャル設定精度Tmaxに達した場合は(S14YES)、イニシャル位置算出処理S15へ処理を進める。他方、変数T1と変数T0の差がイニシャル設定精度Tmaxに達していない場合は(S14NO)、眼の位置検出処理S06へ処理を戻す。
【0265】
イニシャル位置算出処理S14では、データ配列EP(i)の総和ΣEP(i)を変数iで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけ変数iを減じた値で平均位置の算出を行う。
【0266】
[イニシャル設定精度Tmaxのテーブル]
第2の実施形態と同様のものを用いている。
【0267】
[イニシャル設定精度Tmaxの補正]
図39は、渋滞状況に応じたイニシャル設定精度Tmaxの補正例を示す。渋滞時には速度が低下し、混雑度が増すと脇見の発生確率は大きくなる。第10の実施形態では、検出した渋滞状況に応じて、イニシャル設定精度Tmaxの最大値Tmaxpを補正する。図39(a)に示すように、渋滞状況の混雑度が大きいほどイニシャル設定精度Tmaxの最大値Tmaxpを大きくする。この補正により、車間時間L/Vとイニシャル設定精度Tmaxの関係は、同図(c)に示す関係になり、渋滞状況の混雑度が大きいほどイニシャル設定精度Tmaxを大きくすることができる。
【0268】
なお、図39(b)に示すように、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間を渋滞状況に応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度Tmaxとの関係は、同図(d)に示す関係となり、渋滞状況の混雑度が大きいほどイニシャル設定精度Tmaxの最大値Tmaxpが大きくなり、イニシャル設度Tmaxが最大値Tmaxpとなる車間時間L/Vも長くなる。これにより、渋滞状況の混雑度が大きいほどイニシャル設定精度Tmaxを大きくすることができる。
【0269】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0270】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0271】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0272】
このようにして、第10の実施形態に係る視線方向検出装置では、自車両周辺の渋滞状況に応じて、イニシャル設定精度Tmaxを補正するようにしているので、渋滞状況に基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0273】
<第11の実施形態>
先行車との間の車間時間L/Vに基づいて、設定した検出測定回数に関するイニシャル設定精度imaxを、昼夜走行の別に応じて補正するようにした第11の実施形態を説明する。
【0274】
[システムブロック図]
第9の実施形態と同様のものを用いている。
【0275】
[機器の配置]
配置図は、図2と同様であるので、説明と共に省略する。マイクロコンピュータ2が、走行環境検出手段CL10の機能をも担う。昼夜判定は、マイクロコンピュータ2に内蔵された時計機能によって判定できる。
【0276】
また、受光センサーをインストルメントパネル上面部に備え、この受光センサーにより車外の照度(ルクス)を検出することもできる。マイクロコンピュータ2は受光センサーにより検出された車外の照度に基づいて昼、薄暮れ、夜を判別する。なお、受光センサーは車外の照度に応じて車両のヘッドランプやスモールランプを自動的に点消灯するランプ制御装置に用いられるが、このようなランプ制御装置を装備していない車両では手動で点消灯されるヘッドランプとスモールランプの点消灯状況に基づいて昼、薄暮れ、夜を判別してもよい。即ち、ヘッドランプとスモールランプがともに消灯されているときは昼間走行、スモールランプのみ点灯されているときは薄暮れ時の走行、ヘッドランプが点灯されているときは夜間走行と判定すればよい。
【0277】
[システム全体の処理]
次に、システムの処理状況について説明する。図40は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0278】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が見つかると先行車との車間距離Lを検知する。
【0279】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。
【0280】
昼夜検知処理S27では、昼夜および夕刻(薄暮時)を検出する。イニシャル設定精度imax読込処理S04では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度imaxのテーブルから、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度imaxを読み込む。
【0281】
イニシャル設定精度imaxの補正処理S28では、昼夜および夕刻(薄暮時)に応じてイニシャル設定精度imaxを補正する。この補正については後述する。S05では、変数iを0に初期化する。
【0282】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって画像上の眼の位置を特定する。S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。
【0283】
S09では、変数iがイニシャル設定精度imaxに達したか否かを判断する。変数iがイニシャル設定精度imaxに達した場合は(S09YES)、イニシャル位置算出処理S10へ処理を進める。他方、変数iがイニシャル設定精度imaxに達していない場合は(S09NO)、眼の位置検出処理S06へ処理を戻す。
【0284】
イニシャル位置算出処理S10では、データ配列EP(i)の総和ΣEP(i)をイニシャル設定精度imaxで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で、眼が検出できなっかったループがある場合は検出できなっかったループの回数だけイニシャル設定精度imaxを減じた値で平均位置の算出を行う。
【0285】
[イニシャル設定精度imaxのテーブル]
第1の実施形態と同様のものを用いている。
【0286】
[イニシャル設定精度imaxの補正]
図41は、昼夜の別に応じたイニシャル設定精度imaxの補正例を示す。夜間は昼間と異なり、視認性も被視認性も低下するため、運転手は夜間は昼間よりも注意深く前方を監視するため、前方を凝視し、脇見の発生確率が小さくなる。
【0287】
第11の実施形態では、検出した昼夜および夕刻(薄暮時)に応じて、イニシャル設定精度imaxの最大値imaxpを補正する。図41(a)に示すように、夜になって車外が暗くなるほどイニシャル設定精度imaxの最大値imaxpを小さくする。この補正により、車間時間L/Vとイニシャル設定精度imaxの関係は、同図(c)に示す如くの関係になり、夜になって車外が暗くなるほどイニシャル設定精度imaxを小さくすることができる。
【0288】
なお、図41(b)に示すように、イニシャル設定精度imaxが最大値imaxpとなる車間時間を昼夜および夕刻(薄暮時)に応じて補正してもよい。同図(a)に示す補正1と、同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度imaxとの関係は、同図(d)に示す如くの関係となり、夜になって車外が暗くなるほど、イニシャル設定精度imaxの最大値imaxpが小さくなり、イニシャル設定精度imaxが最大値imaxpとなる車間時間L/Vも短くなる。これにより、夜になって車外が暗くなるほどイニシャル設定精度imaxを小さくすることができる。
【0289】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0290】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0291】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0292】
このようにして、第11の実施形態に係る視線方向検出装置では、自車両走行時の昼夜に応じて、イニシャル設定精度imaxを補正するようにしているので、昼夜に基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0293】
<第12の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定時間に関するイニシャル設定精度Tmaxを、昼夜走行の別に応じて補正するようにした、第12の実施形態を説明する。
【0294】
[システムブロック図]
第9の実施形態と同様のものを用いている。
【0295】
[機器の配置]
第11の実施形態と同様のものを用いている。
【0296】
[システム全体の処理]
次にシステムの処理状況について説明する。図42は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0297】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が見つかると先行車との車間距離Lを検知する。
【0298】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。
【0299】
昼夜検知処理S27では、昼夜および夕刻(薄暮時)を検出する。イニシャル設定精度Tmax読込処理S11では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度Tmaxのテーブル(図18)から、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度Tmaxを読み込む。
【0300】
イニシャル設定精度Tmaxの補正処理S29では、昼夜、及び夕刻(薄暮時)に応じてイニシャル設定精度Tmaxを補正する。この補正については後述する。S12では、現在の時間を検知して変数T0に代入する。S05では、変数iを0に初期化する。
【0301】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって画像上の眼の位置を特定する。S07では、眼の位置検出処理S06で検出され眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。
【0302】
S13では、現在の時間を検知して変数T1に代入する。S14では、変数T1と変数T0の差がイニシャル設定精度Tmaxに達したか否かを判断する。そして、変数T1と変数T0の差がイニシャル設定精度Tmaxに達した場合は(S14YES)、イニシャル位置算出処理S15へ処理を進める。他方、変数T1と変数T0の差がイニシャル設定精度Tmaxに達していない場合は(S14NO)、眼の位置検出処理S06へ処理を戻す。
【0303】
イニシャル位置算出処理S14では、データ配列EP(i)の総和ΣEP(i)を変数iで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけ変数iを減じた値で平均位置の算出を行う。
【0304】
[イニシャル設定精度Tmaxのテーブル]
第2の実施形態と同様のものを用いている。
【0305】
[イニシャル設定精度Tmaxの補正]
図43は、昼夜の別に応じたイニシャル設定精度Tmaxの補正例を示す。夜間は昼間と異なり、視認性も被視認性も低下するため、運転手は夜間は昼間よりも注意深く前方を監視するため、前方を凝視し、脇見の発生確率が小さくなる。
【0306】
第12の実施形態では、検出した昼夜および夕刻(薄暮時)に応じて、イニシャル設定精度Tmaxの最大値Tmaxpを補正する。図43(a)に示すように、夜になって車外が暗くなるほどイニシャル設定精度Tmaxの最大値Tmaxpを小さくする。この補正により、車間時間L/Vとイニシャル設定精度Tmaxの関係は同図(c)に示す如くの関係となり、夜になって車外が暗くなるほど、イニシャル設定精度Tmaxを小さくすることができる。
【0307】
なお、図43(b)に示すように、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間を、昼夜および夕刻(薄暮時)に応じて補正してもよい。同図(a)に示す補正1と、同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度Tmaxとの関係は同図(d)に示す如くの関係となり、夜になって車外が暗くなるほど、イニシャル設定精度Tmaxの最大値Tmaxpが小さくなり、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間L/Vも短くなる。これにより、夜になって車外が暗くなるほどイニシャル設定精度Tmaxを小さくすることができる。
【0308】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0309】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0310】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0311】
このようにして、第12の実施形態に係る視線方向検出装置では、自車両走行時の昼夜に応じて、イニシャル設定精度Tmaxを補正するようにしているので、昼夜に基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0312】
<第13の実施形態>
先行車との間の車間時間L/Vに基づいて、設定した検出測定回数に関するイニシャル設定精度imaxを、天候状態に応じて補正するようにした第13の実施形態を説明する。
【0313】
[システムブロック図]
第9の実施形態と同様のものを用いている。
【0314】
[機器の配置]
配置図は、図2と同様であるので、説明と共に省略する。マイクロコンピュータ2が、走行環境検出手段CL10の機能もも担う。天候状態は、マイクロコンピュータ2がインターネットに接続することで検知することができる。
【0315】
また、雨滴センサーをエンジンフード上面に備え、雨滴センサー面に当たる雨滴や雪の量、及び圧力を検出することもできる。マイクロコンピュータ2は、雨滴センサーにより検出された雨滴の量及び圧力に基づいて、雨天、降雪を判断する。なお、ワイパーが作動しているときは、雨天または降雪と判断してもよい。フォッグランプが点灯されているときは霧が発生していると判断することもできる。なお、天候の種類とその検出方法はこの実施の形態に限定されない。
【0316】
[システム全体の処理]
次に、システムの処理状況について説明する。図44は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0317】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が見つかると、先行車との車間距離Lを検知する。
【0318】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。天候状態検知処理S30では、天候状態を検出する。
【0319】
イニシャル設定精度imax読込処理S04では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度imaxのテーブルから、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度imaxを読み込む。
【0320】
イニシャル設定精度imaxの補正処理S31では、天候状態に応じてイニシャル設定精度imaxを補正する。この補正については後述する。S05では、変数iを0に初期化する。眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって画像上の眼の位置を特定する。
【0321】
S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。
【0322】
S09では、変数iがイニシャル設定精度imaxに達したか否かを判断する。変数iがイニシャル設定精度imaxに達した場合は(S09YES)、イニシャル位置算出処理S10へ処理を進める。他方、変数iがイニシャル設定精度imaxに達していない場合は(S09NO)、眼の位置検出処理S06へ処理を戻す。
【0323】
イニシャル位置算出処理S10では、データ配列EP(i)の総和ΣEP(i)をイニシャル設定精度imaxで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけイニシャル設定精度imaxを減じた値で平均位置の算出を行う。
【0324】
[イニシャル設定精度imaxのテーブル]
第1の実施形態と同様のものを用いている。
【0325】
[イニシャル設定精度imaxの補正]
図45は、昼夜の別に応じたイニシャル設定精度imaxの補正例を示す。雨天、降雪時、霧発生時は晴天や曇天時と異なり視認性も被視認性も低下しているため、運転者は、悪天候時は晴天や曇天時よりも注意深く前方を監視するため、前方を凝視し、脇見の発生確率が小さくなる。
【0326】
第13の実施形態では、検出した天候状態に応じて、イニシャル設定精度imaxの最大値imaxpを補正する。図45(a)に示すように、天候が悪くなるほどイニシャル設定精度imaxの最大値imaxpを小さくする。この補正により車間時間L/Vとイニシャル設定精度imaxの関係は、同図(c)に示す如くの関係になり、天候が悪くなるほどイニシャル設定精度imaxを小さくすることができる。
【0327】
なお、図45(b)に示すように、イニシャル設定精度imaxが最大値imaxpとなる車間時間を天候に応じて補正してもよい。同図(a)に示す補正1と、同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度imaxとの関係は、同図(d)に示す如くの関係となり、天候が悪くなるほどイニシャル設定精度imaxの最大値imaxpが小さくなり、イニシャル設定精度imaxが最大値imaxpとなる車間時間L/Vも短くなる。これにより、天候が悪くなるほどイニシャル設定精度imaxを小さくすることができる。
【0328】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0329】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0330】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0331】
このようにして、第13の実施形態に係る視線方向検出装置では、自車両走行時の天候に応じて、イニシャル設定精度imaxを補正するようにしているので、天候に基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0332】
<第14の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定時間に関するイニシャル設定精度Tmaxを、天候状態に応じて補正するようにした第14の実施形態を説明する。
【0333】
[システムブロック図]
第9の実施形態と同様のものを用いている。
【0334】
[機器の配置]
第13の実施形態と同様のものを用いている。
【0335】
[システム全体の処理]
次に、システムの処理状況について説明する。図46は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0336】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車が見つかると先行車との車間距離Lを検知する。
【0337】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて、車間時間L/Vを算出する。天候状態検知処理S30では、天候状態を検出する。
【0338】
イニシャル設定精度Tmax読込処理S11では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度Tmaxのテーブル(図18)から、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度Tmaxを読み込む。
【0339】
イニシャル設定精度Tmaxの補正処理S32では、天候状態に応じてイニシャル設定精度Tmaxを補正する。この補正については後述する。S12では、現在の時間を検知して変数T0に代入する。S05では、変数iを0に初期化する。
【0340】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって画像上の眼の位置を特定する。
【0341】
S07では、眼の位置検出処理S06で検出され眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。S13では、現在の時間を検知して変数T1に代入する。
【0342】
S14では、変数T1と変数T0の差がイニシャル設定精度Tmaxに達したか否かを判断する。そして、変数T1と変数T0の差がイニシャル設定精度Tmaxに達した場合は(S14でYES)、イニシャル位置算出処理S15へ処理を進める。他方、変数T1と変数T0の差がイニシャル設定精度Tmaxに達していない場合は(S14NO)、眼の位置検出処理S06へ処理を戻す。
【0343】
イニシャル位置算出処理S14では、データ配列EP(i)の総和ΣEP(i)を変数iで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけ変数iを減じた値で平均位置の算出を行う。
【0344】
[イニシャル設定精度Tmaxのテーブル]
第2の実施形態と同様のものを用いている。
【0345】
[イニシャル設定精度Tmaxの補正]
図47は、昼夜の別に応じたイニシャル設定精度Tmaxの補正例を示す。雨天、降雪時、霧発生時は晴天や曇天時と異なり、視認性も被視認性も低下しているため、運転者は悪天候時は晴天や曇天時よりも注意深く前方を監視するため、前方を凝視し、脇見の発生確率が小さくなる。
【0346】
第14の実施形態では、検出した天候状態に応じて、イニシャル設定精度Tmaxの最大値Tmaxpを補正する。図47(a)に示すように、天候が悪くなるほどイニシャル設定精度Tmaxの最大値Tmaxpを小さくする。この補正により、車間時間L/Vとイニシャル設定精度Tmaxの関係は、同図(c)に示す如くの関係となり、天候が悪くなるほどイニシャル設定精度Tmaxを小さくすることができる。
【0347】
なお、図47(b)に示すように、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間を天候に応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度Tmaxとの関係は、同図(d)に示す如くの関係となり、天候が悪くなるほどイニシャル設定精度Tmaxの最大値Tmaxpが小さくなり、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間L/Vも短くなる。これにより、天候が悪くなるほどイニシャル設定精度Tmaxを小さくすることができる。
【0348】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0349】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0350】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0351】
このようにして、第14の実施形態に係る視線方向検出装置では、自車両走行時の天候に応じて、イニシャル設定精度Tmaxを補正するようにしているので、天候に基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0352】
<第15の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定回数に関するイニシャル設定精度imaxを、道路種別に応じて補正するようにした第15の実施形態を説明する。
【0353】
[システムブロック図]
第9の実施形態と同様のものを用いている。
【0354】
[機器の配置]
配置図は、図2と同様であるので、説明と共に省略する。マイクロコンピュータ2が、走行環境検出手段CL10の機能をも担う。道路種別は、マイクロコンピュータ2に内蔵された地図機能によって判定することができる。また、マイクロコンピュータ2がインターネット、VICSなどの外部通信網に接続することで道路種別を検知することもできる。
【0355】
[システム全体の処理]
次に、システムの処理状況について説明する。図48は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0356】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が見つかると、先行車との車間距離Lを検知する。車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。
【0357】
道路種別検知処理S33では、渋滞状況を検出する。イニシャル設定精度imax読込処理S04では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度imaxのテーブルから、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度imaxを読み込む。
【0358】
イニシャル設定精度imaxの補正処理S34では、道路種別に応じてイニシャル設定精度imaxを補正する。この補正については後述する。S05では、変数iを0に初期化する。眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって画像上の眼の位置を特定する。
【0359】
S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。S09では、変数iが、イニシャル設定精度imaxに達したか否かを判断する。変数iがイニシャル設定精度imaxに達した場合は(S09でYES)、イニシャル位置算出処理S10へ処理を進める。変数iがイニシャル設定精度imaxに達していない場合は(S09でNO)、眼の位置検出処理S06へ処理を戻す。
【0360】
イニシャル位置算出処理S10では、データ配列EP(i)の総和ΣEP(i)をイニシャル設定精度imaxで除算することによって、平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけイニシャル設定精度imaxを減じた値で平均位置の算出を行う。
【0361】
[イニシャル設定精度imaxのテーブル]
第1の実施形態と同様のものを用いている。
【0362】
[イニシャル設定精度imaxの補正]
図49は、道路種別に応じたイニシャル設定精度imaxの補正例を示す。自車前方への交差車両、右折車両あるいは歩行者などの障害物の進入の可能性は、幹線道路や高速道路よりも市街地の一般道路の方が高い。そのため、市街地では運転者は常に周囲に視線を動かしている。そのため、高速道路よりも幹線道路、幹線道路よりも市街地一般道路の方が脇見の発生確率は大きくなる。
【0363】
第15の実施形態では、検出した道路種別に応じて、イニシャル設定精度imaxの最大値imaxpを補正する。図49(a)に示すように、市街地の一般道路を走行する場合は、高速道路や幹線道路よりもイニシャル設定精度imaxの最大値imaxpを大きくする。この補正により、車間時間L/Vとイニシャル設定精度imaxの関係は同図(c)に示す如くの関係となり、市街地の一般道路を走行する場合は高速道路や幹線道路よりもイニシャル設定精度imaxを大きくすることができる。
【0364】
なお、図49(b)に示すように、イニシャル設定精度imaxが最大値imaxpとなる車間時間を、道路種別に応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度imaxとの関係は、同図(d)に示す如くの関係となり、市街地の一般道路を走行する場合は高速道路や幹線道路よりもイニシャル設定精度imaxの最大値imaxpが大きくなり、イニシャル設定精度imaxが最大値imaxpとなる車間時間L/Vも長くなる。これにより、市街地の一般道路を走行する場合は高速道路や幹線道路よりもイニシャル設定精度imaxを大きくすることができる。
【0365】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0366】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0367】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0368】
このようにして、第15の実施形態に係る視線方向検出装置では、自車両が走行する道路種別に応じて、イニシャル設定精度imaxを補正するようにしているので、道路種別に基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0369】
<第16の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定時間に関するイニシャル設定精度Tmaxを、道路種別に応じて補正するようにした、第16の実施形態を説明する。
【0370】
[システムブロック図]
第9の実施形態と同様のものを用いている。
【0371】
[機器の配置]
第9の実施形態と同様のものを用いている。
【0372】
[システム全体の処理]
次に、システムの処理状況について説明する。図50は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0373】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が見つかると、先行車との車間距離Lを検知する。
【0374】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。
【0375】
道路種別検知処理S35では、渋滞状況を検出する。イニシャル設定精度Tmax読込処理S11では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度Tmaxのテーブル(図18)から、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度Tmaxを読み込む。
【0376】
イニシャル設定精度Tmaxの補正処理S36では、道路種別に応じてイニシャル設定精度Tmaxを補正する。この補正については後述する。S12では、現在の時間を検知して変数T0に代入する。S05では、変数iを0に初期化する。
【0377】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって、画像上の眼の位置を特定する。
【0378】
S07では、眼の位置検出処理S06で検出され眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。S13では、現在の時間を検知して変数T1に代入する。
【0379】
S14では、変数T1と変数T0の差がイニシャル設定精度Tmaxに達したか否かを判断する。そして、変数T1と変数T0の差がイニシャル設定精度Tmaxに達した場合は(S14でYES)、イニシャル位置算出処理S15へ処理を進める。他方、変数T1と変数T0の差がイニシャル設定精度Tmaxに達していない場合は(S14でNO)、眼の位置検出処理S06へ処理を戻す。
【0380】
イニシャル位置算出処理S14では、データ配列EP(i)の総和を変数iで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけ変数iを減じた値で平均位置の算出を行う。
【0381】
[イニシャル設定精度Tmaxのテーブル]
第2の実施形態と同様のものを用いている。
【0382】
[イニシャル設定精度Tmaxの補正]
図51は、道路種別に応じたイニシャル設定精度Tmaxの補正例を示す。自車前方への交差車両、右折車両あるいは歩行者などの障害物の進入の可能性は、幹線道路や高速道路よりも市街地の一般道路の方が高い。そのため、市街地では運転者は常に周囲に視線を動かしている。そのため、高速道路よりも幹線道路、幹線道路よりも市街地一般道路の方が脇見の発生確率は大きくなる。
【0383】
第16の実施形態では、検出した道路種別に応じて、イニシャル設定精度Tmaxの最大値Tmaxpを補正する。図51(a)に示すように、市街地の一般道路を走行する場合は高速道路や、幹線道路よりもイニシャル設定精度Tmaxの最大値Tmaxpを大きくする。この補正により、車間時間L/Vとイニシャル設定精度Tmaxとの関係は、同図(c)に示す如くの関係となり、市街地の一般道路を走行する場合は高速道路や幹線道路よりもイニシャル設定精度Tmaxを大きくすることができる。
【0384】
なお、図51(b)に示すように、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間を道路種別に応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度Tmaxとの関係は、同図(d)に示す関係となり、市街地の一般道路を走行する場合は高速道路や幹線道路よりもイニシャル設定精度Tmaxの最大値Tmaxpが大きくなり、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間L/Vも長くなる。これにより、市街地の一般道路を走行する場合は高速道路や幹線道路よりもイニシャル設定精度Tmaxを大きくすることができる。
【0385】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0386】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0387】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0388】
このようにして、第16の実施形態に係る視線方向検出装置では、自車両が走行する道路種別に応じて、イニシャル設定精度Tmaxを補正するようにしているので、道路種別に基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0389】
<第17の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定回数に関するイニシャル設定精度imaxを、運転者の運転歴に応じて補正するようにした、第17の実施形態を説明する。
【0390】
[システムブロック図]
図52は、本発明を適用した視線方向検出装置の、第17の実施形態の構成ブロック図にかかり、該装置は、顔画像撮像手段CL1と、眼の位置検出手段CL2と、イニシャル設定手段CL3と、車速検出手段CL4と、車間距離検出手段CL5と、車間時間算出手段CL6と、イニシャル設定精度設定手段CL7と、運転者情報検出手段CL11と、を備えている。
【0391】
撮像手段CL1は、乗員の顔を撮像して顔画像データを出力する。眼の位置検出手段CL2は、顔画像撮像手段CL1から出力された顔画像データを処理して眼の位置を特定する。
【0392】
イニシャル設定手段CL3は、眼の位置検出手段CL2で検出された眼の位置を元に乗員が車両の正面を見ているときの眼の代表位置を設定する。車速検出手段CL4は、自車の走行速度Vを検出する。車間距離検出手段CL5は、先行車の有無と車間距離Lを検出する。
【0393】
車間時間算出手段CL6は、車速検出手段CL4より検出された自車の走行速度Vと、車間距離検出手段CL5より検出された車間距離Lより先行車と自車との車間時間を算出する。
【0394】
運転者情報検出手段CL11は、予め登録されている情報、或いは運転者から申告された情報、車両の運転状況から判断された情報から運転者個別の情報を検知する。
【0395】
イニシャル設定精度設定手段CL7は、イニシャル設定手段CL3で設定するイニシャルの設定精度を、車間時間算出手段CL6より算出された車間時間と、運転者情報検出手段CL11によって検出された運転者情報と、に基づいて設定する。
【0396】
[機器の配置]
配置図は、図2と同様であるので、説明と共に省略する。マイクロコンピュータ2が、運転者情報検出手段CL11の機能をも担う。運転者を識別し、予めマイクロコンピュータ2に登録されている運転者情報テーブルから運転者の運転歴情報を検索する。運転歴情報としては、運転経験年数の他に累積運転時間などを用いてもよい。
【0397】
運転者の識別方法については、予め登録された運転者に対してのみドアの施解錠を許可するキーレスエントリーシステムやエンジン始動を許可するイモビライザー、或いは、運転者ごとに運転席シート位置やバックミラー位置を自動的に調節するオートドライビングポジションシステムなどで用いられている運転者IDを利用し、それらの装置から運転者IDを入力して運転者情報テーブルから運転者IDに対応する運転歴情報を検索する。なお、運転者の識別方法はこの実施の形態の方法に限定されず、例えば運転者のIDを手動で入力するようにしてもよい。
【0398】
[システム全体の処理]
次に、システムの処理状況について説明する。図53は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0399】
次いで、先行車検知、車間距離L検知処理S02で先行車を検知して先行車の存在が見つかると、先行車との車間距離Lを検知する。
【0400】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。運転歴識別処理S36では、運転歴の識別を行う。
【0401】
イニシャル設定精度imax読込処理S04では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度imaxのテーブルから、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度imaxを読み込む。
【0402】
イニシャル設定精度imaxの補正処理S37では、運転者の運転歴に応じてイニシャル設定精度imaxを補正する。この補正については後述する。S05では、変数iを0に初期化する。
【0403】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって画像上の眼の位置を特定する。
【0404】
S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。S09では、変数iがイニシャル設定精度imaxに達したか否かを判断する。変数iがイニシャル設定精度imaxに達した場合は(S09でYES)、イニシャル位置算出処理S10へ処理を進める。他方、変数iがイニシャル設定精度imaxに達していない場合は(S09でNO)、眼の位置検出処理S06へ処理を戻す。
【0405】
イニシャル位置算出処理S10では、データ配列EP(i)の総和ΣEP(i)をイニシャル設定精度imaxで除算することによって、平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で、眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけイニシャル設定精度imaxを減じた値で平均位置の算出を行う。
【0406】
[イニシャル設定精度imaxのテーブル]
第1の実施形態と同様のものを用いている。
【0407】
[イニシャル設定精度imaxの補正]
図54は、運転者の運転歴に応じたイニシャル設定精度imaxの補正例を示す。運転経験の少ない運転者は、運転に余裕がなく脇見をする余裕が少ないが、運転経験を積むに従って運転に余裕が生まれ、周りの状況を頻繁に確認するようになるため、脇見の発生確率が大きくなる。
【0408】
第17の実施形態では、検出した運転者の運転歴に応じて、イニシャル設定精度imaxの最大値imaxpを補正する。図54(a)に示すように、運転経験年数や累積運転時間等の、運転歴が短い初心者ほど、イニシャル設定精度imaxの最大値imaxpを大きくする。この補正により車間時間L/Vとイニシャル設定精度imaxとの関係は同図(c)に示す如くの関係となり、運転経験年数や累積運転時間などの運転歴が短い初心者は運転歴が長い熟練者よりもイニシャル設定精度imaxを大きくすることができる。
【0409】
なお、図54(b)に示すように、イニシャル設定精度imaxが最大値imaxpとなる車間時間を道路種別に応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度imaxとの関係は、同図(d)に示す如くの関係となり、運転経験年数や累積運転時間などの運転歴が短い初心者は、運転歴が長い熟練者よりもイニシャル設定精度imaxの最大値imaxpが大きくなり、イニシャル設定精度imaxが最大値imaxpとなる車間時間L/Vも長くなる。これにより、運転経験年数や累積運転時間などの運転歴が短い初心者は運転歴が長い熟練者よりもイニシャル設定精度imaxを大きくすることができる。
【0410】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0411】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0412】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0413】
このようにして、第17の実施形態に係る視線方向検出装置では、運転者の運転歴に応じて、イニシャル設定精度imaxを補正するようにしているので、運転歴に基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0414】
<第18の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定時間に関するイニシャル設定精度Tmaxを、運転者の運転歴に応じて補正するようにした、第18の実施形態を説明する。
【0415】
[システムブロック図]
第18の実施形態と同様のものを用いている。
【0416】
[機器の配置]
第18の実施形態と同様のものを用いている。
【0417】
[システム全体の処理]
次に、システムの処理状況について説明する。図55は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0418】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が見つかると先行車との車間距離Lを検知する。
【0419】
車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。運転歴識別処理S36では、運転歴の識別を行う。
【0420】
イニシャル設定精度Tmax読込処理S11では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度Tmaxのテーブル(図18)から、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度Tmaxを読み込む。
【0421】
イニシャル設定精度Tmaxの補正処理S38では、運転者の運転歴に応じてイニシャル設定精度Tmaxを補正する。この補正については後述する。S12では、現在の時間を検知して変数T0に代入する。S05では、変数iを0に初期化する。
【0422】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって、画像上の眼の位置を特定する。
【0423】
S07では、眼の位置検出処理S06で検出され眼の位置を、データ配列EP(i)に代入する。S08では、変数iをインクリメントする。S13では、現在の時間を検知して変数T1に代入する。
【0424】
S14では、変数T1と変数T0の差がイニシャル設定精度Tmaxに達したか否かを判断する。そして、変数T1と変数T0の差がイニシャル設定精度Tmaxに達した場合は(S14YES)、イニシャル位置算出処理S15へ処理を進める。他方、変数T1と変数T0の差がイニシャル設定精度Tmaxに達していない場合は(S14NO)、眼の位置検出処理S06へ処理を戻す。
【0425】
イニシャル位置算出処理S14では、データ配列EP(i)の総和ΣEP(i)を変数iで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけ変数iを減じた値で平均位置の算出を行う。
【0426】
[イニシャル設定精度Tmaxのテーブル]
第2の実施形態と同様のものを用いている。
【0427】
[イニシャル設定精度Tmaxの補正]
図56は、運転者の運転歴に応じたイニシャル設定精度Tmaxの補正例を示す。運転経験の少ない運転者は、運転に余裕がなく脇見をする余裕が少ないが、運転経験を積むに従って運転に余裕が生まれ周りの状況を頻繁に確認するようになるため、脇見の発生確率が大きくなる。
【0428】
第18の実施形態では、検出した運転者の運転歴に応じて、イニシャル設定精度Tmaxの最大値Tmaxpを補正する。図56(a)に示すように、運転経験年数や累積運転時間等の、運転歴が短い初心者ほど、イニシャル設定精度Tmaxの最大値Tmaxpを大きくする。この補正により車間時間L/Vとイニシャル設定精度Tmaxの関係は、同図(c)に示す如くの関係となり、運転経験年数や累積運転時間などの運転歴が短い初心者は、運転歴が長い熟練者よりもイニシャル設定精度Tmaxを大きくすることができる。
【0429】
なお、図56(b)に示すように、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間を道路種別に応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度Tmaxとの関係は、同図(d)に示す如くの関係となり、運転経験年数や累積運転時間等の、運転歴が短い初心者は運転歴が長い熟練者よりもイニシャル設定精度Tmaxの最大値Tmaxpが大きくなり、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間L/Vも長くなる。これにより、運転経験年数や累積運転時間等の、運転歴が短い初心者は運転歴が長い熟練者よりもイニシャル設定精度Tmaxを大きくすることができる。
【0430】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0431】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0432】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0433】
このようにして、第18の実施形態に係る視線方向検出装置では、運転者の運転歴に応じて、イニシャル設定精度Tmaxを補正するようにしているので、運転歴に基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0434】
<第19の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定回数に関するイニシャル設定精度imaxを、運転者の普段の車間時間と脇見状態時間との関係、即ち、運転者の脇見傾向に応じて補正するようにした、第19の実施形態を説明する。
【0435】
[システムブロック図]
第17の実施形態と同様のものを用いている。
【0436】
[機器の配置]
配置図は、図2と同様であるので、説明と共に省略する。マイクロコンピュータ2が、運転者情報検出手段CL11の機能をも担う。運転者を識別し、運転者ごとに普段の車間時間と脇見状態時間との関係を学習し、運転者の脇見傾向として記憶する。なお、運転者の識別方法は第17の実施形態で説明した方法を用いる。
【0437】
[システム全体の処理]
次に、システムの処理状況について説明する。図57は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0438】
次いで、先行車検知、車間距離L検知処理S02で、先行車を検知して先行車の存在が見つかると、先行車との車間距離Lを検知する。車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。
【0439】
イニシャル設定精度imax読込処理S04では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度imaxのテーブルから、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度imaxを読み込む。
【0440】
イニシャル設定精度imaxの補正処理S39では、運転者の普段の車間時間と脇見状態時間に応じてイニシャル設定精度imaxを補正する。この補正については後述する。S05では、変数iを0に初期化する。
【0441】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって、画像上の眼の位置を特定する。S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。
【0442】
S08では、変数iをインクリメントする。S09では、変数iがイニシャル設定精度imaxに達したか否かを判断する。変数iがイニシャル設定精度imaxに達した場合は(S09でYES)、イニシャル位置算出処理S10へ処理を進める。他方、変数iがイニシャル設定精度imaxに達していない場合は(S09でNO)、眼の位置検出処理S06へ処理を戻す。
【0443】
イニシャル位置算出処理S10では、データ配列EP(i)の総和ΣEP(i)をイニシャル設定精度imaxで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけイニシャル設定精度imaxを減じた値で平均位置の算出を行う。
【0444】
[イニシャル設定精度imaxのテーブル]
第1の実施形態と同様のものを用いている。
【0445】
[イニシャル設定精度imaxの補正]
図58は、運転者の普段の車間時間と脇見状態時間に応じたイニシャル設定精度imaxの補正例を示す。走行中の運転者の脇見状態には個人差があり、同じ車間時間でも脇見状態時間が長めの人や短めの人がいる。
【0446】
第19の実施形態では、運転者ごとに普段の車間時間と脇見状態時間との関係を学習し、この関係に基づい、イニシャル設定精度imaxの最大値imaxpを補正する。
【0447】
図58(a)に示すように、脇見状態時間が長い運転者(脇見状態時間はDrA>DrB>DrC)ほど、イニシャル設定精度imaxの最大値imaxpを大きくする。この補正により車間時間L/Vとイニシャル設定精度imaxの関係は、同図(c)に示す関係になり、脇見状態時間が長い運転者は脇見状態時間が短い運転者よりもイニシャル設定精度imaxを大きくすることができる。
【0448】
なお、図58(b)に示すように、イニシャル設定精度imaxが最大値imaxpとなる車間時間を道路種別に応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度imaxとの関係は、同図(d)に示す関係となり、脇見状態時間が長い運転者は脇見状態時間が短い運転者よりもイニシャル設定精度imaxの最大値imaxpが大きくなり、イニシャル設定精度imaxが最大値imaxpとなる車間時間L/Vも長くなる。これにより、脇見状態時間が長い運転者は、脇見状態時間が短い運転者よりもイニシャル設定精度imaxを大きくすることができる。
【0449】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0450】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0451】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0452】
このようにして、第19の実施形態に係る視線方向検出装置では、運転者の脇見傾向に応じて、イニシャル設定精度imaxを補正するようにしているので、運転歴に基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【0453】
<第20の実施形態>
先行車との間の車間時間L/Vに基づいて設定した検出測定時間に関するイニシャル設定精度Tmaxを、運転者の普段の車間時間と脇見状態時間との関係、即ち、運転者の脇見傾向に応じて補正するようにした、第20の実施形態を説明する。
【0454】
[システムブロック図]
第17の実施形態と同様のものを用いている。
【0455】
[機器の配置]
第19の実施形態と同様のものを用いている。
【0456】
[システム全体の処理]
次に、システムの処理状況について説明する。図59は、システムの全体の処理の流れを示している。まず、処理が開始されると、車速Vの検知処理ステップS01(以下、「ステップS」は単に「S」と表す)で自車の車速を検知する。
【0457】
次いで、先行車検知、車間距離L検知処理S02で先行車を検知して先行車がの存在が見つかると先行車との車間距離Lを検知する。車間時間L/V算出処理S03では、検知された車速Vと車間距離Lに基づいて車間時間L/Vを算出する。
【0458】
イニシャル設定精度Tmax読込処理S11では、予め設定してマイクロコンピュータ2に記憶されている車間時間L/Vに対するイニシャル設定精度Tmaxのテーブル(図18)から、車間時間L/V算出処理S03で算出した車間時間L/Vに対応するイニシャル設定精度Tmaxを読み込む。
【0459】
イニシャル設定精度Tmaxの補正処理S40では、運転者の普段の車間時間と脇見状態時間に応じてイニシャル設定精度Tmaxを補正する。この補正については後述する。S12では、現在の時間を検知して変数T0に代入する。S05では、変数iを0に初期化する。
【0460】
眼の位置検出処理S06では、TVカメラ1で顔画像を撮像し、マイクロコンピュータ2に画像データとし、マイクロコンピュータ2に入力された画像データを画像処理することによって、画像上の眼の位置を特定する。S07では、眼の位置検出処理S06で検出された眼の位置を、データ配列EP(i)に代入する。
【0461】
S08では、変数iをインクリメントする。S13では、現在の時間を検知して変数T1に代入する。S14では、変数T1と変数T0との差がイニシャル設定精度Tmaxに達したか否かを判断する。そして、変数T1と変数T0との差がイニシャル設定精度Tmaxに達した場合は(S14でYES)、イニシャル位置算出処理S15へ処理を進める。他方、変数T1と変数T0との差がイニシャル設定精度Tmaxに達していない場合は(S14でNO)、眼の位置検出処理S06へ処理を戻す。
【0462】
イニシャル位置算出処理S14では、データ配列EP(i)の総和ΣEP(i)を変数iで除算することによって平均位置を算出し、平均位置をイニシャル位置として設定する。もし、眼の位置検出処理S06で眼が検出できなっかったループがある場合は、検出できなっかったループの回数だけ変数iを減じた値で平均位置の算出を行う。
【0463】
[イニシャル設定精度Tmaxのテーブル]
第2実施例と同様のものを用いている。
【0464】
[イニシャル設定精度Tmaxの補正]
図60は、運転者の普段の車間時間と脇見状態時間に応じたイニシャル設定精度Tmaxの補正例を示す。走行中の運転者の脇見状態には個人差があり、同じ車間時間でも脇見状態時間が長めの人や短めの人がいる。
【0465】
第20の実施形態では、運転者ごとに普段の車間時間と脇見状態時間との関係を学習し、この関係に基づい、イニシャル設定精度Tmaxの最大値Tmaxpを補正する。図60(a)に示すように、脇見状態時間が長い運転者(脇見状態時間はDrA>DrB>DrC)ほど、イニシャル設定精度Tmaxの最大値Tmaxpを大きくする。この補正により車間時間L/Vとイニシャル設定精度Tmaxの関係は、同図(c)に示す如くの関係となり、脇見状態時間が長い運転者は脇見状態時間が短い運転者よりもイニシャル設定精度Tmaxを大きくすることができる。
【0466】
なお、図60(b)に示すように、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間を道路種別に応じて補正してもよい。同図(a)に示す補正1と同図(b)に示す補正2とを行った場合に、車間時間L/Vとイニシャル設定精度Tmaxとの関係は、同図(d)に示す関係となり、脇見状態時間が長い運転者は脇見状態時間が短い運転者よりもイニシャル設定精度Tmaxの最大値Tmaxpが大きくなり、イニシャル設定精度Tmaxが最大値Tmaxpとなる車間時間L/Vも長くなる。これにより、脇見状態時間が長い運転者は脇見状態時間が短い運転者よりもイニシャル設定精度Tmaxを大きくすることができる。
【0467】
[眼の位置特定処理]
第1の実施形態と同様のものを用いている。
【0468】
[眼の候補の位置の特定の処理]
第1の実施形態と同様のものを用いている。
【0469】
[眼判定処理]
第1の実施形態と同様のものを用いている。
【0470】
このようにして、第20の実施形態に係る視線方向検出装置では、運転者の脇見傾向に応じて、イニシャル設定精度Tmaxを補正するようにしているので、運転歴に基づいた、高精度且つ短時間でイニシャル位置を検出することができる。
【図面の簡単な説明】
【図1】本発明の第1の実施形態に係る視線方向検出装置の構成を示すブロック図である。
【図2】本発明の第1の実施形態に係る視線方向検出装置の、各構成機器の配置を示す説明図である。
【図3】第1の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図4】イニシャル設定精度imaxのマップを示す説明図である。
【図5】検出対象者の、眼の位置(x方向)の度数分布を示す説明図である。
【図6】顔の向き判定処理を示すフローチャートである。
【図7】眼の候補の位置特定処理を示すフローチャートである。
【図8】眼のテンプレートを用いて、眼の位置を検出する処理を示す説明図である。
【図9】眼の存在領域の大きさを示す説明図である。
【図10】眼の横方向の長さの統計結果を示す説明図である。
【図11】眼の縦方向の長さの統計結果を示す説明図である。
【図12】眼の存在領域の位置を決める際の説明図である。
【図13】眼判定処理のフローチャートである。
【図14】微小画像抽出の処理の説明図である。
【図15】二値化閾値の求め方を示す説明図である。
【図16】眼のテンプレートを用いて眼の位置を検出する処理を示す説明図である。
【図17】第2の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図18】イニシャル設定精度Tmaxのマップを示す説明図である。
【図19】第3の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図20】第3の実施形態に係り、イニシャル設定精度imaxの補正処理を示す説明図である。
【図21】第4の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図22】第4の実施形態に係り、イニシャル設定精度Tmaxの補正処理を示す説明図である。
【図23】本発明の第5の実施形態に係る視線方向検出装置の構成を示すブロック図である。
【図24】本発明の第5の実施形態に係る視線方向検出装置の、各構成機器の配置を示す説明図である。
【図25】第5の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図26】第5の実施形態に係り、イニシャル設定精度imaxの補正処理を示す説明図である。
【図27】第6の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図28】第6の実施形態に係り、イニシャル設定精度Tmaxの補正処理を示す説明図である。
【図29】本発明の第7の実施形態に係る視線方向検出装置の構成を示すブロック図である。
【図30】本発明の第7の実施形態に係る視線方向検出装置の、各構成機器の配置を示す説明図である。
【図31】第7の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図32】第7の実施形態に係り、イニシャル設定精度imaxの補正処理を示す説明図である。
【図33】第8の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図34】第8の実施形態に係り、イニシャル設定精度Tmaxの補正処理を示す説明図である。
【図35】本発明の第9の実施形態に係る視線方向検出装置の構成を示すブロック図である。
【図36】第9の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図37】第9の実施形態に係り、イニシャル設定精度imaxの補正処理を示す説明図である。
【図38】第10の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図39】第10の実施形態に係り、イニシャル設定精度Tmaxの補正処理を示す説明図である。
【図40】第11の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図41】第11の実施形態に係り、イニシャル設定精度imaxの補正処理を示す説明図である。
【図42】第12の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図43】第12の実施形態に係り、イニシャル設定精度Tmaxの補正処理を示す説明図である。
【図44】第13の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図45】第13の実施形態に係り、イニシャル設定精度imaxの補正処理を示す説明図である。
【図46】第14の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図47】第14の実施形態に係り、イニシャル設定精度Tmaxの補正処理を示す説明図である。
【図48】第15の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図49】第15の実施形態に係り、イニシャル設定精度imaxの補正処理を示す説明図である。
【図50】第16の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図51】第16の実施形態に係り、イニシャル設定精度Tmaxの補正処理を示す説明図である。
【図52】本発明の第17の実施形態に係る視線方向検出装置の構成を示すブロック図である。
【図53】第17の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図54】第17の実施形態に係り、イニシャル設定精度imaxの補正処理を示す説明図である。
【図55】第18の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図56】第18の実施形態に係り、イニシャル設定精度Tmaxの補正処理を示す説明図である。
【図57】第19の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図58】第19の実施形態に係り、イニシャル設定精度imaxの補正処理を示す説明図である。
【図59】第20の実施形態に係る視線方向検出装置の、全体の処理手順を示すフローチャートである。
【図60】第20の実施形態に係り、イニシャル設定精度Tmaxの補正処理を示す説明図である。
【符号の説明】
1 TVカメラ
2 マイクロコンピュータ
3 車速センサ
4 レーザーレーダ
5 加速度センサ
6 操舵角センサ
CL1 顔画像撮像手段
CL2 眼の位置検出手段
CL3 イニシャル設定手段
CL4 車速検出手段
CL5 車間距離検出手段
CL6 車間時間算出手段
CL7 イニシャル設定精度設定手段
CL8 加速度検出手段
CL9 操舵角検出手段
CL10 走行環境検出手段
CL11 運転者手情報検出手段

Claims (15)

  1. 運転者の眼のイニシャル位置を求め、当該イニシャル位置を基準として前記運転者の視線方向を検出する視線方向検出装置において、
    前記運転者の、眼の位置を検出する眼の位置検出手段と、
    前記眼の位置検出手段によって検出された運転者の眼の位置データに基づいて、運転者が正面を向いているときの眼の位置をイニシャル位置として設定するイニシャル設定手段と、
    車両の走行速度を検出する車速検出手段と、
    当該車両と、その前方を走行する先行車との間の車間距離を検出する車間距離検出手段と、
    前記車速検出手段にて検出された車速データと前記車間距離検出手段にて検出された車間距離データとに基づいて、前記先行車との車間時間を演算する車間時間算出手段と、
    前記車間時間算出手段にて得られた車間時間に基づいて、前記イニシャル位置を決定するための精度をイニシャル設定精度として設定するイニシャル設定精度設定手段と、を有し、
    前記イニシャル設定手段は、前記イニシャル設定精度設定手段により設定されたイニシャル設定精度で、前記運転者の眼のイニシャル位置を求めることを特徴とする視線方向検出装置。
  2. 前記イニシャル設定精度設定手段にて設定されるイニシャル設定精度は、前記イニシャル位置を決定するために用いる、前記眼の位置データのサンプル数、或いは眼の位置データを測定するサンプリング時間、のうちの少なくとも一方により設定されることを特徴とする請求項1に記載の視線方向検出装置。
  3. 前記運転者の顔を撮像する撮像手段と、前記撮像手段によって撮像された運転者の顔画像に基づき、当該運転者の眼の存在を判別する眼判別手段と、を更に備え、
    前記眼判別手段によって判別された画像上の、眼の位置を運転者の眼の位置とすることを特徴とする請求項1または請求項2のいずれかに記載の視線方向検出装置。
  4. 前記イニシャル設定精度設定手段は、前記車間時間と前記イニシャル設定精度との対応関係を示すテーブルを有し、
    当該テーブルにおける、イニシャル設定精度の最大値、または、イニシャル設定精度が最大値となる車間時間を、前記車速検出手段にて検出された車速が大きいほど、小さくなるように補正することを特徴とする請求項1〜請求項3のいずれか1項に記載の視線方向検出装置。
  5. 前記イニシャル設定精度設定手段は、前記車間時間と前記イニシャル設定精度との対応関係を示すテーブルを有し、
    当該テーブルにおける、イニシャル設定精度の最大値、または、イニシャル設定精度が最大値となる車間時間を、前記車間距離検出手段にて検出された車間距離が大きいほど、小さくなるように補正することを特徴とする請求項1〜請求項3のいずれか1項に記載の視線方向検出装置。
  6. 車両の加速度を検出する加速度検出手段を更に備え、前記イニシャル設定精度設定手段は、前記車間時間と前記イニシャル設定精度との対応関係を示すテーブルを有し、
    当該テーブルにおける、イニシャル設定精度の最大値、または、イニシャル設定精度が最大値となる車間時間を、前記加速度検出手段にて検出された加速度が大きいほど、小さくなるように補正することを特徴とする請求項1〜請求項3のいずれか1項に記載の視線方向検出装置。
  7. 車両の操舵角を検出する操舵角検出手段を更に備え、前記イニシャル設定精度設定手段は、前記車間時間と前記イニシャル設定精度との対応関係を示すテーブルを有し、
    当該テーブルにおける、イニシャル設定精度の最大値、または、イニシャル設定精度が最大値となる車間時間を、前記操舵角検出手段にて検出された操舵角が大きいほど、小さくなるように補正することを特徴とする請求項1〜請求項3のいずれか1項に記載の視線方向検出装置。
  8. 車両の走行環境を検出する走行環境検出手段を更に備え、前記イニシャル設定精度設定手段は、前記車間時間と前記イニシャル設定精度との対応関係を示すテーブルを有し、
    当該テーブルにおける、イニシャル設定精度の最大値、または、イニシャル設定精度が最大値となる車間時間を、前記走行環境検出手段にて検出された走行環境に応じて補正することを特徴とする請求項1〜請求項3のいずれか1項に記載の視線方向検出装置。
  9. 前記走行環境検出手段は、車両走行路周辺の渋滞状況を検出し、前記テーブルにおける、イニシャル設定精度の最大値、または、イニシャル設定精度が最大値となる車間時間を、前記渋滞状況が混雑するほど、小さくなるように補正することを特徴とする請求項8に記載の視線方向検出装置。
  10. 前記走行環境検出手段は、車両走行時の昼夜を検出し、前記テーブルにおける、イニシャル設定精度の最大値、または、イニシャル設定精度が最大値となる車間時間を、夜間に近づくほど、小さくなるように補正することを特徴とする請求項8に記載の視線方向検出装置。
  11. 前記走行環境検出手段は、車両走行時の天候を検出し、前記テーブルにおける、イニシャル設定精度の最大値、または、イニシャル設定精度が最大値となる車間時間を、天候が悪くなるほど、小さくなるように補正することを特徴とする請求項8に記載の視線方向検出装置。
  12. 前記走行環境検出手段は、車両走行路の道路種別を検出し、前記テーブルにおける、イニシャル設定精度の最大値、または、イニシャル設定精度が最大値となる車間時間を、市街地の一般道路走行時には、小さくなるように補正することを特徴とする請求項8に記載の視線方向検出装置。
  13. 前記運転者に関する情報を検出する運転者情報検出手段を更に備え、前記イニシャル設定精度設定手段は、前記車間時間と前記イニシャル設定精度との対応関係を示すテーブルを有し、
    当該テーブルにおける、イニシャル設定精度の最大値、または、イニシャル設定精度が最大値となる車間時間を、前記運転者情報検出手段による検出結果に応じて、補正することを特徴とする請求項1〜請求項3のいずれか1項に記載の視線方向検出装置。
  14. 前記運転者情報検出手段は、前記運転者の運転歴を検出し、前記テーブルにおける、イニシャル設定精度の最大値、または、イニシャル設定精度が最大値となる車間時間を、前記運転歴が長いほど、小さくなるように補正することを特徴とする請求項13に記載の視線方向検出装置。
  15. 前記運転者情報検出手段は、前記運転者の脇見傾向を検出し、前記テーブルにおける、イニシャル設定精度の最大値、または、イニシャル設定精度が最大値となる車間時間を、前記脇見傾向の検出結果に応じて補正することを特徴とする請求項13に記載の視線方向検出装置。
JP2002297866A 2002-10-10 2002-10-10 視線方向検出装置 Expired - Fee Related JP4052081B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002297866A JP4052081B2 (ja) 2002-10-10 2002-10-10 視線方向検出装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002297866A JP4052081B2 (ja) 2002-10-10 2002-10-10 視線方向検出装置

Publications (2)

Publication Number Publication Date
JP2004130940A JP2004130940A (ja) 2004-04-30
JP4052081B2 true JP4052081B2 (ja) 2008-02-27

Family

ID=32287450

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002297866A Expired - Fee Related JP4052081B2 (ja) 2002-10-10 2002-10-10 視線方向検出装置

Country Status (1)

Country Link
JP (1) JP4052081B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4676375B2 (ja) * 2006-05-10 2011-04-27 アイテック株式会社 車両運転者の視線方向の検出方法又は同装置
JP2008197722A (ja) 2007-02-08 2008-08-28 Denso Corp 顔追跡装置
JP4814816B2 (ja) * 2007-02-28 2011-11-16 株式会社豊田中央研究所 事故発生予測シミュレーション装置、方法及びプログラム並びに安全システム評価装置及び事故警報装置
JP4949133B2 (ja) * 2007-06-15 2012-06-06 カルソニックカンセイ株式会社 車両用ヘッドアップディスプレイ
JP6322991B2 (ja) * 2013-12-18 2018-05-16 株式会社デンソー 視線検出装置、および視線検出方法
JP7169831B2 (ja) * 2018-09-27 2022-11-11 株式会社Subaru 移動体監視装置、並びにこれを用いる車両制御システムおよび交通システム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3257310B2 (ja) * 1994-12-22 2002-02-18 トヨタ自動車株式会社 漫然運転検出装置
JP3312562B2 (ja) * 1996-07-18 2002-08-12 日産自動車株式会社 居眠り状態検出装置
JP3444115B2 (ja) * 1996-11-13 2003-09-08 日産自動車株式会社 居眠り状態検出装置
JPH11195200A (ja) * 1997-12-26 1999-07-21 Nissan Motor Co Ltd 運転状態検出装置
JP3851050B2 (ja) * 2000-02-15 2006-11-29 ナイルス株式会社 眼の状態検出装置
JP3812298B2 (ja) * 2000-06-26 2006-08-23 日産自動車株式会社 眼の状態検出装置
JP3861600B2 (ja) * 2001-01-29 2006-12-20 日産自動車株式会社 脇見運転および居眠り運転警報装置
JP2002352400A (ja) * 2001-05-25 2002-12-06 Toyota Central Res & Dev Lab Inc 顔画像処理装置

Also Published As

Publication number Publication date
JP2004130940A (ja) 2004-04-30

Similar Documents

Publication Publication Date Title
US12118806B2 (en) Vehicular imaging system
US9371031B2 (en) Method for controlling a headlamp system for a vehicle, and headlamp system
US8862336B2 (en) Method for controlling a headlamp system for a vehicle, and headlamp system
CN104272345B (zh) 车辆用显示装置和车辆用显示方法
CN103523014B (zh) 车载装置
US20140204212A1 (en) Vision system for vehicle
US9185363B2 (en) Vehicle imaging system and method for categorizing objects using relative motion analysis
JPH0769125A (ja) 車両用前照灯装置
JP6929481B1 (ja) 配光制御装置、配光制御方法及び配光制御プログラム
JPH06276524A (ja) 対向車両認識装置
CN102712284B (zh) 用于控制车辆的前照灯装置的方法和前照灯装置
JPH07137574A (ja) 車両用前照灯装置
JP4052081B2 (ja) 視線方向検出装置
JP2008191784A (ja) 閉眼検知装置、居眠り検知装置、閉眼検知方法及び閉眼検知のためのプログラム
JP6880615B2 (ja) ドライバ状態判定装置及び運転支援システム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050829

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070713

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070717

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20071113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20071126

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20101214

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111214

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121214

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131214

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees