JP2017111469A - 道路標識視認判定システム、道路標識視認判定方法、及びプログラム - Google Patents
道路標識視認判定システム、道路標識視認判定方法、及びプログラム Download PDFInfo
- Publication number
- JP2017111469A JP2017111469A JP2015242859A JP2015242859A JP2017111469A JP 2017111469 A JP2017111469 A JP 2017111469A JP 2015242859 A JP2015242859 A JP 2015242859A JP 2015242859 A JP2015242859 A JP 2015242859A JP 2017111469 A JP2017111469 A JP 2017111469A
- Authority
- JP
- Japan
- Prior art keywords
- road sign
- driver
- visual recognition
- information
- vehicle
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
- B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
- G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
- G06F3/013—Eye tracking input arrangements
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
- G06V20/582—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads of traffic signs
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
- G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
-
- G—PHYSICS
- G06—COMPUTING OR CALCULATING; COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
- G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/56—Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Human Computer Interaction (AREA)
- Signal Processing (AREA)
- Mechanical Engineering (AREA)
- Traffic Control Systems (AREA)
- Image Analysis (AREA)
- Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
Abstract
【課題】運転者の視線に基づいて運転者が道路標識を視認したか否かを判定する際の誤判定を低減する。【解決手段】道路標識視認判定システムは、視認度推定部と、視認完了時間算出部と、視認判定部と、を含む。視認度推定部は、道路標識の内容に基づいて当該道路標識の複雑さを算出し、算出した前記道路標識の複雑さに応じた当該道路標識の視認度を推定する。視認完了時間算出部は、運転者から道路標識までの距離を算出し、車両の速度、道路標識の視認度、及び算出した運転者から道路標識までの距離を用いて運転者による当該道路標識の視認に要する視認完了時間を算出する。視認判定部は、車両の位置情報と、道路標識情報と、運転者の視線の方向を含む視線情報とに基づいて運転者が道路標識を連続して注視している注視時間を算出し、注視時間と視認完了時間とに基づいて運転者が道路標識の内容を認識したか否かを判定する。【選択図】図1
Description
本発明は、道路標識視認判定システム、道路標識視認判定方法、及びプログラムに関する。
車両の安全運転を支援する技術の1つとして、車両の運転者の視線を検出して運転者が道路標識を視認したか否かを判定し、道路標識を視認していない場合に運転者に警告する技術が知られている。この種の技術においては、運転者の視線の方向が所定時間以上道路標識の方向と合致した場合に、運転者が道路標識を視認したと判定する。
また、この種の技術における道路標識の方向の算出方法として、Global Positioning System(GPS)を利用して取得した車両の位置情報と、予め用意された道路標識の設置位置の情報とに基づいて算出する方法が知られている(例えば、特許文献1を参照)。
また、上記の判定方法に関し、運転者の視線の方向を中心とした中心視エリア内に道路標識が存在するか否かにより、道路標識に対する運転者の認識度合い判定する方法が知られている(例えば、特許文献2を参照)。
しかしながら、車両が走行可能な道路には種々の道路標識が設置されており、これら道路標識の図柄や文字は運転者に伝える情報の内容により複雑さが異なる。そのため、運転者が内容を瞬時に認識することのできる道路標識がある一方で、運転者が内容を認識するのに要する時間が他の道路標識に比べて長くなる道路標識もある。したがって、道路標識の内容によらず一定の判定基準を用いて運転者が道路標識の内容を認識したか否かを判定した場合、誤った判定をする可能性がある。
1つの側面において、本発明は、運転者の視線に基づいて運転者が道路標識の内容を認識したか否かを判定する際の誤判定を低減することを目的とする。
1つの態様の道路標識視認判定システムは、位置情報取得部と、視線情報取得部と、標識探索部と、視認度推定部と、視認完了時間算出部と、視認判定部と、を備える。位置情報取得部は、車両の位置及び向きの情報を含む位置情報を取得する。視線情報取得部は、車両の運転者の視線の方向を含む視線情報を取得する。標識探索部は、車両の位置情報、及び前記道路標識情報に基づいて車両が走行する道路上に存在する道路標識を探索する。視認度推定部は、標識探索部により検出された道路標識の内容に基づいて当該道路標識の複雑さを算出し、算出した道路標識の複雑さに応じた当該道路標識の視認度を推定する。視認完了時間算出部は、運転者から道路標識までの距離を算出し、車両の速度、道路標識の視認度、及び算出した運転者から道路標識までの距離を用いて運転者による当該道路標識の認識に要する視認完了時間を算出する。視認判定部は、車両の位置情報と、道路標識情報と、視線情報とに基づいて運転者が道路標識を連続して注視している注視時間を算出し、注視時間と視認完了時間とに基づいて運転者が道路標識の内容を認識したか否かを判定する。
上述の態様によれば、運転者の視線に基づいて運転者が道路標識の内容を認識したか否かを判定する際の誤判定を低減させることが可能となる。
[第1の実施形態]
図1は、第1の実施形態に係る道路標識視認判定システムの機能的構成を示す図である。図2は、第1の実施形態に係る道路標識視認判定システムの設置例を示す図である。
図1は、第1の実施形態に係る道路標識視認判定システムの機能的構成を示す図である。図2は、第1の実施形態に係る道路標識視認判定システムの設置例を示す図である。
図1に示すように、本実施形態に係る道路標識視認判定システム1は、位置情報取得部2と、視線情報取得部3と、車両状態取得部4と、情報処理装置5と、スピーカ6と、を備える。この道路標識視認判定システム1は、例えば、図2に示すように、車両7の運転者8が道路上に設置された道路標識9を視認したか否かの判定に用いる。ここで、道路標識9を視認したか否かは、単に運転者8が道路標識9の存在を認識したか否かではなく、道路標識9の持つ情報の内容を認識したか否かを意味する。以下の説明では、道路標識視認判定システム1を、単に視認判定システム1ともいう。
位置情報取得部2は、車両7の位置及び向きを含む車両7の位置情報を取得する。位置情報取得部2には、GPS受信機を利用可能である。
視線情報取得部3は、車両7の運転者8の視線801の方向を算出するために必要な情報(視線情報)を取得する。視線情報取得部3には、赤外発光ダイオード及び赤外線カメラの組を利用可能である。視線情報取得部3として赤外発光ダイオードと赤外線カメラとの組を用いた場合、赤外発光ダイオードは、出力した赤外光が運転者8の顔に照射される向きに設置する。また、赤外線カメラは、運転者8の眼球を含む画像を撮像する向きに設置する。すなわち、赤外発光ダイオード及び赤外線カメラを含む視線情報取得部3は、視線情報として、赤外光が照射された運転者8の眼球を含む画像を取得する。
車両状態取得部4は、車両7の現在の速度及び運転席701の位置を含む車両7の現在の状態(車両状態)を取得する。車両状態取得部4は、車両7の現在の速度及び運転席701の位置の他、例えば、ハンドル(ステアリングホイール)702の舵角、アクセルペダル703の踏み込み量及びブレーキペダル704の踏み込み量等を取得する。車両状態取得部7は、車両7の速度、ハンドル702の舵角等を所定の時間間隔で(例えば0.5秒毎に)取得する。車両状態取得部4には、例えば、車両7に搭載されている各種の電子制御ユニット(ECU)を利用可能である。
情報処理装置5は、車両7についての位置情報及び車両状態と、運転者8の視線801の方向と、車両7の前方に設置された道路標識9についての情報と、に基づいて、運転者8が道路標識9の内容を認識したか否かを判定する。本実施形態に係る情報処理装置5は、道路標識9についての情報を用いて道路標識9に対する視認度を推定し、推定した視認度と、車両7の位置情報及び車両状態とを用いて運転者8が道路標識9の内容を認識するのに要する時間(視認完了時間)を推定する。道路標識9に対する視認度は、道路標識9の内容の認識のしやすさを表す指標であり、標識表示面(以下、単に「表示面」ともいう)に記載された内容の複雑さに基づいて推定する。情報処理装置5は、運転者8の視線801の方向から運転者8が道路標識9を注視している時間(注視時間)を算出し、注視時間が視認完了時間を超えた場合に運転者8が道路標識9の内容を認識したと判定する。
また、本実施形態の情報処理装置5は、注視時間が視認完了時間を経過する前に運転者8の視線801の方向が道路標識9の方向とは異なる方向に移動した場合等に、運転者8に対するメッセージを含む音声信号を生成する。情報処理装置5が生成した音声信号(メッセージ)は、スピーカ6から出力される。
本実施形態の情報処理装置5は、標識探索部501と、標識方向算出部502と、視線方向算出部503と、視認判定部504と、視認度推定部505と、視線完了時間算出部506と、記憶部507と、を備える。
標識探索部501は、位置情報取得部2で取得した車両7の位置情報と、記憶部507の道路標識情報507aとを用いて、車両7の前方に車両7の運転者8に向けて設置された道路標識9を探索する。道路標識情報507aは、道路に設置された道路標識についての標識の種別、設置位置、及び表示面の向きを含む。
標識方向算出部502は、車両7の運転者8から見た道路標識9の方向を算出する。標識方向算出部502は、例えば、車両7の位置情報と、車両7の運転席701の位置と、記憶部507の道路標識情報507aと、を用いて運転席701に着座した運転者8から見た道路標識9の方向を算出する。
視線方向算出部503は、視線情報取得部3で取得した視線情報を用いて運転者8の視線801の方向を算出する。視線情報として赤外光が照射された運転者8の眼球を含む画像を取得した場合、視線方向算出部503は、瞳孔−角膜反射法により運転者8の視線801の方向を算出する。
視認判定部504は、運転者8が道路標識9の内容を認識したか否かを判定する。視認判定部504は、標識方向算出部502で算出した道路標識9の方向と、視線算出部503で算出した運転者8の視線801の方向とを用いて、運転者8の道路標識9に対する注視時間を算出する。また、視認判定部504は、視認度推定部505に道路標識9についての視認度を推定させるとともに、視認完了時間算出部506に道路標識9に対する視認完了時間の推定値を算出させる。そして、視認判定部504は、算出した注視時間と、視認完了時間の推定値との関係に基づいて運転者8が道路標識9の内容を認識したか否かを判定する。
視認度推定部505は、道路標識9についての情報に基づいて道路標識9の視認度を推定する。視認度推定部505は、道路標識9の表示面に記載された文字の文字数や図形形状の複雑さ等に基づいて道路標識9の視認度を推定する。
視認完了時間算出部506は、車両7の運転者8が道路標識9の内容を認識するのに要する時間(視認完了時間)の推定値を算出する。視認完了時間算出部506は、視認度推定部505で推定した視認度、車両7の運転者8から道路標識9までの距離、及び車両7の速度に基づいて視認完了時間の推定値を算出する。以下、視認完了時間の推定値のことを単に視認完了時間ともいう。
記憶部507には、道路標識情報507aと、車両状態情報507bと、注視時間情報507cと、メッセージ507dと、を含む各種の情報を記憶させる。
図3は、道路標識情報の内容を示す図である。図4は、ルート数の設定方法を説明する図である。図5は、図形形状ベクタ数の設定方法を説明する図である。
道路標識情報507aには、車両7が走行する地域を含む所定地域内(例えば、日本国内)の道路に設置された多数の道路標識のそれぞれについての情報が登録されている。図3に示すように、道路標識情報507aにおける1個の道路標識についての情報には、固体認識IDと、設置年月日と、表示面形状と、表示面寸法と、設置位置と、設置向きと、を表す情報が含まれる。また、1個の道路標識についての情報には、標識分類と、標識タイプと、文字数ncと、単語数nwと、平均画数nkと、ルート数nrと、図形形状ベクタ数nvと、設置割合rtと、を表す情報が含まれる。
固体認識IDは、各道路標識を識別するために道路標識毎に付与される番号等の識別子である。設置年月日は、道路標識を設置した日付(年月日)である。表示面形状は、道路標識における標識表示面の形状を表す情報であり、円形、長方形、ひし形等の情報が記述される。表示面寸法は、標識表示面の寸法である。設置位置は、道路標識の設置位置を表す情報であり、GPS等により定められる地面を基準とした座標系における表示面内の中心の座標が記述される。設置向きは、表示面の向きを表す情報であり、水平面内における表示面の法線方向が北を0度とする角度で記述される。
標識分類は、標識の分類を表す情報であり、道路標識が警戒標識、規制標識、指示標識、及び案内標識のいずれであるかを表す情報が記述される。標識タイプは、道路標識が分類した標識内のどのタイプであるかを表す情報である。標識分類が警戒標識である場合、標識タイプには、例えば「交差点あり」、「右(又は左)方屈折あり」等の情報が記述される。また、標識分類が規制標識である場合、標識タイプには、例えば、最高速度の数値、「一時停止」等の情報が記述される。
文字数ncは、標識内の文字の総数、又は所定の言語で記載された文字の数である。単語数nwは、標識内の単語の総数、又は所定の言語で記載された単語の数である。平均画数nkは、文字数ncにおいてカウントした文字の平均画数である。
ルート数nrは、規制標識や案内標識において進行可能なルート(方向)の数である。例えば、図4に示した「指定方向外進行禁止」を表す道路標識9Aには、表示面下部に位置する1個の根部900から表示面上部の矢尻部901、表示面左方の矢尻部902、及び表示面右方の矢尻部903の3方向に分岐する矢印が記載されている。また、標識9Aには、表示面上方に向かう矢印と表示面左方に屈曲した矢印との分岐点から左上方部に延びる分岐部904が記載されている。そのため、図4に示した道路標識9Aにおけるルート数nrは。4となる。
図形形状ベクタ数nvは、表示面に記載された図形の形状をベクタ形式で表現したときの要素の数である。例えば、図5に示した「十形道路交差点あり」を表す道路標識9Bにおける中央の十形部910の図形をベクタ形式で表現する場合、輪郭を構成する水平方向の辺と垂直方向の辺との組み合わせで表現される。十形部910の輪郭は、上端部に位置する水平方向の辺911−1から反時計回りで見ると、12本の辺911−m(mは1から12までの整数)で構成される。そのため、図5に示した道路標識9Bにおける図形形状ベクタ数nvは、12となる。
設置割合rtは、例えば、道路標識情報507aへの登録対象となる道路標識が設置された地域内における標識タイプ別の設置割合である。
図6は、車両状態情報の内容を示す図である。車両状態情報507bは、図6に示すように、車両速度と、ハンドルの舵角と、アクセルペダル踏み込み量と、ブレーキペダル踏み込み量と、ワイパースイッチ位置と、を含む。
車両速度は、現在の車両7の速度(単位はkm/h)である。ハンドルの舵角は、ハンドル(ステアリングホイール)の切り角であり、車両7が直進するときを舵角0度(センター)とし、運転者から見た時計回り方向を舵角の正の方向とする。アクセルペダルの踏み込み量及びブレーキペダルの踏み込み量は、それぞれ、運転者8がペダルを踏んでいないときを0、最大踏み込み量まで踏み込んだときを100とした百分率で表した値とする。ワイパースイッチ位置は、ワイパーの動作を切り替えるスイッチの位置を表す値とする。ワイパーの動作が間欠、低速、及び高速の3段階の場合、例えば、動作をオフにするスイッチ位置を「0」とし、間欠、低速、及び高速で動作させるときの各スイッチ位置を「1」,「2」,「3」とする。
車両状態情報507bにおける上記の各情報は、車両状態取得部4により所定の時間間隔で(例えば0.5秒毎に)更新される。
なお、図6には示していないが、車両状態情報507bは、例えば、運転席701の位置を表す情報として、地面から運転席701のヘッドレストまでの高さや、車体内における運転席のヘッドレストの位置等を持つ。この運転席701の位置を表す情報は、固定値でもよいし、例えば、運転者8が運転席701の位置を移動させる毎に移動量に応じて変化する可変値でもよい。
図7は、注視時間情報の内容を示す図である。注視時間情報507cは、標識探索部501で検出した道路標識9の内容を運転者8が認識したか否かの判定に用いる情報である。図7に示すように、注視時間情報507cにおける1個の道路標識についての情報には、識別IDと、道路標識の固体認識IDと、検出時刻と、注視状態と、注視開始時刻と、注視開始時刻からの経過時間と、視認完了時間の推定値と、が含まれる。
識別IDは、車両7の走行中に標識探索部501が検出した複数の道路標識を識別する番号等の識別子である。道路標識の固体認識IDは、検出した道路標識を特定するための情報であり、道路標識情報507aの固体認識IDが記述される。検出時刻は、標識探索部501において道路標識を検出した時刻である。
注視状態は、検出した道路標識に対する運転者の注視状態を表す情報である。運転者の注視状態は、「まだ見ていない状態」、「継続中(注視している状態)」、「完了(注視を終えた状態)」の3つの状態を含む。
注視開始時刻は、視認判定部504において運転者8が道路標識9を見たと最初に判定した時刻、言い換えると注視状態を「まだ見ていない状態」から「注視している状態」に変更した時刻である。注視開始時刻からの経過時間は、運転者8の道路標識9に対する注視時間、言い換えると注視開始時刻以降、視認判定部504において運転者8が道路標識9を注視しているという判定が継続している時間である。注視開始時刻からの経過時間の計時は、注視状態が「注視している状態」から「注視状態を終えた状態」に変更された時点で終了する。
視認完了時間の推定値は、視認完了時間算出部506で算出した視認完了時間である。
注視時間情報507cは、検出した全ての道路標識についての情報を蓄積してもよいし、視認判定部504において運転者が認識したと判定した道路標識(或いは認識しなかったと判定した道路標識)についての情報のみを蓄積してもよい。
注視時間情報507cは、検出した全ての道路標識についての情報を蓄積してもよいし、視認判定部504において運転者が認識したと判定した道路標識(或いは認識しなかったと判定した道路標識)についての情報のみを蓄積してもよい。
図8は、道路標識の視認判定処理を説明するフローチャートである。
本実施形態の視認判定システム1では、図8に示すように、まず、車両状態の記録を開始する(ステップS1)。ステップS1の処理は、車両状態取得部4が行う。車両状態取得部4は、車両7の速度、ハンドルの舵角、ブレーキペダルの踏み込み量、アクセルペダルの踏み込み量、ワイパースイッチの位置、及び運転席の位置を含む、車両7の状態を表す各種情報(車両状態情報)を定期的に取得する。車両状態取得部4は、取得した車両状態情報を情報処理装置5の記憶部507に記憶させる。この際、記憶部507の車両状態情報507bは、最新の車両状態情報のみを保持していてもよいし、所定期間分の車両状態情報が蓄積されていてもよい。
本実施形態の視認判定システム1では、図8に示すように、まず、車両状態の記録を開始する(ステップS1)。ステップS1の処理は、車両状態取得部4が行う。車両状態取得部4は、車両7の速度、ハンドルの舵角、ブレーキペダルの踏み込み量、アクセルペダルの踏み込み量、ワイパースイッチの位置、及び運転席の位置を含む、車両7の状態を表す各種情報(車両状態情報)を定期的に取得する。車両状態取得部4は、取得した車両状態情報を情報処理装置5の記憶部507に記憶させる。この際、記憶部507の車両状態情報507bは、最新の車両状態情報のみを保持していてもよいし、所定期間分の車両状態情報が蓄積されていてもよい。
次に、視認判定システム1は、車両の位置及び向きを取得する(ステップS2)。ステップS2の処理は、位置情報取得部2が行う。位置情報取得部2としてGPS受信機を用いる場合、位置情報取得部2は、GPS衛星からの信号を受信し、地面の座標系における車両の現在位置を取得する。また、位置情報取得部2は、直前の車両7の位置と現在の車両7の位置とに基づいて、現在の車両7の向きを取得する。位置情報取得部2は、取得した現在の車両7の位置及び向きの情報を情報処理装置5の標識探索部501に送信する。
次に、視認判定システム1は、車両前方の道路標識を探索し(ステップS3)、前方に道路標識があるか否かを判定する(ステップS4)。ステップS3及びS4の処理は、標識探索部501が行う。標識探索部501は、車両7の位置及び向きと道路標識情報507aとを用いて、車両前方(車両の進行方向)の所定範囲内に車両7の運転者8に情報を提示する道路標識9が設置されているか否かを探索する。車両前方の所定範囲内に道路標識9が設置されていない場合(ステップS4;No)、視認判定システム1が行う処理はステップS2に戻る。
一方、車両前方の所定範囲内に道路標識9が設置されている場合(ステップS4;Yes)、視認判定システム1は、次に、注視判定処理(ステップS5)を行う。ステップS5の処理は、標識方向算出部502、視線方向算出部503、視認判定部504、視認度推定部505、及び視認完了時間算出部506が行う。ステップS5では、標識方向算出部502が算出した道路標識9の方向と、視線方向算出部503が算出した運転者8の視線801の方向とが合致している期間を算出し、この期間を運転者8が道路標識9を注視している期間(注視期間)とする。また、ステップS5では、道路標識情報507aに基づいて道路標識9の視認度を推定した後、視認度及び車両状態情報507bに基づいて視認完了時間の推定値を算出する。更に、ステップS5では、注視期間と視認完了時間の推定値とに基づいて、運転者8が道路標識9の内容を認識したか否かを判定する。
ステップS5の注視判定処理の後、視認判定システム1は、視認判定処理を終了するか否かを判断する(ステップS6)。車両7のエンジンが停止した場合、又は運転者8が処理を終了させるための操作を行った場合等には、視認判定システム1は、視認判定処理を終了する(ステップS6;Yes)。一方、視認判定処理を終了しない場合(ステップS6;No)、視認判定システム1が行う処理はステップS2に戻る。
図9Aは、注視判定処理の内容を説明するフローチャート(その1)である。図9Bは、注視判定処理の内容を説明するフローチャート(その2)である。図9Cは、注視判定処理の内容を説明するフローチャート(その3)である。
注視判定処理(ステップS5)において、視認判定システム1は、まず、検出した道路標識9のうち注視が完了していない道路標識9の注視時間情報の読出及び作成を行う(ステップS501)。ステップS501の処理は、例えば、視認判定部504が行う。視認判定部504は、標識探索部501が検出した道路標識9の固体認識IDをキーとして注視時間情報507cを検索し、検出した道路標識9の注視時間情報を読み出す。また、検出した道路標識9についての注視時間情報が記憶部507に記憶されていない場合、視認判定部504は、新たに検出した道路標識9についての注視時間情報を追加する。注視時間情報を追加する際、視認判定部504は、図7における検出した道路標識の識別ID、道路標識の固体認識ID、及び検出時刻を入力するとともに、注視状態を、まだ見ていない状態を表す値(例えば「0」)に設定する。
次に、視認判定システム1は、道路標識9の方向を算出する(ステップS502)とともに、運転者8の視線の方向を算出する(ステップS503)。ステップS502の処理は、標識方向算出部502が行う。標識方向算出部502は、車両7の位置及び向きの情報と、運転席の位置と、道路標識9の設置位置の情報と、に基づいて、運転者8から見た道路標識9の方向を算出する。標識方向算出部502は、算出した道路標識9の方向を視認判定部504に送信する。また、ステップS503の処理は、視線方向算出部503が行う。視線方向算出部503は、視線情報取得部3により取得した画像に含まれる運転者8の眼球における角膜反射の位置と瞳孔の中心位置との位置関係に基づいて運転者8の視線の方向を算出する。視線方向算出部503は、算出した運転者の視線の方向を視認判定部504に送信する。
次に、視認判定システム1は、運転者8が道路標識9を見ているか否かを判定する(ステップS504)。ステップS504の判定は、視認判定部504が行う。視認判定部504は、標識方向算出部502が算出した道路標識9の方向と、視線算出部503が算出した運転者8の視線の方向とを比較し、両者のずれが所定の角度閾値以下である場合に運転者8が道路標識9を見ていると判定する。運転者8が道路標識9を見ていると判定した場合(ステップS504;Yes)、視認判定システム1は、図9Bに示した処理を行う。
運転者8が道路標識9を見ていないと判定した場合(ステップS504;No)、視認判定システム1は、次に、注視時間情報の注視状態が「継続中」を表す値であるか否かを判定する(ステップS505)。ステップS505の判定は、視認判定部504が行う。視認判定部504は、ステップS501で読み出した注視時間情報及び作成した注視時間情報における注視状態が「継続中」を表す値(例えば「1」)であるか否かをチェックする。注視状態が「継続中」を表す値である場合(ステップS505;Yes)、視認判定システム1は、図9Cに示した処理を行う。
注視状態が「継続中」を表す値ではない場合(ステップS505;No)、視認判定システム1は、次に、道路標識9の検出時刻からの経過時間を算出し(ステップS506)、算出した経過時間が閾値以上であるか否かを判定する(ステップS507)。ステップS506及びS507の処理は、視認判定部504が行う。ステップS506において、視認判定部504は、道路標識9の検出時刻からの経過時間として、例えば現在の時刻と注視時間情報の検出時刻との差分を算出する。道路標識9の検出時刻からの経過時間が閾値以上である場合、運転者8がその道路標識9に気付いていない可能性が高い。そのため、道路標識9の検出時刻からの経過時間が閾値以上である場合(ステップS507;Yes)、視認判定システム1は、運転者8に対し前方(進行方向)に道路標識9があることを通知するメッセージを出力し(ステップS508)、注視判定処理を終了する。ステップS508の処理は、視認判定部504が行う。視認判定部504は、記憶部507のメッセージ507dから車両前方に道路標識9があることを通知するメッセージの音声信号を読み出してスピーカ6に送信する。
一方、道路標識9の検出時刻からの経過時間が閾値未満である場合(ステップS507;No)、視認判定システム1は、ステップS508の処理を行わずに注視判定処理を終了する。
標識探索部501において道路標識9を探索する際には、例えば車両7の前方100mを探索範囲とすることが考えられる。この場合、運転者8が視覚により道路標識9を見つける前に標識探索部501が道路標識9を検出する可能性が高い。すなわち、標識探索部501が道路標識9を検出した時点では、運転者8はまだその道路標識9を見ていない可能性が高い。そのため、本実施形態の注視判定処理では、道路標識9を検出してからの経過時間が閾値以上となった場合にメッセージを出力する。これにより、検出した道路標識9を運転者8がまだ見つけていない状態でのメッセージの出力頻度を抑制することができる。そのため、運転者8が視覚により道路標識9を探す負担を軽減しつつ、運転者8の見落とし等を防止することが可能となる。
次に、ステップS504において運転者8が道路標識9を見ていると判定した場合に視認判定システム1が行う処理について、図9Bを参照して説明する。
ステップS504において運転者8が道路標識9を見ていると判定した場合、前回の注視判定処理では運転者が当該道路標識をまだ見ていなかった場合と、1回以上前の注視判定処理のときから運転者が当該道路標識を見続けている場合との2通りが考えられる。そのため、ステップS504において運転者8が道路標識9を見ていると判定した場合(ステップS504;Yes)、判定処理システム1は、次に、図9Bに示すように、注視時間情報の注視状態が「継続中」を表す値であるか否かを判定する(ステップS511)。ステップS511の判定は、視認判定部504が行う。視認判定部504は、ステップS501で読み出した注視時間情報及び作成した注視時間情報における注視状態が「継続中」を表す値であるか否かをチェックする。ステップS511の判定において注視状態が「継続中」を表す値である場合、1回以上前の注視判定処理のときから運転者8が道路標識9を見続けていることを示している。すなわち、ステップS511の判定において注視状態が「継続中」を表す値ではない場合、今回の注視判定処理を行うタイミングで初めて運転者8が道路標識9を見たことを示している。したがって、注視状態が「継続中」を表す値ではない場合(ステップS511;No)、視認判定システム1は、次に、注視開始時刻を記録し注視状態を「継続中」を表す値に変更する(ステップS512)。
ステップS512の後、視認判定システム1は、視認度を推定する(ステップS513)。ステップS513の処理は、視認度推定部505が行う。視認度推定部505は、道路標識情報705aを用いて道路標識9についての視認度の推定値を算出する。視認度推定部505は、例えば、道路標識情報における文字数ncや図形形状ベクタ数nv等に基づいて算出した道路標識の複雑度が高いほど視認度が低くなるような数式により、視認度の推定値を算出する。
視認度の推定値を算出した後、視認判定システム1は、視認完了時間の推定値を算出して注視時間情報に記録する(ステップS514)。ステップS514の処理は、視認完了時間算出部506が行う。視認完了時間算出部506は、視認度推定部505が算出した視認度の推定値と、運転者8から道路標識9までの距離と、車両7の速度とに基づいて、運転者8が道路標識9の内容を認識するのに要する時間(視認完了時間)の推定値を算出する。視認完了時間算出部506が視認完了時間の推定値を注視時間情報に記録すると、視認判定システム1は、注視判定処理を終了する。以下、視認完了時間の推定値を単に視認完了時間ともいう。
一方、ステップS511の判定において注視状態が「継続中」を表す値である場合、上記のように、1回以上前の注視判定処理のときから運転者8が道路標識9を見続けていることを示している。したがって、注視状態が「継続中」を表す値である場合(ステップS511;Yes)、視認判定システム1は、次に、注視開始時刻からの経過時間を算出して更新する(ステップS515)。ステップS515の処理は、視認判定部504が行う。ステップS515の処理において、視認判定部504は、例えば、現在の時刻と注視時間情報の注視開始時刻との差分を算出し、注視時間情報の注視開始時刻からの経過時間を更新する。
ステップS515の処理の後、視認判定システム1は、算出した経過時間が視認完了時間以上であるか否かを判定する(ステップS516)。ステップS516の判定は、視認判定部504が行う。ステップS516の判定を行う時点では、運転者8は道路標識9を注視し続けているので、算出した経過時間が視認完了時間に到達していない場合、運転者8が道路標識9の内容を認識したか否かを判定することはできない。そのため、算出した経過時間が視認完了時間よりも短い場合(ステップS516;No)、視認判定システム1は、ステップS517及びS518の処理を行わずに注視判定処理を終了する。
算出した経過時間が視認完了時間以上である場合(ステップS516)、視認判定システム1は、次に、算出した経過時間と視認完了時間との差分値が閾値以上であるか否かを判定する(ステップS517)。算出した経過時間から視認完了時間を減じた値が正の値である場合、運転者8は、道路標識9の視認に要する時間が経過した後も道路標識9を見続けていることとなる。そのため、算出した経過時間から視認完了時間を減じた値が閾値以上である場合(ステップS517;Yes)、視認判定システム1は、例えば、運転者8に視線の移動を促すメッセージを出力し(ステップS518)、注視判定処理を終了する。ステップS518の処理は、例えば視認判定部504が行う。視認判定部504は、記憶部507のメッセージ507dから運転者8に視線の移動を促すメッセージの音声信号を読み出してスピーカ6に送信する。
次に、ステップS505において注視状態が「継続中」を表す値であると判定した場合に視認判定システム1が行う処理について、図9Cを参照して説明する。
ステップS505において注視状態が「継続中」を表す値であると判定した場合、運転者8は、前回の注視判定処理のときには道路標識9を見ていたが、今回の注視判定処理では道路標識9を見ていないこととなる。そのため、ステップS505において注視状態が「継続中」を表す値であると判定した場合(ステップS505;Yes)、視認判定システム1は、次に、図9Cに示すように、注視開始時刻からの経過時間及び視認完了時間を読み出す(ステップS521)。ステップS521の処理は、視認判定部504が行う。
ステップS521の処理の後、視認判定システム1は、注視開始時刻からの経過時間が視認完了時間以上であるか否かを判定する(ステップS522)。ステップS522の判定は、視認判定部504が行う。ステップS522の判定を行う時点では、運転者8は道路標識9を見ていない。そのため、読み出した経過時間が視認完了時間に到達していない場合、運転者8は道路標識9の内容を認識していないと考えられる。したがって、ステップS521で読み出した経過時間が視認完了時間よりも短い場合(ステップS522;No)、視認判定システム1は、運転者8に道路標識9を視認不足であることを通知するメッセージを出力する(ステップS523)。ステップS523の処理は、例えば視認判定部504が行う。視認判定部504は、記憶部507のメッセージ507dから運転者8に道路標識9の注視時間が短いことを通知するメッセージの音声信号を読み出してスピーカ6に送信する。その後、視認判定システム1は、注視状態を、完了を表す値(例えば「2」)に変更し(ステップS524)、注視判定処理を終了する。
一方、ステップS521で読み出した経過時間が視認完了時間以上である場合(ステップS522;Yes)、視認判定システム1は、ステップS523の処理を省略し、状態フラグを「判定完了」を表す値に変更し(ステップS524)、注視判定処理を終了する。
このように、本実施形態の注視判定処理では、道路標識9の複雑さや車両7から道路標識9までの距離等に基づいて、道路標識9毎に、運転者8が道路標識9の内容を認識するのに要する時間(視認完了時間)を推定する。そして、推定した視認完了時間と、運転者8が道路標識9の注視を開始した時刻からの経過時間との大小関係により運転者8が道路標識9の内容を認識したか否かを判定する。そのため、本実施形態の視認判定処理では、運転者の視線に基づいて運転者が道路標識を視認したか否かを判定する際の誤判定を低減することが可能となる。
図10は、道路標識の探索方法を説明する図である。車両前方の道路標識を探索する処理(ステップS3)では、図10に示すように、車両7の進行方向(ベクトルVcの方向)を中心として距離L以内であり、かつ水平面内で角度θの範囲内に存在する道路標識を探索する。この際、ステップS3の処理を行う標識探索部501は、まず、車両7の進行方向に設置されており、かつ車両7から距離L以内の道路標識を探索する。地面の座標系(xy座標系)における車両7の中心位置が座標(cx,cy)であり、道路標識の位置が座標(sx,sy)であるとすると、車両7から道路標識までの距離Lcsは、下記式(1)で与えられる。
Lcs={(sx−cx)2+(sy−cy)2}1/2 ・・・(1)
Lcs={(sx−cx)2+(sy−cy)2}1/2 ・・・(1)
この段階では、距離Lcsが距離Lよりも短い道路標識が全て検出対象となる。したがって、図10に示した例においては、3個の道路標識9C、9D、及び9Eが全て検出対象となる。ここで、道路標識の探索範囲を表す距離Lは、適宜変更可能な値であり、例えば100m程度に設定する。
次に、標識探索部501は、距離Lcsが距離Lよりも短い道路標識のなかから、車両7の進行方向を中心として水平面内で角度±θの範囲内に存在する道路標識を抽出する。車両7の進行方向を中心(0度)としたときの車両7の中心位置から道路標識に向かう方向の角度θcsは、例えば、車両7の進行方向のベクトルVcと、車両7の中心から道路標識に向かう方向のベクトルVcsとの内積により算出することが可能である。
すなわち、標識探索部501は、距離Lcsが距離Lよりも短い道路標識のなかから、角度θcsが角度θよりも小さい道路標識を抽出する。したがって、図10に示した例では、座標(sx0,sy0)に設置された道路標識9Cを除く他の道路標識9D及び9Eが抽出される。ここで、道路標識の探索範囲を表す角度±θは、適宜変更可能な値であり、例えば車両の進行方向を中心とする水平面内で±5度の範囲とする。
更に、標識探索部501は、車両7の進行方向の距離L以内であり、かつ水平面内で角度θの範囲内に存在する道路標識のなかから、車両7の運転者8に対して情報を提示する道路標識のみを抽出する。この際、標識探索部501は、例えば、各道路標識の向きに基づいて、車両7の運転者8に対して情報を提示する道路標識であるか否かを判定する。図10に示した例では、座標(sx1,sy1)に設置された道路標識9Dは、車両7の方向を向いている。一方、座標(sx2,sy2)に設置された道路標識9Eは車両7の方向とは反対の方向を向いている。このため、図10に示した例では、座標(sx1,sy1)に設置された道路標識9Dを、運転者8に対して情報を提示する道路標識であると判定する。よって、図10に示した例では、標識探索部501は、探索結果として、3個の道路標識9C、9D、及び9Eのうち1個の道路標識9Dの情報のみを標識方向算出部502等に送信する。
なお、ステップS3の処理においては、例えば、距離Lcsが距離Lよりも短い道路標識を抽出する段階で、車両7の運転者8に対して情報を提示する道路標識のみを抽出してもよい。
図11Aは、道路標識の方向と運転者の視線との重なりの判定方法を説明する図(その1)である。図11Bは、道路標識の方向と運転者の視線との重なりの判定方法を説明する図(その2)である。図11Cは、道路標識の方向と運転者の視線との重なりの判定方法を説明する図(その3)である。
ステップS504では、例えば、ステップS502で算出した道路標識の方向と、ステップS503で算出した運転者の視線の方向とが所定の角度範囲内であるか否かにより運転者8が道路標識9を見ているか否かを判定する。この際、道路標識の方向及び運転者の視線の方向は、例えば、水平面内の成分と、高さ方向の成分とに分けて、以下の要領で算出する。
水平面内の成分を算出する際には、まず、図11A及び図11Bに示すように、地面の座標系(xy座標系)における車両7の中心位置を座標(cx,cy)とし、道路標識の位置を座標(sx,sy)とする。また、図11Bに示すように、地面の座標系におけるy軸方向と車両7の進行方向とのなす角をθcとし、車両7の進行方向の単位ベクトルをVc=(cosθc,sinθc)とする。
また、運転席の位置は運転者8の頭部(視点の原点)と同一であるとし、車両7の中心位置を原点とするuv直交座標系における運転者8(運転席)の相対位置を(uh,vh)とする。更に、uv直交座標系における視線方向の単位ベクトルをVg=(cosθg,sinθg)とする。ここで、uv直交座標系は、車両進行方向をv軸の正の方向とし、v軸と直交し車両右方側をu軸の正の方向とする。
このとき、v軸は単位ベクトルVcと平行であり、u軸は単位ベクトルVcを−90度回転させたベクトル(sinθc,−cosθc)と平行である。よって、地面の座標系における運転者8の頭部を座標(hx,hy)とすると、座標(hx,hy)は、下記式(2−1)及び式(2−2)で与えられる。
hx=cx+uh・sinθc+vh・cosθc ・・・(2−1)
hy=cy+uh・(−cosθc)+vh・sinθc ・・・(2−2)
hx=cx+uh・sinθc+vh・cosθc ・・・(2−1)
hy=cy+uh・(−cosθc)+vh・sinθc ・・・(2−2)
したがって、地面の座標系における運転者8(運転席)から道路標識9までのベクトルVhs=(sx−hx,sy−hy)に式(2−1)及び式(2−2)を適用することで、uv座標系における単位ベクトルの成分を用いてベクトルVhsを表すことができる。
同様に、地面の座標系における視線方向のベクトルV=(Vx,Vy)は、uv座標系における単位ベクトルVgの成分を用いた下記式(3−1)及び式(3−2)で与えられる。
Vx=cosθg・sinθc+sinθg・cosθc ・・・(3−1)
Vy=sinθg・sinθc−cosθg・cosθc ・・・(3−2)
Vx=cosθg・sinθc+sinθg・cosθc ・・・(3−1)
Vy=sinθg・sinθc−cosθg・cosθc ・・・(3−2)
すなわち、標識方向算出部502は上記のベクトルVhsを算出し、視線方向算出部503は上記の視線方向のベクトルVを算出する。そして、視認判定部504は、例えば、これら2つのベクトルVhs及びVの内積を算出してベクトルの向きが略同一であるか否かを判定する。2つのベクトルの向きが同一である場合、これらの内積は0となる。そのため、ベクトルVhsとVとの内積が0又は0に近い閾値範囲内の値であるか否かにより、運転者8が道路標識9を見ているか否かを判定することができる。これにより、図11A及び図11Bに示した水平面内において運転者8が道路標識9を見ているか否かを判定することができる。
一方、高さ方向の成分を算出する際には、図11Cに示すように、水平面内における地面の座標系(xy座標系)の鉛直上方をz軸の正の方向とし、z軸方向における車両7の中心位置をcz、道路標識の中心位置をszとする。
ここで、上記の運転者8(運転席701)から道路標識9までのベクトルVhs=(sx−hx,sy−hy)を用いると、水平面(xy面)と垂直な面内における運転者8から道路標識9までの距離Lhsは、下記式(4)で与えられる。
Lhs={(sx−hx)2+(sy−hy)2}1/2 ・・・(4)
Lhs={(sx−hx)2+(sy−hy)2}1/2 ・・・(4)
また、運転者8が道路標識9の中心を見ている場合、地面RSからの運転者8の頭部の高さ(視線の原点の高さ)を地面RSから運転席701のヘッドレスト701hの高さzhとし、視線の高さ方向の角度(仰角)をθghとすると、下記式(5)が成り立つ。
tanθgh=(sz−zh)/Lhs ・・・(5)
tanθgh=(sz−zh)/Lhs ・・・(5)
したがって、例えば、式(5)の関係から算出した視線の角度θghと、瞳孔−角膜反射法を用いて算出した視線の角度との差分が所定の角度範囲内である場合には、運転者8が道路標識9を見ていると判定することができる。これにより、図11Cに示した高さ方向において運転者8が道路標識9を見ているか否かを判定することができる。
なお、ほとんどの車両7においては運転席701の位置が車両7の中心位置(cx,cy)ではないため、上記の説明ではオフセット(uh,vh)を加えて運転席701の位置を算出している。また、上記の説明では、運転席701の位置(ヘッドレスト701hの位置)を運転者8の頭部の位置(視線の原点)としている。しかしながら、運転者8の頭部の位置は、これに限らず、センサ等を用いてより正確な位置を割り出してもよいことはもちろんである。また、運転者8の体格の情報を保持しておき、その情報から頭部の位置を算出してもよい。また、本実施形態では、地面からの運転者8の頭部の高さ(視線の原点の高さ)を運転席のヘッドレスト701hの高さzhとしているが、これに限らず、別のセンサを用いて運転者8の視点の原点の高さを検出し、式(5)のzhの代わりに用いてもよい。なお、ここでは車両7と道路標識9が平坦な路面上にあるとしている。車両7が坂道を走行している場合は、路面の勾配(傾斜角度)を考慮することにより、高さ方向における運転者8の視線及び道路標識の方向を算出すればよい。
更に、上記の方法で運転者8が道路標識9を見ているか否かを判定する場合、例えば、道路標識9の表示面が向いている方向を考慮して判定してもよい。これにより、運転者8が道路標識9を見ているか否かをより正確に判定することが可能となる。
次に、視認度の推定値及び視認完了時間の算出方法について説明する。
視認度推定部505が算出する視認度の推定値は、上記のように、道路標識の複雑度が高いほど視認度が低くなるような数式により算出する。道路標識の複雑度Cは、例えば、下記式(6)を用いて算出する。
C=cnc・nc+cnw・nw+cnr・nr ・・・(6)
視認度推定部505が算出する視認度の推定値は、上記のように、道路標識の複雑度が高いほど視認度が低くなるような数式により算出する。道路標識の複雑度Cは、例えば、下記式(6)を用いて算出する。
C=cnc・nc+cnw・nw+cnr・nr ・・・(6)
式(6)におけるnc、nw、及びnrは、それぞれ、道路標識情報の文字数、単語数、及びルート数である。また、式(6)におけるcnc、cnw、及びcnrは、それぞれ、文字数、単語数、及びルート数に対する複雑度の重み係数である。複雑度の重み係数cnc、cnw、及びcnrは、実験、実測的に導いてもよい。 道路標識情報の文字数nc、単語数nw、及びルート数nrの値が大きいほど、道路標識9の内容は複雑になり、式(6)から得られる複雑度Cは大きな値となる。また、道路標識9の内容が複雑になるほど、運転者8は道路標識9の内容を短時間で認識することが難しくなる。そのため、視認度Uは、例えば、U=1/Cとする。
このようにして算出した視認度Uの値は、複雑度Cが低いほど大きな値となる。すなわち、視認度Uの値が大きいほど、運転者8は道路標識9を認識しやすく視認完了時間が短くなる。ところが、車両7から道路標識9までの距離が長いほど、運転者8には道路標識9が小さく見え認識しづらくなり視認完了時間が長くなる。それでも、車両7の速度が速いと短時間で道路標識9が大きく見えるようになり認識しづらい状況が改善される。よって、道路標識9の認識のしやすさに影響を与えるこれらの要因を加味し、視認完了時間Dtは、例えば、下記式(7)により算出する。
Dt=Kt×{Lhs/(U×Cv)} ・・・(7)
Dt=Kt×{Lhs/(U×Cv)} ・・・(7)
式(7)におけるLhs及びCvは、それぞれ、車両7から道路標識9までの距離及び車両7の速度である。また、式(7)におけるKtは、時間係数であり、実時間調整用の係数である。実験、実測的に導いてもよい。
図12は、視認度及び視認完了時間の算出例を示す図である。
図12の(a)には、ルート数が1である指定方向外進行禁止の道路標識9Fを示している。この道路標識9Fについての道路標識情報では、文字数nc及び単語数nwが0であり、ルート数nrが1である。そのため、式(6)における重み係数cnc、cnw、及びcnrを全て1として複雑度Cを算出し、当該複雑度Cを用いて視認度Uを算出すると、U=1.0となる。また、車両7の速度Cvを16m/s(=57.6km/h)、車両7の運転席から道路標識9までの距離Lhsを60mとし、時間係数Ktを0.03とすると、式(7)から視認完了時間Dtは0.11秒となる。
図12の(a)には、ルート数が1である指定方向外進行禁止の道路標識9Fを示している。この道路標識9Fについての道路標識情報では、文字数nc及び単語数nwが0であり、ルート数nrが1である。そのため、式(6)における重み係数cnc、cnw、及びcnrを全て1として複雑度Cを算出し、当該複雑度Cを用いて視認度Uを算出すると、U=1.0となる。また、車両7の速度Cvを16m/s(=57.6km/h)、車両7の運転席から道路標識9までの距離Lhsを60mとし、時間係数Ktを0.03とすると、式(7)から視認完了時間Dtは0.11秒となる。
図12の(b)には、ルート数が4である指定方向外進行禁止の道路標識9Aを示している。この道路標識9Aについての道路標識情報では、文字数nc及び単語数nwが0であり、ルート数nrが4である。そのため、式(6)における重み係数cnc、cnw、及びcnrを全て1として複雑度Cを算出し、当該複雑度Cを用いて視認度Uを算出すると、U=0.25となる。また、車両7の速度Cvを16m/s(=57.6km/h)、車両7の運転席から道路標識9までの距離Lhsを60mとし、時間係数Ktを0.03とすると、式(7)から視認完了時間Dtは0.45秒となる。このように、同じ指定方向外進行禁止の道路標識であってもルート数が多いほど複雑度Cが大きくなるため、同一条件における視認完了時間Dtはルート数の多い道路標識9Aのほうが長くなる。
また、図12の(c)には、案内標識の1種である、方面、方向及び道路の通称名の予告をする道路標識9Gを示している。この道路標識9Gでは、ルートを示す矢印が3方向に分岐しており、3方向のそれぞれに方面を表す文字が記載されている。また、この道路標識9Gでは、道路の通称名と、分岐点までの距離が記載されている。この道路標識9Gにおける文字数ncは、例えば「市ヶ谷(3文字)」、「池袋(2文字)」、「渋谷(2文字)」、「明治通り(4文字)」、及び「300m(4文字)」の合計15文字とする。また、単語数nwは5(市ヶ谷、池袋、渋谷、明治通り、及び300m)とする。更に、ルート数nrは3である。そのため、式(6)における重み係数cnc、cnw、及びcnrを全て1として複雑度Cを算出し、当該複雑度Cを用いて視認度Uを算出すると、U=0.043となる。また、車両の速度を16m/s(=57.6km/h)、車両の運転席から道路標識までの距離Lhsを60mとし、時間係数Ktを0.03とすると、式(7)から視認完了時間Dtは2.59秒となる。このように、ルート数が3であっても、文字数が多くなることにより複雑度Cが大きくなるため、同一条件における視認完了時間は文字の記載がない道路標識9A及び9Fに比べて長くなる。
以上のように、本実施形態に係る視認判定システム1は、車両7の前方(進行方向)に設置された道路標識9を検出すると、当該道路標識9の表示面に記載された内容に基づいて道路標識9の視認のしやすさを表す視認度を推定する。また、視認判定システム1は、推定した視認度、車両7の速度、及び車両7から道路標識9までの距離を用いて運転者8が道路標識9の内容を認識するのに要する時間(視認完了時間)を算出する。この際、視認判定システム1は、道路標識9の表面に記載された内容が複雑であるほど視認完了時間が長くなるよう視認度の推定値及び視認完了時間を算出する。そして、運転者8が道路標識9を連続して注視している時間が視認完了時間を超えた場合に、視認判定システム1は、運転者8が道路標識9の内容を認識したと判定する。言い換えると、道路標識9を連続して注視している時間が視認完了時間に到達する前に運転者8の視線が道路標識9から外れると、視認判定システム1は、運転者8が道路標識9の内容を正しく認識していないと判定する。このため、本実施形態の視認判定システム1によれば、運転者8が道路標識9の内容を正しく認識したか否かの判定精度を向上させることが可能となる。
また、視認判定システム1は、道路標識9を連続して注視している時間が視認完了時間を超えても運転者8が道路標識9を注視し続けている場合に運転者8に対しメッセージを出力する。そのため、運転者8が道路標識9を見続けて前方不注意となることを防ぐことが可能となる。
更に、視認判定システム1は、車両7の位置及び向きと、道路標識情報507aとに基づいて車両の進行方向に設置された道路標識9を検出し、検出した道路標識8を所定の時間内に運転者8が注視しない場合に運転者8に対しメッセージを出力する。そのため、例えば、木の枝等と重なって運転者8から見えづらい道路標識9を運転者8が見落とす可能性を低減することができる。
なお、本実施形態では道路標識9の文字数nc、単語数nw、及びルート数nrを用いて視認度Uを算出しているが、これに限らず、視認度Uは、図形形状ベクタ数nvや設置割合rtを含めて算出してもよい。
また、視認完了時間Dtを算出する際には、例えば、式(7)に、ハンドルの舵角、アクセルペダルの踏み込み量、ワイパースイッチ位置等に応じた係数を付加してもよい。例えば、車両7がカーブを走行している際や右折又は左折をする場合、車両の進行方向の安全を確認しつつ道路標識の内容を認識する必要があるため、直線を走行している際に比べて視認に要する時間が長くなると考えられる。そのため、視認完了時間を算出する際には、ハンドルの舵角の絶対値が大きくなるほど視認完了時間が長くなるような係数を付加してもよい。雨天時には雨量が多いほど車両前方の視界が低下し、道路標識の視認に要する時間が長くなると考えられる。また、雨量が多いほどワイパーの動作速度が速くなる(ワイパー位置の値が大きくなる)。そのため、視認完了時間を算出する際に、ワイパー位置の値が大きくなるほど視認完了時間が長くなるような係数を付加してもよい。
また、ステップS508、S518、及びS523は、運転者8に対するメッセージを出力するため、上記のようにスピーカ6を用いて音声で出力することが好ましい。しかしながら、上記の視認判定システム1における運転者8に対するメッセージは、音声に限らず、例えば、音の高さや発音パターンの異なるビープ音であってもよい。更に、スピーカ6を用いて音声やビープ音を出力する代わりに、ハンドル(ステアリングホイール)を振動させる、instrument panel(計器板)に設けたランプを点滅させる等の方法で運転者8に判定結果を通知してもよい。
[第2の実施形態]
図13は、第2の実施形態に係る道路標識視認判定システムの機能的構成を示す図である。図14は、第2の実施形態に係る道路標識視認判定システムの設置例を示す図である。
図13は、第2の実施形態に係る道路標識視認判定システムの機能的構成を示す図である。図14は、第2の実施形態に係る道路標識視認判定システムの設置例を示す図である。
図13に示すように、本実施形態に係る道路標識視認判定システム1は、位置情報取得部2と、視線情報取得部3と、車両状態取得部4と、情報処理装置5と、スピーカ6と、サーバ10と、を備える。
位置情報取得部2は、車両7の位置及び向きを含む車両7の位置情報を取得する。視線情報取得部3は、運転者8の視線の方向を算出するために必要な視線情報を取得する。車両状態取得部4は、車両7の速度、ハンドルの舵角等を含む車両7の状態を示す各種の情報を取得する。
情報処理装置5は、車両7についての位置情報及び車両状態と、運転者8の視線801の方向と、車両7の前方に設置された道路標識9についての情報と、に基づいて、運転者8が道路標識9の内容を認識したか否かを判定する。本実施形態に係る情報処理装置5は、第1の実施形態の情報処理装置5と同様、標識探索部501と、標識方向算出部502と、視線方向算出部503と、視認判定部504と、視認度推定部505と、視認完了時間算出部506と、記憶部507と、を備える。また、本実施形態の情報処理装置5は、通信部508を更に備える。通信部508は、インターネット等の通信ネットワーク11を介してサーバ10と通信し、サーバ10が保持する道路標識情報1001から所望の道路標識の情報を取得する。サーバ10の道路標識情報1001は、第1の実施形態で説明した道路標識情報507a(図3参照)と同様の情報を含む。
本実施形態の道路標識視認判定システム1は、図14に示すように、位置情報取得部2、視線情報取得部3、車両状態取得部4、情報処理装置5、及びスピーカ6が車両7に搭載される。そして、情報処理装置5は、通信ネットワーク11を介してサーバ10から道路標識情報を取得する。すなわち、本実施形態に係る視認判定システム1では、各車両7に搭載する個々の情報処理装置5の記憶部507に道路標識情報を記憶させる代わりに、サーバ10の道路標識情報1001を複数の情報処理装置5で共用する。
本実施形態の視認判定システム1が行う視認判定処理は、道路標識情報を記憶部507から読み出すかサーバ10から取得するかの違いを除けば、第1の実施形態で説明した処理と同じでよい。
本実施形態の視認判定システム1のようにサーバ10で道路標識情報1001を保持した場合、複数の情報処理装置5が同一の道路標識情報1001を用いて道路標識9の探索や視認度の推定を行うことが可能となる。そのため、道路標識9が新規に設置された場合や撤去された場合の道路標識情報の更新(書き換え)を含む道路標識情報の管理が容易となる。
[第3の実施形態]
図15は、第3の実施形態に係る道路標識視認判定システムの機能的構成を示す図である。
図15は、第3の実施形態に係る道路標識視認判定システムの機能的構成を示す図である。
図15に示すように、本実施形態に係る道路標識視認判定システム1は、位置情報取得部2と、視線情報取得部3と、車両状態取得部4と、情報処理装置5と、スピーカ6と、を備える。
位置情報取得部2は、車両の位置及び向きを含む車両の位置情報を取得する。視線情報取得部3は、運転者8の視線の方向を算出するために必要な視線情報を取得する。車両状態取得部4は、車両7の速度、ハンドルの舵角等を含む車両7の状態を示す各種の情報を取得する。
情報処理装置5は、車両7についての位置情報及び車両状態と、運転者8の視線801の方向と、車両7の前方に設置された道路標識9についての情報と、運転者情報と、に基づいて、運転者8が道路標識9の内容を認識したか否かを判定する。本実施形態の情報処理装置5は、第1の実施形態の情報処理装置5と同様、標識探索部501と、標識方向算出部502と、視線方向算出部503と、視認判定部504と、視認度推定部505と、視認完了時間算出部506と、記憶部507と、を備える。
なお、本実施形態の情報処理装置5における記憶部507には、道路標識情報507a、車両状態情報507b、注視時間情報507c、及びメッセージ507dに加え、運転者情報507eを記憶させる。
運転者情報507eは、視認完了時間と相関のある運転者8についての情報であり、例えば、運転者8の両眼視力等の情報を含む。この運転者情報507eは、視認完了時間算出部506において視認完了時間Dtを算出する際に用いる。両眼視力が高い運転者8は、例えば、車両7から道路標識9までの距離が長く道路標識9の見かけ寸法が小さい段階でも道路標識9の内容(文字や図形)を認識することが可能である。そのため、車両7から道路標識9までの距離及び道路標識9の内容を同一として両眼視力の異なる複数の運転者が道路標識の内容を認識する場合、両眼視力の高い運転者ほど道路標識の内容を短時間で認識することができると考えられる。よって、本実施形態では、運転者8の両眼視力を加味した下記式(8)を用いることで、各運転者8に適した視認完了時間Dtを算出する。
Dt=Ktv×{Lhs/(U×Cv×Vp)} ・・・(8)
Dt=Ktv×{Lhs/(U×Cv×Vp)} ・・・(8)
式(8)におけるVpは両眼視力である。式(8)におけるLhs及びCvは、それぞれ、車両7(運転者8)から道路標識9までの距離及び車両7の速度である。また、式(8)におけるKtvは、時間係数であり、実時間調整用の係数である。実験、実測的に導いてもよい。
このように、本実施形態の視認判定システム1は、運転者8の視力(両眼視力)を加味して各運転者8に適した視認完了時間を算出するため、運転者8が道路標識9の内容を正しく認識したか否かの判定精度をより向上させることが可能となる。
なお、視認完了時間Dtの算出に用いる運転者情報には、運転者の視力の他、例えば、運転者の年齢や運転暦、性別等を用いることができる。視認完了時間Dtの算出に運転者の年齢を用いる場合、例えば、若い運転者(運転暦の短い運転者)や高齢の運転者に対する視認完了時間Dtが、他の年代の運転者に対する視認完了時間よりも長くなるような係数を設定し、式(7)又は式(8)の右辺に乗算する。
また、本実施形態の視認判定システム1は、図15に示した構成に限らず、第2の実施形態で説明したように、情報処理装置5が通信ネットワーク11を介してサーバ10から道路標識情報を取得する構成であってもよい。
[第4の実施形態]
図16は、第4の実施形態に係る道路標識視認判定システムの機能的構成を示す図である。
図16は、第4の実施形態に係る道路標識視認判定システムの機能的構成を示す図である。
図16に示すように、本実施形態に係る道路標識視認判定システム1は、位置情報取得部2と、視線情報取得部3と、車両状態取得部4と、情報処理装置5と、スピーカ6と、物体検出センサ12と、を備える。
位置情報取得部2は、車両7の位置及び向きを含む車両7の位置情報を取得する。視線情報取得部3は、運転者8の視線の方向を算出するために必要な視線情報を取得する。車両状態取得部4は、車両7の速度、ハンドルの舵角等を含む車両7の状態を示す各種の情報を取得する。
情報処理装置5は、車両7についての位置情報及び車両状態と、運転者8の視線801の方向と、車両7の前方に設置された道路標識9についての情報と、に基づいて、運転者8が道路標識9の内容を認識したか否かを判定する。本実施形態の情報処理装置5は、第1の実施形態の情報処理装置5と同様、標識探索部501と、標識方向算出部502と、視線方向算出部503と、視認判定部504と、視認度推定部505と、視認完了時間算出部506と、記憶部507と、を備える。
物体検出センサ12は、車両前方(車両の進行方向)に存在する物体の位置や形状等を検出するセンサである。物体検出センサ12には、例えば、障害物の検知等に用いられるミリ波レーダ装置を用いることが可能である。
第1の実施形態における標識探索部501は、位置情報取得部2が取得した車両7の位置及び向きの情報と、道路標識情報507aの設置位置の情報とを用いて、車両7の進行方向に存在する道路標識9を探索している。
これに対し、本実施形態の視認判定システム1における標識探索部501は、物体検出センサ12による車両前方に存在する物体の検出結果を用いて、車両前方(進行方向)に存在する道路標識6を検出する。この際、標識探索部501は、物体検出センサ12の検出結果に基づいて実在する道路標識9及びその位置を検出することが可能である。また、標識探索部501は、物体検出センサ12の検出結果と、位置情報取得部2が取得した車両の位置及び向きの情報と、道路標識情報507aとを組み合わせて道路標識を検出することも可能である。
物体検出センサ12は、所定の範囲内に存在する物体の位置や形状等を検出するセンサである。そのため、物体検出センサ12を用いることにより、車両7の進行方向に存在する道路標識9の正確な位置を検出することが可能となる。したがって、本実施形態の視認判定システム1では、例えば、設置後に設置位置や向きが変更された道路標識9の現在の位置を検知することが可能となる。よって、道路標識情報507aに基づいて算出される道路標識9の方向と、実際の道路標識9の方向とのずれにより、運転者8が道路標識9を見ているにもかかわらず、視認判定部504が道路標識9を見ていないと判定する誤判定を抑制することが可能となる。
なお、本実施形態の視認判定システム1は、図16に示した構成に限らず、第2の実施形態で説明したように、情報処理装置5が通信ネットワーク11を介してサーバ10から道路標識情報を取得する構成であってもよい。
また、本実施形態の視認判定システム1は、第3の実施形態で説明した運転者情報507eも加味して視認完了時間Dtを算出する構成であってもよい。
[第5の実施形態]
図17は、第5の実施形態に係る道路標識視認判定システムの機能的構成を示す図である。
図17は、第5の実施形態に係る道路標識視認判定システムの機能的構成を示す図である。
図17に示すように、本実施形態に係る道路標識視認判定システム1は、位置情報取得部2と、視線情報取得部3と、車両状態取得部4と、情報処理装置5と、スピーカ6と、環境情報取得部13と、を備える。
位置情報取得部2は、車両7の位置及び向きを含む車両7の位置情報を取得する。視線情報取得部3は、運転者8の視線の方向を算出するために必要な視線情報を取得する。車両状態取得部4は、車両7の速度、ハンドルの舵角等を含む車両7の状態を示す各種の情報を取得する。
環境情報取得部13は、車両周辺の環境情報を取得する。環境センサ13が取得する環境情報は、視認完了時間と相関のある車両周辺の情報であり、例えば、車両周辺の明るさ(照度)に関する情報を含む。
情報処理装置5は、車両7についての位置情報及び車両状態と、運転者8の視線801の方向と、車両7の前方に設置された道路標識9についての情報と、環境情報と、に基づいて、運転者8が道路標識9の内容を認識したか否かを判定する。本実施形態に係る情報処理装置5は、第1の実施形態の情報処理装置5と同様、標識探索部501と、標識方向算出部502と、視線方向算出部503と、視認判定部504と、視認度推定部505と、視認完了時間算出部506と、記憶部507と、を備える。
なお、本実施形態の情報処理装置5における記憶部507には、道路標識情報507a、車両状態情報507b、注視時間情報507c、及びメッセージ507dに加え、環境情報取得部13により取得した環境情報507fを記憶させる。この環境情報507fは、視認完了時間算出部506において視認完了時間Dtを算出する際に用いる。曇りの日の日中は、車両7や道路標識9の周囲が適度に明るいため、運転者8が道路標識9を視認しやすい。これに対し、例えば、日没の前後や夜間は車両7や道路標識9の周囲が暗いため道路標識9を視認するのに時間がかかる可能性がある。本実施形態では、このような車両周囲の環境に応じた道路標識9の認識のしやすさを加味した下記式(9)を用いることで、周囲の環境に応じた視認完了時間Dtを算出する。
Dt=Ktv×{Lhs/(U×Cv×E)} ・・・(9)
Dt=Ktv×{Lhs/(U×Cv×E)} ・・・(9)
式(9)におけるEは周囲の明るさに基づいて設定された環境係数である。式(9)におけるLhs及びCvは、それぞれ、車両7(運転者8)から道路標識9までの距離及び車両7の速度である。また、式(9)におけるKtvは、時間係数であり、実時間調整用の係数である。実験、実測的に導いてもよい。
このように、本実施形態の視認判定システム1は、車両周囲の環境を加味して視認完了時間を算出するため、道路標識9の内容を運転者が正しく認識したか否かの判定精度を一層向上させることが可能となる。
なお、環境情報取得部13により取得する環境情報は、車両周辺の明るさに関する情報に限らず、例えば、車両周辺の天候、気温、湿度等を含む情報であってもよい。車両周辺の天候を含む環境情報を取得すると、例えば、霧等により視界が低下している場合に晴天時よりも道路標識9の視認完了時間を長くすることが可能となる。
また、本実施形態の視認判定システム1は、図17に示した構成に限らず、第2の実施形態で説明したように、情報処理装置5が通信ネットワーク11を介してサーバ10から道路標識情報を取得する構成であってもよい。
また、本実施形態の視認判定システム1は、第5の実施形態で説明した物体検出センサ12を含む構成であってもよい。
更に、本実施形態の視認判定システム1は、第3の実施形態で説明した運転者情報507eも加味して視認完了時間Dtを算出する構成であってもよい。
[第6の実施形態]
図18は、第6の実施形態に係る道路標識視認判定システムの機能的構成を示す図である。
図18は、第6の実施形態に係る道路標識視認判定システムの機能的構成を示す図である。
図18に示すように、本実施形態に係る道路標識視認判定システム1は、位置情報取得部2と、視線情報取得部3と、車両状態取得部4と、情報処理装置5と、スピーカ6と、を備える。
位置情報取得部2は、車両7の位置及び向きを含む車両7の位置情報を取得する。視線情報取得部3は、運転者8の視線の方向を算出するために必要な視線情報を取得する。車両状態取得部4は、車両7の速度、ハンドルの舵角等を含む車両7の状態を示す各種の情報を取得する。
情報処理装置5は、車両7についての位置情報及び車両状態と、運転者8の視線801の方向と、車両7の前方に設置された道路標識9についての情報と、に基づいて、運転者8が道路標識9の内容を認識したか否かを判定する。本実施形態の情報処理装置5は、第1の実施形態の情報処理装置5と同様、標識探索部501と、標識方向算出部502と、視線算出部503と、視認判定部504と、視認度推定部505と、視認完了時間算出部506と、記憶部507と、を備える。また、本実施形態の情報処理装置5は、補正係数算出部509を更に備える。補正係数算出部509は、視認完了時間算出部506において算出される視認完了時間に対して運転者の過去の道路標識の視認結果を加味した補正を行うための補正係数を算出する。また、補正係数算出部509は、算出した補正係数を含む補正情報507gを記憶部507に記憶させる。運転者の過去の道路標識の視認結果は、例えば、記憶部507の注視時間情報507cから抽出する。このため、本実施形態の情報処理装置5では、例えば、数日から数ヶ月分の注視時間情報507cを蓄積する。
補正係数算出部509は、予め定めた処理タイミングが到来すると、例えば、注視時間情報507cを読み出し、道路標識毎に注視開始時刻からの経過時間と視認完了時刻との差分値又は比を算出し、差分値又は比の平均値を算出する。補正係数算出部509は、算出した差分値又は比の平均値を補正係数とし、補正情報を記憶部507に記憶させる。差分値の平均値を算出した場合、補正係数算出部509は、例えば、式(7)、(8)、及び(9)等を用いて算出した視認完了時間Dtに補正係数を加算する、又は視認完了時間から補正係数を減算する補正を行うことを示す補正情報を記憶部507に記憶させる。また、比の平均値を算出した場合、補正係数算出部509は、例えば、式(7)等を用いて算出した視認完了時間に補正係数を乗算する補正を行うことを示す補正情報を記憶部507に記憶させる。
以後、視認完了時間算出部506は、式(7)等を用いて算出した視認完了時間に対し、記憶部507の補正情報507gに基づく補正を行い、補正後の視認完了時間を注視時間情報に記録する。これにより、運転者8が実際に道路標識の内容を認識するのに要する時間により近い視認完了時間を算出することが可能となる。そのため、運転者8の実際の視認完了時間と、式(7)等を用いて算出した視認完了時間とのずれによる視認判定部504での誤判定を低減することが可能となる。
なお、補正係数を算出する際には、注視時間情報507cに含まれる全ての情報を用いた平均値を算出する代わりに、例えば、標識分類毎の平均値を算出してもよい。また、補正係数を算出する際には、注視時間情報507cに含まれる道路標識の固体認識IDを用い、固体認識IDが同一の注視時間情報の出現頻度に応じて算出してもよい。固体認識IDの出現頻度の高い道路標識9がある場合、当該道路標識9が設置された道路を運転者8は頻繁に車両7で通行しており、道路標識9の位置や内容を把握していると考えられる。このような場合、運転者8が道路標識9を連続して注視する時間は短くなる傾向があるため、式(7)等を用いて算出した視認完了時間を短くするような補正係数を算出する。これにより、注視時間が不十分であるという誤判定を抑制することが可能となる。
また、本実施形態の視認判定システム1は、図18に示した構成に限らず、第2の実施形態で説明したように、情報処理装置5が通信ネットワーク11を介してサーバ10から道路標識情報を取得する構成であってもよい。
また、本実施形態の視認判定システム1は、第5の実施形態で説明した物体検出センサ12を含む構成であってもよい。
更に、本実施形態の視認判定システム1は、第3の実施形態で説明した運転者情報507eも加味して視認完了時間Dtを算出する構成であってもよい。
上記の第1〜第6の実施形態に係る視認判定システム1における情報処理装置5は、例えば、コンピュータと、当該コンピュータに実行させるプログラムとを用いて実現することが可能である。以下、コンピュータとプログラムとを用いて実現される情報処理装置5について、図19を参照して説明する。
図19は、コンピュータのハードウェア構成を示す図である。図19に示すように、コンピュータ15は、プロセッサ1501と、主記憶装置1502と、補助記憶装置1503と、入力装置1504と、表示装置1505と、インタフェース装置1506と、通信装置1507と、記憶媒体駆動装置1508と、を備える。コンピュータ15におけるこれらの要素1501〜1508は、バス1510により相互に接続されており、要素間でのデータの受け渡しが可能になっている。
プロセッサ1501は、Central Processing Unit(CPU)等の演算処理装置であり、オペレーティングシステムを含む各種のプログラムを実行することによりコンピュータ15の全体の動作を制御する。
主記憶装置1502は、図示しないRead Only Memory(ROM)及びRandom Access Memory(RAM)を含む。主記憶装置1502のROMには、例えばコンピュータ15の起動時にプロセッサ1501が読み出す所定の基本制御プログラム等が予め記録されている。また、主記憶装置1502のRAM は、プロセッサ1501が各種のプログラムを実行する際に、必要に応じて作業用記憶領域として使用する。主記憶装置1502のRAMは、例えば、車両状態情報507b、注視時間情報507c、標識探索部501が検出した道路標識についての情報等の記憶に利用可能である。
補助記憶装置1503は、Hard Disk Drive(HDD)やSolid State Drive(SSD)等の主記憶装置1502に比べて容量の大きい記憶装置である。補助記憶装置1503には、プロセッサ1501によって実行される各種のプログラムや各種のデータ等を記憶させることができる。補助記憶装置1503は、例えば、図8及び図9A〜図9Cの処理を含むプログラム等の記憶に利用可能である。また、補助記憶装置1503は、例えば、道路標識情報507a,メッセージ507d、注視時間情報507c、運転者情報507e等の記憶に利用可能である。
入力装置1504は、例えばキーボード装置やタッチパネル装置である。コンピュータ15のオペレータが入力装置1504に対し押下する等の操作を行うと、入力装置1504は、その操作内容に対応付けられている入力情報をプロセッサ1501に送信する。
表示装置1505は、例えば液晶ディスプレイである。表示装置1505は、プロセッサ1501等から送信される表示画像のデータに従って各種のテキスト画面、画像等を含む表示画像を表示する。
インタフェース装置1506は、コンピュータ15と他の電子装置等とを接続する装置であり、Universal Serial Bus(USB)規格のコネクタ等を備える。インタフェース装置1506によりコンピュータ15と接続可能な電子装置には、GPS受信機16、視線センサ17、車両状態取得装置18等がある。
通信装置1507は、インターネット等の通信ネットワーク11を介して他のコンピュータ等の外部装置と各種通信を行う装置である。
記憶媒体駆動装置1508は、図示しない可搬型記憶媒体に記録されているプログラムやデータの読み出し、補助記憶装置1503に記憶されたデータ等の可搬型記憶媒体への書き込みを行う。可搬型記憶媒体としては、例えば、USB規格のコネクタが備えられているフラッシュメモリが利用可能である。また、可搬型記憶媒体としては、Compact Disk(CD)、Digital Versatile Disc(DVD)、Blu-ray Disc(Blu-rayは登録商標)等の光ディスクも利用可能である。
コンピュータ15は、プロセッサ1501が補助記憶装置1503等から図8及び図9A〜図9Cの処理を含むプログラムを読み出し、道路標識の方向及び運転者の視線の方向の算出、視認完了時間の算出、運転者が道路標識を認識したか否かの判定等を行う。
なお、情報処理装置5として用いるコンピュータ15は、図19に示した全ての構成要素を含む必要はなく、用途や条件に応じて一部の構成要素を省略することも可能である。
また、コンピュータ15とプログラムとにより情報処理装置5を実現する場合、例えば、カーナビゲーションシステムの車載用コンピュータ等に図8及び図9A〜図9Cの処理を含むプログラムを実行させるようにすることも可能である。
更に、コンピュータ15とプログラムとにより情報処理装置5を実現する場合、注視時間情報507cの履歴を可搬型記録媒体或いは通信ネットワーク11を介して外部装置に転送し、当該外部装置で複数の運転者8の視認判定結果を管理することも可能である。このように外部装置により運転者8の視認判定結果を管理する場合、例えば、視認判定結果を運転者8に対する安全運転評価や運転指導等に利用可能である。
以上記載した各実施形態に関し、更に以下の付記を開示する。
(付記1)
車両の位置及び向きの情報を含む位置情報を取得する位置情報取得部と、
前記車両の運転者の視線の方向を含む視線情報を取得する視線情報取得部と、
前記車両の位置情報、及び前記道路標識情報に基づいて前記車両が走行する道路上に存在する道路標識を探索する標識探索部と、
前記標識探索部により検出された前記道路標識の内容に基づいて当該道路標識の複雑さを算出し、算出した前記道路標識の複雑さに応じた当該道路標識の視認度を推定する視認度推定部と、
前記運転者から前記道路標識までの距離を算出し、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離を用いて前記運転者による当該道路標識の認識に要する視認完了時間を算出する視認完了時間算出部と、
前記車両の位置情報と、前記道路標識情報と、前記視線情報とに基づいて前記運転者が前記道路標識を連続して注視している注視時間を算出し、前記注視時間と前記視認完了時間とに基づいて前記運転者が前記道路標識の内容を認識したか否かを判定する視認判定部と、を備える、
ことを特徴とする道路標識視認判定システム。
(付記2)
前記運転者による前記車両の運転状態を表す情報を含む車両状態情報を取得する車両状態取得部を更に備え、
前記視認完了時間算出部は、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記車両状態情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする付記1に記載の道路標識視認判定システム。
(付記3)
前記車両の前方に存在する物体を検出する物体検出センサを更に備え、
前記標識探索部は、前記車両の位置情報、前記道路標識情報、及び前記物体検出センサの検出結果に基づいて前記道路標識を探索する、
ことを特徴とする付記1に記載の道路標識視認判定システム。
(付記4)
前記視認完了時間算出部は、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記車両の運転者の視力を含む運転者情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする付記1に記載の道路標識視認判定システム。
(付記5)
前記車両の周辺の明るさを含む環境情報を取得する環境情報取得部を更に備え、
前記視認完了時間算出部は、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記環境情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする付記1に記載の道路標識視認判定システム。
(付記6)
前記視認判定部は、
前記車両の位置情報及び前記道路標識の設置位置を用いて算出した前記道路標識の方向と、前記視線情報を用いて算出した前記運転者の視線の方向とのなす角度が所定の角度範囲内である場合に前記運転者が前記道路標識を注視していると判定し、
前記運転者が前記道路標識を連続して注視している注視時間が前記視認完了時間以上になると前記運転者が前記道路標識の内容を認識したと判定する、
ことを特徴とする付記1に記載の道路標識視認判定システム。
(付記7)
前記運転者に対するメッセージを出力する出力部を更に備え、
前記視認判定部は、
前記注視時間が前記視認完了時間に到達する前に前記運転者の視線の方向が前記道路標識の方向とは異なる方向に変化した場合に、前記出力部を介して前記運転者に対するメッセージを出力する、
ことを特徴とする付記6に記載の道路標識視認判定システム。
(付記8)
前記運転者に対するメッセージを出力する出力部を更に備え、
前記視認判定部は、
前記注視時間から前記視認完了時間を減じた値が所定の閾値以上となった場合に、前記出力部を介して前記運転者に対するメッセージを出力する、
ことを特徴とする付記6に記載の道路標識視認判定システム。
(付記9)
前記運転者に対するメッセージを出力する出力部を更に備え、
前記視認判定部は、
前記道路標識を検出した時刻から所定の時間が経過するまでに前記運転者が前記道路標識の注視を開始しなかった場合に、前記出力部を介して前記運転者に対するメッセージを出力する、
ことを特徴とする付記6に記載の道路標識視認判定システム。
(付記10)
検出した前記道路標識毎の前記注視時間及び前記視認完了時間を含む注視時間情報を記憶させる記憶部と、
前記注視時間情報における前記注視時間と前記視認完了時間との差分に基づいて、前記視認完了時間算出部が算出する前記視認完了時間に対する補正係数を算出する補正係数算出部と、
を更に備えることを特徴とする付記1に記載の道路標識視認判定システム。
(付記11)
前記補正係数算出部は、前記注視時間情報における同一の前記道路標識の視認回数に基づいて、前記視認完了時間算出部が算出する前記視認完了時間に対する補正係数を算出する、
ことを特徴とする付記10に記載の道路標識視認判定システム。
(付記12)
前記標識探索部、前記視認度推定部、前記視認完了時間算出部、前記視認判定部、及び通信部を含む情報処理装置を備え、
当該情報処理装置は、前記通信部を介して外部装置が保持する前記道路標識情報を取得する、
ことを特徴とする付記1に記載の道路標識視認判定システム。
(付記13)
コンピュータが、
車両の位置及び向きの情報を含む位置情報を取得し、
前記車両の位置情報と、道路標識の内容及び設置位置を含む道路標識情報に基づいて前記車両が走行する道路上に存在する道路標識を検出し、
検出された前記道路標識の内容に基づいて当該道路標識の複雑さを算出し、算出した前記道路標識の複雑さに応じた当該道路標識の視認度を推定し、
前記運転者から前記道路標識までの距離を算出し、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離を用いて前記運転者による当該道路標識の視認に要する視認完了時間を算出し、
前記車両の運転者の視線の方向を含む視線情報を取得し、
前記車両の位置情報と、前記道路標識情報と、前記視線情報とに基づいて前記運転者が前記道路標識を連続して注視している注視時間を算出し、
前記注視時間と前記視認完了時間とに基づいて前記運転者が前記道路標識の内容を認識したか否かを判定する、処理を実行する、
ことを特徴とする道路標識視認判定方法。
(付記14)
前記コンピュータが、更に前記運転者による前記車両の運転状態を表す情報を含む車両状態情報を取得し、
前記視認完了時間を算出する処理では、前記コンピュータは、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記車両状態情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする付記13に記載の道路標識視認判定方法。
(付記15)
前記コンピュータが、更に物体検出センサにより検出された前記車両の前方に存在する物体の位置を含む情報を取得し、
前記道路標識を検出する処理では、前記コンピュータは、前記車両の位置情報、前記道路標識情報、及び前記物体検出センサの検出された前記物体の位置を含む前記情報に基づいて前記道路標識を検出する、
ことを特徴とする付記13に記載の道路標識視認判定方法。
(付記16)
前記視認完了時間を算出する処理では、前記コンピュータは、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記車両の運転者の視力を含む運転者情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする付記13に記載の道路標識視認判定方法。
(付記17)
前記コンピュータが、更に前記車両の周辺の明るさを含む環境情報を取得し、
前記視認完了時間を算出する処理では、前記コンピュータは、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記環境情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする付記13に記載の道路標識視認判定方法。
(付記18)
前記注視時間を算出する処理では、前記コンピュータは、前記車両の位置情報及び前記道路標識の設置位置を用いて算出した前記道路標識の方向と、前記視線情報を用いて算出した前記運転者の視線の方向とが所定の角度範囲内である場合に前記運転者が前記道路標識を注視していると判定し、
前記運転者が前記道路標識の内容を認識したか否かの判定では、前記コンピュータは、前記運転者が前記道路標識を連続して注視している注視時間が前記視認完了時間以上になると前記運転者が前記道路標識の内容を認識したと判定する、
ことを特徴とする付記13に記載の道路標識視認判定方法。
(付記19)
前記注視時間が前記視認完了時間に到達する前に前記運転者の視線の方向が前記道路標識の方向とは異なる方向に変化した場合に、前記コンピュータが、前記運転者に対するメッセージを出力する、処理を更に実行する、
ことを特徴とする付記18に記載の道路標識視認判定方法。
(付記20)
前記注視時間から前記視認完了時間を減じた値が所定の閾値以上となった場合に、前記コンピュータが、前記運転者に対するメッセージを出力する、処理を更に実行する、
ことを特徴とする付記18に記載の道路標識視認判定方法。
(付記21)
前記道路標識を検出した時刻から所定の時間が経過するまでに前記運転者が前記道路標識の注視を開始しなかった場合に、前記コンピュータが、前記運転者に対するメッセージを出力する、処理を更に実行する、
ことを特徴とする付記18に記載の道路標識視認判定方法。
(付記22)
前記コンピュータが、
検出した前記道路標識毎の前記注視時間及び前記視認完了時間を含む注視時間情報を記憶し、
前記注視時間情報における前記注視時間と前記視認完了時間との差分に基づいて、前記視認完了時間算出部が算出する前記視認完了時間に対する補正係数を算出する、処理を更に実行する、
ことを特徴とする付記13に記載の道路標識視認判定方法。
(付記23)
前記コンピュータは、前記道路標識を識別する識別情報を含む注視時間情報を記憶し、
前記補正係数を算出する処理では、前記コンピュータは、前記注視時間情報における同一の前記道路標識の視認回数に基づいて、前記補正係数を算出する、
ことを特徴とする付記22に記載の道路標識視認判定方法。
(付記24)
車両の位置及び向きの情報を含む位置情報を取得し、
前記車両の位置情報と、道路標識の内容及び設置位置を含む道路標識情報に基づいて前記車両が走行する道路上に存在する道路標識を検出し、
検出された前記道路標識の内容に基づいて当該道路標識の複雑さを算出し、算出した前記道路標識の複雑さに応じた当該道路標識の視認度を推定し、
前記運転者から前記道路標識までの距離を算出し、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離を用いて前記運転者による当該道路標識の視認に要する視認完了時間を算出し、
前記車両の運転者の視線の方向を含む視線情報を取得し、
前記車両の位置情報と、前記道路標識情報と、前記視線情報とに基づいて前記運転者が前記道路標識を連続して注視している注視時間を算出し、
前記注視時間と前記視認完了時間とに基づいて前記運転者が前記道路標識の内容を認識したか否かを判定する、
処理をコンピュータに実行させるためのプログラム。
(付記1)
車両の位置及び向きの情報を含む位置情報を取得する位置情報取得部と、
前記車両の運転者の視線の方向を含む視線情報を取得する視線情報取得部と、
前記車両の位置情報、及び前記道路標識情報に基づいて前記車両が走行する道路上に存在する道路標識を探索する標識探索部と、
前記標識探索部により検出された前記道路標識の内容に基づいて当該道路標識の複雑さを算出し、算出した前記道路標識の複雑さに応じた当該道路標識の視認度を推定する視認度推定部と、
前記運転者から前記道路標識までの距離を算出し、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離を用いて前記運転者による当該道路標識の認識に要する視認完了時間を算出する視認完了時間算出部と、
前記車両の位置情報と、前記道路標識情報と、前記視線情報とに基づいて前記運転者が前記道路標識を連続して注視している注視時間を算出し、前記注視時間と前記視認完了時間とに基づいて前記運転者が前記道路標識の内容を認識したか否かを判定する視認判定部と、を備える、
ことを特徴とする道路標識視認判定システム。
(付記2)
前記運転者による前記車両の運転状態を表す情報を含む車両状態情報を取得する車両状態取得部を更に備え、
前記視認完了時間算出部は、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記車両状態情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする付記1に記載の道路標識視認判定システム。
(付記3)
前記車両の前方に存在する物体を検出する物体検出センサを更に備え、
前記標識探索部は、前記車両の位置情報、前記道路標識情報、及び前記物体検出センサの検出結果に基づいて前記道路標識を探索する、
ことを特徴とする付記1に記載の道路標識視認判定システム。
(付記4)
前記視認完了時間算出部は、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記車両の運転者の視力を含む運転者情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする付記1に記載の道路標識視認判定システム。
(付記5)
前記車両の周辺の明るさを含む環境情報を取得する環境情報取得部を更に備え、
前記視認完了時間算出部は、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記環境情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする付記1に記載の道路標識視認判定システム。
(付記6)
前記視認判定部は、
前記車両の位置情報及び前記道路標識の設置位置を用いて算出した前記道路標識の方向と、前記視線情報を用いて算出した前記運転者の視線の方向とのなす角度が所定の角度範囲内である場合に前記運転者が前記道路標識を注視していると判定し、
前記運転者が前記道路標識を連続して注視している注視時間が前記視認完了時間以上になると前記運転者が前記道路標識の内容を認識したと判定する、
ことを特徴とする付記1に記載の道路標識視認判定システム。
(付記7)
前記運転者に対するメッセージを出力する出力部を更に備え、
前記視認判定部は、
前記注視時間が前記視認完了時間に到達する前に前記運転者の視線の方向が前記道路標識の方向とは異なる方向に変化した場合に、前記出力部を介して前記運転者に対するメッセージを出力する、
ことを特徴とする付記6に記載の道路標識視認判定システム。
(付記8)
前記運転者に対するメッセージを出力する出力部を更に備え、
前記視認判定部は、
前記注視時間から前記視認完了時間を減じた値が所定の閾値以上となった場合に、前記出力部を介して前記運転者に対するメッセージを出力する、
ことを特徴とする付記6に記載の道路標識視認判定システム。
(付記9)
前記運転者に対するメッセージを出力する出力部を更に備え、
前記視認判定部は、
前記道路標識を検出した時刻から所定の時間が経過するまでに前記運転者が前記道路標識の注視を開始しなかった場合に、前記出力部を介して前記運転者に対するメッセージを出力する、
ことを特徴とする付記6に記載の道路標識視認判定システム。
(付記10)
検出した前記道路標識毎の前記注視時間及び前記視認完了時間を含む注視時間情報を記憶させる記憶部と、
前記注視時間情報における前記注視時間と前記視認完了時間との差分に基づいて、前記視認完了時間算出部が算出する前記視認完了時間に対する補正係数を算出する補正係数算出部と、
を更に備えることを特徴とする付記1に記載の道路標識視認判定システム。
(付記11)
前記補正係数算出部は、前記注視時間情報における同一の前記道路標識の視認回数に基づいて、前記視認完了時間算出部が算出する前記視認完了時間に対する補正係数を算出する、
ことを特徴とする付記10に記載の道路標識視認判定システム。
(付記12)
前記標識探索部、前記視認度推定部、前記視認完了時間算出部、前記視認判定部、及び通信部を含む情報処理装置を備え、
当該情報処理装置は、前記通信部を介して外部装置が保持する前記道路標識情報を取得する、
ことを特徴とする付記1に記載の道路標識視認判定システム。
(付記13)
コンピュータが、
車両の位置及び向きの情報を含む位置情報を取得し、
前記車両の位置情報と、道路標識の内容及び設置位置を含む道路標識情報に基づいて前記車両が走行する道路上に存在する道路標識を検出し、
検出された前記道路標識の内容に基づいて当該道路標識の複雑さを算出し、算出した前記道路標識の複雑さに応じた当該道路標識の視認度を推定し、
前記運転者から前記道路標識までの距離を算出し、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離を用いて前記運転者による当該道路標識の視認に要する視認完了時間を算出し、
前記車両の運転者の視線の方向を含む視線情報を取得し、
前記車両の位置情報と、前記道路標識情報と、前記視線情報とに基づいて前記運転者が前記道路標識を連続して注視している注視時間を算出し、
前記注視時間と前記視認完了時間とに基づいて前記運転者が前記道路標識の内容を認識したか否かを判定する、処理を実行する、
ことを特徴とする道路標識視認判定方法。
(付記14)
前記コンピュータが、更に前記運転者による前記車両の運転状態を表す情報を含む車両状態情報を取得し、
前記視認完了時間を算出する処理では、前記コンピュータは、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記車両状態情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする付記13に記載の道路標識視認判定方法。
(付記15)
前記コンピュータが、更に物体検出センサにより検出された前記車両の前方に存在する物体の位置を含む情報を取得し、
前記道路標識を検出する処理では、前記コンピュータは、前記車両の位置情報、前記道路標識情報、及び前記物体検出センサの検出された前記物体の位置を含む前記情報に基づいて前記道路標識を検出する、
ことを特徴とする付記13に記載の道路標識視認判定方法。
(付記16)
前記視認完了時間を算出する処理では、前記コンピュータは、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記車両の運転者の視力を含む運転者情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする付記13に記載の道路標識視認判定方法。
(付記17)
前記コンピュータが、更に前記車両の周辺の明るさを含む環境情報を取得し、
前記視認完了時間を算出する処理では、前記コンピュータは、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記環境情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする付記13に記載の道路標識視認判定方法。
(付記18)
前記注視時間を算出する処理では、前記コンピュータは、前記車両の位置情報及び前記道路標識の設置位置を用いて算出した前記道路標識の方向と、前記視線情報を用いて算出した前記運転者の視線の方向とが所定の角度範囲内である場合に前記運転者が前記道路標識を注視していると判定し、
前記運転者が前記道路標識の内容を認識したか否かの判定では、前記コンピュータは、前記運転者が前記道路標識を連続して注視している注視時間が前記視認完了時間以上になると前記運転者が前記道路標識の内容を認識したと判定する、
ことを特徴とする付記13に記載の道路標識視認判定方法。
(付記19)
前記注視時間が前記視認完了時間に到達する前に前記運転者の視線の方向が前記道路標識の方向とは異なる方向に変化した場合に、前記コンピュータが、前記運転者に対するメッセージを出力する、処理を更に実行する、
ことを特徴とする付記18に記載の道路標識視認判定方法。
(付記20)
前記注視時間から前記視認完了時間を減じた値が所定の閾値以上となった場合に、前記コンピュータが、前記運転者に対するメッセージを出力する、処理を更に実行する、
ことを特徴とする付記18に記載の道路標識視認判定方法。
(付記21)
前記道路標識を検出した時刻から所定の時間が経過するまでに前記運転者が前記道路標識の注視を開始しなかった場合に、前記コンピュータが、前記運転者に対するメッセージを出力する、処理を更に実行する、
ことを特徴とする付記18に記載の道路標識視認判定方法。
(付記22)
前記コンピュータが、
検出した前記道路標識毎の前記注視時間及び前記視認完了時間を含む注視時間情報を記憶し、
前記注視時間情報における前記注視時間と前記視認完了時間との差分に基づいて、前記視認完了時間算出部が算出する前記視認完了時間に対する補正係数を算出する、処理を更に実行する、
ことを特徴とする付記13に記載の道路標識視認判定方法。
(付記23)
前記コンピュータは、前記道路標識を識別する識別情報を含む注視時間情報を記憶し、
前記補正係数を算出する処理では、前記コンピュータは、前記注視時間情報における同一の前記道路標識の視認回数に基づいて、前記補正係数を算出する、
ことを特徴とする付記22に記載の道路標識視認判定方法。
(付記24)
車両の位置及び向きの情報を含む位置情報を取得し、
前記車両の位置情報と、道路標識の内容及び設置位置を含む道路標識情報に基づいて前記車両が走行する道路上に存在する道路標識を検出し、
検出された前記道路標識の内容に基づいて当該道路標識の複雑さを算出し、算出した前記道路標識の複雑さに応じた当該道路標識の視認度を推定し、
前記運転者から前記道路標識までの距離を算出し、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離を用いて前記運転者による当該道路標識の視認に要する視認完了時間を算出し、
前記車両の運転者の視線の方向を含む視線情報を取得し、
前記車両の位置情報と、前記道路標識情報と、前記視線情報とに基づいて前記運転者が前記道路標識を連続して注視している注視時間を算出し、
前記注視時間と前記視認完了時間とに基づいて前記運転者が前記道路標識の内容を認識したか否かを判定する、
処理をコンピュータに実行させるためのプログラム。
1 道路標識視認判定システム
2 位置情報取得部
3 視線情報取得部
4 車両状態取得部
5 情報処理装置
501 標識探索部
502 標識方向算出部
503 視線方向算出部
504 視認判定部
505 視認度推定部
506 視認完了時間算出部
507 記憶部
507a,1001 道路標識情報
507b 車両状態情報
507c 注視時間情報
507d メッセージ
507e 運転者情報
507f 環境情報
507g 補正情報
508 通信部
509 補正係数算出部
6 スピーカ
7 車両
701 運転席
701h ヘッドレスト
702 ハンドル
703 アクセルペダル
704 ブレーキペダル
8 運転者
801 視線
9,9A,9B,9C,9D,9E,9F,9G 道路標識
900 根部
901,902,903 矢尻部
904 分岐部
910 十形部
911−1〜911−12 辺
10 サーバ
11 通信ネットワーク
12 物体検出センサ
15 コンピュータ
1501 プロセッサ
1502 主記憶装置
1503 補助記憶装置
1504 入力装置
1505 表示装置
1506 インタフェース装置
1507 通信装置
1508 記憶媒体駆動装置
1510 バス
16 GPS受信機
17 視線センサ
18 車両状態取得装置
2 位置情報取得部
3 視線情報取得部
4 車両状態取得部
5 情報処理装置
501 標識探索部
502 標識方向算出部
503 視線方向算出部
504 視認判定部
505 視認度推定部
506 視認完了時間算出部
507 記憶部
507a,1001 道路標識情報
507b 車両状態情報
507c 注視時間情報
507d メッセージ
507e 運転者情報
507f 環境情報
507g 補正情報
508 通信部
509 補正係数算出部
6 スピーカ
7 車両
701 運転席
701h ヘッドレスト
702 ハンドル
703 アクセルペダル
704 ブレーキペダル
8 運転者
801 視線
9,9A,9B,9C,9D,9E,9F,9G 道路標識
900 根部
901,902,903 矢尻部
904 分岐部
910 十形部
911−1〜911−12 辺
10 サーバ
11 通信ネットワーク
12 物体検出センサ
15 コンピュータ
1501 プロセッサ
1502 主記憶装置
1503 補助記憶装置
1504 入力装置
1505 表示装置
1506 インタフェース装置
1507 通信装置
1508 記憶媒体駆動装置
1510 バス
16 GPS受信機
17 視線センサ
18 車両状態取得装置
Claims (12)
- 車両の位置及び向きの情報を含む位置情報を取得する位置情報取得部と、
前記車両の運転者の視線の方向を含む視線情報を取得する視線情報取得部と、
前記車両の位置情報、及び前記道路標識情報に基づいて前記車両が走行する道路上に存在する道路標識を探索する標識探索部と、
前記標識探索部により検出された前記道路標識の内容に基づいて当該道路標識の複雑さを算出し、算出した前記道路標識の複雑さに応じた当該道路標識の視認度を推定する視認度推定部と、
前記運転者から前記道路標識までの距離を算出し、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離を用いて前記運転者による当該道路標識の視認に要する視認完了時間を算出する視認完了時間算出部と、
前記車両の位置情報と、前記道路標識情報と、前記視線情報とに基づいて前記運転者が前記道路標識を連続して注視している注視時間を算出し、前記注視時間と前記視認完了時間とに基づいて前記運転者が前記道路標識の内容を認識したか否かを判定する視認判定部と、を備える、
ことを特徴とする道路標識視認判定システム。 - 前記運転者による前記車両の運転状態を表す情報を含む車両状態情報を取得する車両状態取得部を更に備え、
前記視認完了時間算出部は、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記車両状態情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする請求項1に記載の道路標識視認判定システム。 - 前記車両の前方に存在する物体を検出する物体検出センサを更に備え、
前記標識探索部は、前記車両の位置情報、前記道路標識情報、及び前記物体検出センサの検出結果に基づいて前記道路標識を探索する、
ことを特徴とする請求項1に記載の道路標識視認判定システム。 - 前記視認完了時間算出部は、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記車両の運転者の視力を含む運転者情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする請求項1に記載の道路標識視認判定システム。 - 前記車両の周辺の明るさを含む環境情報を取得する環境情報取得部を更に備え、
前記視認完了時間算出部は、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離と、前記環境情報とに基づいて前記視認完了時間を算出する、
ことを特徴とする請求項1に記載の道路標識視認判定システム。 - 前記視認判定部は、
前記車両の位置情報及び前記道路標識の設置位置を用いて算出した前記道路標識の方向と、前記視線情報を用いて算出した前記運転者の視線の方向とが所定の角度範囲内である場合に前記運転者が前記道路標識を注視していると判定し、
前記運転者が前記道路標識を連続して注視している注視時間が前記視認完了時間以上になると前記運転者が前記道路標識の内容を認識したと判定する、
ことを特徴とする請求項1に記載の道路標識視認判定システム。 - 前記運転者に対するメッセージを出力する出力部を更に備え、
前記視認判定部は、
前記注視時間が前記視認完了時間に到達する前に前記運転者の視線の方向が前記道路標識の方向とは異なる方向に変化した場合に、前記出力部を介して前記運転者に対するメッセージを出力する、
ことを特徴とする請求項6に記載の道路標識視認判定システム。 - 検出した前記道路標識毎の前記注視時間及び前記視認完了時間を含む注視時間情報を記憶させる記憶部と、
前記注視時間情報における前記注視時間と前記視認完了時間との差分に基づいて、前記視認完了時間算出部が算出する前記視認完了時間に対する補正係数を算出する補正係数算出部と、
を更に備えることを特徴とする請求項1に記載の道路標識視認判定システム。 - 前記補正係数算出部は、前記注視時間情報における同一の前記道路標識の視認回数に基づいて、前記視認完了時間算出部が算出する前記視認完了時間に対する補正係数を算出する、
ことを特徴とする請求項8に記載の道路標識視認判定システム。 - 前記標識探索部、前記視認度推定部、前記視認完了時間算出部、前記視認判定部、及び通信部を含む情報処理装置を備え、
当該情報処理装置は、前記通信部を介して外部装置が保持する前記道路標識情報を取得する、
ことを特徴とする請求項1に記載の道路標識視認判定システム。 - コンピュータが、
車両の位置及び向きの情報を含む位置情報を取得し、
前記車両の位置情報と、道路標識の内容及び設置位置を含む道路標識情報に基づいて前記車両が走行する道路上に存在する道路標識を検出し、
検出された前記道路標識の内容に基づいて当該道路標識の複雑さを算出し、算出した前記道路標識の複雑さに応じた当該道路標識の視認度を推定し、
前記運転者から前記道路標識までの距離を算出し、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離を用いて前記運転者による当該道路標識の視認に要する視認完了時間を算出し、
前記車両の運転者の視線の方向を含む視線情報を取得し、
前記車両の位置情報と、前記道路標識情報と、前記視線情報とに基づいて前記運転者が前記道路標識を連続して注視している注視時間を算出し、
前記注視時間と前記視認完了時間とに基づいて前記運転者が前記道路標識の内容を認識したか否かを判定する、処理を実行する、
ことを特徴とする道路標識視認判定方法。 - 車両の位置及び向きの情報を含む位置情報を取得し、
前記車両の位置情報と、道路標識の内容及び設置位置を含む道路標識情報に基づいて前記車両が走行する道路上に存在する道路標識を検出し、
検出された前記道路標識の内容に基づいて当該道路標識の複雑さを算出し、算出した前記道路標識の複雑さに応じた当該道路標識の視認度を推定し、
前記運転者から前記道路標識までの距離を算出し、前記車両の速度、前記道路標識の視認度、及び算出した前記運転者から前記道路標識までの距離を用いて前記運転者による当該道路標識の視認に要する視認完了時間を算出し、
前記車両の運転者の視線の方向を含む視線情報を取得し、
前記車両の位置情報と、前記道路標識情報と、前記視線情報とに基づいて前記運転者が前記道路標識を連続して注視している注視時間を算出し、
前記注視時間と前記視認完了時間とに基づいて前記運転者が前記道路標識の内容を認識したか否かを判定する、
処理をコンピュータに実行させるためのプログラム。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015242859A JP2017111469A (ja) | 2015-12-14 | 2015-12-14 | 道路標識視認判定システム、道路標識視認判定方法、及びプログラム |
| US15/377,137 US20170166122A1 (en) | 2015-12-14 | 2016-12-13 | Warning system and method |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2015242859A JP2017111469A (ja) | 2015-12-14 | 2015-12-14 | 道路標識視認判定システム、道路標識視認判定方法、及びプログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2017111469A true JP2017111469A (ja) | 2017-06-22 |
Family
ID=59018333
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2015242859A Pending JP2017111469A (ja) | 2015-12-14 | 2015-12-14 | 道路標識視認判定システム、道路標識視認判定方法、及びプログラム |
Country Status (2)
| Country | Link |
|---|---|
| US (1) | US20170166122A1 (ja) |
| JP (1) | JP2017111469A (ja) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019091268A (ja) * | 2017-11-15 | 2019-06-13 | オムロン株式会社 | 脇見判定装置、脇見判定方法、およびプログラム |
| WO2020183652A1 (ja) * | 2019-03-13 | 2020-09-17 | 三菱電機株式会社 | 運転支援装置 |
| JP2020197952A (ja) * | 2019-06-03 | 2020-12-10 | 学校法人早稲田大学 | 状況認識推定システム及び運転支援システム |
| JP2021071917A (ja) * | 2019-10-31 | 2021-05-06 | 株式会社Jvcケンウッド | 運転支援装置、運転支援方法、及び運転支援プログラム |
| WO2021199557A1 (ja) * | 2020-03-31 | 2021-10-07 | パイオニア株式会社 | 標識評価装置、学習装置、標識評価方法、学習方法、及びプログラム |
| JP2022174052A (ja) * | 2018-01-19 | 2022-11-22 | 東海電子株式会社 | 運転用情報処理装置および運転用情報処理プログラム |
| JP2023115941A (ja) * | 2022-02-09 | 2023-08-22 | 日本電気株式会社 | 評価装置、評価システム、評価方法、およびプログラム |
| JPWO2024028985A1 (ja) * | 2022-08-02 | 2024-02-08 |
Families Citing this family (23)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6443063B2 (ja) * | 2015-01-15 | 2018-12-26 | 株式会社デンソー | 道路形状情報生成装置、道路形状情報集配システム及び道路形状情報生成プログラム |
| JP6468173B2 (ja) * | 2015-12-01 | 2019-02-13 | 株式会社デンソー | 運転支援装置 |
| JP6917708B2 (ja) * | 2016-02-29 | 2021-08-11 | 株式会社デンソー | 運転者監視システム |
| CN107340849A (zh) | 2016-04-29 | 2017-11-10 | 和鑫光电股份有限公司 | 移动装置及其护眼控制方法 |
| US10112505B2 (en) * | 2016-09-21 | 2018-10-30 | Intel Corporation | Occupant profiling system |
| JP6872959B2 (ja) * | 2017-04-20 | 2021-05-19 | パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカPanasonic Intellectual Property Corporation of America | 通信システム、車両搭載器及びプログラム |
| JP2019091267A (ja) * | 2017-11-15 | 2019-06-13 | オムロン株式会社 | 脇見判定装置、脇見判定方法、およびプログラム |
| JP7088136B2 (ja) * | 2018-08-31 | 2022-06-21 | 株式会社デンソー | 標示物認識システム及び標示物認識方法 |
| JP7159851B2 (ja) * | 2018-12-21 | 2022-10-25 | トヨタ自動車株式会社 | 運転支援装置、車両、情報提供装置、運転支援システム、及び運転支援方法 |
| CN109532701B (zh) * | 2018-12-21 | 2021-11-02 | 重庆长安汽车股份有限公司 | 一种汽车顶置摄像头及其控制方法 |
| JP7176398B2 (ja) * | 2018-12-21 | 2022-11-22 | トヨタ自動車株式会社 | 制御装置、車両、画像表示システム、及び画像表示方法 |
| US10891501B2 (en) * | 2019-01-28 | 2021-01-12 | Uber Technologies, Inc. | Automatically associating road sign information with road segments using image data |
| US11429185B2 (en) * | 2019-09-19 | 2022-08-30 | GM Global Technology Operations LLC | Apparatus and method for assessing occupant gazes |
| DE102020126679A1 (de) | 2020-10-12 | 2022-04-14 | Bayerische Motoren Werke Aktiengesellschaft | Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion in Abhängigkeit von einem Vorder-Fahrzeug |
| DE102020126682A1 (de) | 2020-10-12 | 2022-04-14 | Bayerische Motoren Werke Aktiengesellschaft | Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion unter Berücksichtigung des Haltelinienabstands |
| DE102020126675A1 (de) | 2020-10-12 | 2022-04-14 | Bayerische Motoren Werke Aktiengesellschaft | Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion im Anschluss an einem Anfahrvorgang |
| DE102020126670A1 (de) | 2020-10-12 | 2022-04-14 | Bayerische Motoren Werke Aktiengesellschaft | Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion in unterschiedlichen Modi |
| DE102020126673A1 (de) | 2020-10-12 | 2022-04-14 | Bayerische Motoren Werke Aktiengesellschaft | Fahrzeugführungssystem und Verfahren zur Ausgabe von Information in Bezug auf eine Signalisierungseinheit |
| DE102020126680A1 (de) | 2020-10-12 | 2022-04-14 | Bayerische Motoren Werke Aktiengesellschaft | Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion bei Betätigung des Fahrpedals |
| DE102020126676A1 (de) * | 2020-10-12 | 2022-04-14 | Bayerische Motoren Werke Aktiengesellschaft | Fahrzeugführungssystem und Verfahren zum Betreiben einer Fahrfunktion in Abhängigkeit von Fahrerdaten |
| DE102020126678A1 (de) | 2020-10-12 | 2022-04-14 | Bayerische Motoren Werke Aktiengesellschaft | Fahrzeugführungssystem und Verfahren zum automatisierten Anfahren eines Fahrzeugs |
| JP7683546B2 (ja) * | 2022-06-01 | 2025-05-27 | トヨタ自動車株式会社 | シートポジション推定装置、シートポジション推定方法及びシートポジション推定用コンピュータプログラム |
| CN117037538B (zh) * | 2023-07-31 | 2024-03-22 | 成都工业职业技术学院 | 一种小客车专用高速公路ags距离的确定系统 |
-
2015
- 2015-12-14 JP JP2015242859A patent/JP2017111469A/ja active Pending
-
2016
- 2016-12-13 US US15/377,137 patent/US20170166122A1/en not_active Abandoned
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2019091268A (ja) * | 2017-11-15 | 2019-06-13 | オムロン株式会社 | 脇見判定装置、脇見判定方法、およびプログラム |
| JP7352989B2 (ja) | 2018-01-19 | 2023-09-29 | 東海電子株式会社 | 運転用情報処理装置および運転用情報処理プログラム |
| JP2022174052A (ja) * | 2018-01-19 | 2022-11-22 | 東海電子株式会社 | 運転用情報処理装置および運転用情報処理プログラム |
| WO2020183652A1 (ja) * | 2019-03-13 | 2020-09-17 | 三菱電機株式会社 | 運転支援装置 |
| JPWO2020183652A1 (ja) * | 2019-03-13 | 2021-09-13 | 三菱電機株式会社 | 運転支援装置 |
| JP7105985B2 (ja) | 2019-03-13 | 2022-07-25 | 三菱電機株式会社 | 運転支援装置 |
| JP2020197952A (ja) * | 2019-06-03 | 2020-12-10 | 学校法人早稲田大学 | 状況認識推定システム及び運転支援システム |
| JP7432198B2 (ja) | 2019-06-03 | 2024-02-16 | 学校法人早稲田大学 | 状況認識推定システム及び運転支援システム |
| JP2021071917A (ja) * | 2019-10-31 | 2021-05-06 | 株式会社Jvcケンウッド | 運転支援装置、運転支援方法、及び運転支援プログラム |
| JP7331632B2 (ja) | 2019-10-31 | 2023-08-23 | 株式会社Jvcケンウッド | 運転支援装置、運転支援方法、及び運転支援プログラム |
| WO2021199557A1 (ja) * | 2020-03-31 | 2021-10-07 | パイオニア株式会社 | 標識評価装置、学習装置、標識評価方法、学習方法、及びプログラム |
| JP2023115941A (ja) * | 2022-02-09 | 2023-08-22 | 日本電気株式会社 | 評価装置、評価システム、評価方法、およびプログラム |
| JPWO2024028985A1 (ja) * | 2022-08-02 | 2024-02-08 | ||
| WO2024028985A1 (ja) * | 2022-08-02 | 2024-02-08 | 三菱電機株式会社 | 運転支援装置および運転支援方法 |
| JP7546820B2 (ja) | 2022-08-02 | 2024-09-06 | 三菱電機株式会社 | 運転支援装置および運転支援方法 |
Also Published As
| Publication number | Publication date |
|---|---|
| US20170166122A1 (en) | 2017-06-15 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2017111469A (ja) | 道路標識視認判定システム、道路標識視認判定方法、及びプログラム | |
| US10766498B2 (en) | Method, apparatus, and computer readable storage medium having instructions for controlling a display of an augmented reality display device for a transportation vehicle | |
| US10733462B2 (en) | Travel assistance device and computer program | |
| JP6486474B2 (ja) | 表示制御装置、表示装置及び表示制御方法 | |
| CN121214409A (zh) | 使用热图检测驾驶员注意力 | |
| EP2936240B1 (en) | Infotainment system | |
| US20200307616A1 (en) | Methods and systems for driver assistance | |
| US9827907B2 (en) | Drive assist device | |
| CN109849788B (zh) | 信息提供方法、装置及系统 | |
| JP6775188B2 (ja) | ヘッドアップディスプレイ装置および表示制御方法 | |
| KR102799709B1 (ko) | 경로 안내 장치 및 그 방법 | |
| US11878698B2 (en) | Display control device, display control method, and storage medium storing display control program | |
| US9285587B2 (en) | Window-oriented displays for travel user interfaces | |
| CN104584102A (zh) | 用于补充分配给对象的对象信息的方法和用于挑选车辆的环境中的对象的方法 | |
| JP2014181927A (ja) | 情報提供装置、及び情報提供プログラム | |
| JP2020035437A (ja) | 車両システム、車両システムで実行される方法、および運転者支援システム | |
| US10996469B2 (en) | Method and apparatus for providing driving information of vehicle, and recording medium | |
| JPWO2020105685A1 (ja) | 表示制御装置、方法、及びコンピュータ・プログラム | |
| JP2025089463A (ja) | 車載表示装置、方法およびプログラム | |
| JP2016078498A (ja) | 表示制御装置、表示システム | |
| JP2014219814A (ja) | 運転支援装置及びプログラム | |
| JP7111137B2 (ja) | 表示制御装置、および表示制御プログラム | |
| JP7105985B2 (ja) | 運転支援装置 | |
| JP6939147B2 (ja) | 走行情報案内装置及びコンピュータプログラム | |
| JP2010262478A (ja) | 車両制御システム及び安全確認判定装置 |