[go: up one dir, main page]

JP2008149786A - 車両用運転支援装置及び車両用運転支援システム - Google Patents

車両用運転支援装置及び車両用運転支援システム Download PDF

Info

Publication number
JP2008149786A
JP2008149786A JP2006337445A JP2006337445A JP2008149786A JP 2008149786 A JP2008149786 A JP 2008149786A JP 2006337445 A JP2006337445 A JP 2006337445A JP 2006337445 A JP2006337445 A JP 2006337445A JP 2008149786 A JP2008149786 A JP 2008149786A
Authority
JP
Japan
Prior art keywords
vehicle
image
specific object
driver
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006337445A
Other languages
English (en)
Inventor
Takanori Kume
孝則 久米
Teru Iyoda
輝 伊与田
Toshihiro Ishikawa
敏弘 石川
Haruhisa Kore
治久 是
Shota Kawamata
正太 川又
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2006337445A priority Critical patent/JP2008149786A/ja
Publication of JP2008149786A publication Critical patent/JP2008149786A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)

Abstract

【課題】運転の安全性を高いレベルで維持する。
【解決手段】車両用運転支援装置10は、自車両1の運転者の前方視界が前方車両2に遮られているかを判定する視界遮断判定器16aと、前方視界が前方車両2に遮られていると判定されたときに、前方車両2の前方画像を含む画像を取得する画像取得器16bと、取得された画像から、前方車両2に遮られて運転者が視認不可能でかつ運転者が視認すべき特定物を認識する特定物認識器16cと、認識された特定物を簡略化した簡略画像を読み出す画像読出し器16eと、読み出された簡略画像のみ表示するヘッドアップディスプレイ表示用装置17とを備えている。
【選択図】図1

Description

本発明は、車両用運転支援装置及び車両用運転支援システムに関するものである。
従来から、車載画像表示装置が知られている(例えば特許文献1参照)。この車載画像表示装置では、自車両の運転者の前方視界が前方車両(例えばトラック、バス等)に遮られているときに、その前方車両に遮られてその運転者が視認不可能な、前方車両の前方を撮影した前方画像を取得し、その画像を表示するようになっている。これにより、運転の安全性を維持することができる。
特開2004−114709号公報
しかしながら、上記車載画像表示装置では、前方画像をそのまま表示するので、その表示画像には、運転者が視認する必要がないものが多く含まれている。したがって、運転者は、その表示画像から運転者が視認すべき特定物(例えば車両、歩行者、信号機、交差点等)を認識しにくくなり、運転の安全性を高いレベルで維持することができないおそれがある。
本発明は、かかる点に鑑みてなされたものであり、その目的とするところは、運転の安全性を高いレベルで維持することにある。
第1の発明は、車両の運転を支援するための車両用運転支援装置であって、自車両の運転者の前方視界が前方車両に遮られているかを判定する視界遮断判定手段と、上記前方視界が上記前方車両に遮られていると判定されたときに、該前方車両の前方画像を含む画像を取得する画像取得手段と、上記取得された画像から、上記前方車両に遮られて上記運転者が視認不可能でかつ該運転者が視認すべき特定物を認識する特定物認識手段と、上記認識された特定物を簡略化した簡略画像を読み出す画像読出し手段と、上記読み出された簡略画像のみ表示する画像表示手段とを備えたことを特徴とするものである。
これにより、取得された、前方車両の前方画像を含む画像から、前方車両に遮られて自車両の運転者が視認不可能でかつその運転者が視認すべき特定物を認識し、その認識された特定物を簡略化した簡略画像を読み出し、その読み出された簡略画像のみ表示するので、運転者は、その表示画像からその特定物を容易に認識することができ、運転の安全性を高いレベルで維持することができる。
第2の発明は、上記第1の発明において、上記認識された特定物のうち上記自車両の最も近くに存在するものを抽出する特定物抽出手段をさらに備え、上記画像読出し手段は、上記抽出された特定物を簡略化した簡略画像を読み出すように構成されていることを特徴とするものである。
これにより、認識された特定物のうち自車両の最も近くに存在するものを抽出し、その抽出された特定物を簡略化した簡略画像を読み出し、その読み出された簡略画像のみ表示するので、運転者は、その表示画像からその特定物をより一層容易に認識することができ、運転の安全性をより一層高いレベルで維持することができる。
第3の発明は、上記第1の発明において、上記認識された特定物のうち上記自車両の周囲の所定範囲内に存在するものを抽出する特定物抽出手段をさらに備え、上記画像読出し手段は、上記抽出された特定物を簡略化した簡略画像を読み出すように構成されていることを特徴とするものである。
これにより、認識された特定物のうち自車両の周囲の所定範囲内に存在するものを抽出し、その抽出された特定物を簡略化した簡略画像を読み出し、その読み出された簡略画像のみ表示するので、運転者は、その表示画像からその特定物をより一層容易に認識することができ、運転の安全性をより一層高いレベルで維持することができる。
第4の発明は、上記第1〜3のいずれか1つの発明において、上記認識された特定物の状態に応じて上記簡略画像を変更する画像変更手段をさらに備えたことを特徴とするものである。
これにより、認識された特定物の状態に応じて簡略画像を変更するので、簡略画像を認識された特定物の状態に応じたものにすることができる。このため、運転者は、認識された特定物の状態を正確に認識することができる。
第5の発明は、上記第1〜4のいずれか1つの発明において、上記画像表示手段は、フロントウィンドウ上に表示するように構成されていることを特徴とするものである。
これにより、フロントウィンドウ上に表示するので、運転者の視認動作量を低減することができ、その負担を軽減することができる。
第6の発明は、上記第5の発明において、上記前方車両の背面の色に応じて上記簡略画像の色を変更する画像色補正手段をさらに備えたことを特徴とするものである。
これにより、前方車両の背面の色に応じて簡略画像の色を変更するので、簡略画像の色を前方車両の背面の色に応じたものにすることができる。このため、運転者は、簡略画像を容易に視認することができる。
第7の発明は、上記第1〜6のいずれか1つの発明において、上記画像取得手段は、上記画像を上記前方車両から車車間通信で取得するように構成されていることを特徴とするものである。
これにより、前方車両の前方画像を含む画像を前方車両から車車間通信で取得するので、その画像を容易に取得することができる。
第8の発明は、上記第1〜6のいずれか1つの発明において、上記画像取得手段は、上記画像を路側カメラから路車間通信で取得するように構成されていることを特徴とするものである。
これにより、前方車両の前方画像を含む画像を路側カメラから路車間通信で取得するので、その画像を容易に取得することができる。
第9の発明は、車両の運転を支援するための車両用運転支援システムであって、自車両の運転者の前方視界が前方車両に遮られているかを判定する視界遮断判定手段と、上記前方視界が上記前方車両に遮られていると判定されたときに、該前方車両の前方画像を含む画像を取得する画像取得手段と、上記取得された画像から、上記前方車両に遮られて上記運転者が視認不可能でかつ該運転者が視認すべき特定物を認識する特定物認識手段と、上記認識された特定物を簡略化した簡略画像を読み出す画像読出し手段と、上記読み出された簡略画像のみ表示する画像表示手段とを備えたことを特徴とするものである。
第10の発明は、車両の運転を支援するための車両用運転支援装置であって、自車両の運転者の前方視界が前方車両に遮られているかを判定する視界遮断判定手段と、上記前方視界が上記前方車両に遮られていると判定されたときに、該前方車両の前方画像を含む画像を取得する画像取得手段と、上記取得された画像から、上記前方車両に遮られて上記運転者が視認不可能でかつ該運転者が視認すべき特定物を認識する特定物認識手段と、上記認識された特定物の画像のみ表示する画像表示手段とを備えたことを特徴とするものである。
これにより、取得された、前方車両の前方画像を含む画像から、前方車両に遮られて自車両の運転者が視認不可能でかつその運転者が視認すべき特定物を認識し、その認識された特定物の画像のみ表示するので、運転者は、その表示画像からその特定物を容易に認識することができ、運転の安全性を高いレベルで維持することができる。
第11の発明は、車両の運転を支援するための車両用運転支援システムであって、自車両の運転者の前方視界が前方車両に遮られているかを判定する視界遮断判定手段と、上記前方視界が上記前方車両に遮られていると判定されたときに、該前方車両の前方画像を含む画像を取得する画像取得手段と、上記取得された画像から、上記前方車両に遮られて上記運転者が視認不可能でかつ該運転者が視認すべき特定物を認識する特定物認識手段と、上記認識された特定物の画像のみ表示する画像表示手段とを備えたことを特徴とするものである。
本発明によれば、取得された、前方車両の前方画像を含む画像から、前方車両に遮られて自車両の運転者が視認不可能でかつその運転者が視認すべき特定物を認識し、その認識された特定物を簡略化した簡略画像を読み出し、その読み出された簡略画像のみ表示するので、運転者は、その表示画像からその特定物を容易に認識することができ、運転の安全性を高いレベルで維持することができる。
別の発明によれば、取得された、前方車両の前方画像を含む画像から、前方車両に遮られて自車両の運転者が視認不可能でかつその運転者が視認すべき特定物を認識し、その認識された特定物の画像のみ表示するので、運転者は、その表示画像からその特定物を容易に認識することができ、運転の安全性を高いレベルで維持することができる。
以下、本発明の実施形態を図面に基づいて詳細に説明する。
(実施形態1)
図1は、本発明の実施形態に係る車両用運転支援装置10のブロック図であり、図2は、車両用運転支援装置10が搭載された車両1の概略平面図であり、図3は、車両用運転支援装置10が搭載された車両1の周辺の様子を示す側面図である。図3では、車両1の周辺車両を符号a、歩行者を符号h、信号機を符号s、各カメラ2a,3,11の撮影範囲を一点鎖線で表している。車両用運転支援装置10は、車両1の運転を支援するためのものであって、図1〜図3に示すように、カメラ11、車速センサ12、通信アンテナ13、GPSアンテナ14、記憶装置15、画像処理装置16、及びヘッドアップディスプレイ表示用装置17(画像表示手段に相当)を備えている。この画像処理装置16には、カメラ11、車速センサ12、通信アンテナ13、GPSアンテナ14、記憶装置15、及びヘッドアップディスプレイ表示用装置17が、信号の授受可能に接続されている。
上記カメラ11は、ステレオカメラからなり、自車両1の前方を撮影し、その前方画像を画像処理装置16へと発信する。
上記画像処理装置16は、視界遮断判定器16a(視界遮断判定手段に相当)、画像取得器16b(画像取得手段に相当)、特定物認識器16c(特定物認識手段に相当)、特定物抽出器16d(特定物抽出手段に相当)、画像読出し器16e(画像読出し手段に相当)、画像変更器16f(画像変更手段に相当)、及び画像色補正器16g(画像色補正手段に相当)を有している。
視界遮断判定器16aは、自車両1の運転者の前方視界が前方車両2(自車両1のすぐ前の車両。図3ではトラック)に遮られているかを判定する。具体的には、視界遮断判定器16aは、図4に示すように、カメラ11からの画像から自車両1の運転者の前方視界画像Vを抽出し、その前方視界画像Vから等距離面D(図4では斜線部分)を抽出し、その等距離面Dのその前方視界画像Vに対する面積占有率が所定値α(例えば80%)以上であるときに、自車両1の運転者の前方視界が前方車両2に遮られていると判定するようになっている。なお、自車両1の運転者の前方視界は、予め決められた範囲であったり、アイカメラ(図示せず)により検出された自車両1の運転者の視線に応じて決められた範囲であったりする。また、等距離面Dは、自車両1との距離が等しい前方車両2の背面であり、この距離は、カメラ11からの画像に基づき算出される。
上記画像取得器16bは、自車両1の運転者の前方視界が前方車両2に遮られていると判定されたときに、画像要求信号を通信アンテナ13を介して車外へと発信し、前方車両2の前方を撮影した前方画像を含む画像を取得する。画像取得器16bは、その画像を、その画像要求信号を受信した前方車両2から車車間通信で取得したり、その画像要求信号を受信した、道路上に設置された路側カメラ3(本実施形態ではステレオカメラ)から路車間通信で取得したりするようになっている。具体的には、前方車両2のカメラ2a(本実施形態ではステレオカメラ)によりその前方を撮影した画像(図3及び図5(a)参照。図5(a)の一点鎖線は撮影範囲)を、前方車両2及び自車両1の通信アンテナ2b,13を介して手に入れたり、路側カメラ3によりその後方を撮影した画像(図3及び図5(b)参照。図5(b)の一点鎖線は撮影範囲)を、路側カメラ3及び自車両1の通信アンテナ3a,13を介して手に入れたりする。なお、図5では、車両1の周辺車両を符号a、歩行者を符号h、信号機を符号s、交差点を符号iで表している。
上記特定物認識器16cは、画像取得器16bにより取得された画像から、前方車両2に遮られて自車両1の運転者がその一部又は全部を視認不可能でかつその運転者が運転中に視認すべき特定物をパターンマッチングで認識する。この特定物として、車両1の周辺車両a(二輪車を含む)、歩行者h、信号機s、及び交差点iがある。パターンマッチングは、記憶装置15に予め記憶されている、各特定物の基準パターンに基づき行われる。
上記特定物抽出器16dは、特定物認識器16cにより認識された各特定物のうち自車両1の最も近くに存在するものを抽出する。上記画像読出し器16eは、特定物抽出器16dにより抽出された各特定物を簡略化した簡略画像を読み出す。この簡略画像は、各特定物毎に記憶装置15に予め記憶されている。
上記画像変更器16fは、抽出された各特定物の実際の状態に応じて画像読出し器16eにより読み出された各簡略画像を変更する。上記画像色補正器16gは、前方車両2の背面の色に応じて、読み出された各簡略画像の色を変更する。具体的には、画像色補正器16gは、前方車両2の背面の色に応じて、各簡略画像の色を車両1の運転者が視認しやすいような色に変更する。
上記ヘッドアップディスプレイ表示用装置17は、各簡略画像のみフロントウィンドウ1a上における前方車両2の背面に対応(対向)する部分に表示する。ここで、各特定物を実画像で表示するのではなく、簡略画像で表示するので、たとえヘッドアップディスプレイ表示用装置17が低性能のものであっても、運転者は、その表示画像からそれらの各特定物を容易に認識することができ、ヘッドアップディスプレイ表示用装置17の低コスト化を図ることができる。簡略画像の表示位置は、その簡略画像に対応する特定物の実際の位置に応じて決定される。
−車両用運転支援装置の画像処理制御−
(全体)
以下、図6のフローチャートを参照しながら、車両用運転支援装置10の画像処理制御の全体について説明する。
ステップSA1では、車速センサ12を含む各種センサからの信号が入力される。ステップSA2では、自車1の前方画像を自車1のカメラ11から取得する。ステップSA3では、その自車1の前方画像から自車ドライバの視野領域画像V(図4参照)を切り出す。ステップSA4では、その自車ドライバの視野領域画像Vから等距離面D(図4参照)を抽出する。ステップSA5では、その等距離面Dのその視野領域画像Vに対する面積占有率を算出する。ステップSA6では、その面積占有率が所定値αよりも大きいか否かを判定する。ステップSA6の判定結果がYESの場合はステップSA7に進み、NOの場合はステップSA1にリターンする。
ステップSA7では、前方車両2の前方画像を含む画像を車車間通信又は路車間通信で取得する。ステップSA8では、その画像から、前方車両2に遮られて自車1の運転者が視認しにくくかつその運転者が運転中に視認する必要がある、前方車両2の向こう側に位置する特定物を認識できたか否かを判定する。ステップSA8の判定結果がYESの場合はステップSA9に進み、NOの場合はステップSA1にリターンする。
ステップSA9では、その認識された特定物から表示対象を抽出する。ステップSA10では、その表示対象の簡略画像をフロントウィンドウ1a上に表示する。その後、エンドする。
(表示対象抽出)
以下、図7のフローチャートを参照しながら、車両用運転支援装置10の表示対象抽出制御について説明する。
ステップSB1では、自車1の位置情報をGPSアンテナ14を介して取得する。ステップSB2では、ステップSA7で取得された画像が前方車両2からの画像であるか否かを判定する。ステップSB2の判定結果がYESの場合(つまり、前方車両2からの画像である場合)はステップSB3に進み、NOの場合(つまり、路側カメラ3からの画像である場合)はステップSB6に進む。
ステップSB3では、ステップSA8で認識された特定物の前方車両2との距離をステップSA7で取得された画像に基づき算出する。ステップSB4では、特定物に含まれている周辺車両aのうち、前方車両2との距離が最も近い(つまり、自車両1との距離が最も近い)周辺車両aを表示対象として抽出する(図5参照)。このとき、この周辺車両aのブレーキランプ及び方向指示器の点灯状態も検出する。ステップSB5では、特定物に含まれている歩行者h、信号機s、及び交差点iのうち、前方車両2との距離が最も近い歩行者h、信号機s、及び交差点iを表示対象として抽出する(図5参照)。このとき、歩行者hの移動方向、及び信号機sの点灯状態も検出する。その後、エンドする。
一方、ステップSB6では、路側カメラ3の位置情報を路車間通信で取得する。ステップSB7では、ステップSA8で認識された特定物の路側カメラ3との距離をステップSA7で取得された画像に基づき算出する。ステップSB8では、特定物の自車1との距離を、自車1の位置情報、路側カメラ3の位置情報、特定物の路側カメラ3との距離に基づき算出する。
ステップSB9では、ステップSA8で認識された特定物から、自車1との距離が、自車1前方の遮蔽物の自車1との距離(この距離は自車1で検出される)と近似する特定物(つまり、前方車両2)を抽出する。ステップSB10では、ステップSA8で認識された特定物から、ステップSB9で抽出された特定物を除外する。ステップSB11では、特定物に含まれている周辺車両aのうち、自車1との距離が最も近い周辺車両aを表示対象として抽出する(図5参照)。このとき、この周辺車両aのブレーキランプ及び方向指示器の点灯状態も検出する。ステップSB12では、特定物に含まれている歩行者h、信号機s、及び交差点iのうち、自車1との距離が最も近い歩行者h、信号機s、及び交差点iを表示対象として抽出する(図5参照)。このとき、歩行者hの移動方向、及び信号機sの点灯状態も検出する。その後、エンドする。
(簡略画像表示)
以下、図8及び図9のフローチャートを参照しながら、車両用運転支援装置10の簡略画像表示制御について説明する。
ステップSC1では、表示対象に信号機sが含まれているか否かを判定する。ステップSC1の判定結果がYESの場合はステップSC2に進み、NO場合はステップSC6に進む。
ステップSC2では、その信号機sの簡略画像を記憶装置15から読み出す。ステップSC3では、自車1との距離(又は前方車両2との距離)に応じてその簡略画像の大きさを補正する。具体的には、その距離が近いほど、その簡略画像の大きさを大きくし、その距離が遠いほど、その簡略画像の大きさを小さくする。ステップSC4では、等距離面D(つまり、前方車両2の背面)の色に応じてその簡略画像の信号機本体部の色を補正する。ステップSC5では、現実の信号機sの点灯状態に応じてその簡略画像を補正する。具体的には、青色点灯中の場合は、その簡略画像s´の左側の最も小さいランプの中の色を青色に(図10(a)参照)、黄色点灯中の場合は、中央の中ぐらいのランプの中の色を黄色に(図10(b)参照)、赤色点灯中の場合は、左側の最も大きいランプの中の色を赤色にする(図10(c)参照)。
ステップSC6では、表示対象に周辺車両aが含まれているか否かを判定する。ステップSC6の判定結果がYESの場合はステップSC13に進み、NO場合はステップSC7に進む。
ステップSC7では、その周辺車両aの簡略画像を記憶装置15から読み出す。ステップSC8では、自車1との距離(又は前方車両2との距離)に応じてその簡略画像の大きさを補正する。具体的には、その距離が近いほど、その簡略画像a´の大きさを大きくし(図11(a)参照)、その距離が遠いほど、その簡略画像a´の大きさを小さくする(図11(b)参照)。ステップSC9では、等距離面D(つまり、前方車両2の背面)の色に応じてその簡略画像の車両本体部の色を補正する。ステップSC10では、現実の周辺車両aのブレーキランプ又は方向指示器が点灯しているか否かを判定する。ステップSC10の判定結果がYESの場合はステップS11に進み、その簡略画像a´の車体本体部及びランプ部の少なくとも一方の色を濃く補正する(つまり、色の濃度を濃くする、又は色を濃い色にする。図12(a)参照)。一方、NOの場合はステップSC12に進み、その簡略画像a´の車体本体部及びランプ部の少なくとも一方の色を薄く補正する(つまり、色の濃度を薄くする、又は色を薄い色にする。図12(b)参照)。
ステップSC13では、表示対象に歩行者hが含まれているか否かを判定する。ステップSC13の判定結果がYESの場合はステップSC14に進み、NO場合はステップSC20に進む。
ステップSC14では、その歩行者hの簡略画像を記憶装置15から読み出す。ステップSC15では、自車1との距離(又は前方車両2との距離)に応じてその簡略画像の大きさを補正する。具体的には、その距離が近いほど、その簡略画像の大きさを大きくし、その距離が遠いほど、その簡略画像の大きさを小さくする。ステップSC16では、等距離面D(つまり、前方車両2の背面)の色に応じてその簡略画像の色を補正する。ステップSC17では、現実の歩行者hが現実の自車1の方向に向かって移動しているか否かを判定する。ステップSC17の判定結果がYESの場合(つまり、自車1の方向に向かって移動している場合)はステップSC18に進み、その簡略画像の色を濃く補正する(つまり、色の濃度を濃くする、又は色を濃い色にする)。一方、NOの場合(つまり、自車1の方向とは異なる方向に向かって移動している場合)はステップSC19に進み、その簡略画像の色を薄く補正する(つまり、色の濃度を薄くする、又は色を薄い色にする)。
ステップSC20では、表示対象に交差点iが含まれているか否かを判定する。ステップSC20の判定結果がYESの場合はステップSC21に進み、NO場合はステップSC24に進む。
ステップSC21では、その交差点iの簡略画像を記憶装置15から読み出す。ステップSC22では、自車1との距離(又は前方車両2との距離)に応じてその簡略画像の大きさを補正する。具体的には、その距離が近いほど、その簡略画像の大きさを大きくし、その距離が遠いほど、その簡略画像の大きさを小さくする。ステップSC23では、等距離面D(つまり、前方車両2の背面)の色に応じてその簡略画像の色を補正する。
ステップSC24では、各簡略画像をフロントウィンドウ1a上に表示する。この表示画像の例を図13に示す。図13では、周辺車両の簡略画像を符号a´、歩行者の簡略画像を符号h´、信号機の簡略画像を符号s´、交差点の簡略画像を符号i´で表している。
−効果−
以上により、本実施形態によれば、取得された、前方車両2の前方画像を含む画像から、前方車両2に遮られて自車両1の運転者が視認不可能でかつその運転者が視認すべき特定物を認識し、その認識された特定物を簡略化した簡略画像を読み出し、その読み出された簡略画像のみ表示するので、運転者は、その表示画像からその特定物を容易に認識することができ、運転の安全性を高いレベルで維持することができる。
また、認識された特定物のうち自車両1の最も近くに存在するものを抽出し、その抽出された特定物を簡略化した簡略画像を読み出し、その読み出された簡略画像のみ表示するので、運転者は、その表示画像からその特定物をより一層容易に認識することができ、運転の安全性をより一層高いレベルで維持することができる。
また、認識された特定物の状態に応じて簡略画像を変更するので、簡略画像を認識された特定物の状態に応じたものにすることができる。このため、運転者は、認識された特定物の状態を正確に認識することができる。
また、フロントウィンドウ1a上に表示するので、運転者の視認動作量を低減することができ、その負担を軽減することができる。
また、前方車両2の背面の色に応じて簡略画像の色を変更するので、簡略画像の色を前方車両2の背面の色に応じたものにすることができる。このため、運転者は、簡略画像を容易に視認することができる。
また、前方車両2の前方画像を含む画像を前方車両2から車車間通信で取得するので、その画像を容易に取得することができる。
また、前方車両2の前方画像を含む画像を路側カメラ3から路車間通信で取得するので、その画像を容易に取得することができる。
(実施形態2)
本実施形態では、特定物抽出器16dは、特定物認識器16cにより認識された各特定物のうち抽出エリア(自車両1の周囲の所定範囲に相当)内に存在するものを抽出する。その他の点に関しては、実施形態1とほぼ同様である。
−車両用運転支援装置の画像処理制御−
(表示対象抽出)
以下、図14のフローチャートを参照しながら、車両用運転支援装置10の表示対象抽出制御について説明する。
ステップSB1´では、自車1の位置情報をGPSアンテナ14を介して取得する。ステップSB2´では、ステップSA7で取得された画像が前方車両2からの画像であるか否かを判定する。ステップSB2´の判定結果がYESの場合(つまり、前方車両2からの画像である場合)はステップSB3´に進み、NOの場合(つまり、路側カメラ3からの画像である場合)はステップSB6´に進む。
ステップSB3´では、ステップSA8で認識された特定物の前方車両2との距離をステップSA7で取得された画像に基づき算出する。ステップSB4´では、自車速に対応する抽出エリアを算出する。具体的には、自車1を中心、自車速にある係数を乗じて得た値を半径とする、所定の円の範囲を抽出エリアとして求める。ステップSB5´では、特定物に含まれている周辺車両aのうち、その抽出エリア内に位置する周辺車両aを表示対象として抽出する(図5参照)。このとき、この周辺車両aのブレーキランプ及び方向指示器の点灯状態も検出する。ステップSB6´では、特定物に含まれている歩行者h、信号機s、及び交差点iのうち、その抽出エリア内に位置する歩行者h、信号機s、及び交差点iを表示対象として抽出する(図5参照)。このとき、歩行者hの移動方向、及び信号機sの点灯状態も検出する。その後、エンドする。
一方、ステップSB7´では、路側カメラ3の位置情報を路車間通信で取得する。ステップSB8´では、ステップSA8で認識された特定物の路側カメラ3との距離をステップSA7で取得された画像に基づき算出する。ステップSB9´では、特定物の自車1との距離を、自車1の位置情報、路側カメラ3の位置情報、特定物の路側カメラ3との距離に基づき算出する。
ステップSB10´では、ステップSA8で認識された特定物から、自車1との距離が、自車1前方の遮蔽物の自車1との距離(この距離は自車1で検出される)と近似する特定物(つまり、前方車両2)を抽出する。ステップSB11´では、ステップSA8で認識された特定物から、ステップSB9´で抽出された特定物を除外する。ステップSB12´では、自車速に対応する抽出エリアを算出する。具体的には、自車1を中心、自車速にある係数を乗じて得た値を半径とする、所定の円の範囲を抽出エリアとして求める。ステップSB13´では、特定物に含まれている周辺車両aのうち、その抽出エリア内に位置する周辺車両aを表示対象として抽出する(図5参照)。このとき、この周辺車両aのブレーキランプ及び方向指示器の点灯状態も検出する。ステップSB14´では、特定物に含まれている歩行者h、信号機s、及び交差点iのうち、その抽出エリア内に位置する歩行者h、信号機s、及び交差点iを表示対象として抽出する(図5参照)。このとき、歩行者hの移動方向、及び信号機sの点灯状態も検出する。その後、エンドする。
−効果−
以上により、本実施形態によれば、認識された特定物のうち自車両1の抽出エリア内に存在するものを抽出し、その抽出された特定物を簡略化した簡略画像を読み出し、その読み出された簡略画像のみ表示するので、運転者は、その表示画像からその特定物をより一層容易に認識することができ、運転の安全性をより一層高いレベルで維持することができる。
(その他の実施形態)
上記各実施形態では、認識された特定物のうち自車両1の最も近くに存在するものや自車両1の周囲の所定範囲内に存在するものを抽出し、その抽出された特定物を簡略化した簡略画像を読み出し、その読み出された簡略画像のみ表示しているが、これに限らず、例えば、認識された特定物を簡略化した簡略画像を読み出し、その読み出された簡略画像のみ表示しても良い。
また、上記各実施形態では、簡略画像をフロントウィンドウ1a上における前方車両2の背面に対応する部分に表示しているが、これに限らず、例えば、フロントウィンドウ1a上における前方車両2の背面に対応する部分以外の部分に表示したり、車内の表示装置(図示せず)に表示したりしても良い。
また、上記各実施形態では、特定物を自車両1で認識しているが、これに限らず、例えば、特定物を前方車両2や路側カメラ3で認識しても良い(車両用運転支援システムに相当)。
また、上記各実施形態では、認識された特定物を簡略化した簡略画像を読み出し、その読み出された簡略画像のみ表示しているが、その認識された特定物の実画像のみ表示しても良い。これにより、取得された、前方車両2の前方画像を含む画像から、前方車両2に遮られて自車両1の運転者が視認不可能でかつその運転者が視認すべき特定物を認識し、その認識された特定物の実画像のみ表示するので、運転者は、その表示画像からその特定物を容易に認識することができ、運転の安全性を高いレベルで維持することができる。この場合も、その認識された特定物のうち自車両1の最も近くに存在するものや自車両1の周囲の所定範囲内に存在するものを抽出したり、車内の表示装置に表示したり、特定物を前方車両2や路側カメラ3で認識したりしても良い。
また、上記各実施形態では、自車両1のカメラ11、前方車両2のカメラ2a、及び路側カメラ3をステレオカメラで構成しているが、これに限らず、例えば、普通のカメラで構成しても良い。この場合、自車両1のカメラ11からの画像から自車両1の運転者の前方視界画像Vを抽出し、その前方視界画像Vから単一面を抽出し、その単一面のその前方視界画像Vに対する面積占有率が所定値α以上であるときに、自車両1の運転者の前方視界が前方車両2に遮られていると判定するようになっている。この単一面は、色が同一の前方車両2の背面であり、カメラ11からの画像に基づき決定される。
本発明は、実施形態に限定されず、その精神又は主要な特徴から逸脱することなく他の色々な形で実施することができる。
このように、上述の実施形態はあらゆる点で単なる例示に過ぎず、限定的に解釈してはならない。本発明の範囲は請求の範囲によって示すものであって、明細書本文には何ら拘束されない。さらに、請求の範囲の均等範囲に属する変形や変更は、全て本発明の範囲内のものである。
以上説明したように、本発明にかかる車両用運転支援装置は、運転の安全性を高いレベルで維持する用途等に適用できる。
本発明の実施形態に係る車両用運転支援装置のブロック図である。 車両用運転支援装置が搭載された車両の概略平面図である。 車両用運転支援装置が搭載された車両の周辺の様子を示す側面図である。 車両の運転者の前方視界を示す図である。 車両用運転支援装置が搭載された車両の周辺の様子を示す概略平面図であり、(a)は、前方車両のカメラの撮影範囲を示す図であり、(b)は、路側カメラの撮影範囲を示す図である。 車両用運転支援装置の画像処理制御の全体のフローチャートである。 車両用運転支援装置の表示対象抽出制御のフローチャートである。 車両用運転支援装置の簡略画像表示制御の一部のフローチャートである。 車両用運転支援装置の簡略画像表示制御の一部のフローチャートである。 信号機の簡略画像を示す図であり、(a)は、信号機が青色点灯中の場合の図であり、(b)は、信号機が黄色点灯中の場合の図であり、(c)は、信号機が赤色点灯中の場合の図である。 周辺車両の簡略画像を示す図であり、(a)は、距離が近い場合の図であり、(b)は、距離が遠い場合の図である。 周辺車両の簡略画像を示す図であり、(a)は、ブレーキランプ又は方向指示器が点灯中の場合の図であり、(b)は、ブレーキランプ又は方向指示器が点灯していない場合の図である。 簡略画像をフロントウィンドウ上に表示した様子を示す図である。 車両用運転支援装置の表示対象抽出制御のフローチャートである。
符号の説明
1 車両(自車両)
1a フロントウィンドウ
2 前方車両
3 路側カメラ
10 車両用運転支援装置
16 画像処理装置
16a 視界遮断判定器(視界遮断判定手段)
16b 画像取得器(画像取得手段)
16c 特定物認識器(特定物認識手段)
16d 特定物抽出器(特定物抽出手段)
16e 画像読出し器(画像読出し手段)
16f 画像変更器(画像変更手段)
16g 画像色補正器(画像色補正手段)
17 ヘッドアップディスプレイ表示用装置(画像表示手段)
a 周辺車両
h 歩行者
s 信号機
i 交差点
a´ 周辺車両の簡略画像
h´ 歩行者の簡略画像
s´ 信号機の簡略画像
i´ 交差点の簡略画像

Claims (11)

  1. 車両の運転を支援するための車両用運転支援装置であって、
    自車両の運転者の前方視界が前方車両に遮られているかを判定する視界遮断判定手段と、
    上記前方視界が上記前方車両に遮られていると判定されたときに、該前方車両の前方画像を含む画像を取得する画像取得手段と、
    上記取得された画像から、上記前方車両に遮られて上記運転者が視認不可能でかつ該運転者が視認すべき特定物を認識する特定物認識手段と、
    上記認識された特定物を簡略化した簡略画像を読み出す画像読出し手段と、
    上記読み出された簡略画像のみ表示する画像表示手段とを備えたことを特徴とする車両用運転支援装置。
  2. 請求項1記載の車両用運転支援装置において、
    上記認識された特定物のうち上記自車両の最も近くに存在するものを抽出する特定物抽出手段をさらに備え、
    上記画像読出し手段は、上記抽出された特定物を簡略化した簡略画像を読み出すように構成されていることを特徴とする車両用運転支援装置。
  3. 請求項1記載の車両用運転支援装置において、
    上記認識された特定物のうち上記自車両の周囲の所定範囲内に存在するものを抽出する特定物抽出手段をさらに備え、
    上記画像読出し手段は、上記抽出された特定物を簡略化した簡略画像を読み出すように構成されていることを特徴とする車両用運転支援装置。
  4. 請求項1〜3のいずれか1つに記載の車両用運転支援装置において、
    上記認識された特定物の状態に応じて上記簡略画像を変更する画像変更手段をさらに備えたことを特徴とする車両用運転支援装置。
  5. 請求項1〜4のいずれか1つに記載の車両用運転支援装置において、
    上記画像表示手段は、フロントウィンドウ上に表示するように構成されていることを特徴とする車両用運転支援装置。
  6. 請求項5記載の車両用運転支援装置において、
    上記前方車両の背面の色に応じて上記簡略画像の色を変更する画像色補正手段をさらに備えたことを特徴とする車両用運転支援装置。
  7. 請求項1〜6のいずれか1つに記載の車両用運転支援装置において、
    上記画像取得手段は、上記画像を上記前方車両から車車間通信で取得するように構成されていることを特徴とする車両用運転支援装置。
  8. 請求項1〜6のいずれか1つに記載の車両用運転支援装置において、
    上記画像取得手段は、上記画像を路側カメラから路車間通信で取得するように構成されていることを特徴とする車両用運転支援装置。
  9. 車両の運転を支援するための車両用運転支援システムであって、
    自車両の運転者の前方視界が前方車両に遮られているかを判定する視界遮断判定手段と、
    上記前方視界が上記前方車両に遮られていると判定されたときに、該前方車両の前方画像を含む画像を取得する画像取得手段と、
    上記取得された画像から、上記前方車両に遮られて上記運転者が視認不可能でかつ該運転者が視認すべき特定物を認識する特定物認識手段と、
    上記認識された特定物を簡略化した簡略画像を読み出す画像読出し手段と、
    上記読み出された簡略画像のみ表示する画像表示手段とを備えたことを特徴とする車両用運転支援システム。
  10. 車両の運転を支援するための車両用運転支援装置であって、
    自車両の運転者の前方視界が前方車両に遮られているかを判定する視界遮断判定手段と、
    上記前方視界が上記前方車両に遮られていると判定されたときに、該前方車両の前方画像を含む画像を取得する画像取得手段と、
    上記取得された画像から、上記前方車両に遮られて上記運転者が視認不可能でかつ該運転者が視認すべき特定物を認識する特定物認識手段と、
    上記認識された特定物の画像のみ表示する画像表示手段とを備えたことを特徴とする車両用運転支援装置。
  11. 車両の運転を支援するための車両用運転支援システムであって、
    自車両の運転者の前方視界が前方車両に遮られているかを判定する視界遮断判定手段と、
    上記前方視界が上記前方車両に遮られていると判定されたときに、該前方車両の前方画像を含む画像を取得する画像取得手段と、
    上記取得された画像から、上記前方車両に遮られて上記運転者が視認不可能でかつ該運転者が視認すべき特定物を認識する特定物認識手段と、
    上記認識された特定物の画像のみ表示する画像表示手段とを備えたことを特徴とする車両用運転支援システム。
JP2006337445A 2006-12-14 2006-12-14 車両用運転支援装置及び車両用運転支援システム Pending JP2008149786A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006337445A JP2008149786A (ja) 2006-12-14 2006-12-14 車両用運転支援装置及び車両用運転支援システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006337445A JP2008149786A (ja) 2006-12-14 2006-12-14 車両用運転支援装置及び車両用運転支援システム

Publications (1)

Publication Number Publication Date
JP2008149786A true JP2008149786A (ja) 2008-07-03

Family

ID=39652467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006337445A Pending JP2008149786A (ja) 2006-12-14 2006-12-14 車両用運転支援装置及び車両用運転支援システム

Country Status (1)

Country Link
JP (1) JP2008149786A (ja)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103661103A (zh) * 2012-09-03 2014-03-26 现代摩比斯株式会社 前方影像提供方法及显示装置
JP2014206888A (ja) * 2013-04-15 2014-10-30 本田技研工業株式会社 車両の運転支援装置
WO2015177864A1 (ja) * 2014-05-20 2015-11-26 日産自動車株式会社 信号機認識装置及び信号機認識方法
WO2016006029A1 (ja) * 2014-07-08 2016-01-14 日産自動車株式会社 信号機検出装置及び信号機検出方法
JP2016112984A (ja) * 2014-12-12 2016-06-23 日本精機株式会社 車両用虚像表示システム、ヘッドアップディスプレイ
JP2017126263A (ja) * 2016-01-15 2017-07-20 株式会社デンソー 運転支援装置、および運転支援方法
CN108875658A (zh) * 2018-06-26 2018-11-23 大陆汽车投资(上海)有限公司 一种基于v2x通讯设备的对象识别方法
WO2019107295A1 (ja) * 2017-11-30 2019-06-06 日本精機株式会社 ヘッドアップディスプレイ装置
JP2019206262A (ja) * 2018-05-29 2019-12-05 日本精機株式会社 表示装置
JP2020126478A (ja) * 2019-02-05 2020-08-20 株式会社デンソー 表示制御装置及び表示制御プログラム
JP2021086469A (ja) * 2019-11-29 2021-06-03 株式会社Jvcケンウッド 車載表示装置、車載表示システム、車載表示装置の制御方法、及び車載表示装置の制御プログラム
CN113168767A (zh) * 2018-11-30 2021-07-23 索尼集团公司 信息处理设备、信息处理系统和信息处理方法
JPWO2021199329A1 (ja) * 2020-03-31 2021-10-07
JP2022037199A (ja) * 2021-02-23 2022-03-08 北京百度網訊科技有限公司 路側サービスユニット、交通提示機器、交通提示システム及び方法、記憶媒体およびコンピュータプログラム
JP2022138173A (ja) * 2021-03-10 2022-09-26 矢崎総業株式会社 車両用表示装置
JP7273635B2 (ja) 2018-09-12 2023-05-15 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド 自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体

Cited By (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103661103A (zh) * 2012-09-03 2014-03-26 现代摩比斯株式会社 前方影像提供方法及显示装置
CN103661103B (zh) * 2012-09-03 2015-12-09 现代摩比斯株式会社 前方影像提供方法及显示装置
JP2014206888A (ja) * 2013-04-15 2014-10-30 本田技研工業株式会社 車両の運転支援装置
WO2015177864A1 (ja) * 2014-05-20 2015-11-26 日産自動車株式会社 信号機認識装置及び信号機認識方法
US9779315B2 (en) 2014-05-20 2017-10-03 Nissan Motor Co., Ltd. Traffic signal recognition apparatus and traffic signal recognition method
WO2016006029A1 (ja) * 2014-07-08 2016-01-14 日産自動車株式会社 信号機検出装置及び信号機検出方法
JPWO2016006029A1 (ja) * 2014-07-08 2017-05-25 日産自動車株式会社 信号機検出装置及び信号機検出方法
US9922259B2 (en) 2014-07-08 2018-03-20 Nissan Motor Co., Ltd. Traffic light detection device and traffic light detection method
JP2016112984A (ja) * 2014-12-12 2016-06-23 日本精機株式会社 車両用虚像表示システム、ヘッドアップディスプレイ
JP2017126263A (ja) * 2016-01-15 2017-07-20 株式会社デンソー 運転支援装置、および運転支援方法
US11538334B2 (en) 2017-11-30 2022-12-27 Nippon Seiki Co., Ltd. Head-up display device
WO2019107295A1 (ja) * 2017-11-30 2019-06-06 日本精機株式会社 ヘッドアップディスプレイ装置
JPWO2019107295A1 (ja) * 2017-11-30 2020-12-24 日本精機株式会社 ヘッドアップディスプレイ装置
EP3718809A4 (en) * 2017-11-30 2021-08-25 Nippon Seiki Co., Ltd. HEAD-UP DISPLAY DEVICE
JP7173042B2 (ja) 2017-11-30 2022-11-16 日本精機株式会社 ヘッドアップディスプレイ装置
JP2019206262A (ja) * 2018-05-29 2019-12-05 日本精機株式会社 表示装置
CN108875658A (zh) * 2018-06-26 2018-11-23 大陆汽车投资(上海)有限公司 一种基于v2x通讯设备的对象识别方法
JP7273635B2 (ja) 2018-09-12 2023-05-15 バイドゥ オンライン ネットワーク テクノロジー(ペキン) カンパニー リミテッド 自動車画像の処理方法、自動車画像の処理装置及びコンピュータ読み取り可能な記憶媒体
CN113168767B (zh) * 2018-11-30 2023-08-15 索尼集团公司 信息处理设备、信息处理系统和信息处理方法
CN113168767A (zh) * 2018-11-30 2021-07-23 索尼集团公司 信息处理设备、信息处理系统和信息处理方法
JP7127565B2 (ja) 2019-02-05 2022-08-30 株式会社デンソー 表示制御装置及び表示制御プログラム
JP2020126478A (ja) * 2019-02-05 2020-08-20 株式会社デンソー 表示制御装置及び表示制御プログラム
JP2021086469A (ja) * 2019-11-29 2021-06-03 株式会社Jvcケンウッド 車載表示装置、車載表示システム、車載表示装置の制御方法、及び車載表示装置の制御プログラム
JP7404821B2 (ja) 2019-11-29 2023-12-26 株式会社Jvcケンウッド 車載表示装置、車載表示システム、車載表示装置の制御方法、及び車載表示装置の制御プログラム
WO2021199329A1 (ja) * 2020-03-31 2021-10-07 日本電気株式会社 信号情報提供装置、信号情報提供方法及びプログラムが記録された記録媒体
JPWO2021199329A1 (ja) * 2020-03-31 2021-10-07
JP7311037B2 (ja) 2020-03-31 2023-07-19 日本電気株式会社 信号情報提供装置、信号情報提供方法及びプログラム
JP2023118835A (ja) * 2020-03-31 2023-08-25 日本電気株式会社 信号情報提供装置、信号情報提供方法及びプログラム
US11989946B2 (en) 2020-03-31 2024-05-21 Nec Corporation Signal information providing device, signal information providing method, and recording medium having program recorded thereon
JP7567998B2 (ja) 2020-03-31 2024-10-16 日本電気株式会社 信号情報提供装置、信号情報提供方法、及びプログラム
JP2022037199A (ja) * 2021-02-23 2022-03-08 北京百度網訊科技有限公司 路側サービスユニット、交通提示機器、交通提示システム及び方法、記憶媒体およびコンピュータプログラム
JP2022138173A (ja) * 2021-03-10 2022-09-26 矢崎総業株式会社 車両用表示装置
JP7301898B2 (ja) 2021-03-10 2023-07-03 矢崎総業株式会社 車両用表示装置

Similar Documents

Publication Publication Date Title
JP2008149786A (ja) 車両用運転支援装置及び車両用運転支援システム
JP5070809B2 (ja) 運転支援装置、運転支援方法、及び、プログラム
JP6073536B1 (ja) 車両用表示制御装置
JP5096836B2 (ja) 車両の周囲を画像化する方法およびそのためのシステム
JP4702348B2 (ja) 車載画像表示装置
US8880344B2 (en) Method for displaying images on a display device and driver assistance system
JP6486474B2 (ja) 表示制御装置、表示装置及び表示制御方法
JP6107590B2 (ja) ヘッドアップディスプレイ装置
EP3100913A2 (en) Vehicle display apparatus and vehicle including the same
JP5262976B2 (ja) 車載表示装置
JP4103518B2 (ja) 車載画像表示装置
CN107209987B (zh) 用于交通标志验证的驾驶员辅助系统和方法
CN109415018B (zh) 用于数字后视镜的方法和控制单元
US11858414B2 (en) Attention calling device, attention calling method, and computer-readable medium
CN104798368A (zh) 车载图像处理装置
JP2015154125A (ja) 車両周辺画像表示装置、車両周辺画像表示方法
JP2024029051A (ja) 車載表示装置、方法およびプログラム
CN115158343A (zh) 动态的ar提示
WO2019063352A1 (en) METHOD FOR ASSISTING DRIVER OF MOTOR VEHICLE WHEN OVERPASSING OBJECT AND DRIVER ASSISTANCE SYSTEM
CN113242813B (zh) 用于警告车辆驾驶员在车辆附近有对象的系统和方法
JP2012153256A (ja) 画像処理装置
EP2879112B1 (en) Image processing device, image pickup device, mobile unit, program and region setting method
JP2014074627A (ja) 車両用ナビゲーションシステム
KR101730740B1 (ko) 운전지원장치
CN109661688B (zh) 影像输出系统