[go: up one dir, main page]

JP6032219B2 - 運転支援装置 - Google Patents

運転支援装置 Download PDF

Info

Publication number
JP6032219B2
JP6032219B2 JP2014011494A JP2014011494A JP6032219B2 JP 6032219 B2 JP6032219 B2 JP 6032219B2 JP 2014011494 A JP2014011494 A JP 2014011494A JP 2014011494 A JP2014011494 A JP 2014011494A JP 6032219 B2 JP6032219 B2 JP 6032219B2
Authority
JP
Japan
Prior art keywords
image
driver
optical
image sensor
driving support
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014011494A
Other languages
English (en)
Other versions
JP2015139194A (ja
Inventor
徹 近藤
徹 近藤
和紀 杉江
和紀 杉江
陽子 石黒
陽子 石黒
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2014011494A priority Critical patent/JP6032219B2/ja
Priority to EP14879490.2A priority patent/EP3099064B1/en
Priority to CN201480073878.6A priority patent/CN105981376B/zh
Priority to PCT/JP2014/084545 priority patent/WO2015111362A1/ja
Priority to US15/112,887 priority patent/US10322673B2/en
Publication of JP2015139194A publication Critical patent/JP2015139194A/ja
Application granted granted Critical
Publication of JP6032219B2 publication Critical patent/JP6032219B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B3/00Simple or compound lenses
    • G02B3/02Simple or compound lenses with non-spherical faces
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/20Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used
    • B60R2300/202Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of display used displaying a blind spot scene on the vehicle part responsible for the blind spot
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01Head-up displays
    • G02B27/0101Head-up displays characterised by optical features
    • G02B2027/0138Head-up displays characterised by optical features comprising image capture systems, e.g. camera
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior
    • G06T2207/30252Vehicle exterior; Vicinity of vehicle

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Optics & Photonics (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geometry (AREA)
  • Projection Apparatus (AREA)
  • Transforming Electric Information Into Light Information (AREA)

Description

本発明は、運転支援装置に関する。
ドライバーがミラー越しに車両周辺を見た際にピラーによって死角が生じる場合でも、死角領域Adの画像をピラーに表示することができる運転支援方法及び運転支援装置が知られている(例えば、特許文献1参照)。この技術では、ピラーに投影される画像の歪みを抑えるために、画像処理によって補正された画像がプロジェクタに対し出力される構成とされている。
特開2008−265719号公報
しかしながら、画像処理による補正では、演算時間を要するため、実景に対する投影画像の投影タイミングの遅れが大きくなりやすい。
本発明は、被投影面に投影される画像の実景に対する投影タイミングの遅れを小さく抑えることができる運転支援装置を得ることが目的である。
第1態様の運転支援装置は、撮像手段と、前記撮像手段からの画像情報に基づいて被投影面に画像を投射する投射手段と、前記撮像手段の画像センサが取得する画像情報が、前記被投影面に応じた補正画像情報となるように構成された補正手段と、を備えている。
この運転支援装置では、撮像手段が撮像した画像が投射手段によって被投影面に投射され、被投影面には投射手段が投射した画像が投影される。ここで、撮像手段の画像センサが取得する画像情報が、補正手段によって、被投影面(の寸法形状や配置、姿勢)に応じた補正画像情報とされる。このため、投射手段に投射させる画像を画像処理によって補正することなく、被投影面に歪み等が補正された画像を投影させることができる。
このように、第1態様の運転支援装置では、画像処理により補正画像情報を得る構成と比して、被投影面に投影される画像の実景に対する投影タイミングの遅れを小さく抑えることができる。
第2態様の運転支援装置は、第1態様において、前記補正手段は、光学的に補正された前記補正画像情報を前記画像センサに取得させる光学補正手段を有して構成されている。
この運転支援装置では、光学的に補正された画像情報を撮像手段の画像センサに取得させるため、簡単な構成で被投影面に投影される画像の実景に対する投影タイミングの遅れを小さく抑えることができる。
第3態様の運転支援装置は、第2態様において、前記光学補正手段は、前記撮像手段の光軸に対し前記画像センサを傾けて又は前記画像センサを湾曲させて配置するセンサ配置構造を含んで構成されている。
この運転支援装置では、撮像手段の光軸(方向)に対し、画像センサが、例えば被投影面の寸法形状や配置(姿勢)に応じて、光軸に対し傾斜され又は湾曲させられている。これにより、簡単な構造で、画像センサに補正画像情報を取得させることができる。
第4態様の運転支援装置は、第2又は第3態様において、前記光学補正手段は、前記撮像手段の光軸に対し非対称に画像を屈折又は反射させる光学部材を含んで構成されている。
この運転支援装置では、光学部材によって光軸に対し非対称に屈折又は反射されることで、被投影面に応じて非対称とされた画像が画像センサに結像され、該画像センサが補正画像情報を取得する。これにより、通常の(フラットな)画像センサを用いて、該画像センサに補正画像情報を取得させることができる。
第5態様の運転支援装置は、第2〜第4態様の何れか1態様において、前記光学補正手段は、前記撮像手段内に設けられている。
この運転支援装置では、光学補正手段が前記撮像手段内に設けられている(撮像手段を構成している)ため、撮像手段の外側に補正用の構造、部材を設ける構成と比して、全体としてコンパクトに構成される。
第6態様の運転支援装置は、第1〜第5態様の何れか1態様において、前記補正手段は、前記投射手段を運転者の視点に一致させて配置する投射手段配置構造を有して構成されている。
この運転支援装置では、投射手段配置構造によって、投射手段(の光出射部)が運転者の視点に一致して配置されている。これにより、運転者の視点と投射手段との位置ずれに起因する投影画像の歪みについて補正する必要がなくなる。
第7態様の運転支援装置は、第1〜第6態様の何れか1態様において、前記撮像手段は、平面視で、運転者の視点から前記被投影面が形成された車両部材に向けた視線の延長線上に配置され、前記車両部材によって死角となる車両外側領域を撮像する。
この運転支援装置では、運転者の死角となる車両外側領域(の少なくとも一部)が撮像手段にて撮像され、該撮像手段が撮像した画像が上記死角を成す車両部材の被投影面に投影される。ここで、撮像手段は、上記視線の延長線上に配置されているため、運転者に対する死角領域を撮像することができる。
第8態様の運転支援装置は、第1〜第7態様の何れか1態様において、前記撮像手段は、平面視で、運転者の視点から前記被投影面が形成された車両部材に向けた視線の方向に撮像方向が一致され、前記車両部材によって死角となる車両外側領域を撮像する。
この運転支援装置では、運転者の死角となる車両外側領域(の少なくとも一部)が撮像手段にて撮像され、該撮像手段が撮像した画像が上記死角を成す車両部材の被投影面に投影される。ここで、撮像手段による撮像方向が上記視線方向と一致されているため、運転者の視線方向と撮像手段の撮像方向とのずれに起因する投影画像の歪みが小さく抑えられる。
以上説明したように本発明に係る運転支援装置は、被投影面に投影される画像の実景に対する投影タイミングの遅れを小さく抑えることができるという優れた効果を有する。
第1の実施形態に係る視覚情報補助装置を構成するCCDカメラ及び光学補正構造を示す図であって、(A)は概略構成を示す模式図、(B)は補正画像情報の概念図である。 第1の実施形態に係る視覚情報補助装置の概略全体構成を示す平面図である。 変形例に係るCCDカメラ及び光学補正構造を示す図であって、(A)は第1変形例の模式図、(B)は第2変形例の模式図である。 第2の実施形態に係る視覚情報補助装置の概略全体構成を示す平面図である。
本明細書において、「第2の実施形態」とあるのは、「参考例」と読み替えるものとする。
本発明の第1の実施形態に係る運転支援装置の一例としての視覚情報補助装置10について図1及び図2に基づいて説明する。なお、図2に記す矢印FR、及び矢印LHは、それぞれ視覚情報補助装置10が適用された自動車の前方向、該前方向を向いた場合の左方向を示している。また、以下の説明において単に前後、上下、左右の方向を用いて説明する場合は、特に断りのない限り、車両前後方向の前後、車両上下方向の上下、前方向を向いた場合の左右を示すものとする。
[自動車の一般構成]
図2に示されるように、視覚情報補助装置10が適用された車両としての自動車Vのキャビン内には、運転席12が設けられている。この実施形態では、運転席12は自動車Vの車幅方向中央に対し左側に配置されている。運転席12の前方には、ウインドシールドガラス14が配置されている。また、運転席12の車幅方向外側にはそれぞれサイドウインドウガラス16が配置されている。
そして、ウインドシールドガラス14とサイドウインドウガラス16との間には、ピラーとしてのフロントピラー18が配置されている。フロントピラー18は、ルーフヘッダ部及びカウル部とでウインドシールドガラス14により視界が確保される窓枠を構成している。また、フロントピラー18は、それぞれ図示しないサイドドアのドアフレーム等と共にサイドウインドウガラス16により視界が確保される窓枠を構成している。このフロントピラー18は、運転席12の着座乗員すなわち運転者Dに対する死角を成す(生じさせる)骨格(窓枠)部材として捉えることができる。
[視覚情報補助装置]
視覚情報補助装置10は、フロントピラー18によって運転者Dに対する死角となる車両外側領域(以下、「死角領域Ad」という)の視覚情報を、該運転者Dに視認させる構成とされている。なお、以下の説明においてフロントピラー18とは、ウインドシールドガラス14とサイドウインドウガラス16とに挟まれた骨格構造をいい、該ウインドシールドガラス14及びサイドウインドウガラス16よりも下方に位置する部分を含まないこととする。以下、具体的に説明する。
図2に示されるように、視覚情報補助装置10は、撮像手段としてのCCDカメラ20と、投射手段としてのプロジェクタ22と、表示面を成すスクリーン24とを含んで構成されている。図2の例では、左側のフロントピラー18による死角画像を該左側のフロントピラー18に投影するためのCCDカメラ20、プロジェクタ22、及びスクリーン24が示されている。
(CCDカメラ)
CCDカメラ20は、フロントピラー18に対する車両外側領域(車両外景)を撮像し、該撮像によって得た画像情報をプロジェクタ22に出力する構成とされている。CCDカメラ20は、平面視で、運転者Dのフロントピラー18への視線SLの延長線SLe上に配置されている。
ここで、視線SLは、運転者DのアイポイントEPとフロントピラー18(死角領域Ad)の幅方向中央とを結ぶ直線とされる。なお、アイポイントEPは、例えばJIS D 0021にて設定される基準アイポイントとされ、運転者Dの両眼間の中央部に設定される。また、図2では、フロントピラー18の特定の断面(後述するスクリーン24の断面24A)における死角領域Adを図示している。
そして、この視線SLを車両外側すなわちフロントピラー18の前方に延長した線が視線SLの延長線SLeとされる。CCDカメラ20は、閉断面の骨格構造を成すフロントピラー18の閉断面内に配置されている。
また、CCDカメラ20の撮像(光軸)方向は、平面視で、運転者Dの視線SLの方向に一致されている。このCCDカメラ20の側面視での撮像方向は、水平方向又は若干下向き方向とされる。具体的には、CCDカメラ20の側面視での撮像方向は、運転者DのアイポイントEPとフロントピラー18(死角領域Ad)の上下方向中央とを結ぶ直線と平行な方向とされる。なお、例えばフロントピラー18の上下方向の中央部にCCDカメラ20を配置し、運転者Dの視線SLの延長線SLeにCCDカメラ20の撮像方向を一致させても良い。また、CCDカメラ20の撮像範囲(画角)は、死角領域Adよりも広く設定されている。
なお、本発明の補正手段を成すCCDカメラ20の内部構造については、後述する。
(プロジェクタ)
プロジェクタ22は、無線又は有線でCCDカメラ20から画像情報が入力され、該画像情報に基づく画像を被投影面としてのスクリーン24に向けて投射するようになっている。より具体的には、プロジェクタ22は、CCDカメラ20の撮像した画像のうち、フロントピラー18による死角領域Adの画像を、スクリーン24に向けて投射する構成とされている。
この実施形態におけるプロジェクタ22は、ルーフRの前端側(ルーフヘッドライニング内やオーバヘッドコンソール内等)に配設されている。
(スクリーン)
スクリーン24は、車両部材としてのフロントピラー18を構成する内装材の一例であるピラーガーニッシュ(図示省略)の表面に設けられ、又はピラーガーニッシュの表面に一体に形成されている(ピラーガーニッシュの表面自体で構成されている)。スクリーン24は、プロジェクタ22が投射した画像が投影され、該画像を運転者Dに視認させるようになっている。
この実施形態では、スクリーン24は、フロントピラー18(ピラーガーニッシュ)の上端18U近傍から下端18L近傍まで至っている。すなわち、スクリーン24は、ピラーガーニッシュ(フロントピラー18)における運転者Dによる可視範囲のほぼ全面に亘って、プロジェクタ22が投射した画像が投影されるようになっている。
この実施形態では、スクリーン24はほぼ平面とされ、該スクリーン24の形状(湾曲)に起因した画像の歪みが抑制されるようになっている。また、スクリーン24に対するプロジェクタ22の配置(姿勢)に起因した画像の歪みが補正されるように、プロジェクタ22は、歪み補正後の補正画像情報(後述)が入力され、該画像情報に基づいた画像を投射する構成とされている。
(補正手段)
視覚情報補助装置10は、補正手段、光学補正手段としての光学補正構造28を備えている。光学補正構造28は、CCDカメラ20を構成する画像センサ(CCD素子の集合体)30が取得する画像情報が、運転者D及びプロジェクタ22に対するスクリーン24の寸法形状、配置に応じた補正画像情報となるように構成されている。以下、具体的に説明する。
図1(A)には、CCDカメラ20の概略構成が模式図にて示されている。この図に示されるように、CCDカメラ20は、画像センサ30を収容した筐体32と、筐体32に保持され撮像範囲の画像を画像センサ30に結像させるレンズ34とを有する。図示は省略するが、レンズ34は、複数のレンズを組み合わせたレンズ群として構成されている。画像センサ30は、結像した画像に応じた画像情報を取得し、該画像情報をプロジェクタ22に出力する構成とされている。
ここで、光学補正構造28は、CCDカメラ20(レンズ34)の光軸OAcに対し、画像センサ30を傾けて配置したセンサ配置構造として構成されている。このセンサ配置構造による画像センサ30の傾斜角θ(本実施形態では光軸OAcとの直交面に対する傾斜角)は、以下の通り設定されている。
まず前提構成を説明すると、プロジェクタ22からスクリーン24(図2では、断面24A)上の任意の位置Aまでの距離をL1、プロジェクタ22からスクリーン24上の他の位置Cまでの距離をL2とする。また、スクリーン24上の位置AからアイポイントEPへの距離をd1、スクリーン24上の位置CからアイポイントEPへの距離をd2とする。他の位置Cは、プロジェクタ22の光軸OApとスクリーン24との交点に対し、位置Aとは点対称の位置とする。
そして、補正係数をKとした場合に、下記式(1)を満たす補正係数Kを得るように画像センサ30の傾斜角θが設定されている。
d1/L1 = K×d2/L2 ・・・ (1)
さらに補足すると、図1に示されるように、CCDカメラ20の撮像画像(撮像領域Ai)における特定の位置をa0、c0、光軸OAc上の位置をb0とする。位置a0は、撮像画像におけるスクリーン24上の位置Aに投影すべき位置に相当し、位置c0は、撮像画像におけるスクリーン24上の位置Cに投影すべき位置に相当する。したがって、位置a0、b0間の距離と、位置b0、c0間の距離とは、共にSであり等しい。
これらの位置a0、b0、c0の画像センサ30上の結像位置は、図1(A)に示すように、光学補正構造28の配置構造によって、a1、b1、c1となり、この画像センサ30が取得した画像情報は、図1(B)に示すようになる。上記した画像センサ30の傾斜角θの設定によって、位置a1、b1間の距離をS1と、位置b1、c1間の距離をS2とした場合に、補正係数Kは、
K = S2/S1
とされ、該補正係数Kが式(1)を満たすように、画像センサ30の傾斜角θが設定される。
以上により、光学補正構造28では、光学的に補正された像を画像センサ30の結像させることで、該画像センサ30が補正画像情報を取得する構成とされている。
[作用]
次に、第1の実施形態の作用を説明する。
視覚情報補助装置10が適用された自動車Vの運転者Dは、ウインドシールドガラス14やサイドウインドウガラス16を通して視認される視覚情報に基づき安全を確認しつつ、該自動車Vを運転する。
また、視覚情報補助装置10は、CCDカメラ20が撮像した画像をプロジェクタ22によってスクリーン24に投射させ、該画像をスクリーン24に投影させる。スクリーン24に投影された画像は運転者Dに視認される。すなわち、フロントピラー18による死角領域Adの視覚情報(外景)が、該フロントピラー18に設けたスクリーン24に画像として表示されるので、運転者Dは、確認すべき方向(死角領域Ad)を向いて、死角領域Adを補う画像を視認することができる。これにより、例えば死角領域Adに歩行者等が存在する場合に、運転者Dは、該歩行者等に気づくことができる。
ここで、視覚情報補助装置10では、CCDカメラ20の画像センサ30が取得する画像情報が、スクリーン24の寸法形状、配置に応じた補正画像情報となるように構成されている。この実施形態では、光学補正構造28によって光学的に補正された像が画像センサ30に結像することで、該画像センサ30が補正画像情報を取得する。
この補正画像情報がCCDカメラ20からプロジェクタ22に出力されると、プロジェクタ22は、補正画像情報に基づく画像をスクリーン24に投射する。これにより、スクリーン24には、運転者Dから見て歪みのない又は歪みが著しく抑制された画像が投影される。
このため、視覚情報補助装置10は、CCDカメラ20、プロジェクタ22又は外部装置等に設けた画像処理部(プログラム)で、画像処理(演算)によって補正画像を生成する必要がない。したがって、視覚情報補助装置10は、演算のための時間を要することなくプロジェクタ22からスクリーン24に向けて死角画像を投射することができる。
このように、第1の実施形態に係る視覚情報補助装置10では、画像処理により補正画像情報を得る構成と比して、スクリーン24に投影される画像の実景に対する投影タイミングの遅れを小さく抑えることができる。以上により、運転者Dに対し投影画像自体の歪みが少ないだけでなく、上記タイムラグ(実景と投影画像とのずれ)による違和感の少ない死角画像を視認させることができる。
また、視覚情報補助装置10では、CCDカメラ20の光軸OAcに対し画像センサ30を傾けることで、光学補正構造28が構成されている。これにより、簡単な構造で、画像センサ30に補正画像情報を取得させることができる。
しかも、光学補正構造28がCCDカメラ20内に設けられている(CCDカメラ20を構成している)ため、CCDカメラ20の外側に補正用の構造、部材を設ける構成と比して、視覚情報補助装置10が全体としてコンパクトに構成される。さらに、視覚情報補助装置10は、画像センサ30に補正画像情報を取得させる構成であるため、例えばCCDカメラ20とプロジェクタ22との間に補正用の光学部材を配置した構成と比較しても、部品点数が少なく全体としてコンパクトに構成される。
またここで、CCDカメラ20が運転者Dの視線SLの延長線SLe上に配置されているため、CCDカメラ20によって、運転者Dに対する死角領域Adを撮像することができる。そして、CCDカメラ20による撮像方向(光軸OAc)が平面視で視線SLの方向と一致されているため、運転者Dの視線SLの方向とCCDカメラ20の撮像方向とのずれに起因する投影画像の歪みが小さく抑えられる。これにより、運転者に一層違和感の少ない死角画像を視認させることができる。また、このような撮像方向のずれに起因する画像の歪みについても画像処理にて補正を行う必要がなくなる。
[変形例]
次に、第1の実施形態の変形例を説明する。なお、第1の実施形態の構成と基本的に同様の構成については、第1の実施形態の構成と同一の符号を付して、その説明、図示を省略する場合がある。
(第1変形例)
図3(A)には、CCDカメラ20(視覚情報補助装置10)に適用された第1変形例に係る光学補正構造36が模式図にて示されている。この図に示されるように、光学補正構造36は、CCDカメラ20の光軸OAcと直交して配置された画像センサ30に対して、光軸OAcに対し非対称に画像を透過(屈折)させる光学部材としての補正レンズ38によって撮像画像を結像させる構成とされている。
図示は省略するが、補正レンズ38は、複数のレンズを組み合わせたレンズ群として構成されており、少なくとも一枚のレンズが光軸OAcの一方側と他方側とで屈折率が異なるレンズにて構成されている。そして、画像センサ30に結像された画像の画像情報は、第1の実施形態と同様に式(1)を満たす補正画像情報とされる。
したがって、光学補正構造28に代えて、第1変形例に係る光学補正構造36を備えた構成によっても、第1の実施形態と同様の作用によって同様の効果を得ることができる。
(第2変形例)
図3(B)には、CCDカメラ20(視覚情報補助装置10)に適用された第2変形例に係る光学補正構造40が模式図にて示されている。この図に示されるように、光学補正構造40は、CCDカメラ20の光軸OAcと傾斜して配置された画像センサ30に対して、光軸OAcに対し非対称に画像を透過(屈折)させる光学部材としての補正レンズ42によって撮像画像を結像させる構成とされている。
図示は省略するが、補正レンズ42は、複数のレンズを組み合わせたレンズ群として構成されており、少なくとも一枚のレンズが光軸OAcの一方側と他方側とで屈折率が異なるレンズにて構成されている。そして、画像センサ30に結像された画像の画像情報は、第1の実施形態と同様に式(1)を満たす補正画像情報とされる。
したがって、光学補正構造28に代えて、第2変形例に係る光学補正構造40を備えた構成によっても、第1の実施形態と同様の作用によって同様の効果を得ることができる。
なお、上記した第1の実施形態及び各変形例では、画像センサ30が平坦である例を示したが、本発明はこれに限定されない。例えば、被投影面であるスクリーン24の一部又は全部が湾曲形状を成す構成においては、該スクリーン24の湾曲形状(及びスクリーン各部とアイポイントEPとの距離差等)に応じて画像センサ30の少なくとも一部を湾曲させた構成としても良い。また例えば、スクリーン24の湾曲形状を画像センサ30の湾曲にて光学的に補正し、スクリーン各部とアイポイントEPとの距離差については補正レンズ38、42によって補正する構成としても良い。これらの変形例では、ピラーガーニッシュの形状に対する自由度が高い。
また、上記した各変形例では、光学部材として補正レンズを備えた例を示したが、本発明はこれに限定されない。例えば、レンズ34と画像センサ30との間に配置した光学部材としてのミラーを光軸OAcに対し傾斜したり、湾曲させたりした構成としても良い。また、このような補正用の光学部材はCCDカメラ20内に設ける構成には限られず、例えば、CCDカメラ20に死角領域Adの画像を導くミラーを、光軸OAcに対し傾斜したり、湾曲させたりした構成としても良い。
<第2の実施形態>
本発明の第2の実施形態に係る運転支援装置の他の例としての視覚情報補助装置50について、図4に基づいて説明する。なお、第1の実施形態の構成と基本的に同様の構成については、第1の実施形態の構成と同一の符号を付して、その説明、図示を省略する場合がある。
図4に示されるように、視覚情報補助装置50は、プロジェクタ22に代えて、プロジェクタ52を備えている。また、視覚情報補助装置50は、プロジェクタ52の位置(投射位置)を運転者DのアイポイントEPに一致させて配置する補正手段、投射手段配置構造としての補正構造54を備えている。
この実施形態では、プロジェクタ52を運転者Dが頭部に装着して用いるメガネ型プロジェクタとすることで、補正構造54が構成されている。この補正構造を採用することで、運転者DのアイポイントEPとプロジェクタ52の投射位置との位置ずれに起因する投影画像の歪みがなくなるか又は著しく小さく抑えられる。換言すれば、
d1/L1=d2/L2=1
すなわち、
K=1
となる。
このため、本実施形態では、光学補正構造28、36、40を用いることなく、CCDカメラ20の光軸OAcと直交して配置されると共にレンズ34によって撮像画像が結像される画像センサ30に、補正画像情報を取得させることができる。
第2の実施形態に係る視覚情報補助装置50によっても、画像センサ30に補正画像情報を取得させるため、光学補正構造28、36、40を用いることによる作用効果を除いて、視覚情報補助装置50と同様の作用によって同様の効果を得ることができる。また、本視覚情報補助装置10では、通常構成の(光軸OAcと直交配置されレンズ34によって画像センサ30に撮像画像が結像される)CCDカメラ20を用いて、画像処理に頼ることなく歪みのない又は少ない死角画像をスクリーン24に投影することができる。
なお、第2の実施形態では、光学補正構造を用いない例を示したが、本発明はこれに限定されない。例えば、少なくとも一部が湾曲したスクリーン24に死角画像を投影させる構成において、該湾曲を補正するために光学補正構造(レンズ等の光学部材や画像センサ30を湾曲させる構成)を採用しても良い。
また、上記した各実施形態では、撮像手段としてCCDカメラ20を用いた例を示したが、本発明はこれに限定されず、如何なる撮像手段を用いても良い。したがって例えば、CCDカメラ20に代えてCMOSカメラ等を用いても良い。
また、上記した各実施形態では、左側のフロントピラー18による死角画像を該左側のフロントピラー18に投影する構成を示したが、本発明はこれに限定されない。例えば、右側のフロントピラー18による死角画像を該右側のフロントピラー18に投影する構成としても良く、また例えば、左右のフロントピラー18による死角画像を該左右のフロントピラー18にそれぞれ投影する構成としても良い。
さらに、上記した各実施形態では、フロントピラー18による死角画像を該フロントピラー18に投影する例を示したが、本発明はこれに限定されない。例えば、後進時等に死角を成すセンタピラーやリヤピラー等のピラーに死角画像を投影させる構成としても良い。この場合、後に振り向いた状態の運転者DのアイポイントEPを基準に各種補正手段(光学補正構造28、36、40、補正構造54等)の具体的な構成が設定される。
またさらに、上記した各実施形態では、死角を形成する部材(ピラーガーニッシュ)に配置されたスクリーン24に死角画像を投影させる例を示したが、本発明はこれに限定されない。撮像画像を被投影面に投影する構成であれば足り、例えば、後進時の車両後方の領域を撮像した画像や後部座席の様子を撮像した画像を、インストルメントパネル等に投影させる構成であっても良い。
その他、本発明は、その要旨を逸脱しない範囲で各種変更して実施可能であることは言うまでもない。
10 視覚情報補助装置(運転支援装置)
18 フロントピラー(車両部材)
20 CCDカメラ(撮像手段)
22 プロジェクタ(投射手段)
24 スクリーン(被投影面)
28 光学補正構造(補正手段、光学補正手段、センサ配置構造)
30 画像センサ
36・40 光学補正構造(補正手段、光学補正手段)
38・42 補正レンズ(光学部材)
50 視覚情報補助装置
52 プロジェクタ(投射手段)
54 補正構造(補正手段、投影手段配置構造)

Claims (6)

  1. 撮像手段と、
    前記撮像手段からの画像情報に基づく画像を被投影面に向けて投射する投射手段と、
    前記撮像手段の画像センサが取得する画像情報が、前記被投影面に応じた補正画像情報となるように構成された補正手段であって、光学的に補正された前記補正画像情報を前記画像センサに取得させる光学補正手段を有して構成されている補正手段と、
    を備えた運転支援装置。
  2. 前記光学補正手段は、前記撮像手段の光軸に対し前記画像センサを傾けて又は前記画像センサを湾曲させて配置するセンサ配置構造を含んで構成されている請求項1記載の運転支援装置。
  3. 前記光学補正手段は、前記撮像手段の光軸に対し非対称に画像を屈折又は反射させる光学部材を含んで構成されている請求項1又は請求項2記載の運転支援装置。
  4. 前記光学補正手段は、前記撮像手段内に設けられている請求項1〜請求項3の何れか1項記載の運転支援装置。
  5. 前記撮像手段は、平面視で、運転者の視点から前記被投影面が形成された車両部材に向けた視線の延長線上に配置され、前記車両部材によって死角となる車両外側領域を撮像する請求項〜請求項4の何れか1項記載の運転支援装置。
  6. 前記撮像手段は、平面視で、運転者の視点から前記被投影面が形成された車両部材に向けた視線の方向に撮像方向が一致され、前記車両部材によって死角となる車両外側領域を撮像する請求項1〜請求項5の何れか1項記載の運転支援装置。
JP2014011494A 2014-01-24 2014-01-24 運転支援装置 Active JP6032219B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2014011494A JP6032219B2 (ja) 2014-01-24 2014-01-24 運転支援装置
EP14879490.2A EP3099064B1 (en) 2014-01-24 2014-12-26 Driving assistance device
CN201480073878.6A CN105981376B (zh) 2014-01-24 2014-12-26 驾驶辅助装置
PCT/JP2014/084545 WO2015111362A1 (ja) 2014-01-24 2014-12-26 運転支援装置
US15/112,887 US10322673B2 (en) 2014-01-24 2014-12-26 Driving assistance device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014011494A JP6032219B2 (ja) 2014-01-24 2014-01-24 運転支援装置

Publications (2)

Publication Number Publication Date
JP2015139194A JP2015139194A (ja) 2015-07-30
JP6032219B2 true JP6032219B2 (ja) 2016-11-24

Family

ID=53681178

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014011494A Active JP6032219B2 (ja) 2014-01-24 2014-01-24 運転支援装置

Country Status (5)

Country Link
US (1) US10322673B2 (ja)
EP (1) EP3099064B1 (ja)
JP (1) JP6032219B2 (ja)
CN (1) CN105981376B (ja)
WO (1) WO2015111362A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10486599B2 (en) * 2015-07-17 2019-11-26 Magna Mirrors Of America, Inc. Rearview vision system for vehicle
JP6445607B2 (ja) * 2017-03-15 2018-12-26 株式会社Subaru 車両の表示システム及び車両の表示システムの制御方法
DE102017216822A1 (de) * 2017-09-22 2019-03-28 Continental Automotive Gmbh Vorrichtung und Verfahren zum Anpassen einer Bildverarbeitung basierend auf einer Form einer Anzeigeneinrichtung für ein Kraftfahrzeug
CN111345036A (zh) * 2017-10-26 2020-06-26 京瓷株式会社 图像处理装置、成像装置、驾驶辅助装置、移动体和图像处理方法
EP3835087B1 (en) 2019-12-10 2023-04-05 Sumitomo Rubber Industries, Ltd. Tire
JP7735934B2 (ja) * 2022-05-19 2025-09-09 株式会社デンソー 死角補助装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1081171A (ja) * 1996-09-09 1998-03-31 Yazaki Corp 監視領域拡張部材およびこれを用いた車両周辺監視装置
DE19941034A1 (de) * 1999-08-28 2001-03-22 Bosch Gmbh Robert Einstellvorrichtung mit einem Einstellgerät für einen Scheinwerfer oder für einen Abstandssensor eines Fahrzeuges
JP4810953B2 (ja) * 2005-10-07 2011-11-09 日産自動車株式会社 車両用死角映像表示装置
BRPI0602678B1 (pt) * 2006-07-14 2015-09-01 Petroleo Brasileiro Sa Aditivo para maximização de glp e propeno adequado a operação da unidade de craqueamento catalítico fluido em baixa severidade e processo de preparo do mesmo
JP4217990B2 (ja) * 2006-11-27 2009-02-04 ソニー株式会社 ズームレンズ及び撮像装置
JP4862774B2 (ja) 2006-12-20 2012-01-25 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP4784572B2 (ja) 2007-02-23 2011-10-05 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
US9126533B2 (en) 2007-02-23 2015-09-08 Aisin Aw Co., Ltd. Driving support method and driving support device
EP1974998B1 (en) 2007-03-26 2011-05-25 Aisin AW Co., Ltd. Driving support method and driving support apparatus
JP4412365B2 (ja) 2007-03-26 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援方法及び運転支援装置
JP4496503B2 (ja) 2007-06-13 2010-07-07 アイシン・エィ・ダブリュ株式会社 車両用運転支援装置
EP2003019B1 (en) 2007-06-13 2014-04-23 Aisin AW Co., Ltd. Driving assist apparatus for vehicle
JP2009021761A (ja) * 2007-07-11 2009-01-29 Fujifilm Corp 撮像素子ユニット,撮像装置,撮像素子位置決め治具,撮像素子取付方法及び撮像素子
JP4412380B2 (ja) 2007-10-02 2010-02-10 アイシン・エィ・ダブリュ株式会社 運転支援装置、運転支援方法及びコンピュータプログラム
JP2010058742A (ja) * 2008-09-05 2010-03-18 Mazda Motor Corp 車両用運転支援装置
KR101571333B1 (ko) * 2009-01-22 2015-11-24 삼성전자주식회사 디지털 영상 처리 장치
JP5315124B2 (ja) * 2009-05-12 2013-10-16 本田技研工業株式会社 車両用撮像装置および車両周辺監視装置
DE102009027520A1 (de) * 2009-07-08 2011-01-20 Robert Bosch Gmbh Verzeichnungskorrektur von Videosystemen
US20120188391A1 (en) * 2011-01-25 2012-07-26 Scott Smith Array camera having lenses with independent fields of view
JP6209308B2 (ja) 2011-04-26 2017-10-04 ソニー株式会社 撮像装置および電子機器
JP6176114B2 (ja) * 2011-09-15 2017-08-09 日本電気株式会社 投影像自動補正システム、投影像自動補正方法およびプログラム

Also Published As

Publication number Publication date
US10322673B2 (en) 2019-06-18
JP2015139194A (ja) 2015-07-30
EP3099064A1 (en) 2016-11-30
CN105981376B (zh) 2019-03-29
CN105981376A (zh) 2016-09-28
EP3099064B1 (en) 2018-04-18
EP3099064A4 (en) 2017-01-04
US20160339841A1 (en) 2016-11-24
WO2015111362A1 (ja) 2015-07-30

Similar Documents

Publication Publication Date Title
JP6032219B2 (ja) 運転支援装置
US20160134815A1 (en) Driving assist device
JP5671186B1 (ja) メインミラー及び広角ミラーによる法定視界を表示するための輸送車両用の視認システム
JP4583883B2 (ja) 車両用周囲状況表示装置
CN110308556B (zh) 图像形成、校正、显示系统或方法、移动体、非暂时性计算机可读介质
JP6459016B2 (ja) 撮像システム、および、移動体システム
CN110308557B (zh) 显示系统、电子镜系统、移动体以及显示方法
JP6433684B2 (ja) 車両用外部監視装置の撮像装置
JP2011234095A (ja) 車両用視認支援装置
WO2019106951A1 (ja) 車両用表示装置および車両用表示システム
US10399496B2 (en) Viewing device for vehicle and method of displaying viewed image for vehicle
JP6284980B2 (ja) 主ミラーおよび広角ミラーの法的に定められた視野を表示するための商用車用の視覚システム
JP6697747B2 (ja) 表示システム、電子ミラーシステム及び移動体
JP2017181634A (ja) 撮像装置及び車載カメラシステム
JP2012178639A (ja) 画像処理装置、駐車制御システム、及び、画像処理方法
JP6176039B2 (ja) 運転支援装置
JP6373643B2 (ja) 車両用外部監視装置
JP2008184109A (ja) 車両外側撮影装置
JP2015089799A (ja) 運転支援装置
JP6299122B2 (ja) 運転支援装置
JP7409544B1 (ja) 運転支援装置
JP2018103921A (ja) 車両用表示装置
JP2019091008A (ja) レンズおよび平面ミラーを備えたクローキングデバイスおよびこれを含むビークル
WO2015173953A1 (ja) モニタ装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160315

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160404

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160927

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20161010

R151 Written notification of patent or utility model registration

Ref document number: 6032219

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151