[go: up one dir, main page]

JP2008034966A - 画像表示装置 - Google Patents

画像表示装置 Download PDF

Info

Publication number
JP2008034966A
JP2008034966A JP2006203666A JP2006203666A JP2008034966A JP 2008034966 A JP2008034966 A JP 2008034966A JP 2006203666 A JP2006203666 A JP 2006203666A JP 2006203666 A JP2006203666 A JP 2006203666A JP 2008034966 A JP2008034966 A JP 2008034966A
Authority
JP
Japan
Prior art keywords
road surface
correction value
depression angle
dimensional object
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2006203666A
Other languages
English (en)
Other versions
JP4193886B2 (ja
Inventor
Osamu Ozaki
修 尾崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to JP2006203666A priority Critical patent/JP4193886B2/ja
Priority to US11/878,722 priority patent/US7697029B2/en
Publication of JP2008034966A publication Critical patent/JP2008034966A/ja
Application granted granted Critical
Publication of JP4193886B2 publication Critical patent/JP4193886B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Abstract

【課題】路面上に立体物がある場合でもその影響を低減し、路面状態自体の変化に応じて補正された俯瞰画像を表示することができる画像表示装置を提供する。
【解決手段】画像表示装置10は、車体11に、カメラ12a〜12d、レーザレーダ16a〜16d、俯角補正値計算装置22、立体物検出装置26、視点変換装置28を備えている。レーザレーダ16a〜16dがカメラ12a〜12dに対する路面の状態の変化を検出し、俯角補正値計算装置22がカメラ12a〜12dの俯角値に補正値を加え、視点変換装置28は、レーザレーダ16a〜16dが検出した路面状態の変化が、立体物検出装置26が検出した立体物に基づくものである場合に、俯角補正値計算装置22の補正値を減少させるため、路面上に立体物がある場合でもその影響を受けずに、路面状態の変化に応じて補正された俯瞰画像を表示することができる。
【選択図】図1

Description

本発明は画像表示装置に関し、特に、撮像手段により得られた車両の周囲の原画像を視点変換して俯瞰画像を表示する画像表示装置に関するものである。
従来、車両に搭載され、運転者に対して障害物までの距離等を認識させるための駐車アシスト装置が知られている。このような装置では、車両に搭載されたカメラによって車両周囲を撮像して得られた原画像を、カメラの俯角値に基づいて視点変換して俯瞰画像を生成し、当該俯瞰画像を運転者に表示する。しかし、実際の道路上で車両を操作する際には、路面の起伏及び傾斜や、車両への荷物の搭載や、車両の経年変化等により、路面に対するカメラの角度が変化して、初期に設定したカメラの俯角値では、正しい俯瞰画像への視点変換ができない。そのため、路面に対するカメラの角度が変化することにより、スケールが異なったり、歪み補正が自然ではない俯瞰画像が生成される恐れがある。
この問題を解決するために、特許文献1には、指向性のあるレーザ光線を発するレーザ発光装置やハイトセンサを使用して、路面に対するカメラの角度を測定し、当該測定結果に基づきカメラの俯角値に補正値を加えることにより、路面に対するカメラの角度の変化に応じて俯瞰画像を生成する技術が記載されている。
特開2003−274394号公報
しかしながら、上記の技術では、路面上には立体物は存在しないことが前提となっている。そのため、路面上に縁石や輪止め等の立体物がある場合、実際には路面に対するカメラの角度に影響を与えないにも関わらず、その場所を路面としてカメラの俯角値の補正値を計算してしまうため、想定外の補正値になり、最終的に運転者に大きな違和感を与える俯瞰画像を表示してしまうことになる。
本発明は、かかる事情に鑑みてなされたものであり、その目的は、路面上に立体物がある場合でもその影響を低減し、路面状態自体の変化に応じて補正された俯瞰画像を表示することができる画像表示装置を提供することにある。
本発明は、撮像手段により得られた車両の周囲の原画像を撮像手段の俯角値に基づいて視点変換して俯瞰画像を表示する画像表示装置において、撮像手段に対する路面の状態の変化を検出する路面状態検出手段と、路面状態検出手段が検出した路面の状態の変化に対応して、撮像手段の俯角値に補正値を加える俯角補正値計算手段と、俯角補正値計算手段の補正値を減少させる俯角補正値修正手段と、路面に存在する立体物を検出する立体物検出手段とを備え、俯角補正値修正手段は、路面状態検出手段が検出した路面の状態の変化が、立体物検出手段が検出した立体物に基づくものである場合に、俯角補正値計算手段の補正値を減少させることを特徴とする。
この構成によれば、路面状態検出手段が撮像手段に対する路面の状態の変化を検出し、俯角補正値計算手段が撮像手段の俯角値に補正値を加え、俯角補正値修正手段は、路面状態検出手段が検出した路面状態の変化が、立体物検出手段が検出した立体物に基づくものである場合に、俯角補正値計算手段の補正値を減少させるため、路面上に立体物がある場合でもその影響を低減し、路面状態自体の変化に応じて補正された俯瞰画像を表示することができる。
なお、本発明で「立体物」とは、路面上に存在する異物や、路面の表面の凹凸であって、その存在が、撮像手段の方向と路面との角度に変動を与えない程度の物を意味する。
この場合、路面状態検出手段は、撮像手段と路面との距離を測定するものであり、俯角補正値修正手段は、路面状態検出手段が検出した撮像手段と路面との距離が、立体物検出手段が検出した立体物と撮像手段との距離であると判断した場合に、俯角補正値計算手段の補正値を減少させることが好適である。
この構成によれば、路面状態検出手段は撮像手段と路面との距離を測定し、俯角補正値修正手段は、路面状態検出手段が検出した撮像手段と路面との距離が、立体物検出手段が検出した立体物と撮像手段との距離であると判断した場合に、俯角補正値計算手段の補正値を減少させるため、立体物によって誤った補正を行う可能性をより少なくすることができる。
この場合、路面状態検出手段は、撮像手段と路面との距離をレーザレーダによって測定するものであることが好適である。
この構成によれば、路面状態検出手段は、撮像手段と路面との距離をレーザレーダによって測定するものであるため、正確に撮像手段と路面との距離を測定することができる。
本発明の画像表示装置によれば、路面上に立体物がある場合でもその影響を低減し、路面状態自体の変化に応じて補正された俯瞰画像を表示することができる。
以下、本発明の実施の形態に係る画像表示装置について添付図面を参照して説明する。
図1は、実施形態に係る画像表示装置の構成を示すブロック図である。図1に示すように、本実施形態の画像表示装置10は、車体11に、カメラ(撮像手段)12a〜12d、画像入力装置14、レーザレーダ(路面状態検出手段)16a〜16d、レーダ信号入力装置18、入力同期装置20、俯角補正値計算装置(俯角補正値計算手段)22、初期セットアップ情報格納部24、立体物検出装置(立体物検出手段)26、視点変換装置(俯角補正値修正手段)28、映像合成装置30、映像出力装置32、ディスプレイ34を備えている。
カメラ12a〜12dは、CCDあるいはCMOS等の半導体素子を用いた単眼カメラであり、比較的に広角なレンズまたは魚眼レンズが装着されている。図2は、実施形態に係るカメラの配置の例を示す斜視図である。図2に示すように、この例では、魚眼レンズが装着された4台のカメラ12a〜12dが、車体11の前後左右側にそれぞれ一台ずつ設置されており、車体11の全周囲を撮像して確認することができるようにされている。
図1に戻り、画像入力装置14は、カメラ12a〜12dのカメラ映像を取得する。画像入力装置14は、ある一定周期毎に、任意のタイミングでフレームの画像を取得する。このときのタイミングは同期をとってもよいし、非同期でも構わない。
レーザレーダ16a〜16dは、カメラ12a〜12dに対する路面の状態の変化を検出するためのもので、通常は障害物の接近を検知するために、レーザを照射する方向を周期的に左右上下に振り、ある程度の画角を確保している。本実施形態では、レーザレーダ16a〜16dは、ある角度で照射した場合の結果のみを捕捉するようにしている。レーザレーダ16a〜16dは、本来ならカメラ1台に対してレーザレーダ1台が配置されていることが望ましい。具体的には、レーザレーダ16a〜16dには、一般的に車両に搭載されている二次元スキャンレーザレーダを用いればよい。このレーザを90°回転させて設置した場合、より自車に近い場所の距離が測定できる。本実施形態では、近距離を1点のみ計測することができるレーザレーダを用いる。
レーダ信号入力装置18は、レーザレーダ16a〜16dのレーザレーダ計測信号(水平方向角度、垂直方向角度、当該方向の距離)を取得する。レーダ信号入力装置18は、実際には、ある一定周期毎に非同期に任意のタイミングでレーダ計測信号を取得する。
入力同期装置20は、画像入力装置14及びレーダ信号入力装置18の信号の入力タイミングを調整する装置である。例えば、時刻T時には、画像IM(T)とレーザレーダ計測信号(T)とを対応付けることができ、時刻T+1時には、画像IM(T+1)とレーザレーダ計測信号(T+1)とを対応付けることができる。
俯角補正値計算装置22は、初期セットアップ情報格納部24に格納されている初期セットアップ情報の路面が水平である場合の路面までの距離と、レーザレーダ16a〜16dによって走行中に計測した路面までの距離とを用いて俯角値の補正値を求める装置である。
初期セットアップ情報格納部24は、レーザレーダ距離計測初期情報(路面が水平である場合の水平方向角度HA、垂直方向角度VA、当該方向の距離L)と、車両が水平面にいる際に計測したカメラ12a〜12dの俯角τ、焦点距離f、設置高さHを格納している。また、初期セットアップ情報格納部24は、カメラ12a〜12dとレーザレーダ16a〜16dとの対応付け情報、すなわちカメラ12a〜12dとレーザレーダ16a〜16dとのそれぞれが組みであることを示す情報も格納している。
立体物検出装置26は、カメラ12a〜12dで撮影した画像を用いて立体物を検出する装置である。
視点変換装置28は、例えば、特開平10−211849号公報、特開2003−274394号公報等に記載の手法を用いて、画像入力装置14が取得した画像を平面投影やお椀型モデル等にマッピングして、平面視の画像に変換し、映像合成の準備を行うためのものである。レーザレーダ16a〜16dのレーザビームを照射する位置に立体物が重なって検出された場合は、俯角補正値計算装置22が計算した俯角補正値を減少させて、平面視の画像への変換を行う。
図3は、実施形態に係る透視変換原理を示す図である。図3に示す透視変換では、路面の画像の位置データをカメラ位置Rから焦点距離fにあるスクリーン平面Pに投影するときの透視変換を実行する。カメラ12aは、Z軸上の点R(0,0,H)に位置し、俯角(見下ろし角)τで路面(xy座標面)における画像をモニタしているとする。この場合、次式(1)に示すようにして、スクリーン平面P(撮像画面上)の2次元座標(α,β)を路面上の座標(俯瞰図座標)に変換(逆の透視変換)できる。
Figure 2008034966

つまり、上記式(1)を用いることにより、図4に示すように変換前イメージI1を変換後イメージI2へと変換でき、投影画像データ(俯瞰図画像)を作成できる。
映像合成装置30は、例えば、特開2003−91720号公報、特開2002−166802号公報、特許第3300334号公報等に記載の手法を用いて、視点変換装置28によって補正されたカメラ12a〜12dからの4枚の画像を1枚の画像に合成する装置である。
映像出力装置32は、合成された俯瞰画像をビデオ信号等に変換して出力するための装置である。
ディスプレイ34は、輝度補正処理を施した俯瞰画像をドライバーに提示するためのものである。一般的には、ディスプレイ34には、液晶モニタやナビゲーション用モニタを適用することができる。
次に、図5を参照して、本実施形態の画像表示装置10の動作について説明する。図5は、実施形態に係る画像表示装置の動作を示すフロー図である。図5に示すように、ステップS1では、カメラ12a〜12dから画像入力装置14によって、画像表示装置10のシステム内に画像を取り込む。画像取得のタイミングは、任意のタイミングで構わないが、全てのカメラ12a〜12dの同期を取って取得することが望ましく、画像取得の速度はリアルタイムに近いものとするため、30fps以上であることが望ましい。
ステップS2では、レーザレーダ16a〜16dからレーダ信号入力装置18によって、画像表示装置10のシステム内にレーザレーダ計測信号を取り込む。信号を取り込む速度は、リアルタイムに近いものとするため、30Hz以上であることが望ましい。
ステップS3では、入力同期装置20が、ステップS1で取り込んだ画像及びステップS2で取り込んだレーザレーダ計測信号を取得するためのトリガーを発生させ、情報取得を行う。ステップS1及びステップS2は並列処理でシステムにデータを送るため、情報取得のトリガーはステップS1及びステップS2の処理とは別に非同期で発生させ、リアルタイムに近いものとするため、30回/s以上の頻度でデータ取得を行う。データ取得は、ステップS1及びステップS2の処理で送られてくるデータのうち、最新の情報を取得するようにする。以上のステップS3の処理は、カメラ12a〜12d及びレーザレーダ16a〜16dの全ての組に対して行う。
ステップS4では、俯角補正値計算装置22が、ステップS3のトリガーで取得したレーザレーダ計測信号を基に、それぞれのカメラ12a〜12d及びレーザレーダ16a〜16dの組に対して俯角補正値の計算を行う。以下に、車体前方のカメラ12aとレーザレーダ16aとの組に対して俯角補正値を取得する方法を示す。
上述した図3で示した通り、路面上のY軸をカメラ12aの光軸方向とし、その光軸方向に対して−90°回転させた軸をX軸、XY平面に対して上向きをZ軸として定義する。これを前方に取り付けたカメラ12aとレーザレーダ16aの組に対して適用すると、図6及び7に示すとおりの座標系をとることになる。なお、車両の左右および後方に設置されたカメラ12b〜12d及びレーザレーダ16b〜16dについても、座標位置関係は同様とする。初期セットアップ情報格納部24に格納しているレーザレーダ距離計測初期情報(路面が水平である場合の水平方向角度HA、垂直方向角度VA、当該方向の距離L)は、図6及び7に示すように、水平方向角度HAはY軸方向を0°として上方から見て反時計回りにHA=θHA=0°、垂直方向角度VAはZ軸方向を0°としてθVAだけ俯角をもつところであるVA=θVA=135°に設定する。
図8は、上り坂の場合における俯角の補正の原理を示す図である。図8に示すように、上り坂(自車に対して斜面が近づいている)の場合、sを初期セットアップ情報格納部24に格納されているレーザレーダ16aの設置位置とする。また、dをレーザレーダ16aのレーザビームの仮想水平面Hへの着地点とする。なお、仮想水平面Hは、初期セットアップ時は実平面Gであるが、走行中は仮想水平面となる。また、sとdとの間の距離はLとする。これらのs,d,Lは既知の値である。さらに、θVAも予め設定されているレーザレーダ16aの設置俯角である。
図8のような傾斜に車両が差し掛かった場合、レーザレーダ16aでは、d点ではなくdr点からレーザビームが反射し、測定される距離は、sとdrとの間の距離Lが検出される。このLが常にLになるように実平面Gの傾斜Φに応じて俯角を調整する。補正する俯角Δθは、sとcとの距離をLとするような角度になる。このとき、俯角の補正値は以下の式(2)のようなLの関数で表わされる。
Figure 2008034966

図9は、下り坂の場合における俯角の補正の原理を示す図である。図9に示すように、下り坂(自車に対して斜面が遠ざかる)の場合も、上り坂のときと同様に図中の位置関係に基づいて俯角の補正値Δθを求める。この場合、レーザレーダ16aの設置位置sとレーザレーダ16aで検出した点drとの距離は、初期セットアップ情報格納部24に格納されているL(sとdとの間の距離)よりも長い距離Lが検出される。これを、上述した上り坂の場合と同様に、計測したLがLとなるような実平面G上の位置cを求め、俯角の補正値Δθを求める。このとき、俯角の補正値は以下の式(3)のようなLの関数で表わされる。
Figure 2008034966

ステップS5では、立体物検出装置26が、ステップS1においてカメラ12b〜12d各々で取得した時刻Tの時の画像IM(T)及び時刻T+1の時の画像IM(T+1)を用いて立体物の検出を行う。立体物の検出は、特開2001−187553号公報等に記載の技術を用いて行うことができる。すなわち、時刻Tの時の画像IM(T)及び時刻T+1の時の画像IM(T+1)より、それぞれ少なくとも2点を抽出し、三角測量を行うことにより、車両と当該立体物との距離を算出することができる。次に、画像IM(T)及び画像IM(T+1)から当該立体物のエッジを検出し、画像IM(T)及び画像IM(T+1)に撮像された同一のエッジの座標データと、車両の移動データとを用いて、車両から立体物のエッジまでの距離を算出することができる。この処理を行うことにより、画像IM(T+1)内に存在する立体物の領域を求めることができる。
ステップS6では、視点変換装置28が、ステップS4及びステップS5で取得した情報を用いて視点変換を行い、撮像した画像を仮想水平面に投影する。ここでは、ステップS4におけるレーザビーム着地点drがS5で検出した立体物の領域に含まれるかどうかを検証する。
レーザレーダ16aの座標系(以下、レーザレーダ座標系と呼ぶ)における点drと原点Oとの距離drはdr=LsinθVAで求められるが、その場合、カメラ12aの設置位置を原点とする座標系(以下、画像座標系と呼ぶ)との位置関係を求めなくてはならない。レーザレーダ座標系と画像座標系との位置関係を求めるには、立体物認識を実施したカメラ12aのパラメータを用い、画像座標系をレーザレーダ座標系に変換する必要がある。つまり、俯角θVAでのカメラ12aによる立体物検出領域Bの座標の座標変換(視点変換)を行えば良い。ただし、カメラ12aの設置位置とレーザレーダ16aの設置位置とが同じとは限らないため、画像座標系とレーザレーダ座標系とのY軸方向のズレ量Δyを考慮する必要がある。つまり、レーザビーム着地点をdr’=dr−Δyとして、当該レーザビーム着地点dr’が座標変換済みの立体物領域内に含まれるなら、立体物「あり」、含まれないなら立体物「なし」とする。
立体物「あり」と判断したときは、ステップS4で求めた俯角の補正値Δθを修正し、視点変換への影響度を小さくする。本実施形態では、俯角の補正値Δθ=0として修正する。
立体物「なし」と判断したときであって、L≧Lのときは、図8からも判るように、俯角の補正値Δθを以下の式(4)で適用し、実際に補正を行う俯角を求める。
Figure 2008034966

立体物「なし」と判断したときであって、L<Lのときは、図9からも判るように、俯角の補正値Δθを以下の式(5)で適用し、実際に補正を行う俯角を求める。
Figure 2008034966

以上のようにして、修正後俯角τを求め、上述した式(1)により、視点変換を実施する。これをカメラ12a〜12d及びレーザレーダ16a〜16dの全ての組について実施する。
ステップS7では、映像合成装置30が、ステップS6において視点変換した画像を先行技術にあるような手法を用い、カメラ12a〜12dからの4枚の画像を合成する。画像の合成は、例えばαブレンディングを用いて、前後左右の重複領域の合成を実施する。本実施形態では前後画像はα値=100%で合成し、左右画像はα値=0%で合成する。
ステップS8では、映像出力装置32が、ステップS5で生成した合成画像をビデオ信号等に変換して、ディスプレイ34に出力する。
ステップS9では、車両のエンジンの停止等により、画像表示装置10の動作を終了する。
本実施形態によれば、レーザレーダ16a〜16dがカメラ12a〜12dに対する路面の状態の変化を検出し、俯角補正値計算装置22がカメラ12a〜12dの俯角値に補正値を加え、視点変換装置28は、レーザレーダ16a〜16dが検出した路面状態の変化が、立体物検出装置26が検出した立体物に基づくものである場合に、俯角補正値計算装置22の補正値を減少させるため、路面上に立体物がある場合でもその影響を受けずに、路面状態自体の変化に応じて補正された俯瞰画像を表示することができる。そのため、路面上に縁石や輪止め等がある場合であっても、その影響を受けずにドライバーに違和感を与えることなく俯瞰画像を表示できる。
特に本実施形態によれば、レーザレーダ16a〜16dはカメラ12a〜12dと路面との距離を測定し、視点変換装置28は、レーザレーダ16a〜16dが検出したカメラ12a〜12dと路面との距離が、立体物検出装置26が検出した立体物とカメラ12a〜12dとの距離であると判断した場合に、俯角補正値計算装置22の補正値を減少させるため、立体物によって誤った補正を行う可能性をより少なくすることができる。
加えて、レーザレーダ16a〜16dは、レーザビームを路面に照射することにより、正確にカメラ12a〜12dと路面との距離を測定することができる。
以上、本発明の実施の形態について説明したが、本発明は、上記実施形態に限定されるものではなく種々の変形が可能である。
実施形態に係る画像表示装置の構成を示すブロック図である。 実施形態に係るカメラの配置を示す斜視図である。 実施形態に係る透視変換原理を示す図である。 実施形態に係る透視変換前後のイメージを示す図である。 実施形態に係る画像表示装置の動作を示すフロー図である。 実施形態に係るカメラとレーザレーダの座標系を示す図である。 実施形態に係るカメラとレーザレーダの座標系を示す図である。 上り坂の場合における俯角の補正の原理を示す図である。 下り坂の場合における俯角の補正の原理を示す図である。 立体物とレーザビームの着地点との重複の様子を示す図である。
符号の説明
10…画像表示装置、11…車体、12a,12b,12c,12d…カメラ、14…画像入力装置、16a,16b,16c,16d…レーザレーダ、18…レーダ信号入力装置、20…入力同期装置、22…俯角補正値計算装置、24…初期セットアップ情報格納部、26…立体物検出装置、28…視点変換装置、30…映像合成装置、32…映像出力装置、34…ディスプレイ、P…スクリーン平面、I1…変換前イメージ、I2…変換後イメージ、D…カメラとレーザレーダの方向。

Claims (3)

  1. 撮像手段により得られた車両の周囲の原画像を前記撮像手段の俯角値に基づいて視点変換して俯瞰画像を表示する画像表示装置において、
    前記撮像手段に対する路面の状態の変化を検出する路面状態検出手段と、
    前記路面状態検出手段が検出した路面の状態の変化に対応して、前記撮像手段の俯角値に補正値を加える俯角補正値計算手段と、
    前記俯角補正値計算手段の補正値を減少させる俯角補正値修正手段と、
    路面に存在する立体物を検出する立体物検出手段と、
    を備え、
    前記俯角補正値修正手段は、前記路面状態検出手段が検出した路面の状態の変化が、前記立体物検出手段が検出した立体物に基づくものである場合に、前記俯角補正値計算手段の補正値を減少させる画像表示装置。
  2. 前記路面状態検出手段は、前記撮像手段と路面との距離を測定するものであり、
    前記俯角補正値修正手段は、前記路面状態検出手段が検出した前記撮像手段と路面との距離が、前記立体物検出手段が検出した立体物と前記撮像手段との距離であると判断した場合に、前記俯角補正値計算手段の補正値を減少させる、請求項1に記載の画像表示装置。
  3. 前記路面状態検出手段は、前記撮像手段と路面との距離をレーザレーダによって測定するものである、請求項2に記載の画像表示装置。
JP2006203666A 2006-07-26 2006-07-26 画像表示装置 Active JP4193886B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2006203666A JP4193886B2 (ja) 2006-07-26 2006-07-26 画像表示装置
US11/878,722 US7697029B2 (en) 2006-07-26 2007-07-26 Image display apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006203666A JP4193886B2 (ja) 2006-07-26 2006-07-26 画像表示装置

Publications (2)

Publication Number Publication Date
JP2008034966A true JP2008034966A (ja) 2008-02-14
JP4193886B2 JP4193886B2 (ja) 2008-12-10

Family

ID=38985778

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006203666A Active JP4193886B2 (ja) 2006-07-26 2006-07-26 画像表示装置

Country Status (2)

Country Link
US (1) US7697029B2 (ja)
JP (1) JP4193886B2 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064566A (ja) * 2009-09-17 2011-03-31 Fujitsu Ltd 距離推定装置
JP2017117038A (ja) * 2015-12-22 2017-06-29 いすゞ自動車株式会社 道路面推定装置
JP2017197181A (ja) * 2016-04-28 2017-11-02 合盈光電科技股▲ふん▼有限公司H.P.B. Optoelectronics Co., Ltd. 車両安全保護システム
JP6746031B1 (ja) * 2019-02-18 2020-08-26 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11119396B1 (en) * 2008-05-19 2021-09-14 Spatial Cam Llc Camera system with a plurality of image sensors
US12140855B2 (en) 2008-05-19 2024-11-12 Peter Lablans Camera system with a plurality of image sensors
US20100020170A1 (en) * 2008-07-24 2010-01-28 Higgins-Luthman Michael J Vehicle Imaging System
CN101644883A (zh) * 2008-08-08 2010-02-10 鸿富锦精密工业(深圳)有限公司 车用投影系统
JP4434296B1 (ja) * 2008-09-05 2010-03-17 トヨタ自動車株式会社 物体検出装置
EP2179892A1 (de) 2008-10-24 2010-04-28 Magna Electronics Europe GmbH & Co. KG Verfahren zum automatischen Kalibrieren einer virtuellen Kamera
JP5068779B2 (ja) * 2009-02-27 2012-11-07 現代自動車株式会社 車両周囲俯瞰画像表示装置及び方法
JP4528867B1 (ja) * 2009-05-15 2010-08-25 株式会社東芝 画像処理装置、画像処理方法及び表示装置
CN102774380A (zh) * 2011-05-12 2012-11-14 无锡维森智能传感技术有限公司 一种判断车辆行驶状态的方法
CN103377372B (zh) * 2012-04-23 2017-12-22 无锡维森智能传感技术有限公司 一种环视合成图重叠区域划分方法和环视合成图表示方法
KR102175961B1 (ko) * 2013-11-29 2020-11-09 현대모비스 주식회사 차량 후방 주차 가이드 장치
JP6540009B2 (ja) * 2013-12-27 2019-07-10 株式会社リコー 画像処理装置、画像処理方法、プログラム、画像処理システム
JP6369654B2 (ja) * 2016-02-25 2018-08-08 株式会社村田製作所 検知装置および路面情報システム、並びに車両
US10347004B2 (en) * 2016-04-01 2019-07-09 Baja Education, Inc. Musical sonification of three dimensional data
CN107128255B (zh) * 2017-03-08 2020-10-23 北京百度网讯科技有限公司 传感器组合装置
JP7190820B2 (ja) * 2018-04-02 2022-12-16 パナソニックホールディングス株式会社 侵入検知システムおよび侵入検知方法
DE102018119026A1 (de) * 2018-08-06 2020-02-06 Knorr-Bremse Systeme für Nutzfahrzeuge GmbH Kameraüberwachungssystem
CN110927708B (zh) * 2018-08-30 2022-10-11 阿波罗智能技术(北京)有限公司 智能路侧单元的标定方法、装置及设备
WO2020061794A1 (zh) * 2018-09-26 2020-04-02 深圳市大疆创新科技有限公司 车辆辅助驾驶装置、车辆以及信息处理方法
DE102019201795A1 (de) * 2019-02-12 2020-08-13 Zf Friedrichshafen Ag Steuervorrichtung und -verfahren sowie Computer-Programm-Produkt zum Berechnen einer Nickbewegung eines Fahrzeugs, insbesondere eines autonomen oder teilautonomen Fahrzeugs, beispielsweise einer autonomen oder teilautonomen Landmaschine
JP7375792B2 (ja) * 2021-05-26 2023-11-08 トヨタ自動車株式会社 駐車支援装置
US12430916B2 (en) * 2022-01-19 2025-09-30 Target Brands, Inc. Safety compliance system and method

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2875638B2 (ja) 1991-01-14 1999-03-31 浜松ホトニクス株式会社 物体検知装置
JPH06194164A (ja) 1991-04-10 1994-07-15 Olympus Optical Co Ltd 物体位置検出装置
JP3663801B2 (ja) 1997-01-30 2005-06-22 いすゞ自動車株式会社 車両後方視界支援装置
EP2410742A1 (en) 1999-04-16 2012-01-25 Panasonic Corporation Image processing apparatus and monitoring system
JP3300334B2 (ja) 1999-04-16 2002-07-08 松下電器産業株式会社 画像処理装置および監視システム
JP3494434B2 (ja) 1999-10-21 2004-02-09 松下電器産業株式会社 駐車支援装置
JP4409035B2 (ja) * 2000-03-22 2010-02-03 本田技研工業株式会社 画像処理装置、特異箇所検出方法、及び特異箇所検出プログラムを記録した記録媒体
JP2001311619A (ja) 2000-05-01 2001-11-09 Asahi Optical Co Ltd 測距装置及び測距方法
JP3695319B2 (ja) 2000-11-30 2005-09-14 トヨタ自動車株式会社 車両周辺モニタ装置
JP3960092B2 (ja) 2001-07-12 2007-08-15 日産自動車株式会社 車両用画像処理装置
JP2003123196A (ja) * 2001-10-10 2003-04-25 Denso Corp 車両の周辺監視装置及びプログラム
JP3900415B2 (ja) 2002-03-12 2007-04-04 株式会社デンソー 車両周辺画像処理装置,プログラム及び記録媒体

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011064566A (ja) * 2009-09-17 2011-03-31 Fujitsu Ltd 距離推定装置
JP2017117038A (ja) * 2015-12-22 2017-06-29 いすゞ自動車株式会社 道路面推定装置
JP2017197181A (ja) * 2016-04-28 2017-11-02 合盈光電科技股▲ふん▼有限公司H.P.B. Optoelectronics Co., Ltd. 車両安全保護システム
JP6746031B1 (ja) * 2019-02-18 2020-08-26 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2020170486A1 (ja) * 2019-02-18 2020-08-27 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
WO2020170288A1 (ja) * 2019-02-18 2020-08-27 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
JPWO2020170288A1 (ja) * 2019-02-18 2021-03-11 三菱電機株式会社 画像処理装置、画像処理方法、及び画像処理プログラム
GB2595151A (en) * 2019-02-18 2021-11-17 Mitsubishi Electric Corp Image processing device, image processing method, and image processing program
GB2595151B (en) * 2019-02-18 2023-04-19 Mitsubishi Electric Corp Image processing device, image processing method, and image processing program

Also Published As

Publication number Publication date
US7697029B2 (en) 2010-04-13
US20080024607A1 (en) 2008-01-31
JP4193886B2 (ja) 2008-12-10

Similar Documents

Publication Publication Date Title
JP4193886B2 (ja) 画像表示装置
JP4879031B2 (ja) 運転支援システム、画像処理装置及びずれ検出方法
CN101611632B (zh) 车辆用周边监视装置及车辆用周边监视方法
JP6091586B1 (ja) 車両用画像処理装置および車両用画像処理システム
JP4874280B2 (ja) 画像処理装置及び方法、運転支援システム、車両
EP2485203B1 (en) Vehicle-surroundings monitoring device
JP5615441B2 (ja) 画像処理装置及び画像処理方法
US8169309B2 (en) Image processing apparatus, driving support system, and image processing method
JP2012105158A (ja) 連結車両用鳥瞰図表示システム
JP2009118416A (ja) 車両周辺画像生成装置および車両周辺画像の歪み補正方法
JP6392693B2 (ja) 車両周辺監視装置、車両周辺監視方法、及びプログラム
JP2009017462A (ja) 運転支援システム及び車両
WO2020012879A1 (ja) ヘッドアップディスプレイ
JP2008187564A (ja) カメラ校正装置及び方法並びに車両
JP2001218197A (ja) 車両用周辺表示装置
JP2008271308A (ja) 画像処理装置及び方法並びに車両
JP2009290645A (ja) 車載装置
JP2011064566A (ja) 距離推定装置
WO2020105499A1 (ja) 画像処理装置、および画像処理方法、並びにプログラム
JP7196920B2 (ja) 運転支援装置および運転支援方法、プログラム
KR101558586B1 (ko) 차량 주위 영상 표시장치 및 방법
JP4475015B2 (ja) 車両周辺監視装置及び車両周辺監視方法
JP2006268076A (ja) 運転支援システム
JP2010157910A (ja) 画像表示装置
JP5580062B2 (ja) 障害物検知警報装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080613

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20080617

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080811

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080902

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080915

R151 Written notification of patent or utility model registration

Ref document number: 4193886

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111003

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121003

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131003

Year of fee payment: 5