JP2012105158A - Combination vehicle birds-eye-view display system - Google Patents
Combination vehicle birds-eye-view display system Download PDFInfo
- Publication number
- JP2012105158A JP2012105158A JP2010253242A JP2010253242A JP2012105158A JP 2012105158 A JP2012105158 A JP 2012105158A JP 2010253242 A JP2010253242 A JP 2010253242A JP 2010253242 A JP2010253242 A JP 2010253242A JP 2012105158 A JP2012105158 A JP 2012105158A
- Authority
- JP
- Japan
- Prior art keywords
- bird
- image
- trailer
- tractor
- eye
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Withdrawn
Links
- 238000003384 imaging method Methods 0.000 claims abstract description 34
- 230000015572 biosynthetic process Effects 0.000 claims abstract description 19
- 238000006243 chemical reaction Methods 0.000 claims abstract description 19
- 238000003786 synthesis reaction Methods 0.000 claims abstract description 19
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 8
- 238000001514 detection method Methods 0.000 claims abstract description 5
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 claims description 292
- 240000004050 Pentaglottis sempervirens Species 0.000 claims description 263
- 238000003702 image correction Methods 0.000 description 12
- 241000905137 Veronica schmidtiana Species 0.000 description 10
- 238000013500 data storage Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 238000000034 method Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 6
- 238000012937 correction Methods 0.000 description 5
- 230000008569 process Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000009966 trimming Methods 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Closed-Circuit Television Systems (AREA)
- Image Analysis (AREA)
Abstract
Description
本発明は、連結車両周辺を上方から見たような鳥瞰図を表示する、連結車両用鳥瞰図表示システムに関するものである。 The present invention relates to a bird's-eye view display system for a connected vehicle that displays a bird's-eye view as seen from above around the connected vehicle.
従来より、車両に複数のカメラを設置し、複数のカメラから得られた画像を車両の全周を表示する画像に変換して、表示する装置が開発されている。
例えば、特許文献1には、トラクタとトレーラからなる連結車両の技術として、トラクタとトレーラからなる連結車両のトレーラ側にカメラを設置し、このカメラがトレーラの後方を撮影する運転支援システムが開示されている。この運転支援システムは、各撮影画像を路面に平行な鳥瞰図座標上に投影することによって各撮影画像を鳥瞰画像に変換する一方で、複数の撮影画像から成る動画像のオプティカルフローを鳥瞰図座標上で導出する。このオプティカルフローとトラクタの移動上方からトラクタとトレーラの連結角を推定し、更に、連結角とトラクタの移動情報からトレーラの移動予測軌跡を導出する。そして、この移動予測軌跡を鳥瞰画像に重量した画像を表示装置に出力する。この画像表示により、トラクタが動いた場合にトレーラがどのように動くのかを把握しやすくなる。
2. Description of the Related Art Conventionally, a device has been developed in which a plurality of cameras are installed in a vehicle, and images obtained from the plurality of cameras are converted into images that display the entire circumference of the vehicle and displayed.
For example,
ところで、連結車両のような大型車両は内輪差が大きくなるため、ドライバは左右折の際の巻き込みを防止するためなど、車両の周辺状況を把握しながら注意を払う必要がある。特に、連結車両の場合、トラクタとトレーラとの相対角度(連結角)が変化するので、車両の周辺状況を把握することが難しくなる。
しかしながら、特許文献1に開示された技術は、トレーラに設置されたカメラを用いてトレーラの後方を撮影してこれに基づいてトレーラの動きを表示するもので、連結車両の周辺を確認するものではなく、右左折時の巻き込み支援をできるものではなかった。
By the way, since a large vehicle such as a connected vehicle has a large difference between inner wheels, it is necessary for the driver to pay attention while grasping the surrounding situation of the vehicle, for example, to prevent entrainment at the time of turning left and right. In particular, in the case of a connected vehicle, the relative angle (connecting angle) between the tractor and the trailer changes, which makes it difficult to grasp the situation around the vehicle.
However, the technique disclosed in
本発明は、このような課題に鑑みて案出されたもので、トラクタとトレーラが複雑な動きをする連結車においても、連結車両周辺の状況を容易に把握することができるようにした、連結車両用鳥瞰図表示システムを提供することを目的とする。 The present invention has been devised in view of such problems, and it is possible to easily grasp the situation around the connected vehicle even in the connected vehicle in which the tractor and the trailer move in a complicated manner. An object is to provide a bird's-eye view display system for a vehicle.
上記目的を達成するため、本発明の連結車両用鳥瞰図表示システムは、トラクタとトレーラとからなる連結車両周辺の鳥瞰図を表示する連結車両用鳥瞰図表示システムであって、前記トラクタに設けられ前記トラクタの周辺を撮像するトラクタカメラと、前記トレーラに設けられ前記トレーラの周辺を撮像するトレーラカメラと、前記トラクタと前記トレーラとの連結部の相対角度を検出する相対角度検出手段と、前記トラクタカメラが撮像した前記トラクタ周辺のトラクタ周辺撮像画像を、上方から鳥瞰した画像に変換してトラクタ周辺鳥瞰画像を得ると共に、前記トレーラカメラが撮像した前記トレーラ周辺のトレーラ周辺撮像画像を、上方から鳥瞰した画像に変換してトレーラ周辺鳥瞰画像を得る鳥瞰画像変換手段と、前記トラクタ周辺鳥瞰画像と前記トレーラ周辺鳥瞰画像とを合成して、前記連結車両周辺の鳥瞰画像を生成する鳥瞰画像合成手段と、前記鳥瞰画像合成手段により生成された前記連結車両周辺の鳥瞰画像を表示する画像表示手段とを備え、前記鳥瞰画像合成手段は、前記相対角度検出手段により検出された前記相対角度に応じて、前記トラクタ周辺鳥瞰画像と前記トレーラ周辺鳥瞰画像とを合成して前記連結車両周辺の鳥瞰画像を生成することを特徴としている。 In order to achieve the above object, a bird's-eye view display system for a connected vehicle according to the present invention is a bird's-eye view display system for a connected vehicle that displays a bird's-eye view around a connected vehicle including a tractor and a trailer, and is provided on the tractor. A tractor camera that images the periphery, a trailer camera that is provided on the trailer and images the periphery of the trailer, a relative angle detection unit that detects a relative angle of a connecting portion between the tractor and the trailer, and the tractor camera The captured image of the tractor around the tractor is converted into a bird's-eye view image from above to obtain a bird's-eye view image of the tractor, and the trailer periphery-captured image around the trailer captured by the trailer camera is converted into a bird's-eye view image from above. Bird's-eye image conversion means for obtaining a trailer-peripheral bird's-eye image by converting, and the tractor circumference An image for displaying a bird's-eye image around the connected vehicle generated by the bird's-eye image synthesizing unit and a bird's-eye image synthesizing unit that synthesizes the bird's-eye image and the trailer-peripheral bird's-eye image. Display means, and the bird's-eye image synthesis means synthesizes the tractor-periphery bird's-eye view image and the trailer-periphery bird's-eye view image according to the relative angle detected by the relative angle detection means. It is characterized by generating a bird's-eye view image.
また、前記鳥瞰画像合成手段は、前記相対角度に応じて前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像の、前記連結車両周辺の鳥瞰画像における表示領域を決定し、前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像の重複する部分については、何れか一方の画像の表示を優先することにより前記連結車両周辺の鳥瞰画像を合成することが好ましい。 Further, the bird's-eye view image synthesis means determines a display area of the bird's-eye view image around the tractor and the bird's-eye view image around the trailer in the bird's-eye view around the connected vehicle according to the relative angle, and the bird's-eye view image around the tractor and the trailer. For overlapping portions of the surrounding bird's-eye images, it is preferable to synthesize the bird's-eye images around the connected vehicle by giving priority to the display of either one of the images.
また、前記鳥瞰画像合成手段は、前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像をそれぞれ格子状に分けて各格子画像にそれぞれ識別名称(格子番号)を与え、前記識別名称を用いて、前記格子画像ごとに、前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域の決定と、重複部分の表示を行うことが好ましい。
また、前記格子画像ごとに、前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域を記述するマップデータをさらに備え、前記鳥瞰画像合成手段は、前記マップデータを用いて、前記格子画像の前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域を決定することが好ましい。
Further, the bird's-eye view image synthesizing unit divides the bird's-eye view image around the tractor and the bird's-eye view around the trailer, respectively, and assigns an identification name (grid number) to each lattice image. For each image, it is preferable to determine the display area in the bird's-eye view image around the connected vehicle according to the relative angle and display the overlapping portion.
The grid image further includes map data describing a display area in a bird's-eye image around the connected vehicle according to the relative angle for each grid image, and the bird's-eye image synthesis unit uses the map data to generate the grid image. It is preferable to determine a display area in the bird's-eye view image around the connected vehicle according to the relative angle.
また、前記トラクタカメラが、前記トラクタの左右側部にそれぞれ設けられ前記トラクタの左右側方を撮像するトラクタ側方カメラからなり、前記トレーラカメラが、前記トレーラの左右側部にそれぞれ設けられ前記トレーラの左右側方を撮像するトレーラ側方カメラからなることが好ましい。
また、前記トラクタカメラが、前記トラクタの左右側部にそれぞれ設けられ前記トラクタの左右側方を撮像するトラクタ側方カメラと、前記トラクタの前部に設けられ前記トラクタの前方を撮像するトラクタ前方カメラからなり、前記トレーラカメラが、前記トレーラの左右側部にそれぞれ設けられ前記トレーラの左右側方を撮像するトレーラ側方カメラと、前記トレーラの後部に設けられ前記トレーラの後方を撮像するトレーラ後方カメラからなることが好ましい。
The tractor camera is a tractor side camera that is provided on each of the left and right sides of the tractor and images the left and right sides of the tractor. The trailer camera is provided on each of the left and right sides of the trailer. It is preferable to comprise a trailer side camera that images the left and right sides of the camera.
Further, the tractor camera is provided on each of the left and right sides of the tractor and images the left and right sides of the tractor, and the tractor front camera is provided on the front of the tractor and images the front of the tractor. The trailer camera is provided on the left and right sides of the trailer, respectively, and a trailer side camera that images the left and right sides of the trailer, and a trailer rear camera that is provided at the rear of the trailer and images the rear of the trailer. Preferably it consists of.
本発明の連結車両用鳥瞰図表示システムによれば、トラクタ周辺を鳥瞰視表示した画像とトレーラ周辺を鳥瞰視表示した画像とを、トラクタとトレーラの連結部の相対角度に応じて合成することにより、連結車両周辺を上方の視点から鳥瞰した鳥瞰画像を生成し、表示することが出来る。これにより、相対角度が変化するという連結車両特有の動きに起因して周囲状況の把握が難しい連結車両において、ドライバはこの車両の鳥瞰画像から、連結車両特有の動きに応じた周囲状況を把握して運転することが可能となる。 According to the bird's-eye view display system for a connected vehicle of the present invention, by combining the image of the tractor periphery and the trailer periphery of the image according to the relative angle of the connecting portion of the tractor and the trailer, It is possible to generate and display a bird's-eye view of the connected vehicle and its surroundings from above. As a result, in a connected vehicle where it is difficult to determine the surrounding situation due to the movement specific to the connected vehicle in which the relative angle changes, the driver grasps the surrounding situation according to the movement specific to the connected vehicle from the bird's-eye view image of this vehicle. Driving.
また、連結部の相対角度に応じて、トラクタ周辺を鳥瞰視表示した画像とトレーラ周辺を鳥瞰視表示した画像の表示領域を決定し、重複部分の合成を行うことで、トラクタとトレーラの相対関係に応じた結車両周辺の鳥瞰画像を確実に生成することができる。
またトラクタ周辺を鳥瞰視表示した画像とトレーラ周辺を鳥瞰視表示した画像をそれぞれ格子状に分けて、格子ごとに重複するかどうかの判断を行うことで、画像処理の負担を軽減し、容易に画像の合成を行うことができる。
Also, depending on the relative angle of the connecting part, the display area of the image showing the bird's-eye view of the tractor and the image of the trailer's view of the trailer is determined, and the overlapping part is synthesized, so that the relative relationship between the tractor and the trailer It is possible to reliably generate a bird's-eye view around the vehicle according to the condition.
Also, by dividing the image of the bird's-eye view around the tractor and the image of the bird's-eye view around the trailer into a grid, and determining whether or not each grid overlaps, the burden of image processing can be reduced Images can be combined.
また、トラクタとトレーラの連結部の相対角度に応じて、連結車両周辺を上方の視点から鳥瞰した鳥瞰画像におけるトラクタ周辺を鳥瞰視表示した画像の表示領域とトレーラ周辺を鳥瞰視表示した画像の表示領域とを記述したマップデータを用いて、相対角度に応じた連結車両周辺の鳥瞰画像における表示領域を決定することにより、さらに画像処理部の負担を軽減し、容易に画像の合成を行うことができる。 In addition, according to the relative angle of the connecting part of the tractor and trailer, the display area of the bird's-eye view of the surrounding area of the connected vehicle and the image of the bird's-eye view of the vicinity of the tractor in the bird's-eye view image By using the map data describing the area, the display area in the bird's-eye view around the connected vehicle according to the relative angle is determined, thereby further reducing the burden on the image processing unit and easily combining the images. it can.
また、トラクタの左右側方を撮像するトラクタ側方カメラと、トレーラの左右側方を撮像するトレーラ側方カメラを備えることにより、連結車両特有の動きに起因して周囲状況の把握が難しい連結車両において、ドライバは車両の鳥瞰画像から、連結車両の側方周辺の状況把握することが可能となり、右左折時の巻き込み防止に役立てることができ、安全性を向上させることができる。 In addition, by providing a tractor side camera that captures the left and right sides of the tractor and a trailer side camera that captures the left and right sides of the trailer, it is difficult to grasp the surrounding situation due to the movement unique to the connected vehicle. In this case, the driver can grasp the situation around the side of the connected vehicle from the bird's-eye view image of the vehicle, which can be used to prevent entrainment at the time of turning left and right, and improve safety.
また、トラクタの左右側方を撮像するトラクタ側方カメラと、トラクタの前方を撮像するトラクタ前方カメラと、トレーラの左右側方を撮像するトレーラ側方カメラと、トレーラの後方を撮像するトレーラ後方カメラを備えることにより、連結車両特有の動きに起因して周囲状況の把握が難しい連結車両において、ドライバは車両の鳥瞰画像から、連結車両前後を含む周辺の状況把握することが可能となり、駐車等を支援することができ、さらに安全性を向上させることができる。 Also, a tractor side camera that images the left and right sides of the tractor, a tractor front camera that images the front of the tractor, a trailer side camera that images the left and right sides of the trailer, and a trailer rear camera that images the rear of the trailer In a connected vehicle where it is difficult to grasp the surrounding situation due to the movement specific to the connected vehicle, the driver can grasp the surrounding situation including the front and rear of the connected vehicle from the bird's-eye view of the vehicle, and parking, etc. Can be supported, and safety can be further improved.
以下、図面により、本発明の一実施形態に係る連結車両用鳥瞰図表示システムについて説明する。図1は本表示システムにおける撮像範囲を説明する模式図、図2は本表示システムにおける、連結車両周辺の鳥瞰画像の生成を説明する模式図、図3は本表示システムの全体構成を示すブロック図である。 Hereinafter, a bird's-eye view display system for a connected vehicle according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a schematic diagram illustrating an imaging range in the display system, FIG. 2 is a schematic diagram illustrating generation of a bird's-eye image around a connected vehicle in the display system, and FIG. 3 is a block diagram illustrating an overall configuration of the display system. It is.
<全体構成>
本発明の一実施形態に係る連結車両用鳥瞰図表示システムは、図1に示すように、連結車両1に適用されるものであって、連結車両1のトラクタ2とトレーラ3の相対角度に応じて、トラクタ2の前方及び左右側方、並びにトレーラ3の左右側方及び後方に備えられたカメラ4〜9により撮像された画像から、連結車両の上方の視点から鳥瞰した鳥瞰画像を合成し、画像表示範囲17に示す連結車両の周囲を鳥瞰視表示する画像の表示を行うものである。
<Overall configuration>
As shown in FIG. 1, the bird's-eye view display system for a connected vehicle according to an embodiment of the present invention is applied to the connected
図3に示すように、本実施形態に係る連結車両用鳥瞰図表示システムが適用される連結車両には、画像処理部31と、トラクタ前方カメラ4と、トラクタ左側方カメラ5と、トラクタ右側方カメラ6と、トレーラ左側方カメラ7と、トレーラ右側方カメラ8と、トレーラ後方カメラ9と、連結車両1の連結部10のカプラ部32に備えられた相対角度検出手段としての角度センサ33と、画像表示部(手段)38とが設けられている。
As shown in FIG. 3, an
画像処理部31は、図示しない入出力装置,制御プログラムや制御マップ等の記憶に供される記憶装置(ROM,RAM等),中央処理装置(CPU)及びタイマカウンタ等を備えて構成されている。
また、画像処理部31には、鳥瞰画像変換部(鳥瞰画像変換手段)34、鳥瞰画像補正部(鳥瞰画像補正手段)35、鳥瞰画像合成部(鳥瞰画像合成手段)36、及びマップデータ記憶部(マップデータ記憶手段)37が機能要素として設けられている。この実施形態では、これら鳥瞰画像変換部34、鳥瞰画像補正部35、鳥瞰画像合成部36、及びマップデータ記憶部37は、コンピュータプログラムによるソフトウエアとして設けられている。
The
The
画像処理部31の入力側には、トラクタ前方カメラ4、トラクタ左側方カメラ5、トラクタ右側方カメラ6、トレーラ左側方カメラ7、トレーラ右側方カメラ8、及びトレーラ後方カメラ9の6つのカメラ、並びに角度センサ33が接続されている。各カメラ4〜9により撮像された画像信号及び角度センサ33により測定された相対角度の情報が画像処理部31に送られるようになっている。そして、画像処理部31は、上記情報(信号)を受信したら、上記情報に基づいて、撮像された画像データを一つの画像に合成処理を行い、連結車両の上方の視点から鳥瞰した連結車両周辺の鳥瞰画像の生成を行う。さらに、画像処理部31は、上記連結車両周辺の鳥瞰画像のデータから、連結車両周辺を上方の視点から鳥瞰した画像を表示する画像信号を生成し、画像表示部38に送信するようになっている。
On the input side of the
鳥瞰画像変換部34は、トラクタ前方カメラ4、トラクタ左側方カメラ5、トラクタ右側方カメラ6、トレーラ左側方カメラ7、トレーラ右側方カメラ8、及びトレーラ後方カメラ9により撮像された画像を元にして、車両の上方の視点から鳥瞰した鳥瞰画像を作成する。撮像画像から鳥瞰画像への変換は、公知の方法を用いることが出来る。
鳥瞰画像補正部35は、鳥瞰画像変換部34により変換された鳥瞰画像の補正を行う。本実施例においては、鳥瞰画像補正部35は、カメラの取り付け位置に応じて、又はトラクタ2とトレーラ3の相対角度に応じて、連結車両1(ここでは、トレーラ3)に対する鳥瞰画像位置の回転補正を行う。この回転補正は、連結部10に設けられたカプラ部32の回転中心を中心としてトラクタ2側の鳥瞰画像或いはトレーラ3側の鳥瞰画像を回転させて位置補正をする。本実施形態では、トレーラ3を基準に画像表示を行なうので、トレーラ3側の鳥瞰画像を固定し、トラクタ2側の鳥瞰画像を回転補正する。
The bird's-eye
The bird's-eye image correction unit 35 corrects the bird's-eye image converted by the bird's-eye
鳥瞰画像合成部36は、鳥瞰画像変換部34により変換された鳥瞰画像、又は鳥瞰画像補正部35により回転補正をされた鳥瞰画像を合成することで、連結車両1の上方の視点から連結車両周辺の画像表示範囲17を鳥瞰した、連結車両周辺の鳥瞰画像を生成する。
画像表示部38は、画像処理部31から画像信号を受信し、連結車両周辺を上方の視点から鳥瞰した画像の表示を行う。画像表示部38は、詳細を図示しないが、例えば、連結車両の運転席に備え付けられたディスプレイと、このディスプレイの表示を制御する表示制御装置とから構成される。
The bird's-eye image synthesis unit 36 synthesizes the bird's-eye image converted by the bird's-eye
The image display unit 38 receives the image signal from the
マップデータ記憶部37は、鳥瞰画像の合成に用いるマップデータが格納されている。
トラクタ前方カメラ4は、図1に示すように、トラクタの前方を撮像するための撮像手段として、トラクタ前部に斜め下方向を向けて設置されている。トラクタ前方カメラ4により、トラクタの前方を撮像範囲11としたトラクタ前方撮像画像が得られる。
トラクタ左側方カメラ5は、図1に示すように、トラクタの左側方を撮像するための撮像手段として、トラクタ左側部に斜め下方向を向けて設置されている。トラクタ左側方カメラ5により、トラクタの左側方を撮像範囲12としたトラクタ左側方撮像画像が得られる。
The map
As shown in FIG. 1, the tractor front camera 4 is installed as an image pickup means for picking up an image of the front of the tractor with the tractor front portion facing obliquely downward. The tractor front camera 4 obtains a tractor front captured image in which the front of the tractor is in the imaging range 11.
As shown in FIG. 1, the tractor left
トラクタ右側方カメラ6は、図1に示すように、トラクタの右側方の撮像するための撮像手段として、トラクタ右側部に斜め下方向を向けて設置されている。トラクタ右側方カメラ6により、トラクタの右側方を撮像範囲13としたトラクタ右側方撮像画像が得られる。
トレーラ左側方カメラ7は、図1に示すように、トレーラの左側方を撮像するための撮像手段として、トレーラの左側部に斜め下方向を向けて設置されている。トレーラ左側方カメラ7により、トレーラの左側方を撮像範囲14としたトレーラ左側方撮像画像が得られる。
As shown in FIG. 1, the tractor right-
As shown in FIG. 1, the trailer left
トレーラ右側方カメラ8は、図1に示すように、トレーラの右側方の撮像するための撮像手段として、トレーラ右側部に斜め下方向を向けて設置されている。トレーラ右側方カメラ8により、トレーラの右側方を撮像範囲15としたトレーラ右側方撮像画像が得られる。
トレーラ後方カメラ9は、図1に示すように、トレーラの後方を撮像するための撮像手段として、トレーラ後部に斜め下方向を向けて設置されている。トレーラ後方カメラ9により、トレーラの後方を撮像範囲16としたトレーラ後方撮像画像が得られる。
As shown in FIG. 1, the trailer right side camera 8 is installed as an image pickup means for picking up an image of the trailer on the right side so that the trailer right side is directed obliquely downward. The trailer right side camera 8 obtains a trailer right side captured image having the
As shown in FIG. 1, the trailer
ここで、それぞれのカメラは各々の撮像範囲11〜16が、それぞれの撮像範囲の周辺領域において重複し、連結車両の周囲に死角を生ずることが無いように配置する。さらに、連結車両においては、トラクタ2とトレーラ3が連結角度をなして、その相対位置を変化させるため、トラクタ側方カメラとトレーラ側方カメラとが、トラクタ2とトレーラ3の相対位置が変化しても死角が生じることの無いよう撮像範囲11〜16の一部が重なるようにカメラ4〜9を配置する。また、死角を生ずることの無いよう、例えば魚眼レンズのような視野角の広い広角カメラを用いることが好ましい。
Here, the respective cameras are arranged so that the respective imaging ranges 11 to 16 overlap in the peripheral region of the respective imaging ranges so that no blind spot is generated around the connected vehicle. Further, in the coupled vehicle, the
角度センサ33は、トラクタ2とトレーラ3の連結部に設けられたカプラ部32に設置されている。角度センサ33はトラクタ2とトレーラ3の相対角度を検知するようになっている。
ここで、トラクタ2の前後方向を結ぶ軸と、トレーラ3の前後軸方向を結ぶ軸とがなす角を相対角度とする。図1(a)に示すように、トラクタとトレーラがともに直進方向を向いている場合に相対角度を0度(相対角度なし)とし、例えば、図1(b)に左折を行う場合を例示するように、右左折等の左右への操舵を行う場合には、トレーラの前後方向を結ぶ軸と、トラクタの前後軸方向を結ぶ軸が連結部10において角度を成す。この場合には、相対角度が発生し、両軸のなす角度をトラクタ2とトレーラ3の相対角度とする。
The
Here, an angle formed by an axis connecting the front and rear direction of the
<連結車両周辺の鳥瞰画像について>
次に、本実施形態の連結車両用鳥瞰図について詳しく説明する。
この連結車両用鳥瞰図は、図2(a),(b)に示すように、連結車両1の上方の視点から連結車両周辺の画像表示範囲27を鳥瞰した、連結車両周辺の鳥瞰画像を表示するものである。この連結車両周辺の鳥瞰画像は、鳥瞰画像変換部34により変換された鳥瞰画像、又は鳥瞰画像補正部35により回転補正をされた鳥瞰画像を合成することで得る。
なお、各カメラによる撮像しうる撮像範囲は有限であるため、それらを変換・合成して得られる連結車両周辺の鳥瞰画像の範囲も有限となる。このとき、連結車両周辺の鳥瞰画像の画像表示範囲は、各カメラの最大撮像範囲に合わせて表示させてもよいが、画像の見易さと画像表示部の領域の大きさの制限との観点からは、連結車両の周囲を十分に観察できる範囲で、図2(a),(b)に破線で囲んだ領域で示す画像表示範囲27のように、一定の領域に映像表示範囲を区切って表示することが好ましい。
<About the bird's-eye view around the connected vehicle>
Next, the bird's-eye view for the connected vehicle of this embodiment will be described in detail.
As shown in FIGS. 2A and 2B, the bird's-eye view for the connected vehicle displays a bird's-eye image around the connected vehicle in which the
Since the imaging range that can be captured by each camera is finite, the range of the bird's-eye view image around the connected vehicle obtained by converting and synthesizing them is also finite. At this time, the image display range of the bird's-eye image around the connected vehicle may be displayed in accordance with the maximum imaging range of each camera, but from the viewpoint of ease of viewing the image and the limitation on the size of the area of the image display unit. Is a range in which the surroundings of the connected vehicle can be sufficiently observed, and the image display range is divided into a certain area and displayed as shown in an
連結車両周辺の鳥瞰画像の表示部中心は、連結車両を示しており、この連結車両を中心に表示し、その周囲に結車両周辺の鳥瞰画像を表示する。この連結車両を示す領域には、連結車両を上方から見た場合のトラクタ2の写真画像又はイメージ画像28、及びトレーラ3の写真画像又はイメージ画像29を表示する。
連結車両周辺の鳥瞰画像は、図2(a),(b)に示すように、連結車両を上方の視点から見た場合に、連結車両のトレーラ3の前後方向(全長方向)の向きが鳥瞰画像の上下方向に対応するようにトレーラ画像29が表示され、トレーラ3の進行方向が画像の上側を向くようにトレーラ画像29が表示される。
The center of the display part of the bird's-eye image around the connected vehicle indicates the connected vehicle. The connected vehicle is displayed around it, and the bird's-eye image around the connected vehicle is displayed around it. In the area indicating the connected vehicle, a photographic image or
As shown in FIGS. 2A and 2B, the bird's-eye view of the vicinity of the connected vehicle has a bird's-eye view of the trailer 3 of the connected vehicle in the front-rear direction (full length direction) when viewed from the upper viewpoint. The
ここで、連結車両の画像は、図2(b)に示すように、角度センサ33により検知されたトラクタ2とトレーラ3の相対角度に応じて、トラクタ2とトレーラ3が検知された相対角度をとるように、トラクタ画像28をトレーラ画像29に対して連結部を中心に回転させて表示する。
また、連結車両周辺の鳥瞰画像は、カメラ4〜9により撮像され、鳥瞰画像変換部34により変換された後述する鳥瞰画像を、それぞれのカメラが設置された連結車の位置に対応するように配置することで生成される。すなわち、トレーラ画像29を中心とした連結車両周辺の鳥瞰画像において、トラクタ2とトレーラ3の相対角度が0度の場合、トラクタ画像28の上側にあたる領域にトラクタ前方鳥瞰画像21が配置され、トラクタ画像28の左側にあたる領域にトラクタ左側方鳥瞰画像22が配置され、トラクタ画像28の右側にあたる領域にトラクタ右側方鳥瞰画像23が配置される。また、トレーラ画像29の左側にあたる領域にトレーラ左側方鳥瞰画像24が配置され、トレーラ画像29の右側にあたる領域にトレーラ右側方鳥瞰画像25が配置され、トレーラ画像29の下側にあたる領域にトレーラ後方鳥瞰画像26が配置される。
Here, as shown in FIG. 2 (b), the image of the connected vehicle shows the relative angle at which the
Further, the bird's-eye images around the connected vehicles are captured by the cameras 4 to 9 and the bird's-eye images described later converted by the bird's-eye
さらに、トラクタ前方鳥瞰画像21、トラクタ左側方鳥瞰画像22、及びトラクタ右側方鳥瞰画像23は、トラクタ画像28がトレーラ画像29に対して、トラクタ2とトレーラ3の相対角度に応じて連結部を中心に回転するのに連動して、トラクタ画像28の周囲に配置されたトラクタ前方鳥瞰画像21、トラクタ左側方鳥瞰画像22、及びトラクタ右側方鳥瞰画像23も、鳥瞰画像補正部35により回転補正を受け、トラクタ画像28に追従して回転・移動して配置されるようになっている。
Further, the tractor front bird's-
なお、連結車両周辺の鳥瞰画像において、トラクタ2とトレーラ3の相対位置の変化に伴い、カメラの撮像範囲が変化して、カメラの撮像範囲では連結車両周辺の画像表示範囲27の全てに鳥瞰画像を表示できない場合がある。この場合、鳥瞰画像を表示できない領域には、それを表す画像、又はその領域を単一色で塗りつぶすことにより、表示できない領域であることがわかるように表示を行えば良い。
In the bird's-eye image around the connected vehicle, the image pickup range of the camera changes in accordance with the change in the relative position of the
<連結車両周辺の鳥瞰画像の生成>
以下、本発明の実施形態にかかる、連結車両周辺の鳥瞰画像の生成を行う手順について説明する。
鳥瞰画像変換部34は、カメラ4〜9により撮像された画像を元にして、上方の視点から鳥瞰した鳥瞰画像を作成する。この処理には、周知の画像変換技術を用いる。
<Generation of bird's-eye view around connected vehicles>
Hereinafter, a procedure for generating a bird's-eye image around a connected vehicle according to an embodiment of the present invention will be described.
The bird's-eye
この鳥瞰画像変換処理により、トラクタ前方撮像画像から、トラクタの前方の撮像範囲11を上方の視点から鳥瞰したトラクタ前方鳥瞰画像21が得られる。
また、トラクタ左側方撮像画像から、トラクタの左側方の撮像範囲12を上方の視点から鳥瞰したトラクタ左側方鳥瞰画像22が得られる。
また、トラクタ右側方撮像画像から、トラクタの右側方の撮像範囲13を上方の視点から鳥瞰したトラクタ右側方鳥瞰画像23が得られる。
また、トレーラ左側方撮像画像から、トレーラの左側方の撮像範囲14を上方の視点から鳥瞰したトレーラ左側方鳥瞰画像24が得られる。
また、トレーラ右側方撮像画像から、トレーラの右側方の撮像範囲15を上方の視点から鳥瞰したトレーラ右側方鳥瞰画像25が得られる。
また、トレーラ後方撮像画像から、トレーラの後方の撮像範囲16を上方の視点から鳥瞰したトレーラ後方鳥瞰画像26が得られる。
By this bird's-eye view image conversion process, a tractor front bird's-
In addition, a tractor left side bird's-
Further, a tractor right side bird's-
Further, a trailer left side bird's-
In addition, a trailer right side bird's-
In addition, a trailer rear bird's-
連結車両周辺の鳥瞰画像を生成するにあたって、各鳥瞰画像が連結車両周辺の鳥瞰画像において表示される領域を、トラクタ2に対するトレーラ3の角度に応じて計算を行い、算出結果に基づいて鳥瞰画像を配置してもよいが、本実施形態では、マップデータを用いて各鳥瞰画像の表示領域を決定して、連結車両周辺の鳥瞰画像の生成を行う。
In generating the bird's-eye view image around the connected vehicle, the region in which each bird's-eye view image is displayed in the bird's-eye view around the connected vehicle is calculated according to the angle of the trailer 3 with respect to the
ここで、マップデータとは、鳥瞰画像変換部34により変換された鳥瞰画像を格子状に分け、各格子に識別名称として格子番号を与えて区別できるようにした場合において、格子番号の格子領域ごとに、連結車両周辺の鳥瞰画像において各格子領域の画像(格子画像ともいう)が表示される領域が記述されたデータである。
なお、連結車両周辺の鳥瞰画像における各格子画像の表示領域が、トラクタ2とトレーラ3の相対角度に応じて変化する場合には、トラクタ2とトレーラ3の相対角度に対応した各格子画像の表示領域がマップデータに記述されている。
Here, the map data is obtained by dividing the bird's-eye image converted by the bird's-eye
In addition, when the display area of each grid image in the bird's-eye image around the connected vehicle changes according to the relative angle between the
換言すれば、マップデータは、トラクタ2とトレーラ3の相対角度とに基づいて、トラクタ前方鳥瞰画像21の各格子画像、トラクタ左側方鳥瞰画像22の各格子画像、トラクタ右側方鳥瞰画像23の各格子画像、トレーラ左側方鳥瞰画像24の各格子画像、トレーラ右側方鳥瞰画像25の各格子画像、及びトレーラ後方鳥瞰画像26の各格子画像が、連結車両周辺の鳥瞰画像のどの領域に表示されるかを規定する。
In other words, the map data is based on the relative angle between the
連結車両周辺の鳥瞰画像を生成するにあたって、各鳥瞰画像の表示の処理について説明する。
まず、鳥瞰画像合成部36は、図2(a)に示すように、各鳥瞰画像を格子状に分け、各格子領域に格子番号を与える。
次に、鳥瞰画像合成部36は、マップデータ記憶部37からマップデータを読み出し、格子番号に対応するマップデータを参照する。各鳥瞰画像の各格子番号と相対角度をマップデータに適用することで、その格子番号の格子画像が、連結車両周辺の鳥瞰画像のどの領域に表示されるかが読み出されるようになっている。
In generating the bird's-eye view image around the connected vehicle, the processing for displaying each bird's-eye image will be described.
First, as shown in FIG. 2A, the bird's-eye view image synthesis unit 36 divides each bird's-eye view image into a lattice shape and gives a lattice number to each lattice region.
Next, the bird's-eye view image synthesis unit 36 reads the map data from the map
鳥瞰画像合成部は、マップデータから読み出された表示領域に従い、連結車両周辺の鳥瞰画像に、各鳥瞰画像の各格子番号ごとに対応する格子画像の配置を行う。
なお、トラクタ2とトレーラ3の相対角度が変化する場合には、図2(b)に示すように、相対角度に応じて各鳥瞰画像の各格子番号の格子画像の表示領域が変化する。このため、鳥瞰画像補正部35により、格子画像は適宜回転補正が施されて配置される。なお、鳥瞰画像補正部35は、鳥瞰画像に対して、適宜拡大及び縮小処理、並びにトリミング処理を行ってもよい。
The bird's-eye view image composition unit arranges a lattice image corresponding to each lattice number of each bird's-eye view image on the bird's-eye view around the connected vehicle according to the display area read from the map data.
In addition, when the relative angle of the
これにより、各鳥瞰画像を合成して連結車両周辺の鳥瞰画像を生成する際に、トラクタ2に備えられたカメラにより撮像された各々の周辺画像は、連結車両1の上方の視点から見た場合に、トレーラ3に対するトラクタ2の角度に連動して、連結車両周辺の鳥瞰画像上に配置され、トラクタ2の周囲の状況を反映して表示される。
Thereby, when combining each bird's-eye view image and producing | generating the bird's-eye view image around a connection vehicle, when each periphery image imaged with the camera with which the
連結車両周辺の鳥瞰画像を生成するにあたり、各鳥瞰図の重複部分の処理について説明する。
図2の(c)〜(d)はこの処理を説明するための図であり、図2(c),(d)はそれぞれ、図2(a),(b)の一部領域を拡大して表示した物である。
連結車両の各部に設けられたカメラは、その撮像範囲がオーバーラップするように配置されており、撮像する画像及び変換される鳥瞰画像21〜26の表示範囲も重複する。このため、連結車両周辺の鳥瞰画像を生成するにあたり、各鳥瞰画像21〜26の重複部分の処理を行う必要がある。
In generating the bird's-eye view around the connected vehicle, processing of overlapping portions of the bird's-eye views will be described.
FIGS. 2C to 2D are diagrams for explaining this processing. FIGS. 2C and 2D are enlarged views of partial areas of FIGS. 2A and 2B, respectively. It is the thing displayed.
The cameras provided in each part of the connected vehicle are arranged so that their imaging ranges overlap, and the images to be captured and the display ranges of the converted bird's-
特に、連結車両においては、トラクタ2とトレーラ3とが相対角度(連結角)をなして、その相対位置を変化させるため、トラクタ2の側方カメラ5,6とトレーラ3の側方カメラ7,8との関係においては、トラクタ2とトレーラ3との相対位置の変化に応じて、トラクタ側方カメラ5,6とトレーラ側方カメラ7,8等の重複部分が変化するため、相対角度に応じて重複部分の処理を行う必要がある。
In particular, in a connected vehicle, the
このため、鳥瞰画像合成部36は、各々のカメラに4〜9より撮像された画像から変換された鳥瞰画像の、連結車両周辺の鳥瞰画像における表示領域が、他のカメラにより撮像された画像から変換された鳥瞰画像の表示領域と重複する場合には、一のカメラにより撮像された画像から変換された鳥瞰画像を、他のカメラにより撮像された画像から変換された鳥瞰画像より優先して表示を行うことで、各々の鳥瞰画像の合成を行う。つまり、重複する一方の格子番号の格子画像を表示し、重複する他方の格子番号の格子画像の重複部分は表示しない。一方、他の鳥瞰画像と重複しない場合には、画像をそのまま表示を行う。 For this reason, the bird's-eye view image synthesis unit 36 displays the bird's-eye view image converted from the images taken from 4 to 9 by each camera from the images taken by other cameras in the bird's-eye view image around the connected vehicle. When overlapping with the display area of the converted bird's-eye image, the bird's-eye image converted from the image captured by one camera is displayed with priority over the bird's-eye image converted from the image captured by the other camera. Is performed to synthesize each bird's-eye view image. That is, the grid image with one overlapping grid number is displayed, and the overlapping portion of the grid image with the other grid number overlapping is not displayed. On the other hand, if the image does not overlap with another bird's-eye view image, the image is displayed as it is.
なお、鳥瞰画像が重複する場合において、優先して表示される画像はいずれの鳥瞰画像に由来する格子の画像であってもよいが、いずれか一方の鳥瞰画像を優先して表示することを定めておくことが好ましい。
鳥瞰画像の重複処理においては、画素単位で重複処理を行ってもよいが、本実施例においては、前述した、各鳥瞰画像を格子状に分け、各格子に格子番号を与えた各格子画像ごとに合成を行う。
In the case where the bird's-eye images overlap, the image displayed with priority may be a lattice image derived from any bird's-eye image, but it is determined that one of the bird's-eye images is displayed with priority. It is preferable to keep it.
In the overlap processing of the bird's-eye view image, the overlap processing may be performed on a pixel-by-pixel basis. However, in the present embodiment, each bird's-eye view image described above is divided into a lattice shape and each lattice image is assigned a lattice number to each lattice. Perform synthesis.
なお、各格子画像の重複処理については、その都度重複部分の判定を行い、合成を行ってもよいが、あらかじめマップデータに重複関係を記憶させておき、マップデータから重複関係を読み出して、合成を行ってもよい。
ここで、本実施例においては、トラクタ左側方鳥瞰画像22を、トレーラ左側方鳥瞰画像24に優先して表示を行う場合について説明する。
In addition, regarding the overlap processing of each grid image, the overlapping portion may be determined and combined each time. However, the overlap relationship is stored in advance in the map data, and the overlap relationship is read from the map data and combined. May be performed.
Here, in the present embodiment, a case where the tractor left side bird's-
図2(a)示すように、トラクタ左側方カメラ5に由来するトラクタ左側方鳥瞰画像22と、トレーラ左側方カメラ7に由来するトレーラ左側方鳥瞰画像24の表示領域は重複しており、また、図2(b)示すように、トラクタ2とトレーラ3との相対角度に応じて、重複部分は変化する。
図2(c)示すように、トラクタ左側方鳥瞰画像22の格子番号A2〜A4、A6〜A9、A11〜A15、及びA16〜A21の格子画像については、トレーラ左側方鳥瞰画像24に優先して表示を行う。また、トレーラ左側方鳥瞰画像24の表示領域のうち、トラクタ左側方鳥瞰画像22の表示領域と重複しない格子番号B2〜B6、B8〜B11、B13〜B15、B17、及びB18の格子画像についてはそのまま表示を行う。一方、トレーラ左側方鳥瞰画像24の表示領域のうち、トラクタ左側方鳥瞰画像22の表示領域と重複する、B1、B7、B12、及びB16の格子画像には、トラクタ左側方鳥瞰画像22のA4、A9、A15、及びA21の格子が優先して表示される。
As shown in FIG. 2 (a), the display areas of the tractor left side bird's-
As shown in FIG. 2 (c), the grid images of the grid numbers A2 to A4, A6 to A9, A11 to A15, and A16 to A21 of the tractor left side bird's
トラクタ2とトレーラ3の連結角が変化した場合には、図2(d)に示すように、重複部分が変化するため、重複部分の変化に対応して、トレーラ左側方鳥瞰画像24に、トラクタ左側方鳥瞰画像22が優先して表示される。
このようにして、各鳥瞰画像の全ての格子について順次表示を行うことで、重複部分の処理の処理を行い、連結車両周辺の鳥瞰画像を生成する。
When the connecting angle between the
In this way, by sequentially displaying all the grids of each bird's-eye view image, the overlapping portion is processed, and a bird's-eye image around the connected vehicle is generated.
上記のようにして、カメラで撮像される画像について、画像処理部31は各フレームの画像ごとに、逐次画像の変換及び合成処理を行い、連続して画像データを画像表示部38に送信することで、運転状態に応じた連結車両の上方の視点から鳥瞰した鳥瞰画像の画像を、リアルタイムに表示を行うことが出来る。
As described above, the
<格子画像の表示領域のキャリブレーション>
マップデータにより読み出される、各格子の連結車両周辺の鳥瞰画像における表示領域及び重複関係は、連結車両に設置されたカメラの設置位置及び取り付け角度、並びに連結車両のトラクタとトレーラの位置関係により変化する。このため、連結車両用鳥瞰図表示システムの使用に当たって、キャリブレーションを行うことによりマップデータの作成、又は補正を行うことが好ましい。
<Calibration of grid image display area>
The display area and the overlapping relationship in the bird's-eye view around the connected vehicle of each lattice, which are read out by the map data, vary depending on the installation position and mounting angle of the camera installed on the connected vehicle, and the positional relationship between the tractor and trailer of the connected vehicle. . For this reason, when using the bird's-eye view display system for connected vehicles, it is preferable to create or correct map data by performing calibration.
キャリブレーションは、キャリブレーション用の画像が描かれた画像の上に、本連結車両用鳥瞰図表示システムを搭載した連結車両1を配置して、カメラ4〜9により連結車両周辺のキャリブレーション用の画像を撮像することで行う。
キャリブレーション用の画像を連結車両1に設置されたカメラ4〜9で撮像し、撮像画像を鳥瞰画像に変換する。ここで、連結車両とキャリブレーション用の模様との実際の位置関係と、各鳥瞰画像を格子に区切った場合の各格子画像との表示領域を各格子番号ごとに比較することで、各格子画像の連結車両周辺の鳥瞰画像における表示領域についての情報を取得することができる。これによって得られた格子番号ごとの表示領域についての情報を、マップデータに保存する。
In the calibration, the
An image for calibration is captured by the cameras 4 to 9 installed in the
また、キャリブレーション用の画像は、各カメラのオーバーラップ領域にキャリブレーション用の画像が含まれるように描かれている。このキャリブレーション用の画像を連結車両に設置されたカメラで撮像し、撮像画像を鳥瞰画像に変換する。ここで、各鳥瞰画像の各格子番号の格子に表示される画像を比較して、同じ画像が表示されている場合に、それぞれの鳥瞰画像の格子が重複している、すなわち各カメラの撮像領域が重複していると判断される。これによって重複していると判断された格子番号の対応についての情報をマップデータに保存する。 Further, the calibration image is drawn so that the calibration image is included in the overlap region of each camera. The calibration image is captured by a camera installed on the connected vehicle, and the captured image is converted into a bird's-eye view image. Here, when the images displayed on the lattices of the respective lattice numbers of the bird's-eye images are compared and the same image is displayed, the lattices of the bird's-eye images overlap, that is, the imaging area of each camera Are determined to be duplicated. As a result, information about the correspondence between the lattice numbers determined to be duplicated is stored in the map data.
このようにして、相対角度を変化させながら各格子の表示領域及び重複関係を検査することにより、相対角度に応じたマップデータのキャリブレーションを行うことが出来る。 In this way, the map data can be calibrated according to the relative angle by inspecting the display area of each grid and the overlapping relationship while changing the relative angle.
<作用・効果>
本発明の一実施形態に係る衝突被害軽減装置は上述のように構成されているので、以下のような作用及び効果を奏する。
<Action and effect>
Since the collision damage reducing apparatus according to an embodiment of the present invention is configured as described above, the following operations and effects are achieved.
本連結車両用鳥瞰図表示システムは、トラクタ2の前方及び左右側方、並びにトレーラ3の後方及び左右側方に設けられた6つのカメラにより撮像された画像を、上方から鳥瞰した鳥瞰画像にそれぞれ変換し、トラクタ2とトレーラ3の相対角度に応じて、トラクタ2及びトレーラ3の位置に対応した鳥瞰画像の表示領域を決定して、連結車両周辺の鳥瞰画像を生成する。このため、連結車両特有の動きに起因して周囲状況の把握が難しい連結車両において、トラクタ2とトレーラ3の相対角度に応じて変化するトラクタ2とトレーラ3の位置関係に対応して、鳥瞰画像の表示領域が決定されることで、トラクタ2とトレーラ3の周囲の状況を反映した連結車両周辺の鳥瞰画像が生成される。これにより、ドライバはこの車両の鳥瞰画像から、連結車の周辺の状況を把握することが可能となり、安全性を向上させることができる。
This bird's-eye view display system for connected vehicles converts images captured by six cameras provided in front and left and right sides of the
また、鳥瞰視表示した画像をそれぞれ格子状に分けて、トラクタ2とトレーラ3の連結部の相対角度に応じて、各格子ごとに、連結車両周辺を上方の視点から鳥瞰した鳥瞰画像における、各格子画像の表示領域の決定と重複部分の表示を行うことで、画像処理の負担を軽減し容易に画像の合成を行うことができる。
さらに、トラクタ2とトレーラ3の連結部の相対角度に応じて、各格子ごとに、連結車両周辺を上方の視点から鳥瞰した鳥瞰画像における、各格子画像の表示領域を記述するマップデータを保存するマップデータ記憶部37を有し、このマップデータを用いて、格子画像の相対角度に応じた表示領域を決定することにより、さらに画像処理部の負担を軽減し容易に画像の合成を行うことができる。
In addition, each bird's-eye view displayed image is divided into a grid, and each bird's-eye view of the surrounding area of the connected vehicle is viewed from an upper viewpoint for each lattice according to the relative angle of the connecting portion between the
Further, map data describing a display area of each lattice image in a bird's-eye view of the connected vehicle and its surroundings as viewed from the upper viewpoint is stored for each lattice according to the relative angle of the connecting portion between the
[その他]
以上、本発明の実施形態を説明したが、本発明は係る実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することが出来る。
[Others]
Although the embodiments of the present invention have been described above, the present invention is not limited to such embodiments, and various modifications can be made without departing from the spirit of the present invention.
例えば、上記実施形態では、トラクタの前方に1台、トラクタの左側方に1台、トラクタの右側方に1台、トレーラの左側方に1台、トレーラの右側方に1台、トラクタの後方に1台のカメラを設置するとしたが、それぞれの箇所、或いは特定の箇所に、複数のカメラを設置し、複数のカメラを用いてトラクタ又はトレーラの周囲を撮像しても良い。また、トレーラ及びトラクタのコーナー部分にカメラを設置しても良い。 For example, in the above embodiment, one unit is located in front of the tractor, one is located on the left side of the tractor, one is located on the right side of the tractor, one is located on the left side of the trailer, one is located on the right side of the trailer, and the rear side of the tractor. Although one camera is installed, a plurality of cameras may be installed at each location or a specific location, and the surroundings of the tractor or trailer may be imaged using a plurality of cameras. Moreover, you may install a camera in the corner part of a trailer and a tractor.
また、上記実施形態では、鳥瞰画像変換部は、各カメラにより撮像された画像を元にして、上方の視点から鳥瞰した鳥瞰画像を作成するとしたが、鳥瞰画像を作成するために、当該撮像された画像について、カメラのレンズによる歪みの補正処理を行っても良い。
また、上記実施形態では、各鳥瞰画像が重複する部分について、どちらかの鳥瞰画像の格子の画像を優先表示するとしたが、トラクタとトレーラの相対角度、及び相対角度の変化に伴うカメラの位置関係に基づいて、それぞれの格子ごとにどの格子の画像が表示されるかを定めても良い。この場合、表示の優先順位をマップデータに含め、各格子の格子画像の合成時にマップデータから優先順位を読み出して合成を行っても良い。
In the above-described embodiment, the bird's-eye image conversion unit creates a bird's-eye image viewed from the upper viewpoint based on the images captured by each camera. However, in order to create a bird's-eye image, the image is captured. The image may be subjected to distortion correction processing by a camera lens.
In the above-described embodiment, the bird's-eye image is preferentially displayed for the portion where each bird's-eye image overlaps. However, the relative angle between the tractor and the trailer, and the positional relationship of the camera accompanying the change in the relative angle. Based on the above, it may be determined which lattice image is displayed for each lattice. In this case, display priority may be included in the map data, and the priority order may be read from the map data when the lattice images of the respective lattices are combined.
また、上記実施形態では、連結車両周辺の鳥瞰図において、トレーラ画像29を固定し、トラクタ2とトレーラ3との相対角度に応じて、トラクタ画像28をトレーラ画像29に対して回転して表示させるようにしているが、トラクタ画像28固定し、トレーラ画像29を回転して表示させ、トレーラ画像29に追従してトレーラ周囲の鳥瞰画像を配置させてもよい。
In the above embodiment, the
1 連結車両
2 トラクタ
3 トレーラ
4 トラクタ前方カメラ
5 トラクタ左側方カメラ
6 トラクタ右側方カメラ
7 トレーラ左側方カメラ
8 トレーラ右側方カメラ
9 トレーラ後方カメラ
10 連結部
11 トラクタ前方カメラ撮像範囲
12 トラクタ左側方カメラ撮像範囲
13 トラクタ右側方カメラ撮像範囲
14 トレーラ左側方カメラ撮像範囲
15 トレーラ右側方カメラ撮像範囲
16 トレーラ後方カメラ撮像範囲
17、27 画像表示範囲
21 トラクタ前方鳥瞰画像
22 トラクタ左側方鳥瞰画像
23 トラクタ右側方鳥瞰画像
24 トレーラ左側方鳥瞰画像
25 トレーラ右側方鳥瞰画像
26 トレーラ後方鳥瞰画像
28 トラクタ画像
29 トレーラ画像
31 画像処理部
32 カプラ部
33 角度センサ
34 鳥瞰画像変換部(鳥瞰画像変換手段)
35 鳥瞰画像補正部(鳥瞰画像補正手段)
36 鳥瞰画像合成部(鳥瞰画像合成手段)
37 マップデータ記憶部(マップデータ記憶手段)
38 画像表示部
DESCRIPTION OF
35 Bird's-eye image correction unit (bird's-eye image correction means)
36 Bird's-eye image synthesis unit (bird's-eye image synthesis means)
37 Map data storage unit (map data storage means)
38 Image display
Claims (6)
前記トラクタに設けられ前記トラクタの周辺を撮像するトラクタカメラと、
前記トレーラに設けられ前記トレーラの周辺を撮像するトレーラカメラと、
前記トラクタと前記トレーラとの連結部の相対角度を検出する相対角度検出手段と、
前記トラクタカメラが撮像した前記トラクタ周辺のトラクタ周辺撮像画像を、上方から鳥瞰した画像に変換してトラクタ周辺鳥瞰画像を得ると共に、前記トレーラカメラが撮像した前記トレーラ周辺のトレーラ周辺撮像画像を、上方から鳥瞰した画像に変換してトレーラ周辺鳥瞰画像を得る鳥瞰画像変換手段と、
前記トラクタ周辺鳥瞰画像と前記トレーラ周辺鳥瞰画像とを合成して、前記連結車両周辺の鳥瞰画像を生成する鳥瞰画像合成手段と、
前記鳥瞰画像合成手段により生成された前記連結車両周辺の鳥瞰画像を表示する画像表示手段とを備え、
前記鳥瞰画像合成手段は、前記相対角度検出手段により検出された前記相対角度に応じて、前記トラクタ周辺鳥瞰画像と前記トレーラ周辺鳥瞰画像とを合成して前記連結車両周辺の鳥瞰画像を生成する
ことを特徴とする連結車両用鳥瞰図表示システム。 A bird's-eye view display system for a connected vehicle that displays a bird's-eye view around a connected vehicle composed of a tractor and a trailer,
A tractor camera provided on the tractor for imaging the periphery of the tractor;
A trailer camera provided on the trailer for imaging the periphery of the trailer;
A relative angle detecting means for detecting a relative angle of a connecting portion between the tractor and the trailer;
The tractor periphery captured image around the tractor captured by the tractor camera is converted into a bird's eye view image from above to obtain a tractor periphery bird's eye view image, and the trailer periphery captured image around the trailer captured by the trailer camera is A bird's-eye view image conversion means for obtaining a bird's-eye view image around the trailer by converting from
A bird's-eye image combining unit that combines the bird's-eye image around the tractor and the bird's-eye image around the trailer to generate a bird's-eye image around the connected vehicle;
Image display means for displaying a bird's-eye image around the connected vehicle generated by the bird's-eye image synthesis means,
The bird's-eye image synthesizing unit generates the bird's-eye image around the connected vehicle by synthesizing the bird's-eye view image around the tractor and the bird's-eye view image around the trailer according to the relative angle detected by the relative angle detection unit. A bird's-eye view display system for connected vehicles.
前記相対角度に応じて前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像の、前記連結車両周辺の鳥瞰画像における表示領域を決定し、
前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像の重複する部分については、何れか一方の画像の表示を優先することにより前記連結車両周辺の鳥瞰画像を合成する
ことを特徴とする請求項1記載の連結車両用鳥瞰図表示システム。 The bird's-eye view image synthesis means includes:
According to the relative angle, the display area in the bird's-eye view around the connected vehicle of the bird's-eye view around the tractor and the bird's-eye view around the trailer,
The bird's-eye view image around the connected vehicle is synthesized by giving priority to the display of either one of the overlapping portions of the bird's-eye view image around the tractor and the bird's-eye view around the trailer. Bird's eye view display system for connected vehicles.
前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像をそれぞれ格子状に分けて各格子画像にそれぞれ識別名称(格子番号)を与え、
前記識別名称を用いて、前記格子画像ごとに、前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域の決定と、重複部分の表示を行う
ことを特徴とする請求項2記載の連結車両用鳥瞰図表示システム。 The bird's-eye view image synthesis means includes:
Dividing the bird's-eye view image around the tractor and the bird's-eye view around the trailer into a lattice shape, and giving each lattice image an identification name (grid number),
3. The connection according to claim 2, wherein, for each grid image, determination of a display area in a bird's-eye image around the connected vehicle and display of an overlapping portion are performed for each lattice image using the identification name. Bird's eye view display system for vehicles.
前記鳥瞰画像合成手段は、前記マップデータを用いて、前記格子画像の前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域を決定する
ことを特徴とする請求項3記載の連結車両用鳥瞰図表示システム。 Map data describing a display area in a bird's-eye image around the connected vehicle according to the relative angle for each lattice image,
The said bird's-eye image composition means determines the display area in the bird's-eye image around the said connected vehicle according to the said relative angle of the said grid image using the said map data. Bird's eye view display system.
前記トレーラカメラが、前記トレーラの左右側部にそれぞれ設けられ前記トレーラの左右側方を撮像するトレーラ側方カメラからなる
ことを特徴とする請求項1〜4の何れか1項に記載の連結車両用鳥瞰図表示システム。 The tractor camera comprises a tractor side camera that images the left and right sides of the tractor provided on the left and right sides of the tractor,
5. The connected vehicle according to claim 1, wherein the trailer camera includes a trailer side camera that is provided on each of left and right sides of the trailer and images the left and right sides of the trailer. Bird's eye view display system.
前記トレーラカメラが、前記トレーラの左右側部にそれぞれ設けられ前記トレーラの左右側方を撮像するトレーラ側方カメラと、前記トレーラの後部に設けられ前記トレーラの後方を撮像するトレーラ後方カメラからなる
ことを特徴とする請求項1〜4の何れか1項に記載の連結車両用鳥瞰図表示システム。 The tractor camera comprises a tractor side camera that images the left and right sides of the tractor provided on the left and right sides of the tractor, and a tractor front camera that images the front of the tractor provided on the front of the tractor. ,
The trailer camera includes a trailer side camera that images the left and right sides of the trailer provided on the left and right sides of the trailer, and a trailer rear camera that is provided at the rear of the trailer and images the rear of the trailer. The bird's-eye view display system for connected vehicles according to any one of claims 1 to 4.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010253242A JP2012105158A (en) | 2010-11-11 | 2010-11-11 | Combination vehicle birds-eye-view display system |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010253242A JP2012105158A (en) | 2010-11-11 | 2010-11-11 | Combination vehicle birds-eye-view display system |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2012105158A true JP2012105158A (en) | 2012-05-31 |
Family
ID=46395029
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010253242A Withdrawn JP2012105158A (en) | 2010-11-11 | 2010-11-11 | Combination vehicle birds-eye-view display system |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP2012105158A (en) |
Cited By (60)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2015154406A (en) * | 2014-02-18 | 2015-08-24 | クラリオン株式会社 | Peripheral monitoring device for towing vehicle |
WO2016024444A1 (en) * | 2014-08-12 | 2016-02-18 | ソニー株式会社 | Signal processing device, signal processing method and monitoring system |
US9290202B2 (en) | 2011-04-19 | 2016-03-22 | Ford Global Technologies, Llc | System and method of calibrating a trailer backup assist system |
DE102014218995A1 (en) | 2014-09-22 | 2016-03-24 | Robert Bosch Gmbh | Method and device for bird-view display of a vehicle combination and retrofittable camera |
US9315212B1 (en) | 2014-10-13 | 2016-04-19 | Ford Global Technologies, Llc | Trailer sensor module and associated method of wireless trailer identification and motion estimation |
US9335163B2 (en) | 2011-04-19 | 2016-05-10 | Ford Global Technologies, Llc | Trailer length estimation in hitch angle applications |
US9340228B2 (en) | 2014-10-13 | 2016-05-17 | Ford Global Technologies, Llc | Trailer motion and parameter estimation system |
US9346396B2 (en) | 2011-04-19 | 2016-05-24 | Ford Global Technologies, Llc | Supplemental vehicle lighting system for vision based target detection |
JP2016119526A (en) * | 2014-12-19 | 2016-06-30 | アルパイン株式会社 | Tractor vehicle surrounding image generation device and tractor vehicle surrounding image generation method |
EP3048012A1 (en) * | 2015-01-21 | 2016-07-27 | Caterpillar Inc. | Vision system and method of monitoring surroundings of machine |
US9434414B2 (en) | 2011-04-19 | 2016-09-06 | Ford Global Technologies, Llc | System and method for determining a hitch angle offset |
US9513103B2 (en) | 2011-04-19 | 2016-12-06 | Ford Global Technologies, Llc | Hitch angle sensor assembly |
US9517668B2 (en) | 2014-07-28 | 2016-12-13 | Ford Global Technologies, Llc | Hitch angle warning system and method |
US9522699B2 (en) | 2015-02-05 | 2016-12-20 | Ford Global Technologies, Llc | Trailer backup assist system with adaptive steering angle limits |
US9533683B2 (en) | 2014-12-05 | 2017-01-03 | Ford Global Technologies, Llc | Sensor failure mitigation system and mode management |
US9555832B2 (en) | 2011-04-19 | 2017-01-31 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
WO2017020898A1 (en) * | 2015-07-31 | 2017-02-09 | Conti Temic Microelectronic Gmbh | Method and device for displaying an image of the surroundings of a vehicle combination |
US9566911B2 (en) | 2007-03-21 | 2017-02-14 | Ford Global Technologies, Llc | Vehicle trailer angle detection system and method |
US9607242B2 (en) | 2015-01-16 | 2017-03-28 | Ford Global Technologies, Llc | Target monitoring system with lens cleaning device |
US9610975B1 (en) | 2015-12-17 | 2017-04-04 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system |
US9616923B2 (en) | 2015-03-03 | 2017-04-11 | Ford Global Technologies, Llc | Topographical integration for trailer backup assist system |
US9683848B2 (en) | 2011-04-19 | 2017-06-20 | Ford Global Technologies, Llc | System for determining hitch angle |
WO2017122294A1 (en) * | 2016-01-13 | 2017-07-20 | 株式会社ソシオネクスト | Surroundings monitoring apparatus, image processing method, and image processing program |
US9723274B2 (en) | 2011-04-19 | 2017-08-01 | Ford Global Technologies, Llc | System and method for adjusting an image capture setting |
WO2017131243A1 (en) * | 2017-02-09 | 2017-08-03 | 株式会社小松製作所 | Work vehicle periphery monitoring system, work vehicle, and work vehicle periphery monitoring method |
US9796228B2 (en) | 2015-12-17 | 2017-10-24 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system |
US9798953B2 (en) | 2015-12-17 | 2017-10-24 | Ford Global Technologies, Llc | Template matching solution for locating trailer hitch point |
US9804022B2 (en) | 2015-03-24 | 2017-10-31 | Ford Global Technologies, Llc | System and method for hitch angle detection |
US9827818B2 (en) | 2015-12-17 | 2017-11-28 | Ford Global Technologies, Llc | Multi-stage solution for trailer hitch angle initialization |
US9836060B2 (en) | 2015-10-28 | 2017-12-05 | Ford Global Technologies, Llc | Trailer backup assist system with target management |
US9854209B2 (en) | 2011-04-19 | 2017-12-26 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
US9926008B2 (en) | 2011-04-19 | 2018-03-27 | Ford Global Technologies, Llc | Trailer backup assist system with waypoint selection |
US9934572B2 (en) | 2015-12-17 | 2018-04-03 | Ford Global Technologies, Llc | Drawbar scan solution for locating trailer hitch point |
US9937953B2 (en) | 2011-04-19 | 2018-04-10 | Ford Global Technologies, Llc | Trailer backup offset determination |
US9963004B2 (en) | 2014-07-28 | 2018-05-08 | Ford Global Technologies, Llc | Trailer sway warning system and method |
WO2018108211A1 (en) * | 2016-12-14 | 2018-06-21 | Conti Temic Microelectronic Gmbh | Three-dimensional all-round view system |
US10005492B2 (en) | 2016-02-18 | 2018-06-26 | Ford Global Technologies, Llc | Trailer length and hitch angle bias estimation |
JP2018101860A (en) * | 2016-12-19 | 2018-06-28 | 株式会社クボタ | Work vehicle |
US10011228B2 (en) | 2015-12-17 | 2018-07-03 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system using multiple imaging devices |
US10017115B2 (en) | 2015-11-11 | 2018-07-10 | Ford Global Technologies, Llc | Trailer monitoring system and method |
US10046800B2 (en) | 2016-08-10 | 2018-08-14 | Ford Global Technologies, Llc | Trailer wheel targetless trailer angle detection |
KR101894204B1 (en) * | 2018-03-02 | 2018-08-31 | 주식회사 아이엔티코리아 | Realtime container truck monitoring method and system |
US10106193B2 (en) | 2016-07-01 | 2018-10-23 | Ford Global Technologies, Llc | Enhanced yaw rate trailer angle detection initialization |
US10155478B2 (en) | 2015-12-17 | 2018-12-18 | Ford Global Technologies, Llc | Centerline method for trailer hitch angle detection |
US10222804B2 (en) | 2016-10-21 | 2019-03-05 | Ford Global Technologies, Llc | Inertial reference for TBA speed limiting |
WO2019093176A1 (en) * | 2017-11-07 | 2019-05-16 | アイシン精機株式会社 | Periphery monitoring device |
JP2019075625A (en) * | 2017-10-12 | 2019-05-16 | アイシン精機株式会社 | Periphery monitoring device |
US10384607B2 (en) | 2015-10-19 | 2019-08-20 | Ford Global Technologies, Llc | Trailer backup assist system with hitch angle offset estimation |
JP2020021980A (en) * | 2018-07-30 | 2020-02-06 | 株式会社Jvcケンウッド | Overhead image generation apparatus, overhead image generation method, and program |
US10611407B2 (en) | 2015-10-19 | 2020-04-07 | Ford Global Technologies, Llc | Speed control for motor vehicles |
KR20200064014A (en) * | 2018-11-28 | 2020-06-05 | 오토아이티(주) | Apparatus and method for generating AVM image in trailer truck |
US10710585B2 (en) | 2017-09-01 | 2020-07-14 | Ford Global Technologies, Llc | Trailer backup assist system with predictive hitch angle functionality |
JP2020150306A (en) * | 2019-03-11 | 2020-09-17 | いすゞ自動車株式会社 | Display control device |
US10829046B2 (en) | 2019-03-06 | 2020-11-10 | Ford Global Technologies, Llc | Trailer angle detection using end-to-end learning |
CN112798009A (en) * | 2020-12-24 | 2021-05-14 | 北京经纬恒润科技股份有限公司 | Remote driving auxiliary display method and device |
CN113103956A (en) * | 2020-01-13 | 2021-07-13 | 福特全球技术公司 | 360-degree trailer camera view system |
US11077795B2 (en) | 2018-11-26 | 2021-08-03 | Ford Global Technologies, Llc | Trailer angle detection using end-to-end learning |
KR20220095415A (en) * | 2020-12-30 | 2022-07-07 | 아진산업(주) | Apparatus and method for providing AVM image for variable length truck |
JP2022547068A (en) * | 2019-09-04 | 2022-11-10 | コンチネンタル アドヴァンスド ライダー ソリューションズ ユーエス エルエルシー | Trailer connection perspective view |
DE102015105248B4 (en) | 2014-04-08 | 2023-09-28 | Bendix Commercial Vehicle Systems Llc | Method and system for generating an image of the surroundings of an articulated vehicle |
-
2010
- 2010-11-11 JP JP2010253242A patent/JP2012105158A/en not_active Withdrawn
Cited By (94)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9566911B2 (en) | 2007-03-21 | 2017-02-14 | Ford Global Technologies, Llc | Vehicle trailer angle detection system and method |
US9971943B2 (en) | 2007-03-21 | 2018-05-15 | Ford Global Technologies, Llc | Vehicle trailer angle detection system and method |
US9854209B2 (en) | 2011-04-19 | 2017-12-26 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
US9683848B2 (en) | 2011-04-19 | 2017-06-20 | Ford Global Technologies, Llc | System for determining hitch angle |
US9926008B2 (en) | 2011-04-19 | 2018-03-27 | Ford Global Technologies, Llc | Trailer backup assist system with waypoint selection |
US9335163B2 (en) | 2011-04-19 | 2016-05-10 | Ford Global Technologies, Llc | Trailer length estimation in hitch angle applications |
US11760414B2 (en) | 2011-04-19 | 2023-09-19 | Ford Global Technologies, Llp | Trailer backup offset determination |
US9346396B2 (en) | 2011-04-19 | 2016-05-24 | Ford Global Technologies, Llc | Supplemental vehicle lighting system for vision based target detection |
US9937953B2 (en) | 2011-04-19 | 2018-04-10 | Ford Global Technologies, Llc | Trailer backup offset determination |
US10609340B2 (en) | 2011-04-19 | 2020-03-31 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
US9434414B2 (en) | 2011-04-19 | 2016-09-06 | Ford Global Technologies, Llc | System and method for determining a hitch angle offset |
US9513103B2 (en) | 2011-04-19 | 2016-12-06 | Ford Global Technologies, Llc | Hitch angle sensor assembly |
US9723274B2 (en) | 2011-04-19 | 2017-08-01 | Ford Global Technologies, Llc | System and method for adjusting an image capture setting |
US10471989B2 (en) | 2011-04-19 | 2019-11-12 | Ford Global Technologies, Llc | Trailer backup offset determination |
US9290202B2 (en) | 2011-04-19 | 2016-03-22 | Ford Global Technologies, Llc | System and method of calibrating a trailer backup assist system |
US9555832B2 (en) | 2011-04-19 | 2017-01-31 | Ford Global Technologies, Llc | Display system utilizing vehicle and trailer dynamics |
US11267508B2 (en) | 2011-04-19 | 2022-03-08 | Ford Global Technologies, Llc | Trailer backup offset determination |
JP2015154406A (en) * | 2014-02-18 | 2015-08-24 | クラリオン株式会社 | Peripheral monitoring device for towing vehicle |
DE102015105248B4 (en) | 2014-04-08 | 2023-09-28 | Bendix Commercial Vehicle Systems Llc | Method and system for generating an image of the surroundings of an articulated vehicle |
US9963004B2 (en) | 2014-07-28 | 2018-05-08 | Ford Global Technologies, Llc | Trailer sway warning system and method |
US9517668B2 (en) | 2014-07-28 | 2016-12-13 | Ford Global Technologies, Llc | Hitch angle warning system and method |
JPWO2016024444A1 (en) * | 2014-08-12 | 2017-05-25 | ソニー株式会社 | Signal processing apparatus, signal processing method, and monitoring system |
US10632917B2 (en) | 2014-08-12 | 2020-04-28 | Sony Corporation | Signal processing device, signal processing method, and monitoring system |
WO2016024444A1 (en) * | 2014-08-12 | 2016-02-18 | ソニー株式会社 | Signal processing device, signal processing method and monitoring system |
DE102014218995A1 (en) | 2014-09-22 | 2016-03-24 | Robert Bosch Gmbh | Method and device for bird-view display of a vehicle combination and retrofittable camera |
US9315212B1 (en) | 2014-10-13 | 2016-04-19 | Ford Global Technologies, Llc | Trailer sensor module and associated method of wireless trailer identification and motion estimation |
US9340228B2 (en) | 2014-10-13 | 2016-05-17 | Ford Global Technologies, Llc | Trailer motion and parameter estimation system |
US9533683B2 (en) | 2014-12-05 | 2017-01-03 | Ford Global Technologies, Llc | Sensor failure mitigation system and mode management |
JP2016119526A (en) * | 2014-12-19 | 2016-06-30 | アルパイン株式会社 | Tractor vehicle surrounding image generation device and tractor vehicle surrounding image generation method |
US9607242B2 (en) | 2015-01-16 | 2017-03-28 | Ford Global Technologies, Llc | Target monitoring system with lens cleaning device |
EP3048012A1 (en) * | 2015-01-21 | 2016-07-27 | Caterpillar Inc. | Vision system and method of monitoring surroundings of machine |
US9667875B2 (en) | 2015-01-21 | 2017-05-30 | Caterpillar Inc. | Vision system and method of monitoring surroundings of machine |
US9522699B2 (en) | 2015-02-05 | 2016-12-20 | Ford Global Technologies, Llc | Trailer backup assist system with adaptive steering angle limits |
US9616923B2 (en) | 2015-03-03 | 2017-04-11 | Ford Global Technologies, Llc | Topographical integration for trailer backup assist system |
US9804022B2 (en) | 2015-03-24 | 2017-10-31 | Ford Global Technologies, Llc | System and method for hitch angle detection |
JP2021170826A (en) * | 2015-07-31 | 2021-10-28 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | Method and apparatus for displaying peripheral scene of combination of vehicle and tracked vehicle |
JP7245295B2 (en) | 2015-07-31 | 2023-03-23 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | METHOD AND DEVICE FOR DISPLAYING SURROUNDING SCENE OF VEHICLE-TOUCHED VEHICLE COMBINATION |
JP2018531530A (en) * | 2015-07-31 | 2018-10-25 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | Method and apparatus for displaying surrounding scene of vehicle / towed vehicle combination |
US10434945B2 (en) | 2015-07-31 | 2019-10-08 | Conti Temic Microelectronic Gmbh | Method and device for displaying an image of the surroundings of a vehicle combination |
WO2017020898A1 (en) * | 2015-07-31 | 2017-02-09 | Conti Temic Microelectronic Gmbh | Method and device for displaying an image of the surroundings of a vehicle combination |
US10611407B2 (en) | 2015-10-19 | 2020-04-07 | Ford Global Technologies, Llc | Speed control for motor vehicles |
US10384607B2 (en) | 2015-10-19 | 2019-08-20 | Ford Global Technologies, Llc | Trailer backup assist system with hitch angle offset estimation |
US11440585B2 (en) | 2015-10-19 | 2022-09-13 | Ford Global Technologies, Llc | Speed control for motor vehicles |
US9836060B2 (en) | 2015-10-28 | 2017-12-05 | Ford Global Technologies, Llc | Trailer backup assist system with target management |
US10496101B2 (en) | 2015-10-28 | 2019-12-03 | Ford Global Technologies, Llc | Trailer backup assist system with multi-purpose camera in a side mirror assembly of a vehicle |
US10017115B2 (en) | 2015-11-11 | 2018-07-10 | Ford Global Technologies, Llc | Trailer monitoring system and method |
US10011228B2 (en) | 2015-12-17 | 2018-07-03 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system using multiple imaging devices |
US10155478B2 (en) | 2015-12-17 | 2018-12-18 | Ford Global Technologies, Llc | Centerline method for trailer hitch angle detection |
US9934572B2 (en) | 2015-12-17 | 2018-04-03 | Ford Global Technologies, Llc | Drawbar scan solution for locating trailer hitch point |
US9827818B2 (en) | 2015-12-17 | 2017-11-28 | Ford Global Technologies, Llc | Multi-stage solution for trailer hitch angle initialization |
US9798953B2 (en) | 2015-12-17 | 2017-10-24 | Ford Global Technologies, Llc | Template matching solution for locating trailer hitch point |
US9796228B2 (en) | 2015-12-17 | 2017-10-24 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system |
US9610975B1 (en) | 2015-12-17 | 2017-04-04 | Ford Global Technologies, Llc | Hitch angle detection for trailer backup assist system |
JPWO2017122294A1 (en) * | 2016-01-13 | 2018-11-08 | 株式会社ソシオネクスト | Ambient monitoring device, image processing method, and image processing program |
US10721442B2 (en) | 2016-01-13 | 2020-07-21 | Socionext Inc. | Surround view monitor apparatus |
WO2017122294A1 (en) * | 2016-01-13 | 2017-07-20 | 株式会社ソシオネクスト | Surroundings monitoring apparatus, image processing method, and image processing program |
US10005492B2 (en) | 2016-02-18 | 2018-06-26 | Ford Global Technologies, Llc | Trailer length and hitch angle bias estimation |
US10106193B2 (en) | 2016-07-01 | 2018-10-23 | Ford Global Technologies, Llc | Enhanced yaw rate trailer angle detection initialization |
US10046800B2 (en) | 2016-08-10 | 2018-08-14 | Ford Global Technologies, Llc | Trailer wheel targetless trailer angle detection |
US10807639B2 (en) | 2016-08-10 | 2020-10-20 | Ford Global Technologies, Llc | Trailer wheel targetless trailer angle detection |
US10222804B2 (en) | 2016-10-21 | 2019-03-05 | Ford Global Technologies, Llc | Inertial reference for TBA speed limiting |
JP2020513701A (en) * | 2016-12-14 | 2020-05-14 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH | 3D surround view system |
WO2018108211A1 (en) * | 2016-12-14 | 2018-06-21 | Conti Temic Microelectronic Gmbh | Three-dimensional all-round view system |
JP7084400B2 (en) | 2016-12-14 | 2022-06-14 | コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング | 3D surround view system |
JP2018101860A (en) * | 2016-12-19 | 2018-06-28 | 株式会社クボタ | Work vehicle |
US10421400B2 (en) | 2017-02-09 | 2019-09-24 | Komatsu Ltd. | Surroundings monitoring system for work vehicle, work vehicle, and surroundings monitoring method for work vehicle |
JP6251453B1 (en) * | 2017-02-09 | 2017-12-20 | 株式会社小松製作所 | Work vehicle periphery monitoring system, work vehicle, and work vehicle periphery monitoring method |
WO2017131243A1 (en) * | 2017-02-09 | 2017-08-03 | 株式会社小松製作所 | Work vehicle periphery monitoring system, work vehicle, and work vehicle periphery monitoring method |
US10710585B2 (en) | 2017-09-01 | 2020-07-14 | Ford Global Technologies, Llc | Trailer backup assist system with predictive hitch angle functionality |
JP2019075625A (en) * | 2017-10-12 | 2019-05-16 | アイシン精機株式会社 | Periphery monitoring device |
JP7110577B2 (en) | 2017-10-12 | 2022-08-02 | 株式会社アイシン | Perimeter monitoring device |
WO2019093176A1 (en) * | 2017-11-07 | 2019-05-16 | アイシン精機株式会社 | Periphery monitoring device |
JP2019087875A (en) * | 2017-11-07 | 2019-06-06 | アイシン精機株式会社 | Peripheral monitoring device |
KR101894204B1 (en) * | 2018-03-02 | 2018-08-31 | 주식회사 아이엔티코리아 | Realtime container truck monitoring method and system |
JP2020021980A (en) * | 2018-07-30 | 2020-02-06 | 株式会社Jvcケンウッド | Overhead image generation apparatus, overhead image generation method, and program |
CN112470465B (en) * | 2018-07-30 | 2023-09-29 | Jvc建伍株式会社 | Overhead image generation device and computer-readable storage medium |
WO2020026836A1 (en) * | 2018-07-30 | 2020-02-06 | 株式会社Jvcケンウッド | Overhead image generation apparatus, overhead image generation method, and program |
CN112470465A (en) * | 2018-07-30 | 2021-03-09 | Jvc建伍株式会社 | Bird's-eye view image generation device, bird's-eye view image generation method, and program |
US11498484B2 (en) | 2018-07-30 | 2022-11-15 | Jvckenwood Corporation | Overhead image generation device, overhead image generation method, and program |
JP7180172B2 (en) | 2018-07-30 | 2022-11-30 | 株式会社Jvcケンウッド | OVERALL VIEW IMAGE GENERATING DEVICE, OVERALL VIEW IMAGE GENERATING METHOD AND PROGRAM |
US11077795B2 (en) | 2018-11-26 | 2021-08-03 | Ford Global Technologies, Llc | Trailer angle detection using end-to-end learning |
KR20200064014A (en) * | 2018-11-28 | 2020-06-05 | 오토아이티(주) | Apparatus and method for generating AVM image in trailer truck |
KR102232276B1 (en) * | 2018-11-28 | 2021-03-25 | 오토아이티(주) | Apparatus and method for generating AVM image in trailer truck |
US10829046B2 (en) | 2019-03-06 | 2020-11-10 | Ford Global Technologies, Llc | Trailer angle detection using end-to-end learning |
JP7172757B2 (en) | 2019-03-11 | 2022-11-16 | いすゞ自動車株式会社 | display controller |
JP2020150306A (en) * | 2019-03-11 | 2020-09-17 | いすゞ自動車株式会社 | Display control device |
JP2022547068A (en) * | 2019-09-04 | 2022-11-10 | コンチネンタル アドヴァンスド ライダー ソリューションズ ユーエス エルエルシー | Trailer connection perspective view |
JP7416918B2 (en) | 2019-09-04 | 2024-01-17 | コンチネンタル アドヴァンスド ライダー ソリューションズ ユーエス エルエルシー | Perspective view of trailer connection |
US12214725B2 (en) | 2019-09-04 | 2025-02-04 | Continental Autonomous Mobility US, LLC | Transparent trailer articulation view |
CN113103956A (en) * | 2020-01-13 | 2021-07-13 | 福特全球技术公司 | 360-degree trailer camera view system |
CN112798009A (en) * | 2020-12-24 | 2021-05-14 | 北京经纬恒润科技股份有限公司 | Remote driving auxiliary display method and device |
CN112798009B (en) * | 2020-12-24 | 2024-04-05 | 北京经纬恒润科技股份有限公司 | Remote driving auxiliary display method and device |
KR102422585B1 (en) | 2020-12-30 | 2022-07-20 | 아진산업(주) | Apparatus and method for providing AVM image for variable length truck |
KR20220095415A (en) * | 2020-12-30 | 2022-07-07 | 아진산업(주) | Apparatus and method for providing AVM image for variable length truck |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2012105158A (en) | Combination vehicle birds-eye-view display system | |
JP7245295B2 (en) | METHOD AND DEVICE FOR DISPLAYING SURROUNDING SCENE OF VEHICLE-TOUCHED VEHICLE COMBINATION | |
JP5884439B2 (en) | Image generation device for vehicle periphery monitoring | |
CN104512328B (en) | Automobile surround view image generation method and automobile surround view system | |
JP5444338B2 (en) | Vehicle perimeter monitoring device | |
JP4193886B2 (en) | Image display device | |
JP5439890B2 (en) | Image processing method, image processing apparatus, and program | |
JP5455124B2 (en) | Camera posture parameter estimation device | |
JP2018531530A6 (en) | Method and apparatus for displaying surrounding scene of vehicle / towed vehicle combination | |
CN105472317B (en) | Periphery monitoring apparatus and surroundings monitoring system | |
JP2018531530A5 (en) | ||
JP2007274377A (en) | Periphery monitoring apparatus, and program | |
JP5516998B2 (en) | Image generation device | |
JP5870608B2 (en) | Image generation device | |
JP2013110712A5 (en) | ||
US20170352176A1 (en) | Image processing device for vehicle | |
JP2008172535A (en) | Operation supporting system, image processing device, and deviation detecting method | |
WO2001058164A1 (en) | Vicinity display for car | |
JP2008077628A (en) | Image processor and vehicle surrounding visual field support device and method | |
JP7039879B2 (en) | Display control device | |
JP6471522B2 (en) | Camera parameter adjustment device | |
JP6614754B2 (en) | Method for converting an omnidirectional image from an omnidirectional camera placed on a vehicle into a rectilinear image | |
JP4855884B2 (en) | Vehicle periphery monitoring device | |
JP2013024712A (en) | Method and system for calibrating multiple camera | |
JP2018528514A (en) | Quick look for backward crossing traffic |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A300 | Application deemed to be withdrawn because no request for examination was validly filed |
Free format text: JAPANESE INTERMEDIATE CODE: A300 Effective date: 20140204 |