[go: up one dir, main page]

JP2012105158A - Combination vehicle birds-eye-view display system - Google Patents

Combination vehicle birds-eye-view display system Download PDF

Info

Publication number
JP2012105158A
JP2012105158A JP2010253242A JP2010253242A JP2012105158A JP 2012105158 A JP2012105158 A JP 2012105158A JP 2010253242 A JP2010253242 A JP 2010253242A JP 2010253242 A JP2010253242 A JP 2010253242A JP 2012105158 A JP2012105158 A JP 2012105158A
Authority
JP
Japan
Prior art keywords
bird
image
trailer
tractor
eye
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
JP2010253242A
Other languages
Japanese (ja)
Inventor
Fumihiko Osawa
史彦 大澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Fuso Truck and Bus Corp
Original Assignee
Mitsubishi Fuso Truck and Bus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Fuso Truck and Bus Corp filed Critical Mitsubishi Fuso Truck and Bus Corp
Priority to JP2010253242A priority Critical patent/JP2012105158A/en
Publication of JP2012105158A publication Critical patent/JP2012105158A/en
Withdrawn legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Abstract

PROBLEM TO BE SOLVED: To enable the display of a birds-eye-view having the periphery of a combination vehicle looked from upward.SOLUTION: A combination vehicle birds-eye-view display system includes: a tractor camera for imaging the periphery of a tractor 2; a trailer camera for imaging the periphery of a trailer 3; relative angle detection means 33 for detecting the relative angle of a connection portion 10 between the tractor 2 and the trailer 3; birds-eye-view image conversion means 34 for obtaining a tractor periphery birds-eye-view image by converting an imaged tractor periphery image around the tractor, imaged by the tractor camera, into a birds-eye-view image looked from upward, and for obtaining a trailer periphery birds-eye-view image by converting an imaged trailer periphery image around the trailer, imaged by the trailer camera, into a birds-eye-view image looked from upward; and birds-eye-view image synthesis means 36 for generating the birds-eye-view image of the periphery of the combination vehicle by synthesizing the tractor periphery birds-eye-view image with the trailer periphery birds-eye-view image. The birds-eye-view image synthesis means 36 is configured to synthesize the tractor periphery birds-eye-view image with the trailer periphery birds-eye-view image, according to the relative angle between the tractor 2 and the trailer 3.

Description

本発明は、連結車両周辺を上方から見たような鳥瞰図を表示する、連結車両用鳥瞰図表示システムに関するものである。   The present invention relates to a bird's-eye view display system for a connected vehicle that displays a bird's-eye view as seen from above around the connected vehicle.

従来より、車両に複数のカメラを設置し、複数のカメラから得られた画像を車両の全周を表示する画像に変換して、表示する装置が開発されている。
例えば、特許文献1には、トラクタとトレーラからなる連結車両の技術として、トラクタとトレーラからなる連結車両のトレーラ側にカメラを設置し、このカメラがトレーラの後方を撮影する運転支援システムが開示されている。この運転支援システムは、各撮影画像を路面に平行な鳥瞰図座標上に投影することによって各撮影画像を鳥瞰画像に変換する一方で、複数の撮影画像から成る動画像のオプティカルフローを鳥瞰図座標上で導出する。このオプティカルフローとトラクタの移動上方からトラクタとトレーラの連結角を推定し、更に、連結角とトラクタの移動情報からトレーラの移動予測軌跡を導出する。そして、この移動予測軌跡を鳥瞰画像に重量した画像を表示装置に出力する。この画像表示により、トラクタが動いた場合にトレーラがどのように動くのかを把握しやすくなる。
2. Description of the Related Art Conventionally, a device has been developed in which a plurality of cameras are installed in a vehicle, and images obtained from the plurality of cameras are converted into images that display the entire circumference of the vehicle and displayed.
For example, Patent Document 1 discloses a driving support system in which a camera is installed on the trailer side of a connected vehicle including a tractor and a trailer, and the camera captures the rear of the trailer as a technology of the connected vehicle including a tractor and a trailer. ing. This driving support system converts each photographed image into a bird's-eye view image by projecting each photographed image on bird's-eye view coordinates parallel to the road surface, while the optical flow of a moving image composed of a plurality of photographed images is represented on the bird's-eye view coordinates. To derive. The connection angle between the tractor and the trailer is estimated from the optical flow and the upper direction of the movement of the tractor, and the trailer movement prediction trajectory is derived from the connection angle and the movement information of the tractor. And the image which weighted this movement prediction locus | trajectory to the bird's-eye view image is output to a display apparatus. This image display makes it easy to understand how the trailer moves when the tractor moves.

特開2009−60499号公報JP 2009-60499 A

ところで、連結車両のような大型車両は内輪差が大きくなるため、ドライバは左右折の際の巻き込みを防止するためなど、車両の周辺状況を把握しながら注意を払う必要がある。特に、連結車両の場合、トラクタとトレーラとの相対角度(連結角)が変化するので、車両の周辺状況を把握することが難しくなる。
しかしながら、特許文献1に開示された技術は、トレーラに設置されたカメラを用いてトレーラの後方を撮影してこれに基づいてトレーラの動きを表示するもので、連結車両の周辺を確認するものではなく、右左折時の巻き込み支援をできるものではなかった。
By the way, since a large vehicle such as a connected vehicle has a large difference between inner wheels, it is necessary for the driver to pay attention while grasping the surrounding situation of the vehicle, for example, to prevent entrainment at the time of turning left and right. In particular, in the case of a connected vehicle, the relative angle (connecting angle) between the tractor and the trailer changes, which makes it difficult to grasp the situation around the vehicle.
However, the technique disclosed in Patent Document 1 is to capture the rear of a trailer using a camera installed on the trailer and display the movement of the trailer based on this. It was not possible to support the entrainment when turning left or right.

本発明は、このような課題に鑑みて案出されたもので、トラクタとトレーラが複雑な動きをする連結車においても、連結車両周辺の状況を容易に把握することができるようにした、連結車両用鳥瞰図表示システムを提供することを目的とする。   The present invention has been devised in view of such problems, and it is possible to easily grasp the situation around the connected vehicle even in the connected vehicle in which the tractor and the trailer move in a complicated manner. An object is to provide a bird's-eye view display system for a vehicle.

上記目的を達成するため、本発明の連結車両用鳥瞰図表示システムは、トラクタとトレーラとからなる連結車両周辺の鳥瞰図を表示する連結車両用鳥瞰図表示システムであって、前記トラクタに設けられ前記トラクタの周辺を撮像するトラクタカメラと、前記トレーラに設けられ前記トレーラの周辺を撮像するトレーラカメラと、前記トラクタと前記トレーラとの連結部の相対角度を検出する相対角度検出手段と、前記トラクタカメラが撮像した前記トラクタ周辺のトラクタ周辺撮像画像を、上方から鳥瞰した画像に変換してトラクタ周辺鳥瞰画像を得ると共に、前記トレーラカメラが撮像した前記トレーラ周辺のトレーラ周辺撮像画像を、上方から鳥瞰した画像に変換してトレーラ周辺鳥瞰画像を得る鳥瞰画像変換手段と、前記トラクタ周辺鳥瞰画像と前記トレーラ周辺鳥瞰画像とを合成して、前記連結車両周辺の鳥瞰画像を生成する鳥瞰画像合成手段と、前記鳥瞰画像合成手段により生成された前記連結車両周辺の鳥瞰画像を表示する画像表示手段とを備え、前記鳥瞰画像合成手段は、前記相対角度検出手段により検出された前記相対角度に応じて、前記トラクタ周辺鳥瞰画像と前記トレーラ周辺鳥瞰画像とを合成して前記連結車両周辺の鳥瞰画像を生成することを特徴としている。   In order to achieve the above object, a bird's-eye view display system for a connected vehicle according to the present invention is a bird's-eye view display system for a connected vehicle that displays a bird's-eye view around a connected vehicle including a tractor and a trailer, and is provided on the tractor. A tractor camera that images the periphery, a trailer camera that is provided on the trailer and images the periphery of the trailer, a relative angle detection unit that detects a relative angle of a connecting portion between the tractor and the trailer, and the tractor camera The captured image of the tractor around the tractor is converted into a bird's-eye view image from above to obtain a bird's-eye view image of the tractor, and the trailer periphery-captured image around the trailer captured by the trailer camera is converted into a bird's-eye view image from above. Bird's-eye image conversion means for obtaining a trailer-peripheral bird's-eye image by converting, and the tractor circumference An image for displaying a bird's-eye image around the connected vehicle generated by the bird's-eye image synthesizing unit and a bird's-eye image synthesizing unit that synthesizes the bird's-eye image and the trailer-peripheral bird's-eye image. Display means, and the bird's-eye image synthesis means synthesizes the tractor-periphery bird's-eye view image and the trailer-periphery bird's-eye view image according to the relative angle detected by the relative angle detection means. It is characterized by generating a bird's-eye view image.

また、前記鳥瞰画像合成手段は、前記相対角度に応じて前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像の、前記連結車両周辺の鳥瞰画像における表示領域を決定し、前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像の重複する部分については、何れか一方の画像の表示を優先することにより前記連結車両周辺の鳥瞰画像を合成することが好ましい。   Further, the bird's-eye view image synthesis means determines a display area of the bird's-eye view image around the tractor and the bird's-eye view image around the trailer in the bird's-eye view around the connected vehicle according to the relative angle, and the bird's-eye view image around the tractor and the trailer. For overlapping portions of the surrounding bird's-eye images, it is preferable to synthesize the bird's-eye images around the connected vehicle by giving priority to the display of either one of the images.

また、前記鳥瞰画像合成手段は、前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像をそれぞれ格子状に分けて各格子画像にそれぞれ識別名称(格子番号)を与え、前記識別名称を用いて、前記格子画像ごとに、前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域の決定と、重複部分の表示を行うことが好ましい。
また、前記格子画像ごとに、前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域を記述するマップデータをさらに備え、前記鳥瞰画像合成手段は、前記マップデータを用いて、前記格子画像の前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域を決定することが好ましい。
Further, the bird's-eye view image synthesizing unit divides the bird's-eye view image around the tractor and the bird's-eye view around the trailer, respectively, and assigns an identification name (grid number) to each lattice image. For each image, it is preferable to determine the display area in the bird's-eye view image around the connected vehicle according to the relative angle and display the overlapping portion.
The grid image further includes map data describing a display area in a bird's-eye image around the connected vehicle according to the relative angle for each grid image, and the bird's-eye image synthesis unit uses the map data to generate the grid image. It is preferable to determine a display area in the bird's-eye view image around the connected vehicle according to the relative angle.

また、前記トラクタカメラが、前記トラクタの左右側部にそれぞれ設けられ前記トラクタの左右側方を撮像するトラクタ側方カメラからなり、前記トレーラカメラが、前記トレーラの左右側部にそれぞれ設けられ前記トレーラの左右側方を撮像するトレーラ側方カメラからなることが好ましい。
また、前記トラクタカメラが、前記トラクタの左右側部にそれぞれ設けられ前記トラクタの左右側方を撮像するトラクタ側方カメラと、前記トラクタの前部に設けられ前記トラクタの前方を撮像するトラクタ前方カメラからなり、前記トレーラカメラが、前記トレーラの左右側部にそれぞれ設けられ前記トレーラの左右側方を撮像するトレーラ側方カメラと、前記トレーラの後部に設けられ前記トレーラの後方を撮像するトレーラ後方カメラからなることが好ましい。
The tractor camera is a tractor side camera that is provided on each of the left and right sides of the tractor and images the left and right sides of the tractor. The trailer camera is provided on each of the left and right sides of the trailer. It is preferable to comprise a trailer side camera that images the left and right sides of the camera.
Further, the tractor camera is provided on each of the left and right sides of the tractor and images the left and right sides of the tractor, and the tractor front camera is provided on the front of the tractor and images the front of the tractor. The trailer camera is provided on the left and right sides of the trailer, respectively, and a trailer side camera that images the left and right sides of the trailer, and a trailer rear camera that is provided at the rear of the trailer and images the rear of the trailer. Preferably it consists of.

本発明の連結車両用鳥瞰図表示システムによれば、トラクタ周辺を鳥瞰視表示した画像とトレーラ周辺を鳥瞰視表示した画像とを、トラクタとトレーラの連結部の相対角度に応じて合成することにより、連結車両周辺を上方の視点から鳥瞰した鳥瞰画像を生成し、表示することが出来る。これにより、相対角度が変化するという連結車両特有の動きに起因して周囲状況の把握が難しい連結車両において、ドライバはこの車両の鳥瞰画像から、連結車両特有の動きに応じた周囲状況を把握して運転することが可能となる。   According to the bird's-eye view display system for a connected vehicle of the present invention, by combining the image of the tractor periphery and the trailer periphery of the image according to the relative angle of the connecting portion of the tractor and the trailer, It is possible to generate and display a bird's-eye view of the connected vehicle and its surroundings from above. As a result, in a connected vehicle where it is difficult to determine the surrounding situation due to the movement specific to the connected vehicle in which the relative angle changes, the driver grasps the surrounding situation according to the movement specific to the connected vehicle from the bird's-eye view image of this vehicle. Driving.

また、連結部の相対角度に応じて、トラクタ周辺を鳥瞰視表示した画像とトレーラ周辺を鳥瞰視表示した画像の表示領域を決定し、重複部分の合成を行うことで、トラクタとトレーラの相対関係に応じた結車両周辺の鳥瞰画像を確実に生成することができる。
またトラクタ周辺を鳥瞰視表示した画像とトレーラ周辺を鳥瞰視表示した画像をそれぞれ格子状に分けて、格子ごとに重複するかどうかの判断を行うことで、画像処理の負担を軽減し、容易に画像の合成を行うことができる。
Also, depending on the relative angle of the connecting part, the display area of the image showing the bird's-eye view of the tractor and the image of the trailer's view of the trailer is determined, and the overlapping part is synthesized, so that the relative relationship between the tractor and the trailer It is possible to reliably generate a bird's-eye view around the vehicle according to the condition.
Also, by dividing the image of the bird's-eye view around the tractor and the image of the bird's-eye view around the trailer into a grid, and determining whether or not each grid overlaps, the burden of image processing can be reduced Images can be combined.

また、トラクタとトレーラの連結部の相対角度に応じて、連結車両周辺を上方の視点から鳥瞰した鳥瞰画像におけるトラクタ周辺を鳥瞰視表示した画像の表示領域とトレーラ周辺を鳥瞰視表示した画像の表示領域とを記述したマップデータを用いて、相対角度に応じた連結車両周辺の鳥瞰画像における表示領域を決定することにより、さらに画像処理部の負担を軽減し、容易に画像の合成を行うことができる。   In addition, according to the relative angle of the connecting part of the tractor and trailer, the display area of the bird's-eye view of the surrounding area of the connected vehicle and the image of the bird's-eye view of the vicinity of the tractor in the bird's-eye view image By using the map data describing the area, the display area in the bird's-eye view around the connected vehicle according to the relative angle is determined, thereby further reducing the burden on the image processing unit and easily combining the images. it can.

また、トラクタの左右側方を撮像するトラクタ側方カメラと、トレーラの左右側方を撮像するトレーラ側方カメラを備えることにより、連結車両特有の動きに起因して周囲状況の把握が難しい連結車両において、ドライバは車両の鳥瞰画像から、連結車両の側方周辺の状況把握することが可能となり、右左折時の巻き込み防止に役立てることができ、安全性を向上させることができる。   In addition, by providing a tractor side camera that captures the left and right sides of the tractor and a trailer side camera that captures the left and right sides of the trailer, it is difficult to grasp the surrounding situation due to the movement unique to the connected vehicle. In this case, the driver can grasp the situation around the side of the connected vehicle from the bird's-eye view image of the vehicle, which can be used to prevent entrainment at the time of turning left and right, and improve safety.

また、トラクタの左右側方を撮像するトラクタ側方カメラと、トラクタの前方を撮像するトラクタ前方カメラと、トレーラの左右側方を撮像するトレーラ側方カメラと、トレーラの後方を撮像するトレーラ後方カメラを備えることにより、連結車両特有の動きに起因して周囲状況の把握が難しい連結車両において、ドライバは車両の鳥瞰画像から、連結車両前後を含む周辺の状況把握することが可能となり、駐車等を支援することができ、さらに安全性を向上させることができる。   Also, a tractor side camera that images the left and right sides of the tractor, a tractor front camera that images the front of the tractor, a trailer side camera that images the left and right sides of the trailer, and a trailer rear camera that images the rear of the trailer In a connected vehicle where it is difficult to grasp the surrounding situation due to the movement specific to the connected vehicle, the driver can grasp the surrounding situation including the front and rear of the connected vehicle from the bird's-eye view of the vehicle, and parking, etc. Can be supported, and safety can be further improved.

本発明の一実施形態に係る連結車両用鳥瞰図表示システムにおける、撮像範囲を説明する連結車両及びその周囲の模式平面図であり、(a)は相対角度がない場合を示し、(b)は相対角度がある場合を示している。BRIEF DESCRIPTION OF THE DRAWINGS In the bird's-eye view display system for connected vehicles which concerns on one Embodiment of this invention, it is a connected vehicle explaining the imaging range, and its surrounding schematic top view, (a) shows the case where there is no relative angle, (b) is relative The case where there is an angle is shown. 本発明の一実施形態に係る連結車両用鳥瞰図表示システムにおける、連結車両周辺の鳥瞰画像の生成をトラクタとトレーラとの相対角度に応じて説明するための模式図であり、(a)は相対角度がない場合の鳥瞰画像の全体を示し、(b)は相対角度がある場合の鳥瞰画像の全体を示し、(c)は相対角度がない場合の鳥瞰画像の要部を示し、(d)は相対角度がある場合の鳥瞰画像の要部を示している。In the bird's-eye view display system for connected vehicles according to one embodiment of the present invention, it is a schematic diagram for explaining the generation of the bird's-eye image around the connected vehicle according to the relative angle between the tractor and the trailer. (B) shows the whole bird's-eye image when there is a relative angle, (c) shows the main part of the bird's-eye image when there is no relative angle, and (d) shows the whole bird's-eye image when there is no relative angle. The main part of the bird's-eye view image when there is a relative angle is shown. 本発明の一実施形態に係る連結車両用鳥瞰図表示システムの全体構成を示すブロック図である。1 is a block diagram illustrating an overall configuration of a bird's eye view display system for a connected vehicle according to an embodiment of the present invention.

以下、図面により、本発明の一実施形態に係る連結車両用鳥瞰図表示システムについて説明する。図1は本表示システムにおける撮像範囲を説明する模式図、図2は本表示システムにおける、連結車両周辺の鳥瞰画像の生成を説明する模式図、図3は本表示システムの全体構成を示すブロック図である。   Hereinafter, a bird's-eye view display system for a connected vehicle according to an embodiment of the present invention will be described with reference to the drawings. FIG. 1 is a schematic diagram illustrating an imaging range in the display system, FIG. 2 is a schematic diagram illustrating generation of a bird's-eye image around a connected vehicle in the display system, and FIG. 3 is a block diagram illustrating an overall configuration of the display system. It is.

<全体構成>
本発明の一実施形態に係る連結車両用鳥瞰図表示システムは、図1に示すように、連結車両1に適用されるものであって、連結車両1のトラクタ2とトレーラ3の相対角度に応じて、トラクタ2の前方及び左右側方、並びにトレーラ3の左右側方及び後方に備えられたカメラ4〜9により撮像された画像から、連結車両の上方の視点から鳥瞰した鳥瞰画像を合成し、画像表示範囲17に示す連結車両の周囲を鳥瞰視表示する画像の表示を行うものである。
<Overall configuration>
As shown in FIG. 1, the bird's-eye view display system for a connected vehicle according to an embodiment of the present invention is applied to the connected vehicle 1, and depends on the relative angle between the tractor 2 and the trailer 3 of the connected vehicle 1. From the images captured by the cameras 4 to 9 provided on the front and left and right sides of the tractor 2 and on the left and right sides and rear of the trailer 3, a bird's-eye image viewed from the viewpoint above the connected vehicle is synthesized. An image for bird's-eye view display of the periphery of the connected vehicle shown in the display range 17 is displayed.

図3に示すように、本実施形態に係る連結車両用鳥瞰図表示システムが適用される連結車両には、画像処理部31と、トラクタ前方カメラ4と、トラクタ左側方カメラ5と、トラクタ右側方カメラ6と、トレーラ左側方カメラ7と、トレーラ右側方カメラ8と、トレーラ後方カメラ9と、連結車両1の連結部10のカプラ部32に備えられた相対角度検出手段としての角度センサ33と、画像表示部(手段)38とが設けられている。   As shown in FIG. 3, an image processing unit 31, a tractor front camera 4, a tractor left side camera 5, and a tractor right side camera are included in a connected vehicle to which the connected vehicle bird's eye view display system according to the present embodiment is applied. 6, a trailer left side camera 7, a trailer right side camera 8, a trailer rear camera 9, an angle sensor 33 as a relative angle detection means provided in the coupler part 32 of the connection part 10 of the connection vehicle 1, and an image A display unit (means) 38 is provided.

画像処理部31は、図示しない入出力装置,制御プログラムや制御マップ等の記憶に供される記憶装置(ROM,RAM等),中央処理装置(CPU)及びタイマカウンタ等を備えて構成されている。
また、画像処理部31には、鳥瞰画像変換部(鳥瞰画像変換手段)34、鳥瞰画像補正部(鳥瞰画像補正手段)35、鳥瞰画像合成部(鳥瞰画像合成手段)36、及びマップデータ記憶部(マップデータ記憶手段)37が機能要素として設けられている。この実施形態では、これら鳥瞰画像変換部34、鳥瞰画像補正部35、鳥瞰画像合成部36、及びマップデータ記憶部37は、コンピュータプログラムによるソフトウエアとして設けられている。
The image processing unit 31 includes an input / output device (not shown), a storage device (ROM, RAM, etc.) used for storing control programs and control maps, a central processing unit (CPU), a timer counter, and the like. .
The image processing unit 31 includes a bird's-eye image conversion unit (bird's-eye image conversion unit) 34, a bird's-eye image correction unit (bird's-eye image correction unit) 35, a bird's-eye image synthesis unit (bird's-eye image synthesis unit) 36, and a map data storage unit. (Map data storage means) 37 is provided as a functional element. In this embodiment, the bird's-eye image conversion unit 34, the bird's-eye image correction unit 35, the bird's-eye image synthesis unit 36, and the map data storage unit 37 are provided as software by a computer program.

画像処理部31の入力側には、トラクタ前方カメラ4、トラクタ左側方カメラ5、トラクタ右側方カメラ6、トレーラ左側方カメラ7、トレーラ右側方カメラ8、及びトレーラ後方カメラ9の6つのカメラ、並びに角度センサ33が接続されている。各カメラ4〜9により撮像された画像信号及び角度センサ33により測定された相対角度の情報が画像処理部31に送られるようになっている。そして、画像処理部31は、上記情報(信号)を受信したら、上記情報に基づいて、撮像された画像データを一つの画像に合成処理を行い、連結車両の上方の視点から鳥瞰した連結車両周辺の鳥瞰画像の生成を行う。さらに、画像処理部31は、上記連結車両周辺の鳥瞰画像のデータから、連結車両周辺を上方の視点から鳥瞰した画像を表示する画像信号を生成し、画像表示部38に送信するようになっている。   On the input side of the image processing unit 31, there are six cameras including a tractor front camera 4, a tractor left side camera 5, a tractor right side camera 6, a trailer left side camera 7, a trailer right side camera 8, and a trailer rear camera 9. An angle sensor 33 is connected. The image signal captured by each of the cameras 4 to 9 and the information on the relative angle measured by the angle sensor 33 are sent to the image processing unit 31. Then, when the image processing unit 31 receives the information (signal), based on the information, the image processing unit 31 synthesizes the captured image data into one image, and the connected vehicle periphery viewed from a viewpoint above the connected vehicle. A bird's-eye view image is generated. Further, the image processing unit 31 generates an image signal that displays an image of the bird's-eye view of the vicinity of the connected vehicle from the upper viewpoint from the data of the bird's-eye view around the connected vehicle, and transmits the image signal to the image display unit 38. Yes.

鳥瞰画像変換部34は、トラクタ前方カメラ4、トラクタ左側方カメラ5、トラクタ右側方カメラ6、トレーラ左側方カメラ7、トレーラ右側方カメラ8、及びトレーラ後方カメラ9により撮像された画像を元にして、車両の上方の視点から鳥瞰した鳥瞰画像を作成する。撮像画像から鳥瞰画像への変換は、公知の方法を用いることが出来る。
鳥瞰画像補正部35は、鳥瞰画像変換部34により変換された鳥瞰画像の補正を行う。本実施例においては、鳥瞰画像補正部35は、カメラの取り付け位置に応じて、又はトラクタ2とトレーラ3の相対角度に応じて、連結車両1(ここでは、トレーラ3)に対する鳥瞰画像位置の回転補正を行う。この回転補正は、連結部10に設けられたカプラ部32の回転中心を中心としてトラクタ2側の鳥瞰画像或いはトレーラ3側の鳥瞰画像を回転させて位置補正をする。本実施形態では、トレーラ3を基準に画像表示を行なうので、トレーラ3側の鳥瞰画像を固定し、トラクタ2側の鳥瞰画像を回転補正する。
The bird's-eye image conversion unit 34 is based on images captured by the tractor front camera 4, the tractor left side camera 5, the tractor right side camera 6, the trailer left side camera 7, the trailer right side camera 8, and the trailer rear camera 9. Then, a bird's-eye view image viewed from a viewpoint above the vehicle is created. A known method can be used for the conversion from the captured image to the bird's-eye view image.
The bird's-eye image correction unit 35 corrects the bird's-eye image converted by the bird's-eye image conversion unit 34. In the present embodiment, the bird's-eye image correction unit 35 rotates the bird's-eye image position relative to the connected vehicle 1 (here, the trailer 3) according to the mounting position of the camera or according to the relative angle between the tractor 2 and the trailer 3. Make corrections. In this rotation correction, the bird's-eye view image on the tractor 2 side or the bird's-eye view image on the trailer 3 side is rotated around the rotation center of the coupler unit 32 provided in the connecting unit 10 to correct the position. In the present embodiment, since the image display is performed based on the trailer 3, the bird's-eye image on the trailer 3 side is fixed, and the bird's-eye image on the tractor 2 side is rotationally corrected.

鳥瞰画像合成部36は、鳥瞰画像変換部34により変換された鳥瞰画像、又は鳥瞰画像補正部35により回転補正をされた鳥瞰画像を合成することで、連結車両1の上方の視点から連結車両周辺の画像表示範囲17を鳥瞰した、連結車両周辺の鳥瞰画像を生成する。
画像表示部38は、画像処理部31から画像信号を受信し、連結車両周辺を上方の視点から鳥瞰した画像の表示を行う。画像表示部38は、詳細を図示しないが、例えば、連結車両の運転席に備え付けられたディスプレイと、このディスプレイの表示を制御する表示制御装置とから構成される。
The bird's-eye image synthesis unit 36 synthesizes the bird's-eye image converted by the bird's-eye image conversion unit 34 or the bird's-eye image corrected for rotation by the bird's-eye image correction unit 35, so A bird's-eye view of the vicinity of the connected vehicle with the bird's-eye view of the image display range 17 is generated.
The image display unit 38 receives the image signal from the image processing unit 31 and displays an image in which the vicinity of the connected vehicle is viewed from the upper viewpoint. Although not shown in detail, the image display unit 38 includes, for example, a display provided in the driver's seat of the connected vehicle and a display control device that controls display on the display.

マップデータ記憶部37は、鳥瞰画像の合成に用いるマップデータが格納されている。
トラクタ前方カメラ4は、図1に示すように、トラクタの前方を撮像するための撮像手段として、トラクタ前部に斜め下方向を向けて設置されている。トラクタ前方カメラ4により、トラクタの前方を撮像範囲11としたトラクタ前方撮像画像が得られる。
トラクタ左側方カメラ5は、図1に示すように、トラクタの左側方を撮像するための撮像手段として、トラクタ左側部に斜め下方向を向けて設置されている。トラクタ左側方カメラ5により、トラクタの左側方を撮像範囲12としたトラクタ左側方撮像画像が得られる。
The map data storage unit 37 stores map data used for synthesis of the bird's-eye view image.
As shown in FIG. 1, the tractor front camera 4 is installed as an image pickup means for picking up an image of the front of the tractor with the tractor front portion facing obliquely downward. The tractor front camera 4 obtains a tractor front captured image in which the front of the tractor is in the imaging range 11.
As shown in FIG. 1, the tractor left side camera 5 is installed as an imaging means for imaging the left side of the tractor with the tractor left side facing obliquely downward. The tractor left side camera 5 obtains a tractor left side captured image with the imaging range 12 on the left side of the tractor.

トラクタ右側方カメラ6は、図1に示すように、トラクタの右側方の撮像するための撮像手段として、トラクタ右側部に斜め下方向を向けて設置されている。トラクタ右側方カメラ6により、トラクタの右側方を撮像範囲13としたトラクタ右側方撮像画像が得られる。
トレーラ左側方カメラ7は、図1に示すように、トレーラの左側方を撮像するための撮像手段として、トレーラの左側部に斜め下方向を向けて設置されている。トレーラ左側方カメラ7により、トレーラの左側方を撮像範囲14としたトレーラ左側方撮像画像が得られる。
As shown in FIG. 1, the tractor right-side camera 6 is installed as an image pickup means for picking up an image on the right side of the tractor with the right side of the tractor facing obliquely downward. By the tractor right side camera 6, a tractor right side captured image having the imaging range 13 on the right side of the tractor is obtained.
As shown in FIG. 1, the trailer left side camera 7 is installed as an image pickup means for taking an image of the left side of the trailer so as to face the left side of the trailer obliquely downward. The trailer left side camera 7 obtains a trailer left side captured image in which the left side of the trailer is the imaging range 14.

トレーラ右側方カメラ8は、図1に示すように、トレーラの右側方の撮像するための撮像手段として、トレーラ右側部に斜め下方向を向けて設置されている。トレーラ右側方カメラ8により、トレーラの右側方を撮像範囲15としたトレーラ右側方撮像画像が得られる。
トレーラ後方カメラ9は、図1に示すように、トレーラの後方を撮像するための撮像手段として、トレーラ後部に斜め下方向を向けて設置されている。トレーラ後方カメラ9により、トレーラの後方を撮像範囲16としたトレーラ後方撮像画像が得られる。
As shown in FIG. 1, the trailer right side camera 8 is installed as an image pickup means for picking up an image of the trailer on the right side so that the trailer right side is directed obliquely downward. The trailer right side camera 8 obtains a trailer right side captured image having the imaging range 15 on the right side of the trailer.
As shown in FIG. 1, the trailer rear camera 9 is installed as an image pickup means for taking an image of the rear side of the trailer, with the rear side of the trailer facing obliquely downward. The trailer rear camera 9 obtains a trailer rear captured image with the rear of the trailer as the imaging range 16.

ここで、それぞれのカメラは各々の撮像範囲11〜16が、それぞれの撮像範囲の周辺領域において重複し、連結車両の周囲に死角を生ずることが無いように配置する。さらに、連結車両においては、トラクタ2とトレーラ3が連結角度をなして、その相対位置を変化させるため、トラクタ側方カメラとトレーラ側方カメラとが、トラクタ2とトレーラ3の相対位置が変化しても死角が生じることの無いよう撮像範囲11〜16の一部が重なるようにカメラ4〜9を配置する。また、死角を生ずることの無いよう、例えば魚眼レンズのような視野角の広い広角カメラを用いることが好ましい。   Here, the respective cameras are arranged so that the respective imaging ranges 11 to 16 overlap in the peripheral region of the respective imaging ranges so that no blind spot is generated around the connected vehicle. Further, in the coupled vehicle, the tractor 2 and the trailer 3 change the relative position of the tractor 2 and the trailer 3 with each other, so that the relative position of the tractor 2 and the trailer 3 changes. However, the cameras 4 to 9 are arranged so that a part of the imaging ranges 11 to 16 overlap so that no blind spot is generated. Further, it is preferable to use a wide-angle camera with a wide viewing angle such as a fish-eye lens so as not to cause a blind spot.

角度センサ33は、トラクタ2とトレーラ3の連結部に設けられたカプラ部32に設置されている。角度センサ33はトラクタ2とトレーラ3の相対角度を検知するようになっている。
ここで、トラクタ2の前後方向を結ぶ軸と、トレーラ3の前後軸方向を結ぶ軸とがなす角を相対角度とする。図1(a)に示すように、トラクタとトレーラがともに直進方向を向いている場合に相対角度を0度(相対角度なし)とし、例えば、図1(b)に左折を行う場合を例示するように、右左折等の左右への操舵を行う場合には、トレーラの前後方向を結ぶ軸と、トラクタの前後軸方向を結ぶ軸が連結部10において角度を成す。この場合には、相対角度が発生し、両軸のなす角度をトラクタ2とトレーラ3の相対角度とする。
The angle sensor 33 is installed in a coupler portion 32 provided at a connecting portion between the tractor 2 and the trailer 3. The angle sensor 33 detects the relative angle between the tractor 2 and the trailer 3.
Here, an angle formed by an axis connecting the front and rear direction of the tractor 2 and an axis connecting the front and rear axis direction of the trailer 3 is a relative angle. As shown in FIG. 1A, when both the tractor and the trailer are directed straight, the relative angle is 0 degree (no relative angle). For example, FIG. 1B illustrates a case where a left turn is performed. Thus, when steering left and right such as turning left and right, an axis connecting the front and rear direction of the trailer and an axis connecting the front and rear axis direction of the tractor form an angle at the connecting portion 10. In this case, a relative angle is generated, and the angle formed by both axes is the relative angle between the tractor 2 and the trailer 3.

<連結車両周辺の鳥瞰画像について>
次に、本実施形態の連結車両用鳥瞰図について詳しく説明する。
この連結車両用鳥瞰図は、図2(a),(b)に示すように、連結車両1の上方の視点から連結車両周辺の画像表示範囲27を鳥瞰した、連結車両周辺の鳥瞰画像を表示するものである。この連結車両周辺の鳥瞰画像は、鳥瞰画像変換部34により変換された鳥瞰画像、又は鳥瞰画像補正部35により回転補正をされた鳥瞰画像を合成することで得る。
なお、各カメラによる撮像しうる撮像範囲は有限であるため、それらを変換・合成して得られる連結車両周辺の鳥瞰画像の範囲も有限となる。このとき、連結車両周辺の鳥瞰画像の画像表示範囲は、各カメラの最大撮像範囲に合わせて表示させてもよいが、画像の見易さと画像表示部の領域の大きさの制限との観点からは、連結車両の周囲を十分に観察できる範囲で、図2(a),(b)に破線で囲んだ領域で示す画像表示範囲27のように、一定の領域に映像表示範囲を区切って表示することが好ましい。
<About the bird's-eye view around the connected vehicle>
Next, the bird's-eye view for the connected vehicle of this embodiment will be described in detail.
As shown in FIGS. 2A and 2B, the bird's-eye view for the connected vehicle displays a bird's-eye image around the connected vehicle in which the image display range 27 around the connected vehicle is viewed from the viewpoint above the connected vehicle 1. Is. The bird's-eye image around the connected vehicle is obtained by synthesizing the bird's-eye image converted by the bird's-eye image conversion unit 34 or the bird's-eye image corrected for rotation by the bird's-eye image correction unit 35.
Since the imaging range that can be captured by each camera is finite, the range of the bird's-eye view image around the connected vehicle obtained by converting and synthesizing them is also finite. At this time, the image display range of the bird's-eye image around the connected vehicle may be displayed in accordance with the maximum imaging range of each camera, but from the viewpoint of ease of viewing the image and the limitation on the size of the area of the image display unit. Is a range in which the surroundings of the connected vehicle can be sufficiently observed, and the image display range is divided into a certain area and displayed as shown in an image display range 27 shown by a broken line in FIGS. 2 (a) and 2 (b). It is preferable to do.

連結車両周辺の鳥瞰画像の表示部中心は、連結車両を示しており、この連結車両を中心に表示し、その周囲に結車両周辺の鳥瞰画像を表示する。この連結車両を示す領域には、連結車両を上方から見た場合のトラクタ2の写真画像又はイメージ画像28、及びトレーラ3の写真画像又はイメージ画像29を表示する。
連結車両周辺の鳥瞰画像は、図2(a),(b)に示すように、連結車両を上方の視点から見た場合に、連結車両のトレーラ3の前後方向(全長方向)の向きが鳥瞰画像の上下方向に対応するようにトレーラ画像29が表示され、トレーラ3の進行方向が画像の上側を向くようにトレーラ画像29が表示される。
The center of the display part of the bird's-eye image around the connected vehicle indicates the connected vehicle. The connected vehicle is displayed around it, and the bird's-eye image around the connected vehicle is displayed around it. In the area indicating the connected vehicle, a photographic image or image 28 of the tractor 2 and a photographic image or image 29 of the trailer 3 when the connected vehicle is viewed from above are displayed.
As shown in FIGS. 2A and 2B, the bird's-eye view of the vicinity of the connected vehicle has a bird's-eye view of the trailer 3 of the connected vehicle in the front-rear direction (full length direction) when viewed from the upper viewpoint. The trailer image 29 is displayed so as to correspond to the vertical direction of the image, and the trailer image 29 is displayed so that the traveling direction of the trailer 3 faces the upper side of the image.

ここで、連結車両の画像は、図2(b)に示すように、角度センサ33により検知されたトラクタ2とトレーラ3の相対角度に応じて、トラクタ2とトレーラ3が検知された相対角度をとるように、トラクタ画像28をトレーラ画像29に対して連結部を中心に回転させて表示する。
また、連結車両周辺の鳥瞰画像は、カメラ4〜9により撮像され、鳥瞰画像変換部34により変換された後述する鳥瞰画像を、それぞれのカメラが設置された連結車の位置に対応するように配置することで生成される。すなわち、トレーラ画像29を中心とした連結車両周辺の鳥瞰画像において、トラクタ2とトレーラ3の相対角度が0度の場合、トラクタ画像28の上側にあたる領域にトラクタ前方鳥瞰画像21が配置され、トラクタ画像28の左側にあたる領域にトラクタ左側方鳥瞰画像22が配置され、トラクタ画像28の右側にあたる領域にトラクタ右側方鳥瞰画像23が配置される。また、トレーラ画像29の左側にあたる領域にトレーラ左側方鳥瞰画像24が配置され、トレーラ画像29の右側にあたる領域にトレーラ右側方鳥瞰画像25が配置され、トレーラ画像29の下側にあたる領域にトレーラ後方鳥瞰画像26が配置される。
Here, as shown in FIG. 2 (b), the image of the connected vehicle shows the relative angle at which the tractor 2 and the trailer 3 are detected according to the relative angle between the tractor 2 and the trailer 3 detected by the angle sensor 33. As shown, the tractor image 28 is rotated with respect to the trailer image 29 around the connecting portion and displayed.
Further, the bird's-eye images around the connected vehicles are captured by the cameras 4 to 9 and the bird's-eye images described later converted by the bird's-eye image conversion unit 34 are arranged so as to correspond to the positions of the connected vehicles where the respective cameras are installed. To be generated. That is, when the relative angle between the tractor 2 and the trailer 3 is 0 degrees in the bird's-eye view around the connected vehicle centered on the trailer image 29, the tractor front bird's-eye view image 21 is arranged in the region corresponding to the upper side of the tractor image 28. A tractor left side bird's-eye view image 22 is arranged in a region corresponding to the left side of 28, and a tractor right side bird's-eye view image 23 is arranged in a region corresponding to the right side of the tractor image 28. Also, a trailer left side bird's-eye view image 24 is arranged in a region corresponding to the left side of the trailer image 29, a trailer right side bird's eye view image 25 is arranged in a region corresponding to the right side of the trailer image 29, and a trailer rear bird's eye view is provided in a region corresponding to the lower side of the trailer image 29. An image 26 is arranged.

さらに、トラクタ前方鳥瞰画像21、トラクタ左側方鳥瞰画像22、及びトラクタ右側方鳥瞰画像23は、トラクタ画像28がトレーラ画像29に対して、トラクタ2とトレーラ3の相対角度に応じて連結部を中心に回転するのに連動して、トラクタ画像28の周囲に配置されたトラクタ前方鳥瞰画像21、トラクタ左側方鳥瞰画像22、及びトラクタ右側方鳥瞰画像23も、鳥瞰画像補正部35により回転補正を受け、トラクタ画像28に追従して回転・移動して配置されるようになっている。   Further, the tractor front bird's-eye image 21, the tractor left-side bird's-eye image 22, and the tractor right-side bird's-eye image 23 are centered on the connecting portion according to the relative angle between the tractor 2 and the trailer 3 with respect to the trailer image 29. In conjunction with the rotation, the tractor front bird's-eye image 21, the tractor left-side bird's-eye image 22, and the tractor right-side bird's-eye image 23 arranged around the tractor image 28 are also subjected to rotation correction by the bird's-eye image correction unit 35. The tractor image 28 is arranged so as to rotate and move following the tractor image 28.

なお、連結車両周辺の鳥瞰画像において、トラクタ2とトレーラ3の相対位置の変化に伴い、カメラの撮像範囲が変化して、カメラの撮像範囲では連結車両周辺の画像表示範囲27の全てに鳥瞰画像を表示できない場合がある。この場合、鳥瞰画像を表示できない領域には、それを表す画像、又はその領域を単一色で塗りつぶすことにより、表示できない領域であることがわかるように表示を行えば良い。   In the bird's-eye image around the connected vehicle, the image pickup range of the camera changes in accordance with the change in the relative position of the tractor 2 and the trailer 3, and the bird's-eye view image is displayed in the entire image display range 27 around the connected vehicle. May not be displayed. In this case, an area that cannot display the bird's-eye view image may be displayed so that the image representing it or the area is painted with a single color so that the area cannot be displayed.

<連結車両周辺の鳥瞰画像の生成>
以下、本発明の実施形態にかかる、連結車両周辺の鳥瞰画像の生成を行う手順について説明する。
鳥瞰画像変換部34は、カメラ4〜9により撮像された画像を元にして、上方の視点から鳥瞰した鳥瞰画像を作成する。この処理には、周知の画像変換技術を用いる。
<Generation of bird's-eye view around connected vehicles>
Hereinafter, a procedure for generating a bird's-eye image around a connected vehicle according to an embodiment of the present invention will be described.
The bird's-eye image conversion unit 34 creates a bird's-eye image viewed from the upper viewpoint based on images captured by the cameras 4 to 9. A known image conversion technique is used for this processing.

この鳥瞰画像変換処理により、トラクタ前方撮像画像から、トラクタの前方の撮像範囲11を上方の視点から鳥瞰したトラクタ前方鳥瞰画像21が得られる。
また、トラクタ左側方撮像画像から、トラクタの左側方の撮像範囲12を上方の視点から鳥瞰したトラクタ左側方鳥瞰画像22が得られる。
また、トラクタ右側方撮像画像から、トラクタの右側方の撮像範囲13を上方の視点から鳥瞰したトラクタ右側方鳥瞰画像23が得られる。
また、トレーラ左側方撮像画像から、トレーラの左側方の撮像範囲14を上方の視点から鳥瞰したトレーラ左側方鳥瞰画像24が得られる。
また、トレーラ右側方撮像画像から、トレーラの右側方の撮像範囲15を上方の視点から鳥瞰したトレーラ右側方鳥瞰画像25が得られる。
また、トレーラ後方撮像画像から、トレーラの後方の撮像範囲16を上方の視点から鳥瞰したトレーラ後方鳥瞰画像26が得られる。
By this bird's-eye view image conversion process, a tractor front bird's-eye image 21 obtained by bird's-eye view of the imaging range 11 in front of the tractor from an upper viewpoint is obtained from the tractor front-captured image.
In addition, a tractor left side bird's-eye image 22 obtained by bird's-eye view of the imaging range 12 on the left side of the tractor from an upper viewpoint is obtained from the tractor left side captured image.
Further, a tractor right side bird's-eye image 23 obtained by bird's-eye view of the right side imaging range 13 of the tractor from an upper viewpoint is obtained from the tractor right side captured image.
Further, a trailer left side bird's-eye view image 24 obtained by bird's-eye view of the left side imaging range 14 of the trailer from an upper viewpoint is obtained from the trailer left side captured image.
In addition, a trailer right side bird's-eye image 25 obtained by bird's-eye view of the right side imaging range 15 of the trailer from an upper viewpoint is obtained from the trailer right side captured image.
In addition, a trailer rear bird's-eye image 26 obtained by bird's-eye view of the imaging range 16 behind the trailer from an upper viewpoint is obtained from the trailer rear captured image.

連結車両周辺の鳥瞰画像を生成するにあたって、各鳥瞰画像が連結車両周辺の鳥瞰画像において表示される領域を、トラクタ2に対するトレーラ3の角度に応じて計算を行い、算出結果に基づいて鳥瞰画像を配置してもよいが、本実施形態では、マップデータを用いて各鳥瞰画像の表示領域を決定して、連結車両周辺の鳥瞰画像の生成を行う。   In generating the bird's-eye view image around the connected vehicle, the region in which each bird's-eye view image is displayed in the bird's-eye view around the connected vehicle is calculated according to the angle of the trailer 3 with respect to the tractor 2, and the bird's-eye view image is calculated based on the calculation result. In this embodiment, the display area of each bird's-eye image is determined using map data, and a bird's-eye image around the connected vehicle is generated.

ここで、マップデータとは、鳥瞰画像変換部34により変換された鳥瞰画像を格子状に分け、各格子に識別名称として格子番号を与えて区別できるようにした場合において、格子番号の格子領域ごとに、連結車両周辺の鳥瞰画像において各格子領域の画像(格子画像ともいう)が表示される領域が記述されたデータである。
なお、連結車両周辺の鳥瞰画像における各格子画像の表示領域が、トラクタ2とトレーラ3の相対角度に応じて変化する場合には、トラクタ2とトレーラ3の相対角度に対応した各格子画像の表示領域がマップデータに記述されている。
Here, the map data is obtained by dividing the bird's-eye image converted by the bird's-eye image conversion unit 34 into a lattice shape and assigning a lattice number as an identification name to each lattice so that each lattice region can be distinguished. Further, in the bird's-eye view image around the connected vehicle, this is data describing a region where an image of each lattice region (also referred to as a lattice image) is displayed.
In addition, when the display area of each grid image in the bird's-eye image around the connected vehicle changes according to the relative angle between the tractor 2 and the trailer 3, the display of each grid image corresponding to the relative angle between the tractor 2 and the trailer 3 is displayed. The area is described in the map data.

換言すれば、マップデータは、トラクタ2とトレーラ3の相対角度とに基づいて、トラクタ前方鳥瞰画像21の各格子画像、トラクタ左側方鳥瞰画像22の各格子画像、トラクタ右側方鳥瞰画像23の各格子画像、トレーラ左側方鳥瞰画像24の各格子画像、トレーラ右側方鳥瞰画像25の各格子画像、及びトレーラ後方鳥瞰画像26の各格子画像が、連結車両周辺の鳥瞰画像のどの領域に表示されるかを規定する。   In other words, the map data is based on the relative angle between the tractor 2 and the trailer 3. Each grid image of the tractor front bird's-eye image 21, each grid image of the tractor left-side bird's-eye image 22, and each of the tractor right-side bird's-eye image 23. The grid image, each grid image of the trailer left side bird's eye image 24, each grid image of the trailer right side bird's eye image 25, and each grid image of the trailer rear bird's eye image 26 are displayed in any region of the bird's eye image around the connected vehicle. It prescribes.

連結車両周辺の鳥瞰画像を生成するにあたって、各鳥瞰画像の表示の処理について説明する。
まず、鳥瞰画像合成部36は、図2(a)に示すように、各鳥瞰画像を格子状に分け、各格子領域に格子番号を与える。
次に、鳥瞰画像合成部36は、マップデータ記憶部37からマップデータを読み出し、格子番号に対応するマップデータを参照する。各鳥瞰画像の各格子番号と相対角度をマップデータに適用することで、その格子番号の格子画像が、連結車両周辺の鳥瞰画像のどの領域に表示されるかが読み出されるようになっている。
In generating the bird's-eye view image around the connected vehicle, the processing for displaying each bird's-eye image will be described.
First, as shown in FIG. 2A, the bird's-eye view image synthesis unit 36 divides each bird's-eye view image into a lattice shape and gives a lattice number to each lattice region.
Next, the bird's-eye view image synthesis unit 36 reads the map data from the map data storage unit 37 and refers to the map data corresponding to the grid number. By applying each lattice number and relative angle of each bird's-eye image to map data, it is read out in which region of the bird's-eye image around the connected vehicle the lattice image of that lattice number is displayed.

鳥瞰画像合成部は、マップデータから読み出された表示領域に従い、連結車両周辺の鳥瞰画像に、各鳥瞰画像の各格子番号ごとに対応する格子画像の配置を行う。
なお、トラクタ2とトレーラ3の相対角度が変化する場合には、図2(b)に示すように、相対角度に応じて各鳥瞰画像の各格子番号の格子画像の表示領域が変化する。このため、鳥瞰画像補正部35により、格子画像は適宜回転補正が施されて配置される。なお、鳥瞰画像補正部35は、鳥瞰画像に対して、適宜拡大及び縮小処理、並びにトリミング処理を行ってもよい。
The bird's-eye view image composition unit arranges a lattice image corresponding to each lattice number of each bird's-eye view image on the bird's-eye view around the connected vehicle according to the display area read from the map data.
In addition, when the relative angle of the tractor 2 and the trailer 3 changes, as shown in FIG.2 (b), the display area | region of the grid image of each grid number of each bird's-eye view image changes according to a relative angle. For this reason, the bird's-eye image correction unit 35 arranges the lattice image with appropriate rotation correction. Note that the bird's-eye view image correction unit 35 may appropriately perform enlargement / reduction processing and trimming processing on the bird's-eye view image.

これにより、各鳥瞰画像を合成して連結車両周辺の鳥瞰画像を生成する際に、トラクタ2に備えられたカメラにより撮像された各々の周辺画像は、連結車両1の上方の視点から見た場合に、トレーラ3に対するトラクタ2の角度に連動して、連結車両周辺の鳥瞰画像上に配置され、トラクタ2の周囲の状況を反映して表示される。   Thereby, when combining each bird's-eye view image and producing | generating the bird's-eye view image around a connection vehicle, when each periphery image imaged with the camera with which the tractor 2 was equipped was seen from the upper viewpoint of the connection vehicle 1 In addition, in conjunction with the angle of the tractor 2 with respect to the trailer 3, it is arranged on a bird's-eye view image around the connected vehicle and is displayed reflecting the situation around the tractor 2.

連結車両周辺の鳥瞰画像を生成するにあたり、各鳥瞰図の重複部分の処理について説明する。
図2の(c)〜(d)はこの処理を説明するための図であり、図2(c),(d)はそれぞれ、図2(a),(b)の一部領域を拡大して表示した物である。
連結車両の各部に設けられたカメラは、その撮像範囲がオーバーラップするように配置されており、撮像する画像及び変換される鳥瞰画像21〜26の表示範囲も重複する。このため、連結車両周辺の鳥瞰画像を生成するにあたり、各鳥瞰画像21〜26の重複部分の処理を行う必要がある。
In generating the bird's-eye view around the connected vehicle, processing of overlapping portions of the bird's-eye views will be described.
FIGS. 2C to 2D are diagrams for explaining this processing. FIGS. 2C and 2D are enlarged views of partial areas of FIGS. 2A and 2B, respectively. It is the thing displayed.
The cameras provided in each part of the connected vehicle are arranged so that their imaging ranges overlap, and the images to be captured and the display ranges of the converted bird's-eye images 21 to 26 also overlap. For this reason, in generating the bird's-eye view image around the connected vehicle, it is necessary to process the overlapping portions of the bird's-eye images 21 to 26.

特に、連結車両においては、トラクタ2とトレーラ3とが相対角度(連結角)をなして、その相対位置を変化させるため、トラクタ2の側方カメラ5,6とトレーラ3の側方カメラ7,8との関係においては、トラクタ2とトレーラ3との相対位置の変化に応じて、トラクタ側方カメラ5,6とトレーラ側方カメラ7,8等の重複部分が変化するため、相対角度に応じて重複部分の処理を行う必要がある。   In particular, in a connected vehicle, the tractor 2 and the trailer 3 form a relative angle (connecting angle) and change the relative position thereof, so that the side cameras 5 and 6 of the tractor 2 and the side cameras 7 and 7 of the trailer 3 are changed. 8, the overlapping portions of the tractor side cameras 5 and 6 and the trailer side cameras 7 and 8 change according to the change in the relative position between the tractor 2 and the trailer 3. Therefore, it is necessary to process overlapping parts.

このため、鳥瞰画像合成部36は、各々のカメラに4〜9より撮像された画像から変換された鳥瞰画像の、連結車両周辺の鳥瞰画像における表示領域が、他のカメラにより撮像された画像から変換された鳥瞰画像の表示領域と重複する場合には、一のカメラにより撮像された画像から変換された鳥瞰画像を、他のカメラにより撮像された画像から変換された鳥瞰画像より優先して表示を行うことで、各々の鳥瞰画像の合成を行う。つまり、重複する一方の格子番号の格子画像を表示し、重複する他方の格子番号の格子画像の重複部分は表示しない。一方、他の鳥瞰画像と重複しない場合には、画像をそのまま表示を行う。   For this reason, the bird's-eye view image synthesis unit 36 displays the bird's-eye view image converted from the images taken from 4 to 9 by each camera from the images taken by other cameras in the bird's-eye view image around the connected vehicle. When overlapping with the display area of the converted bird's-eye image, the bird's-eye image converted from the image captured by one camera is displayed with priority over the bird's-eye image converted from the image captured by the other camera. Is performed to synthesize each bird's-eye view image. That is, the grid image with one overlapping grid number is displayed, and the overlapping portion of the grid image with the other grid number overlapping is not displayed. On the other hand, if the image does not overlap with another bird's-eye view image, the image is displayed as it is.

なお、鳥瞰画像が重複する場合において、優先して表示される画像はいずれの鳥瞰画像に由来する格子の画像であってもよいが、いずれか一方の鳥瞰画像を優先して表示することを定めておくことが好ましい。
鳥瞰画像の重複処理においては、画素単位で重複処理を行ってもよいが、本実施例においては、前述した、各鳥瞰画像を格子状に分け、各格子に格子番号を与えた各格子画像ごとに合成を行う。
In the case where the bird's-eye images overlap, the image displayed with priority may be a lattice image derived from any bird's-eye image, but it is determined that one of the bird's-eye images is displayed with priority. It is preferable to keep it.
In the overlap processing of the bird's-eye view image, the overlap processing may be performed on a pixel-by-pixel basis. However, in the present embodiment, each bird's-eye view image described above is divided into a lattice shape and each lattice image is assigned a lattice number to each lattice. Perform synthesis.

なお、各格子画像の重複処理については、その都度重複部分の判定を行い、合成を行ってもよいが、あらかじめマップデータに重複関係を記憶させておき、マップデータから重複関係を読み出して、合成を行ってもよい。
ここで、本実施例においては、トラクタ左側方鳥瞰画像22を、トレーラ左側方鳥瞰画像24に優先して表示を行う場合について説明する。
In addition, regarding the overlap processing of each grid image, the overlapping portion may be determined and combined each time. However, the overlap relationship is stored in advance in the map data, and the overlap relationship is read from the map data and combined. May be performed.
Here, in the present embodiment, a case where the tractor left side bird's-eye image 22 is displayed with priority over the trailer left side bird's-eye image 24 will be described.

図2(a)示すように、トラクタ左側方カメラ5に由来するトラクタ左側方鳥瞰画像22と、トレーラ左側方カメラ7に由来するトレーラ左側方鳥瞰画像24の表示領域は重複しており、また、図2(b)示すように、トラクタ2とトレーラ3との相対角度に応じて、重複部分は変化する。
図2(c)示すように、トラクタ左側方鳥瞰画像22の格子番号A2〜A4、A6〜A9、A11〜A15、及びA16〜A21の格子画像については、トレーラ左側方鳥瞰画像24に優先して表示を行う。また、トレーラ左側方鳥瞰画像24の表示領域のうち、トラクタ左側方鳥瞰画像22の表示領域と重複しない格子番号B2〜B6、B8〜B11、B13〜B15、B17、及びB18の格子画像についてはそのまま表示を行う。一方、トレーラ左側方鳥瞰画像24の表示領域のうち、トラクタ左側方鳥瞰画像22の表示領域と重複する、B1、B7、B12、及びB16の格子画像には、トラクタ左側方鳥瞰画像22のA4、A9、A15、及びA21の格子が優先して表示される。
As shown in FIG. 2 (a), the display areas of the tractor left side bird's-eye image 22 derived from the tractor left side camera 5 and the trailer left side bird's eye image 24 derived from the trailer left side camera 7 overlap, As shown in FIG. 2B, the overlapping portion changes according to the relative angle between the tractor 2 and the trailer 3.
As shown in FIG. 2 (c), the grid images of the grid numbers A2 to A4, A6 to A9, A11 to A15, and A16 to A21 of the tractor left side bird's eye image 22 have priority over the trailer left side bird's eye image 24. Display. Of the display area of the trailer left side bird's-eye view image 24, the grid images of grid numbers B2 to B6, B8 to B11, B13 to B15, B17, and B18 that do not overlap with the display area of the tractor left side bird's eye view image 22 are used as they are. Display. On the other hand, among the display areas of the trailer left side bird's eye image 24, the grid images of B1, B7, B12, and B16 that overlap the display area of the tractor left side bird's eye image 22 include A4 of the tractor left side bird's eye image 22; The grids A9, A15, and A21 are displayed with priority.

トラクタ2とトレーラ3の連結角が変化した場合には、図2(d)に示すように、重複部分が変化するため、重複部分の変化に対応して、トレーラ左側方鳥瞰画像24に、トラクタ左側方鳥瞰画像22が優先して表示される。
このようにして、各鳥瞰画像の全ての格子について順次表示を行うことで、重複部分の処理の処理を行い、連結車両周辺の鳥瞰画像を生成する。
When the connecting angle between the tractor 2 and the trailer 3 changes, the overlapping portion changes as shown in FIG. 2D. Therefore, the trailer left side bird's-eye view image 24 corresponds to the change of the overlapping portion. The left side bird's-eye view image 22 is displayed with priority.
In this way, by sequentially displaying all the grids of each bird's-eye view image, the overlapping portion is processed, and a bird's-eye image around the connected vehicle is generated.

上記のようにして、カメラで撮像される画像について、画像処理部31は各フレームの画像ごとに、逐次画像の変換及び合成処理を行い、連続して画像データを画像表示部38に送信することで、運転状態に応じた連結車両の上方の視点から鳥瞰した鳥瞰画像の画像を、リアルタイムに表示を行うことが出来る。   As described above, the image processing unit 31 sequentially converts and synthesizes the image captured by the camera for each frame image, and continuously transmits the image data to the image display unit 38. Thus, it is possible to display in real time an image of a bird's-eye view that is a bird's-eye view from the viewpoint above the connected vehicle according to the driving state.

<格子画像の表示領域のキャリブレーション>
マップデータにより読み出される、各格子の連結車両周辺の鳥瞰画像における表示領域及び重複関係は、連結車両に設置されたカメラの設置位置及び取り付け角度、並びに連結車両のトラクタとトレーラの位置関係により変化する。このため、連結車両用鳥瞰図表示システムの使用に当たって、キャリブレーションを行うことによりマップデータの作成、又は補正を行うことが好ましい。
<Calibration of grid image display area>
The display area and the overlapping relationship in the bird's-eye view around the connected vehicle of each lattice, which are read out by the map data, vary depending on the installation position and mounting angle of the camera installed on the connected vehicle, and the positional relationship between the tractor and trailer of the connected vehicle. . For this reason, when using the bird's-eye view display system for connected vehicles, it is preferable to create or correct map data by performing calibration.

キャリブレーションは、キャリブレーション用の画像が描かれた画像の上に、本連結車両用鳥瞰図表示システムを搭載した連結車両1を配置して、カメラ4〜9により連結車両周辺のキャリブレーション用の画像を撮像することで行う。
キャリブレーション用の画像を連結車両1に設置されたカメラ4〜9で撮像し、撮像画像を鳥瞰画像に変換する。ここで、連結車両とキャリブレーション用の模様との実際の位置関係と、各鳥瞰画像を格子に区切った場合の各格子画像との表示領域を各格子番号ごとに比較することで、各格子画像の連結車両周辺の鳥瞰画像における表示領域についての情報を取得することができる。これによって得られた格子番号ごとの表示領域についての情報を、マップデータに保存する。
In the calibration, the connected vehicle 1 equipped with the bird's-eye view display system for the connected vehicle is arranged on the image on which the image for calibration is drawn, and the images for calibration around the connected vehicle by the cameras 4 to 9 are arranged. This is done by imaging.
An image for calibration is captured by the cameras 4 to 9 installed in the connected vehicle 1, and the captured image is converted into a bird's-eye view image. Here, by comparing the actual positional relationship between the connected vehicle and the calibration pattern and the display area of each lattice image when each bird's-eye view image is divided into lattices, each lattice image is compared. The information about the display area in the bird's-eye view image around the connected vehicle can be acquired. Information about the display area for each grid number obtained in this way is stored in map data.

また、キャリブレーション用の画像は、各カメラのオーバーラップ領域にキャリブレーション用の画像が含まれるように描かれている。このキャリブレーション用の画像を連結車両に設置されたカメラで撮像し、撮像画像を鳥瞰画像に変換する。ここで、各鳥瞰画像の各格子番号の格子に表示される画像を比較して、同じ画像が表示されている場合に、それぞれの鳥瞰画像の格子が重複している、すなわち各カメラの撮像領域が重複していると判断される。これによって重複していると判断された格子番号の対応についての情報をマップデータに保存する。   Further, the calibration image is drawn so that the calibration image is included in the overlap region of each camera. The calibration image is captured by a camera installed on the connected vehicle, and the captured image is converted into a bird's-eye view image. Here, when the images displayed on the lattices of the respective lattice numbers of the bird's-eye images are compared and the same image is displayed, the lattices of the bird's-eye images overlap, that is, the imaging area of each camera Are determined to be duplicated. As a result, information about the correspondence between the lattice numbers determined to be duplicated is stored in the map data.

このようにして、相対角度を変化させながら各格子の表示領域及び重複関係を検査することにより、相対角度に応じたマップデータのキャリブレーションを行うことが出来る。   In this way, the map data can be calibrated according to the relative angle by inspecting the display area of each grid and the overlapping relationship while changing the relative angle.

<作用・効果>
本発明の一実施形態に係る衝突被害軽減装置は上述のように構成されているので、以下のような作用及び効果を奏する。
<Action and effect>
Since the collision damage reducing apparatus according to an embodiment of the present invention is configured as described above, the following operations and effects are achieved.

本連結車両用鳥瞰図表示システムは、トラクタ2の前方及び左右側方、並びにトレーラ3の後方及び左右側方に設けられた6つのカメラにより撮像された画像を、上方から鳥瞰した鳥瞰画像にそれぞれ変換し、トラクタ2とトレーラ3の相対角度に応じて、トラクタ2及びトレーラ3の位置に対応した鳥瞰画像の表示領域を決定して、連結車両周辺の鳥瞰画像を生成する。このため、連結車両特有の動きに起因して周囲状況の把握が難しい連結車両において、トラクタ2とトレーラ3の相対角度に応じて変化するトラクタ2とトレーラ3の位置関係に対応して、鳥瞰画像の表示領域が決定されることで、トラクタ2とトレーラ3の周囲の状況を反映した連結車両周辺の鳥瞰画像が生成される。これにより、ドライバはこの車両の鳥瞰画像から、連結車の周辺の状況を把握することが可能となり、安全性を向上させることができる。   This bird's-eye view display system for connected vehicles converts images captured by six cameras provided in front and left and right sides of the tractor 2 and rear and left and right sides of the trailer 3 into bird's-eye images viewed from above. Then, according to the relative angle between the tractor 2 and the trailer 3, the display area of the bird's-eye image corresponding to the positions of the tractor 2 and the trailer 3 is determined, and the bird's-eye image around the connected vehicle is generated. For this reason, in a connected vehicle in which it is difficult to grasp the surrounding situation due to the movement specific to the connected vehicle, a bird's-eye image corresponding to the positional relationship between the tractor 2 and the trailer 3 that changes according to the relative angle between the tractor 2 and the trailer 3 Is determined, the bird's-eye view image around the connected vehicle reflecting the situation around the tractor 2 and the trailer 3 is generated. As a result, the driver can grasp the situation around the connected vehicle from the bird's-eye view image of the vehicle, and the safety can be improved.

また、鳥瞰視表示した画像をそれぞれ格子状に分けて、トラクタ2とトレーラ3の連結部の相対角度に応じて、各格子ごとに、連結車両周辺を上方の視点から鳥瞰した鳥瞰画像における、各格子画像の表示領域の決定と重複部分の表示を行うことで、画像処理の負担を軽減し容易に画像の合成を行うことができる。
さらに、トラクタ2とトレーラ3の連結部の相対角度に応じて、各格子ごとに、連結車両周辺を上方の視点から鳥瞰した鳥瞰画像における、各格子画像の表示領域を記述するマップデータを保存するマップデータ記憶部37を有し、このマップデータを用いて、格子画像の相対角度に応じた表示領域を決定することにより、さらに画像処理部の負担を軽減し容易に画像の合成を行うことができる。
In addition, each bird's-eye view displayed image is divided into a grid, and each bird's-eye view of the surrounding area of the connected vehicle is viewed from an upper viewpoint for each lattice according to the relative angle of the connecting portion between the tractor 2 and the trailer 3. By determining the display area of the lattice image and displaying the overlapped portion, it is possible to reduce the burden of image processing and easily combine the images.
Further, map data describing a display area of each lattice image in a bird's-eye view of the connected vehicle and its surroundings as viewed from the upper viewpoint is stored for each lattice according to the relative angle of the connecting portion between the tractor 2 and the trailer 3. By having a map data storage unit 37 and using this map data to determine a display area according to the relative angle of the grid image, it is possible to further reduce the burden on the image processing unit and easily synthesize images. it can.

[その他]
以上、本発明の実施形態を説明したが、本発明は係る実施形態に限定されるものではなく、本発明の趣旨を逸脱しない範囲で種々変形して実施することが出来る。
[Others]
Although the embodiments of the present invention have been described above, the present invention is not limited to such embodiments, and various modifications can be made without departing from the spirit of the present invention.

例えば、上記実施形態では、トラクタの前方に1台、トラクタの左側方に1台、トラクタの右側方に1台、トレーラの左側方に1台、トレーラの右側方に1台、トラクタの後方に1台のカメラを設置するとしたが、それぞれの箇所、或いは特定の箇所に、複数のカメラを設置し、複数のカメラを用いてトラクタ又はトレーラの周囲を撮像しても良い。また、トレーラ及びトラクタのコーナー部分にカメラを設置しても良い。   For example, in the above embodiment, one unit is located in front of the tractor, one is located on the left side of the tractor, one is located on the right side of the tractor, one is located on the left side of the trailer, one is located on the right side of the trailer, and the rear side of the tractor. Although one camera is installed, a plurality of cameras may be installed at each location or a specific location, and the surroundings of the tractor or trailer may be imaged using a plurality of cameras. Moreover, you may install a camera in the corner part of a trailer and a tractor.

また、上記実施形態では、鳥瞰画像変換部は、各カメラにより撮像された画像を元にして、上方の視点から鳥瞰した鳥瞰画像を作成するとしたが、鳥瞰画像を作成するために、当該撮像された画像について、カメラのレンズによる歪みの補正処理を行っても良い。
また、上記実施形態では、各鳥瞰画像が重複する部分について、どちらかの鳥瞰画像の格子の画像を優先表示するとしたが、トラクタとトレーラの相対角度、及び相対角度の変化に伴うカメラの位置関係に基づいて、それぞれの格子ごとにどの格子の画像が表示されるかを定めても良い。この場合、表示の優先順位をマップデータに含め、各格子の格子画像の合成時にマップデータから優先順位を読み出して合成を行っても良い。
In the above-described embodiment, the bird's-eye image conversion unit creates a bird's-eye image viewed from the upper viewpoint based on the images captured by each camera. However, in order to create a bird's-eye image, the image is captured. The image may be subjected to distortion correction processing by a camera lens.
In the above-described embodiment, the bird's-eye image is preferentially displayed for the portion where each bird's-eye image overlaps. However, the relative angle between the tractor and the trailer, and the positional relationship of the camera accompanying the change in the relative angle. Based on the above, it may be determined which lattice image is displayed for each lattice. In this case, display priority may be included in the map data, and the priority order may be read from the map data when the lattice images of the respective lattices are combined.

また、上記実施形態では、連結車両周辺の鳥瞰図において、トレーラ画像29を固定し、トラクタ2とトレーラ3との相対角度に応じて、トラクタ画像28をトレーラ画像29に対して回転して表示させるようにしているが、トラクタ画像28固定し、トレーラ画像29を回転して表示させ、トレーラ画像29に追従してトレーラ周囲の鳥瞰画像を配置させてもよい。   In the above embodiment, the trailer image 29 is fixed in the bird's eye view around the connected vehicle, and the tractor image 28 is rotated and displayed with respect to the trailer image 29 according to the relative angle between the tractor 2 and the trailer 3. However, the tractor image 28 may be fixed, the trailer image 29 may be rotated and displayed, and the bird's-eye image around the trailer may be arranged following the trailer image 29.

1 連結車両
2 トラクタ
3 トレーラ
4 トラクタ前方カメラ
5 トラクタ左側方カメラ
6 トラクタ右側方カメラ
7 トレーラ左側方カメラ
8 トレーラ右側方カメラ
9 トレーラ後方カメラ
10 連結部
11 トラクタ前方カメラ撮像範囲
12 トラクタ左側方カメラ撮像範囲
13 トラクタ右側方カメラ撮像範囲
14 トレーラ左側方カメラ撮像範囲
15 トレーラ右側方カメラ撮像範囲
16 トレーラ後方カメラ撮像範囲
17、27 画像表示範囲
21 トラクタ前方鳥瞰画像
22 トラクタ左側方鳥瞰画像
23 トラクタ右側方鳥瞰画像
24 トレーラ左側方鳥瞰画像
25 トレーラ右側方鳥瞰画像
26 トレーラ後方鳥瞰画像
28 トラクタ画像
29 トレーラ画像
31 画像処理部
32 カプラ部
33 角度センサ
34 鳥瞰画像変換部(鳥瞰画像変換手段)
35 鳥瞰画像補正部(鳥瞰画像補正手段)
36 鳥瞰画像合成部(鳥瞰画像合成手段)
37 マップデータ記憶部(マップデータ記憶手段)
38 画像表示部
DESCRIPTION OF SYMBOLS 1 Connection vehicle 2 Tractor 3 Trailer 4 Tractor front camera 5 Tractor left side camera 6 Tractor right side camera 7 Trailer left side camera 8 Trailer right side camera 9 Trailer rear camera 10 Connection part 11 Tractor front camera imaging range 12 Tractor left side camera imaging Range 13 Tractor right side camera imaging range 14 Trailer left side camera imaging range 15 Trailer right side camera imaging range 16 Trailer rear camera imaging range 17, 27 Image display range 21 Tractor front bird's-eye view image 22 Tractor left side bird's eye view image 23 Tractor right side bird's eye view Image 24 Trailer left side bird's eye view image 25 Trailer right side bird's eye view image 26 Trailer rear side bird's eye view image 28 Tractor image 29 Trailer image 31 Image processing unit 32 Coupler unit 33 Angle sensor 34 Bird's eye view image conversion unit (bird's eye view image) Conversion means)
35 Bird's-eye image correction unit (bird's-eye image correction means)
36 Bird's-eye image synthesis unit (bird's-eye image synthesis means)
37 Map data storage unit (map data storage means)
38 Image display

Claims (6)

トラクタとトレーラとからなる連結車両周辺の鳥瞰図を表示する連結車両用鳥瞰図表示システムであって、
前記トラクタに設けられ前記トラクタの周辺を撮像するトラクタカメラと、
前記トレーラに設けられ前記トレーラの周辺を撮像するトレーラカメラと、
前記トラクタと前記トレーラとの連結部の相対角度を検出する相対角度検出手段と、
前記トラクタカメラが撮像した前記トラクタ周辺のトラクタ周辺撮像画像を、上方から鳥瞰した画像に変換してトラクタ周辺鳥瞰画像を得ると共に、前記トレーラカメラが撮像した前記トレーラ周辺のトレーラ周辺撮像画像を、上方から鳥瞰した画像に変換してトレーラ周辺鳥瞰画像を得る鳥瞰画像変換手段と、
前記トラクタ周辺鳥瞰画像と前記トレーラ周辺鳥瞰画像とを合成して、前記連結車両周辺の鳥瞰画像を生成する鳥瞰画像合成手段と、
前記鳥瞰画像合成手段により生成された前記連結車両周辺の鳥瞰画像を表示する画像表示手段とを備え、
前記鳥瞰画像合成手段は、前記相対角度検出手段により検出された前記相対角度に応じて、前記トラクタ周辺鳥瞰画像と前記トレーラ周辺鳥瞰画像とを合成して前記連結車両周辺の鳥瞰画像を生成する
ことを特徴とする連結車両用鳥瞰図表示システム。
A bird's-eye view display system for a connected vehicle that displays a bird's-eye view around a connected vehicle composed of a tractor and a trailer,
A tractor camera provided on the tractor for imaging the periphery of the tractor;
A trailer camera provided on the trailer for imaging the periphery of the trailer;
A relative angle detecting means for detecting a relative angle of a connecting portion between the tractor and the trailer;
The tractor periphery captured image around the tractor captured by the tractor camera is converted into a bird's eye view image from above to obtain a tractor periphery bird's eye view image, and the trailer periphery captured image around the trailer captured by the trailer camera is A bird's-eye view image conversion means for obtaining a bird's-eye view image around the trailer by converting from
A bird's-eye image combining unit that combines the bird's-eye image around the tractor and the bird's-eye image around the trailer to generate a bird's-eye image around the connected vehicle;
Image display means for displaying a bird's-eye image around the connected vehicle generated by the bird's-eye image synthesis means,
The bird's-eye image synthesizing unit generates the bird's-eye image around the connected vehicle by synthesizing the bird's-eye view image around the tractor and the bird's-eye view image around the trailer according to the relative angle detected by the relative angle detection unit. A bird's-eye view display system for connected vehicles.
前記鳥瞰画像合成手段は、
前記相対角度に応じて前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像の、前記連結車両周辺の鳥瞰画像における表示領域を決定し、
前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像の重複する部分については、何れか一方の画像の表示を優先することにより前記連結車両周辺の鳥瞰画像を合成する
ことを特徴とする請求項1記載の連結車両用鳥瞰図表示システム。
The bird's-eye view image synthesis means includes:
According to the relative angle, the display area in the bird's-eye view around the connected vehicle of the bird's-eye view around the tractor and the bird's-eye view around the trailer,
The bird's-eye view image around the connected vehicle is synthesized by giving priority to the display of either one of the overlapping portions of the bird's-eye view image around the tractor and the bird's-eye view around the trailer. Bird's eye view display system for connected vehicles.
前記鳥瞰画像合成手段は、
前記トラクタ周辺鳥瞰画像及び前記トレーラ周辺鳥瞰画像をそれぞれ格子状に分けて各格子画像にそれぞれ識別名称(格子番号)を与え、
前記識別名称を用いて、前記格子画像ごとに、前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域の決定と、重複部分の表示を行う
ことを特徴とする請求項2記載の連結車両用鳥瞰図表示システム。
The bird's-eye view image synthesis means includes:
Dividing the bird's-eye view image around the tractor and the bird's-eye view around the trailer into a lattice shape, and giving each lattice image an identification name (grid number),
3. The connection according to claim 2, wherein, for each grid image, determination of a display area in a bird's-eye image around the connected vehicle and display of an overlapping portion are performed for each lattice image using the identification name. Bird's eye view display system for vehicles.
前記格子画像ごとに、前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域を記述するマップデータをさらに備え、
前記鳥瞰画像合成手段は、前記マップデータを用いて、前記格子画像の前記相対角度に応じた前記連結車両周辺の鳥瞰画像における表示領域を決定する
ことを特徴とする請求項3記載の連結車両用鳥瞰図表示システム。
Map data describing a display area in a bird's-eye image around the connected vehicle according to the relative angle for each lattice image,
The said bird's-eye image composition means determines the display area in the bird's-eye image around the said connected vehicle according to the said relative angle of the said grid image using the said map data. Bird's eye view display system.
前記トラクタカメラが、前記トラクタの左右側部にそれぞれ設けられ前記トラクタの左右側方を撮像するトラクタ側方カメラからなり、
前記トレーラカメラが、前記トレーラの左右側部にそれぞれ設けられ前記トレーラの左右側方を撮像するトレーラ側方カメラからなる
ことを特徴とする請求項1〜4の何れか1項に記載の連結車両用鳥瞰図表示システム。
The tractor camera comprises a tractor side camera that images the left and right sides of the tractor provided on the left and right sides of the tractor,
5. The connected vehicle according to claim 1, wherein the trailer camera includes a trailer side camera that is provided on each of left and right sides of the trailer and images the left and right sides of the trailer. Bird's eye view display system.
前記トラクタカメラが、前記トラクタの左右側部にそれぞれ設けられ前記トラクタの左右側方を撮像するトラクタ側方カメラと、前記トラクタの前部に設けられ前記トラクタの前方を撮像するトラクタ前方カメラからなり、
前記トレーラカメラが、前記トレーラの左右側部にそれぞれ設けられ前記トレーラの左右側方を撮像するトレーラ側方カメラと、前記トレーラの後部に設けられ前記トレーラの後方を撮像するトレーラ後方カメラからなる
ことを特徴とする請求項1〜4の何れか1項に記載の連結車両用鳥瞰図表示システム。
The tractor camera comprises a tractor side camera that images the left and right sides of the tractor provided on the left and right sides of the tractor, and a tractor front camera that images the front of the tractor provided on the front of the tractor. ,
The trailer camera includes a trailer side camera that images the left and right sides of the trailer provided on the left and right sides of the trailer, and a trailer rear camera that is provided at the rear of the trailer and images the rear of the trailer. The bird's-eye view display system for connected vehicles according to any one of claims 1 to 4.
JP2010253242A 2010-11-11 2010-11-11 Combination vehicle birds-eye-view display system Withdrawn JP2012105158A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2010253242A JP2012105158A (en) 2010-11-11 2010-11-11 Combination vehicle birds-eye-view display system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010253242A JP2012105158A (en) 2010-11-11 2010-11-11 Combination vehicle birds-eye-view display system

Publications (1)

Publication Number Publication Date
JP2012105158A true JP2012105158A (en) 2012-05-31

Family

ID=46395029

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010253242A Withdrawn JP2012105158A (en) 2010-11-11 2010-11-11 Combination vehicle birds-eye-view display system

Country Status (1)

Country Link
JP (1) JP2012105158A (en)

Cited By (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015154406A (en) * 2014-02-18 2015-08-24 クラリオン株式会社 Peripheral monitoring device for towing vehicle
WO2016024444A1 (en) * 2014-08-12 2016-02-18 ソニー株式会社 Signal processing device, signal processing method and monitoring system
US9290202B2 (en) 2011-04-19 2016-03-22 Ford Global Technologies, Llc System and method of calibrating a trailer backup assist system
DE102014218995A1 (en) 2014-09-22 2016-03-24 Robert Bosch Gmbh Method and device for bird-view display of a vehicle combination and retrofittable camera
US9315212B1 (en) 2014-10-13 2016-04-19 Ford Global Technologies, Llc Trailer sensor module and associated method of wireless trailer identification and motion estimation
US9335163B2 (en) 2011-04-19 2016-05-10 Ford Global Technologies, Llc Trailer length estimation in hitch angle applications
US9340228B2 (en) 2014-10-13 2016-05-17 Ford Global Technologies, Llc Trailer motion and parameter estimation system
US9346396B2 (en) 2011-04-19 2016-05-24 Ford Global Technologies, Llc Supplemental vehicle lighting system for vision based target detection
JP2016119526A (en) * 2014-12-19 2016-06-30 アルパイン株式会社 Tractor vehicle surrounding image generation device and tractor vehicle surrounding image generation method
EP3048012A1 (en) * 2015-01-21 2016-07-27 Caterpillar Inc. Vision system and method of monitoring surroundings of machine
US9434414B2 (en) 2011-04-19 2016-09-06 Ford Global Technologies, Llc System and method for determining a hitch angle offset
US9513103B2 (en) 2011-04-19 2016-12-06 Ford Global Technologies, Llc Hitch angle sensor assembly
US9517668B2 (en) 2014-07-28 2016-12-13 Ford Global Technologies, Llc Hitch angle warning system and method
US9522699B2 (en) 2015-02-05 2016-12-20 Ford Global Technologies, Llc Trailer backup assist system with adaptive steering angle limits
US9533683B2 (en) 2014-12-05 2017-01-03 Ford Global Technologies, Llc Sensor failure mitigation system and mode management
US9555832B2 (en) 2011-04-19 2017-01-31 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
WO2017020898A1 (en) * 2015-07-31 2017-02-09 Conti Temic Microelectronic Gmbh Method and device for displaying an image of the surroundings of a vehicle combination
US9566911B2 (en) 2007-03-21 2017-02-14 Ford Global Technologies, Llc Vehicle trailer angle detection system and method
US9607242B2 (en) 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
US9610975B1 (en) 2015-12-17 2017-04-04 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US9616923B2 (en) 2015-03-03 2017-04-11 Ford Global Technologies, Llc Topographical integration for trailer backup assist system
US9683848B2 (en) 2011-04-19 2017-06-20 Ford Global Technologies, Llc System for determining hitch angle
WO2017122294A1 (en) * 2016-01-13 2017-07-20 株式会社ソシオネクスト Surroundings monitoring apparatus, image processing method, and image processing program
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
WO2017131243A1 (en) * 2017-02-09 2017-08-03 株式会社小松製作所 Work vehicle periphery monitoring system, work vehicle, and work vehicle periphery monitoring method
US9796228B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US9798953B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Template matching solution for locating trailer hitch point
US9804022B2 (en) 2015-03-24 2017-10-31 Ford Global Technologies, Llc System and method for hitch angle detection
US9827818B2 (en) 2015-12-17 2017-11-28 Ford Global Technologies, Llc Multi-stage solution for trailer hitch angle initialization
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9934572B2 (en) 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point
US9937953B2 (en) 2011-04-19 2018-04-10 Ford Global Technologies, Llc Trailer backup offset determination
US9963004B2 (en) 2014-07-28 2018-05-08 Ford Global Technologies, Llc Trailer sway warning system and method
WO2018108211A1 (en) * 2016-12-14 2018-06-21 Conti Temic Microelectronic Gmbh Three-dimensional all-round view system
US10005492B2 (en) 2016-02-18 2018-06-26 Ford Global Technologies, Llc Trailer length and hitch angle bias estimation
JP2018101860A (en) * 2016-12-19 2018-06-28 株式会社クボタ Work vehicle
US10011228B2 (en) 2015-12-17 2018-07-03 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system using multiple imaging devices
US10017115B2 (en) 2015-11-11 2018-07-10 Ford Global Technologies, Llc Trailer monitoring system and method
US10046800B2 (en) 2016-08-10 2018-08-14 Ford Global Technologies, Llc Trailer wheel targetless trailer angle detection
KR101894204B1 (en) * 2018-03-02 2018-08-31 주식회사 아이엔티코리아 Realtime container truck monitoring method and system
US10106193B2 (en) 2016-07-01 2018-10-23 Ford Global Technologies, Llc Enhanced yaw rate trailer angle detection initialization
US10155478B2 (en) 2015-12-17 2018-12-18 Ford Global Technologies, Llc Centerline method for trailer hitch angle detection
US10222804B2 (en) 2016-10-21 2019-03-05 Ford Global Technologies, Llc Inertial reference for TBA speed limiting
WO2019093176A1 (en) * 2017-11-07 2019-05-16 アイシン精機株式会社 Periphery monitoring device
JP2019075625A (en) * 2017-10-12 2019-05-16 アイシン精機株式会社 Periphery monitoring device
US10384607B2 (en) 2015-10-19 2019-08-20 Ford Global Technologies, Llc Trailer backup assist system with hitch angle offset estimation
JP2020021980A (en) * 2018-07-30 2020-02-06 株式会社Jvcケンウッド Overhead image generation apparatus, overhead image generation method, and program
US10611407B2 (en) 2015-10-19 2020-04-07 Ford Global Technologies, Llc Speed control for motor vehicles
KR20200064014A (en) * 2018-11-28 2020-06-05 오토아이티(주) Apparatus and method for generating AVM image in trailer truck
US10710585B2 (en) 2017-09-01 2020-07-14 Ford Global Technologies, Llc Trailer backup assist system with predictive hitch angle functionality
JP2020150306A (en) * 2019-03-11 2020-09-17 いすゞ自動車株式会社 Display control device
US10829046B2 (en) 2019-03-06 2020-11-10 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
CN112798009A (en) * 2020-12-24 2021-05-14 北京经纬恒润科技股份有限公司 Remote driving auxiliary display method and device
CN113103956A (en) * 2020-01-13 2021-07-13 福特全球技术公司 360-degree trailer camera view system
US11077795B2 (en) 2018-11-26 2021-08-03 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
KR20220095415A (en) * 2020-12-30 2022-07-07 아진산업(주) Apparatus and method for providing AVM image for variable length truck
JP2022547068A (en) * 2019-09-04 2022-11-10 コンチネンタル アドヴァンスド ライダー ソリューションズ ユーエス エルエルシー Trailer connection perspective view
DE102015105248B4 (en) 2014-04-08 2023-09-28 Bendix Commercial Vehicle Systems Llc Method and system for generating an image of the surroundings of an articulated vehicle

Cited By (94)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9566911B2 (en) 2007-03-21 2017-02-14 Ford Global Technologies, Llc Vehicle trailer angle detection system and method
US9971943B2 (en) 2007-03-21 2018-05-15 Ford Global Technologies, Llc Vehicle trailer angle detection system and method
US9854209B2 (en) 2011-04-19 2017-12-26 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9683848B2 (en) 2011-04-19 2017-06-20 Ford Global Technologies, Llc System for determining hitch angle
US9926008B2 (en) 2011-04-19 2018-03-27 Ford Global Technologies, Llc Trailer backup assist system with waypoint selection
US9335163B2 (en) 2011-04-19 2016-05-10 Ford Global Technologies, Llc Trailer length estimation in hitch angle applications
US11760414B2 (en) 2011-04-19 2023-09-19 Ford Global Technologies, Llp Trailer backup offset determination
US9346396B2 (en) 2011-04-19 2016-05-24 Ford Global Technologies, Llc Supplemental vehicle lighting system for vision based target detection
US9937953B2 (en) 2011-04-19 2018-04-10 Ford Global Technologies, Llc Trailer backup offset determination
US10609340B2 (en) 2011-04-19 2020-03-31 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US9434414B2 (en) 2011-04-19 2016-09-06 Ford Global Technologies, Llc System and method for determining a hitch angle offset
US9513103B2 (en) 2011-04-19 2016-12-06 Ford Global Technologies, Llc Hitch angle sensor assembly
US9723274B2 (en) 2011-04-19 2017-08-01 Ford Global Technologies, Llc System and method for adjusting an image capture setting
US10471989B2 (en) 2011-04-19 2019-11-12 Ford Global Technologies, Llc Trailer backup offset determination
US9290202B2 (en) 2011-04-19 2016-03-22 Ford Global Technologies, Llc System and method of calibrating a trailer backup assist system
US9555832B2 (en) 2011-04-19 2017-01-31 Ford Global Technologies, Llc Display system utilizing vehicle and trailer dynamics
US11267508B2 (en) 2011-04-19 2022-03-08 Ford Global Technologies, Llc Trailer backup offset determination
JP2015154406A (en) * 2014-02-18 2015-08-24 クラリオン株式会社 Peripheral monitoring device for towing vehicle
DE102015105248B4 (en) 2014-04-08 2023-09-28 Bendix Commercial Vehicle Systems Llc Method and system for generating an image of the surroundings of an articulated vehicle
US9963004B2 (en) 2014-07-28 2018-05-08 Ford Global Technologies, Llc Trailer sway warning system and method
US9517668B2 (en) 2014-07-28 2016-12-13 Ford Global Technologies, Llc Hitch angle warning system and method
JPWO2016024444A1 (en) * 2014-08-12 2017-05-25 ソニー株式会社 Signal processing apparatus, signal processing method, and monitoring system
US10632917B2 (en) 2014-08-12 2020-04-28 Sony Corporation Signal processing device, signal processing method, and monitoring system
WO2016024444A1 (en) * 2014-08-12 2016-02-18 ソニー株式会社 Signal processing device, signal processing method and monitoring system
DE102014218995A1 (en) 2014-09-22 2016-03-24 Robert Bosch Gmbh Method and device for bird-view display of a vehicle combination and retrofittable camera
US9315212B1 (en) 2014-10-13 2016-04-19 Ford Global Technologies, Llc Trailer sensor module and associated method of wireless trailer identification and motion estimation
US9340228B2 (en) 2014-10-13 2016-05-17 Ford Global Technologies, Llc Trailer motion and parameter estimation system
US9533683B2 (en) 2014-12-05 2017-01-03 Ford Global Technologies, Llc Sensor failure mitigation system and mode management
JP2016119526A (en) * 2014-12-19 2016-06-30 アルパイン株式会社 Tractor vehicle surrounding image generation device and tractor vehicle surrounding image generation method
US9607242B2 (en) 2015-01-16 2017-03-28 Ford Global Technologies, Llc Target monitoring system with lens cleaning device
EP3048012A1 (en) * 2015-01-21 2016-07-27 Caterpillar Inc. Vision system and method of monitoring surroundings of machine
US9667875B2 (en) 2015-01-21 2017-05-30 Caterpillar Inc. Vision system and method of monitoring surroundings of machine
US9522699B2 (en) 2015-02-05 2016-12-20 Ford Global Technologies, Llc Trailer backup assist system with adaptive steering angle limits
US9616923B2 (en) 2015-03-03 2017-04-11 Ford Global Technologies, Llc Topographical integration for trailer backup assist system
US9804022B2 (en) 2015-03-24 2017-10-31 Ford Global Technologies, Llc System and method for hitch angle detection
JP2021170826A (en) * 2015-07-31 2021-10-28 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH Method and apparatus for displaying peripheral scene of combination of vehicle and tracked vehicle
JP7245295B2 (en) 2015-07-31 2023-03-23 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング METHOD AND DEVICE FOR DISPLAYING SURROUNDING SCENE OF VEHICLE-TOUCHED VEHICLE COMBINATION
JP2018531530A (en) * 2015-07-31 2018-10-25 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH Method and apparatus for displaying surrounding scene of vehicle / towed vehicle combination
US10434945B2 (en) 2015-07-31 2019-10-08 Conti Temic Microelectronic Gmbh Method and device for displaying an image of the surroundings of a vehicle combination
WO2017020898A1 (en) * 2015-07-31 2017-02-09 Conti Temic Microelectronic Gmbh Method and device for displaying an image of the surroundings of a vehicle combination
US10611407B2 (en) 2015-10-19 2020-04-07 Ford Global Technologies, Llc Speed control for motor vehicles
US10384607B2 (en) 2015-10-19 2019-08-20 Ford Global Technologies, Llc Trailer backup assist system with hitch angle offset estimation
US11440585B2 (en) 2015-10-19 2022-09-13 Ford Global Technologies, Llc Speed control for motor vehicles
US9836060B2 (en) 2015-10-28 2017-12-05 Ford Global Technologies, Llc Trailer backup assist system with target management
US10496101B2 (en) 2015-10-28 2019-12-03 Ford Global Technologies, Llc Trailer backup assist system with multi-purpose camera in a side mirror assembly of a vehicle
US10017115B2 (en) 2015-11-11 2018-07-10 Ford Global Technologies, Llc Trailer monitoring system and method
US10011228B2 (en) 2015-12-17 2018-07-03 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system using multiple imaging devices
US10155478B2 (en) 2015-12-17 2018-12-18 Ford Global Technologies, Llc Centerline method for trailer hitch angle detection
US9934572B2 (en) 2015-12-17 2018-04-03 Ford Global Technologies, Llc Drawbar scan solution for locating trailer hitch point
US9827818B2 (en) 2015-12-17 2017-11-28 Ford Global Technologies, Llc Multi-stage solution for trailer hitch angle initialization
US9798953B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Template matching solution for locating trailer hitch point
US9796228B2 (en) 2015-12-17 2017-10-24 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
US9610975B1 (en) 2015-12-17 2017-04-04 Ford Global Technologies, Llc Hitch angle detection for trailer backup assist system
JPWO2017122294A1 (en) * 2016-01-13 2018-11-08 株式会社ソシオネクスト Ambient monitoring device, image processing method, and image processing program
US10721442B2 (en) 2016-01-13 2020-07-21 Socionext Inc. Surround view monitor apparatus
WO2017122294A1 (en) * 2016-01-13 2017-07-20 株式会社ソシオネクスト Surroundings monitoring apparatus, image processing method, and image processing program
US10005492B2 (en) 2016-02-18 2018-06-26 Ford Global Technologies, Llc Trailer length and hitch angle bias estimation
US10106193B2 (en) 2016-07-01 2018-10-23 Ford Global Technologies, Llc Enhanced yaw rate trailer angle detection initialization
US10046800B2 (en) 2016-08-10 2018-08-14 Ford Global Technologies, Llc Trailer wheel targetless trailer angle detection
US10807639B2 (en) 2016-08-10 2020-10-20 Ford Global Technologies, Llc Trailer wheel targetless trailer angle detection
US10222804B2 (en) 2016-10-21 2019-03-05 Ford Global Technologies, Llc Inertial reference for TBA speed limiting
JP2020513701A (en) * 2016-12-14 2020-05-14 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツングConti Temic microelectronic GmbH 3D surround view system
WO2018108211A1 (en) * 2016-12-14 2018-06-21 Conti Temic Microelectronic Gmbh Three-dimensional all-round view system
JP7084400B2 (en) 2016-12-14 2022-06-14 コンティ テミック マイクロエレクトロニック ゲゼルシャフト ミット ベシュレンクテル ハフツング 3D surround view system
JP2018101860A (en) * 2016-12-19 2018-06-28 株式会社クボタ Work vehicle
US10421400B2 (en) 2017-02-09 2019-09-24 Komatsu Ltd. Surroundings monitoring system for work vehicle, work vehicle, and surroundings monitoring method for work vehicle
JP6251453B1 (en) * 2017-02-09 2017-12-20 株式会社小松製作所 Work vehicle periphery monitoring system, work vehicle, and work vehicle periphery monitoring method
WO2017131243A1 (en) * 2017-02-09 2017-08-03 株式会社小松製作所 Work vehicle periphery monitoring system, work vehicle, and work vehicle periphery monitoring method
US10710585B2 (en) 2017-09-01 2020-07-14 Ford Global Technologies, Llc Trailer backup assist system with predictive hitch angle functionality
JP2019075625A (en) * 2017-10-12 2019-05-16 アイシン精機株式会社 Periphery monitoring device
JP7110577B2 (en) 2017-10-12 2022-08-02 株式会社アイシン Perimeter monitoring device
WO2019093176A1 (en) * 2017-11-07 2019-05-16 アイシン精機株式会社 Periphery monitoring device
JP2019087875A (en) * 2017-11-07 2019-06-06 アイシン精機株式会社 Peripheral monitoring device
KR101894204B1 (en) * 2018-03-02 2018-08-31 주식회사 아이엔티코리아 Realtime container truck monitoring method and system
JP2020021980A (en) * 2018-07-30 2020-02-06 株式会社Jvcケンウッド Overhead image generation apparatus, overhead image generation method, and program
CN112470465B (en) * 2018-07-30 2023-09-29 Jvc建伍株式会社 Overhead image generation device and computer-readable storage medium
WO2020026836A1 (en) * 2018-07-30 2020-02-06 株式会社Jvcケンウッド Overhead image generation apparatus, overhead image generation method, and program
CN112470465A (en) * 2018-07-30 2021-03-09 Jvc建伍株式会社 Bird's-eye view image generation device, bird's-eye view image generation method, and program
US11498484B2 (en) 2018-07-30 2022-11-15 Jvckenwood Corporation Overhead image generation device, overhead image generation method, and program
JP7180172B2 (en) 2018-07-30 2022-11-30 株式会社Jvcケンウッド OVERALL VIEW IMAGE GENERATING DEVICE, OVERALL VIEW IMAGE GENERATING METHOD AND PROGRAM
US11077795B2 (en) 2018-11-26 2021-08-03 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
KR20200064014A (en) * 2018-11-28 2020-06-05 오토아이티(주) Apparatus and method for generating AVM image in trailer truck
KR102232276B1 (en) * 2018-11-28 2021-03-25 오토아이티(주) Apparatus and method for generating AVM image in trailer truck
US10829046B2 (en) 2019-03-06 2020-11-10 Ford Global Technologies, Llc Trailer angle detection using end-to-end learning
JP7172757B2 (en) 2019-03-11 2022-11-16 いすゞ自動車株式会社 display controller
JP2020150306A (en) * 2019-03-11 2020-09-17 いすゞ自動車株式会社 Display control device
JP2022547068A (en) * 2019-09-04 2022-11-10 コンチネンタル アドヴァンスド ライダー ソリューションズ ユーエス エルエルシー Trailer connection perspective view
JP7416918B2 (en) 2019-09-04 2024-01-17 コンチネンタル アドヴァンスド ライダー ソリューションズ ユーエス エルエルシー Perspective view of trailer connection
US12214725B2 (en) 2019-09-04 2025-02-04 Continental Autonomous Mobility US, LLC Transparent trailer articulation view
CN113103956A (en) * 2020-01-13 2021-07-13 福特全球技术公司 360-degree trailer camera view system
CN112798009A (en) * 2020-12-24 2021-05-14 北京经纬恒润科技股份有限公司 Remote driving auxiliary display method and device
CN112798009B (en) * 2020-12-24 2024-04-05 北京经纬恒润科技股份有限公司 Remote driving auxiliary display method and device
KR102422585B1 (en) 2020-12-30 2022-07-20 아진산업(주) Apparatus and method for providing AVM image for variable length truck
KR20220095415A (en) * 2020-12-30 2022-07-07 아진산업(주) Apparatus and method for providing AVM image for variable length truck

Similar Documents

Publication Publication Date Title
JP2012105158A (en) Combination vehicle birds-eye-view display system
JP7245295B2 (en) METHOD AND DEVICE FOR DISPLAYING SURROUNDING SCENE OF VEHICLE-TOUCHED VEHICLE COMBINATION
JP5884439B2 (en) Image generation device for vehicle periphery monitoring
CN104512328B (en) Automobile surround view image generation method and automobile surround view system
JP5444338B2 (en) Vehicle perimeter monitoring device
JP4193886B2 (en) Image display device
JP5439890B2 (en) Image processing method, image processing apparatus, and program
JP5455124B2 (en) Camera posture parameter estimation device
JP2018531530A6 (en) Method and apparatus for displaying surrounding scene of vehicle / towed vehicle combination
CN105472317B (en) Periphery monitoring apparatus and surroundings monitoring system
JP2018531530A5 (en)
JP2007274377A (en) Periphery monitoring apparatus, and program
JP5516998B2 (en) Image generation device
JP5870608B2 (en) Image generation device
JP2013110712A5 (en)
US20170352176A1 (en) Image processing device for vehicle
JP2008172535A (en) Operation supporting system, image processing device, and deviation detecting method
WO2001058164A1 (en) Vicinity display for car
JP2008077628A (en) Image processor and vehicle surrounding visual field support device and method
JP7039879B2 (en) Display control device
JP6471522B2 (en) Camera parameter adjustment device
JP6614754B2 (en) Method for converting an omnidirectional image from an omnidirectional camera placed on a vehicle into a rectilinear image
JP4855884B2 (en) Vehicle periphery monitoring device
JP2013024712A (en) Method and system for calibrating multiple camera
JP2018528514A (en) Quick look for backward crossing traffic

Legal Events

Date Code Title Description
A300 Application deemed to be withdrawn because no request for examination was validly filed

Free format text: JAPANESE INTERMEDIATE CODE: A300

Effective date: 20140204