[go: up one dir, main page]

JP2005117554A - Vehicle surrounding image conversion device - Google Patents

Vehicle surrounding image conversion device Download PDF

Info

Publication number
JP2005117554A
JP2005117554A JP2003352278A JP2003352278A JP2005117554A JP 2005117554 A JP2005117554 A JP 2005117554A JP 2003352278 A JP2003352278 A JP 2003352278A JP 2003352278 A JP2003352278 A JP 2003352278A JP 2005117554 A JP2005117554 A JP 2005117554A
Authority
JP
Japan
Prior art keywords
output
image
vehicle
cameras
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2003352278A
Other languages
Japanese (ja)
Inventor
Masayasu Suzuki
政康 鈴木
Takeshi Akatsuka
健 赤塚
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nissan Motor Co Ltd
Original Assignee
Nissan Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nissan Motor Co Ltd filed Critical Nissan Motor Co Ltd
Priority to JP2003352278A priority Critical patent/JP2005117554A/en
Priority to US10/959,219 priority patent/US7868913B2/en
Publication of JP2005117554A publication Critical patent/JP2005117554A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)
  • Image Input (AREA)

Abstract

【課題】画像提示の遅延を低減できる車両周囲画像変換装置を提供する。
【解決手段】車両の周囲を撮像する複数のカメラ1a、1bと、カメラから出力される画像データ10a、10bを画像処理するCPU2と、書き込みアドレスを格納するパターンメモリ3a、3bと、出力用メモリ4とを有し、CPU2から出力される同期信号20をトリガに、カメラ1a、1bがCPU2に対して画像データ10a、10bを出力し、CPU2は、カメラ1a、1bからの画像データ10a、10bの出力にタイミングを合わせ、書き込みアドレスを用いて画像データ10a、10bを出力用メモリ4に書き込む構成。
【選択図】 図1
A vehicle surrounding image conversion device capable of reducing delay in image presentation is provided.
SOLUTION: A plurality of cameras 1a and 1b for imaging the surroundings of a vehicle, a CPU 2 for image processing image data 10a and 10b output from the cameras, pattern memories 3a and 3b for storing write addresses, and an output memory 4, with the synchronization signal 20 output from the CPU 2 as a trigger, the cameras 1 a and 1 b output image data 10 a and 10 b to the CPU 2, and the CPU 2 outputs image data 10 a and 10 b from the cameras 1 a and 1 b. The image data 10a and 10b are written in the output memory 4 using the write address in synchronization with the output of the output.
[Selection] Figure 1

Description

本発明は、運転者の視界を補助するための運転支援システム等における車両周囲画像変換装置に関するものである。   The present invention relates to a vehicle surrounding image conversion apparatus in a driving support system or the like for assisting a driver's field of view.

車両の後進による車庫入れや幅寄せ、見通しの良くない交差点やT字路に車両を進入させる(頭出し)等の場面において、運転者の視界を補助するための運転支援システムにおける車両周囲画像変換装置が提供されている(下記特許文献1参照)。
車両周囲画像変換装置に備えられた電子式のカメラで撮像する箇所としては、リアビュー(車両後方)やブラインドコーナービュー(車両前方左右方向)等が挙げられる。運転者に対して複数方向の映像を同時に提供する必要性が増えている。このため、運転支援システムでは、複数のカメラを用いて車両の周囲の環境画像を撮像し、モニタの一画面に複数の画像を並べて表示させる用途が増えている。
以下、従来の車両周囲画像変換装置の構成および動作について説明する。例えばカメラで撮像する画像データの出力分解能と、運転者に提示するモニタの分解能をVGA(Video Graphics Array)(640×480画素)サイズを例として説明する。
従来の車両周囲画像変換装置では、カメラから伝送されてくる画像データ速度と、CPU(中央演算処理装置)での処理速度との差異から、カメラとCPUとの間には入力フレームバッファが設けられている。入力フレームバッファは、カメラ1台につき2面構成となっており、そのサイズは、カメラの出力分解能に対応し、640×480画素分のアドレス空間を備えている。これは、カメラから伝送される1フレーム分の画像データを入力フレームバッファの1面に格納し終えると、CPUは、画像データを格納した面を画像変換処理に当て、もう片面を次のフレームの受信に備えるということを繰り返すためである。CPUは、画像変換処理に当てられた2系統の入力フレームバッファ内の画像データをパターンメモリに格納されるアドレスに従って読み出し処理を行い、出力用メモリに格納する。
複数のカメラから取得した画像をモニタの一画面に複数の画像を並べて提示する場合、カメラが伝送する画像データの一部を間引きして表示することが一般的に行われる。つまりこの場合、VGAサイズのカメラの2系統の画像データは、読み出し処理によって間引きされ、モニタに表示される。なお、運転者に提示する画像のちらつきを防ぐため、CPUは、出力用メモリへ1フレーム分の提示データの格納が完了したタイミングで表示するのが一般的である。
Image conversion around the vehicle in a driving support system to assist the driver's view in scenes such as entering the garage or moving the vehicle backward, approaching the intersection or T-junction with poor visibility (cueing), etc. An apparatus is provided (see Patent Document 1 below).
As a part imaged with an electronic camera provided in the vehicle surrounding image conversion device, there are a rear view (rear side of the vehicle), a blind corner view (rear side direction of the vehicle), and the like. There is an increasing need to provide drivers with images in multiple directions simultaneously. For this reason, driving assistance systems are increasingly used to capture environmental images around a vehicle using a plurality of cameras and display a plurality of images side by side on one screen of a monitor.
The configuration and operation of a conventional vehicle surrounding image conversion device will be described below. For example, the output resolution of image data captured by a camera and the resolution of a monitor presented to the driver will be described by taking a VGA (Video Graphics Array) (640 × 480 pixels) size as an example.
In the conventional vehicle surrounding image conversion apparatus, an input frame buffer is provided between the camera and the CPU due to the difference between the image data speed transmitted from the camera and the processing speed of the CPU (central processing unit). ing. The input frame buffer has a two-surface configuration for each camera, and its size corresponds to the output resolution of the camera and has an address space for 640 × 480 pixels. When the image data for one frame transmitted from the camera has been stored in one surface of the input frame buffer, the CPU applies the surface storing the image data to the image conversion process, and the other surface is used for the next frame. This is to repeat the preparation for reception. The CPU reads out the image data in the two input frame buffers subjected to the image conversion process in accordance with the address stored in the pattern memory, and stores it in the output memory.
When images acquired from a plurality of cameras are presented side by side on one screen of a monitor, a part of image data transmitted by the camera is thinned and displayed. In other words, in this case, the image data of the two systems of the VGA size camera is thinned out by the reading process and displayed on the monitor. In order to prevent flickering of the image presented to the driver, the CPU generally displays the display data at the timing when the storage of the presentation data for one frame is completed in the output memory.

特開平11−328368号公報JP-A-11-328368

しかしながら、上記の従来技術では、入力フレームバッファにおいて1フレーム、データを提示するタイミングを入力フレームバッファの面の切り替えに同期させるとすると、出力用メモリで更に1フレームの、計2フレーム遅延することになる。これをテレビの画像信号方式であるNTSC(National Television System Committee)を例に換算すると、66msとなる。これは例えば、本装置にて時速36kmで動く物体を確認する場合、実在の位置と66cmずれて表示されることになる。本装置を、駐車や幅寄せ等の低速領域で使用する場合は多少の遅延が許容できるが、交差点やT字路への進入や車両どうしのすり抜けの場面等で使用する場合は、安全上、より早い処理が求められる。また、発進時、「実際の車両は動いているのにモニタ内画像は止まっている」、停車時、「実際の車両は止まっているのにモニタ内画像は動いている」という実際の車両の動きとモニタ内の画像の不一致が運転者に不快感を与える。このように画像提示の遅延は、車ならではの重要な問題点となる。
本発明は、以上の課題を解決し、その目的は、画像提示の遅延を低減できる車両周囲画像変換装置を提供することにある。
However, in the above-described prior art, if the timing for presenting one frame of data in the input frame buffer is synchronized with the switching of the plane of the input frame buffer, the output memory further delays one frame, that is, two frames. Become. When this is converted to an example of NTSC (National Television System Committee), which is a television image signal system, 66 ms is obtained. For example, when an object that moves at a speed of 36 km / h is confirmed with this apparatus, it is displayed with a deviation of 66 cm from the actual position. When using this device in low-speed areas such as parking and width adjustment, a slight delay can be tolerated, but when using it at an intersection or entering a T-junction or passing through vehicles, Faster processing is required. Also, when starting off, the actual vehicle is moving but the image in the monitor is stopped. When the vehicle is stopped, the actual vehicle is stopped but the image in the monitor is moving. The discrepancy between the movement and the image in the monitor makes the driver uncomfortable. Thus, the delay in image presentation is an important problem unique to cars.
The present invention solves the above-described problems, and an object thereof is to provide a vehicle surrounding image conversion device that can reduce delay in image presentation.

上記課題を解決するために、本発明は、車両の周囲を撮像する単数あるいは複数のカメラから出力される画像信号を画像処理する画像処理部と、書き込みアドレスを格納するパターンメモリと、出力用メモリとを有し、画像処理部から出力される同期信号をトリガに、カメラが画像処理部に対して画像信号を出力し、画像処理部は、カメラからの画像信号の出力にタイミングを合わせ、前記書き込みアドレスを用いて前記画像信号を出力用メモリに書き込むという構成になっている。   In order to solve the above-described problems, the present invention provides an image processing unit that performs image processing on an image signal output from one or a plurality of cameras that capture the surroundings of a vehicle, a pattern memory that stores a write address, and an output memory. The camera outputs an image signal to the image processing unit triggered by the synchronization signal output from the image processing unit, and the image processing unit synchronizes with the output of the image signal from the camera, The image signal is written into the output memory using a write address.

本発明によれば、画像提示の遅延を低減できる車両周囲画像変換装置を提供することができる。   ADVANTAGE OF THE INVENTION According to this invention, the vehicle surrounding image converter which can reduce the delay of image presentation can be provided.

以下、図面を用いて本発明の実施の形態について詳細に説明する。なお、以下で説明する図面で、同一機能を有するものは同一符号を付け、その繰り返しの説明は省略する。
図2は、本発明の実施の形態の車両周囲画像変換装置を説明するための図で、(a)は見通しの悪いT字路における自車両および他車両を上から見た図、(b)は(a)の場合に自車両の車両周囲画像変換装置が備えるモニタが運転者に提示する画像の一例を示す図である。
すなわち、図2(a)に示すように、見通しの悪いT字路において、道路に自車両を進入させる場合に、図2(b)に示すように、自車両の前方左右方向の近距離の状況であるブラインドコーナービューをモニタに提示している様子を示す。図2(a)は、図2(b)の画像を提示するタイミングでの車両状況を上から見た図である。
図2(a)において、11は自車両、12aは自車両11を基準として左方向から直進する他車両、12bは自車両11を基準として右方向から直進する他車両、13aは自車両11の前方左に設置された1個のカメラ(ここでは図示省略。左カメラと称す)により撮像される撮像範囲、13bは自車両11の前方右に設置された1個のカメラ(ここでは図示省略。右カメラと称す)により撮像される撮像範囲である。
図2(b)において、14aは左カメラにより撮像された自車両11の左方向の画像、14bは右カメラにより撮像された自車両11の右方向の画像、12a′は撮像された他車両12aの画像、12b′は撮像された他車両12bの画像、15は左右のブラインドコーナービューをモニタ上で区分けする仕切り線(マスク画像)である。
Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. In the drawings described below, components having the same function are denoted by the same reference numerals, and repeated description thereof is omitted.
2A and 2B are diagrams for explaining the vehicle surrounding image conversion apparatus according to the embodiment of the present invention, in which FIG. 2A is a view of the host vehicle and other vehicles on a T-shaped road with poor visibility, and FIG. FIG. 4 is a diagram illustrating an example of an image presented to a driver by a monitor included in the vehicle surrounding image conversion device of the host vehicle in the case of (a).
That is, as shown in FIG. 2A, when the host vehicle enters a road on a T-shaped road with poor visibility, as shown in FIG. The state that the blind corner view which is the situation is presented on the monitor is shown. FIG. 2A is a top view of the vehicle situation at the timing of presenting the image of FIG.
In FIG. 2A, 11 is the own vehicle, 12a is another vehicle that goes straight from the left direction with reference to the own vehicle 11, 12b is another vehicle that goes straight from the right direction based on the own vehicle 11, and 13a is the own vehicle 11. An imaging range imaged by one camera (not shown here, referred to as a left camera) installed on the left front side, 13b is one camera (not shown here) installed on the front right side of the host vehicle 11. This is an imaging range captured by a right camera).
In FIG. 2B, 14a is a leftward image of the host vehicle 11 captured by the left camera, 14b is a rightward image of the host vehicle 11 captured by the right camera, and 12a 'is the captured other vehicle 12a. , 12b 'is an image of the other vehicle 12b taken, and 15 is a partition line (mask image) that divides the left and right blind corner views on the monitor.

以下、カメラで撮像する画像データの出力分解能と、運転者に提示するモニタの分解能をVGA(640×480画素)サイズを例として、本発明の実施の形態の車両周囲画像変換装置の構成および動作について図面を用いて説明する。
図1は、本発明の実施の形態の車両周囲画像変換装置の構成を示す図である。
図1において、1a、1bは車両の周囲の所定位置に設置され、車両の周囲を撮像する電子式のカメラ、2はCPU(中央演算処理装置)、3a、3bはパターンメモリ、4は出力用メモリ、5はモニタ、10a、10bは画像データ、20は同期信号、40は提示データである。
Hereinafter, the output resolution of the image data captured by the camera and the resolution of the monitor presented to the driver are exemplified by the VGA (640 × 480 pixels) size as an example, and the configuration and operation of the vehicle surrounding image conversion apparatus according to the embodiment of the present invention. Will be described with reference to the drawings.
FIG. 1 is a diagram showing a configuration of a vehicle surrounding image conversion apparatus according to an embodiment of the present invention.
In FIG. 1, 1a and 1b are installed at predetermined positions around the vehicle, an electronic camera for imaging the periphery of the vehicle, 2 is a CPU (Central Processing Unit), 3a and 3b are pattern memories, and 4 is for output. Memory 5 is a monitor, 10a and 10b are image data, 20 is a synchronization signal, and 40 is presentation data.

カメラ1a、1bはCPU2から送出される同期信号20をトリガとして1フレームの画像データ10a、10bの送信を開始する。例えば、カメラ1a、1bとCPU2間の画像伝送方式がNTSCの場合、CPU2は、1フレーム分の時間間隔、すなわち33ms単位で同期信号20を送出することになる。
CPU2は、同期信号20の送出、後述の書き込みアドレス処理、および書き込み処理を制御する。また、カメラ1a、1bの出力分解能(640×480画素)に対応する画素カウンタ(図示省略)を備えている。
パターンメモリ3a、3bは、カメラ1a、1bの数に対応して2個設けられ、かつ、カメラ1a、1bの出力分解能に対応するアドレス空間(640×480画素)をそれぞれ備えている。
出力用メモリ4は、モニタ5の分解能に対応するアドレス空間(640×480画素)を備えるものを2面有している。一方の面は、書き込み処理後の提示データ40の格納用、もう一方の面は、モニタ5への出力処理用である。
The cameras 1a and 1b start transmission of one frame of image data 10a and 10b using the synchronization signal 20 sent from the CPU 2 as a trigger. For example, when the image transmission method between the cameras 1a and 1b and the CPU 2 is NTSC, the CPU 2 sends out the synchronization signal 20 at a time interval of one frame, that is, 33 ms.
The CPU 2 controls transmission of the synchronization signal 20, write address processing, which will be described later, and write processing. In addition, a pixel counter (not shown) corresponding to the output resolution (640 × 480 pixels) of the cameras 1a and 1b is provided.
Two pattern memories 3a and 3b are provided corresponding to the number of cameras 1a and 1b, and each has an address space (640 × 480 pixels) corresponding to the output resolution of the cameras 1a and 1b.
The output memory 4 has two planes having an address space (640 × 480 pixels) corresponding to the resolution of the monitor 5. One side is for storing the presentation data 40 after the writing process, and the other side is for output processing to the monitor 5.

図3は、本実施の形態の車両周囲画像変換装置の動作を示すフローチャートである。
CPU2は、一定周期間隔の同期信号20をカメラ1a、1bに対して送信し続ける。例えば、画像伝送方式としてNTSCを用いた場合は、1フレーム分の時間間隔である33ms周期でトリガ信号として機能する同期信号20を送出することになる。つまり、33ms周期で同期信号20を出力するように、同期用タイマ(図示省略)の制御を開始する(S301)。
なお、複数個のカメラ1a、1bの同期をとる理由は2つある。第1の理由は、カメラが複数個あったとしても同時刻の情報を運転者に提示するためである。第2の理由は、CPU2が書き込みアドレス処理(アドレス変換処理)をする際に、出力した同期信号20に同期して複数のパターンメモリ3a、3bの情報を先頭番地から読みに行けばよいので、これによりCPU2の負荷を低減させるためである。
同期信号20が発生するタイミングと同時に画素カウンタ(640×480画素)は、0にリセットされ、画素カウンタによる制御が開始される(S302)。
画素カウンタは、図1の画像データ10aおよび画像データ10bの受信タイミングと、出力用メモリ4への書き込みタイミングを一致させる目的で備えられ、画素カウンタのカウントアップのタイミングでそれぞれの画像データ10a、10bは、それぞれのパターンメモリ3a、3bに格納される出力用メモリ4の書き込みアドレス(格納先アドレス)へ書き込まれる。画像伝送方式としてNTSCを用いた場合は、1フレームの伝送周期33ms内でカメラ1a、1bの出力分解能分の画像データ10a、10bが送信されるため、カメラ1a、1bの出力分解能がVGAサイズ(640×480画素)の場合は、107ns単位でカウントアップすることになる。
なお、上述した書き込みタイミングは、カメラ1a、1b側で伝送する1画素分の画像データ10a、10bにタイミング信号を重畳させ、CPU2でそれを検知する方法等を適用してもよい。
CPU2は、画素カウンタのカウント値が変化したかどうかを判断する(S303)。
画素カウンタのカウント値が変化したことを検知すると、2系統のカメラ1a、1bから伝送されたそれぞれ1画素分の画像データ10a、10bをパターンメモリ3a、3bに従って出力用メモリ4に格納する(S304)。なお、内部の周波数源(図示省略)により生成したタイミングでカメラ1a、1bから出力される画像データ10a、10bをCPU2に取り込む。ここで、詳細は後で述べるが、指定アドレスが不定の場合、CPU2はスリープモードとなる。
FIG. 3 is a flowchart showing the operation of the vehicle surrounding image conversion apparatus of the present embodiment.
The CPU 2 continues to transmit the synchronization signal 20 at regular intervals to the cameras 1a and 1b. For example, when NTSC is used as the image transmission method, the synchronization signal 20 that functions as a trigger signal is transmitted at a 33 ms period, which is a time interval for one frame. That is, control of a synchronization timer (not shown) is started so that the synchronization signal 20 is output at a cycle of 33 ms (S301).
There are two reasons for synchronizing the plurality of cameras 1a and 1b. The first reason is to present information at the same time to the driver even if there are a plurality of cameras. The second reason is that when the CPU 2 performs write address processing (address conversion processing), it is only necessary to read the information of the plurality of pattern memories 3a and 3b from the top address in synchronization with the output synchronization signal 20. This is to reduce the load on the CPU 2.
Simultaneously with the timing at which the synchronization signal 20 is generated, the pixel counter (640 × 480 pixels) is reset to 0, and control by the pixel counter is started (S302).
The pixel counter is provided for the purpose of making the reception timing of the image data 10a and the image data 10b in FIG. 1 coincide with the writing timing to the output memory 4, and each of the image data 10a, 10b is counted at the timing of counting up the pixel counter. Is written to the write address (storage destination address) of the output memory 4 stored in each of the pattern memories 3a and 3b. When NTSC is used as the image transmission system, the image data 10a and 10b corresponding to the output resolution of the cameras 1a and 1b are transmitted within a transmission period of 33 ms of one frame, so that the output resolution of the cameras 1a and 1b is VGA size ( In the case of 640 × 480 pixels), the count is incremented by 107 ns.
Note that the above-described writing timing may be applied by a method in which a timing signal is superimposed on the image data 10a and 10b for one pixel transmitted on the cameras 1a and 1b and the CPU 2 detects the timing signal.
The CPU 2 determines whether or not the count value of the pixel counter has changed (S303).
When it is detected that the count value of the pixel counter has changed, the image data 10a and 10b for each pixel transmitted from the two cameras 1a and 1b are stored in the output memory 4 according to the pattern memories 3a and 3b (S304). ). Note that image data 10a and 10b output from the cameras 1a and 1b are taken into the CPU 2 at a timing generated by an internal frequency source (not shown). Here, although details will be described later, when the designated address is indefinite, the CPU 2 enters the sleep mode.

次いで、CPU2は、カウンタ値が「640×480−1」と一致するかどうかを判断する(S305)。カウンタ値が「640×480−1」未満の場合は(S303)〜(S305)の書き込み処理を繰り返す。
(S305)において、カウント値が「640×480−1」と一致した場合は、1フレーム分の画像データ10a、10bの伝送完了と同義のため、出力用メモリ4のバンクを切り替え、次のフレームの画像データ10a、10bを新たな面に書き込む。また、書き込みが完了したバンクは、運転者に提示するための処理に回される。なお、出力用メモリ4を2面構成とした理由は、運転者に提示する画像のちらつきを抑えるためである。
Next, the CPU 2 determines whether or not the counter value matches “640 × 480-1” (S305). When the counter value is less than “640 × 480-1”, the writing process of (S303) to (S305) is repeated.
If the count value matches “640 × 480-1” in (S305), it is synonymous with the completion of transmission of the image data 10a and 10b for one frame, so the bank of the output memory 4 is switched to the next frame. The image data 10a and 10b are written on a new surface. In addition, the bank for which writing has been completed is sent to processing for presentation to the driver. The reason why the output memory 4 has a two-surface configuration is to suppress flickering of the image presented to the driver.

図4(a)は、本実施の形態の車両周囲画像変換装置の動作を示す概念図、(b)はそのタイミングチャートである。
前述したようにカメラ1a、1bから出力される2系統の画像データ10a、10bは、(b)のタイミングチャートに示すように同期信号20に同期して、1画素ずつ一定の周期で伝送される。CPU2は、バッファを介さずに順次送達される画像データ10a、10bに前述のような方法でタイミングを合わせ、パターンメモリ3a、3bに従って出力用メモリ4の書き込みアドレス30a、30bに対してそれぞれの画像データ10a、10bを書き込む。すなわち、パターンメモリ3a、3bには、同期信号20に同期して読み出しが開始され、画像データ10a、10bの出力順に読み出し可能な出力用メモリ4の書き込みアドレス30a、30bに格納されており、画像データ10a、10bが出力される毎にパターンメモリ3a、3bから読み出される出力用メモリ4の書き込みアドレス30a、30bに、画像データ10a、10bが格納される(書き込みアドレス処理)。
ここで、図2(b)に示したように、複数のカメラ1a、1bにより撮像された複数の画像を1つのモニタ5に並べて表示させる場合、間引きさせることが一般的に行われるため、全ての画像データ10a、10bのアドレス変換をする必要はない。そこで、提示用データ40として必要でないと判断される画像データ10a、10bに与える書き込みアドレス30a、30bは不定(図中、xx)とし、その間、CPU2はスリープモードとなるように動作する。
すなわち、例えば、画像データ10aから出力されたデータ(12)は、パターンメモリ3aに格納されている出力用メモリ4への書き込みアドレス(03)に基づいて出力用メモリ4の書き込みアドレス(03)に格納される。一方、同時刻に出力された画像データ10bの出力データ(AB)は、パターンメモリ3bに格納された出力用メモリ4への書き込みアドレス(××)に基づき、間引きされる。
また、画像データ10aの出力データ(49)は、パターンメモリ3aに格納されている出力用メモリ4への書き込みアドレス(××)に基づき、間引きされる。一方、同時刻に出力された画像データ10bの出力データ(08)は、パターンメモリ3bに格納された出力用メモリ4への書き込みアドレス(04)に基づいて出力用メモリ4の書き込みアドレス(04)に格納される。
また、画像データ10aの出力データ(6A)は、パターンメモリ3aに格納されている出力用メモリ4への書き込みアドレス(02)に基づいて出力用メモリ4の書き込みアドレス(02)に格納される。一方、同時刻に出力された画像データ10bの出力データ(45)は、パターンメモリ3bに格納された出力用メモリ4への書き込みアドレス(××)に基づき、間引きされる。
さらに、画像データ10aの出力データ(38)は、パターンメモリ3aに格納されている出力用メモリ4への書き込みアドレス(××)に基づき、間引きされる。一方、同時刻に出力された画像データ10bの出力データ(5B)は、パターンメモリ3bに格納された出力用メモリ4への書き込みアドレス(01)に基づいて出力用メモリ4のアドレス(01)に格納される。
このような操作を繰り返して1フレーム分の画像データ10a、10bの伝送を完了し、次いで、2フレーム目の画像データ10a、10bの伝送を引き続き行う。
以上説明したように本実施の形態の車両周囲画像変換装置は、車両の周囲を撮像する複数のカメラ1a、1bと、カメラから出力される画像データ10a、10b(画像信号)を画像処理するCPU(画像処理部)2と、書き込みアドレスを格納するパターンメモリ3a、3bと、出力用メモリ4とを有し、CPU2から出力される同期信号20をトリガに、カメラ1a、1bがCPU2に対して画像データ10a、10bを出力し、CPU2は、カメラ1a、1bからの画像データ10a、10bの出力にタイミングを合わせ、書き込みアドレスを用いて画像データ10a、10bを出力用メモリ4に書き込む(書き込みアドレス処理)という構成になっている。
このように車両の周囲に設置され、同期信号20をトリガとして、画像データ10a、10bをそれぞれ同期に出力する複数のカメラ1a、1bの画像データ10a、10bに対して、書き込みアドレス処理を行うことで入出力遅延を低減させることができる。つまり、上記従来技術と比較してパターンメモリ3a、3bの容量は増加してしまうが、上記従来技術における入力フレームバッファを削除することができ、入出力遅延を低減させることができる。具体的には、2フレームの入出力遅延を1フレームに低減することができる。したがって、車両周囲の環境画像をリアルタイムに近い情報として運転者に提示することができ、安全運転を支援することができる。
なお、本実施の形態では、カメラ1a、1bは複数(2台)設けたが、カメラが3台以上の場合も、また、単数の場合も本発明は適用可能であり、同様の効果を奏することができる。
また、カメラ1a、1bから出力される画像データ10a、10bをCPU2に取り込む、つまり、書き込みアドレス処理を行うタイミングは、内部あるいは外部の周波数源により生成するようになっている。このような構成により、カメラ1a、1bから伝送される画像データ10a、10bを一度バッファに格納することなく、リアルタイムで書き込みアドレス処理をすることができる。なお、このタイミングは、外部の周波数源により生成してもよい。
また、出力用メモリ4は2面を有し、書き込みアドレス処理の結果を出力用メモリ4の片面毎に書き込むようになっている。このような構成により、運転者に提示するモニタ5の画像のちらつきを抑制することができる。
また、パターンメモリ3a、3bをカメラ1a、1bの数に対応して備え、書き込みアドレス処理の際にカメラ1a、1bが出力する画像データ10a、10bに応じて、パターンメモリ3a、3bを切り替えるようになっている。このような構成により、例えばカメラが3機以上あり、モニタ5にカメラ2機分の画像を並べて運転者に提示する場合、その組み合わせを任意に設定することができる。
なお、以上説明した実施の形態は、本発明の理解を容易にするために記載されたものであって、本発明を限定するために記載されたものではない。したがって、上記実施の形態に開示された各要素は、本発明の技術的範囲に属する全ての設計変更や均等物をも含む趣旨である。
FIG. 4A is a conceptual diagram showing the operation of the vehicle surrounding image conversion apparatus of the present embodiment, and FIG. 4B is a timing chart thereof.
As described above, the two systems of image data 10a and 10b output from the cameras 1a and 1b are transmitted at a constant cycle pixel by pixel in synchronization with the synchronization signal 20, as shown in the timing chart of FIG. . The CPU 2 adjusts the timing to the image data 10a and 10b that are sequentially delivered without using the buffer by the method as described above, and the respective images corresponding to the write addresses 30a and 30b of the output memory 4 according to the pattern memories 3a and 3b. Data 10a and 10b are written. That is, reading is started in the pattern memories 3a and 3b in synchronization with the synchronization signal 20, and stored in the write addresses 30a and 30b of the output memory 4 which can be read in the output order of the image data 10a and 10b. The image data 10a and 10b are stored in the write addresses 30a and 30b of the output memory 4 read from the pattern memories 3a and 3b each time the data 10a and 10b are output (write address processing).
Here, as shown in FIG. 2 (b), when a plurality of images taken by a plurality of cameras 1a and 1b are displayed side by side on one monitor 5, thinning is generally performed. It is not necessary to perform address conversion of the image data 10a and 10b. Therefore, the write addresses 30a and 30b given to the image data 10a and 10b determined to be unnecessary as the presentation data 40 are indefinite (xx in the figure), and during that time, the CPU 2 operates to enter the sleep mode.
That is, for example, the data (12) output from the image data 10a is set to the write address (03) of the output memory 4 based on the write address (03) to the output memory 4 stored in the pattern memory 3a. Stored. On the other hand, the output data (AB) of the image data 10b output at the same time is thinned based on the write address (xx) to the output memory 4 stored in the pattern memory 3b.
The output data (49) of the image data 10a is thinned out based on the write address (xx) to the output memory 4 stored in the pattern memory 3a. On the other hand, the output data (08) of the image data 10b output at the same time is the write address (04) of the output memory 4 based on the write address (04) to the output memory 4 stored in the pattern memory 3b. Stored in
The output data (6A) of the image data 10a is stored in the write address (02) of the output memory 4 based on the write address (02) to the output memory 4 stored in the pattern memory 3a. On the other hand, the output data (45) of the image data 10b output at the same time is thinned based on the write address (xx) to the output memory 4 stored in the pattern memory 3b.
Further, the output data (38) of the image data 10a is thinned out based on the write address (xx) to the output memory 4 stored in the pattern memory 3a. On the other hand, the output data (5B) of the image data 10b output at the same time is transferred to the address (01) of the output memory 4 based on the write address (01) to the output memory 4 stored in the pattern memory 3b. Stored.
Such operations are repeated to complete the transmission of the image data 10a and 10b for one frame, and then the transmission of the image data 10a and 10b for the second frame is continued.
As described above, the vehicle surrounding image conversion apparatus according to the present embodiment is a CPU that performs image processing on a plurality of cameras 1a and 1b that capture the surroundings of the vehicle and the image data 10a and 10b (image signals) output from the cameras. (Image processing unit) 2, pattern memories 3 a and 3 b for storing write addresses, and output memory 4, and the cameras 1 a and 1 b are connected to the CPU 2 by using a synchronization signal 20 output from the CPU 2 as a trigger. The CPU 2 outputs the image data 10a and 10b, and the CPU 2 writes the image data 10a and 10b in the output memory 4 using the write address in synchronization with the output of the image data 10a and 10b from the cameras 1a and 1b (write address). Processing).
In this way, write address processing is performed on the image data 10a and 10b of the plurality of cameras 1a and 1b that are installed around the vehicle and output the image data 10a and 10b in synchronization using the synchronization signal 20 as a trigger. Can reduce the input / output delay. That is, the capacity of the pattern memories 3a and 3b is increased as compared with the conventional technique, but the input frame buffer in the conventional technique can be deleted, and the input / output delay can be reduced. Specifically, the input / output delay of 2 frames can be reduced to 1 frame. Therefore, the environment image around the vehicle can be presented to the driver as information close to real time, and safe driving can be supported.
In the present embodiment, a plurality (two) of cameras 1a and 1b are provided. However, the present invention can be applied to a case where there are three or more cameras and a single camera, and the same effects can be obtained. be able to.
Further, the image data 10a and 10b output from the cameras 1a and 1b are taken into the CPU 2, that is, the timing for performing the write address processing is generated by an internal or external frequency source. With such a configuration, it is possible to perform write address processing in real time without once storing the image data 10a, 10b transmitted from the cameras 1a, 1b in the buffer. This timing may be generated by an external frequency source.
The output memory 4 has two surfaces, and the result of the write address process is written on each surface of the output memory 4. With such a configuration, flickering of the image of the monitor 5 presented to the driver can be suppressed.
Also, pattern memories 3a and 3b are provided corresponding to the number of cameras 1a and 1b, and the pattern memories 3a and 3b are switched according to the image data 10a and 10b output from the cameras 1a and 1b during the write address processing. It has become. With such a configuration, for example, when there are three or more cameras and images for two cameras are arranged on the monitor 5 and presented to the driver, the combination can be arbitrarily set.
The embodiment described above is described in order to facilitate understanding of the present invention, and is not described in order to limit the present invention. Therefore, each element disclosed in the above embodiment includes all design changes and equivalents belonging to the technical scope of the present invention.

本発明の実施の形態の車両周囲画像変換装置の構成を示す図である。It is a figure which shows the structure of the vehicle surrounding image conversion apparatus of embodiment of this invention. (a)は本発明の実施の形態の車両周囲画像変換装置において、見通しの悪いT字路における自車両および他車両を上から見た図、(b)は(a)の場合に自車両の車両周囲画像変換装置が備えるモニタが運転者に提示する画像の一例を示す図である。(A) is the figure which looked at the own vehicle and other vehicles in the T-shaped road with a bad view from the top in the vehicle surrounding image conversion apparatus of embodiment of this invention, (b) is a figure of the own vehicle in the case of (a). It is a figure which shows an example of the image which a monitor with which a vehicle surrounding image conversion apparatus is provided presents to a driver. 本実施の形態の車両周囲画像変換装置の動作を示すフローチャートである。It is a flowchart which shows operation | movement of the vehicle surrounding image conversion apparatus of this Embodiment. (a)は、本実施の形態の車両周囲画像変換装置の動作を示す概念図、(b)はそのタイミングチャートである。(A) is a conceptual diagram which shows operation | movement of the vehicle surrounding image conversion apparatus of this Embodiment, (b) is the timing chart.

符号の説明Explanation of symbols

1a、1b…カメラ、2…CPU、3a、3b…パターンメモリ、4…出力用メモリ、5…モニタ、10a、10b…画像データ、11…自車両、12a、12b…他車両、12a′、12b′…他車両の画像、13a、13b…撮像範囲、14a、14b…画像、15…仕切り線、20…同期信号、40…提示データ。   DESCRIPTION OF SYMBOLS 1a, 1b ... Camera, 2 ... CPU, 3a, 3b ... Pattern memory, 4 ... Output memory, 5 ... Monitor, 10a, 10b ... Image data, 11 ... Own vehicle, 12a, 12b ... Other vehicles, 12a ', 12b '... Images of other vehicles, 13a, 13b ... Imaging range, 14a, 14b ... Images, 15 ... Partition line, 20 ... Synchronization signal, 40 ... Presentation data.

Claims (4)

車両の周囲を撮像する単数あるいは複数のカメラと、
前記カメラから出力される画像信号を画像処理する画像処理部と、
書き込みアドレスを格納するパターンメモリと、
出力用メモリとを有し、
前記画像処理部から出力される同期信号をトリガに、前記カメラが前記画像処理部に対して前記画像信号を出力し、
前記画像処理部は、前記カメラからの前記画像信号の出力にタイミングを合わせ、前記書き込みアドレスを用いて前記画像信号を前記出力用メモリに書き込むことを特徴とする車両周囲画像変換装置。
One or more cameras that image the surroundings of the vehicle;
An image processing unit that performs image processing on an image signal output from the camera;
A pattern memory to store the write address;
Output memory,
Using the synchronization signal output from the image processing unit as a trigger, the camera outputs the image signal to the image processing unit,
The vehicle image conversion device, wherein the image processing unit synchronizes with the output of the image signal from the camera and writes the image signal into the output memory using the write address.
前記タイミングを内部あるいは外部の周波数源により生成することを特徴とする請求項1記載の車両周囲画像変換装置。   2. The vehicle surrounding image conversion apparatus according to claim 1, wherein the timing is generated by an internal or external frequency source. 前記出力用メモリは2面を有し、前記書き込みアドレス処理の結果を前記出力用メモリの片面毎に書き込むことを特徴とする請求項1または2記載の車両周囲画像変換装置。   3. The vehicle surrounding image conversion device according to claim 1, wherein the output memory has two surfaces, and the result of the write address processing is written for each surface of the output memory. 前記パターンメモリを前記カメラの数に対応して備え、
前記書き込みアドレス処理の際に前記カメラが出力する前記画像信号に応じて、前記パターンメモリを切り替えることを特徴とする請求項1ないし3のいずれか記載の車両周囲画像変換装置。
The pattern memory is provided corresponding to the number of the cameras,
4. The vehicle surrounding image conversion device according to claim 1, wherein the pattern memory is switched in accordance with the image signal output by the camera during the write address process.
JP2003352278A 2003-10-10 2003-10-10 Vehicle surrounding image conversion device Pending JP2005117554A (en)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2003352278A JP2005117554A (en) 2003-10-10 2003-10-10 Vehicle surrounding image conversion device
US10/959,219 US7868913B2 (en) 2003-10-10 2004-10-07 Apparatus for converting images of vehicle surroundings

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003352278A JP2005117554A (en) 2003-10-10 2003-10-10 Vehicle surrounding image conversion device

Publications (1)

Publication Number Publication Date
JP2005117554A true JP2005117554A (en) 2005-04-28

Family

ID=34543265

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003352278A Pending JP2005117554A (en) 2003-10-10 2003-10-10 Vehicle surrounding image conversion device

Country Status (1)

Country Link
JP (1) JP2005117554A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049513A (en) * 2005-08-11 2007-02-22 Alpine Electronics Inc Communication device between vehicles, communication system between vehicles, and method for discriminating whether or not animation information is applicable
WO2015151523A1 (en) * 2014-04-03 2015-10-08 パナソニックIpマネジメント株式会社 Rear-view verification device, and automobile equipped with same
WO2020250520A1 (en) 2019-06-14 2020-12-17 マツダ株式会社 Outside environment recognition device

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007049513A (en) * 2005-08-11 2007-02-22 Alpine Electronics Inc Communication device between vehicles, communication system between vehicles, and method for discriminating whether or not animation information is applicable
WO2015151523A1 (en) * 2014-04-03 2015-10-08 パナソニックIpマネジメント株式会社 Rear-view verification device, and automobile equipped with same
WO2015151522A1 (en) * 2014-04-03 2015-10-08 パナソニックIpマネジメント株式会社 Rear-view verification device, and automobile equipped with same
JPWO2015151523A1 (en) * 2014-04-03 2017-04-13 パナソニックIpマネジメント株式会社 Rear view confirmation device and car equipped with it
JPWO2015151522A1 (en) * 2014-04-03 2017-04-13 パナソニックIpマネジメント株式会社 Rear view confirmation device and car equipped with it
EP3128747A4 (en) * 2014-04-03 2017-05-03 Panasonic Intellectual Property Management Co., Ltd. Rear-view verification device, and automobile equipped with same
WO2020250520A1 (en) 2019-06-14 2020-12-17 マツダ株式会社 Outside environment recognition device
US11961307B2 (en) 2019-06-14 2024-04-16 Mazda Motor Corporation Outside environment recognition device

Similar Documents

Publication Publication Date Title
US10462372B2 (en) Imaging device, imaging system, and imaging method
CN101263548B (en) Image transmission device and display system using the same
JP5159070B2 (en) Vehicle periphery image display device and display method
US7986371B2 (en) Video signal processing device, method of the same and vehicle-mounted camera system
CN108819895A (en) A kind of vehicle-mounted panoramic image system
JP5064201B2 (en) Image display system and camera output control method
JP4556502B2 (en) Video converter
JP2008506295A (en) Method and system for displaying a series of image frames
CN110933382A (en) Vehicle-mounted video image picture-in-picture display method based on FPGA
CN115883985A (en) Image processing system, mobile body, image processing method and storage medium
CN101390040A (en) Device and method for outputting different images on at least two displays
WO2023216618A1 (en) Operation method for vehicle-mounted display system, and vehicle-mounted display system
US7868913B2 (en) Apparatus for converting images of vehicle surroundings
CN111572450B (en) Image processing apparatus, in-vehicle camera system, and image processing method
JP2005117554A (en) Vehicle surrounding image conversion device
JP4655473B2 (en) Vehicle surrounding image conversion device
JP3384659B2 (en) Reduced video signal processing circuit
JP2006301724A (en) Memory controller, image processing controller, and electronic device
JPH1153528A (en) Digital image processor and digital image processing method
CN119211446B (en) Image data transmission method and system
JP2004343642A (en) Superimposing device for vehicle
JP5321799B2 (en) A system including a microcomputer
JP3444091B2 (en) Video data display method
JP3985451B2 (en) Image processing apparatus and image display apparatus
JP2025103125A (en) Circuit device and display system

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060925

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20090708

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090714

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090909

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091006