[go: up one dir, main page]

JP2010061304A - Vehicular distance image data generation device - Google Patents

Vehicular distance image data generation device Download PDF

Info

Publication number
JP2010061304A
JP2010061304A JP2008225159A JP2008225159A JP2010061304A JP 2010061304 A JP2010061304 A JP 2010061304A JP 2008225159 A JP2008225159 A JP 2008225159A JP 2008225159 A JP2008225159 A JP 2008225159A JP 2010061304 A JP2010061304 A JP 2010061304A
Authority
JP
Japan
Prior art keywords
distance
light
image data
imaging
light distribution
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2008225159A
Other languages
Japanese (ja)
Inventor
Yoshihiro Edamoto
吉広 枝本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Marelli Corp
Original Assignee
Calsonic Kansei Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Calsonic Kansei Corp filed Critical Calsonic Kansei Corp
Priority to JP2008225159A priority Critical patent/JP2010061304A/en
Publication of JP2010061304A publication Critical patent/JP2010061304A/en
Pending legal-status Critical Current

Links

Landscapes

  • Photo Coupler, Interrupter, Optical-To-Optical Conversion Devices (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】 自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置を提供すること。
【解決手段】 投光器5は、異なる配光角度のレンズ51〜53を備えた複数の近赤外線LED5aを備えて配光角度に合わせて点灯、消灯を行うようにし、タイミングコントローラ9は、ターゲット距離に基づいて、投光器5の異なる配光角度のレンズ51〜53を備えた複数の近赤外線LED5aの点灯、消灯により、ステップS11〜S16の処理で、配光角度を変更させた。
【選択図】 図1
PROBLEM TO BE SOLVED: To provide a vehicular distance image data generation device capable of continuously grasping a situation in front of a host vehicle.
A projector 5 includes a plurality of near-infrared LEDs 5a including lenses 51 to 53 having different light distribution angles so as to be turned on and off according to the light distribution angle. Based on the lighting and extinguishing of the plurality of near-infrared LEDs 5a including the lenses 51 to 53 having different light distribution angles of the light projector 5, the light distribution angle was changed in the processing of steps S11 to S16.
[Selection] Figure 1

Description

本発明は、車両用距離画像データ生成装置の技術分野に属する。   The present invention belongs to the technical field of a vehicle distance image data generation device.

特許文献1には、自車両前方を投光し、ターゲット距離から戻ってくる反射光のタイミングに合わせて撮像した画像に基づいて、当該ターゲット距離に障害物等の物体が存在するか否かを検出する技術が開示されている。
米国特許第6700123号明細書
In Patent Literature 1, whether or not an object such as an obstacle exists at the target distance is based on an image that is projected in accordance with the timing of reflected light that is projected in front of the host vehicle and returned from the target distance. Techniques for detection are disclosed.
US Pat. No. 6,732,123

しかしながら、上記従来技術にあっては、ターゲット距離以外の物体を検出できない。つまり、状況の把握が間欠的であり、自車両前方の状況を連続的に把握できないという問題があった。   However, in the above prior art, objects other than the target distance cannot be detected. That is, there is a problem that the situation is intermittently grasped and the situation ahead of the host vehicle cannot be grasped continuously.

本発明の目的は、自車両前方の状況を連続的に把握できる車両用距離画像データ生成装置を提供することにある。   An object of the present invention is to provide a vehicular distance image data generation apparatus that can continuously grasp the situation ahead of the host vehicle.

上記目的を達成するため、本発明の車両用距離画像データ生成装置では、自車両前方に所定周期でパルス光を投光する投光手段と、ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、を備え、前記投光手段は、異なる配光角度に切り換えて投光を行う切換手段を備え、前記タイミング制御手段は、前記ターゲット距離に基づいて、前記投光手段の前記切換手段に配光角度を変更させる、ことを特徴とする。   In order to achieve the above object, in the vehicle distance image data generation device of the present invention, a light projecting unit that projects pulsed light in front of the host vehicle at a predetermined cycle, and an imaging timing set according to the target distance. Imaging means for imaging reflected light returning from the distance, timing control means for controlling the imaging timing so that the target distance changes continuously, and a plurality of imagings with different target distances obtained by the imaging means Distance image data generating means for generating distance image data representing the distance to the object for each pixel based on the luminance of the same pixel in the image, and the light projecting means switches to a different light distribution angle and projects light The timing control means changes the light distribution angle to the switching means of the light projecting means based on the target distance. To, characterized in that.

よって、本発明にあっては、自車両前方の状況を連続的に把握できる。   Therefore, in this invention, the situation ahead of the own vehicle can be grasped | ascertained continuously.

以下、本発明の車両用距離画像データ生成装置を実現するための最良の形態を、図面に基づく実施例により説明する。   DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The best mode for realizing a vehicular distance image data generating apparatus according to the present invention will be described below with reference to the drawings.

まず、構成を説明する。
図1は、本発明の車両用距離画像データ生成装置を適用した実施例1の障害物検出装置1の構成を示すブロック図であり、実施例1の障害物検出装置1は、距離画像データ生成装置2と、物体認識処理部3と、判断部4とを備えている。
First, the configuration will be described.
FIG. 1 is a block diagram illustrating a configuration of an obstacle detection apparatus 1 according to a first embodiment to which the vehicle distance image data generation apparatus according to the present invention is applied. A device 2, an object recognition processing unit 3, and a determination unit 4 are provided.

距離画像データ生成装置2は、投光器(投光手段)5と、対物レンズ6と、光倍増部7と、高速度カメラ(撮像手段)8と、タイミングコントローラ(タイミング制御手段)9と、画像処理部(距離画像データ生成手段)10とを備えている。
投光器5は、車両の前端部に配置した近赤外線LED5a(レンズと発光部を構成する)であり、タイミングコントローラ9から出力されるパルス信号に応じて、所定の投光時間tL(例えば、5ns)の間、パルス光を出力する。パルス信号の周期は、投光器5の投光周期tPであり、投光周期tPは、例えば、1/100s以下の間隔とする。投光器5の詳細については後述する。
対物レンズ6は、物体からの反射光を受光するためのもので、投光器5と隣接配置している。例えば、自車両前方の所定範囲を撮像できる画角とするように設定された光学系である。
The distance image data generation device 2 includes a projector (projecting unit) 5, an objective lens 6, a light doubling unit 7, a high-speed camera (imaging unit) 8, a timing controller (timing control unit) 9, and image processing. Unit (distance image data generating means) 10.
The projector 5 is a near-infrared LED 5a (which constitutes a lens and a light emitting unit) disposed at the front end of the vehicle, and according to a pulse signal output from the timing controller 9, a predetermined projection time tL (for example, 5 ns). During this period, pulse light is output. The cycle of the pulse signal is the projection cycle tP of the projector 5, and the projection cycle tP is, for example, an interval of 1/100 s or less. Details of the projector 5 will be described later.
The objective lens 6 is for receiving reflected light from an object, and is disposed adjacent to the projector 5. For example, the optical system is set to have an angle of view capable of capturing a predetermined range in front of the host vehicle.

光倍増部7は、ゲート7aとイメージインテンシファイア7bとを備えている。
ゲート7aは、タイミングコントローラ9からの開閉指令信号に応じて開閉する。ここで、実施例1では、ゲート7aの開時間(ゲート時間)tGを、投光時間tLと同じ5nsとしている。ここで、ゲート時間tGは、撮像エリア(ターゲット距離)の撮像対象幅に相当し、ゲート時間tGを長くするほど撮像エリアの撮像対象幅は長くなる。実施例1では、ゲート時間tG=5nsとしているため、撮像対象幅は、光速度(約3×108m/s)×ゲート時間(5ns)から、1.5mとなる。
The light multiplication unit 7 includes a gate 7a and an image intensifier 7b.
The gate 7a opens and closes in response to an opening / closing command signal from the timing controller 9. Here, in Example 1, the opening time (gate time) tG of the gate 7a is set to 5 ns, which is the same as the light projection time tL. Here, the gate time tG corresponds to the imaging target width of the imaging area (target distance). The longer the gate time tG, the longer the imaging target width of the imaging area. In the first embodiment, since the gate time tG = 5 ns, the imaging target width is 1.5 m from the speed of light (about 3 × 10 8 m / s) × gate time (5 ns).

イメージインテンシファイア7bは、極微弱な光(物体からの反射光等)を一旦電子に変換して電気的に増幅し、再度蛍光像に戻すことで光量を倍増してコントラストのついた像を見るデバイスである。イメージインテンシファイア7bの光電面より光電現象によって打ち出された光電子はkVオーダーの高電圧で加速され、陽極側の蛍光面に打ち込まれることにより、100倍以上の光子数の蛍光を発する。蛍光面で発生した蛍光は、ファイバオプティックプレートにより、そのままの位置関係を保ったまま散乱されることなく高速度カメラ8のイメージセンサに導かれる。
高速度カメラ8は、タイミングコントローラ9からの指令信号に応じて、光倍増部7から発せられた像を撮像し、撮像画像(カラー画像)を画像処理部10へ出力する。実施例1では、解像度640×480(横:縦)、輝度値1〜255(256段階)、100fps以上のカメラを用いている。
The image intensifier 7b temporarily converts extremely weak light (reflected light from an object, etc.) into electrons and then electrically amplifies it, and returns it to a fluorescent image again to double the amount of light and to produce an image with contrast. It is a viewing device. Photoelectrons launched from the photocathode of the image intensifier 7b by a photoelectric phenomenon are accelerated at a high voltage of the order of kV, and are emitted into the phosphor screen on the anode side, thereby emitting fluorescence having a photon number of 100 times or more. The fluorescence generated on the phosphor screen is guided to the image sensor of the high-speed camera 8 by the fiber optic plate without being scattered while maintaining the same positional relationship.
The high-speed camera 8 captures an image emitted from the light doubling unit 7 in response to a command signal from the timing controller 9 and outputs a captured image (color image) to the image processing unit 10. In the first embodiment, a camera having a resolution of 640 × 480 (horizontal: vertical), a luminance value of 1 to 255 (256 levels), and 100 fps or more is used.

タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、投光器5の投光開始時点からゲート7aを開くまでの時間であるディレイ時間tDを設定し、ディレイ時間に応じた開閉指令信号を出力することで、撮像タイミングを制御する。つまり、ディレイ時間tDは、自車両から撮像エリアまでの距離(撮像対象距離)を決める値であり、ディレイ時間tDと撮像対象距離との関係は、以下の式となる。
撮像対象距離=光速度(約3×108m/s)×ディレイ時間tD/2
図2に、1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す。
The timing controller 9 is the time from the light projection start time of the projector 5 until the gate 7a is opened so that the captured image captured by the high-speed camera 8 is the timing of the reflected light returning from the target imaging area. The imaging timing is controlled by setting a certain delay time tD and outputting an open / close command signal corresponding to the delay time. That is, the delay time tD is a value that determines the distance from the host vehicle to the imaging area (imaging target distance), and the relationship between the delay time tD and the imaging target distance is as follows.
Imaging distance = speed of light (approx. 3 x 10 8 m / s) x delay time tD / 2
FIG. 2 shows a temporal relationship between the operation of the projector 5 (light projection operation) and the operation of the gate 7a (camera gate operation) when imaging one imaging area.

タイミングコントローラ9は、撮像エリアが車両手前側から先方へと連続的に移動するように、ディレイ時間tDを所定間隔(例えば、10ns)ずつ長くすることで、高速度カメラ8の撮像範囲を車両前方側へ変化させる。なお、タイミングコントローラ9は、ゲート7aが開く直前に高速度カメラ8の撮像動作を開始させ、ゲート7aが完全に閉じた後に撮像動作を終了させる。但し、実施例1では、タイミングコントローラ9は、撮像対象距離(ターゲット距離)に応じて、予め多重露光回数を設定しておき、このデータを読み出して、ある一つの撮像対象距離における撮像が所定回数の投光動作とゲート7aの開閉動作で構成されるようにする。そのため、設定された所定回数が複数回の場合は、複数回の投光動作とゲート7aの開閉動作後に撮像動作を終了させることになる。   The timing controller 9 increases the imaging range of the high-speed camera 8 by increasing the delay time tD by a predetermined interval (for example, 10 ns) so that the imaging area continuously moves from the front side of the vehicle to the front side. Change to the side. The timing controller 9 starts the imaging operation of the high-speed camera 8 immediately before the gate 7a is opened, and ends the imaging operation after the gate 7a is completely closed. However, in the first embodiment, the timing controller 9 sets the number of multiple exposures in advance according to the imaging target distance (target distance), reads this data, and performs imaging at a certain imaging target distance a predetermined number of times. And the opening / closing operation of the gate 7a. Therefore, when the predetermined number of times set is a plurality of times, the imaging operation is terminated after a plurality of light projection operations and the opening / closing operation of the gate 7a.

また、実施例1では、図3に示すように、撮像対象距離をB1→B2→B3→…と連続的に変化させながら撮像する際、撮像エリアの撮像対象幅Aよりも撮像対象距離の増加量(B2-B1)を短くすることで、撮像エリアの一部がオーバーラップしながら変化するように撮像対象距離の増加量を設定している。   Further, in the first embodiment, as illustrated in FIG. 3, when the imaging target distance is continuously changed from B1 → B2 → B3 →..., The imaging target distance is increased more than the imaging target width A of the imaging area. By increasing the amount (B2-B1), the increase amount of the imaging target distance is set so that a part of the imaging area changes while overlapping.

図4は、撮像対象距離の増加量を極限まで小さくした場合、言い換えると、撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図であり、撮像エリアの一部をオーバーラップさせることで、連続する複数の撮像画像における同一の画素の輝度値は、徐々に増加し、ピーク後は徐々に小さくなる特性となる。なお、実際には撮像エリアは有限個(1〜n)であるが、連続する撮像エリアの一部をオーバーラップさせることで、時間的な輝度変化は図4の特性に近くなる。   FIG. 4 is a schematic diagram showing temporal luminance changes when the amount of increase in the imaging target distance is reduced to the limit, in other words, when imaging is performed with an infinite increase in the imaging area. By overlapping each other, the luminance value of the same pixel in a plurality of consecutive captured images gradually increases, and after the peak, the luminance value gradually decreases. In practice, the number of imaging areas is limited (1 to n), but by overlapping a part of continuous imaging areas, the temporal luminance change becomes close to the characteristics of FIG.

タイミングコントローラ9は、1フレーム分、すなわち、設定された所定範囲(エリア1、エリア2、…、エリアn)の撮像画像が全て撮像された場合、画像処理部10に対し画像処理指令信号を出力する。   The timing controller 9 outputs an image processing command signal to the image processing unit 10 when all the captured images for one frame, that is, the set predetermined range (area 1, area 2,..., Area n) are captured. To do.

画像処理部10は、高速度カメラ8により撮像された1フレーム分の撮像画像(撮像画素)から、距離情報を色や輝度等で表す距離画像データを生成し、生成した距離画像データを物体認識処理部3へ出力する。   The image processing unit 10 generates distance image data representing distance information by color, luminance, and the like from one frame of captured images (imaging pixels) captured by the high-speed camera 8, and object recognition is performed on the generated distance image data. Output to the processing unit 3.

物体認識処理部3は、距離画像データに含まれる物体に対して、画像処理、例えば、ラベリング、パターンマッチング等により距離画像データに含まれる物体を特定する。
判断部4は、物体認識処理部3により特定された物体(人、自動車、標識等)と自車両との関係(距離、相対速度等)に基づいて、警報等による運転者への情報提示、自動ブレーキ等の車両制御の要否を判断する。
The object recognition processing unit 3 identifies an object included in the distance image data by performing image processing, for example, labeling, pattern matching, or the like on the object included in the distance image data.
Based on the relationship (distance, relative speed, etc.) between the object (person, car, sign, etc.) identified by the object recognition processing unit 3 and the host vehicle, the determination unit 4 presents information to the driver by an alarm, Determine whether vehicle control such as automatic braking is necessary.

図5は実施例1の距離画像データ生成装置の投光器の説明図である。
投光器5に設けられる近赤外線LED5aは、図5(b)に示すように、その出力部分にレンズ51〜53が取り付けられる配置となる。
そして、レンズ51は配光角度30度のレンズであり、レンズ52は配光角度15度のレンズであり、レンズ53は配光角度10度のレンズである。
このレンズ51〜53は、図5(a)に示すように、投光器5の前面に配置される。その配置は、中央に14個のレンズ53が配置され、その左右両側に各4個のレンズ52が配置され、さらにその左右両側に各1個のレンズ51が配置される。なお、レンズ51〜53は、全体を千鳥配置としている。
また、レンズ51〜53の個数、レンズ配光角度は、実際の配光特性から最適化を行うのが好ましい。
FIG. 5 is an explanatory diagram of a projector of the distance image data generation device according to the first embodiment.
As shown in FIG. 5B, the near-infrared LED 5a provided in the projector 5 has an arrangement in which lenses 51 to 53 are attached to the output portion thereof.
The lens 51 is a lens with a light distribution angle of 30 degrees, the lens 52 is a lens with a light distribution angle of 15 degrees, and the lens 53 is a lens with a light distribution angle of 10 degrees.
The lenses 51 to 53 are disposed on the front surface of the projector 5 as shown in FIG. In the arrangement, 14 lenses 53 are arranged in the center, 4 lenses 52 are arranged on both the left and right sides, and one lens 51 is arranged on both the left and right sides. The entire lenses 51 to 53 are arranged in a staggered manner.
Further, the number of lenses 51 to 53 and the lens light distribution angle are preferably optimized based on actual light distribution characteristics.

なお、実施例1では、例として、配光角度30度のレンズ51は、近赤外線LED5aの左右の配光幅が中央から片側4mとなる距離が15m前方位置となるものとする。そして、レンズ51が取り付けられる近赤外線LED5aを近距離用の近赤外線LED5aとする。
また、例としては、配光角度15度のレンズ52は、近赤外線LED5aの左右の配光幅が中央から片側4mとなる距離が30m前方位置となるものとする。そして、レンズ52が取り付けられる近赤外線LED5aを中距離用の近赤外線LED5aとする。
また、例としては、配光角度10度のレンズ53は、禁赤外線LED5aの左右の配光幅が中央から片側4mとなる距離が45m前方位置となるものとする。そして、レンズ52が取り付けられる近赤外線LED5aを遠距離用の近赤外線LED5aとする。
In the first embodiment, as an example, the lens 51 with a light distribution angle of 30 degrees is assumed to be 15 m forward from the center where the left and right light distribution width of the near-infrared LED 5a is 4 m from one side. The near infrared LED 5a to which the lens 51 is attached is referred to as a near infrared LED 5a for short distance.
Further, as an example, in the lens 52 with a light distribution angle of 15 degrees, the distance at which the left and right light distribution width of the near-infrared LED 5a is 4 m from one side is 30 m forward. The near-infrared LED 5a to which the lens 52 is attached is referred to as a mid-range near-infrared LED 5a.
Further, as an example, in the lens 53 with a light distribution angle of 10 degrees, the distance at which the left and right light distribution widths of the forbidden infrared LEDs 5a are 4 m from the center is 45 m forward. The near-infrared LED 5a to which the lens 52 is attached is a long-distance near-infrared LED 5a.

[距離画像データ生成制御処理]
図6は、実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。なお、この処理は、所定の演算周期で繰り返し実行される。
[Distance image data generation control processing]
FIG. 6 is a flowchart illustrating the flow of the distance image data generation control process executed by the image processing unit 10 according to the first embodiment. Each step will be described below. This process is repeatedly executed at a predetermined calculation cycle.

ステップS1では、画像処理部10が、投光器5による投光を行わずに自車両前方を撮像した撮像画像の最も輝度の低い輝度値データを後の輝度判断のために記憶し、ステップS2へ移行する。このデータは、距離画像データ生成の際に用いるものとする。   In step S1, the image processing unit 10 stores the luminance value data having the lowest luminance of the captured image obtained by imaging the front of the host vehicle without performing the light projection by the projector 5 for later luminance determination, and proceeds to step S2. To do. This data is used when generating the distance image data.

ステップS2では、画像処理部10が、撮像画像を入力し、ステップS3へと移行する。なお、実施例1においては、入力される撮像画像は、撮像する距離範囲に応じて予め設定された多重露光回数により複数回撮像された画像となる。詳細は後述する。   In step S2, the image processing unit 10 inputs a captured image, and proceeds to step S3. In the first embodiment, the input captured image is an image captured a plurality of times with the number of multiple exposures set in advance according to the distance range to be captured. Details will be described later.

ステップS3では、画像処理部10が、1フレーム分(エリア1、エリア2、…、エリアn)の画像入力が終了したか否かを判定する。YESの場合にはステップS4へ移行し、NOの場合にはステップS2へ移行する。   In step S3, the image processing unit 10 determines whether image input for one frame (area 1, area 2,..., Area n) has been completed. If YES, the process proceeds to step S4. If NO, the process proceeds to step S2.

ステップS4では、色や輝度により距離情報を伴う画像として、距離画像データを生成し、リターンへ移行する。   In step S4, distance image data is generated as an image with distance information by color and brightness, and the process proceeds to return.

[投光距離制御処理]
図7は、実施例1のタイミングコントローラ9で実行される投光器5の投光距離制御処理の流れを示すフローチャートで、以下、各ステップについて説明する。
なお、以下の処理では、撮像エリアスキャンの撮像対象距離を近距離、中距離、遠距離の3つの範囲に分け、その境界距離をX1,X2とする。
[Projection distance control processing]
FIG. 7 is a flowchart showing the flow of the projection distance control process of the projector 5 executed by the timing controller 9 of the first embodiment, and each step will be described below.
In the following processing, the imaging target distance of the imaging area scan is divided into three ranges of short distance, medium distance, and long distance, and the boundary distances are X1 and X2.

ステップS11では、タイミングコントローラ9が、撮像を行う際の撮像対象距離Xが、距離X1以下かどうかを判断し、距離X1以下ならばステップS12へ進み、距離X1を超えるならばステップS13へ進む。   In step S11, the timing controller 9 determines whether or not the imaging target distance X at the time of imaging is the distance X1 or less. If the distance is less than the distance X1, the process proceeds to step S12, and if it exceeds the distance X1, the process proceeds to step S13.

ステップS12では、タイミングコントローラ9が、配光角度が30度のレンズ51が取り付けられた近距離用の近赤外線LED5aを投光に用いるようにし、ステップS17へ進む。   In step S12, the timing controller 9 uses the near-infrared LED 5a for short distance to which the lens 51 having a light distribution angle of 30 degrees is attached for light projection, and the process proceeds to step S17.

ステップS13では、タイミングコントローラ9が、撮像を行う際の撮像対象距離Xが、距離X1を超え、且つ距離X2以下の範囲内かどうかを判断し、この範囲内ならばステップS14へ進み、範囲外ならばステップS15へ進む。   In step S13, the timing controller 9 determines whether or not the imaging target distance X at the time of imaging is within the range of the distance X1 and the distance X2 or less. If it is within this range, the process proceeds to step S14. If so, the process proceeds to step S15.

ステップS14では、タイミングコントローラ9が、配光角度が30度のレンズ51が取り付けられた近距離用の近赤外線LED5a、及び配光角度が15度のレンズ52が取り付けられた中距離の近赤外線LED5aを投光に用いるようにし、ステップS17へ進む。   In step S14, the timing controller 9 detects the near-infrared LED 5a for short distance to which the lens 51 having a light distribution angle of 30 degrees is attached and the near-infrared LED 5a for middle distance to which the lens 52 having a light distribution angle of 15 degrees is attached. Is used for floodlighting, and the process proceeds to step S17.

ステップS15では、タイミングコントローラ9が、撮像を行う際の撮像対象距離Xが、距離X2を超えているかどうかを判断し、超えているならばステップS16へ進み、超えていないならば、エラーとして処理を終了する。   In step S15, the timing controller 9 determines whether or not the imaging target distance X at the time of imaging exceeds the distance X2, and if so, proceeds to step S16, and if not, processes as an error. Exit.

ステップS16では、配光角度が30度のレンズ51が取り付けられた近距離用の近赤外線LED5a、配光角度が15度のレンズ52が取り付けられた中距離の近赤外線LED5a、及び配光角度が10度のレンズ53が取り付けられた遠距離の近赤外線LED5aを投光に用いるようにし、ステップS17へ進む。   In step S16, the near-infrared LED 5a for short distance to which the lens 51 having a light distribution angle of 30 degrees is attached, the near-infrared LED 5a to which the lens 52 having a light distribution angle of 15 degrees is attached, and the light distribution angle to The long-distance near-infrared LED 5a to which the lens 53 of 10 degrees is attached is used for light projection, and the process proceeds to step S17.

ステップS17では、その撮像対象距離(撮像エリア)における投光(撮像)処理を行う。   In step S17, a light projecting (imaging) process at the imaging target distance (imaging area) is performed.

ステップS18では、次の撮像対象距離の撮像へ移るために、撮像対象距離Xにエリア間距離Lを加える処理を行う。   In step S18, processing for adding the inter-area distance L to the imaging target distance X is performed in order to shift to imaging at the next imaging target distance.

ステップS19では、1フレーム分の撮像が終了したかどうかを判断し、終了したならば処理を終了し、終了していないならばステップS11へ戻る。   In step S19, it is determined whether or not imaging for one frame has been completed. If completed, the process ends. If not completed, the process returns to step S11.

次に、作用を説明する。
[距離画像データ生成作用]
タイミングコントローラ9は、高速度カメラ8により撮像される撮像画像が、狙った撮像エリアから帰ってくる反射光のタイミングとなるように、ディレイ時間tDを設定し、高速度カメラ8の撮像タイミングを制御する。狙った撮像エリアに物体が存在している場合、投光器5から出射された光が撮像エリアから戻ってくる時間は、自車両と撮像エリアまでの距離(撮像対象距離)を光が往復する時間となるため、ディレイ時間tDは、撮像対象距離と光速度から求めることができる。
Next, the operation will be described.
[Distance image data generation function]
The timing controller 9 controls the imaging timing of the high-speed camera 8 by setting the delay time tD so that the captured image captured by the high-speed camera 8 becomes the timing of the reflected light returning from the target imaging area. To do. When an object is present in the target imaging area, the time for the light emitted from the projector 5 to return from the imaging area is the time for the light to reciprocate the distance between the host vehicle and the imaging area (imaging target distance). Therefore, the delay time tD can be obtained from the imaging target distance and the speed of light.

上記方法で得られた高速度カメラ8の撮像画像において、撮像エリアに物体が存在する場合、当該物体の位置に対応する画素の輝度値データは、反射光の影響を受け、他の画素の輝度値データよりも高い値を示す。これにより、各画素の輝度値データに基づいて、狙った撮像エリアに存在する物体との距離を求めることができる。   In the captured image of the high-speed camera 8 obtained by the above method, when an object exists in the imaging area, the luminance value data of the pixel corresponding to the position of the object is affected by the reflected light, and the luminance of other pixels Indicates a value higher than the value data. Thereby, based on the luminance value data of each pixel, the distance from the object existing in the targeted imaging area can be obtained.

さらに、実施例1では、ディレイ時間tDを変化させながら撮像エリア1〜nの撮像画像を取得する。続いて、同じ画素位置の前後の距離の輝度値データを比較し、最も高い輝度値データを当該画素で検出する物体の距離とし、撮像範囲(640×480)の距離の情報を持つデータ(距離画像データ)を生成する。   Furthermore, in the first embodiment, captured images of the imaging areas 1 to n are acquired while changing the delay time tD. Subsequently, the brightness value data of the distance before and after the same pixel position is compared, the highest brightness value data is set as the distance of the object detected by the pixel, and the data (distance with distance information of the imaging range (640 × 480)) Image data).

従来のレーザレーダやステレオカメラを用いた距離検出方法では、雨、霧や雪などの影響を受けやすく、信号レベルに対するノイズレベルが大きくなる(SN比が小さい)ため、悪天候時の信頼性が低い。なお、悪天候の影響を受けにくいミリ波レーダを用いた場合、距離検出の信頼性は高くなるが、ミリ波レーダの信号から物体認識(物体の特定)を行うのは困難であり、別途カメラ画像が必要となる。そして、悪天候時にはカメラ画像が不明瞭となるため、正確な物体認識を行うことは困難である。   Conventional distance detection methods using laser radars and stereo cameras are susceptible to rain, fog, snow, etc., and the noise level with respect to the signal level is large (the SN ratio is small), so the reliability in bad weather is low. . When using a millimeter wave radar that is not easily affected by bad weather, the reliability of distance detection is high, but it is difficult to perform object recognition (object identification) from the millimeter wave radar signal. Is required. Further, since the camera image becomes unclear during bad weather, it is difficult to perform accurate object recognition.

これに対し、実施例1では、狙った撮像エリアから帰ってくる反射波のみを撮像画像に反映させるため、雨、霧や雪などの影響により屈曲した光、すなわち、ノイズの混入レベルを低く抑え、高いSN比を得ることができる。つまり、悪天候や夜間にかかわらず、高い距離検出精度を得ることができる。
そして、生成された距離画像データにより、画像から検出される物体の距離が分かるため、その後パターンマッチング等の手法を用いて物体認識を行う場合、物体との距離を瞬時に把握できる。
On the other hand, in the first embodiment, only reflected waves returning from the target imaging area are reflected in the captured image, so that the light bent due to the influence of rain, fog, snow, or the like, that is, the noise mixing level is kept low. High signal-to-noise ratio can be obtained. That is, high distance detection accuracy can be obtained regardless of bad weather or night.
And since the distance of the object detected from an image is known from the produced | generated distance image data, when performing object recognition using methods, such as pattern matching after that, the distance with an object can be grasped | ascertained instantaneously.

さらに、実施例1では、撮像エリアを連続的に変化させて複数の撮像画像を取得し、各撮像画像を比較して各画素の距離を検出しているため、自車両前方の状況を連続的に、かつ、広範囲に亘って把握できる。例えば、自車両と先行車両との間に歩行者が飛び出してきた状況であっても、先行車と歩行者の距離をそれぞれ同時に把握でき、警報による運転者への情報提示や自動ブレーキ等の車両制御を行うことが可能である。   Furthermore, in the first embodiment, the captured area is continuously changed to acquire a plurality of captured images, and the captured images are compared to detect the distance of each pixel. In addition, it can be grasped over a wide range. For example, even in a situation where a pedestrian has jumped between the host vehicle and the preceding vehicle, the distance between the preceding vehicle and the pedestrian can be grasped at the same time. Control can be performed.

図8は、自車両前方の異なる位置に4人の歩行者A〜Dが存在している状況を示し、自車両と各歩行者との距離の関係は、A<B<C<Dとする。
このとき、実施例1では、1つの物体からの反射光が連続する複数の撮像エリアにおける撮像画像のオブジェクトを構成する画素に反映されるように、撮像エリアの一部をオーバーラップさせている。このため、各歩行者に対応するオブジェクトを構成する画素の時間的な輝度変化は、図9に示すように、歩行者の位置でピークを取る三角形の特性を示す。
FIG. 8 shows a situation where four pedestrians A to D exist at different positions in front of the host vehicle, and the relationship between the distance between the host vehicle and each pedestrian is A <B <C <D. .
At this time, in the first embodiment, a part of the imaging area is overlapped so that the reflected light from one object is reflected on the pixels constituting the object of the captured image in the plurality of imaging areas in which the reflected light is continuous. For this reason, the temporal luminance change of the pixels constituting the object corresponding to each pedestrian shows a triangular characteristic that takes a peak at the position of the pedestrian, as shown in FIG.

なお、距離画像データは、警報や車両制御に用いるデータであるため、ある程度の演算速度が要求される以上、撮像エリアを無限に細かく設定することは時間的に不可能であるが、1つの物体からの反射光が複数の撮像画像の含まれるようにすることで、図10に示すように、画素の時間的な輝度変化を上記特性に近似させ、三角形部分のピークと対応する撮像エリアを、当該画素における物体の距離とすることで、検出精度を高めることができる。   Since the distance image data is data used for alarms and vehicle control, it is impossible to set an imaging area infinitely finely as long as a certain calculation speed is required. By making the reflected light from the plurality of captured images included, as shown in FIG. 10, the temporal luminance change of the pixel is approximated to the above characteristics, and the imaging area corresponding to the peak of the triangular portion is The detection accuracy can be increased by setting the distance of the object in the pixel.

[多重露光による輝度補正]
実施例1の距離画像データ生成装置2では、撮像対象距離を徐々に遠くしながら複数の撮像画像を取得しているため、遠くの撮像エリアに存在する物体からの反射光は、近くの撮像エリアに存在する物体の反射光よりも弱くなる。このため、各撮像エリアで撮像時間(ゲート時間tG)を一定とした場合、遠い撮像エリアほど撮像画像が暗くなってしまう。
[Brightness correction by multiple exposure]
In the distance image data generation device 2 according to the first embodiment, a plurality of captured images are acquired while gradually increasing the imaging target distance. Therefore, reflected light from an object existing in a far imaging area is reflected in a nearby imaging area. It becomes weaker than the reflected light of the object existing in the. For this reason, when the imaging time (gate time tG) is constant in each imaging area, the captured image becomes darker as the imaging area is farther.

一方、画像処理部10では、複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成しているため、撮像画像間で上述した撮像対象距離の違いによる輝度差が生じると、同一画素の輝度を比較する際、正確な比較を行うことができない。   On the other hand, the image processing unit 10 generates the distance image data representing the distance to the object for each pixel based on the luminance of the same pixel in the plurality of captured images. If a luminance difference due to a difference occurs, an accurate comparison cannot be performed when comparing the luminance of the same pixel.

これに対し、実施例1では、物体が存在する撮像エリアにおける撮像画像の輝度ピーク値(輝度の最大値)が目標輝度となるよう、撮像対象距離に対して多重露光回数を設定し、記憶させる。そして、タイミングコントローラ9が、設定された多重露光回数に従って1画像に対して投光動作とゲート7aの開閉動作の複数組を行う。つまり、本実施例1の多重露光回数とは、高速度カメラ8で撮像する1画像に対して、タイミングコントローラ9の制御により行われる、投光器5の投光動作と、上記説明のように投光動作と対になる(ディレイ時間tDによる)ゲート7aの開閉動作の繰り返し回数を意味する。   On the other hand, in the first embodiment, the number of multiple exposures is set and stored for the imaging target distance so that the luminance peak value (maximum luminance value) of the captured image in the imaging area where the object exists becomes the target luminance. . Then, the timing controller 9 performs a plurality of sets of a light projecting operation and an opening / closing operation of the gate 7a on one image according to the set number of multiple exposures. In other words, the number of multiple exposures in the first embodiment refers to the light projecting operation of the light projector 5 performed by the control of the timing controller 9 for one image captured by the high-speed camera 8, and the light projection as described above. This means the number of repetitions of the opening / closing operation of the gate 7a (by the delay time tD) paired with the operation.

このため、撮像対象距離の異なる各撮像画像の輝度レンジ幅(輝度最小値と輝度最大値との差)を撮像エリアにかかわらず均一化し、予め良好な処理ができるように設定された目標輝度に近づけることができる(図11参照)。   For this reason, the luminance range width (difference between the minimum luminance value and the maximum luminance value) of each captured image with different imaging target distances is made uniform regardless of the imaging area, and the target luminance is set in advance so that good processing can be performed. It can approach (refer FIG. 11).

[撮像対象距離による配光角度の変更作用]
図12は実施例1の距離画像データ生成装置における撮像の際の投光の配光角度変更の説明図である。
投光器5が比較的遠距離までを投光範囲とする場合には、遠くの距離まで効率よく投光するために、レンズで集光することになる。そして、その遠距離位置において、充分に投光された範囲となるようレンズの配光角度が設定される。
この場合、近くの配光範囲が狭くなってしまう。実施例1のように投光器5で物体に投光し、反射した光をゲートの開時間内のみ撮像するような場合には、この影響が顕著となる。
[Change of light distribution angle depending on the distance to be imaged]
FIG. 12 is an explanatory diagram of changing the light distribution angle of light projection at the time of imaging in the distance image data generation device according to the first embodiment.
When the projector 5 has a relatively long distance as the light projection range, the light is condensed by a lens in order to efficiently project light to a far distance. Then, the light distribution angle of the lens is set so as to be in a sufficiently projected range at the long distance position.
In this case, the nearby light distribution range is narrowed. In the case where the light is projected onto the object by the projector 5 and the reflected light is imaged only within the open time of the gate as in the first embodiment, this influence becomes significant.

また、上記説明した多重露光による輝度補正では、遠い撮像対象距離で輝度が明るくなるように補正するため、配光幅の狭さの影響は補正されない。そのため、輝度が撮像対象距離で補正され、均一に近づくと、投光が少ない配光範囲外の近距離部分への影響は大きくなることになる。
実施例1の距離画像データ生成装置2では、近距離、例えば21m程度をステップS11で判断する距離X1とし、この距離X1より近くの場合には、配光角度が30度のレンズ51を取り付けた近赤外線LED5aによる投光で撮像を行う(ステップS11,S12)。
In addition, in the above-described luminance correction by multiple exposure, correction is performed so that the luminance is increased at a far imaging target distance, and thus the influence of the narrow light distribution width is not corrected. For this reason, when the luminance is corrected by the distance to be imaged and approached uniformly, the influence on the short distance portion outside the light distribution range where light projection is small increases.
In the distance image data generation device 2 according to the first embodiment, a short distance, for example, about 21 m is set as the distance X1 determined in step S11. When the distance X1 is closer than the distance X1, a lens 51 having a light distribution angle of 30 degrees is attached. Imaging is performed by light projection by the near-infrared LED 5a (steps S11 and S12).

すると、例えば、図12で自車Cが車道の端201,202の間で、車道中央線203の左側を走行しているとした場合に、投光器5の配光幅は、図12に符号101で示すように広くなり、撮像する範囲が良好に均一な投光を受けるようになる。
よって、撮像範囲の距離画像がさらに正確なものとなる。
これにより、歩道で横断歩道や信号を待っている人、走行ラインに近い位置の歩行者などが確実に検出されることになり、車両における前方障害物の検知にとっては非常に好ましいものとなる。
なお、配光角度を大きくした分、撮像で得られる輝度は少なくなる方向になる。しかしながら、近距離は遠距離に比較して高い輝度を撮像で得やすく、上記説明のように多重露光で補正するほどであるので、問題はなく、むしろ補正量を減少させ、より均一な目標輝度を得やすくさせる。
Then, for example, in the case where the own vehicle C is running on the left side of the road center line 203 between the road ends 201 and 202 in FIG. 12, the light distribution width of the projector 5 is 101 in FIG. As shown in FIG. 2, the image pickup area is widened, and the range to be imaged is well received with uniform light.
Therefore, the distance image of the imaging range becomes more accurate.
Thereby, a person who is waiting for a pedestrian crossing or a signal on the sidewalk, a pedestrian near the traveling line, and the like are reliably detected, which is very preferable for detecting a front obstacle in the vehicle.
In addition, as the light distribution angle is increased, the luminance obtained by imaging is reduced. However, it is easy to obtain high brightness by imaging at short distance compared to long distance, and it is enough to correct by multiple exposure as described above, so there is no problem, rather the amount of correction is reduced and more uniform target brightness Make it easier to obtain.

次に、図2等に示すように撮像エリアがスキャンされると、撮像対象距離が徐々に遠くなり、中距離、例えば37m程度をスキップS13で判断する距離X2とし、距離X1を超え、距離X2以下の間の距離となる。この場合には、配光角度が30度のレンズ51を取り付けた近赤外線LED5aとともに、配光角度が15度のレンズ52を取り付けた近赤外線LED5aによる投光で撮像を行う(ステップS13,S14)。
すると、例えば図12において、投光器5の配光幅は、図12に符号101で示すものに加えて、符号102で示すものとなり、中距離の範囲で広くなり、撮像する範囲が良好に均一な投光を受けるようになる。
Next, when the imaging area is scanned as shown in FIG. 2 and the like, the imaging target distance is gradually increased, and a medium distance, for example, about 37 m is set as the distance X2 determined in skip S13, and the distance X2 exceeds the distance X1. The distance between: In this case, imaging is performed by light projection by the near-infrared LED 5a to which the lens 51 having a light distribution angle of 15 degrees and the near-infrared LED 5a to which the lens 52 having a light distribution angle of 15 degrees is attached (steps S13 and S14). .
Then, for example, in FIG. 12, the light distribution width of the projector 5 is indicated by reference numeral 102 in addition to that indicated by reference numeral 101 in FIG. 12, and is widened in the middle distance range, and the imaging range is satisfactorily uniform. Receives light.

さらに、撮像エリアがスキャンされると、撮像対象距離が遠くなり、遠距離、つまりスキップS15で判断する距離X2(例えば37m程度)を超える距離となる。この場合には、配光角度が30度のレンズ51、配光角度が15度のレンズ52を取り付けた近赤外線LED5aに加えて、配光角度が10度のレンズ53を取り付けた近赤外線LED5aによる投光で撮像を行う(ステップS15,S16)。
すると、例えば図12において、投光器5の配光幅は、図12に符号101,102で示すものに加えて、符号103で示すものとなり、遠距離で広くなり、撮像する範囲が良好に均一な投光を受けるようになる。
Further, when the imaging area is scanned, the imaging target distance becomes far, and the distance exceeds a long distance, that is, a distance X2 (for example, about 37 m) determined in skip S15. In this case, in addition to the near-infrared LED 5a to which the lens 51 having a light distribution angle of 30 degrees and the lens 52 having a light distribution angle of 15 degrees are attached, the near-infrared LED 5a to which the lens 53 having a light distribution angle of 10 degrees is attached. Imaging is performed by light projection (steps S15 and S16).
Then, for example, in FIG. 12, the light distribution width of the projector 5 is indicated by reference numeral 103 in addition to those indicated by reference numerals 101 and 102 in FIG. 12, and becomes wider at a long distance, and the imaging range is uniformly uniform. Receives light.

このように実施例1の距離画像データ生成装置2では、近距離、中距離、遠距離のどの範囲においても、撮像する範囲が良好に均一な投光を受けるようになる。
よって、撮像範囲の距離画像がさらに正確なものとなる。そして、歩道で横断歩道や信号を待っている人、走行ラインに近い位置の歩行者などが近距離、中距離、遠距離の範囲で確実に検出されることになり、車両における前方障害物の検知にとっては非常に好ましいものとなる。
As described above, in the distance image data generation device 2 according to the first embodiment, the imaging range is favorably and uniformly projected in any of the short distance, medium distance, and long distance ranges.
Therefore, the distance image of the imaging range becomes more accurate. And people who are waiting for pedestrian crossings and signals on the sidewalk, pedestrians near the driving line, etc. will be detected reliably in the range of short distance, medium distance, and long distance. This is very favorable for detection.

なお、実施例1においては、中距離(ステップS13)の場合に、中距離用に加えて、近距離用のレンズ52を取り付けた近赤外線LED5aにより投光し(ステップS14)、遠距離(ステップS15)の場合に、遠距離用に加えて、中距離用及び近距離用の近赤外線LED5aを投光している。これは、近距離用及び中距離用の一部の投光部分は、より遠距離の投光量を増加させるためである。これにより、多重露光の距離での輝度均一化の作用をさらに高めている。   In the first embodiment, in the case of the intermediate distance (step S13), in addition to the intermediate distance, light is projected by the near infrared LED 5a to which the short distance lens 52 is attached (step S14), and the long distance (step S13). In the case of S15), near-infrared LEDs 5a for medium distance and short distance are projected in addition to those for long distance. This is because some of the light projecting portions for the short distance and the medium distance increase the amount of light projected at a longer distance. This further enhances the effect of uniforming the luminance at the multiple exposure distance.

また、実施例1では、この近距離、中距離、遠距離の配光角度の変更による作用が及ぶ距離範囲を80m程度にしている。これは、例えば、歩道で横断歩道や信号を待っている人、走行ラインに近い位置の歩行者の検知の精度を向上させた距離画像を生成するためである。そのため、自車の速度はこのような状況に対応して抑制した速度を前提としている。その場合には、近くから、80m程度までを確実に検知するものが、良好な運転を支援することになるからである。   In the first embodiment, the distance range in which the effect of changing the light distribution angle at the short distance, medium distance, and long distance is about 80 m. This is because, for example, a distance image with improved accuracy in detecting a pedestrian crossing or a person waiting for a signal on a sidewalk or a pedestrian at a position close to a travel line is generated. Therefore, the speed of the own vehicle is premised on a speed that is suppressed corresponding to such a situation. In that case, it is because what reliably detects up to about 80 m from nearby will support good driving.

次に、効果を説明する。
実施例1の距離画像データ生成装置2にあっては、以下に列挙する効果を奏する。
Next, the effect will be described.
The distance image data generation device 2 according to the first embodiment has the following effects.

(1)自車両前方に所定周期でパルス光を投光する投光器5と、ターゲット距離に応じて設定される撮像タイミングでターゲット距離から帰ってくる反射光を撮像するイメージインテンシファイア7b及び高速度カメラ8と、ターゲット距離が連続的に変化するように撮像タイミングを制御するタイミングコントローラ9と、イメージインテンシファイア7b及び高速度カメラ8により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する画像処理部10を備え、投光器5は、異なる配光角度のレンズ51〜53を備えた複数の近赤外線LED5aを備えて配光角度に合わせて点灯、消灯を行うようにし、タイミングコントローラ9は、ターゲット距離に基づいて、投光器5の異なる配光角度のレンズ51〜53を備えた複数の近赤外線LED5aの点灯、消灯により、ステップS11〜S16の処理で、配光角度を変更させるため、自車両前方の状況を連続的に把握できる。さらに、配光角度の切り換えにより距離画像の精度を向上させることができる。   (1) A projector 5 that projects pulsed light in front of the host vehicle at a predetermined period, an image intensifier 7b that captures reflected light returning from the target distance at an imaging timing set according to the target distance, and a high speed The same pixel in a plurality of captured images with different target distances obtained by the camera 8, the timing controller 9 that controls the imaging timing so that the target distance changes continuously, the image intensifier 7b, and the high-speed camera 8 An image processing unit 10 that generates distance image data representing a distance to an object for each pixel based on luminance is provided. The projector 5 includes a plurality of near-infrared LEDs 5a including lenses 51 to 53 having different light distribution angles. The timing controller 9 is turned on and off according to the light distribution angle, and the timing controller 9 is based on the target distance. In order to change the light distribution angle in the processing of steps S11 to S16 by turning on / off the plurality of near-infrared LEDs 5a including the lenses 51 to 53 having different light distribution angles of the projector 5, the situation in front of the host vehicle is changed. It can be grasped continuously. Furthermore, the accuracy of the distance image can be improved by switching the light distribution angle.

(2)上記(1)において、タイミングコントローラ9は、ターゲット距離に対する投光器5の配光幅の変化を抑制するよう投光器5に複数の配光角度のレンズ51〜53を取り付けた近赤外線LED5aを設けて点灯させる近赤外線LED5aを変更して、配光角度を変更させるため、ターゲット距離に応じて、点灯させる近赤外線LED5aを切り換えることにより、配光角度が切り換えられるようにして、ターゲット距離で投光器5の配光幅が変わらないようにして、より均一な輝度条件に対して距離画像が生成されるようにして、精度の向上した距離画像にできる。   (2) In the above (1), the timing controller 9 is provided with a near-infrared LED 5a in which lenses 51 to 53 having a plurality of light distribution angles are attached to the light projector 5 so as to suppress a change in the light distribution width of the light projector 5 with respect to the target distance. In order to change the near-infrared LED 5a to be lit and change the light distribution angle, the near-infrared LED 5a to be lit is switched according to the target distance, so that the light distribution angle can be switched, and the projector 5 at the target distance. Thus, the distance image is generated with respect to more uniform luminance conditions so that the light distribution width of the light source does not change, and a distance image with improved accuracy can be obtained.

(3)上記(1)又は(2)において、タイミングコントローラ9は、ターゲット距離に近距離(X≦X1)、中距離(X1<X≦X2)、遠距離(X2≦X)の範囲を設定し、範囲の切り換わりでターゲット距離が遠くなるのに応じて、投光器5に複数の配光角度のレンズ51〜53を取り付けた近赤外線LED5aを設けて点灯させる近赤外線LED5aを変更して、配光角度を変更させるため、3段階のターゲット距離に応じて、点灯させる近赤外線LED5aを切り換えることにより、配光角度が切り換えられるようにして、ターゲット距離で投光器5の配光幅が変わらないようにして、より均一な輝度条件に対して距離画像が生成されるようにして、精度の向上した距離画像にできる。   (3) In (1) or (2) above, the timing controller 9 sets the range of the short distance (X ≦ X1), medium distance (X1 <X ≦ X2), and long distance (X2 ≦ X) as the target distance. However, as the target distance increases as the range is switched, the near-infrared LED 5a having a plurality of light distribution angle lenses 51 to 53 attached to the projector 5 is changed to change the near-infrared LED 5a to be lit. In order to change the light angle, the light distribution angle can be switched by switching the near infrared LED 5a to be lit according to the target distance in three stages so that the light distribution width of the projector 5 does not change at the target distance. Thus, the distance image is generated with respect to more uniform luminance conditions, and the distance image with improved accuracy can be obtained.

(4)上記(1)〜(3)において、タイミングコントローラ9は、ターゲット距離が自車に近い位置において、自車前方の車道の側方に存在する歩行者を配光角度範囲に含め、ターゲット距離が遠くなっても、その配光角度範囲を維持するように投光器5に複数の配光角度のレンズ51〜53を取り付けた近赤外線LED5aを設けて点灯させる近赤外線LED5aを変更して、配光角度を狭くするよう変更させるため、歩道で横断歩道や信号を待っている人、走行ラインに近い位置の歩行者などが近距離、中距離、遠距離の範囲で確実に検出できる。   (4) In the above (1) to (3), the timing controller 9 includes a pedestrian existing on the side of the roadway ahead of the own vehicle in the light distribution angle range at a position where the target distance is close to the own vehicle. Even if the distance increases, the near-infrared LED 5a having a plurality of light-distribution-angle lenses 51 to 53 attached to the projector 5 is changed so that the light-projection angle range is maintained. Since the light angle is changed so as to be narrowed, a person who is waiting for a pedestrian crossing or a signal on a sidewalk or a pedestrian close to the traveling line can be reliably detected in a short distance, medium distance, and long distance range.

(5)上記(1)〜(4)において、タイミングコントローラ9は、一つのターゲット距離の撮像画像が、投光器5による複数回の投光と、イメージインテンシファイア7b及び高速度カメラ8による撮像タイミングでの複数回の撮像で生成され、且つターゲット距離が遠くなるに従って、投光及び撮像の回数を増やす多重露光制御を行うため、ターゲット距離に対して均一な輝度を得ることができ、精度の向上した距離画像にできる。
以上、本発明を実施するための最良の形態を、実施例に基づき説明したが、本発明の具体的な構成については、実施例の構成に限らず、特許請求の範囲の各請求項に係る発明の要旨を逸脱しない限り、設計変更や追加等は許容される。
(5) In the above (1) to (4), the timing controller 9 determines that the captured image of one target distance is projected multiple times by the projector 5 and the imaging timing by the image intensifier 7b and the high-speed camera 8. Because multiple exposure control is performed to increase the number of light projections and imaging as the target distance increases as the target distance increases, uniform brightness can be obtained with respect to the target distance, improving accuracy The distance image can be made.
The best mode for carrying out the present invention has been described above based on the embodiment. However, the specific configuration of the present invention is not limited to the configuration of the embodiment, and it relates to each claim of the claims. Design changes and additions are allowed without departing from the spirit of the invention.

例えば、投光周期、投光時間、ゲート時間、撮像対象幅、撮像対象距離の変化量、1フレーム中の撮像エリア数は、撮像手段の性能や距離画像データ生成手段の性能に応じて適宜設定することができる。
また例えば、実施例1では、自車から80m程度までの範囲を近距離、中距離、遠距離に分けて、それぞれが充分な配光幅となるようにしたが、高速道路など、前方車両の検出を重視し、状況における自車速度が高速の場合には、充分な配光幅にする範囲を前方に移動した設定としてもよいし、さらに、遠距離に投光を行う近赤外線LED5aを設けるようにしてもよい。
For example, the light projection period, the light projection time, the gate time, the imaging target width, the amount of change in the imaging target distance, and the number of imaging areas in one frame are appropriately set according to the performance of the imaging means and the performance of the distance image data generation means can do.
Further, for example, in Example 1, the range from the own vehicle to about 80 m is divided into a short distance, a medium distance, and a long distance so that each has a sufficient light distribution width. When detection is emphasized and the vehicle speed in the situation is high, the range of sufficient light distribution width may be set to move forward, and a near-infrared LED 5a that projects light at a long distance is provided. You may do it.

実施例1の障害物検出装置1の構成を示すブロック図である。It is a block diagram which shows the structure of the obstruction detection apparatus 1 of Example 1. FIG. 1つの撮像エリアを撮像する際の、投光器5の動作(投光動作)とゲート7aの動作(カメラゲート動作)との時間的な関係を示す図である。It is a figure which shows the temporal relationship between the operation | movement (light projection operation | movement) of the light projector 5, and the operation | movement (camera gate operation | movement) of the gate 7a at the time of imaging one imaging area. 撮像エリアの一部がオーバーラップする状態を示す図である。It is a figure which shows the state which a part of imaging area overlaps. 撮像エリアを無限に増やして撮像を行った場合の時間的な輝度変化を示す模式図である。It is a schematic diagram which shows a temporal luminance change at the time of imaging by increasing an imaging area infinitely. 実施例1の距離画像データ生成装置の投光器の説明図である。It is explanatory drawing of the light projector of the distance image data generation apparatus of Example 1. FIG. 実施例1の画像処理部10で実行される距離画像データ生成制御処理の流れを示すフローチャートである。3 is a flowchart illustrating a flow of distance image data generation control processing executed by the image processing unit 10 according to the first embodiment. 実施例1のタイミングコントローラ9で実行される投光器5の投光距離制御処理の流れを示すフローチャートである。6 is a flowchart illustrating a flow of a light projection distance control process of the light projector 5 executed by the timing controller 9 according to the first embodiment. 自車両前方の異なる位置に4人の歩行者A〜Dが存在している状況を示す図である。It is a figure which shows the condition where four pedestrians AD exist in the different position ahead of the own vehicle. 各歩行者A〜Bに対応する画素の時間的な輝度変化を示す模式図である。It is a schematic diagram which shows the temporal luminance change of the pixel corresponding to each pedestrian A-B. 実施例1の距離画像データ生成作用を示す図である。It is a figure which shows the distance image data generation effect | action of Example 1. FIG. 実施例1の多重露光による距離画像データ生成作用を示す図である。It is a figure which shows the distance image data production | generation effect | action by the multiple exposure of Example 1. FIG. 実施例1の距離画像データ生成装置における撮像の際の投光の配光角度変更の説明図である。It is explanatory drawing of the light distribution angle change of the light projection in the case of the imaging in the distance image data generation apparatus of Example 1. FIG.

符号の説明Explanation of symbols

1 障害物検出装置
2 距離画像データ生成装置
3 物体認識処理部
4 判断部
5 投光器(投光手段)
5a 近赤外線LED
51〜53 レンズ
6 対物レンズ
7 光増倍部
7a ゲート
7b イメージインテンシファイア
8 高速度カメラ(撮像手段)
9 タイミングコントローラ(タイミング制御手段)
10 画像処理部(距離画像データ生成手段)
101 (レンズ51を取り付けた近赤外線LED5aの)配光範囲
102 (レンズ52を取り付けた近赤外線LED5aの)配光範囲
103 (レンズ53を取り付けた近赤外線LED5aの)配光範囲
104 (自車の中央の延長を示す)線
201,202 (車道の端を示す)線
203 (車道の)中央線
C 自車
DESCRIPTION OF SYMBOLS 1 Obstacle detection apparatus 2 Distance image data generation apparatus 3 Object recognition process part 4 Judgment part 5 Light projector (light projection means)
5a Near-infrared LED
51 to 53 Lens 6 Objective Lens 7 Light Multiplier 7a Gate 7b Image Intensifier 8 High Speed Camera (Imaging Means)
9 Timing controller (timing control means)
10 Image processing unit (distance image data generating means)
101 Light distribution range 102 (of near-infrared LED 5a attached with lens 51) Light distribution range 103 (of near-infrared LED 5a attached with lens 52) Light distribution range 104 (of near-infrared LED 5a attached with lens 53) Lines 201 and 202 (indicating the extension of the center) Line 203 (indicating the end of the roadway) Line 203 (of the roadway) C

Claims (5)

自車両前方に所定周期でパルス光を投光する投光手段と、
ターゲット距離に応じて設定される撮像タイミングで前記ターゲット距離から帰ってくる反射光を撮像する撮像手段と、
前記ターゲット距離が連続的に変化するように前記撮像タイミングを制御するタイミング制御手段と、
前記撮像手段により得られたターゲット距離の異なる複数の撮像画像における同一画素の輝度に基づいて、画素毎の物体までの距離を表す距離画像データを生成する距離画像データ生成手段と、
を備え、
前記投光手段は、異なる配光角度に切り換えて投光を行う切換手段を備え、
前記タイミング制御手段は、前記ターゲット距離に基づいて、前記投光手段の前記切換手段に配光角度を変更させる、
ことを特徴とする車両用距離画像データ生成装置。
Light projecting means for projecting pulsed light in front of the host vehicle at a predetermined period;
Imaging means for imaging reflected light returning from the target distance at an imaging timing set according to the target distance;
Timing control means for controlling the imaging timing so that the target distance changes continuously;
Distance image data generation means for generating distance image data representing a distance to an object for each pixel based on the luminance of the same pixel in a plurality of captured images with different target distances obtained by the imaging means;
With
The light projecting means includes switching means for performing light projection by switching to different light distribution angles,
The timing control unit causes the switching unit of the light projecting unit to change a light distribution angle based on the target distance.
A vehicular distance image data generating apparatus characterized by the above.
請求項1に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、ターゲット距離に対する前記投光手段の配光幅の変化を抑制するよう前記投光手段の前記切換手段に配光角度を変更させる、
ことを特徴とする車両用距離画像データ生成装置。
The vehicle distance image data generation device according to claim 1,
The timing control unit causes the switching unit of the light projecting unit to change a light distribution angle so as to suppress a change in a light distribution width of the light projecting unit with respect to a target distance;
A vehicular distance image data generating apparatus characterized by the above.
請求項1又は請求項2に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
ターゲット距離に近距離、中距離、遠距離の範囲を設定し、範囲の切り換わりでターゲット距離が遠くなるのに応じて前記投光手段の前記切換手段に配光角度を狭くするよう変更させる、
ことを特徴とする車両用距離画像データ生成装置。
In the vehicular distance image data generating device according to claim 1 or 2,
The timing control means includes
Set a range of short distance, medium distance, long distance to the target distance, and change the light distribution angle to narrow the light distribution angle to the switching means of the light projecting means according to the target distance becomes longer by switching the range,
A vehicular distance image data generating apparatus characterized by the above.
請求項1〜請求項3のいずれか1項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
前記ターゲット距離が自車に近い位置において、自車前方の車道の側方に存在する歩行者を配光角度範囲に含め、ターゲット距離が遠くなっても、その配光角度範囲を維持するように前記投光手段の前記切換手段に配光角度を狭くするよう変更させる、
ことを特徴とする車両用距離画像データ生成装置。
In the vehicular distance image data generation device according to any one of claims 1 to 3,
The timing control means includes
In a position where the target distance is close to the own vehicle, a pedestrian existing on the side of the roadway ahead of the own vehicle is included in the light distribution angle range so that the light distribution angle range is maintained even when the target distance is long. The switching means of the light projecting means is changed so as to narrow the light distribution angle.
A vehicular distance image data generating apparatus characterized by the above.
請求項1〜請求項4のいずれか1項に記載の車両用距離画像データ生成装置において、
前記タイミング制御手段は、
一つのターゲット距離の撮像画像が、前記投光手段による複数回の投光と、前記撮像手段による前記撮像タイミングでの複数回の撮像で生成され、且つターゲット距離が遠くなるに従って、投光及び撮像の回数を増やす多重露光制御を行う、
ことを特徴とする車両用距離画像データ生成装置。
In the vehicular distance image data generation device according to any one of claims 1 to 4,
The timing control means includes
A captured image of one target distance is generated by a plurality of times of light projection by the light projecting unit and a plurality of times of image capturing at the image capturing timing by the image capturing unit, and as the target distance becomes longer, light projection and image capturing are performed. Multiple exposure control to increase the number of times,
A vehicular distance image data generating apparatus characterized by the above.
JP2008225159A 2008-09-02 2008-09-02 Vehicular distance image data generation device Pending JP2010061304A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008225159A JP2010061304A (en) 2008-09-02 2008-09-02 Vehicular distance image data generation device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008225159A JP2010061304A (en) 2008-09-02 2008-09-02 Vehicular distance image data generation device

Publications (1)

Publication Number Publication Date
JP2010061304A true JP2010061304A (en) 2010-03-18

Family

ID=42188048

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008225159A Pending JP2010061304A (en) 2008-09-02 2008-09-02 Vehicular distance image data generation device

Country Status (1)

Country Link
JP (1) JP2010061304A (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150024860A (en) * 2012-05-29 2015-03-09 브라이트웨이 비젼 엘티디. Gated imaging using an adaptive dapth of field
WO2017110414A1 (en) * 2015-12-21 2017-06-29 株式会社小糸製作所 Image acquisition device for vehicles, and vehicle provided with same
WO2017110415A1 (en) * 2015-12-21 2017-06-29 株式会社小糸製作所 Vehicular sensor, and vehicle provided with same
JP2019529931A (en) * 2016-09-30 2019-10-17 マジック リープ, インコーポレイテッドMagic Leap,Inc. Real-time calibration for time-of-flight depth measurements
US11187805B2 (en) 2015-12-21 2021-11-30 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US11194023B2 (en) 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
WO2022009273A1 (en) * 2020-07-06 2022-01-13 三菱電機株式会社 Obstacle detection device and obstacle detection method
US11249172B2 (en) 2015-12-21 2022-02-15 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
WO2022163721A1 (en) * 2021-01-27 2022-08-04 株式会社小糸製作所 Gated camera, vehicular sensing system, and vehicular lamp
JPWO2022230760A1 (en) * 2021-04-27 2022-11-03

Cited By (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9810785B2 (en) 2012-05-29 2017-11-07 Brightway Vision Ltd. Gated imaging using an adaptive depth of field
JP2015527761A (en) * 2012-05-29 2015-09-17 ブライトウェイ ビジョン リミテッド Gated imaging using applicable depth of field
KR20150024860A (en) * 2012-05-29 2015-03-09 브라이트웨이 비젼 엘티디. Gated imaging using an adaptive dapth of field
KR102144521B1 (en) * 2012-05-29 2020-08-14 브라이트웨이 비젼 엘티디. A method obtaining one or more gated images using adaptive depth of field and image system thereof
JPWO2017110414A1 (en) * 2015-12-21 2018-10-11 株式会社小糸製作所 VEHICLE IMAGE ACQUISITION DEVICE AND VEHICLE HAVING THE SAME
JPWO2017110415A1 (en) * 2015-12-21 2018-10-11 株式会社小糸製作所 Vehicle sensor and vehicle equipped with the same
US11204425B2 (en) 2015-12-21 2021-12-21 Koito Manufacturing Co., Ltd. Image acquisition device for vehicles and vehicle provided with same
US11249172B2 (en) 2015-12-21 2022-02-15 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
WO2017110415A1 (en) * 2015-12-21 2017-06-29 株式会社小糸製作所 Vehicular sensor, and vehicle provided with same
US11040649B2 (en) 2015-12-21 2021-06-22 Koito Manufacturing Co., Ltd. Vehicular sensor and vehicle provided with same
WO2017110414A1 (en) * 2015-12-21 2017-06-29 株式会社小糸製作所 Image acquisition device for vehicles, and vehicle provided with same
US11187805B2 (en) 2015-12-21 2021-11-30 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
US11194023B2 (en) 2015-12-21 2021-12-07 Koito Manufacturing Co., Ltd. Image acquiring apparatus for vehicle, control device, vehicle having image acquiring apparatus for vehicle or control device, and image acquiring method for vehicle
JP2021113828A (en) * 2016-09-30 2021-08-05 マジック リープ, インコーポレイテッドMagic Leap, Inc. Real-time calibration for flight time depth measurement
JP2019529931A (en) * 2016-09-30 2019-10-17 マジック リープ, インコーポレイテッドMagic Leap,Inc. Real-time calibration for time-of-flight depth measurements
JP7130813B2 (en) 2016-09-30 2022-09-05 マジック リープ, インコーポレイテッド Real-time calibration for time-of-flight depth measurements
US11587245B2 (en) 2016-09-30 2023-02-21 Magic Leap, Inc. Real time calibration for time-of-flight depth measurement
WO2022009273A1 (en) * 2020-07-06 2022-01-13 三菱電機株式会社 Obstacle detection device and obstacle detection method
JPWO2022009273A1 (en) * 2020-07-06 2022-01-13
WO2022163721A1 (en) * 2021-01-27 2022-08-04 株式会社小糸製作所 Gated camera, vehicular sensing system, and vehicular lamp
JPWO2022230760A1 (en) * 2021-04-27 2022-11-03
WO2022230760A1 (en) * 2021-04-27 2022-11-03 株式会社小糸製作所 Gating camera, sensing system, and vehicle lamp

Similar Documents

Publication Publication Date Title
JP2010061304A (en) Vehicular distance image data generation device
JP2009257983A (en) Device and method for generating distance image data for vehicle
JP2009257981A (en) Device for generating distance image data for vehicle
JP6868570B2 (en) Vehicle and vehicle image acquisition method equipped with vehicle image acquisition device, control device, vehicle image acquisition device or control device
JP2010170449A (en) Device and method for creating range image data for vehicle
JP6471528B2 (en) Object recognition apparatus and object recognition method
JP6851985B2 (en) Vehicle and vehicle image acquisition method equipped with vehicle image acquisition device, control device, vehicle image acquisition device or control device
JP2010066221A (en) Range image data generating device for vehicle
JP3909691B2 (en) In-vehicle image processing device
JP6766071B2 (en) Image acquisition device for vehicles and vehicles equipped with it
TWI302879B (en) Real-time nighttime vehicle detection and recognition system based on computer vision
JP6766072B2 (en) Vehicle sensors and vehicles equipped with them
JP2010121995A (en) Device for generating distance image data for vehicle
JP7594539B2 (en) Gating camera, automobile, vehicle lighting device, image processing device, and image processing method
JP6851986B2 (en) Vehicle and vehicle image acquisition method equipped with vehicle image acquisition device, control device, vehicle image acquisition device or control device
JP2010054461A (en) Device for generating distance image data for vehicle
JP2009257982A (en) Device for generating distance image data for vehicle
JP2009281895A (en) Range image data generating device for vehicle and method for generating range image data
JP2009282906A (en) Range image data generation device for vehicle
JP2010071704A (en) Device and method for generating distance image data for vehicle
JP2010145255A (en) Apparatus and method for creating vehicle-use distance image data
JP2009258015A (en) Apparatus and method for generating range image data for vehicle
JP2009259070A (en) Device for generating distance image data for vehicle
JP2007124676A (en) On-vehicle image processor
JP2010210265A (en) Passage detection device