[go: up one dir, main page]

JP2008165595A - Obstacle detection method, obstacle detection device, obstacle detection system - Google Patents

Obstacle detection method, obstacle detection device, obstacle detection system Download PDF

Info

Publication number
JP2008165595A
JP2008165595A JP2006355841A JP2006355841A JP2008165595A JP 2008165595 A JP2008165595 A JP 2008165595A JP 2006355841 A JP2006355841 A JP 2006355841A JP 2006355841 A JP2006355841 A JP 2006355841A JP 2008165595 A JP2008165595 A JP 2008165595A
Authority
JP
Japan
Prior art keywords
obstacle
edge
candidate
area
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2006355841A
Other languages
Japanese (ja)
Inventor
Hiroaki Saito
裕昭 齋藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sumitomo Electric Industries Ltd
Original Assignee
Sumitomo Electric Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sumitomo Electric Industries Ltd filed Critical Sumitomo Electric Industries Ltd
Priority to JP2006355841A priority Critical patent/JP2008165595A/en
Publication of JP2008165595A publication Critical patent/JP2008165595A/en
Pending legal-status Critical Current

Links

Images

Landscapes

  • Measurement Of Optical Distance (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Traffic Control Systems (AREA)

Abstract

【課題】夏場又は昼間に拘わらず歩行者などの障害物を精度良く検出し、処理量を従来よりも削減できる障害物検出方法、障害物検出装置、障害物検出システムを提供する。
【解決手段】LSI31は、一方の撮像画像でエッジ点を複数検出し、検出した各エッジ点を囲む領域夫々をブロックに分割する。LSI31は、分割したブロックのうち、エッジ点を含むエッジ領域を基準領域として、他方の撮像画像を検索して相関値を算出する。LSI31は、相関値が最も大きい領域を対応領域として特定し、エッジ領域と対応領域との間の視差を算出する。LSI31は、算出した視差に基づいて、撮像装置1から撮像対象までの距離が略等しい候補領域を特定する。LSI31は、以上の処理をエッジ領域毎に行って複数の候補領域を特定し、特定した複数の候補領域で構成される障害物候補領域を抽出し、抽出した障害物候補領域の特徴量に基づいて障害物を検出する。
【選択図】図3
An obstacle detection method, an obstacle detection device, and an obstacle detection system capable of accurately detecting an obstacle such as a pedestrian regardless of summer or daytime and reducing the processing amount as compared with the conventional one.
An LSI detects a plurality of edge points in one captured image, and divides each area surrounding each detected edge point into blocks. The LSI 31 calculates the correlation value by searching the other captured image using the edge area including the edge point as a reference area among the divided blocks. The LSI 31 specifies the region having the largest correlation value as the corresponding region, and calculates the parallax between the edge region and the corresponding region. The LSI 31 specifies a candidate area having substantially the same distance from the imaging device 1 to the imaging target based on the calculated parallax. The LSI 31 performs the above processing for each edge region to identify a plurality of candidate regions, extracts an obstacle candidate region composed of the identified plurality of candidate regions, and based on the extracted feature amount of the obstacle candidate region To detect obstacles.
[Selection] Figure 3

Description

本発明は、車両の周辺(例えば、前方)を撮像して得られた撮像画像を処理して歩行者、駐車車両などの障害物を検出する障害物検出方法、障害物検出装置、及び該障害物検出装置を備える障害物検出システムに関する。   The present invention relates to an obstacle detection method, an obstacle detection device, and an obstacle for detecting an obstacle such as a pedestrian and a parked vehicle by processing a captured image obtained by imaging the periphery (for example, the front) of the vehicle. The present invention relates to an obstacle detection system including an object detection device.

自動車などの車両に遠赤外線に感度を持つビデオカメラを搭載し、ビデオカメラで撮像した画像を二値化処理し、二値化処理した対象物までの距離を算出して車両前方の歩行者、動物などを抽出する車両周辺監視装置が提案されている(特許文献1参照)。   A video camera sensitive to far infrared rays is mounted on a vehicle such as an automobile, the image captured by the video camera is binarized, the distance to the binarized object is calculated, and a pedestrian in front of the vehicle, A vehicle periphery monitoring device that extracts animals and the like has been proposed (see Patent Document 1).

また、2つのカメラで撮像した画像の一方の画像を一定サイズのブロックに分割し、各ブロックを基準領域として他方の画像(参照画像)を検索し相関値を算出して、最も相関値が大きい対応領域を抽出し、基準領域と対応領域との視差を算出して、等距離ブロックをグループ化して歩行者を抽出する装置が提案されている(特許文献2参照)。
特開2004−135034号公報 特開平05−114099号公報
Also, one of the images captured by the two cameras is divided into blocks of a certain size, the other image (reference image) is searched using each block as a reference area, and a correlation value is calculated. There has been proposed an apparatus for extracting a pedestrian by extracting a corresponding area, calculating a parallax between a reference area and the corresponding area, and grouping equidistant blocks (see Patent Document 2).
JP 2004-135034 A Japanese Patent Laid-Open No. 05-114099

特許文献1の車両周辺監視装置にあっては、歩行者又は動物が車両周辺よりも温度が高いということを前提として、二値化閾値を設定して二値化処理を行うことにより歩行者等を抽出している。しかし、夏場又は昼間などにおいては、歩行者又は動物に比べて周囲の建物などの温度が高くなることが多く、二値化処理した場合に、歩行者又は動物が二値化閾値以上の輝度を有しないため、歩行者又は動物を精度良く抽出することができないという問題がある。   In the vehicle periphery monitoring device of Patent Document 1, on the assumption that the temperature of the pedestrian or animal is higher than that of the vehicle periphery, a pedestrian or the like is performed by setting a binarization threshold and performing binarization processing. Is extracted. However, in summer or in the daytime, the temperature of surrounding buildings is often higher than that of pedestrians or animals, and when binarization processing is performed, the pedestrian or animal has a luminance that is higher than the binarization threshold. Since it does not have, there exists a problem that a pedestrian or an animal cannot be extracted accurately.

また、特許文献2の装置にあっては、ブロックを基準領域として他方の画像を検索する場合、画像全体のブロックについて検索処理を行う必要があり、相関値の算出、視差の算出などの処理量が膨大になるという問題がある。また、一方の画像をブロックに分割する場合に、単に機械的に画像を分割しているため、ブロック内の輝度が一様で特徴の少ないブロックを基準領域として検索を行った場合、参照画像中で対応領域の候補が複数抽出される可能性があり、精度良く歩行者を抽出することができないという問題がある。   Further, in the apparatus of Patent Document 2, when searching for the other image using a block as a reference area, it is necessary to perform search processing for the block of the entire image, and the amount of processing such as calculation of correlation values, calculation of parallax, etc. There is a problem that becomes enormous. In addition, when one image is divided into blocks, the image is simply mechanically divided. Therefore, when a block having a uniform luminance and a small feature in the block is used as a reference area, Therefore, there is a possibility that a plurality of corresponding area candidates may be extracted, and there is a problem that it is impossible to accurately extract a pedestrian.

本発明は、斯かる事情に鑑みてなされたものであり、2つの撮像装置で撮像した撮像画像の一方の撮像画像でエッジ点を検出し、エッジ点を含むブロック(小領域)を基準領域として他方の撮像画像(参照画像)を検索して対応領域を特定し、両者の視差に基づいて等距離のブロックをグループ化して障害物を検出することにより、夏場又は昼間に拘わらず歩行者、動物、駐車車両などの障害物を精度良く検出することができるとともに、処理量を従来よりも大幅に削減することができる障害物検出方法、障害物検出装置、及び該障害物検出装置を備える障害物検出システムを提供することを目的とする。   The present invention has been made in view of such circumstances, and an edge point is detected from one captured image captured by two imaging devices, and a block (small region) including the edge point is used as a reference region. Pedestrians and animals regardless of summer or daytime by searching the other captured image (reference image), identifying the corresponding area, and grouping equidistant blocks based on the parallax between them to detect obstacles An obstacle detection method, an obstacle detection device, and an obstacle including the obstacle detection device that can accurately detect an obstacle such as a parked vehicle and can significantly reduce the amount of processing compared to conventional methods. An object is to provide a detection system.

第1発明に係る障害物検出方法は、2つの撮像装置で取得したそれぞれの撮像画像を処理して障害物の存在を検出する障害物検出方法において、一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出し、隣接するエッジ点を結合したエッジグループを特定し、特定したエッジグループを囲む領域を小領域に分割し、分割した小領域のうち、エッジ点を含む小領域毎に他方の撮像画像との間で相関値を算出し、算出した相関値に基づいて
、前記小領域に対応する対応領域を他方の撮像画像で特定し、前記小領域と対応領域との視差に基づいて、撮像装置から撮像対象までの距離が略等しい候補領域を特定し、特定した候補領域から障害物候補領域を抽出し、抽出した障害物候補領域の特徴量に基づいて障害物を検出することを特徴とする。
The obstacle detection method according to the first aspect of the present invention is an obstacle detection method for detecting the presence of an obstacle by processing each captured image acquired by two imaging devices. Based on this, the edge point is detected, the edge group connecting the adjacent edge points is identified, the area surrounding the identified edge group is divided into small areas, and each small area including the edge point is divided among the divided small areas. A correlation value is calculated between the other captured image and a corresponding area corresponding to the small area is identified by the other captured image based on the calculated correlation value, and a parallax between the small area and the corresponding area is determined. Based on the candidate area, the candidate area is extracted from the identified candidate area, and the obstacle is detected based on the feature amount of the extracted obstacle candidate area. It is characterized by .

第2発明に係る障害物検出装置は、2つの撮像装置で取得したそれぞれの撮像画像を処理して障害物の存在を検出する障害物検出装置において、一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出する検出手段と、該検出手段で検出された隣接するエッジ点を結合したエッジグループを特定する手段と、該手段で特定されたエッジグループを囲む領域を小領域に分割する分割手段と、該分割手段で分割された小領域のうち、エッジ点を含む小領域毎に他方の撮像画像との間で相関値を算出する手段と、該手段で算出された相関値に基づいて、前記小領域に対応する対応領域を他方の撮像画像で特定する手段と、前記小領域と対応領域との視差に基づいて、撮像装置から撮像対象までの距離が略等しい候補領域を特定する特定手段と、該特定手段で特定された候補領域から障害物候補領域を抽出する抽出手段と、該抽出手段で抽出された障害物候補領域の特徴量に基づいて、障害物を検出する手段とを備えることを特徴とする。   An obstacle detection device according to a second invention is an obstacle detection device that detects the presence of an obstacle by processing the respective captured images acquired by the two imaging devices, and sets the pixel value of each pixel of one captured image. Based on detection means for detecting edge points, means for specifying edge groups obtained by combining adjacent edge points detected by the detection means, and a region surrounding the edge group specified by the means is divided into small areas. Dividing means, a means for calculating a correlation value with the other captured image for each small area including an edge point among the small areas divided by the dividing means, and a correlation value calculated by the means Based on the means for identifying the corresponding region corresponding to the small region with the other captured image and the parallax between the small region and the corresponding region, the candidate region is identified with a substantially equal distance from the imaging device to the imaging target Specific means to do Extraction means for extracting an obstacle candidate area from the candidate area specified by the specifying means, and means for detecting an obstacle based on the feature amount of the obstacle candidate area extracted by the extraction means. Features.

第3発明に係る障害物検出装置は、第2発明において、前記特定手段で特定された各候補領域を連結する手段と、前記候補領域夫々の視差に基づいて、連結された連結候補領域の視差の統計値を算出する手段と、該手段で算出された統計値が所定の統計閾値より小さいか否かを判定する手段とを備え、前記抽出手段は、前記統計値が前記統計閾値より小さいと判定された1又は複数の連結候補領域で構成される領域を障害物候補領域として抽出するように構成してあることを特徴とする。   The obstacle detection apparatus according to a third aspect of the present invention is the obstacle detection device according to the second aspect, wherein the parallax of the connected candidate areas connected based on the means for connecting the candidate areas specified by the specifying means and the parallax of each of the candidate areas And a means for determining whether or not the statistical value calculated by the means is smaller than a predetermined statistical threshold, and the extracting means is configured such that the statistical value is smaller than the statistical threshold. A region constituted by the determined one or a plurality of connection candidate regions is extracted as an obstacle candidate region.

第4発明に係る障害物検出システムは、車両前方を撮像する2つの撮像装置と、前述の発明のいずれかに係る障害物検出装置とを備え、前記撮像装置で撮像して得られた2つの撮像画像を前記障害物検出装置で処理して車両前方の障害物の存在を検出することを特徴とする。   An obstacle detection system according to a fourth aspect of the present invention includes two imaging devices that image the front of the vehicle and the obstacle detection device according to any one of the aforementioned inventions, and two obtained by imaging with the imaging device. The captured image is processed by the obstacle detection device to detect the presence of an obstacle ahead of the vehicle.

第1発明、第2発明及び第4発明にあっては、2つの撮像装置で撮像した撮像画像の一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出する。エッジ点検出のオペレータとしては、例えば、プルューウィット・オペレータを用いることができる。検出したエッジ点のうち隣接するエッジ点を結合したエッジグループを特定する。特定したエッジグループを囲む領域を小領域(ブロック)に分割する。例えば、エッジ画像における隣接するエッジ点をグループ化し、エッジグループを囲む矩形状の領域を特定し、その後、特定した領域を小領域に分割する。単純に隣接するエッジ点を結合するのみでは、異なる距離に存在する物体同士(例えば、歩行者と背景など)が結合する恐れがあるが、小領域に分割した後に距離情報を利用して再結合することにより、異なる距離に存在する物体を分離して検出することができる。分割した小領域(ブロック)のうち、エッジ点を含む小領域(以下、「エッジ領域」という。)を基準領域として、他方の撮像画像(参照画像)を検索し、相関値を算出する。参照画像中で相関値が最も大きい領域をエッジ領域に対応する対応領域として特定し、エッジ領域と対応領域との間の視差を算出する。エッジ領域毎に算出した視差に基づいて、撮像装置(例えば、2つの撮像装置の中間位置)から撮像対象までの距離が略等しいエッジ領域(候補領域)を1又は複数特定する。   In the first invention, the second invention, and the fourth invention, the edge point is detected based on the pixel value of each pixel of one of the picked-up images picked up by the two image pickup devices. As an operator for edge point detection, for example, a Pruit wit operator can be used. An edge group in which adjacent edge points are combined among the detected edge points is specified. An area surrounding the identified edge group is divided into small areas (blocks). For example, adjacent edge points in the edge image are grouped, a rectangular area surrounding the edge group is specified, and then the specified area is divided into small areas. By simply joining adjacent edge points, objects that exist at different distances (for example, pedestrians and backgrounds) may be joined, but they are recombined using distance information after being divided into small areas. By doing so, objects existing at different distances can be separated and detected. Among the divided small areas (blocks), a small area including an edge point (hereinafter referred to as “edge area”) is used as a reference area, and the other captured image (reference image) is searched to calculate a correlation value. The region having the largest correlation value in the reference image is specified as the corresponding region corresponding to the edge region, and the parallax between the edge region and the corresponding region is calculated. Based on the parallax calculated for each edge region, one or a plurality of edge regions (candidate regions) having substantially the same distance from the imaging device (for example, an intermediate position between the two imaging devices) to the imaging target are specified.

特定したエッジ領域(候補領域)から障害物候補領域を抽出する。障害物候補領域は、例えば、略等距離のエッジ領域同士を結合することにより抽出することができる。抽出した障害物候補領域の特徴量(例えば、領域の大きさ、形状など)に基づいて障害物を検出する。これにより、エッジ点を含まない小領域(ブロック)については検索処理を行わず、エッジ点が存在する部分だけを用いて検索処理を行うため、処理量を削減することがで
きる。また、エッジ点を含まない小領域は特徴が少なく検索誤りを生じやすいため、これらの小領域に対して検索処理を行わないことで、検索誤りを抑止することができる。さらに、歩行者又は動物などの障害物と背景との間に輝度差があればエッジ点を検出することができ、輝度差は夏場又は昼間でも生じるため、歩行者又は動物などの障害物の輝度が周辺の輝度より大きいという条件も不要であり、夏場又は昼間であっても、精度良く障害物を検出することができる。
An obstacle candidate area is extracted from the identified edge area (candidate area). The obstacle candidate area can be extracted by, for example, combining edge areas that are substantially equidistant. An obstacle is detected based on the extracted feature amount (for example, the size, shape, etc.) of the obstacle candidate area. As a result, the search process is not performed for the small area (block) that does not include the edge point, and the search process is performed using only the portion where the edge point exists, so that the processing amount can be reduced. In addition, since small areas that do not include edge points have few features and are likely to cause search errors, search errors can be suppressed by not performing search processing on these small areas. Furthermore, if there is a luminance difference between an obstacle such as a pedestrian or animal and the background, an edge point can be detected, and the luminance difference also occurs in summer or daytime, so the luminance of the obstacle such as a pedestrian or animal Is not necessary, and the obstacle can be detected with high accuracy even in summer or daytime.

第3発明及び第4発明にあっては、特定された各候補領域を連結し、候補領域夫々の視差に基づいて、連結された連結候補領域の視差の統計値(例えば、平均値)を算出する。算出された統計値が所定の第2閾値より小さいか否かを判定し、統計値が所定の第2閾値より小さいと判定された1又は複数の連結候補領域で構成される領域を障害物候補領域として抽出する。これより、複数の連結候補領域の中から、視差の統計値(すなわち、撮像対象までの距離)が略同じものだけを抽出することができ、距離の異なる連結候補領域を除外して、略等距離の連結候補領域で構成される障害物候補領域を精度良く抽出することができる。   In the third invention and the fourth invention, the identified candidate areas are connected, and a statistical value (for example, an average value) of the parallax of the linked candidate areas is calculated based on the parallax of each candidate area. To do. It is determined whether or not the calculated statistical value is smaller than a predetermined second threshold, and an area composed of one or a plurality of connection candidate areas determined that the statistical value is smaller than the predetermined second threshold is an obstacle candidate Extract as a region. As a result, it is possible to extract only those having the same statistical parallax value (that is, the distance to the imaging target) from among the plurality of connection candidate areas, excluding connection candidate areas having different distances, and the like. Obstacle candidate regions composed of distance connection candidate regions can be accurately extracted.

本発明にあっては、エッジ点を含まない小領域(ブロック)については検索処理を行わず、エッジ点が存在する部分だけを用いて検索処理を行うため、処理量を削減することができる。また、エッジ点を含まない小領域は特徴が少なく検索誤りを生じやすいため、これらの小領域に対して検索処理を行わないことで、検索誤りを抑止することができる。   In the present invention, the search process is not performed for small areas (blocks) that do not include edge points, and the search process is performed using only the portion where the edge points exist, so that the processing amount can be reduced. In addition, since small areas that do not include edge points have few features and are likely to cause search errors, search errors can be suppressed by not performing search processing on these small areas.

以下、本発明をその実施の形態を示す図面に基づいて説明する。なお、以下の実施の形態では、撮像装置で撮像された画像に基づいて車両の前方に存在する歩行者を検出する場合を例として説明するが、本発明は、歩行者以外に動物、駐車中の車両などの障害物を検出する場合にも適用することができ、また、赤外線撮像装置を用いることもできる。   Hereinafter, the present invention will be described with reference to the drawings illustrating embodiments thereof. In the following embodiments, a case where a pedestrian existing in front of a vehicle is detected based on an image captured by an imaging device will be described as an example. The present invention can also be applied to the case where an obstacle such as a vehicle is detected, and an infrared imaging device can also be used.

図1は本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、車両の前方を撮像する撮像装置1、1を、車室内のルームミラー近傍に並置している。なお、撮像装置1、1は、波長が0.4〜0.8μmの可視光を用いた撮像装置である。撮像装置1、1で撮像された画像データは、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して接続してある障害物検出装置3へ送信される。なお、2つの撮像装置1、1で共通の撮像領域を撮像することで、三角測量の原理により撮像対象までの距離(すなわち、両撮像画像における撮像対象の視差)を求めることができる。   FIG. 1 is a schematic diagram showing a configuration of an obstacle detection system according to an embodiment of the present invention. In the present embodiment, the imaging devices 1 and 1 that image the front of the vehicle are juxtaposed in the vicinity of the room mirror in the vehicle interior. The imaging devices 1 and 1 are imaging devices that use visible light having a wavelength of 0.4 to 0.8 μm. The image data captured by the imaging devices 1 and 1 is transmitted to the obstacle detection device 3 connected via the video cable 7 corresponding to an analog video system such as NTSC or a digital video system. In addition, by imaging the common imaging region between the two imaging devices 1 and 1, the distance to the imaging target (that is, the parallax of the imaging target in both captured images) can be obtained based on the principle of triangulation.

障害物検出装置3は、撮像装置1、1の他、操作部を備えた表示装置4とは、NTSC、VGA、DVI等の映像方式に対応したケーブル8を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置5等の出力装置とは、CANに準拠した車載LANケーブル6を介して接続されている。   The obstacle detection device 3 is connected to the imaging device 1 and the display device 4 provided with an operation unit via the cable 8 corresponding to a video system such as NTSC, VGA, DVI, etc. An output device such as an alarm device 5 that emits an audible warning by a sound effect or the like is connected via an in-vehicle LAN cable 6 compliant with CAN.

図2は撮像装置1の構成を示すブロック図である。画像撮像部11は、光学信号を電気信号に変換するCCD(Charge Couple Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子をマトリックス状に備えている。画像撮像部11は、車両の周囲の可視光像を電気信号として読み取り、読み取った電気信号を信号処理部12へ送信する。   FIG. 2 is a block diagram illustrating a configuration of the imaging apparatus 1. The image capturing unit 11 includes an image sensor such as a charge coupled device (CCD) or a complementary metal oxide semiconductor (CMOS) that converts an optical signal into an electric signal in a matrix. The image capturing unit 11 reads a visible light image around the vehicle as an electric signal, and transmits the read electric signal to the signal processing unit 12.

信号処理部12は、LSIであり、画像撮像部11から受信した電気信号をデジタル信号に変換し、画像データとして画像メモリ13へ記憶する。なお、画像データを画像メモ
リ13へ一時記憶することは必須ではなく、映像出力部14を介して直接障害物検出装置3へ送信しても良い。
The signal processing unit 12 is an LSI, converts an electrical signal received from the image capturing unit 11 into a digital signal, and stores the digital signal in the image memory 13 as image data. Note that it is not essential to temporarily store the image data in the image memory 13, and the image data may be transmitted directly to the obstacle detection device 3 via the video output unit 14.

映像出力部14は、LSIであり、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して障害物検出装置3に映像データを出力する。   The video output unit 14 is an LSI, and outputs video data to the obstacle detection device 3 via a video cable 7 compatible with an analog video system such as NTSC or a digital video system.

図3は障害物検出装置3の構成を示すブロック図である。障害物検出装置3は、LSI31、画像メモリ32、RAM33、映像入力部34、映像出力部35、通信インタフェース部36などを備えている。   FIG. 3 is a block diagram showing the configuration of the obstacle detection apparatus 3. The obstacle detection device 3 includes an LSI 31, an image memory 32, a RAM 33, a video input unit 34, a video output unit 35, a communication interface unit 36, and the like.

映像入力部34は、撮像装置1、1から映像信号の入力を行う。映像入力部34は、撮像装置1、1から入力された画像データを、1フレーム単位に同期させて画像メモリ32に記憶する。また、映像出力部35は、ケーブル8を介して液晶ディスプレイ等の表示装置4に対して画像データを出力し、通信インタフェース部36は、車載LANケーブル6を介してブザー、スピーカ、表示部等を備える警報装置5に対して合成音のための信号、文字表示のためのデータを送信する。歩行者が検出された場合、警報装置5で、例えば、「DANGER」なる文字を表示するとともに警告音を発するようにすることができる。また、検出された歩行者の画像を表示装置4で表示させることもできる。   The video input unit 34 inputs video signals from the imaging devices 1 and 1. The video input unit 34 stores the image data input from the imaging devices 1 and 1 in the image memory 32 in synchronization with each frame. The video output unit 35 outputs image data to the display device 4 such as a liquid crystal display via the cable 8, and the communication interface unit 36 outputs a buzzer, a speaker, a display unit, etc. via the in-vehicle LAN cable 6. A signal for synthesized sound and data for character display are transmitted to the alarm device 5 provided. When a pedestrian is detected, the alarm device 5 can display, for example, a letter “DANGER” and emit a warning sound. In addition, the detected pedestrian image can be displayed on the display device 4.

画像メモリ32は、SRAM、フラッシュメモリ、SDRAM等であり、映像入力部34を介して撮像装置1、1から入力された画像データを記憶する。   The image memory 32 is an SRAM, flash memory, SDRAM, or the like, and stores image data input from the imaging devices 1 and 1 via the video input unit 34.

LSI31は、画像メモリ32に記憶された画像データをフレーム単位で読み出し、読み出したフレーム単位の撮像画像(画像データ)に対して所定の画像処理を行う。例えば、LSI31は、一方の撮像画像におけるエッジ点検出処理、検出したエッジ点で構成されるエッジ画像で隣接するエッジ点をグループ化するエッジグループ化処理、エッジグループを囲む矩形領域をブロックに分割する分割処理、分割したブロックのうちエッジ点を含むものを基準領域として参照画像(他方の撮像画像)を検索して対応領域を特定する処理、基準領域と対応領域との視差に基づいて等距離ブロックをグループ化して歩行者候補領域を抽出する処理、特徴量などに基づいて歩行者判定を行う判定処理などを行う。LSI31での処理の詳細は後述する。   The LSI 31 reads out the image data stored in the image memory 32 in units of frames, and performs predetermined image processing on the read captured images (image data) in units of frames. For example, the LSI 31 detects an edge point in one captured image, an edge grouping process that groups adjacent edge points in an edge image composed of the detected edge points, and divides a rectangular region surrounding the edge group into blocks. Division processing, processing that searches a reference image (the other captured image) using a block including an edge point among the divided blocks to identify a corresponding region, and an equidistant block based on a parallax between the reference region and the corresponding region A process for extracting pedestrian candidate regions by grouping the pedestrians, a determination process for performing pedestrian determination based on feature amounts, and the like are performed. Details of processing in the LSI 31 will be described later.

次に本発明の障害物検出装置3の動作について説明する。なお、障害物として歩行者を検出する例について以下に説明する。図4は障害物検出装置3の歩行者検出処理の手順を示すフローチャートである。   Next, the operation of the obstacle detection device 3 of the present invention will be described. An example in which a pedestrian is detected as an obstacle will be described below. FIG. 4 is a flowchart showing the procedure of the pedestrian detection process of the obstacle detection device 3.

LSI31は、画像メモリ32に記憶してある画像データをフレーム単位で読み出し(S11)、読み出したフレーム単位の撮像画像のうちの一方の撮像画像(一方の撮像装置1で撮像して得られた撮像画像)の各画素の画素値(例えば、RGB値、輝度値など)に基づいてエッジ点を検出する(S12)。   The LSI 31 reads out image data stored in the image memory 32 in units of frames (S11), and picks up one of the read out images in units of frames (an image obtained by imaging with one imaging device 1). Edge points are detected based on pixel values (for example, RGB values, luminance values, etc.) of each pixel of the image (S12).

図5はエッジ点検出に用いられるオペレータの一例である。図5に示すオペレータは、プルューウィット・オペレータであり、主として撮像画像の縦方向のエッジ点を検出することができる。なお、エッジ点検出のオペレータは、これに限定されるものではなく、他のオペレータを用いてもよい。   FIG. 5 is an example of an operator used for edge point detection. The operator shown in FIG. 5 is a Pruit wit operator and can mainly detect the vertical edge point of the captured image. The edge point detection operator is not limited to this, and other operators may be used.

LSI31は、エッジ点を検出して得られたエッジ画像において、隣接するエッジ点をグループ化してエッジグループを抽出する(S13)。   The LSI 31 groups adjacent edge points in the edge image obtained by detecting the edge points, and extracts an edge group (S13).

図6はエッジグループの一例を示す説明図である。図6に示すように、エッジグループ
は隣接するエッジ点で構成され、連続する直線又は曲線で表される。図6では、一例として、エッジグループA1、A2、A3、A4、A5などが抽出されている。
FIG. 6 is an explanatory diagram showing an example of an edge group. As shown in FIG. 6, the edge group is composed of adjacent edge points and is represented by a continuous straight line or curve. In FIG. 6, edge groups A1, A2, A3, A4, A5, etc. are extracted as an example.

LSI31は、各エッジグループに外接する矩形領域を設定し、設定した矩形領域を所定の大きさ(例えば、4×4画素)のブロック(小領域)に分割する(S14)。また、LSI31は、分割したブロックの中でエッジ点が含まれるブロック(エッジ領域)を後述の相関値の算出のために特定する。なお、ブロックの大きさは、上述の例に限定されない。   The LSI 31 sets a rectangular area circumscribing each edge group, and divides the set rectangular area into blocks (small areas) having a predetermined size (for example, 4 × 4 pixels) (S14). Further, the LSI 31 specifies a block (edge region) including an edge point among the divided blocks for calculating a correlation value described later. The block size is not limited to the above example.

図7は分割されたブロックの例を示す説明図である。図7はエッジグループA1を分割した例を示すが、他のエッジグループについても同様である。図7に示すように、エッジグループA1は、3×5の15個のブロックに分割され、分割されたブロックのうち、エッジ点を含む7個のブロック(図7中模様があるブロック)が特定されている。   FIG. 7 is an explanatory diagram showing an example of divided blocks. Although FIG. 7 shows an example in which the edge group A1 is divided, the same applies to other edge groups. As shown in FIG. 7, edge group A1 is divided into 15 blocks of 3 × 5, and among the divided blocks, seven blocks including edge points (blocks with a pattern in FIG. 7) are identified. Has been.

LSI31は、エッジ領域を基準領域とし、他方の撮像画像(他方の撮像装置1で撮像して得られた撮像画像)を参照画像として、エッジ領域と対応する領域(対応領域)を参照画像内において特定する(S15)。具体的には、エッジ領域と同じサイズの領域(参照領域)を参照画像内に設定して相関計算を行い、最も高い相関値を与える参照領域を対応領域として特定する。相関値の算出は、例えば、式1で表される式に基づいて行われる。   The LSI 31 uses the edge region as a reference region, the other captured image (the captured image obtained by imaging with the other imaging device 1) as a reference image, and the region (corresponding region) corresponding to the edge region in the reference image. Specify (S15). Specifically, a correlation calculation is performed by setting an area (reference area) having the same size as the edge area in the reference image, and the reference area giving the highest correlation value is specified as the corresponding area. The calculation of the correlation value is performed based on, for example, an expression represented by Expression 1.

Figure 2008165595
Figure 2008165595

ここで、Nはエッジ領域及び参照領域における総画素数、kは零からN−1までの整数、Fkはエッジ領域内におけるk番目の画素の輝度値、Gkは参照領域におけるk番目の画素の輝度値、及びRは相関値を表す。なお、相関値の算出方法は、これに限定されるものではなく、絶対差分総和法、正規化相互相関法など、どのような方法であってもよい。   Here, N is the total number of pixels in the edge region and the reference region, k is an integer from 0 to N-1, Fk is the luminance value of the kth pixel in the edge region, and Gk is the kth pixel in the reference region. The luminance value and R represent a correlation value. The correlation value calculation method is not limited to this, and any method such as an absolute difference sum method or a normalized cross-correlation method may be used.

LSI31は、エッジ領域と特定した対応領域との視差を算出する(S16)。視差は、それぞれの撮像画像におけるエッジ領域又は対応領域の座標に基づいて算出することができる。   The LSI 31 calculates the parallax between the edge region and the identified corresponding region (S16). The parallax can be calculated based on the coordinates of the edge region or the corresponding region in each captured image.

図8はエッジ領域毎の視差の算出例を示す説明図である。図8に示すように、エッジ領域に対応する対応領域との視差(括弧内の数値)が算出されている。右上から左下に向かうエッジ領域毎に視差は、「5」、「9」、「11」、「10」、「9」、「10」、「11」である。   FIG. 8 is an explanatory diagram illustrating an example of calculating parallax for each edge region. As shown in FIG. 8, the parallax (a numerical value in parentheses) with the corresponding region corresponding to the edge region is calculated. The parallax for each edge region from the upper right to the lower left is “5”, “9”, “11”, “10”, “9”, “10”, “11”.

LSI31は、各エッジ領域の視差の差(差分)を第1閾値(例えば、「3」)と比較し、視差の差(差分)が第1閾値よりも小さいエッジ領域同士をグループ化し、新たなエッジグループを再抽出する(S17)。これにより、視差が「9」、「11」、「10」、「9」、「10」、「11」の各エッジ領域は、他のエッジ領域との視差の差が第1閾
値より小さいのでグループ化されるが、視差が「5」のエッジ領域は、他のエッジ領域との視差の差が第1閾値より大きいため除外される。ここで、視差の差が第1閾値より小さいということは、2つの撮像装置1、1で撮像された同じ撮像対象までの距離、より具体的には、2つの撮像装置1、1の光軸の中間位置から撮像対象までの距離が略等しいということである。
The LSI 31 compares the parallax difference (difference) between the edge areas with a first threshold (for example, “3”), groups edge areas where the parallax difference (difference) is smaller than the first threshold, Edge groups are re-extracted (S17). As a result, each of the edge regions with parallax “9”, “11”, “10”, “9”, “10”, “11” has a difference in parallax from the other edge regions is smaller than the first threshold value. Although grouped, an edge region having a parallax of “5” is excluded because a difference in parallax from other edge regions is larger than the first threshold value. Here, the fact that the difference in parallax is smaller than the first threshold means that the distance to the same imaging target imaged by the two imaging devices 1 and 1, more specifically, the optical axes of the two imaging devices 1 and 1. That is, the distance from the intermediate position to the imaging target is substantially equal.

図9は視差に基づいて再抽出されたエッジグループの例を示す説明図である。図9に示すように、エッジグループA1のうち、視差が「5」のエッジ領域(図中破線で示されたブロック)は、異なる距離に存在するため除外され、新たにエッジグループS1が抽出されている。なお、この場合、エッジ点を含まないブロックを除外して、新たにエッジグループS1を抽出する構成とすることもできる。これより、複数のブロックの中から、視差(すなわち、撮像対象までの距離)が略同じものだけを抽出することができ、距離が異なる撮像対象の一部が重なって撮像されたような場合であっても、距離の異なる撮像対象を除外して、略等距離のエッジグループだけを精度良く特定することができる。   FIG. 9 is an explanatory diagram illustrating an example of edge groups re-extracted based on parallax. As shown in FIG. 9, in the edge group A1, the edge regions (blocks indicated by broken lines in the figure) having a parallax of “5” are excluded because they exist at different distances, and a new edge group S1 is extracted. ing. In this case, a configuration in which a block that does not include an edge point is excluded and a new edge group S1 is extracted may be employed. As a result, it is possible to extract only those having substantially the same parallax (that is, the distance to the imaging target) from a plurality of blocks, and when a part of the imaging targets having different distances are overlapped and captured. Even in such a case, it is possible to accurately specify only edge groups that are substantially equidistant by excluding imaging targets having different distances.

LSI31は、新たに再抽出したエッジグループS1の視差を、各エッジ領域の視差を平均化した平均値により算出する(S18)。なお、平均値に代えて最頻値、中間値などの他の統計値を算出するようにしてもよい。また、LSI31は、他のエッジグループA2、A3、…についても、上述の処理を行うことで、エッジグループS2、S3、…を再抽出する。   The LSI 31 calculates the parallax of the newly re-extracted edge group S1 based on the average value obtained by averaging the parallax of each edge region (S18). Instead of the average value, other statistical values such as the mode value and the intermediate value may be calculated. Also, the LSI 31 re-extracts the edge groups S2, S3,... By performing the above-described processing for the other edge groups A2, A3,.

前述の図8でグループ化されたエッジ領域の視差が、それぞれ「9」、「11」、「10」、「9」、「10」、「11」であるから、図9に示すように、エッジグループS1の視差は、各視差の平均値である「10」となる。   Since the parallaxes of the edge regions grouped in FIG. 8 are “9”, “11”, “10”, “9”, “10”, and “11”, respectively, as shown in FIG. The parallax of the edge group S1 is “10”, which is the average value of the parallaxes.

図10は抽出されたすべてのエッジグループの例を示す説明図である。図に示すように、エッジグループS1、S2、…、S10が抽出され、各エッジグループの視差は括弧内の数値で示される値である。   FIG. 10 is an explanatory diagram showing examples of all extracted edge groups. As shown in the figure, edge groups S1, S2,..., S10 are extracted, and the parallax of each edge group is a value indicated by a numerical value in parentheses.

LSI31は、再抽出されたエッジグループ同士の視差を比較し、視差の差が第2閾値(例えば、「4」)以下のエッジグループ同士をグループ化し、歩行者候補領域として抽出する(S19)。この際、撮像画像中の歩行者の大きさと視差(歩行者までの距離)との間には相関関係があるため、グループ化してしまうと歩行者の大きさとして不適切になるエッジグループ同士はグループ化せず、それぞれ別個の歩行者候補領域として抽出する。   The LSI 31 compares the parallax between the re-extracted edge groups, groups the edge groups whose parallax difference is equal to or smaller than a second threshold (for example, “4”), and extracts the pedestrian candidate areas (S19). At this time, since there is a correlation between the size of the pedestrian in the captured image and the parallax (distance to the pedestrian), the edge groups that become inappropriate as the size of the pedestrian when grouped are Extract as separate pedestrian candidate areas without grouping.

図11は歩行者候補領域の抽出例を示す説明図である。図10において抽出されたエッジグループのうち、エッジグループS1、S2、S3、S4、S5の視差が、それぞれ「10」、「11」、「11」、「10」、「9」であり、これらのエッジグループ同士がグループ化されて歩行者候補領域V1が抽出されている。また、エッジグループS6、S7、S8、S9の視差が、それぞれ「10」、「10」、「11」、「12」であり、これらのエッジグループ同士がグループ化されて歩行者候補領域V2が抽出されている。   FIG. 11 is an explanatory diagram illustrating an example of extraction of pedestrian candidate regions. Among the edge groups extracted in FIG. 10, the parallaxes of the edge groups S1, S2, S3, S4, and S5 are “10”, “11”, “11”, “10”, and “9”, respectively. The edge groups are grouped and the pedestrian candidate area V1 is extracted. Further, the parallaxes of the edge groups S6, S7, S8, and S9 are “10”, “10”, “11”, and “12”, respectively, and these edge groups are grouped to form a pedestrian candidate region V2. Has been extracted.

エッジグループS1、S2、S3、S4、S5の視差と、エッジグループS6、S7、S8、S9の視差とは、視差の差が小さいが、両者をグループ化した場合の歩行者候補領域は歩行者のサイズとして不適切であるため、別個の歩行者候補領域として抽出されている。また、エッジグループS10の視差は「16」であり、他のエッジグループの視差との差が大きいため、距離が異なる撮像対象であるとして別個の歩行者候補領域として抽出されている。なお、歩行者候補領域を抽出する場合、エッジグループを包含する領域を歩行者候補領域として抽出してもよく、また、エッジグループをすべて包含することなく、
エッジグループ全体の形状に応じて、所定の輪郭で構成される領域を歩行者候補領域として抽出することもできる。
The parallax of the edge groups S1, S2, S3, S4, and S5 and the parallax of the edge groups S6, S7, S8, and S9 have a small difference in parallax, but the pedestrian candidate area when both are grouped is a pedestrian Since the size is inappropriate, it is extracted as a separate pedestrian candidate area. Further, the parallax of the edge group S10 is “16”, and since the difference from the parallax of the other edge groups is large, it is extracted as a separate pedestrian candidate area as an imaging target having a different distance. In addition, when extracting a pedestrian candidate area | region, you may extract the area | region containing an edge group as a pedestrian candidate area | region, and without including all edge groups,
Depending on the shape of the entire edge group, an area composed of a predetermined contour can be extracted as a pedestrian candidate area.

LSI31は、抽出された歩行者候補領域の特徴量(例えば、形状、大きさなど)を抽出し、抽出した特徴量に基づいて歩行者判定を行い(S20)、歩行者として適した特徴量を持つ歩行者候補領域を歩行者として検出する。なお、歩行者判定の処理には、例えば、サポートベクタマシン(SVM)、ブースティング(Boosting)など学習アルゴリズムを用いることができる。LSI31は、歩行者を検出した場合には、表示装置4に検出した歩行者を、例えば、矩形状の枠で囲んで強調表示することができる。あるいは、警報装置5で警告文字の表示及び警告音を発するように制御する。なお、抽出されるエッジグループ、特定されるエッジ領域、抽出される歩行者候補領域は、複数に限らず1個の場合もある。   The LSI 31 extracts a feature amount (for example, shape, size, etc.) of the extracted pedestrian candidate area, performs pedestrian determination based on the extracted feature amount (S20), and determines a feature amount suitable for a pedestrian. The pedestrian candidate area that is held is detected as a pedestrian. Note that a learning algorithm such as support vector machine (SVM) or boosting can be used for the pedestrian determination process. When detecting a pedestrian, the LSI 31 can highlight the pedestrian detected on the display device 4 by surrounding it with a rectangular frame, for example. Alternatively, the alarm device 5 is controlled to display a warning character and generate a warning sound. The extracted edge group, the specified edge region, and the extracted pedestrian candidate region are not limited to a plurality, and may be one.

以上説明したように、本発明にあっては、エッジ点を含まないブロックについては検索処理を行わず、エッジ点が存在するブロックだけを用いて検索処理を行うため、処理量を削減することができる。また、エッジ点を含まない小領域は特徴が少なく検索誤りを生じやすいため、これらの小領域に対して検索処理を行わないことで、検索誤りを抑止することができる。また、歩行者又は動物などの障害物と背景との間に輝度差があればエッジ点を検出することができ、輝度差は夏場又は昼間でも生じるため、歩行者又は動物などの障害物の輝度が周辺の輝度より大きいという条件も不要であり、夏場又は昼間であっても、精度良く障害物を検出することができる。また、距離が異なる撮像対象の一部が重なって撮像されたような場合であっても、距離の異なる撮像対象を分離して、略等距離のブロックだけを精度良く特定することができるとともに、複数のブロックをグループ化したエッジグループのうち、距離の異なるエッジグループを分離して、略等距離のエッジグループで構成される障害物候補領域(歩行者候補領域)を精度良く抽出することができる。   As described above, in the present invention, search processing is not performed for blocks that do not include edge points, and search processing is performed using only blocks that have edge points, so that the amount of processing can be reduced. it can. In addition, since small areas that do not include edge points have few features and are likely to cause search errors, search errors can be suppressed by not performing search processing on these small areas. In addition, if there is a luminance difference between an obstacle such as a pedestrian or animal and the background, an edge point can be detected, and the luminance difference also occurs in summer or daytime, so the luminance of the obstacle such as a pedestrian or animal Is not necessary, and the obstacle can be detected with high accuracy even in summer or daytime. In addition, even when a part of imaging targets with different distances are overlapped and imaged, it is possible to separate imaging targets with different distances and accurately specify only substantially equidistant blocks, Among edge groups in which a plurality of blocks are grouped, edge groups with different distances can be separated, and obstacle candidate regions (pedestrian candidate regions) composed of substantially equal distance edge groups can be accurately extracted. .

上述の実施の形態では、歩行者を検出する場合の例について説明したが、検出する障害物は歩行者に限定されるものではなく、動物、他の車両、道路上の異物などの障害物であっても、本発明を適用することができる。   In the above-described embodiment, an example in the case of detecting a pedestrian has been described. However, the obstacle to be detected is not limited to a pedestrian, but is an obstacle such as an animal, another vehicle, or a foreign object on a road. Even if it exists, this invention is applicable.

上述の実施の形態では、可視光の撮像装置を用いる構成であったが、撮像装置はこれに限定されるものではなく、近赤外線、遠赤外線の撮像装置を用いる構成でもよい。近赤外線の撮像装置では、波長が0.8〜3μmの近赤外光を取得し、遠赤外線の撮像装置では、波長が8〜12μmの遠赤外線を取得する。また、撮像装置の設置場所は、ルームミラー近傍に限定されず、バンパ内、フロントグリル内部などに設置することができる。   In the above embodiment, the visible light imaging device is used. However, the imaging device is not limited to this, and a configuration using a near infrared or far infrared imaging device may be used. A near-infrared imaging device acquires near-infrared light having a wavelength of 0.8 to 3 μm, and a far-infrared imaging device acquires far-infrared light having a wavelength of 8 to 12 μm. Further, the installation location of the imaging device is not limited to the vicinity of the rearview mirror, and can be installed in a bumper, a front grill, or the like.

本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。It is a mimetic diagram showing composition of an obstacle detection system concerning an embodiment of the invention. 撮像装置の構成を示すブロック図である。It is a block diagram which shows the structure of an imaging device. 障害物検出装置の構成を示すブロック図である。It is a block diagram which shows the structure of an obstruction detection apparatus. 障害物検出装置の歩行者検出処理の手順を示すフローチャートである。It is a flowchart which shows the procedure of the pedestrian detection process of an obstruction detection apparatus. エッジ点検出に用いられるオペレータの一例である。It is an example of an operator used for edge point detection. エッジグループの一例を示す説明図である。It is explanatory drawing which shows an example of an edge group. 分割されたブロックの例を示す説明図である。It is explanatory drawing which shows the example of the divided | segmented block. エッジ領域毎の視差の算出例を示す説明図である。It is explanatory drawing which shows the example of calculation of the parallax for every edge area | region. 視差に基づいて再抽出されたエッジグループの例を示す説明図である。It is explanatory drawing which shows the example of the edge group re-extracted based on parallax. 抽出されたすべてのエッジグループの例を示す説明図である。It is explanatory drawing which shows the example of all the extracted edge groups. 歩行者候補領域の抽出例を示す説明図である。It is explanatory drawing which shows the example of extraction of a pedestrian candidate area | region.

符号の説明Explanation of symbols

1 撮像装置
3 障害物検出装置
4 表示装置
5 警報装置
31 LSI
32 画像メモリ
33 RAM
34 映像入力部
35 映像出力部
36 通信インタフェース部
DESCRIPTION OF SYMBOLS 1 Imaging device 3 Obstacle detection device 4 Display device 5 Alarm device 31 LSI
32 Image memory 33 RAM
34 Video Input Unit 35 Video Output Unit 36 Communication Interface Unit

Claims (4)

2つの撮像装置で取得したそれぞれの撮像画像を処理して障害物の存在を検出する障害物検出方法において、
一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出し、
隣接するエッジ点を結合したエッジグループを特定し、
特定したエッジグループを囲む領域を小領域に分割し、
分割した小領域のうち、エッジ点を含む小領域毎に他方の撮像画像との間で相関値を算出し、
算出した相関値に基づいて、前記小領域に対応する対応領域を他方の撮像画像で特定し、
前記小領域と対応領域との視差に基づいて、撮像装置から撮像対象までの距離が略等しい候補領域を特定し、
特定した候補領域から障害物候補領域を抽出し、
抽出した障害物候補領域の特徴量に基づいて障害物を検出することを特徴とする障害物検出方法。
In the obstacle detection method for detecting the presence of an obstacle by processing each captured image acquired by two imaging devices,
An edge point is detected based on the pixel value of each pixel of one captured image,
Identify edge groups that combine adjacent edge points,
Divide the area surrounding the identified edge group into small areas,
Of the divided small areas, calculate a correlation value with the other captured image for each small area including an edge point,
Based on the calculated correlation value, the corresponding area corresponding to the small area is specified in the other captured image,
Based on the parallax between the small area and the corresponding area, identify candidate areas having substantially the same distance from the imaging device to the imaging target;
Extract obstacle candidate areas from the identified candidate areas,
An obstacle detection method characterized by detecting an obstacle based on a feature amount of an extracted obstacle candidate region.
2つの撮像装置で取得したそれぞれの撮像画像を処理して障害物の存在を検出する障害物検出装置において、
一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出する検出手段と、
該検出手段で検出された隣接するエッジ点を結合したエッジグループを特定する手段と、
該手段で特定されたエッジグループを囲む領域を小領域に分割する分割手段と、
該分割手段で分割された小領域のうち、エッジ点を含む小領域毎に他方の撮像画像との間で相関値を算出する手段と、
該手段で算出された相関値に基づいて、前記小領域に対応する対応領域を他方の撮像画像で特定する手段と、
前記小領域と対応領域との視差に基づいて、撮像装置から撮像対象までの距離が略等しい候補領域を特定する特定手段と、
該特定手段で特定された候補領域から障害物候補領域を抽出する抽出手段と、
該抽出手段で抽出された障害物候補領域の特徴量に基づいて、障害物を検出する手段と
を備えることを特徴とする障害物検出装置。
In the obstacle detection device that detects the presence of an obstacle by processing each captured image acquired by two imaging devices,
Detection means for detecting an edge point based on the pixel value of each pixel of one captured image;
Means for specifying an edge group obtained by combining adjacent edge points detected by the detection means;
Dividing means for dividing an area surrounding the edge group specified by the means into small areas;
Means for calculating a correlation value with the other captured image for each small region including an edge point among the small regions divided by the dividing unit;
Means for identifying a corresponding area corresponding to the small area in the other captured image based on the correlation value calculated by the means;
Identifying means for identifying candidate areas having substantially the same distance from the imaging device to the imaging target based on the parallax between the small area and the corresponding area;
Extracting means for extracting an obstacle candidate area from the candidate area specified by the specifying means;
An obstacle detection apparatus comprising: means for detecting an obstacle based on the feature amount of the obstacle candidate area extracted by the extraction means.
前記特定手段で特定された各候補領域を連結する手段と、
前記候補領域夫々の視差に基づいて、連結された連結候補領域の視差の統計値を算出する手段と、
該手段で算出された統計値が所定の統計閾値より小さいか否かを判定する手段と
を備え、
前記抽出手段は、
前記統計値が前記統計閾値より小さいと判定された1又は複数の連結候補領域で構成される領域を障害物候補領域として抽出するように構成してあることを特徴とする請求項2に記載の障害物検出装置。
Means for connecting the candidate regions identified by the identifying means;
Means for calculating a statistical value of the parallax of linked candidate regions based on the parallax of each of the candidate regions;
Means for determining whether or not the statistical value calculated by the means is smaller than a predetermined statistical threshold,
The extraction means includes
The region configured by one or a plurality of connection candidate regions determined to have the statistical value smaller than the statistical threshold value is configured to be extracted as an obstacle candidate region. Obstacle detection device.
車両前方を撮像する2つの撮像装置と、請求項2又は請求項3に記載の障害物検出装置とを備え、前記撮像装置で撮像して得られた2つの撮像画像を前記障害物検出装置で処理して車両前方の障害物の存在を検出することを特徴とする障害物検出システム。   Two imaging devices that image the front of the vehicle and the obstacle detection device according to claim 2 or 3 are provided, and two captured images obtained by imaging with the imaging device are captured by the obstacle detection device. An obstacle detection system characterized by processing to detect the presence of an obstacle ahead of the vehicle.
JP2006355841A 2006-12-28 2006-12-28 Obstacle detection method, obstacle detection device, obstacle detection system Pending JP2008165595A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006355841A JP2008165595A (en) 2006-12-28 2006-12-28 Obstacle detection method, obstacle detection device, obstacle detection system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006355841A JP2008165595A (en) 2006-12-28 2006-12-28 Obstacle detection method, obstacle detection device, obstacle detection system

Publications (1)

Publication Number Publication Date
JP2008165595A true JP2008165595A (en) 2008-07-17

Family

ID=39694978

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006355841A Pending JP2008165595A (en) 2006-12-28 2006-12-28 Obstacle detection method, obstacle detection device, obstacle detection system

Country Status (1)

Country Link
JP (1) JP2008165595A (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010123019A (en) * 2008-11-21 2010-06-03 Fujitsu Ltd Device and method for recognizing motion
JP2011003834A (en) * 2009-06-22 2011-01-06 Toyota Motor Corp Solar cell module
JP2012063217A (en) * 2010-09-15 2012-03-29 Sharp Corp Passive type optical range finding sensor, electronic apparatus and range finding method
JP2013516014A (en) * 2009-12-28 2013-05-09 ソフトキネティック ソフトウェア Tracking method
JP2013109760A (en) * 2011-11-18 2013-06-06 Ricoh Co Ltd Target detection method and target detection system
KR101611288B1 (en) 2014-12-02 2016-04-11 재단법인대구경북과학기술원 Object identification method using predefined patch position by feature and object identification apparatus thereof
CN113962987A (en) * 2021-11-30 2022-01-21 珠海一微半导体股份有限公司 Obstacle detection method, image acquisition device and robot

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010123019A (en) * 2008-11-21 2010-06-03 Fujitsu Ltd Device and method for recognizing motion
JP2011003834A (en) * 2009-06-22 2011-01-06 Toyota Motor Corp Solar cell module
JP2013516014A (en) * 2009-12-28 2013-05-09 ソフトキネティック ソフトウェア Tracking method
US8891825B2 (en) 2009-12-28 2014-11-18 Softkinetic Software Tracking method
JP2012063217A (en) * 2010-09-15 2012-03-29 Sharp Corp Passive type optical range finding sensor, electronic apparatus and range finding method
JP2013109760A (en) * 2011-11-18 2013-06-06 Ricoh Co Ltd Target detection method and target detection system
KR101611288B1 (en) 2014-12-02 2016-04-11 재단법인대구경북과학기술원 Object identification method using predefined patch position by feature and object identification apparatus thereof
CN113962987A (en) * 2021-11-30 2022-01-21 珠海一微半导体股份有限公司 Obstacle detection method, image acquisition device and robot

Similar Documents

Publication Publication Date Title
JP5663352B2 (en) Image processing apparatus, image processing method, and image processing program
CN107273788B (en) Imaging systems that perform lane detection in vehicles vs. vehicle imaging systems
JP6554169B2 (en) Object recognition device and object recognition system
US20180114078A1 (en) Vehicle detection device, vehicle detection system, and vehicle detection method
KR101439052B1 (en) Apparatus and method for detecting obstacle
JP5760090B2 (en) Biological recognition device
CN109196304B (en) Object distance detection device
JPWO2011108218A1 (en) Vehicle periphery monitoring device
WO2018101247A1 (en) Image recognition imaging apparatus
US20200320314A1 (en) Road object recognition method and device using stereo camera
JP2008174028A (en) Object detection system and object detection method
CN104184938A (en) Image processing apparatus, image processing method and program
JP6617150B2 (en) Object detection method and object detection apparatus
JP4173902B2 (en) Vehicle periphery monitoring device
KR101236223B1 (en) Method for detecting traffic lane
JP2008165595A (en) Obstacle detection method, obstacle detection device, obstacle detection system
JP4528283B2 (en) Vehicle periphery monitoring device
JP2011103058A (en) Erroneous recognition prevention device
JP2008286648A (en) Distance measuring device, distance measuring system, distance measuring method
KR20200072590A (en) Method And Apparatus for Detection of Parking Loss for Automatic Parking
JP2008026998A (en) Obstacle position calculation system and obstacle position calculation method
KR101501531B1 (en) Stereo Vision-based Pedestrian Detection System and the method of
JP2014067320A (en) Stereo camera device
JP2006318059A (en) Apparatus, method, and program for image processing
JP2008026999A (en) Obstacle detection system and obstacle detection method