JP2008165595A - Obstacle detection method, obstacle detection device, obstacle detection system - Google Patents
Obstacle detection method, obstacle detection device, obstacle detection system Download PDFInfo
- Publication number
- JP2008165595A JP2008165595A JP2006355841A JP2006355841A JP2008165595A JP 2008165595 A JP2008165595 A JP 2008165595A JP 2006355841 A JP2006355841 A JP 2006355841A JP 2006355841 A JP2006355841 A JP 2006355841A JP 2008165595 A JP2008165595 A JP 2008165595A
- Authority
- JP
- Japan
- Prior art keywords
- obstacle
- edge
- candidate
- area
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 54
- 238000003384 imaging method Methods 0.000 claims abstract description 58
- 238000012545 processing Methods 0.000 claims abstract description 28
- 239000000284 extract Substances 0.000 claims abstract description 11
- 238000000605 extraction Methods 0.000 claims description 6
- 238000000034 method Methods 0.000 description 15
- 238000010586 diagram Methods 0.000 description 12
- 241001465754 Metazoa Species 0.000 description 11
- 238000004364 calculation method Methods 0.000 description 6
- 238000004891 communication Methods 0.000 description 3
- 238000003331 infrared imaging Methods 0.000 description 3
- 238000012806 monitoring device Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000000295 complement effect Effects 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000009434 installation Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 229910044991 metal oxide Inorganic materials 0.000 description 1
- 150000004706 metal oxides Chemical class 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000003333 near-infrared imaging Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
Images
Landscapes
- Measurement Of Optical Distance (AREA)
- Closed-Circuit Television Systems (AREA)
- Traffic Control Systems (AREA)
Abstract
【課題】夏場又は昼間に拘わらず歩行者などの障害物を精度良く検出し、処理量を従来よりも削減できる障害物検出方法、障害物検出装置、障害物検出システムを提供する。
【解決手段】LSI31は、一方の撮像画像でエッジ点を複数検出し、検出した各エッジ点を囲む領域夫々をブロックに分割する。LSI31は、分割したブロックのうち、エッジ点を含むエッジ領域を基準領域として、他方の撮像画像を検索して相関値を算出する。LSI31は、相関値が最も大きい領域を対応領域として特定し、エッジ領域と対応領域との間の視差を算出する。LSI31は、算出した視差に基づいて、撮像装置1から撮像対象までの距離が略等しい候補領域を特定する。LSI31は、以上の処理をエッジ領域毎に行って複数の候補領域を特定し、特定した複数の候補領域で構成される障害物候補領域を抽出し、抽出した障害物候補領域の特徴量に基づいて障害物を検出する。
【選択図】図3An obstacle detection method, an obstacle detection device, and an obstacle detection system capable of accurately detecting an obstacle such as a pedestrian regardless of summer or daytime and reducing the processing amount as compared with the conventional one.
An LSI detects a plurality of edge points in one captured image, and divides each area surrounding each detected edge point into blocks. The LSI 31 calculates the correlation value by searching the other captured image using the edge area including the edge point as a reference area among the divided blocks. The LSI 31 specifies the region having the largest correlation value as the corresponding region, and calculates the parallax between the edge region and the corresponding region. The LSI 31 specifies a candidate area having substantially the same distance from the imaging device 1 to the imaging target based on the calculated parallax. The LSI 31 performs the above processing for each edge region to identify a plurality of candidate regions, extracts an obstacle candidate region composed of the identified plurality of candidate regions, and based on the extracted feature amount of the obstacle candidate region To detect obstacles.
[Selection] Figure 3
Description
本発明は、車両の周辺(例えば、前方)を撮像して得られた撮像画像を処理して歩行者、駐車車両などの障害物を検出する障害物検出方法、障害物検出装置、及び該障害物検出装置を備える障害物検出システムに関する。 The present invention relates to an obstacle detection method, an obstacle detection device, and an obstacle for detecting an obstacle such as a pedestrian and a parked vehicle by processing a captured image obtained by imaging the periphery (for example, the front) of the vehicle. The present invention relates to an obstacle detection system including an object detection device.
自動車などの車両に遠赤外線に感度を持つビデオカメラを搭載し、ビデオカメラで撮像した画像を二値化処理し、二値化処理した対象物までの距離を算出して車両前方の歩行者、動物などを抽出する車両周辺監視装置が提案されている(特許文献1参照)。 A video camera sensitive to far infrared rays is mounted on a vehicle such as an automobile, the image captured by the video camera is binarized, the distance to the binarized object is calculated, and a pedestrian in front of the vehicle, A vehicle periphery monitoring device that extracts animals and the like has been proposed (see Patent Document 1).
また、2つのカメラで撮像した画像の一方の画像を一定サイズのブロックに分割し、各ブロックを基準領域として他方の画像(参照画像)を検索し相関値を算出して、最も相関値が大きい対応領域を抽出し、基準領域と対応領域との視差を算出して、等距離ブロックをグループ化して歩行者を抽出する装置が提案されている(特許文献2参照)。
特許文献1の車両周辺監視装置にあっては、歩行者又は動物が車両周辺よりも温度が高いということを前提として、二値化閾値を設定して二値化処理を行うことにより歩行者等を抽出している。しかし、夏場又は昼間などにおいては、歩行者又は動物に比べて周囲の建物などの温度が高くなることが多く、二値化処理した場合に、歩行者又は動物が二値化閾値以上の輝度を有しないため、歩行者又は動物を精度良く抽出することができないという問題がある。
In the vehicle periphery monitoring device of
また、特許文献2の装置にあっては、ブロックを基準領域として他方の画像を検索する場合、画像全体のブロックについて検索処理を行う必要があり、相関値の算出、視差の算出などの処理量が膨大になるという問題がある。また、一方の画像をブロックに分割する場合に、単に機械的に画像を分割しているため、ブロック内の輝度が一様で特徴の少ないブロックを基準領域として検索を行った場合、参照画像中で対応領域の候補が複数抽出される可能性があり、精度良く歩行者を抽出することができないという問題がある。 Further, in the apparatus of Patent Document 2, when searching for the other image using a block as a reference area, it is necessary to perform search processing for the block of the entire image, and the amount of processing such as calculation of correlation values, calculation of parallax, etc. There is a problem that becomes enormous. In addition, when one image is divided into blocks, the image is simply mechanically divided. Therefore, when a block having a uniform luminance and a small feature in the block is used as a reference area, Therefore, there is a possibility that a plurality of corresponding area candidates may be extracted, and there is a problem that it is impossible to accurately extract a pedestrian.
本発明は、斯かる事情に鑑みてなされたものであり、2つの撮像装置で撮像した撮像画像の一方の撮像画像でエッジ点を検出し、エッジ点を含むブロック(小領域)を基準領域として他方の撮像画像(参照画像)を検索して対応領域を特定し、両者の視差に基づいて等距離のブロックをグループ化して障害物を検出することにより、夏場又は昼間に拘わらず歩行者、動物、駐車車両などの障害物を精度良く検出することができるとともに、処理量を従来よりも大幅に削減することができる障害物検出方法、障害物検出装置、及び該障害物検出装置を備える障害物検出システムを提供することを目的とする。 The present invention has been made in view of such circumstances, and an edge point is detected from one captured image captured by two imaging devices, and a block (small region) including the edge point is used as a reference region. Pedestrians and animals regardless of summer or daytime by searching the other captured image (reference image), identifying the corresponding area, and grouping equidistant blocks based on the parallax between them to detect obstacles An obstacle detection method, an obstacle detection device, and an obstacle including the obstacle detection device that can accurately detect an obstacle such as a parked vehicle and can significantly reduce the amount of processing compared to conventional methods. An object is to provide a detection system.
第1発明に係る障害物検出方法は、2つの撮像装置で取得したそれぞれの撮像画像を処理して障害物の存在を検出する障害物検出方法において、一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出し、隣接するエッジ点を結合したエッジグループを特定し、特定したエッジグループを囲む領域を小領域に分割し、分割した小領域のうち、エッジ点を含む小領域毎に他方の撮像画像との間で相関値を算出し、算出した相関値に基づいて
、前記小領域に対応する対応領域を他方の撮像画像で特定し、前記小領域と対応領域との視差に基づいて、撮像装置から撮像対象までの距離が略等しい候補領域を特定し、特定した候補領域から障害物候補領域を抽出し、抽出した障害物候補領域の特徴量に基づいて障害物を検出することを特徴とする。
The obstacle detection method according to the first aspect of the present invention is an obstacle detection method for detecting the presence of an obstacle by processing each captured image acquired by two imaging devices. Based on this, the edge point is detected, the edge group connecting the adjacent edge points is identified, the area surrounding the identified edge group is divided into small areas, and each small area including the edge point is divided among the divided small areas. A correlation value is calculated between the other captured image and a corresponding area corresponding to the small area is identified by the other captured image based on the calculated correlation value, and a parallax between the small area and the corresponding area is determined. Based on the candidate area, the candidate area is extracted from the identified candidate area, and the obstacle is detected based on the feature amount of the extracted obstacle candidate area. It is characterized by .
第2発明に係る障害物検出装置は、2つの撮像装置で取得したそれぞれの撮像画像を処理して障害物の存在を検出する障害物検出装置において、一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出する検出手段と、該検出手段で検出された隣接するエッジ点を結合したエッジグループを特定する手段と、該手段で特定されたエッジグループを囲む領域を小領域に分割する分割手段と、該分割手段で分割された小領域のうち、エッジ点を含む小領域毎に他方の撮像画像との間で相関値を算出する手段と、該手段で算出された相関値に基づいて、前記小領域に対応する対応領域を他方の撮像画像で特定する手段と、前記小領域と対応領域との視差に基づいて、撮像装置から撮像対象までの距離が略等しい候補領域を特定する特定手段と、該特定手段で特定された候補領域から障害物候補領域を抽出する抽出手段と、該抽出手段で抽出された障害物候補領域の特徴量に基づいて、障害物を検出する手段とを備えることを特徴とする。 An obstacle detection device according to a second invention is an obstacle detection device that detects the presence of an obstacle by processing the respective captured images acquired by the two imaging devices, and sets the pixel value of each pixel of one captured image. Based on detection means for detecting edge points, means for specifying edge groups obtained by combining adjacent edge points detected by the detection means, and a region surrounding the edge group specified by the means is divided into small areas. Dividing means, a means for calculating a correlation value with the other captured image for each small area including an edge point among the small areas divided by the dividing means, and a correlation value calculated by the means Based on the means for identifying the corresponding region corresponding to the small region with the other captured image and the parallax between the small region and the corresponding region, the candidate region is identified with a substantially equal distance from the imaging device to the imaging target Specific means to do Extraction means for extracting an obstacle candidate area from the candidate area specified by the specifying means, and means for detecting an obstacle based on the feature amount of the obstacle candidate area extracted by the extraction means. Features.
第3発明に係る障害物検出装置は、第2発明において、前記特定手段で特定された各候補領域を連結する手段と、前記候補領域夫々の視差に基づいて、連結された連結候補領域の視差の統計値を算出する手段と、該手段で算出された統計値が所定の統計閾値より小さいか否かを判定する手段とを備え、前記抽出手段は、前記統計値が前記統計閾値より小さいと判定された1又は複数の連結候補領域で構成される領域を障害物候補領域として抽出するように構成してあることを特徴とする。 The obstacle detection apparatus according to a third aspect of the present invention is the obstacle detection device according to the second aspect, wherein the parallax of the connected candidate areas connected based on the means for connecting the candidate areas specified by the specifying means and the parallax of each of the candidate areas And a means for determining whether or not the statistical value calculated by the means is smaller than a predetermined statistical threshold, and the extracting means is configured such that the statistical value is smaller than the statistical threshold. A region constituted by the determined one or a plurality of connection candidate regions is extracted as an obstacle candidate region.
第4発明に係る障害物検出システムは、車両前方を撮像する2つの撮像装置と、前述の発明のいずれかに係る障害物検出装置とを備え、前記撮像装置で撮像して得られた2つの撮像画像を前記障害物検出装置で処理して車両前方の障害物の存在を検出することを特徴とする。 An obstacle detection system according to a fourth aspect of the present invention includes two imaging devices that image the front of the vehicle and the obstacle detection device according to any one of the aforementioned inventions, and two obtained by imaging with the imaging device. The captured image is processed by the obstacle detection device to detect the presence of an obstacle ahead of the vehicle.
第1発明、第2発明及び第4発明にあっては、2つの撮像装置で撮像した撮像画像の一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出する。エッジ点検出のオペレータとしては、例えば、プルューウィット・オペレータを用いることができる。検出したエッジ点のうち隣接するエッジ点を結合したエッジグループを特定する。特定したエッジグループを囲む領域を小領域(ブロック)に分割する。例えば、エッジ画像における隣接するエッジ点をグループ化し、エッジグループを囲む矩形状の領域を特定し、その後、特定した領域を小領域に分割する。単純に隣接するエッジ点を結合するのみでは、異なる距離に存在する物体同士(例えば、歩行者と背景など)が結合する恐れがあるが、小領域に分割した後に距離情報を利用して再結合することにより、異なる距離に存在する物体を分離して検出することができる。分割した小領域(ブロック)のうち、エッジ点を含む小領域(以下、「エッジ領域」という。)を基準領域として、他方の撮像画像(参照画像)を検索し、相関値を算出する。参照画像中で相関値が最も大きい領域をエッジ領域に対応する対応領域として特定し、エッジ領域と対応領域との間の視差を算出する。エッジ領域毎に算出した視差に基づいて、撮像装置(例えば、2つの撮像装置の中間位置)から撮像対象までの距離が略等しいエッジ領域(候補領域)を1又は複数特定する。 In the first invention, the second invention, and the fourth invention, the edge point is detected based on the pixel value of each pixel of one of the picked-up images picked up by the two image pickup devices. As an operator for edge point detection, for example, a Pruit wit operator can be used. An edge group in which adjacent edge points are combined among the detected edge points is specified. An area surrounding the identified edge group is divided into small areas (blocks). For example, adjacent edge points in the edge image are grouped, a rectangular area surrounding the edge group is specified, and then the specified area is divided into small areas. By simply joining adjacent edge points, objects that exist at different distances (for example, pedestrians and backgrounds) may be joined, but they are recombined using distance information after being divided into small areas. By doing so, objects existing at different distances can be separated and detected. Among the divided small areas (blocks), a small area including an edge point (hereinafter referred to as “edge area”) is used as a reference area, and the other captured image (reference image) is searched to calculate a correlation value. The region having the largest correlation value in the reference image is specified as the corresponding region corresponding to the edge region, and the parallax between the edge region and the corresponding region is calculated. Based on the parallax calculated for each edge region, one or a plurality of edge regions (candidate regions) having substantially the same distance from the imaging device (for example, an intermediate position between the two imaging devices) to the imaging target are specified.
特定したエッジ領域(候補領域)から障害物候補領域を抽出する。障害物候補領域は、例えば、略等距離のエッジ領域同士を結合することにより抽出することができる。抽出した障害物候補領域の特徴量(例えば、領域の大きさ、形状など)に基づいて障害物を検出する。これにより、エッジ点を含まない小領域(ブロック)については検索処理を行わず、エッジ点が存在する部分だけを用いて検索処理を行うため、処理量を削減することがで
きる。また、エッジ点を含まない小領域は特徴が少なく検索誤りを生じやすいため、これらの小領域に対して検索処理を行わないことで、検索誤りを抑止することができる。さらに、歩行者又は動物などの障害物と背景との間に輝度差があればエッジ点を検出することができ、輝度差は夏場又は昼間でも生じるため、歩行者又は動物などの障害物の輝度が周辺の輝度より大きいという条件も不要であり、夏場又は昼間であっても、精度良く障害物を検出することができる。
An obstacle candidate area is extracted from the identified edge area (candidate area). The obstacle candidate area can be extracted by, for example, combining edge areas that are substantially equidistant. An obstacle is detected based on the extracted feature amount (for example, the size, shape, etc.) of the obstacle candidate area. As a result, the search process is not performed for the small area (block) that does not include the edge point, and the search process is performed using only the portion where the edge point exists, so that the processing amount can be reduced. In addition, since small areas that do not include edge points have few features and are likely to cause search errors, search errors can be suppressed by not performing search processing on these small areas. Furthermore, if there is a luminance difference between an obstacle such as a pedestrian or animal and the background, an edge point can be detected, and the luminance difference also occurs in summer or daytime, so the luminance of the obstacle such as a pedestrian or animal Is not necessary, and the obstacle can be detected with high accuracy even in summer or daytime.
第3発明及び第4発明にあっては、特定された各候補領域を連結し、候補領域夫々の視差に基づいて、連結された連結候補領域の視差の統計値(例えば、平均値)を算出する。算出された統計値が所定の第2閾値より小さいか否かを判定し、統計値が所定の第2閾値より小さいと判定された1又は複数の連結候補領域で構成される領域を障害物候補領域として抽出する。これより、複数の連結候補領域の中から、視差の統計値(すなわち、撮像対象までの距離)が略同じものだけを抽出することができ、距離の異なる連結候補領域を除外して、略等距離の連結候補領域で構成される障害物候補領域を精度良く抽出することができる。 In the third invention and the fourth invention, the identified candidate areas are connected, and a statistical value (for example, an average value) of the parallax of the linked candidate areas is calculated based on the parallax of each candidate area. To do. It is determined whether or not the calculated statistical value is smaller than a predetermined second threshold, and an area composed of one or a plurality of connection candidate areas determined that the statistical value is smaller than the predetermined second threshold is an obstacle candidate Extract as a region. As a result, it is possible to extract only those having the same statistical parallax value (that is, the distance to the imaging target) from among the plurality of connection candidate areas, excluding connection candidate areas having different distances, and the like. Obstacle candidate regions composed of distance connection candidate regions can be accurately extracted.
本発明にあっては、エッジ点を含まない小領域(ブロック)については検索処理を行わず、エッジ点が存在する部分だけを用いて検索処理を行うため、処理量を削減することができる。また、エッジ点を含まない小領域は特徴が少なく検索誤りを生じやすいため、これらの小領域に対して検索処理を行わないことで、検索誤りを抑止することができる。 In the present invention, the search process is not performed for small areas (blocks) that do not include edge points, and the search process is performed using only the portion where the edge points exist, so that the processing amount can be reduced. In addition, since small areas that do not include edge points have few features and are likely to cause search errors, search errors can be suppressed by not performing search processing on these small areas.
以下、本発明をその実施の形態を示す図面に基づいて説明する。なお、以下の実施の形態では、撮像装置で撮像された画像に基づいて車両の前方に存在する歩行者を検出する場合を例として説明するが、本発明は、歩行者以外に動物、駐車中の車両などの障害物を検出する場合にも適用することができ、また、赤外線撮像装置を用いることもできる。 Hereinafter, the present invention will be described with reference to the drawings illustrating embodiments thereof. In the following embodiments, a case where a pedestrian existing in front of a vehicle is detected based on an image captured by an imaging device will be described as an example. The present invention can also be applied to the case where an obstacle such as a vehicle is detected, and an infrared imaging device can also be used.
図1は本発明の実施の形態に係る障害物検出システムの構成を示す模式図である。本実施の形態では、車両の前方を撮像する撮像装置1、1を、車室内のルームミラー近傍に並置している。なお、撮像装置1、1は、波長が0.4〜0.8μmの可視光を用いた撮像装置である。撮像装置1、1で撮像された画像データは、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して接続してある障害物検出装置3へ送信される。なお、2つの撮像装置1、1で共通の撮像領域を撮像することで、三角測量の原理により撮像対象までの距離(すなわち、両撮像画像における撮像対象の視差)を求めることができる。
FIG. 1 is a schematic diagram showing a configuration of an obstacle detection system according to an embodiment of the present invention. In the present embodiment, the
障害物検出装置3は、撮像装置1、1の他、操作部を備えた表示装置4とは、NTSC、VGA、DVI等の映像方式に対応したケーブル8を介して接続されており、音声、効果音等により聴覚的な警告を発する警報装置5等の出力装置とは、CANに準拠した車載LANケーブル6を介して接続されている。
The
図2は撮像装置1の構成を示すブロック図である。画像撮像部11は、光学信号を電気信号に変換するCCD(Charge Couple Device)又はCMOS(Complementary Metal Oxide Semiconductor)などの撮像素子をマトリックス状に備えている。画像撮像部11は、車両の周囲の可視光像を電気信号として読み取り、読み取った電気信号を信号処理部12へ送信する。
FIG. 2 is a block diagram illustrating a configuration of the
信号処理部12は、LSIであり、画像撮像部11から受信した電気信号をデジタル信号に変換し、画像データとして画像メモリ13へ記憶する。なお、画像データを画像メモ
リ13へ一時記憶することは必須ではなく、映像出力部14を介して直接障害物検出装置3へ送信しても良い。
The
映像出力部14は、LSIであり、NTSC等のアナログ映像方式、又はデジタル映像方式に対応した映像ケーブル7を介して障害物検出装置3に映像データを出力する。
The
図3は障害物検出装置3の構成を示すブロック図である。障害物検出装置3は、LSI31、画像メモリ32、RAM33、映像入力部34、映像出力部35、通信インタフェース部36などを備えている。
FIG. 3 is a block diagram showing the configuration of the
映像入力部34は、撮像装置1、1から映像信号の入力を行う。映像入力部34は、撮像装置1、1から入力された画像データを、1フレーム単位に同期させて画像メモリ32に記憶する。また、映像出力部35は、ケーブル8を介して液晶ディスプレイ等の表示装置4に対して画像データを出力し、通信インタフェース部36は、車載LANケーブル6を介してブザー、スピーカ、表示部等を備える警報装置5に対して合成音のための信号、文字表示のためのデータを送信する。歩行者が検出された場合、警報装置5で、例えば、「DANGER」なる文字を表示するとともに警告音を発するようにすることができる。また、検出された歩行者の画像を表示装置4で表示させることもできる。
The
画像メモリ32は、SRAM、フラッシュメモリ、SDRAM等であり、映像入力部34を介して撮像装置1、1から入力された画像データを記憶する。
The
LSI31は、画像メモリ32に記憶された画像データをフレーム単位で読み出し、読み出したフレーム単位の撮像画像(画像データ)に対して所定の画像処理を行う。例えば、LSI31は、一方の撮像画像におけるエッジ点検出処理、検出したエッジ点で構成されるエッジ画像で隣接するエッジ点をグループ化するエッジグループ化処理、エッジグループを囲む矩形領域をブロックに分割する分割処理、分割したブロックのうちエッジ点を含むものを基準領域として参照画像(他方の撮像画像)を検索して対応領域を特定する処理、基準領域と対応領域との視差に基づいて等距離ブロックをグループ化して歩行者候補領域を抽出する処理、特徴量などに基づいて歩行者判定を行う判定処理などを行う。LSI31での処理の詳細は後述する。
The
次に本発明の障害物検出装置3の動作について説明する。なお、障害物として歩行者を検出する例について以下に説明する。図4は障害物検出装置3の歩行者検出処理の手順を示すフローチャートである。
Next, the operation of the
LSI31は、画像メモリ32に記憶してある画像データをフレーム単位で読み出し(S11)、読み出したフレーム単位の撮像画像のうちの一方の撮像画像(一方の撮像装置1で撮像して得られた撮像画像)の各画素の画素値(例えば、RGB値、輝度値など)に基づいてエッジ点を検出する(S12)。
The
図5はエッジ点検出に用いられるオペレータの一例である。図5に示すオペレータは、プルューウィット・オペレータであり、主として撮像画像の縦方向のエッジ点を検出することができる。なお、エッジ点検出のオペレータは、これに限定されるものではなく、他のオペレータを用いてもよい。 FIG. 5 is an example of an operator used for edge point detection. The operator shown in FIG. 5 is a Pruit wit operator and can mainly detect the vertical edge point of the captured image. The edge point detection operator is not limited to this, and other operators may be used.
LSI31は、エッジ点を検出して得られたエッジ画像において、隣接するエッジ点をグループ化してエッジグループを抽出する(S13)。
The
図6はエッジグループの一例を示す説明図である。図6に示すように、エッジグループ
は隣接するエッジ点で構成され、連続する直線又は曲線で表される。図6では、一例として、エッジグループA1、A2、A3、A4、A5などが抽出されている。
FIG. 6 is an explanatory diagram showing an example of an edge group. As shown in FIG. 6, the edge group is composed of adjacent edge points and is represented by a continuous straight line or curve. In FIG. 6, edge groups A1, A2, A3, A4, A5, etc. are extracted as an example.
LSI31は、各エッジグループに外接する矩形領域を設定し、設定した矩形領域を所定の大きさ(例えば、4×4画素)のブロック(小領域)に分割する(S14)。また、LSI31は、分割したブロックの中でエッジ点が含まれるブロック(エッジ領域)を後述の相関値の算出のために特定する。なお、ブロックの大きさは、上述の例に限定されない。
The
図7は分割されたブロックの例を示す説明図である。図7はエッジグループA1を分割した例を示すが、他のエッジグループについても同様である。図7に示すように、エッジグループA1は、3×5の15個のブロックに分割され、分割されたブロックのうち、エッジ点を含む7個のブロック(図7中模様があるブロック)が特定されている。 FIG. 7 is an explanatory diagram showing an example of divided blocks. Although FIG. 7 shows an example in which the edge group A1 is divided, the same applies to other edge groups. As shown in FIG. 7, edge group A1 is divided into 15 blocks of 3 × 5, and among the divided blocks, seven blocks including edge points (blocks with a pattern in FIG. 7) are identified. Has been.
LSI31は、エッジ領域を基準領域とし、他方の撮像画像(他方の撮像装置1で撮像して得られた撮像画像)を参照画像として、エッジ領域と対応する領域(対応領域)を参照画像内において特定する(S15)。具体的には、エッジ領域と同じサイズの領域(参照領域)を参照画像内に設定して相関計算を行い、最も高い相関値を与える参照領域を対応領域として特定する。相関値の算出は、例えば、式1で表される式に基づいて行われる。
The
ここで、Nはエッジ領域及び参照領域における総画素数、kは零からN−1までの整数、Fkはエッジ領域内におけるk番目の画素の輝度値、Gkは参照領域におけるk番目の画素の輝度値、及びRは相関値を表す。なお、相関値の算出方法は、これに限定されるものではなく、絶対差分総和法、正規化相互相関法など、どのような方法であってもよい。 Here, N is the total number of pixels in the edge region and the reference region, k is an integer from 0 to N-1, Fk is the luminance value of the kth pixel in the edge region, and Gk is the kth pixel in the reference region. The luminance value and R represent a correlation value. The correlation value calculation method is not limited to this, and any method such as an absolute difference sum method or a normalized cross-correlation method may be used.
LSI31は、エッジ領域と特定した対応領域との視差を算出する(S16)。視差は、それぞれの撮像画像におけるエッジ領域又は対応領域の座標に基づいて算出することができる。
The
図8はエッジ領域毎の視差の算出例を示す説明図である。図8に示すように、エッジ領域に対応する対応領域との視差(括弧内の数値)が算出されている。右上から左下に向かうエッジ領域毎に視差は、「5」、「9」、「11」、「10」、「9」、「10」、「11」である。 FIG. 8 is an explanatory diagram illustrating an example of calculating parallax for each edge region. As shown in FIG. 8, the parallax (a numerical value in parentheses) with the corresponding region corresponding to the edge region is calculated. The parallax for each edge region from the upper right to the lower left is “5”, “9”, “11”, “10”, “9”, “10”, “11”.
LSI31は、各エッジ領域の視差の差(差分)を第1閾値(例えば、「3」)と比較し、視差の差(差分)が第1閾値よりも小さいエッジ領域同士をグループ化し、新たなエッジグループを再抽出する(S17)。これにより、視差が「9」、「11」、「10」、「9」、「10」、「11」の各エッジ領域は、他のエッジ領域との視差の差が第1閾
値より小さいのでグループ化されるが、視差が「5」のエッジ領域は、他のエッジ領域との視差の差が第1閾値より大きいため除外される。ここで、視差の差が第1閾値より小さいということは、2つの撮像装置1、1で撮像された同じ撮像対象までの距離、より具体的には、2つの撮像装置1、1の光軸の中間位置から撮像対象までの距離が略等しいということである。
The
図9は視差に基づいて再抽出されたエッジグループの例を示す説明図である。図9に示すように、エッジグループA1のうち、視差が「5」のエッジ領域(図中破線で示されたブロック)は、異なる距離に存在するため除外され、新たにエッジグループS1が抽出されている。なお、この場合、エッジ点を含まないブロックを除外して、新たにエッジグループS1を抽出する構成とすることもできる。これより、複数のブロックの中から、視差(すなわち、撮像対象までの距離)が略同じものだけを抽出することができ、距離が異なる撮像対象の一部が重なって撮像されたような場合であっても、距離の異なる撮像対象を除外して、略等距離のエッジグループだけを精度良く特定することができる。 FIG. 9 is an explanatory diagram illustrating an example of edge groups re-extracted based on parallax. As shown in FIG. 9, in the edge group A1, the edge regions (blocks indicated by broken lines in the figure) having a parallax of “5” are excluded because they exist at different distances, and a new edge group S1 is extracted. ing. In this case, a configuration in which a block that does not include an edge point is excluded and a new edge group S1 is extracted may be employed. As a result, it is possible to extract only those having substantially the same parallax (that is, the distance to the imaging target) from a plurality of blocks, and when a part of the imaging targets having different distances are overlapped and captured. Even in such a case, it is possible to accurately specify only edge groups that are substantially equidistant by excluding imaging targets having different distances.
LSI31は、新たに再抽出したエッジグループS1の視差を、各エッジ領域の視差を平均化した平均値により算出する(S18)。なお、平均値に代えて最頻値、中間値などの他の統計値を算出するようにしてもよい。また、LSI31は、他のエッジグループA2、A3、…についても、上述の処理を行うことで、エッジグループS2、S3、…を再抽出する。
The
前述の図8でグループ化されたエッジ領域の視差が、それぞれ「9」、「11」、「10」、「9」、「10」、「11」であるから、図9に示すように、エッジグループS1の視差は、各視差の平均値である「10」となる。 Since the parallaxes of the edge regions grouped in FIG. 8 are “9”, “11”, “10”, “9”, “10”, and “11”, respectively, as shown in FIG. The parallax of the edge group S1 is “10”, which is the average value of the parallaxes.
図10は抽出されたすべてのエッジグループの例を示す説明図である。図に示すように、エッジグループS1、S2、…、S10が抽出され、各エッジグループの視差は括弧内の数値で示される値である。 FIG. 10 is an explanatory diagram showing examples of all extracted edge groups. As shown in the figure, edge groups S1, S2,..., S10 are extracted, and the parallax of each edge group is a value indicated by a numerical value in parentheses.
LSI31は、再抽出されたエッジグループ同士の視差を比較し、視差の差が第2閾値(例えば、「4」)以下のエッジグループ同士をグループ化し、歩行者候補領域として抽出する(S19)。この際、撮像画像中の歩行者の大きさと視差(歩行者までの距離)との間には相関関係があるため、グループ化してしまうと歩行者の大きさとして不適切になるエッジグループ同士はグループ化せず、それぞれ別個の歩行者候補領域として抽出する。
The
図11は歩行者候補領域の抽出例を示す説明図である。図10において抽出されたエッジグループのうち、エッジグループS1、S2、S3、S4、S5の視差が、それぞれ「10」、「11」、「11」、「10」、「9」であり、これらのエッジグループ同士がグループ化されて歩行者候補領域V1が抽出されている。また、エッジグループS6、S7、S8、S9の視差が、それぞれ「10」、「10」、「11」、「12」であり、これらのエッジグループ同士がグループ化されて歩行者候補領域V2が抽出されている。 FIG. 11 is an explanatory diagram illustrating an example of extraction of pedestrian candidate regions. Among the edge groups extracted in FIG. 10, the parallaxes of the edge groups S1, S2, S3, S4, and S5 are “10”, “11”, “11”, “10”, and “9”, respectively. The edge groups are grouped and the pedestrian candidate area V1 is extracted. Further, the parallaxes of the edge groups S6, S7, S8, and S9 are “10”, “10”, “11”, and “12”, respectively, and these edge groups are grouped to form a pedestrian candidate region V2. Has been extracted.
エッジグループS1、S2、S3、S4、S5の視差と、エッジグループS6、S7、S8、S9の視差とは、視差の差が小さいが、両者をグループ化した場合の歩行者候補領域は歩行者のサイズとして不適切であるため、別個の歩行者候補領域として抽出されている。また、エッジグループS10の視差は「16」であり、他のエッジグループの視差との差が大きいため、距離が異なる撮像対象であるとして別個の歩行者候補領域として抽出されている。なお、歩行者候補領域を抽出する場合、エッジグループを包含する領域を歩行者候補領域として抽出してもよく、また、エッジグループをすべて包含することなく、
エッジグループ全体の形状に応じて、所定の輪郭で構成される領域を歩行者候補領域として抽出することもできる。
The parallax of the edge groups S1, S2, S3, S4, and S5 and the parallax of the edge groups S6, S7, S8, and S9 have a small difference in parallax, but the pedestrian candidate area when both are grouped is a pedestrian Since the size is inappropriate, it is extracted as a separate pedestrian candidate area. Further, the parallax of the edge group S10 is “16”, and since the difference from the parallax of the other edge groups is large, it is extracted as a separate pedestrian candidate area as an imaging target having a different distance. In addition, when extracting a pedestrian candidate area | region, you may extract the area | region containing an edge group as a pedestrian candidate area | region, and without including all edge groups,
Depending on the shape of the entire edge group, an area composed of a predetermined contour can be extracted as a pedestrian candidate area.
LSI31は、抽出された歩行者候補領域の特徴量(例えば、形状、大きさなど)を抽出し、抽出した特徴量に基づいて歩行者判定を行い(S20)、歩行者として適した特徴量を持つ歩行者候補領域を歩行者として検出する。なお、歩行者判定の処理には、例えば、サポートベクタマシン(SVM)、ブースティング(Boosting)など学習アルゴリズムを用いることができる。LSI31は、歩行者を検出した場合には、表示装置4に検出した歩行者を、例えば、矩形状の枠で囲んで強調表示することができる。あるいは、警報装置5で警告文字の表示及び警告音を発するように制御する。なお、抽出されるエッジグループ、特定されるエッジ領域、抽出される歩行者候補領域は、複数に限らず1個の場合もある。
The
以上説明したように、本発明にあっては、エッジ点を含まないブロックについては検索処理を行わず、エッジ点が存在するブロックだけを用いて検索処理を行うため、処理量を削減することができる。また、エッジ点を含まない小領域は特徴が少なく検索誤りを生じやすいため、これらの小領域に対して検索処理を行わないことで、検索誤りを抑止することができる。また、歩行者又は動物などの障害物と背景との間に輝度差があればエッジ点を検出することができ、輝度差は夏場又は昼間でも生じるため、歩行者又は動物などの障害物の輝度が周辺の輝度より大きいという条件も不要であり、夏場又は昼間であっても、精度良く障害物を検出することができる。また、距離が異なる撮像対象の一部が重なって撮像されたような場合であっても、距離の異なる撮像対象を分離して、略等距離のブロックだけを精度良く特定することができるとともに、複数のブロックをグループ化したエッジグループのうち、距離の異なるエッジグループを分離して、略等距離のエッジグループで構成される障害物候補領域(歩行者候補領域)を精度良く抽出することができる。 As described above, in the present invention, search processing is not performed for blocks that do not include edge points, and search processing is performed using only blocks that have edge points, so that the amount of processing can be reduced. it can. In addition, since small areas that do not include edge points have few features and are likely to cause search errors, search errors can be suppressed by not performing search processing on these small areas. In addition, if there is a luminance difference between an obstacle such as a pedestrian or animal and the background, an edge point can be detected, and the luminance difference also occurs in summer or daytime, so the luminance of the obstacle such as a pedestrian or animal Is not necessary, and the obstacle can be detected with high accuracy even in summer or daytime. In addition, even when a part of imaging targets with different distances are overlapped and imaged, it is possible to separate imaging targets with different distances and accurately specify only substantially equidistant blocks, Among edge groups in which a plurality of blocks are grouped, edge groups with different distances can be separated, and obstacle candidate regions (pedestrian candidate regions) composed of substantially equal distance edge groups can be accurately extracted. .
上述の実施の形態では、歩行者を検出する場合の例について説明したが、検出する障害物は歩行者に限定されるものではなく、動物、他の車両、道路上の異物などの障害物であっても、本発明を適用することができる。 In the above-described embodiment, an example in the case of detecting a pedestrian has been described. However, the obstacle to be detected is not limited to a pedestrian, but is an obstacle such as an animal, another vehicle, or a foreign object on a road. Even if it exists, this invention is applicable.
上述の実施の形態では、可視光の撮像装置を用いる構成であったが、撮像装置はこれに限定されるものではなく、近赤外線、遠赤外線の撮像装置を用いる構成でもよい。近赤外線の撮像装置では、波長が0.8〜3μmの近赤外光を取得し、遠赤外線の撮像装置では、波長が8〜12μmの遠赤外線を取得する。また、撮像装置の設置場所は、ルームミラー近傍に限定されず、バンパ内、フロントグリル内部などに設置することができる。 In the above embodiment, the visible light imaging device is used. However, the imaging device is not limited to this, and a configuration using a near infrared or far infrared imaging device may be used. A near-infrared imaging device acquires near-infrared light having a wavelength of 0.8 to 3 μm, and a far-infrared imaging device acquires far-infrared light having a wavelength of 8 to 12 μm. Further, the installation location of the imaging device is not limited to the vicinity of the rearview mirror, and can be installed in a bumper, a front grill, or the like.
1 撮像装置
3 障害物検出装置
4 表示装置
5 警報装置
31 LSI
32 画像メモリ
33 RAM
34 映像入力部
35 映像出力部
36 通信インタフェース部
DESCRIPTION OF
32
34
Claims (4)
一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出し、
隣接するエッジ点を結合したエッジグループを特定し、
特定したエッジグループを囲む領域を小領域に分割し、
分割した小領域のうち、エッジ点を含む小領域毎に他方の撮像画像との間で相関値を算出し、
算出した相関値に基づいて、前記小領域に対応する対応領域を他方の撮像画像で特定し、
前記小領域と対応領域との視差に基づいて、撮像装置から撮像対象までの距離が略等しい候補領域を特定し、
特定した候補領域から障害物候補領域を抽出し、
抽出した障害物候補領域の特徴量に基づいて障害物を検出することを特徴とする障害物検出方法。 In the obstacle detection method for detecting the presence of an obstacle by processing each captured image acquired by two imaging devices,
An edge point is detected based on the pixel value of each pixel of one captured image,
Identify edge groups that combine adjacent edge points,
Divide the area surrounding the identified edge group into small areas,
Of the divided small areas, calculate a correlation value with the other captured image for each small area including an edge point,
Based on the calculated correlation value, the corresponding area corresponding to the small area is specified in the other captured image,
Based on the parallax between the small area and the corresponding area, identify candidate areas having substantially the same distance from the imaging device to the imaging target;
Extract obstacle candidate areas from the identified candidate areas,
An obstacle detection method characterized by detecting an obstacle based on a feature amount of an extracted obstacle candidate region.
一方の撮像画像の各画素の画素値に基づいて、エッジ点を検出する検出手段と、
該検出手段で検出された隣接するエッジ点を結合したエッジグループを特定する手段と、
該手段で特定されたエッジグループを囲む領域を小領域に分割する分割手段と、
該分割手段で分割された小領域のうち、エッジ点を含む小領域毎に他方の撮像画像との間で相関値を算出する手段と、
該手段で算出された相関値に基づいて、前記小領域に対応する対応領域を他方の撮像画像で特定する手段と、
前記小領域と対応領域との視差に基づいて、撮像装置から撮像対象までの距離が略等しい候補領域を特定する特定手段と、
該特定手段で特定された候補領域から障害物候補領域を抽出する抽出手段と、
該抽出手段で抽出された障害物候補領域の特徴量に基づいて、障害物を検出する手段と
を備えることを特徴とする障害物検出装置。 In the obstacle detection device that detects the presence of an obstacle by processing each captured image acquired by two imaging devices,
Detection means for detecting an edge point based on the pixel value of each pixel of one captured image;
Means for specifying an edge group obtained by combining adjacent edge points detected by the detection means;
Dividing means for dividing an area surrounding the edge group specified by the means into small areas;
Means for calculating a correlation value with the other captured image for each small region including an edge point among the small regions divided by the dividing unit;
Means for identifying a corresponding area corresponding to the small area in the other captured image based on the correlation value calculated by the means;
Identifying means for identifying candidate areas having substantially the same distance from the imaging device to the imaging target based on the parallax between the small area and the corresponding area;
Extracting means for extracting an obstacle candidate area from the candidate area specified by the specifying means;
An obstacle detection apparatus comprising: means for detecting an obstacle based on the feature amount of the obstacle candidate area extracted by the extraction means.
前記候補領域夫々の視差に基づいて、連結された連結候補領域の視差の統計値を算出する手段と、
該手段で算出された統計値が所定の統計閾値より小さいか否かを判定する手段と
を備え、
前記抽出手段は、
前記統計値が前記統計閾値より小さいと判定された1又は複数の連結候補領域で構成される領域を障害物候補領域として抽出するように構成してあることを特徴とする請求項2に記載の障害物検出装置。 Means for connecting the candidate regions identified by the identifying means;
Means for calculating a statistical value of the parallax of linked candidate regions based on the parallax of each of the candidate regions;
Means for determining whether or not the statistical value calculated by the means is smaller than a predetermined statistical threshold,
The extraction means includes
The region configured by one or a plurality of connection candidate regions determined to have the statistical value smaller than the statistical threshold value is configured to be extracted as an obstacle candidate region. Obstacle detection device.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006355841A JP2008165595A (en) | 2006-12-28 | 2006-12-28 | Obstacle detection method, obstacle detection device, obstacle detection system |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2006355841A JP2008165595A (en) | 2006-12-28 | 2006-12-28 | Obstacle detection method, obstacle detection device, obstacle detection system |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2008165595A true JP2008165595A (en) | 2008-07-17 |
Family
ID=39694978
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2006355841A Pending JP2008165595A (en) | 2006-12-28 | 2006-12-28 | Obstacle detection method, obstacle detection device, obstacle detection system |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2008165595A (en) |
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010123019A (en) * | 2008-11-21 | 2010-06-03 | Fujitsu Ltd | Device and method for recognizing motion |
| JP2011003834A (en) * | 2009-06-22 | 2011-01-06 | Toyota Motor Corp | Solar cell module |
| JP2012063217A (en) * | 2010-09-15 | 2012-03-29 | Sharp Corp | Passive type optical range finding sensor, electronic apparatus and range finding method |
| JP2013516014A (en) * | 2009-12-28 | 2013-05-09 | ソフトキネティック ソフトウェア | Tracking method |
| JP2013109760A (en) * | 2011-11-18 | 2013-06-06 | Ricoh Co Ltd | Target detection method and target detection system |
| KR101611288B1 (en) | 2014-12-02 | 2016-04-11 | 재단법인대구경북과학기술원 | Object identification method using predefined patch position by feature and object identification apparatus thereof |
| CN113962987A (en) * | 2021-11-30 | 2022-01-21 | 珠海一微半导体股份有限公司 | Obstacle detection method, image acquisition device and robot |
-
2006
- 2006-12-28 JP JP2006355841A patent/JP2008165595A/en active Pending
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010123019A (en) * | 2008-11-21 | 2010-06-03 | Fujitsu Ltd | Device and method for recognizing motion |
| JP2011003834A (en) * | 2009-06-22 | 2011-01-06 | Toyota Motor Corp | Solar cell module |
| JP2013516014A (en) * | 2009-12-28 | 2013-05-09 | ソフトキネティック ソフトウェア | Tracking method |
| US8891825B2 (en) | 2009-12-28 | 2014-11-18 | Softkinetic Software | Tracking method |
| JP2012063217A (en) * | 2010-09-15 | 2012-03-29 | Sharp Corp | Passive type optical range finding sensor, electronic apparatus and range finding method |
| JP2013109760A (en) * | 2011-11-18 | 2013-06-06 | Ricoh Co Ltd | Target detection method and target detection system |
| KR101611288B1 (en) | 2014-12-02 | 2016-04-11 | 재단법인대구경북과학기술원 | Object identification method using predefined patch position by feature and object identification apparatus thereof |
| CN113962987A (en) * | 2021-11-30 | 2022-01-21 | 珠海一微半导体股份有限公司 | Obstacle detection method, image acquisition device and robot |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP5663352B2 (en) | Image processing apparatus, image processing method, and image processing program | |
| CN107273788B (en) | Imaging systems that perform lane detection in vehicles vs. vehicle imaging systems | |
| JP6554169B2 (en) | Object recognition device and object recognition system | |
| US20180114078A1 (en) | Vehicle detection device, vehicle detection system, and vehicle detection method | |
| KR101439052B1 (en) | Apparatus and method for detecting obstacle | |
| JP5760090B2 (en) | Biological recognition device | |
| CN109196304B (en) | Object distance detection device | |
| JPWO2011108218A1 (en) | Vehicle periphery monitoring device | |
| WO2018101247A1 (en) | Image recognition imaging apparatus | |
| US20200320314A1 (en) | Road object recognition method and device using stereo camera | |
| JP2008174028A (en) | Object detection system and object detection method | |
| CN104184938A (en) | Image processing apparatus, image processing method and program | |
| JP6617150B2 (en) | Object detection method and object detection apparatus | |
| JP4173902B2 (en) | Vehicle periphery monitoring device | |
| KR101236223B1 (en) | Method for detecting traffic lane | |
| JP2008165595A (en) | Obstacle detection method, obstacle detection device, obstacle detection system | |
| JP4528283B2 (en) | Vehicle periphery monitoring device | |
| JP2011103058A (en) | Erroneous recognition prevention device | |
| JP2008286648A (en) | Distance measuring device, distance measuring system, distance measuring method | |
| KR20200072590A (en) | Method And Apparatus for Detection of Parking Loss for Automatic Parking | |
| JP2008026998A (en) | Obstacle position calculation system and obstacle position calculation method | |
| KR101501531B1 (en) | Stereo Vision-based Pedestrian Detection System and the method of | |
| JP2014067320A (en) | Stereo camera device | |
| JP2006318059A (en) | Apparatus, method, and program for image processing | |
| JP2008026999A (en) | Obstacle detection system and obstacle detection method |