[go: up one dir, main page]

WO2014054124A1 - 路面標示検出装置及び路面標示検出方法 - Google Patents

路面標示検出装置及び路面標示検出方法 Download PDF

Info

Publication number
WO2014054124A1
WO2014054124A1 PCT/JP2012/075565 JP2012075565W WO2014054124A1 WO 2014054124 A1 WO2014054124 A1 WO 2014054124A1 JP 2012075565 W JP2012075565 W JP 2012075565W WO 2014054124 A1 WO2014054124 A1 WO 2014054124A1
Authority
WO
WIPO (PCT)
Prior art keywords
dimensional object
image
search range
road marking
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/075565
Other languages
English (en)
French (fr)
Inventor
嘉修 竹前
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Motor Corp
Original Assignee
Toyota Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Motor Corp filed Critical Toyota Motor Corp
Priority to PCT/JP2012/075565 priority Critical patent/WO2014054124A1/ja
Publication of WO2014054124A1 publication Critical patent/WO2014054124A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588—Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads

Definitions

  • the present invention relates to a road marking detection device and a road marking detection method for detecting a sign drawn on a road surface reflected in an image.
  • a lane recognition device in which an image portion other than an image portion representing a three-dimensional object on an image is used as a search range, and a lane candidate point is searched within the search range (see, for example, Patent Document 1).
  • the lane recognition device of Patent Document 1 extracts an image part representing a three-dimensional object on an image to be processed, and then sets an image part other than the image part representing the three-dimensional object on the same image as a search range, A lane candidate point is searched within the search range. That is, the three-dimensional object extraction process is executed for one image, and the lane candidate point search process is executed for the same one image using the extraction result. Therefore, it takes time to search for a lane candidate point from one image, and depending on the processing capability of the lane recognition device, there is a possibility that the lane cannot be recognized at an appropriate timing.
  • an object of the present invention is to provide a road marking detection device and a road marking detection method that can reduce the time required to detect road marking from an image.
  • a road marking detection apparatus includes an image acquisition unit that acquires an image around a vehicle, a three-dimensional object detection unit that detects a three-dimensional object in the image, and the image.
  • a search range setting unit that sets a search range of road markings, and a road marking detection unit that detects road markings in the search range, the search range setting unit is a target for setting the search range
  • a search range is set based on the image portion of the three-dimensional object detected in another image acquired before the image to be obtained.
  • a road marking detection method includes an image acquisition step for acquiring an image around a vehicle, a solid object detection step for detecting a solid object in the image, and a road marking for the image.
  • a search range setting step for setting a search range; and a road marking detection step for detecting a road marking in the search range.
  • the search range is acquired before an image for which the search range is set.
  • the search range is set based on the image portion of the three-dimensional object detected in the other image that has been obtained.
  • the present invention can provide a road marking detection device and a road marking detection method that can reduce the time required to detect road marking from an image.
  • FIG. 4 is a diagram illustrating a state in which edge detection processing related to luminance values is performed on the standard image and the reference image in FIG. It is a figure which shows a mode that a SAD algorithm is applied with respect to the reference
  • FIG. 1 is a functional block diagram showing a configuration example of a road marking detection apparatus 100 according to a first embodiment of the present invention.
  • the road marking detection device 100 is an in-vehicle device that detects a road marking from an image obtained by imaging the periphery of the vehicle.
  • "Road markings" are markings drawn on the road surface, road markings that are lines, symbols, or characters drawn on the road surface by road fences, paint, stones, etc., and the road center line, lane boundary line Including lane markings such as roadway outer lines.
  • the road marking detection device 100 is an in-vehicle device that detects a white line that is an example of a lane marking from an image obtained by imaging the front of the vehicle, and mainly includes the control device 1 and the imaging device 2.
  • the control device 1 is a device that controls the road marking detection device 100.
  • the control device 1 is a computer including a CPU (Central Processing Unit), a RAM (Random Access Memory), a ROM (Read Only Memory), and the like.
  • the control device 1 is a program corresponding to each functional element of an image acquisition unit 10, an image processing unit 11, a parallax calculation unit 12, a three-dimensional object detection unit 13, a road marking detection unit 14, and a search range setting unit 15, which will be described later. Is read from the ROM and loaded into the RAM, and the CPU executes the processing corresponding to each functional element.
  • the program corresponding to each functional element may be downloaded through a communication network or provided in a state recorded in a recording medium.
  • the imaging device 2 is an in-vehicle device that images the periphery of the vehicle, and outputs the captured image to the control device 1.
  • the imaging device 2 is a stereo camera including two cameras that simultaneously image the front of the vehicle. Each of the two cameras is arranged so that most of the imaging ranges overlap.
  • the imaging device 2 includes, for example, a right camera whose optical axis coincides with the vehicle central axis in a top view, and a left camera that is arranged horizontally spaced from the position of the right camera in the vehicle width direction. Including.
  • Each of the two cameras may be arranged so as to be lined up and down in the vertical direction.
  • the imaging device 2 may be a camera system including three or more cameras that simultaneously image the front of the vehicle.
  • control device 1 Next, various functional elements of the control device 1 will be described.
  • the image acquisition unit 10 is a functional element that acquires an image output by the imaging device 2.
  • the image acquisition unit 10 acquires an image output from the right camera as a standard image, and acquires an image output from the left camera as a reference image.
  • the image processing unit 11 is a functional element that performs image processing such as distortion correction processing, parallelization processing, and edge detection processing.
  • the “distortion correction process” is a process for correcting distortion such as internal distortion of the image due to the characteristics of the camera lens, external distortion of the image due to the posture of the camera, and the like. Specifically, the image processing unit 11 corrects the distortion by, for example, a correction conversion table based on the design value of the lens or by parameter estimation based on a distortion model in the radial direction.
  • the “parallelization process” is a process for generating a parallelized image obtained if the optical axes of a plurality of cameras are parallel to each other. Specifically, for example, the image processing unit 11 calculates the relative positional relationship between the cameras calculated based on the grid point position of each image obtained by imaging the grid pattern installed in the common field of view of the plurality of cameras. A parallelized image is generated by correcting the image using the image. Alternatively, the image processing unit 11 may generate the parallelized image by correcting the image using the pitch angle of each camera that has been determined in advance.
  • “Edge detection process” is a process for detecting a boundary line of an object in an image. Specifically, the image processing unit 11 generates an edge image using, for example, a Sobel filter.
  • the image processing unit 11 performs distortion correction processing on the standard image and the reference image based on the internal parameters and external parameters of the left and right cameras acquired in advance. Thereafter, the image processing unit 11 rotates the reference image so that the horizontal line of the reference image matches the horizontal line of the standard image. Thereafter, the image processing unit 11 performs edge detection processing so as to obtain an edge image suitable for subsequent processing by the parallax calculation unit 12 and the road marking detection unit 14.
  • the execution of the distortion correction process, the parallelization process, and the edge detection process is in no particular order. For example, after the edge detection process is executed, the distortion correction process and the parallelization process may be executed. May be executed simultaneously.
  • the parallax calculation unit 12 is a functional element that calculates the parallax of an object shown in an image. In this embodiment, the parallax calculation unit 12 calculates the parallax based on the similarity between the edge pattern of the small area cut out from the reference image and the edge pattern of the small area cut out from the reference image.
  • FIG. 2 is a diagram for explaining a coordinate system to an image pickup device 2 is a stereo camera having a right camera 2 R and the left camera 2 L.
  • FIG. 3 shows an example of a reference image CR L the right camera 2 the reference image R to output CR R and the left camera 2 L outputs.
  • the reference image CR R and the reference image CR L in FIG. 3 shows a state in which distortion correction processing and parallel processing has already been performed. Further, FIG.
  • FIG. 4 shows a state in which the edge detection processing has been performed relating to the luminance value with respect to the reference image CR R and the reference image CR L in FIG. Further, FIG. 5, SAD with respect to the reference image CR R and the reference image CR L in Figure 4: illustrating application of (Sum of Absolute Difference difference absolute value sum) algorithm.
  • FIG. 6 is a graph showing an example of the relationship between the parallax and the SAD value.
  • the left camera 2 L and the right camera 2 R is positioned at a reference length B in the vehicle width direction.
  • the point O R corresponds to a point on the reference image CR R through which the optical axis of the right camera 2 R
  • the point O L is equivalent to a point on the reference image CR L passing through the optical axis of the left camera 2 L To do.
  • the position of the object P present in the three-dimensional space, the coordinates P of the three-dimensional orthogonal coordinate system with its origin at the optical center of the left camera 2 L (X, Y, Z ) is represented by.
  • the position of the pixel corresponding to the object P in the reference image CR R is represented by coordinates P R of the two-dimensional orthogonal coordinate system having the point O R as the origin (x, y).
  • the reference position of the pixel corresponding to the object P in the image CR L is represented by coordinates P L of the two-dimensional orthogonal coordinate system having the point O L as the origin (u, v).
  • the y coordinate of the coordinates P R (x, y) values the coordinates P L of (u, v) It is equal to the value of v coordinate.
  • the parallax ⁇ d of the object P is the coordinates P R (x, y) is expressed by the difference between the value of x coordinate, the value of u coordinates of P L (u, v).
  • the point O R to the second quadrant of the two-dimensional orthogonal coordinate system with the origin coordinates P R (x, y) has a first quadrant of the two-dimensional orthogonal coordinate system having the point O L origin Have coordinates P L (u, v). Therefore, parallax ⁇ d is expressed by the sum of the absolute values of the x-coordinate of the coordinates P R (x, y), and the absolute value of u coordinates of P L (u, v).
  • the image processing unit 11 performs a distortion correction process on the reference image CR R, and performs distortion correction processing and the averaging processing to the reference image CR R. Further, the image processing unit 11 applies the reference image CR R (the right diagram in FIG. 3) to which the distortion correction process is applied, and the reference image CR L (the left diagram in FIG. 3) subjected to the distortion correction process and the averaging process. Then, edge detection processing is performed. As a result, the image processing unit 11 performs the edge image (the right diagram in FIG. 4) corresponding to the reference image CR R (the right diagram in FIG. 3) and the edge image (the diagram in the left diagram in FIG. 3) corresponding to the reference image CR R 4 left figure).
  • the parallax calculation unit 12 uses the edge pattern of the small region cut out from the reference image CR R (right diagram in FIG. 4) subjected to the edge detection process and the reference image CR L (left diagram in FIG. 4) subjected to the edge detection process.
  • the degree of similarity with the edge pattern of the small region cut out from is calculated. For example, the SAD algorithm is applied to the similarity calculation.
  • SAD algorithm cuts out the SAD window W R as an image portion of a predetermined size centered the pixel of interest AP R of the reference image CR R. Further, SAD algorithm, a central pixel of interest pixel AP L of the reference image CR L, cut out SAD window W L of the same size as the SAD window W R. Then, SAD algorithm, SAD window W the absolute value of the difference between the edge strength values of two corresponding pixels in each of the R and SAD window W L, derived for all combinations of the two corresponding pixels, SAD and the sum Calculate as a value. Incidentally, SAD value is calculated based on the SAD windows W R and SAD window W L corresponds to zero parallax.
  • SAD algorithm as indicated by arrow AR1, referred to by the same process described above in terms of allowed SAD window W is moved one pixel position in the + u direction L of the image CR L parallax magnitude one pixel To calculate the SAD value.
  • SAD algorithm the movement amount in the u axis direction of the target pixel AP L of SAD window W L is continued calculation of the SAD value until the predetermined number of pixels to be set as the disparity search range DR.
  • FIG. 6 is a graph showing an example of the relationship between the SAD value calculated in this way and the parallax.
  • the parallax calculating unit 12 a parallax when the SAD value is the smallest, i.e., a parallax when the edge pattern is most similar in the SAD window W edge patterns and SAD in R window W L, of the reference image CR R calculated as the parallax ⁇ d about the pixel of interest AP R.
  • the parallax calculating unit 12 after moving the position of the pixel of interest AP R of SAD window W R in the reference image CR R, by the same processing as described above, calculates the parallax ⁇ d about the pixel of interest AP R after the movement .
  • Parallax calculating unit 12 continues this process until the calculated parallax ⁇ d for all the pixels in a predetermined region on the reference image CR R.
  • the predetermined region on the reference image CR R may be an overall reference image CR R.
  • SSD SudofSquaredDifference
  • SGM Semi-Global Matching
  • the edge intensity value is used as the feature quantity for calculating the similarity, but the luminance value or a combination of the luminance value and the edge intensity value may be used as the feature quantity.
  • the parallax ⁇ d is calculated in units of pixels (pixels), but the parallax ⁇ d may be calculated in units of sub-pixels. Further, the parallax calculation unit 12 may calculate the parallax by a method other than the method described above.
  • the three-dimensional object detection unit 13 is a functional element that detects an image representing a three-dimensional object in the reference image (hereinafter referred to as “three-dimensional object image”).
  • the “three-dimensional object” is an object having a predetermined height with respect to the road surface, and includes, for example, a preceding vehicle, an oncoming vehicle, a pedestrian, a building wall, a utility pole, and the like.
  • the three-dimensional object detection unit 13, the parallax calculating unit 12 is calculated to detect a three-dimensional object based on the distribution state of the parallax ⁇ d for each pixel on the reference image CR R.
  • FIG. 7 shows an example of a vertical slice area in the reference image CR R.
  • FIG. 8 shows an example of detection of three-dimensional object image on the reference image CR R.
  • the three-dimensional object detection unit 13 on the reference image CR R, sets a vertical slice area SL1, SL2, SL3 ⁇ ⁇ ⁇ having a width of a predetermined number of pixels. Then, the three-dimensional object detection unit 13 counts the frequency (number of votes) for each parallax of the parallax regarding each pixel included in the vertical slice region SL1. The three-dimensional object detection unit 13 similarly counts the number of votes for each parallax for the other vertical slice regions SL2, SL3,.
  • the three-dimensional object detection unit 13 extracts pixels having parallax where the number of votes is equal to or greater than a predetermined threshold as pixels representing the three-dimensional object (hereinafter referred to as “three-dimensional object pixels”). This is based on the fact that there is a tendency for the number of votes of a specific parallax to increase when a three-dimensional object exists. Specifically, the distance between each point and the right camera 2 R on the surface of the right camera 2 R side in the three-dimensional object, to form a population of equal value, a certain size image portion in the longitudinal slice area The parallax related to the pixels constituting the occupied three-dimensional object image is also based on the fact that a group of equivalent values is formed.
  • the three-dimensional object detection unit 13 After that, the three-dimensional object detection unit 13 generates a three-dimensional object cell by collecting three-dimensional object pixels (hereinafter referred to as “corresponding three-dimensional object pixels”) extracted in one vertical slice region and having the same or close parallax values. To do. In this case, the three-dimensional object detection unit 13 generates a three-dimensional object cell by including a non-corresponding three-dimensional object pixel between the two corresponding three-dimensional object pixels spaced by a predetermined number of pixels as the corresponding three-dimensional object pixel. To do. Furthermore, the three-dimensional object detection unit 13 generates a combined three-dimensional object cell by combining a plurality of three-dimensional object cells including three-dimensional object pixels having the same or similar parallax values. In this case, the three-dimensional object detection unit 13 includes two three-dimensional object cells including pixels that are not corresponding three-dimensional object pixels that are between the two three-dimensional object cells spaced by a predetermined number of pixels as corresponding three-dimensional object pixels. Join.
  • the three-dimensional object detection unit 13 stores the positions of the generated three-dimensional object cell and the combined three-dimensional object cell. Specifically, the three-dimensional object detection unit 13 stores the three-dimensional object cell and the combined three-dimensional object cell in the RAM so that the three-dimensional object cell and the combined three-dimensional object cell can be referred to using the coordinate values and the like, and the stored three-dimensional object cell and the combined three-dimensional object cell Allow specification as a part.
  • FIG. 8 shows an example of a three-dimensional object cell in the reference image.
  • FIG. 8 upper row shows the reference image CR R to be parallax calculation process and the three-dimensional object detection process.
  • FIG. 8 middle shows a state where the superimposed display the frame FR1 ⁇ FR6 representing a three-dimensional object cell in the reference image CR R.
  • FIG. 8 the lower part shows a state in which superimposed on the reference image CR R binding frame CFR representing the combined three-dimensional object cell generated by combining three-dimensional object cells represented by each frame FR1 ⁇ FR6.
  • the three-dimensional object detection unit 13 may distinguish a three-dimensional object image from an image other than a three-dimensional object image such as a road surface image by a method other than the method described above.
  • the road marking detection unit 14 is a functional element that detects a road marking from a reference image. In this embodiment, a white line in the search range that is a part of the reference image is detected.
  • the road marking detection unit 14 detects two edge lines arranged in a straight line from the reference image subjected to the edge detection process. For example, a Hough transform algorithm is applied to the edge line extraction.
  • the road marking detection unit 14 may detect a white line using a luminance value instead of the edge intensity value. Further, the road marking detection unit 14 may detect a white line by a method other than the method described above.
  • the search range setting unit 15 is a functional element that sets a search range when the road marking detection unit 14 detects a road marking.
  • the search range setting unit 15 sets the search range based on the image portion of the three-dimensional object determined in the past.
  • the search range setting unit 15 is another reference image acquired by the image acquisition unit 10 before the reference image to be processed by the road marking detection unit 14 (hereinafter referred to as “current reference image”).
  • the image portion on the current reference image corresponding to the three-dimensional object cell and the combined three-dimensional object cell generated and stored by the three-dimensional object detection unit 13 is excluded from the search range.
  • the preceding reference image is desirably a reference image acquired by the image acquisition unit 10 last time.
  • the search range setting unit 15 not only excludes the image portions corresponding to the three-dimensional object cell and the combined three-dimensional object cell from the search range, but also selects image portions other than the image portion representing the road surface, such as an image portion representing the sky. You may exclude from a search range.
  • the road marking detection unit 14 may detect a white line from the image portion within the search range after excluding a part of the image portion from the search range in the reference image, or may detect the white line from the entire reference image. Above, you may reject the white line outside the search range. Alternatively, the road marking detection unit 14 may extract an edge line from the entire reference image, reject the edge line outside the search range, and then detect a white line based on the unrejected edge line.
  • FIG. 9 is a flowchart showing the flow of the first three-dimensional object / white line detection process, and the road marking detection apparatus 100 repeatedly executes the first three-dimensional object / white line detection process at a predetermined cycle.
  • the image acquisition unit 10 in the control device 1 of the road marking detection device 100 acquires a standard image and a reference image (step S1). Specifically, the image acquisition unit 10 acquires an image outputted by the right camera 2 R of the imaging device 2 as a reference image, obtains an image left camera 2 L of the image pickup apparatus 2 is output as reference image.
  • the image processing unit 11 in the control device 1 of the road marking detection device 100 executes distortion correction processing, parallelization processing, and edge detection processing (step S2). Specifically, the image processing unit 11 performs distortion correction processing and edge detection processing on the standard image, and executes distortion correction processing, parallelization processing, and edge detection processing on the reference image. Note that the parallelization process may be executed on both the standard image and the reference image.
  • control device 1 of the road marking detection device 100 parallels the first processing group including the parallax calculation processing and the three-dimensional object detection processing and the second processing group including the search range setting processing and the white line detection processing in separate threads. Run it. That is, detection of the three-dimensional object by the three-dimensional object detection unit 13 and detection of the road surface indication by the road surface detection detection unit 14 are performed at least partially overlapping in time.
  • the parallax calculation unit 12 in the control device 1 of the road marking detection apparatus 100 calculates the parallax of the object shown in the reference image (step S3). Specifically, the parallax calculation unit 12 is cut out from the edge pattern of the small area centered on the target pixel and the reference image that has been subjected to the edge detection process, cut out from the reference image that has been subjected to the edge detection process. The degree of similarity with the edge pattern of the small area centering on the corresponding target pixel is calculated.
  • the parallax calculation unit 12 calculates the similarity while moving the position of the small region in the reference image, and calculates the parallax related to the target pixel of the reference image based on the coordinates of the target pixel when the similarity is the highest. To do. In this way, the parallax calculation unit 12 calculates the parallax regarding all the pixels in the reference image.
  • the three-dimensional object detection unit 13 in the control device 1 of the road marking detection apparatus 100 detects a three-dimensional object image in the reference image (step S4). Specifically, the three-dimensional object detection unit 13 generates a three-dimensional object cell and a combined three-dimensional object cell based on the disparity distribution state for all pixels in the reference image, and the generated three-dimensional object cell and the position of the combined three-dimensional object cell. Is stored for reference.
  • the search range setting unit 15 in the control device 1 of the road marking detection device 100 sets a search range when the road marking detection unit 14 detects the road marking (step S5). Specifically, the search range setting unit 15 generates the three-dimensional object detection unit 13 based on the reference image (preceding reference image) acquired by the image acquisition unit 10 in step S1 of the first three-dimensional object / white line detection process executed last time. On the reference image (current reference image) acquired by the image acquisition unit 10 in step S1 of the first three-dimensional object / white line detection process executed this time, corresponding to the positions of the stored three-dimensional object cell and the combined three-dimensional object cell. Exclude the image portion from the search range.
  • the road marking detection unit 14 in the control device 1 of the road marking detection apparatus 100 detects a white line from the current reference image (step S6). Specifically, the road marking detection unit 14 detects two edge lines arranged in a straight line as white lines by applying a Hough transform algorithm to the current reference image subjected to the edge detection process.
  • the road marking detection apparatus 100 excludes a solid object image portion from the search range when detecting a white line, so that a three-dimensional object such as a preceding vehicle, a wall, or a utility pole is erroneously detected as a white line.
  • a white line on the road surface can be reliably detected.
  • the road marking detection apparatus 100 can prevent malfunctions and unnecessary operations in various systems that use the detection result of the white line.
  • the road surface marking detection apparatus 100 processes the first processing group and the second processing group in the first three-dimensional object / white line detection processing in parallel, compared to the case of sequentially processing the first processing group and the second processing group, The overall processing time of the first three-dimensional object / white line detection process can be shortened.
  • the road marking detection apparatus 100 displays the processing result of the first processing group in the first solid object / white line detection process that has already been executed in the second processing group in the first solid object / white line detection process that is currently being executed. Used in the processing of. That is, the road marking detection apparatus 100 does not wait for the processing result of the first processing group in the first solid object / white line detection process that is currently being executed, and does not wait for the first solid object / white line detection process that is currently being executed. Two processing group processing is executed. Therefore, the road marking detection apparatus 100 can use the detection result of the three-dimensional object in order to increase the accuracy of the white line detection while reducing the overall processing time of the first three-dimensional object / white line detection process.
  • the road surface marking detection apparatus 100 processes the first processing group and the second processing group in the first three-dimensional object / white line detection processing in parallel, compared to the case of sequentially processing the first processing group and the second processing group, Limits on processing time for each processing group can be relaxed. Therefore, the road marking detection apparatus 100 can increase the detection accuracy of both the three-dimensional object and the white line without extending the overall processing time. In other words, the road marking detection device 100 can reduce false detection of both a three-dimensional object and a white line.
  • FIG. 10 is a functional block diagram illustrating a configuration example of the road marking detection apparatus 100A.
  • FIG. 11 is a flowchart showing a flow of processing (hereinafter, referred to as “second solid object / white line detection process”) in which the road surface marking detection device 100A executes detection of a solid object and detection of a white line in parallel. It is.
  • the road marking detection apparatus 100A repeatedly executes the second three-dimensional object / white line detection process at a predetermined cycle.
  • the road marking detection device 100A can detect the image portion of the three-dimensional object in the reference image acquired later. Predict location. Then, the road marking detection apparatus 100A excludes the image portion corresponding to the predicted position from the search range when detecting the white line. As described above, the road marking detection device 100A is different from the road marking detection device 100 in the method of determining the image portion to be excluded from the search range. In addition, the road marking detection apparatus 100 excludes the image portion in the currently acquired reference image corresponding to the image portion of the three-dimensional object in the previously acquired reference image from the search range.
  • the road marking detection device 100 ⁇ / b> A is different from the road marking detection device 100 of FIG. 1 in that it has a three-dimensional object position prediction unit 16, but road marking detection is performed in other points. Common to the apparatus 100. Therefore, description of common points is omitted, and differences are described in detail.
  • the three-dimensional object position prediction unit 16 is a functional element that predicts the position of the three-dimensional object in the reference image acquired later based on the movement of the three-dimensional object shown in each of the reference image acquired in advance and the reference image actually acquired. .
  • the three-dimensional object position prediction unit 16 derives the three-dimensional position and the moving speed of the three-dimensional object shown in the reference image based on the reference image acquired in advance and the reference image actually acquired. Desirably, the three-dimensional object position prediction unit 16 acquires the current reference image based on the reference image (current reference image) currently acquired by the image acquisition unit 10 and the previously acquired reference image (preceding reference image). The three-dimensional position and moving speed of the three-dimensional object in are derived.
  • the three-dimensional object position prediction unit 16 acquires the next reference image (subsequent reference image) from the time when the three-dimensional position and moving speed of the three-dimensional object at the time of acquiring the current reference image and the current reference image are acquired. Based on the time until the time, the position of the image portion of the three-dimensional object in the subsequent reference image is predicted.
  • the three-dimensional object position prediction unit 16 considers the transition of the vehicle position when deriving the three-dimensional position and moving speed of the three-dimensional object at the time of acquiring the current reference image.
  • the three-dimensional object position prediction unit 16 also considers the transition of the vehicle position when predicting the position of the image portion of the three-dimensional object in the subsequent reference image.
  • the three-dimensional object position prediction unit 16 may acquire the vehicle position based on, for example, the output of an in-vehicle positioning device (not shown) such as a GPS receiver, and various types such as a vehicle speed sensor and a steering angle sensor. You may acquire the own vehicle position based on the output of a vehicle-mounted sensor.
  • the three-dimensional object position prediction unit 16 for example, the three-dimensional coordinates (X, Y, Z) of the three-dimensional object represented by the target pixel from the parallax ⁇ d related to the target pixel included in the combined three-dimensional object cell in the current reference image. To derive.
  • the distance Z is expressed by f ⁇ B ⁇ ⁇ d.
  • the two-dimensional coordinates of the target pixel in the two-dimensional orthogonal coordinate system to the point O R and the origin P R (x, y) and the height Y is represented by y ⁇ ⁇ d ⁇ f
  • lateral position X Is represented by x ⁇ ⁇ d ⁇ f.
  • the three-dimensional object position prediction unit 16 derives the three-dimensional coordinates of the three-dimensional object represented by each pixel from the parallax regarding all the pixels included in the combined three-dimensional object cell. Note that the three-dimensional object position prediction unit 16 does not use parallax related to all the pixels included in the combined three-dimensional object cell but part of the parallax related to a part of the pixels included in the combined three-dimensional object cell in order to shorten the calculation time.
  • the three-dimensional coordinates of the three-dimensional object represented by each of the pixels may be derived.
  • the three-dimensional object position prediction unit 16 determines the three-dimensional object represented by the three-dimensional coordinates of the three-dimensional object represented by the pixel having the largest parallax and the pixel having the smallest parallax among the pixels included in the combined three-dimensional object cell.
  • the coordinates may be derived.
  • the three-dimensional object position prediction unit 16 determines the size of the three-dimensional object in the XY plane related to the combined three-dimensional object cell based on the maximum value and the minimum value of the horizontal position X and the maximum value and the minimum value of the height Y. To derive. Further, the three-dimensional object position prediction unit 16 derives the center of gravity of the three-dimensional object related to the combined three-dimensional object cell in consideration of the distance Z, and derives the three-dimensional position occupied by the three-dimensional object related to the combined three-dimensional object cell.
  • the three-dimensional object position prediction unit 16 performs the same process on the combined three-dimensional object cell in the preceding reference image, and derives the three-dimensional position occupied by the three-dimensional object related to the combined three-dimensional object cell in the preceding reference image.
  • the three-dimensional position occupied by the three-dimensional object related to the combined three-dimensional object cell in the preceding reference image is preferably the three-dimensional position derived by the previous second three-dimensional object / white line detection process. This is because the calculation result is shortened by reusing the derivation result.
  • the three-dimensional object position prediction unit 16 determines the three-dimensional object related to the combined three-dimensional object cell in the current reference image based on the derived similarity of the three-dimensional position (for example, whether or not it exists within a predetermined distance range) and the preceding reference.
  • the three-dimensional object related to the combined three-dimensional object cell in the image is associated.
  • the three-dimensional object position prediction unit 16 determines the three-dimensional object based on the three-dimensional position of the three-dimensional object at the time of acquiring the current reference image and the three-dimensional position of the corresponding three-dimensional object at the time of acquiring the preceding reference image. Derive the velocity vector.
  • the three-dimensional object position predicting unit 16 uses the derived velocity vector and the three-dimensional position of the three-dimensional object at the time of acquiring the current reference image to obtain the tertiary of the corresponding three-dimensional object at the time of acquiring the subsequent reference image. Predict the original position.
  • the three-dimensional object position prediction unit 16 corresponds to the three-dimensional object in the subsequent reference image based on the predicted three-dimensional position of the three-dimensional object, the size of the three-dimensional object, the internal parameters and the external parameters of the left and right cameras, and the like. The position of the image part to be determined is determined. Then, the three-dimensional object position prediction unit 16 stores the image portion in the RAM so that the image portion can be referred to using the coordinate value or the like, and allows the stored image portion to be designated as the image portion of the three-dimensional object.
  • the three-dimensional object position prediction unit 16 may consider other data such as the vehicle speed and the yaw rate in order to improve the prediction accuracy of the three-dimensional position of the three-dimensional object. Further, the three-dimensional object position prediction unit 16 may predict the three-dimensional position of the three-dimensional object by a method other than the above-described method.
  • the second three-dimensional object / white line detection process includes step S5A instead of step S5 in the first process group, and the step S7 is added to the second process group. This is different from the object / white line detection processing but is common in other points. Therefore, description of common points is omitted, and differences are described in detail.
  • step S7 the response at the time when the three-dimensional object position prediction unit 16 acquires the subsequent reference image based on the detection result of the three-dimensional object in the current reference image and the detection result of the three-dimensional object in the preceding reference image.
  • the three-dimensional position of the three-dimensional object to be predicted is predicted.
  • the three-dimensional object position prediction unit 16 stores the image portion corresponding to the three-dimensional object in the RAM so that it can be referred to from the predicted three-dimensional position.
  • step S5A the search range setting unit 15 this time the second solid object / white line detection process corresponding to the image portion stored in the solid object position prediction unit 16 in step S7 of the previous second solid object / white line detection process.
  • the image portion on the reference image acquired by the image acquisition unit 10 in step S1 (corresponding to the subsequent reference image in the previous second solid object / white line detection process) is excluded from the search range.
  • the road marking detection apparatus 100A excludes the three-dimensional object from the search range when detecting the white line, so that the three-dimensional object such as the preceding vehicle, the wall, and the electric pole is not erroneously detected as a white line.
  • a white line on the road surface can be reliably detected.
  • the road marking detection device 100A can prevent malfunctions and unnecessary operations in various systems that use the detection result of the white line.
  • the road marking detection apparatus 100A performs parallel processing on the first processing group and the second processing group in the second solid object / white line detection processing, so compared to the case of sequentially processing the first processing group and the second processing group, The overall processing time of the second three-dimensional object / white line detection process can be shortened.
  • the road marking detection apparatus 100 ⁇ / b> A displays the processing result of the first processing group in the already executed second solid object / white line detection process in the second processing group in the currently executed second solid object / white line detection process. Used in the processing of. That is, the road surface marking detection device 100A does not wait for the processing result of the first processing group in the second solid object / white line detection process that is currently being executed, and the second solid object / white line detection process that is currently being executed. Two processing group processing is executed. Therefore, the road marking detection apparatus 100A can use the detection result of the three-dimensional object in order to increase the accuracy of the white line detection while reducing the overall processing time of the second three-dimensional object / white line detection process.
  • the road marking detection apparatus 100A performs parallel processing on the first processing group and the second processing group in the second solid object / white line detection processing, so compared to the case of sequentially processing the first processing group and the second processing group, Limits on processing time for each processing group can be relaxed. Therefore, the road marking detection apparatus 100A can improve the detection accuracy of both the three-dimensional object and the white line without extending the overall processing time. In other words, the road marking detection device 100A can reduce false detection of both a three-dimensional object and a white line.
  • the road marking detection apparatus 100A predicts the current position of the three-dimensional object based on the movement of the three-dimensional object shown in the reference image so far, and determines the image portion of the three-dimensional object in the reference image. Then, the road marking detection apparatus 100A excludes the image portion of the three-dimensional object from the search range when detecting the white line. For this reason, the road marking detection apparatus 100A more reliably determines the image portion of the three-dimensional object from the search range when detecting the white line, even if the three-dimensional object shown in the reference image is a moving object such as a preceding vehicle or an oncoming vehicle. Can be excluded. In addition, this effect becomes greater as the reference image acquisition interval becomes longer.
  • FIG. 12 is a functional block diagram illustrating a configuration example of the road marking detection apparatus 100B.
  • FIG. 13 is a flowchart showing a flow of processing (hereinafter, referred to as “third solid object / white line detection process”) in which the road marking detection apparatus 100B simultaneously executes the detection of the solid object and the detection of the white line. It is.
  • the road marking detection device 100B repeatedly executes the third three-dimensional object / white line detection process at a predetermined cycle.
  • the road marking detection device 100B prevents the road surface image from being captured in the image portion of the detected three-dimensional object as the error between the imaging device 2 and the three-dimensional object increases as the error in parallax increases.
  • the size of the image portion of the three-dimensional object is reduced as the distance increases.
  • the road marking detection device 100B is different from the road marking detection devices 100 and 100A in that the size of the image portion excluded from the search range is adjusted according to the distance between the imaging device 2 and the three-dimensional object. .
  • the road marking detection device 100B is different from the road marking detection device 100A of FIG. 10 in that it has a three-dimensional object image partial size adjustment unit 17, but the road surface is otherwise different.
  • the road marking detection apparatus 100B may omit the three-dimensional object position prediction unit 16.
  • the road marking detection apparatus 100B is different from the road marking detection apparatus 100 of FIG. 1 in that it has a three-dimensional object image partial size adjustment unit 17, but is common to the road marking detection apparatus 100 in other points. Therefore, description of common points is omitted, and differences are described in detail.
  • the three-dimensional object image part size adjustment unit 17 is a functional element that adjusts the size of the image part of the three-dimensional object that is excluded from the search range by the search range setting unit 15.
  • the three-dimensional object image part size adjusting unit 17 is the size of the image part corresponding to the three-dimensional object cell and the combined three-dimensional object cell generated and stored by the three-dimensional object detection unit 13, or the three-dimensional object position prediction unit.
  • the size of the image portion of the three-dimensional object predicted and stored by 16 is adjusted according to the distance between the imaging device 2 and the three-dimensional object.
  • the three-dimensional object image partial size adjustment unit 17 derives a coefficient that decreases with an increase in the distance Z represented by the focal length f ⁇ the reference length B ⁇ the parallax ⁇ d. Multiply the size of the three-dimensional object related to the combined three-dimensional object cell in the XY plane.
  • the three-dimensional object image partial size adjustment unit 17 calculates a coefficient having a constant value on the XY plane of the three-dimensional object related to the combined three-dimensional object cell derived by the three-dimensional object position prediction unit 16 when the distance Z is equal to or greater than the predetermined distance. You may multiply by the size of.
  • the three-dimensional object image portion size adjusting unit 17 reduces the size of the three-dimensional object image portion predicted and stored by the three-dimensional object position predicting unit 16 as the distance Z increases.
  • the third three-dimensional object / white line detection process includes step S5B instead of steps S5 and S5A in the first process group, and step S8 in FIG. 9 is added to the second process group. This is different from the one-dimensional object / white line detection process and the second three-dimensional object / white line detection process of FIG. Therefore, description of common points is omitted, and differences are described in detail.
  • step S8 the three-dimensional object image partial size adjusting unit 17 predicts and stores the three-dimensional object image predicted and stored by the three-dimensional object position prediction unit 16 according to the distance between the imaging device 2 and the three-dimensional object as described above. Adjust the size of the part.
  • step S5B the search range setting unit 15 corresponds to the image portion whose size has been adjusted by the three-dimensional object image portion size adjustment unit 17 in step S8 of the previous third solid object / white line detection process.
  • the image portion on the reference image acquired by the image acquisition unit 10 in step S1 of the object / white line detection process is excluded from the search range.
  • the road marking detection device 100B adjusts the size of the image portion of the three-dimensional object according to the distance between the imaging device 2 and the three-dimensional object, in addition to the effects of the road surface marking detection devices 100 and 100A. It is possible to prevent the search range from being excessively limited. As a result, the road marking detection apparatus 100B can suppress the occurrence of white line detection omission.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

　本発明の実施例に係る路面標示検出装置１００は、車両周辺の画像を取得する画像取得部１０と、画像における立体物を検出する立体物検出部１３と、画像に対して路面標示の探索範囲を設定する探索範囲設定部１５と、探索範囲における路面標示を検出する路面標示検出部１４と、を有する。探索範囲設定部１５は、探索範囲を設定する対象となる画像より前に取得された別の画像で検出した立体物の画像部分に基づいて探索範囲を設定する。

Description

路面標示検出装置及び路面標示検出方法
　本発明は、画像に写る路面上に描かれた標示を検出する路面標示検出装置及び路面標示検出方法に関する。
　従来、画像上の立体物を表す画像部分以外の画像部分を探索範囲とし、その探索範囲内で車線候補点の探索を行う車線認識装置が知られている（例えば、特許文献１参照。）。
特開２００６－３３１３８９号公報
　しかしながら、特許文献１の車線認識装置は、処理対象となる画像上の立体物を表す画像部分を抽出した後で、その同じ画像上の立体物を表す画像部分以外の画像部分を探索範囲とし、その探索範囲内で車線候補点の探索を行う。すなわち、１つの画像に関して立体物抽出処理を実行し、その抽出結果を用いて同じ１つの画像に対して車線候補点探索処理を実行する。そのため、１つの画像から車線候補点を探索するのに時間がかかり、車線認識装置の処理能力によっては、適切なタイミングで車線を認識することができなくなるおそれがある。
　上述の点に鑑み、本発明は、画像から路面標示を検出するまでに要する時間を短縮できる路面標示検出装置及び路面標示検出方法を提供することを目的とする。
　上述の目的を達成するために、本発明の実施例に係る路面標示検出装置は、車両周辺の画像を取得する画像取得部と、前記画像における立体物を検出する立体物検出部と、前記画像に対して路面標示の探索範囲を設定する探索範囲設定部と、前記探索範囲における路面標示を検出する路面標示検出部とを有し、前記探索範囲設定部は、前記探索範囲を設定する対象となる画像より前に取得された別の画像で検出した立体物の画像部分に基づいて探索範囲を設定する。
　また、本発明の実施例に係る路面標示検出方法は、車両周辺の画像を取得するする画像取得ステップと、前記画像における立体物を検出する立体物検出ステップと、前記画像に対して路面標示の探索範囲を設定する探索範囲設定ステップと、前記探索範囲における路面標示を検出する路面標示検出ステップとを有し、前記探索範囲設定ステップでは、前記探索範囲を設定する対象となる画像より前に取得された別の画像で検出した立体物の画像部分に基づいて探索範囲が設定される。
　上述の手段により、本発明は、画像から路面標示を検出するまでに要する時間を短縮できる路面標示検出装置及び路面標示検出方法を提供することができる。
本発明の第１実施例に係る路面標示検出装置の構成例を示す機能ブロック図である。 撮像装置に関する座標系を説明するための図である。 基準画像及び参照画像の一例を示す図である。 図３の基準画像及び参照画像に対して輝度値に関するエッジ検出処理が施された状態を示す図である。 図４の基準画像及び参照画像に対してＳＡＤアルゴリズムを適用する様子を示す図である。 視差とＳＡＤ値との関係の一例を示すグラフである。 基準画像上の縦スライス領域の一例を示す図である。 基準画像上の立体物画像の検出例を示す図である。 第１立体物・白線検出処理の流れを示すフローチャートである。 本発明の第２実施例に係る路面標示検出装置の構成例を示す機能ブロック図である。 第２立体物・白線検出処理の流れを示すフローチャートである。 本発明の第３実施例に係る路面標示検出装置の構成例を示す機能ブロック図である。 第３立体物・白線検出処理の流れを示すフローチャートである。
　以下、図面を参照しつつ、本発明を実施するための形態の説明を行う。
　図１は、本発明の第１実施例に係る路面標示検出装置１００の構成例を示す機能ブロック図である。路面標示検出装置１００は、車両周辺を撮像した画像から路面標示を検出する車載装置である。「路面標示」とは、路面に描かれた標示であり、道路鋲、ペイント、石等によって路面上に描かれた線、記号、又は文字である道路標示、及び、車道中央線、車線境界線、車道外側線等の区画線を含む。
　本実施例では、路面標示検出装置１００は、車両前方を撮像した画像から区画線の一例である白線を検出する車載装置であり、主に、制御装置１及び撮像装置２を含む。
　制御装置１は、路面標示検出装置１００を制御する装置であり、本実施例では、ＣＰＵ（Central Processing Unit）、ＲＡＭ(Random Access Memory)、ＲＯＭ（Read Only Memory）等を備えたコンピュータである。制御装置１は、例えば、後述の画像取得部１０、画像処理部１１、視差算出部１２、立体物検出部１３、路面標示検出部１４、及び探索範囲設定部１５の各機能要素に対応するプログラムをＲＯＭから読み出してＲＡＭにロードし、各機能要素に対応する処理をＣＰＵに実行させる。なお、各機能要素に対応するプログラムは、通信ネットワークを通じてダウンロードされてもよく、記録媒体に記録された状態で提供されてもよい。
　撮像装置２は、車両周辺を撮像する車載装置であり、撮像した画像を制御装置１に対して出力する。本実施例では、撮像装置２は、車両前方を同時に撮像する２つのカメラを含むステレオカメラである。２つのカメラのそれぞれは、撮像範囲の大部分が重複するように配置される。具体的には、撮像装置２は、例えば、光軸が上面視で車両中心軸と一致する右カメラと、右カメラの位置から車幅方向に水平に間隔を空けて配置される左カメラとを含む。なお、２つのカメラのそれぞれは、鉛直方向に上下に並ぶように配置されてもよい。また、撮像装置２は、車両前方を同時に撮像する３つ以上のカメラを含むカメラシステムであってもよい。
　次に、制御装置１が有する各種機能要素について説明する。
　画像取得部１０は、撮像装置２が出力する画像を取得する機能要素である。本実施例では、画像取得部１０は、右カメラが出力する画像を基準画像として取得し、左カメラが出力する画像を参照画像として取得する。
　画像処理部１１は、歪補正処理、平行化処理、エッジ検出処理等の画像処理を行う機能要素である。
　「歪補正処理」は、カメラレンズの特性等に起因する画像の内部歪み、カメラの姿勢等に起因する画像の外部歪み等の歪みを補正する処理である。具体的には、画像処理部１１は、例えば、レンズの設計値に基づく補正変換テーブルにより、或いは、半径方向の歪曲収差のモデルに基づくパラメータ推定により歪みを補正する。
　「平行化処理」は、複数のカメラの光軸が互いに平行であったならば得られた平行化画像を生成する処理である。具体的には、画像処理部１１は、例えば、複数のカメラの共通視野に設置された格子パターンを撮像して得られる各画像の格子点位置に基づいて算出されるカメラ間の相対位置関係を用いて画像を補正することにより平行化画像を生成する。或いは、画像処理部１１は、予め判明している各カメラのピッチ角を用いて画像を補正することにより平行化画像を生成してもよい。
　「エッジ検出処理」は、画像中の物体の境界線を検出する処理である。具体的には、画像処理部１１は、例えば、ソーベルフィルタを用いてエッジ画像を生成する。
　本実施例では、画像処理部１１は、事前に取得した左右のカメラの内部パラメータ及び外部パラメータに基づいて基準画像及び参照画像に対して歪補正処理を実行する。その後、画像処理部１１は、参照画像の水平線を基準画像の水平線に一致させるよう参照画像を回転させる。その後、画像処理部１１は、視差算出部１２及び路面標示検出部１４による後続の処理に適したエッジ画像を得るべくエッジ検出処理を実行する。
　なお、歪補正処理、平行化処理、及びエッジ検出処理の実行は順不同であり、例えば、エッジ検出処理が実行された後で、歪補正処理及び平行化処理が実行されてもよく、３つの処理が同時に実行されてもよい。
　視差算出部１２は、画像に写る物体の視差を算出する機能要素である。本実施例では、視差算出部１２は、基準画像から切り出した小領域のエッジパターンと、参照画像から切り出した小領域のエッジパターンとの類似度に基づいて視差を算出する。
　ここで図２～図６を参照しながら、視差算出部１２が視差を算出する処理（以下、「視差算出処理」とする。）について説明する。なお、図２は、右カメラ２Ｒ及び左カメラ２Ｌを有するステレオカメラである撮像装置２に関する座標系を説明するための図である。また、図３は、右カメラ２Ｒが出力する基準画像ＣＲＲ及び左カメラ２Ｌが出力する参照画像ＣＲＬの一例を示す。なお、図３の基準画像ＣＲＲ及び参照画像ＣＲＬは、歪補正処理及び平行化処理が既に行われた状態を示す。また、図４は、図３の基準画像ＣＲＲ及び参照画像ＣＲＬに対して輝度値に関するエッジ検出処理が施された状態を示す。また、図５は、図４の基準画像ＣＲＲ及び参照画像ＣＲＬに対してＳＡＤ（Sum of Absolute Difference：差分絶対値和）アルゴリズムを適用する様子を示す。また、図６は、視差とＳＡＤ値との関係の一例を示すグラフである。
　図２に示すように、左カメラ２Ｌ及び右カメラ２Ｒは、車幅方向に基準長さＢを隔てて配置される。また、点ＯＲは、右カメラ２Ｒの光軸が通る基準画像ＣＲＲ上の点に相当し、点ＯＬは、左カメラ２Ｌの光軸が通る参照画像ＣＲＬ上の点に相当する。また、三次元空間に存在する物体Ｐの位置は、左カメラ２Ｌの光学中心を原点とする三次元直交座標系の座標Ｐ（Ｘ、Ｙ、Ｚ）で表される。また、基準画像ＣＲＲにおける物体Ｐに対応する画素の位置は、点ＯＲを原点とする二次元直交座標系の座標ＰＲ（ｘ、ｙ）で表される。また、参照画像ＣＲＬにおける物体Ｐに対応する画素の位置は、点ＯＬを原点とする二次元直交座標系の座標ＰＬ（ｕ、ｖ）で表される。また、基準画像ＣＲＲと参照画像ＣＲＬとの間では既に平行化処理が施されているため、座標ＰＲ（ｘ、ｙ）のｙ座標の値は、座標ＰＬ（ｕ、ｖ）のｖ座標の値に等しい。
　以上の関係より、物体Ｐの視差Δｄは、座標ＰＲ（ｘ、ｙ）のｘ座標の値と、座標ＰＬ（ｕ、ｖ）のｕ座標の値との差で表される。例えば、図２では、点ＯＲを原点とする二次元直交座標系の第２象限に座標ＰＲ（ｘ、ｙ）があり、点ＯＬを原点とする二次元直交座標系の第１象限に座標ＰＬ（ｕ、ｖ）がある。そのため、視差Δｄは、座標ＰＲ（ｘ、ｙ）のｘ座標の絶対値と、座標ＰＬ（ｕ、ｖ）のｕ座標の絶対値との和で表される。
　以上を前提として、画像処理部１１は、基準画像ＣＲＲに歪補正処理を施し、且つ、参照画像ＣＲＲに歪補正処理及び平均化処理を施す。さらに、画像処理部１１は、歪補正処理が適用された基準画像ＣＲＲ（図３右図）、並びに、歪補正処理及び平均化処理が施された参照画像ＣＲＬ（図３左図）に対してエッジ検出処理を施す。その結果、画像処理部１１は、基準画像ＣＲＲ（図３右図）に対応するエッジ画像（図４右図）、及び、参照画像ＣＲＬ（図３左図）に対応するエッジ画像（図４左図）を生成する。
　視差算出部１２は、エッジ検出処理が施された基準画像ＣＲＲ（図４右図）から切り出した小領域のエッジパターンと、エッジ検出処理が施された参照画像ＣＲＬ（図４左図）から切り出した小領域のエッジパターンとの類似度を算出する。なお、類似度の算出には、例えば、ＳＡＤアルゴリズムが適用される。
　図５に示すように、ＳＡＤアルゴリズムは、基準画像ＣＲＲの注目画素ＡＰＲを中心画素とする所定の大きさの画像部分としてのＳＡＤウィンドウＷＲを切り出す。また、ＳＡＤアルゴリズムは、参照画像ＣＲＬの注目画素ＡＰＬを中心画素とする、ＳＡＤウィンドウＷＲと同じ大きさのＳＡＤウィンドウＷＬを切り出す。そして、ＳＡＤアルゴリズムは、ＳＡＤウィンドウＷＲ及びＳＡＤウィンドウＷＬのそれぞれにおける対応する２つの画素のエッジ強度値の差の絶対値を、対応する２つの画素の全ての組み合わせについて導き出し、その総和をＳＡＤ値として算出する。なお、ＳＡＤウィンドウＷＲとＳＡＤウィンドウＷＬとに基づいて算出されるＳＡＤ値は視差ゼロに対応する。
　その後、ＳＡＤアルゴリズムは、矢印ＡＲ１で示すように、参照画像ＣＲＬにおけるＳＡＤウィンドウＷＬの位置を＋ｕ方向に１画素分移動させた上で上述と同様の処理により視差の大きさが１画素のときのＳＡＤ値を算出する。そして、ＳＡＤアルゴリズムは、ＳＡＤウィンドウＷＬの注目画素ＡＰＬのｕ軸方向における移動量が、視差探索範囲ＤＲとして設定される所定の画素数となるまでＳＡＤ値の算出を続ける。図６は、このようにして算出されるＳＡＤ値と視差との間の関係の一例を表すグラフである。
　その後、視差算出部１２は、ＳＡＤ値が最も小さくなるときの視差、すなわち、ＳＡＤウィンドウＷＲにおけるエッジパターンとＳＡＤウィンドウＷＬにおけるエッジパターンとが最も類似するときの視差を、基準画像ＣＲＲの注目画素ＡＰＲに関する視差Δｄとして算出する。
　さらに、視差算出部１２は、基準画像ＣＲＲにおけるＳＡＤウィンドウＷＲの注目画素ＡＰＲの位置を移動させた後、上述と同様の処理により、移動後の注目画素ＡＰＲに関する視差Δｄを算出する。視差算出部１２は、基準画像ＣＲＲ上の所定領域における全ての画素に関する視差Δｄを算出するまでこの処理を続ける。なお、基準画像ＣＲＲ上の所定領域は、基準画像ＣＲＲ全体であってもよい。
　また、類似度の算出には、ＳＳＤ（Sum of Squared Difference：差分二乗和）アルゴリズム等の他のアルゴリズムが適用されてもよい。また、ＳＡＤアルゴリズム、ＳＳＤアルゴリズム等の局所的マッチング手法の代わりに、ＳＧＭ（Semi-Global Matching）アルゴリズム等の密な視差点が得られる手法が適用されてもよい。
　また、本実施例では、類似度を算出するための特徴量としてエッジ強度値が用いられるが、輝度値、又は、輝度値及びエッジ強度値の組み合わせが特徴量として用いられてもよい。また、本実施例では、画素（ピクセル）単位で視差Δｄを算出するが、サブピクセル単位で視差Δｄを算出してもよい。また、視差算出部１２は、上述の方法以外の方法で視差を算出してもよい。
　立体物検出部１３は、基準画像における立体物を表す画像（以下、「立体物画像」とする。）を検出する機能要素である。「立体物」とは、路面に対して所定の高さを有する物体であり、例えば、先行車、対向車、歩行者、建造物の壁、電柱等を含む。本実施例では、立体物検出部１３は、視差算出部１２が算出した、基準画像ＣＲＲ上の各画素に関する視差Δｄの分布状態に基づいて立体物を検出する。
　ここで図７及び図８を参照しながら、立体物検出部１３が立体物を検出する処理（以下、「立体物検出処理」とする。）について説明する。なお、図７は、基準画像ＣＲＲ上の縦スライス領域の一例を示す。また、図８は、基準画像ＣＲＲ上の立体物画像の検出例を示す。
　図７に示すように、立体物検出部１３は、基準画像ＣＲＲ上に、所定の画素数の幅を有する縦スライス領域ＳＬ１、ＳＬ２、ＳＬ３・・・を設定する。そして、立体物検出部１３は、縦スライス領域ＳＬ１に含まれる各画素に関する視差の視差毎の度数（投票数）を数える。立体物検出部１３は、他の縦スライス領域ＳＬ２、ＳＬ３、・・・についても同様に視差毎の投票数を数える。
　その後、立体物検出部１３は、投票数が所定の閾値以上となる視差を有する画素を、立体物を表す画素（以下、「立体物画素」とする。）として抽出する。これは、立体物が存在する場合には、特定の視差の投票数が多くなる傾向を有するという事実に基づく。具体的には、立体物における右カメラ２Ｒ側の表面上の各点と右カメラ２Ｒとの距離が、同等の値の集団を形成し、縦スライス領域におけるある程度の大きさの画像部分を占める立体物画像を構成する画素に関する視差も同等の値の集団を形成するという事実に基づく。また、対照的に、立体物が存在しない場合、すなわち、路面が見えている場合には、特定の視差の投票数が多くなる傾向を有しないという事実に基づく。具体的には、車両進行方向に延びる路面上の各点と右カメラとの距離が同等の値の集団を形成することはなく、縦スライス領域における路面を表す画像（以下、「路面画像」とする。）を構成する画素に関する視差が同等の値の集団を形成することもないという事実に基づく。
　その後、立体物検出部１３は、１つの縦スライス領域で抽出した、視差の値が等しい或いは近似する立体物画素（以下、「対応立体物画素」とする。）をまとめて立体物セルを生成する。この場合、立体物検出部１３は、所定画素数だけ間隔を空けられた２つの対応立体物画素の間にある、対応立体物画素ではない画素を対応立体物画素として含めて立体物セルを生成する。さらに、立体物検出部１３は、視差の値が等しい或いは近似する立体物画素で構成される複数の立体物セルを結合して結合立体物セルを生成する。この場合、立体物検出部１３は、所定画素数だけ間隔を空けられた２つの立体物セルの間にある、対応立体物画素ではない画素を対応立体物画素として含めて２つの立体物セルを結合する。
　その後、立体物検出部１３は、生成した立体物セル及び結合立体物セルの位置を記憶する。具体的には、立体物検出部１３は、座標値等を用いて立体物セル及び結合立体物セルを参照可能にＲＡＭに記憶し、記憶した立体物セル及び結合立体物セルを立体物の画像部分として指定できるようにする。
　図８は、基準画像における立体物セルの一例を示す。具体的には、図８上段は、視差算出処理及び立体物検出処理の対象となる基準画像ＣＲＲを示す。また、図８中段は、立体物セルを表す枠ＦＲ１～ＦＲ６を基準画像ＣＲＲに重畳表示した状態を示す。また、図８下段は、枠ＦＲ１～ＦＲ６のそれぞれで表される立体物セルを結合して生成される結合立体物セルを表す結合枠ＣＦＲを基準画像ＣＲＲに重畳表示した状態を示す。
　なお、立体物検出部１３は、上述の方法以外の方法で立体物画像と路面画像等の立体物画像以外の画像とを区別してもよい。
　路面標示検出部１４は、基準画像から路面標示を検出する機能要素である。本実施例では、基準画像の一部である探索範囲にある白線を検出する。
　具体的には、路面標示検出部１４は、エッジ検出処理が施された基準画像から直線状に並ぶ２つのエッジ線を検出する。エッジ線の抽出には、例えばハフ変換アルゴリズムが適用される。なお、路面標示検出部１４は、エッジ強度値ではなく、輝度値を用いて白線を検出してもよい。また、路面標示検出部１４は、上述の方法以外の方法で白線を検出してもよい。
　探索範囲設定部１５は、路面標示検出部１４が路面標示を検出する際の探索範囲を設定する機能要素である。本実施例では、探索範囲設定部１５は、過去に定めた立体物の画像部分に基づいて探索範囲を設定する。具体的には、探索範囲設定部１５は、路面標示検出部１４が処理対象とする基準画像（以下、「現基準画像」とする。）より前に画像取得部１０が取得した別の基準画像（以下、「先行基準画像」とする。）に関して立体物検出部１３が生成し且つ記憶した立体物セル及び結合立体物セルに対応する現基準画像上の画像部分を探索範囲から除外する。なお、先行基準画像は、望ましくは、画像取得部１０が前回取得した基準画像である。
　なお、探索範囲設定部１５は、立体物セル及び結合立体物セルに対応する画像部分を探索範囲から除外するばかりでなく、例えば空を表す画像部分等、路面を表す画像部分以外の画像部分を探索範囲から除外してもよい。
　なお、路面標示検出部１４は、基準画像における探索範囲から一部の画像部分を除外した上で、その探索範囲内の画像部分から白線を検出してもよく、基準画像全体から白線を検出した上で、探索範囲外の白線を棄却してもよい。或いは、路面標示検出部１４は、基準画像全体からエッジ線を抽出し、探索範囲外のエッジ線を棄却した上で、棄却されていないエッジ線に基づいて白線を検出してもよい。
　次に、図９を参照しながら、路面標示検出装置１００が、立体物の検出と、路面標示としての白線の検出とを同時並行で実行する処理（以下、「第１立体物・白線検出処理」とする。）について説明する。なお、図９は、第１立体物・白線検出処理の流れを示すフローチャートであり、路面標示検出装置１００は、所定周期で繰り返しこの第１立体物・白線検出処理を実行する。
　最初に、路面標示検出装置１００の制御装置１における画像取得部１０は、基準画像及び参照画像を取得する（ステップＳ１）。具体的には、画像取得部１０は、撮像装置２の右カメラ２Ｒが出力する画像を基準画像として取得し、撮像装置２の左カメラ２Ｌが出力する画像を参照画像として取得する。
　その後、路面標示検出装置１００の制御装置１における画像処理部１１は、歪補正処理、平行化処理、及びエッジ検出処理を実行する（ステップＳ２）。具体的には、画像処理部１１は、基準画像に対して歪補正処理及びエッジ検出処理を実行し、参照画像に対して歪補正処理、平行化処理、及びエッジ検出処理を実行する。なお、基準画像及び参照画像の双方に対して平行化処理を実行してもよい。
　その後、路面標示検出装置１００の制御装置１は、視差算出処理及び立体物検出処理を含む第１処理グループと、探索範囲設定処理及び白線検出処理を含む第２処理グループとを別々のスレッドで並列的に実行する。すなわち、立体物検出部１３による立体物の検出と、路面標示検出部１４による路面標示の検出とは、少なくとも部分的に、時間的に重複して行われる。
　一方のスレッドにおいて、路面標示検出装置１００の制御装置１における視差算出部１２は、基準画像に写る物体の視差を算出する（ステップＳ３）。具体的には、視差算出部１２は、エッジ検出処理が施された基準画像から切り出した、注目画素を中心とする小領域のエッジパターンと、エッジ検出処理が施された参照画像から切り出した、対応する注目画素を中心とする小領域のエッジパターンとの類似度を算出する。そして、視差算出部１２は、参照画像における小領域の位置を移動させながら類似度を算出し、類似度が最も大きくなるときの注目画素の座標に基づいて、基準画像の注目画素に関する視差を算出する。このようにして、視差算出部１２は、基準画像における全ての画素に関する視差を算出する。
　その後、路面標示検出装置１００の制御装置１における立体物検出部１３は、基準画像における立体物画像を検出する（ステップＳ４）。具体的には、立体物検出部１３は、基準画像における全ての画素に関する視差の分布状態に基づいて立体物セル及び結合立体物セルを生成し、生成した立体物セル及び結合立体物セルの位置を参照可能に記憶する。
　他方のスレッドにおいて、路面標示検出装置１００の制御装置１における探索範囲設定部１５は、路面標示検出部１４が路面標示を検出する際の探索範囲を設定する（ステップＳ５）。具体的には、探索範囲設定部１５は、前回実行された第１立体物・白線検出処理のステップＳ１で画像取得部１０が取得した基準画像（先行基準画像）で立体物検出部１３が生成し且つ記憶した立体物セル及び結合立体物セルの位置に対応する、今回実行される第１立体物・白線検出処理のステップＳ１で画像取得部１０が取得する基準画像（現基準画像）上の画像部分を探索範囲から除外する。
　その後、路面標示検出装置１００の制御装置１における路面標示検出部１４は、現基準画像から白線を検出する（ステップＳ６）。具体的には、路面標示検出部１４は、エッジ検出処理が施された現基準画像に対してハフ変換アルゴリズムを適用して直線状に並ぶ２つのエッジ線を白線として検出する。
　このようにして、路面標示検出装置１００は、白線を検出する際の探索範囲から立体物の画像部分を除外するので、先行車、壁、電柱等の立体物を白線として誤検出することなく、路面上の白線を確実に検出することができる。また、路面標示検出装置１００は、白線の検出結果を利用する各種システムにおける誤作動及び不要作動を防止できる。
　また、路面標示検出装置１００は、第１立体物・白線検出処理における第１処理グループ及び第２処理グループを並列処理するので、第１処理グループ及び第２処理グループを逐次処理する場合に比べ、第１立体物・白線検出処理の全体的な処理時間を短縮できる。
　また、路面標示検出装置１００は、既に実行された第１立体物・白線検出処理における第１処理グループの処理結果を、現に実行されている第１立体物・白線検出処理における第２処理グループでの処理で利用する。すなわち、路面標示検出装置１００は、現に実行されている第１立体物・白線検出処理における第１処理グループの処理結果を待つことなく、現に実行されている第１立体物・白線検出処理における第２処理グループの処理を実行する。そのため、路面標示検出装置１００は、第１立体物・白線検出処理の全体的な処理時間を短縮しながらも、白線検出の精度を高めるために立体物の検出結果を利用できる。
　また、路面標示検出装置１００は、第１立体物・白線検出処理における第１処理グループ及び第２処理グループを並列処理するので、第１処理グループ及び第２処理グループを逐次処理する場合に比べ、各処理グループの処理時間に関する制限を緩和できる。そのため、路面標示検出装置１００は、全体的な処理時間を延長することなく、立体物及び白線の双方の検出精度を高めることができる。換言すれば、路面標示検出装置１００は、立体物及び白線の双方の誤検出を低減できる。
　次に、図１０及び図１１を参照しながら、本発明の第２実施例に係る路面標示検出装置１００Ａについて説明する。なお、図１０は、路面標示検出装置１００Ａの構成例を示す機能ブロック図である。また、図１１は、路面標示検出装置１００Ａが、立体物の検出と白線の検出とを同時並行で実行する処理（以下、「第２立体物・白線検出処理」とする）の流れを示すフローチャートである。なお、路面標示検出装置１００Ａは、所定周期で繰り返しこの第２立体物・白線検出処理を実行する。
　路面標示検出装置１００Ａは、先行して取得した基準画像及び現に取得した基準画像のそれぞれに写る立体物の三次元位置及び移動速度に基づいて、後に取得する基準画像におけるその立体物の画像部分の位置を予測する。そして、路面標示検出装置１００Ａは、その予測した位置に対応する画像部分を、白線を検出する際の探索範囲から除外する。このように、路面標示検出装置１００Ａは、探索範囲から除外する画像部分の決定方法が路面標示検出装置１００と相違する。なお、路面標示検出装置１００は、先行して取得した基準画像における立体物の画像部分に対応する、現に取得した基準画像における画像部分を探索範囲から除外する。
　具体的には、図１０に示すように、路面標示検出装置１００Ａは、立体物位置予測部１６を有する点で、図１の路面標示検出装置１００と相違するが、その他の点で路面標示検出装置１００と共通する。そのため、共通点の説明を省略し、相違点を詳細に説明する。
　立体物位置予測部１６は、先行して取得した基準画像と現に取得した基準画像のそれぞれに写る立体物の動きに基づいて後に取得する基準画像におけるその立体物の位置を予測する機能要素である。
　本実施例では、立体物位置予測部１６は、先行して取得した基準画像と現に取得した基準画像とに基づいて、それら基準画像に写る立体物の三次元位置及び移動速度を導き出す。望ましくは、立体物位置予測部１６は、画像取得部１０が現に取得した基準画像（現基準画像）と、前回取得した基準画像（先行基準画像）とに基づいて、現基準画像を取得した時点におけるその立体物の三次元位置及び移動速度を導き出す。
　そして、立体物位置予測部１６は、現基準画像を取得した時点におけるその立体物の三次元位置及び移動速度と、現基準画像を取得した時点から次回の基準画像（後続基準画像）を取得する時点までの時間とに基づいて、後続基準画像におけるその立体物の画像部分の位置を予測する。
　また、立体物位置予測部１６は、現基準画像を取得した時点におけるその立体物の三次元位置及び移動速度を導き出す際に自車位置の推移を考慮する。また、立体物位置予測部１６は、後続基準画像におけるその立体物の画像部分の位置を予測する際にも自車位置の推移を考慮する。なお、立体物位置予測部１６は、例えば、ＧＰＳ受信機等の車載測位装置（図示せず。）の出力に基づいて自車位置を取得してもよく、車速センサ、操舵角センサ等の各種車載センサの出力に基づいて自車位置を取得してもよい。
　具体的には、立体物位置予測部１６は、例えば、現基準画像における結合立体物セルに含まれる注目画素に関する視差Δｄからその注目画素が表す立体物の三次元座標（Ｘ、Ｙ、Ｚ）を導き出す。
　図２に示すように、右カメラ２Ｒと左カメラ２Ｌとの間の基準長さをＢとし、各カメラレンズの焦点距離をｆとすると、距離Ｚは、ｆ×Ｂ÷Δｄで表される。また、点ＯＲを原点とする二次元直交座標系におけるその注目画素の二次元座標をＰＲ（ｘ、ｙ）とすると、高さＹは、ｙ×Δｄ÷ｆで表され、横位置Ｘは、ｘ×Δｄ÷ｆで表される。
　立体物位置予測部１６は、その結合立体物セルに含まれる全ての画素に関する視差から各画素が表す立体物の三次元座標を導き出す。なお、立体物位置予測部１６は、演算時間短縮のため、その結合立体物セルに含まれる全ての画素に関する視差ではなく、その結合立体物セルに含まれる画素の一部に関する視差からそれら一部の画素のそれぞれが表す立体物の三次元座標を導き出すようにしてもよい。例えば、立体物位置予測部１６は、その結合立体物セルに含まれる画素のうち、最大の視差を有する画素が表す立体物の三次元座標と最小の視差を有する画素が表す立体物の三次元座標とを導き出すようにしてもよい。
　その後、立体物位置予測部１６は、横位置Ｘの最大値及び最小値と、高さＹの最大値及び最小値とに基づいて、その結合立体物セルに関する立体物のＸＹ平面での大きさを導き出す。さらに、立体物位置予測部１６は、距離Ｚを考慮して、その結合立体物セルに関する立体物の重心を導き出し、その結合立体物セルに関する立体物が占める三次元位置を導き出す。
　また、立体物位置予測部１６は、先行基準画像における結合立体物セルに対しても同様の処理を実行し、先行基準画像における結合立体物セルに関する立体物が占める三次元位置を導き出す。なお、先行基準画像における結合立体物セルに関する立体物が占める三次元位置は、望ましくは、前回の第２立体物・白線検出処理で導き出した三次元位置を用いる。導出結果を再利用して演算時間を短縮するためである。
　その後、立体物位置予測部１６は、導出した三次元位置の類似性（例えば所定距離範囲内に存在するか否か）に基づいて、現基準画像における結合立体物セルに関する立体物と、先行基準画像における結合立体物セルに関する立体物とを対応付ける。
　その後、立体物位置予測部１６は、現基準画像を取得した時点における立体物の三次元位置と、先行基準画像を取得した時点における対応する立体物の三次元位置とに基づいて、その立体物の速度ベクトルを導き出す。
　その後、立体物位置予測部１６は、導き出した速度ベクトルと、現基準画像を取得した時点におけるその立体物の三次元位置とに基づいて、後続基準画像を取得する時点における対応する立体物の三次元位置を予測する。
　その後、立体物位置予測部１６は、予測したその立体物の三次元位置、その立体物の大きさ、左右のカメラの内部パラメータ及び外部パラメータ等に基づいて、後続基準画像におけるその立体物に対応する画像部分の位置を決定する。そして、立体物位置予測部１６は、座標値等を用いてその画像部分を参照可能にＲＡＭに記憶し、記憶した画像部分を立体物の画像部分として指定できるようにする。
　なお、立体物位置予測部１６は、立体物の三次元位置の予測精度を高めるために、自車速度、ヨーレート等の他のデータを考慮してもよい。また、立体物位置予測部１６は、上述の方法以外の方法で立体物の三次元位置を予測してもよい。
　ここで、図１１を参照して、第２立体物・白線検出処理の流れについて説明する。なお、第２立体物・白線検出処理は、第１処理グループにおけるステップＳ５の代わりにステップＳ５Ａを有し、また、第２処理グループにステップＳ７が追加された点で、図９の第１立体物・白線検出処理と相違するがその他の点で共通する。そのため、共通点の説明を省略し、相違点を詳細に説明する。
　ステップＳ７では、立体物位置予測部１６が、上述のように、現基準画像における立体物の検出結果と先行基準画像における立体物の検出結果とに基づいて、後続基準画像を取得する時点における対応する立体物の三次元位置を予測する。そして、立体物位置予測部１６は、予測した三次元位置から、その立体物に対応する画像部分を参照可能にＲＡＭに記憶する。
　ステップＳ５Ａでは、探索範囲設定部１５が、前回の第２立体物・白線検出処理のステップＳ７で立体物位置予測部１６が記憶した画像部分に対応する、今回の第２立体物・白線検出処理のステップＳ１で画像取得部１０が取得した基準画像（前回の第２立体物・白線検出処理における後続基準画像に相当する。）上の画像部分を探索範囲から除外する。
　このようにして、路面標示検出装置１００Ａは、白線を検出する際の探索範囲から立体物の画像部分を除外するので、先行車、壁、電柱等の立体物を白線として誤検出することなく、路面上の白線を確実に検出することができる。また、路面標示検出装置１００Ａは、白線の検出結果を利用する各種システムにおける誤作動及び不要作動を防止できる。
　また、路面標示検出装置１００Ａは、第２立体物・白線検出処理における第１処理グループ及び第２処理グループを並列処理するので、第１処理グループ及び第２処理グループを逐次処理する場合に比べ、第２立体物・白線検出処理の全体的な処理時間を短縮できる。
　また、路面標示検出装置１００Ａは、既に実行された第２立体物・白線検出処理における第１処理グループの処理結果を、現に実行されている第２立体物・白線検出処理における第２処理グループでの処理で利用する。すなわち、路面標示検出装置１００Ａは、現に実行されている第２立体物・白線検出処理における第１処理グループの処理結果を待つことなく、現に実行されている第２立体物・白線検出処理における第２処理グループの処理を実行する。そのため、路面標示検出装置１００Ａは、第２立体物・白線検出処理の全体的な処理時間を短縮しながらも、白線検出の精度を高めるために立体物の検出結果を利用できる。
　また、路面標示検出装置１００Ａは、第２立体物・白線検出処理における第１処理グループ及び第２処理グループを並列処理するので、第１処理グループ及び第２処理グループを逐次処理する場合に比べ、各処理グループの処理時間に関する制限を緩和できる。そのため、路面標示検出装置１００Ａは、全体的な処理時間を延長することなく、立体物及び白線の双方の検出精度を高めることができる。換言すれば、路面標示検出装置１００Ａは、立体物及び白線の双方の誤検出を低減できる。
　また、路面標示検出装置１００Ａは、基準画像に写る立体物のこれまでの動きに基づいてその立体物の現在の位置を予測し、基準画像におけるその立体物の画像部分を決定する。そして、路面標示検出装置１００Ａは、白線を検出する際の探索範囲からその立体物の画像部分を除外する。そのため、路面標示検出装置１００Ａは、基準画像に写る立体物が、先行車、対向車等の移動体であっても、白線を検出する際の探索範囲からその立体物の画像部分をより確実に除外できる。また、この効果は、基準画像の取得間隔が長くなる程大きくなる。
　次に、図１２及び図１３を参照しながら、本発明の第３実施例に係る路面標示検出装置１００Ｂについて説明する。なお、図１２は、路面標示検出装置１００Ｂの構成例を示す機能ブロック図である。また、図１３は、路面標示検出装置１００Ｂが、立体物の検出と白線の検出とを同時並行で実行する処理（以下、「第３立体物・白線検出処理」とする）の流れを示すフローチャートである。なお、路面標示検出装置１００Ｂは、所定周期で繰り返しこの第３立体物・白線検出処理を実行する。
　路面標示検出装置１００Ｂは、撮像装置２と立体物との間の距離が大きいほど視差の誤差が大きくなり、検出した立体物の画像部分内に路面画像が取り込まれてしまうのを防止するため、その距離の増大に応じて立体物の画像部分の大きさを小さくする。このように、路面標示検出装置１００Ｂは、撮像装置２と立体物との間の距離に応じて探索範囲から除外される画像部分のサイズを調整する点が路面標示検出装置１００、１００Ａと相違する。
　具体的には、図１２に示すように、路面標示検出装置１００Ｂは、立体物画像部分サイズ調整部１７を有する点で、図１０の路面標示検出装置１００Ａと相違するが、その他の点で路面標示検出装置１００Ａと共通する。また、路面標示検出装置１００Ｂは、立体物位置予測部１６を省略してもよい。その場合、路面標示検出装置１００Ｂは、立体物画像部分サイズ調整部１７を有する点で、図１の路面標示検出装置１００と相違するが、その他の点で路面標示検出装置１００と共通する。そのため、共通点の説明を省略し、相違点を詳細に説明する。
　立体物画像部分サイズ調整部１７は、探索範囲設定部１５が探索範囲から除外する、立体物の画像部分のサイズを調整する機能要素である。
　本実施例では、立体物画像部分サイズ調整部１７は、立体物検出部１３が生成し且つ記憶した立体物セル及び結合立体物セルに対応する画像部分の大きさ、又は、立体物位置予測部１６が予測し且つ記憶した立体物の画像部分の大きさを、撮像装置２と立体物との間の距離に応じて調整する。
　具体的には、立体物画像部分サイズ調整部１７は、焦点距離ｆ×基準長さＢ÷視差Δｄで表される距離Ｚの増大に応じて減少する係数を、立体物位置予測部１６が導き出した結合立体物セルに関する立体物のＸＹ平面での大きさに乗じる。
　或いは、立体物画像部分サイズ調整部１７は、距離Ｚが所定距離以上の場合に、一定の値を有する係数を、立体物位置予測部１６が導き出した結合立体物セルに関する立体物のＸＹ平面での大きさに乗じてもよい。
　このようにして、立体物画像部分サイズ調整部１７は、立体物位置予測部１６が予測し且つ記憶した立体物の画像部分の大きさが距離Ｚの増大に応じて小さくなるようにする。
　ここで、図１３を参照して、第３立体物・白線検出処理の流れについて説明する。なお、第３立体物・白線検出処理は、第１処理グループにおけるステップＳ５、Ｓ５Ａの代わりにステップＳ５Ｂを有し、また、第２処理グループにステップＳ８が追加された点で、図９の第１立体物・白線検出処理、図１１の第２立体物・白線検出処理と相違するがその他の点で共通する。そのため、共通点の説明を省略し、相違点を詳細に説明する。
　ステップＳ８では、立体物画像部分サイズ調整部１７が、上述のように、撮像装置２と立体物との間の距離に応じて、立体物位置予測部１６が予測し且つ記憶した立体物の画像部分のサイズを調整する。
　ステップＳ５Ｂでは、探索範囲設定部１５が、前回の第３立体物・白線検出処理のステップＳ８で立体物画像部分サイズ調整部１７によりサイズが調整された画像部分に対応する、今回の第３立体物・白線検出処理のステップＳ１で画像取得部１０が取得した基準画像上の画像部分を探索範囲から除外する。
　このように、路面標示検出装置１００Ｂは、路面標示検出装置１００、１００Ａによる効果に加え、撮像装置２と立体物との間の距離に応じて立体物の画像部分のサイズを調整することにより、探索範囲が過度に制限されてしまうのを防止できる。その結果、路面標示検出装置１００Ｂは、白線の検出漏れの発生を抑制できる。
　以上、本発明の好ましい実施例について詳説したが、本発明は、上述した実施例に制限されることはなく、本発明の範囲を逸脱することなく、上述した実施例に種々の変形及び置換を加えることができる。
　１・・・制御装置　２・・・撮像装置　１０・・・画像取得部　１１・・・画像処理部　１２・・・視差算出部　１３・・・立体物検出部　１４・・・路面標示検出部　１５・・・探索範囲設定部　１６・・・立体物位置予測部　１７・・・立体物画像部分サイズ調整部　１００、１００Ａ、１００Ｂ・・・路面標示検出装置

Claims (6)

  1. 　車両周辺の画像を取得する画像取得部と、
    　前記画像における立体物を検出する立体物検出部と、
    　前記画像に対して路面標示の探索範囲を設定する探索範囲設定部と、
    　前記探索範囲における路面標示を検出する路面標示検出部と、を有し、
    　前記探索範囲設定部は、前記探索範囲を設定する対象となる画像より前に取得された別の画像で検出した立体物の画像部分に基づいて探索範囲を設定する、
    　路面標示検出装置。
  2. 　前記探索範囲設定部は、前記別の画像で検出した立体物の画像部分に対応する画像部分を探索範囲から除外する、
    　請求項１に記載の路面標示検出装置。
  3. 　前記立体物検出部による立体物の検出と、前記路面標示検出部による路面標示の検出とは、少なくとも部分的に、時間的に重複して行われる、
    　請求項１に記載の路面標示検出装置。
  4. 　前記別の画像で検出した立体物の画像部分に基づいて前記画像における対応する立体物の画像部分の位置を予測する立体物位置予測部を有し、
    　前記探索範囲設定部は、前記立体物位置予測部が予測した立体物の画像部分に基づいて探索範囲を設定する、
    　請求項１に記載の路面標示検出装置。
  5. 　車両と立体物との間の距離に応じて該立体物の画像部分のサイズを調整する立体物画像部分サイズ調整部を有し、
    　前記探索範囲設定部は、前記立体物画像部分サイズ調整部によりサイズが調整された立体物の画像部分に基づいて探索範囲を設定する、
    　請求項１に記載の路面標示検出装置。
  6. 　車両周辺の画像を取得するする画像取得ステップと、
    　前記画像における立体物を検出する立体物検出ステップと、
    　前記画像に対して路面標示の探索範囲を設定する探索範囲設定ステップと、
    　前記探索範囲における路面標示を検出する路面標示検出ステップと、を有し、
    　前記探索範囲設定ステップでは、前記探索範囲を設定する対象となる画像より前に取得された別の画像で検出した立体物の画像部分に基づいて探索範囲が設定される、
    　路面標示検出方法。
PCT/JP2012/075565 2012-10-02 2012-10-02 路面標示検出装置及び路面標示検出方法 Ceased WO2014054124A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/075565 WO2014054124A1 (ja) 2012-10-02 2012-10-02 路面標示検出装置及び路面標示検出方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/075565 WO2014054124A1 (ja) 2012-10-02 2012-10-02 路面標示検出装置及び路面標示検出方法

Publications (1)

Publication Number Publication Date
WO2014054124A1 true WO2014054124A1 (ja) 2014-04-10

Family

ID=50434485

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/075565 Ceased WO2014054124A1 (ja) 2012-10-02 2012-10-02 路面標示検出装置及び路面標示検出方法

Country Status (1)

Country Link
WO (1) WO2014054124A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015203703A (ja) * 2014-04-16 2015-11-16 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ ステレオオブジェクト検出及び距離計算のためのシステム及び方法
WO2018094373A1 (en) * 2016-11-21 2018-05-24 Nio Usa, Inc. Sensor surface object detection methods and systems
US10430833B2 (en) 2016-11-21 2019-10-01 Nio Usa, Inc. Sensor surface object detection methods and systems
US10604120B2 (en) 2016-07-07 2020-03-31 Nio Usa, Inc. Sensor cleaning devices and systems

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0896299A (ja) * 1994-09-20 1996-04-12 Nissan Motor Co Ltd 車両用走行路認識装置及びこれを用いた警報・走行制御装置
JPH11175736A (ja) * 1997-12-15 1999-07-02 Toshiba Corp 物体領域追跡装置および物体領域追跡方法
JP2002074339A (ja) * 2000-08-31 2002-03-15 Hitachi Ltd 車載撮像装置
JP2008065634A (ja) * 2006-09-07 2008-03-21 Fuji Heavy Ind Ltd 物体検出装置および物体検出方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0896299A (ja) * 1994-09-20 1996-04-12 Nissan Motor Co Ltd 車両用走行路認識装置及びこれを用いた警報・走行制御装置
JPH11175736A (ja) * 1997-12-15 1999-07-02 Toshiba Corp 物体領域追跡装置および物体領域追跡方法
JP2002074339A (ja) * 2000-08-31 2002-03-15 Hitachi Ltd 車載撮像装置
JP2008065634A (ja) * 2006-09-07 2008-03-21 Fuji Heavy Ind Ltd 物体検出装置および物体検出方法

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015203703A (ja) * 2014-04-16 2015-11-16 タタ コンサルタンシー サービシズ リミテッドＴＡＴＡ Ｃｏｎｓｕｌｔａｎｃｙ Ｓｅｒｖｉｃｅｓ Ｌｉｍｉｔｅｄ ステレオオブジェクト検出及び距離計算のためのシステム及び方法
US10604120B2 (en) 2016-07-07 2020-03-31 Nio Usa, Inc. Sensor cleaning devices and systems
US11034335B2 (en) 2016-07-07 2021-06-15 Nio Usa, Inc. Low-profile imaging system with enhanced viewing angles
WO2018094373A1 (en) * 2016-11-21 2018-05-24 Nio Usa, Inc. Sensor surface object detection methods and systems
US10430833B2 (en) 2016-11-21 2019-10-01 Nio Usa, Inc. Sensor surface object detection methods and systems

Similar Documents

Publication Publication Date Title
EP3082066B1 (en) Road surface gradient detection device
US9536155B2 (en) Marking line detection system and marking line detection method of a distant road surface area
US9990534B2 (en) Image processing device and image processing method
US10102433B2 (en) Traveling road surface detection apparatus and traveling road surface detection method
CN105335955A (zh) 对象检测方法和对象检测装置
US10127702B2 (en) Image processing device and image processing method
JP6201148B2 (ja) キャリブレーション装置、キャリブレーション方法、キャリブレーション機能を備えた移動体搭載用カメラ及びプログラム
JP6544257B2 (ja) 情報処理システム、情報処理方法及び情報処理プログラム
JP6377970B2 (ja) 視差画像生成装置及び視差画像生成方法
JP2010085240A (ja) 車両用画像処理装置
WO2014002692A1 (ja) ステレオカメラ
US11054245B2 (en) Image processing apparatus, device control system, imaging apparatus, image processing method, and recording medium
WO2019001698A1 (en) ADVANCED DRIVING ASSISTANCE SYSTEM AND METHOD
WO2014054124A1 (ja) 路面標示検出装置及び路面標示検出方法
US10339394B2 (en) Step detection device and step detection method
WO2020209046A1 (ja) 物体検出装置
US9041778B2 (en) Image processing device and method of processing image
JP6416654B2 (ja) 白線検出装置
JP6668740B2 (ja) 道路面推定装置
JP2015215235A (ja) 物体検出装置及び物体検出方法
JP2019164837A (ja) 情報処理システム、情報処理方法及び情報処理プログラム
KR102681321B1 (ko) 듀얼 카메라를 이용하여 거리를 계산하는 고속도로 주행지원 시스템의 성능 평가 장치와 그 방법
JP5822866B2 (ja) 画像処理装置
JP7180739B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
JP2015172846A (ja) 画像処理装置、機器制御システム、および画像処理プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12886017

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12886017

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP