[go: up one dir, main page]

WO2022014215A1 - 処理装置及び車載カメラ装置 - Google Patents

処理装置及び車載カメラ装置 Download PDF

Info

Publication number
WO2022014215A1
WO2022014215A1 PCT/JP2021/022110 JP2021022110W WO2022014215A1 WO 2022014215 A1 WO2022014215 A1 WO 2022014215A1 JP 2021022110 W JP2021022110 W JP 2021022110W WO 2022014215 A1 WO2022014215 A1 WO 2022014215A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
vehicle
camera
deviation
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/022110
Other languages
English (en)
French (fr)
Inventor
利幸 青木
和良 山崎
圭一 別井
健 永崎
裕二 大塚
直也 多田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Astemo Ltd
Original Assignee
Hitachi Astemo Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Astemo Ltd filed Critical Hitachi Astemo Ltd
Priority to CN202180045150.2A priority Critical patent/CN115943636A/zh
Priority to DE112021002562.7T priority patent/DE112021002562T5/de
Publication of WO2022014215A1 publication Critical patent/WO2022014215A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/24—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view in front of the vehicle
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C25/00—Manufacturing, calibrating, cleaning, or repairing instruments or devices referred to in the other groups of this subclass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/02—Details
    • G01C3/06—Use of electric means to obtain final indication
    • G01C3/08—Use of electric radiation detectors
    • G01C3/085—Use of electric radiation detectors with electronic parallax measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C3/00—Measuring distances in line of sight; Optical rangefinders
    • G01C3/10—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument
    • G01C3/14—Measuring distances in line of sight; Optical rangefinders using a parallactic triangle with variable angles and a base of fixed length in the observation station, e.g. in the instrument with binocular observation at a single point, e.g. stereoscopic type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration

Definitions

  • the present invention relates to a processing device and an in-vehicle camera device that calculate data for correcting one or more camera images into a distortion-free image.
  • Patent Document 1 is a correction of a first camera that calibrates an image of the first camera taken through a windshield (transparent body) after installing a stereo camera having a first camera and a second camera in a vehicle. Calculate the parameters. Next, by calculating the correction parameters of the second camera that calibrates the parallax deviation between the subjects of the first camera and the second camera, the deviation of the image due to the windshield is removed.
  • Patent Document 2 the subject is photographed with a stereo camera with and without the intervention of the windshield (transparent body), the coordinates of the subject on the image are obtained, and the difference from those coordinates is also obtained. In addition, the correction parameters that make up the image are calculated. Based on this correction parameter, the image shift due to the windshield is removed.
  • the correction parameters configured as the image deviation due to the windshield include the installation deviation of the vehicle and the installation deviation of the camera.
  • the deviation is included.
  • An object of the present invention is that when a monocular camera or a stereo camera is attached to a vehicle and a marker for calibration is photographed, the misalignment of the camera with respect to the misalignment of the vehicle or the misalignment of the camera due to the misalignment of the camera is detected. It is an object of the present invention to provide a processing device for accurately measuring a distance by calibrating an image deviation due to glass so as not to be affected by an image deviation due to a factor.
  • the processing apparatus acquires the installation deviation of the vehicle-mounted camera from images obtained by capturing images of a plurality of markers having different distances from the vehicle-mounted camera and data of a modeled vehicle window, and uses the installation deviation to obtain the installation deviation. It is a processing device that changes the correction data for correcting the image of the vehicle-mounted camera, and the installation deviation is a position deviation with respect to a position where the vehicle-mounted camera should be arranged with respect to a chart in which the marker is present. ..
  • the deviation can be detected.
  • the vehicle installation deviation and the camera can be taken only once. Image misalignment due to mounting misalignment can be removed, and distance can be measured accurately.
  • FIG. 1 is a diagram showing a configuration of an image calibration device according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing an example of a marker placement area.
  • FIG. 3 is a diagram showing a configuration of a stereo camera of an image calibration device according to an embodiment of the present invention.
  • the processing device of this embodiment is, for example, an image calibration device.
  • the image calibration device has image correction data for correcting distortion and deviation of an image taken without passing through the windshield 112, and the vehicle 111 is from a predetermined position 121 and a predetermined posture (direction 122). It is installed in a deviated position and posture (direction 123). With the stereo camera 104 mounted at a position and posture (direction 124) deviated from a predetermined position and posture (direction 122) with respect to the vehicle 111, the influence of the misalignment of the vehicle 111 and the mounting misalignment of the stereo camera 104 is exerted. The image correction data is changed so as to remove and correct the image deviation due to the front glass 112.
  • the corrected image storage unit 316, the parallax image storage unit 317, and the distance detection unit 330 displayed in gray are not included in the image calibration device and operate in the case of detecting the distance of a three-dimensional object. These operations will be described later.
  • the image calibration device includes a plurality of markers, a vehicle installation misalignment detection unit 105, and a stereo camera 104.
  • the plurality of markers have a circular shape.
  • the plurality of markers 201 are arranged in front of the vehicle, and the plurality of markers 202, the plurality of markers 203, the plurality of markers 204, and the plurality of markers 205 are located in front of the upper left, in front of the upper right, and in the lower left with respect to the plurality of markers 201, respectively. It is located in front of and in front of the lower right.
  • the marker 201, the marker 202, the marker 203, the marker 204, and the marker 205 are drawn on the chart 206, the chart 207, the chart 208, the chart 209, and the chart 210, respectively.
  • the marker 101 represents the marker 201
  • the marker 102 represents the marker 202 or 204
  • the marker 203 represents the marker 203 or the marker 205.
  • the markers 201 to 205 may be arranged other than those shown in FIG. 2 as long as they are arranged at different distances from the camera.
  • the vehicle installation misalignment detection unit 105 which is composed of a LiDAR (Light Detection and Ringing) and a calculation unit, has surface shape data (design value) of the vehicle and a vehicle position (design position) when installed as designed.
  • the surface position (measured value) of the vehicle 111 is measured, the design value of the surface shape data of the vehicle 111 is collated with the measured value of the surface position of the vehicle 111, and the position deviation and the posture from the design position of the vehicle 111 are collated. Detect deviation.
  • the stereo camera 104 is attached to the vehicle 111, and photographs the markers 201 to 205 through the windshield 112 of the vehicle 111. Further, the stereo camera 104 includes an image pickup system unit 300a, an image pickup system unit 300b, and a calculation unit 310, and is connected to the vehicle position deviation detection unit 105.
  • the image pickup system unit 300a such as a camera includes an optical element unit 301a and an image pickup element unit 302a.
  • the optical element unit 301a such as a lens refracts light to form an image on the image pickup element unit 302a.
  • the image pickup element unit 302a such as an image pickup element, receives an image of light refracted by the optical element unit 301a and generates an image according to the intensity of the light.
  • the image pickup system unit 300b of a camera or the like includes an optical element unit 301b and an image pickup element unit 302b. Further, the design values of the focal lengths of the image pickup system unit 300a and the image pickup system unit 300b are the same. The directions of the optical axes of the image pickup system unit 300a and the image pickup system unit 300b are substantially the same.
  • the optical element unit 301b such as a lens refracts light to form an image on the image pickup element unit 302b.
  • the image pickup element unit 302b such as an image pickup element receives an image of light refracted by the optical element unit 301b and generates an image according to the intensity of the light.
  • the image captured by the imaging system unit 300a is called a reference image because it is a reference image when creating a parallax image.
  • the image captured by the imaging system unit 300b is an image in which a region matching the region extracted from the reference image is searched for when creating a parallax image, and is referred to as a reference image.
  • the arithmetic unit 310 such as a CPU (central processing unit, central arithmetic processing device) and memory includes an image pickup image storage unit 311, an image correction information storage unit 312, a calibration information storage unit 313, a synchronization signal generation unit 314, and a reference image acquisition unit. It includes a reference image acquisition unit 315b, an image calibration unit 320, a correction image storage unit 316, a parallax image storage unit 317, a deviation correction storage unit 318, and a distance detection unit 330.
  • a CPU central processing unit, central arithmetic processing device
  • memory includes an image pickup image storage unit 311, an image correction information storage unit 312, a calibration information storage unit 313, a synchronization signal generation unit 314, and a reference image acquisition unit. It includes a reference image acquisition unit 315b, an image calibration unit 320, a correction image storage unit 316, a parallax image storage unit 317, a deviation correction storage unit 318, and a distance detection unit 330.
  • the image pickup image storage unit 311 such as a memory stores the images output from the image pickup system unit 300a and the image pickup system unit 300b.
  • the image correction information storage unit 312 such as a memory uses the image of the image pickup system unit 300a and the image of the image pickup system unit 300b as a correction image (after imaging with distortion) corresponding to each pixel on the captured image (image without distortion).
  • the two-dimensional coordinates (image correction data) on the image) are stored.
  • the image correction information storage unit 312 stores the image correction data of the image pickup system unit 300a and the image pickup system unit 300b obtained in advance without the front glass 112, and the front glass created by the image correction data change unit.
  • Image correction data for correction to an image without distortion over 112 is stored.
  • the distortion-free image is an image obtained by perspective projection using a pinhole model. This image correction data is used in a process for correcting lens distortion and optical axis deviation of an image after imaging, and represents distortion of the image at the time of imaging.
  • the focal distance, pixel pitch, optical axis position on the captured image, optical axis position on the corrected image, and vehicle 111 of the image pickup system unit 300a and the image pickup system unit 300b are not displaced.
  • Each of the above marker images, the horizontal and vertical enlargement ratios and offset deviations of the image deformation model due to the front glass 112, the positional deviations and posture deviations of the vehicle installation, and the positional deviations and posture deviations of the camera mounting are stored.
  • the horizontal and vertical enlargement ratios and offset deviations of the image deformation due to the windshield 112 are calculated by the image deviation factor detection unit 322.
  • the initial value of the horizontal and vertical magnification of the image deformation by the windshield 112 is 1, and the other initial values are zero.
  • the glass deformation data are two-dimensional coordinates of the position on the image after passing through the windshield 112 corresponding to each pixel on the image before passing through the windshield 112.
  • the synchronization signal generation unit 314 generates and transmits a synchronization signal.
  • the reference image capturing unit 315a transmits the synchronization signal and the exposure time information to the image pickup element unit 302a in accordance with the synchronization signal of the synchronization signal generation unit 314, and then acquires the image generated by the image pickup element unit 302a.
  • the image is stored in the captured image storage unit 311.
  • the reference image acquisition unit 315b transmits the synchronization signal and the exposure time information to the image sensor unit 302b in accordance with the synchronization signal of the synchronization signal generation unit 314, and then acquires the image generated by the image sensor unit 302b.
  • the image is stored in the captured image storage unit 311.
  • the image calibration unit 320 includes a marker position detection unit 321, an image shift factor detection unit 322, and an image correction data change unit 323.
  • the marker position detection unit 321 corrects the captured image through the front glass 112 based on the design values of the image correction data stored in advance in the image correction information storage unit 312 and the image deformation data by the front glass 112.
  • the correction data is calculated, and the image correction data is used to correct the captured images of the image pickup system unit 300a and the image pickup system unit 300b.
  • the marker position detection unit 321 performs pattern matching processing to match the marker image stored in the calibration information storage unit 313 with the marker image on the corrected image, and the marker position on the corrected image. (Detection position) is detected.
  • the image shift factor detection unit 322 includes focal lengths, pixel pitches, optical axis positions on the captured image, and optical axis positions on the corrected image of the image pickup system unit 300a and the image pickup system unit 300b stored in the calibration information storage unit 313.
  • the vehicle 111 should not be displaced based on the three-dimensional position of the marker with respect to the stereo camera 104 when the vehicle 111 is installed so as not to be displaced, and the design values of the glass deformation data of the image pickup system unit 300a and the image pickup system unit 300b.
  • the marker position (design position) on the corrected image is calculated when the image deviation due to the front glass 112 is as designed.
  • the image shift due to the front glass 112 is set to the distance between the stereo camera 104 and the markers 201 to 205 based on the detection position and the design position of the markers 201 to 205 on the corrected image. Utilizing the fact that it does not depend on it and that the camera installation deviation depends on the distance between the stereo camera 104 and the markers 201 to 205, the horizontal and vertical magnification and offset deviation of the image deformation by the front glass 112, the camera. Calculate the installation deviation.
  • the camera installation deviation is a positional deviation and a posture deviation (displacement from the design location) between the markers 201 to 205 and the stereo camera 104.
  • the camera installation deviation is calculated based on the vehicle installation deviation detected by the vehicle installation deviation detection unit 105 and the camera installation deviation calculated by the image deviation factor detection unit 322.
  • the camera mounting deviation is a positional deviation and a posture deviation (a deviation from the design location) of the stereo camera 104 with respect to the vehicle 111 when the stereo camera 104 is attached to the vehicle 111.
  • the image correction data changing unit 323 includes focal lengths, pixel pitches, optical axis positions on the captured image, and optical axis positions on the corrected image of the imaging system unit 300a and the imaging system unit 300b stored in the calibration information storage unit 313.
  • the three-dimensional positions of the markers 201 to 205 with respect to the stereo camera 104 when the vehicle 111 is installed so as not to be displaced are read.
  • the image correction data changing unit 323 uses the camera installation deviation, the camera installation deviation, the horizontal and vertical enlargement ratios of the model of the front glass 112, and the offset deviation detected by the image deviation factor detection unit 322 to install the camera.
  • Camera installation misalignment data representing image misalignment due to misalignment
  • camera mounting direction misalignment data representing image misalignment due to camera mounting direction misalignment
  • horizontal and vertical magnification of the front glass 112 model glass misalignment data when there is offset misalignment Is calculated.
  • the image correction data changing unit 323 uses the two-dimensional linear interpolation to pass the conversion by the camera mounting direction deviation data, the conversion by the glass deviation data, the conversion by the glass deformation data, the conversion by the camera installation deviation data, and the front glass 112. Conversion by image correction data (representing distortion of the image at the time of imaging) when there is no image is sequentially performed for each pixel. As a result, the image correction data changing unit 323 removes the pixel shift due to the camera installation shift, and calculates the image correction data through the front glass 112 when facing the traveling direction of the vehicle 111 for the reference image and the reference image. , These image correction data are stored in the image correction information storage unit 312.
  • the corrected image storage unit 316 such as a memory stores the corrected image corrected by the image correction unit 331 using the image correction data of the image pickup system unit 300a and the image pickup system unit 300b.
  • the parallax image storage unit 317 such as a memory stores the parallax image.
  • the misalignment correction information storage unit 318 of the memory or the like has time-series data of the position of the region having both the vertical edge and the horizontal edge in the reference image and the reference image, the design value of the vanishing point position, the vanishing point position data (detection value), and the vanishing point position data (detection value). Stores horizontal and vertical image misalignment due to camera mounting misalignment.
  • the distance detection unit 330 includes an image correction unit 331, a parallax calculation unit 332, a recognition unit 333, and a camera mounting misalignment detection unit 334.
  • the image correction unit 331 uses the image correction data of the reference image and the reference image read from the image correction information storage unit 312 to obtain a distortion-free image of the reference image and the reference image at the time of shooting read from the captured image storage unit 311. Convert to.
  • the corrected reference image and reference image are stored in the corrected image storage unit 316.
  • the parallax calculation unit 332 reads the corrected reference image and the reference image from the corrected image storage unit 316, and corrects the area (referred to as a reference area) of a predetermined size extracted from the corrected reference image. Search for areas at the same height on the later reference image.
  • the parallax calculation unit 332 calculates the difference between the position of the region (referred to as the reference region) on the reference image that coincides with the reference region and the position of the reference region, that is, the parallax.
  • a parallax image is calculated by calculating the parallax for each reference region.
  • the recognition unit 333 reads a parallax image from the parallax image storage unit 317, and takes an image based on the parallax, the focal length (base line length) between the image pickup system unit 300a and the image pickup system unit 300b, the focal length, and the size of one pixel.
  • the distance from the stereo camera 104 to the object on the image is calculated in the optical axis direction of the system unit 300a and the imaging system unit 300b.
  • the recognition unit 333 calculates the distance image by calculating the distance for each area.
  • the recognition unit 333 reads the corrected reference image from the corrected image storage unit 316, and uses the corrected reference image and the distance image to display the object in the reference image and the object on the reference image.
  • the position is recognized, and the three-dimensional relative position and relative speed of the object with respect to the stereo camera 104 are calculated.
  • the three-dimensional relative position coordinate system with respect to the stereo camera 104 has the center of the incident pupil of the image pickup system unit 300a as the origin, the x coordinate in the right direction, the y coordinate in the downward direction, and the optical axis direction with respect to the image pickup system unit 100a. Take the z coordinate to.
  • the recognition unit 333 calculates the time until the collision based on the relative position and the relative speed of the stereo camera 104 and the object, and determines whether or not the collision occurs within a predetermined time.
  • the camera mounting misalignment detection unit 334 creates horizontal and vertical edge images for the previous and current corrected reference images read from the corrected image storage unit 316, and creates vertical edges (vertical edges) and horizontal edges. Detects areas that contain both edges (horizontal edges). Next, the camera mounting misalignment detection unit 334 performs pattern matching processing, searches for a region on the reference image after the previous correction corresponding to the region on the reference image after the correction this time, and performs vertical edges and horizontal. Obtain the time series data of the position of the area including both edges.
  • the camera mounting misalignment detection unit 334 obtains a plurality of approximate curves of the time-series data of the positions in the above regions, and detects the position (detection value) of the vanishing point on the reference image based on the intersections thereof.
  • the camera mounting misalignment detection unit 334 stores the difference between the detected value and the design value at the position of the vanishing point on the reference image as the camera mounting misalignment in the misalignment correction information storage unit 318.
  • the camera mounting misalignment detection unit 334 corrects the image correction data of the reference image read from the image correction information storage unit 312 by the camera mounting misalignment and stores it in the image correction information storage unit 312. The same processing is performed for the reference image.
  • Step 401 The synchronization signal generation unit 314 generates a synchronization signal and sends it to the reference image acquisition unit 315a and the reference image acquisition unit 315b.
  • the reference image acquisition unit 315a Immediately after receiving the synchronization signal from the synchronization signal generation unit 314, the reference image acquisition unit 315a sends the synchronization signal and the exposure time information to the image sensor unit 302a. Immediately after receiving the synchronization signal and the exposure time information from the reference image capture unit 315a, the image sensor unit 302a receives an image of the light refracted by the optical element unit 301a for the exposure time, and adjusts the intensity of the light. The corresponding image is generated, and the image is sent to the reference image acquisition unit 315a. The reference image acquisition unit 315a receives an image from the image sensor unit 302a and stores the image in the image pickup image storage unit 311.
  • the reference image acquisition unit 315b Immediately after receiving the synchronization signal from the synchronization signal generation unit 314, the reference image acquisition unit 315b sends the synchronization signal and the exposure time information to the image sensor unit 302b. Immediately after receiving the synchronization signal and the exposure time information from the reference image capture unit 315b, the image sensor unit 302b receives an image of the light refracted by the optical element unit 301b for the exposure time, and adjusts the intensity of the light. The corresponding image is generated, and the image is sent to the reference image acquisition unit 315b. The reference image acquisition unit 315b receives an image from the image sensor unit 302b and stores the image in the image pickup image storage unit 311.
  • Step 402 The marker position detection unit 321 receives the reference image and the reference image at the time of imaging from the captured image storage unit 311 and the image correction data of the reference image and the reference image stored in advance from the image correction information storage unit 312. , The glass deformation data of the reference image and the reference image stored in advance are read from the calibration information storage unit 313, respectively.
  • the image correction tables (F12x, F12y) of the reference image when not passing through the windshield 112 are shown in the equations (1) and (2).
  • (X1, Y1) is a position on the captured image (after passing through the optical element)
  • (X2, Y2) is a position on the corrected image (before passing through the optical element) when the windshield 112 is not passed. be.
  • X1 F12x (X2, Y2) ... (1)
  • Y1 F12y (X2, Y2) ... (2)
  • the corrected positions (X2, Y2) on the reference image after passing through the windshield 112 are real numbers. Therefore, after correction (optical element) after passing through the windshield 112 using the equations (1) and (2) for the four positions in the vicinity of the positions (X2, Y2) where the values are integers.
  • the position on the reference image after shooting (after passing through the optical element) corresponding to the position on the reference image (before passing) is obtained, and two-dimensional linear interpolation is performed.
  • the position on the reference image after shooting corresponding to the position (X3, Y3) on the reference image after correction through the windshield 112 is calculated. This process is performed for each pixel, and image correction data (formulas (5) and (6)) for converting the captured image into a correction image through the windshield 112 is calculated.
  • X1 F13x (X3, Y3) ...
  • Y1 F13y (X3, Y3) ... (6)
  • the marker position detection unit 321 includes the focal length, pixel pitch, optical axis position on the captured image, optical axis position on the corrected image, and vehicle of the image pickup system unit 300a and the image pickup system unit 300b stored in the calibration information storage unit 313.
  • the three-dimensional positions of the markers 201 to 205 with respect to the stereo camera 104 when the 111 is installed so as not to be displaced are read. Further, based on the values of these parameters, the marker position detection unit 321 has no installation deviation in the stereo camera 104, does not pass through the windshield 112, and has no distortion of the optical element (marker position on the corrected image). Design position) is calculated.
  • the marker position detection unit 321 reads each marker image stored in the calibration information storage unit 313, and the difference between the luminance value of the reference image after image correction and the luminance value of the marker image in the vicinity of the marker position design. The sum of the absolute values of (SAD, Sum of Absolute Difference) is calculated. The marker position detection unit 321 finds the position where the SAD is the smallest in the vicinity of the design positions of the markers 201 to 205.
  • the marker position detection unit 321 performs equiangular straight line fitting based on the SADs of the left and right pixels at the position where the SAD is the smallest, and calculates the subpixel at the position where the reference image after image correction and the marker image best match. ..
  • the marker position detection unit 321 calculates the horizontal position of the markers 201 to 205 by adding this subpixel to the horizontal position where the SAD is the smallest.
  • the marker position detection unit 321 performs equiangular straight line fitting based on the SADs of the upper and lower pixels at the position where the SAD is the smallest, and the subpixel at the position where the reference image after image correction and the marker image best match. Is calculated. By adding this subpixel to the vertical position where the SAD is the smallest, the vertical position of the markers 201 to 205 is calculated. Similarly, the same processing is performed for the other markers 201 to 205, and the positions of the markers 201 to 205 on the corrected reference image are calculated.
  • the positions of the markers 201 to 205 detected by the above processing are referred to as detection positions. Further, the detection positions of the markers 201 to 205 correspond to the markers 502 and 504 on the corrected image 501 in FIG.
  • the reference image is also processed for the above image correction and marker position detection.
  • Step 403 The image shift factor detection unit 322 has the focal length, pixel pitch, optical axis position on the captured image, optical axis position on the corrected image, and vehicle from the calibration information storage unit 313 to the imaging system unit 300a and the imaging system unit 300b.
  • the design values of the three-dimensional positions of the markers 201 to 205 with respect to the stereo camera 104 when the 111 is installed so as not to be displaced, and the glass deformation data of the image pickup system unit 300a and the image pickup system unit 300b are read. Based on this information, the image shift factor detection unit 322 is installed so that the vehicle 111 does not shift, and the markers 201 to 205 on the corrected image when the image shift due to the windshield 112 is as designed. Calculate the position (design position) of.
  • the design positions of the markers 201 to 205 correspond to the markers 503 and 505 on the corrected image 501 in FIG.
  • the image shift factor detection unit 322 is based on the design positions of the markers 201 to 205 on the corrected image calculated as described above and the detection positions of the markers 201 to 205 detected in step 402, and the front is as shown below.
  • the enlargement ratio of the glass 112 and the camera installation deviation are estimated.
  • the image deviation due to the front glass 112 does not depend on the distance between the stereo camera 104 and the markers 201 to 205, and the camera installation deviation is the stereo camera. It is utilized that it depends on the distance between 104 and the markers 201 to 205.
  • Step 403 The image misalignment factor detection unit 322 is based on the design positions and detection positions of the markers 201 to 205 on the corrected image obtained in step 402, and the enlargement ratio of the windshield 112 and the camera installation misalignment are as shown below. And so on.
  • the image deviation due to the front glass 112 does not depend on the distance between the stereo camera 104 and the markers 201 to 205, and the camera installation deviation is the stereo camera. It is utilized that it depends on the distance between 104 and the markers 201 to 205.
  • the image shift factor detection unit 322 calculates the average of the intervals between the markers 201 adjacent to each other in the horizontal and vertical directions with respect to the detection position and the design position of the marker 201 on the chart 206 in the corrected image. Similarly, the average of the intervals between the detection positions and the design positions of the markers 202 to 205 on the charts 207 to 210 is calculated. Therefore, it is utilized that the image deviation due to the windshield 112 does not depend on the distance between the stereo camera 104 and the markers 201 to 205, and the camera installation deviation depends on the distance between the stereo camera 104 and the markers 201 to 205. do.
  • the horizontal and vertical enlargement ratios Mgh, Mgv, and the distance dLc between the stereo camera 104 and the marker 201 by the windshield 112 are calculated.
  • the distant marker is the marker 201
  • the near marker is the markers 202 to 205.
  • Minv Winv / Wdnv ⁇ ⁇ ⁇ (12)
  • the pitch angle deviation between the marker and the stereo camera 104 can be calculated together with the distance deviation between the upper and lower markers with respect to the vertical line 704 and the line 705 perpendicular to the optical axis direction 703 of the stereo camera 104. .. Therefore, the pitch angle deviation d ⁇ c between the marker and the stereo camera 104 is calculated using the equations (19) to (21).
  • the roll angle deviation between the marker and the stereo camera 104 corresponds to a rotation deviation between the detection position and the design position of the marker around the optical axis position (or center position) on the corrected image. Therefore, the roll angle deviation d ⁇ c is calculated using the equation (22) on the corrected image.
  • d ⁇ c --atan [ ⁇ ⁇ (Vi --Vo) (Ud --Uo)-(Ui --Uo) (Vd --vo) ⁇ / ⁇ ⁇ (Ui --Uo) (Ud --Uo) + (Vi --Vo) (Vd) --Vo) ⁇ ] ⁇ ⁇ ⁇ (22) -Each detection position of markers 201 to 205: (Ui, Vi) -Each design position of markers 201 to 205: (Ud, Vd) -Optical axis position (center position) on the corrected image: (Uo, Vo)
  • the horizontal and vertical misalignment between the marker and the stereo camera 104 depends on the distance between the stereo camera 104 and the marker, while the offset deviation due to the windshield 112 depends on the distance between the stereo camera 104 and the marker. Does not depend. Taking advantage of this, using equations (23) to (26), the horizontal and main direct offset deviations dUg and dVg by the front glass 112, and the horizontal and vertical directions between the marker and the stereo camera 104. Calculate the misalignment dXc and dYc.
  • the distant marker corresponds to the marker 201
  • the near marker corresponds to the markers 202 to 205.
  • dXc (dUin --dUif) c Lf Ln / ⁇ f (Lf --Ln) ⁇ ⁇ ⁇ ⁇ (23)
  • dYc (dVin --dVif) c Lf Ln / ⁇ f (Lf --Ln) ⁇ ⁇ ⁇ ⁇ (24)
  • dUg (dUin Ln --dUif Lf) / (Lf --Ln) ⁇ ⁇ ⁇ (25)
  • dVg (dVin Ln --dVif Lf) / (Lf --Ln) ⁇ ⁇ ⁇ (26)
  • the above processing performed on the reference image is also performed on the reference image.
  • the reference image and the reference image calculate the average of the horizontal and vertical positional deviations, distance deviations, pitch angle deviations, yaw angle deviations, and roll angle deviations between the calculated stereo camera 104 and the marker. These are referred to as the installation misalignment of the stereo camera 104. Further, by the above calculation, the enlargement ratio and the offset deviation in the horizontal direction and the vertical direction by the windshield 112 of the reference image and the reference image can be obtained.
  • Step 404 The vehicle installation misalignment detection unit 105 irradiates the vehicle 111 with laser light, and detects distances and light reception angles to a plurality of locations on the surface of the vehicle 111 based on the light reception time of the reflected light. Based on those distances and the light receiving angle, the detection positions are converted into a plurality of detection positions on the surface of the vehicle 111.
  • the vehicle installation misalignment detection unit 105 has surface shape data of the vehicle 111 and the position (design position) and posture (design posture) of the vehicle 111 when installed as designed, and the vehicle is based on these data.
  • the design positions of a plurality of locations on the surface of 111 are calculated.
  • the positional deviation and posture deviation of the vehicle 111 calculated as described above are added to the design position and design posture of the vehicle 111, and based on the surface shape data of the vehicle 111, at a plurality of locations on the surface of the vehicle 111 again. Calculate the design position. Then, the design position closest to the detection position of each position on the surface of the vehicle 111 is searched, the design position is set as the corresponding point of the detection position, and the vehicle is used using the equations (27) to (32). The process of calculating the positional deviation and the posture deviation of 111 is repeated. When the deviation value calculated by the equations (27) to (32) is smaller than the predetermined threshold value, the processing is terminated, and the value obtained by adding those deviations up to that point is referred to as the position deviation and the posture deviation of the vehicle installation. do.
  • Step 405 The camera mounting misalignment detection unit 334 uses equations (33) to (38) to subtract the camera mounting misalignment and posture misalignment from the vehicle installation misalignment and posture misalignment to obtain the camera mounting position. Calculate the deviation (dXa, dYa, dLa) and posture deviation (d ⁇ a, d ⁇ a, d ⁇ a).
  • dXa dXc --dXv ⁇ ⁇ ⁇ (33)
  • dYa dYc --dYv ⁇ ⁇ ⁇ (34)
  • dZa dZc --dZv ⁇ ⁇ ⁇ (35)
  • d ⁇ a d ⁇ c --d ⁇ v ⁇ ⁇ ⁇ (36)
  • d ⁇ a d ⁇ c --d ⁇ v ⁇ ⁇ ⁇ (37)
  • d ⁇ a d ⁇ c --d ⁇ v ⁇ ⁇ ⁇ ⁇ (38)
  • the image correction data changing unit 323 includes the focal length, pixel pitch, optical axis position on the captured image, and light on the corrected image of the imaging system unit 300a and the imaging system unit 300b stored in the calibration information storage unit 313.
  • the three-dimensional position of the marker with respect to the stereo camera 104 when the axis position and the vehicle 111 are installed so as not to be displaced is read. Based on the values of these parameters, the image correction data changing unit 323 has no misalignment in the stereo camera 104, does not pass through the windshield 112, and does not distort the optical element, and the marker position (design) on the corrected image. Position) is calculated.
  • the image correction data changing unit 323 calculates the marker position on the corrected image when the windshield 112 is not passed, based on the position deviation and the posture deviation of the installation of the stereo camera 104 calculated by the image deviation factor detection unit 322. ..
  • the image correction data changing unit 323 creates camera installation deviation data representing the image deviation due to the camera installation deviation based on the change in the marker position on these two corrected images.
  • the image correction data changing unit 323 does not have only the deviation of the camera mounting direction with respect to the traveling direction of the vehicle 111 from the state where there is the positional deviation and the posture deviation of the stereo camera 104 installation calculated by the image deviation factor detecting unit 322. Calculate the marker position on the corrected image when it is (removed). Then, the image correction data changing unit 323 mounts the camera based on the marker position on the corrected image when there is a deviation in the installation of the stereo camera and when there is no deviation in the mounting direction of the camera with respect to the traveling direction of the vehicle 111. Calculate the misdirection data.
  • the image correction data change unit 323 calculates the horizontal and vertical enlargement ratios of the windshield 112 model calculated by the image shift factor detection unit 322, and the glass shift data when there is an offset shift.
  • the image correction data changing unit 323 uses two-dimensional linear interpolation as shown in step 402 to perform conversion by camera mounting direction deviation data, conversion by glass deviation data, conversion by glass deformation data, conversion by camera installation deviation data, and front. Conversion by image correction data (representing distortion due to the optical element) when not passing through the glass 112 is sequentially performed for each pixel.
  • the image correction data changing unit 323 removes the pixel shift due to the camera installation shift, and calculates the image correction data through the windshield 112 when facing the traveling direction of the vehicle 111 for the reference image and the reference image.
  • the image correction data changing unit 323 stores these image correction data in the image correction information storage unit 312.
  • the stereo camera 104 of the present embodiment shown in FIG. 3 detects the distance of a three-dimensional object by using the image correction data created by performing the operation shown in FIG. 8 while the vehicle 111 is traveling. Detects camera mounting misalignment and changes image correction data.
  • Step 801 The synchronization signal generation unit 314 generates a synchronization signal and sends it to the reference image acquisition unit 315a and the reference image acquisition unit 315b.
  • the reference image acquisition unit 315a Immediately after receiving the synchronization signal from the synchronization signal generation unit 314, the reference image acquisition unit 315a sends the synchronization signal and the exposure time information to the image sensor unit 302a. Immediately after receiving the synchronization signal and the exposure time information from the reference image capture unit 315a, the image sensor unit 302a receives an image of the light refracted by the optical element unit 301a for the exposure time, and adjusts the intensity of the light. The corresponding image is generated, and the image is sent to the reference image acquisition unit 315a. The reference image acquisition unit 315a receives an image from the image sensor unit 302a and stores the image in the image pickup image storage unit 311.
  • the reference image acquisition unit 315b Immediately after receiving the synchronization signal from the synchronization signal generation unit 314, the reference image acquisition unit 315b sends the synchronization signal and the exposure time information to the image sensor unit 302b. Immediately after receiving the synchronization signal and the exposure time information from the reference image capture unit 315b, the image sensor unit 302b receives an image of the light refracted by the optical element unit 301b for the exposure time, and adjusts the intensity of the light. The corresponding image is generated, and the image is sent to the reference image acquisition unit 315b. The reference image acquisition unit 315b receives an image from the image sensor unit 302b and stores the image in the image pickup image storage unit 311.
  • Step 802 The image correction unit 331 reads the reference image and the reference image after imaging from the image capture image storage unit 311.
  • the image correction unit 331 reads the image correction data of the reference image and the reference image from the image correction information storage unit 312.
  • X1 Fx (X4, Y4) ... (39)
  • Y1 Fy (X4, Y4) ... (40)
  • the luminance values of the pixels (X4, Y4) of the corrected reference image are calculated by performing two-dimensional linear interpolation on the luminance values of the four peripheral pixels of the reference image position (X1, Y1). The above procedure is performed for each pixel of the corrected reference image, and the brightness value of the corrected reference image is calculated. Further, the above procedure is also performed for the reference image to calculate the brightness value of the corrected image of the reference image.
  • the corrected reference image and reference image are stored in the corrected image storage unit 316.
  • Step 803 The parallax calculation unit 332 reads the corrected image of the reference image and the reference image from the corrected image storage unit 316. As shown in FIG. 9, the parallax calculation unit 332 extracts a region 903 (referred to to be referred to as a reference region) of a predetermined size of the corrected reference image 901. The parallax calculation unit 332 searches for an image of the region in which the same object as the reference region 903 appears in the corrected reference image 902 by the following pattern matching.
  • the parallax calculation unit 332 extracts a region 904 (reference region) of a predetermined size of the reference image 902 at the same height as the reference image 903, and determines the difference between the luminance value of the reference region 903 and the luminance value of the reference region 904.
  • the sum of absolute values (SAD, Sum of Absolute Difference) is calculated.
  • the parallax calculation unit 332 calculates SAD for each reference area 904 on the reference image 902 at the same height as the reference area 903, and searches for the reference area 905 having the smallest SAD value.
  • the parallax calculation unit 332 performs equiangular straight line fitting using the SAD of the reference area 905 and the SAD of the reference area adjacent to the left and right of one pixel from the reference area 905, and the reference area on the reference image that most closely matches the reference area 903. Calculate 905 subpixels.
  • the parallax calculation unit 332 calculates the parallax of the reference region 903 on the corrected reference image 901 by adding a subpixel to the difference between the positions of the reference region 903 and the reference region 905.
  • the parallax calculation unit 332 performs such a process for all the regions on the reference image 901 after image correction, and calculates the parallax of the entire reference image 901.
  • the parallax calculation unit 332 stores the parallax image thus calculated in the parallax image storage unit 317.
  • Step 804 The recognition unit 333 reads the parallax image from the parallax image storage unit 317.
  • the recognition unit 333 calculates the distance L in the optical axis direction from the stereo camera 104 in the region on the parallax image using the equation (41).
  • f is a design value of the focal lengths of the image pickup system unit 300a and the image pickup system unit 300b
  • B is the distance (base line length) between the main points of the image pickup system unit 300a and the image pickup system unit 300b
  • d is the parallax
  • c is the image pickup. This is the pixel pitch of the element unit 302a and the image pickup element unit 302b.
  • the recognition unit 333 performs this process for all areas of the parallax image, calculates the distance in the optical axis direction to the stereo camera 104 in the entire parallax image, and creates a distance image.
  • the recognition unit 333 calculates a three-dimensional position in a region on a distance image using equations (42) to (44).
  • the three-dimensional coordinate system has an X coordinate in the right direction and a Y coordinate in the upward direction with a point on the road surface perpendicularly lowered from the main point of the optical element unit 301a of the image pickup system unit 300a of the stereo camera 104 as the origin. Takes the Z coordinate in the direction of travel.
  • (U, V) is each position on the distance image
  • (U0, V0) is the optical axis position on the reference image
  • H is the mounting height of the stereo camera 104 from the road surface.
  • the recognition unit 333 performs this process for all areas of the parallax image and calculates the three-dimensional position in the entire parallax image.
  • the recognition unit 333 detects the adjacent regions where the distance ratio is within the processing threshold on the distance image, the area of the regions is equal to or larger than the threshold, and the height (Y coordinate) of those regions from the road surface. ) Is greater than or equal to the threshold value, it is presumed to be a three-dimensional object.
  • Step 805 The camera mounting misalignment detection unit 334 reads the corrected reference image created in the previous and current processes from the corrected image storage unit 316.
  • the camera mounting misalignment detection unit 334 creates horizontal and vertical edge images for the reference images after the previous and current corrections.
  • the camera mounting misalignment detection unit 334 detects a region in which both vertical and horizontal edges are present in a region of a predetermined size on these edge images.
  • the camera mounting misalignment detection unit 334 uses pattern matching processing to search for a region on the reference image after the previous correction that matches this region.
  • the camera mounting misalignment detection unit 334 detects an edge that matches the previous and current correction images
  • the camera mounting misalignment detection unit 334 detects the previous and current edge positions
  • the misalignment correction information storage unit 318 detects the previous edge position. Add the current edge position to the matching edge position and store it.
  • the camera mounting misalignment detection unit 334 newly stores the current edge position in the misalignment correction information storage unit 318 when there is no matching edge on the corrected image of the previous time and the current time. In this way, the camera mounting misalignment detection unit 334 stores the time-series position of the edge.
  • the camera mounting misalignment detection unit 334 obtains an approximate straight line connecting the time-series data of edge matching.
  • the camera mounting misalignment detection unit 334 performs this process for each region including both the vertical edge and the horizontal edge.
  • the camera mounting misalignment detection unit 334 obtains the positions of intersections on the image for each combination of these approximate straight lines, and averages the positions of those intersections.
  • the camera mounting misalignment detection unit 334 determines that the vehicle is traveling straight and uses the average value of the intersection positions as the vanishing point position. , The number of vanishing point position data is increased by one and stored in the deviation correction information storage unit 318. If the average value of the intersection positions is a distance equal to or greater than the threshold value from the design vanishing point position, the camera mounting misalignment detection unit 334 determines that the vehicle is turning and the vanishing point position data is not correctly detected. And discard it.
  • the camera mounting deviation detection unit 334 uses the vanishing point position data stored in the deviation correction information storage unit 318. On average, the detected value of the vanishing point position is obtained, and the difference between the detected value of the vanishing point position and the design value is defined as the horizontal and vertical image deviation due to the camera mounting deviation.
  • the camera mounting misalignment detection unit 334 performs the above processing on the reference image.
  • the average of the horizontal and vertical image deviations due to the camera mounting deviation in the reference image and the reference image is calculated and stored in the deviation correction information storage unit 318.
  • Step 806 The camera mounting misalignment detection unit 334 reads the image correction data of the reference image from the image correction information storage unit 312, and the horizontal and vertical image misalignment due to the camera mounting misalignment from the misalignment correction information storage unit 318.
  • the camera mounting misalignment detection unit 334 uses two-dimensional linear interpolation as shown in step 402 to perform conversion of the reference image by image correction data and conversion to correct horizontal and vertical image misalignment due to camera mounting misalignment for each pixel. Perform each time in sequence. As a result, the camera mounting misalignment detection unit 334 calculates the image correction data for removing the camera mounting misalignment.
  • the camera mounting misalignment detection unit 334 performs the above processing on the reference image.
  • the camera mounting misalignment detection unit 334 stores the image correction data of the reference image and the reference image calculated in this way in the image correction information storage unit 312.
  • the stereo camera 104 When the stereo camera 104 is attached to the vehicle 111, if there is a vehicle installation deviation or a stereo camera installation deviation, it cannot be distinguished from the image deviation due to the windshield 112. Then, the image deviation due to the vehicle installation deviation or the stereo camera installation deviation is included in the image deviation due to the windshield 112, and an error occurs in the changed image correction data. Then, image deviations in the horizontal and vertical directions occur between the corrected reference image and the reference image of the object at a distance different from the marker. Then, due to this image shift in the vertical direction, the regions of the reference image and the reference image do not match in the pattern matching process, and the parallax cannot be calculated normally. Further, even if the vertical deviation is corrected, a parallax error occurs due to the image deviation in the horizontal direction.
  • the enlargement ratio and the offset shift of the glass model of the vehicle 111 which does not depend on the distance, the position between the marker and the camera existing in the distance, and the position between the cameras and the distance. Detects posture deviation. Then, assuming that there is a vehicle installation deviation and a camera installation deviation at the camera position, the data for correcting the image is changed so as to calibrate the image deviation due to the windshield 112. As a result, it is possible to remove the image deviation due to the vehicle installation deviation and the camera installation deviation with only one shooting, and the distance can be measured accurately.
  • the camera mounting misalignment detection unit 334 causes a vanishing point position (detection position) on the corrected image. ) Is detected. Then, the camera mounting misalignment detection unit 334 changes the image correction data so as to correct the horizontal and vertical image misalignment due to the camera mounting misalignment based on the difference in the design position of the vanishing point. As a result, it is possible to correct the correction deviation due to the installation deviation or deformation of the stereo camera 104 that occurs over time.
  • the processing device and the vehicle-mounted camera device of the present invention are not limited to the above-described embodiment, and can be variously modified and applied. Hereinafter, a modified example of the embodiment of the processing device and the vehicle-mounted camera device of the present invention will be described.
  • Modification 1-1) (Embodiment in which the image calibration process is performed by the calculation unit) 1 and 10 show the configuration of an embodiment of the processing device and the vehicle-mounted camera device of the present invention.
  • the calibration information storage unit 313 and the image calibration unit 320 are removed from the stereo camera 104, and a newly added calculation unit 106 ( 1000) is provided with a calibration information storage unit 313 and an image calibration unit 320.
  • the calculation unit 106 (1000) is connected to the stereo camera 104 and the vehicle installation deviation detection unit 105.
  • the operation of each part is the same as that of the processing device and the vehicle-mounted camera device shown in FIGS. 1 and 3.
  • the executable file for performing the image calibration process can be removed from the stereo camera 104, and the amount of memory used in the stereo camera 104 can be reduced.
  • the newly added calculation unit 106 (1000) is installed exclusively for the process of attaching to the vehicle 111, and the calculation processing capacity of the calculation unit 106 (1000) is faster than that of the stereo camera 104. Therefore, the time required for the image proofreading process can be shortened, and the number of images that can be proofread per hour can be increased.
  • step 1-2 (Detection of camera installation misalignment only)
  • the vehicle installation misalignment detection unit 105 is deleted in the embodiment of the processing device and the vehicle-mounted camera device of the present invention shown in FIGS. 1 and 3. Further, steps 404 and 405 in the operation procedure shown in FIG. 4 are not performed. Further, in step 406, conversion by camera mounting direction deviation data, conversion by glass deviation data, conversion by glass deformation data, conversion by camera installation deviation data, image correction data when not passing through the front glass 112 (distortion due to optical elements).
  • the correction error due to the installation deviation of the stereo camera 104 due to the vehicle installation deviation can be removed from the image correction data.
  • an error occurs in the position of the vanishing point on the image due to the stereo camera mounting misalignment, but in steps 805 and 806 of the operation procedure shown in FIG. 8, the camera mounting misalignment is detected and the resulting image misalignment is corrected.
  • the image correction data to be performed it is possible to correct the image deviation due to the stereo camera mounting deviation.
  • the calibration information storage unit 313 does not store each marker image on the corrected image.
  • step 402 instead of performing pattern matching processing using the marker image and detecting the feature point position, in the reference image and the reference image after image correction, the pixel having a predetermined brightness value or less is set to 1.
  • the position of the marker is detected by performing the binarization process in which the other pixels are set to 0 and calculating the position of the center of gravity of each marker on the binarized image. This makes it possible to reduce the work of creating a marker image in advance and storing it.
  • Modification 1-4 (Image calibration device for monocular camera)
  • the stereo camera 104 shown in FIG. 1 is changed to the monocular camera 104 to replace the stereo camera shown in FIG.
  • the monocular camera shown in FIG. 11 is provided, and instead of the operation procedure during traveling shown in FIG. 8, the operation procedure shown in FIG. 12 is performed, and in the operation procedure shown in FIGS. 4 and 12, each part is an image pickup system.
  • the image of the image pickup system unit 1000 is processed.
  • the corrected image storage unit 316 and the distance detection unit 330 displayed in gray are not included in the present embodiment and operate in the case of detecting the distance of a three-dimensional object. These operations will be described later.
  • the monocular camera is attached to the vehicle 111 and photographs the markers 201 to 205 through the windshield 112 of the vehicle 111. Further, the monocular camera includes an imaging system unit 1000 and a calculation unit 210, and is connected to the vehicle installation misalignment detection unit 105.
  • the image pickup system unit 1000 such as a camera includes an optical element unit 1001 and an image pickup element unit 1002.
  • the optical element unit 1001 such as a lens refracts light to form an image on the image pickup element unit 1002.
  • the image pickup element unit 1002 such as an image pickup element receives an image of light refracted by the optical element unit 1001 and generates an image according to the intensity of the light.
  • the arithmetic unit 310 such as a CPU (central processing unit, central processing unit) and memory includes an image pickup image storage unit 311, an image correction information storage unit 312, a calibration information storage unit 313, a correction image storage unit 316, and a deviation correction storage unit 318. , An image capture unit 1015, an image calibration unit 320, and a distance detection unit 1030.
  • the distance detection unit 1030 includes an image correction unit 331, a recognition unit 1032, a three-dimensional object distance detection unit 1033, and a camera mounting misalignment detection unit 334.
  • the image pickup image storage unit 311 such as a memory, the image correction information storage unit 312, the calibration information storage unit 313, the correction image storage unit 316, and the deviation correction storage unit 318 are used instead of the information of the image pickup system unit 300a and the image pickup system unit 300b.
  • the information of the image pickup system unit 1000 is stored.
  • the image capture unit 1015 acquires an image generated by the image sensor unit 1002 and stores the image in the image pickup image storage unit 311.
  • the marker position detection unit 321, the image deviation factor detection unit 322, the image correction data change unit 323, the image correction unit 331, and the camera mounting deviation detection unit 334 do not perform processing related to the images of the image pickup system unit 300a and the image pickup system unit 300b. , The same processing is performed for the image of the image pickup system unit 1000.
  • the recognition unit 1032 calculates the feature amount of the vehicle 111 in each region of the image corrected by the image correction unit 331, and detects a region that matches the feature of the vehicle 111. Further, the recognition unit 1032 calculates the feature amount of the pedestrian in each region of the corrected image and detects the region that matches the feature of the pedestrian.
  • the three-dimensional object distance detection unit 1033 calculates the distance between the vehicle 111 and the pedestrian based on the position in contact with the road surface, with the position of the lower part of the area of the vehicle 111 and the area of the pedestrian as the position in contact with the road surface.
  • step 401 the following processing is performed, and the marker position detection unit 321, the image shift factor detection unit 322, and the image correction data change unit 323 perform processing related to the images of the image pickup system unit 300a and the image pickup system unit 300b. Instead, by performing processing on the image of the image pickup system unit 1000, the camera installation deviation, the vehicle installation deviation, the camera installation deviation, and the horizontal and vertical enlargement ratios of the front glass 112 are detected.
  • Step 401 The image acquisition unit 1015 sends the image pickup signal and the exposure time information to the image pickup element unit 1002. Immediately after receiving the image pickup signal and the exposure time information from the image capture unit 1015, the image sensor unit 1002 receives an image of the light refracted by the optical element unit 1001 for the exposure time, and responds to the intensity of the light. The image is generated and sent to the image capture unit 1015. The image acquisition unit 1015 receives an image from the image sensor unit 1002 and stores the image in the image pickup image storage unit 311.
  • step 801 the same processing as in step 401 (described above) of the modification 1-4 in which the synchronization signal generation unit is not used is performed.
  • steps 802 and 805 to 806 instead of processing the images of the image pickup system unit 300a and the image pickup system unit 300b, the same processing is performed on the images of the image pickup system unit 1000, so that the description of those steps is omitted. Then, only step 1103 and step 1104 will be described.
  • Step 1103 The recognition unit 1032 reads the corrected image stored in the corrected image storage unit 316.
  • the feature amount of the vehicle 111 is calculated in each region of the corrected image 1201, and as shown in FIG. 13, the region 1202 that matches the feature of the vehicle 111 is detected. Further, the recognition unit 1032 calculates the feature amount of the pedestrian in each region of the corrected image 1201 and detects the region 1203 that matches the feature of the pedestrian.
  • Step 1104 The three-dimensional object distance detection unit 1034 sets the position of the lower part of the area 1202 of the vehicle 111 and the area 1203 of the pedestrian as the position in contact with the road surface, and the distance between the vehicle 111 and the pedestrian based on the position in contact with the road surface. Is calculated.
  • the monocular camera When the monocular camera is attached to the vehicle 111, if there is a vehicle installation misalignment or a monocular camera mounting misalignment, it cannot be distinguished from the image misalignment due to the front glass 112, and the image misalignment due to the vehicle installation misalignment or the monocular camera mounting misalignment is the image due to the front glass 112.
  • An error occurs in the changed image correction data included in the deviation, and the corrected image of the object at a distance different from the marker causes horizontal and vertical image deviation, and this vertical image The deviation causes an error in those distances.
  • the enlargement ratio and offset deviation of the windshield 112 model of the vehicle 111 which does not depend on the distance, and the distance between the marker and the camera are based on the distance and the positional deviation on the image of the markers having different distances. Detects position and posture deviation. Then, assuming that there is a vehicle installation deviation and a camera installation deviation in the camera position, by changing the data for correcting the image so as to calibrate the image deviation due to the windshield 112, the vehicle installation deviation and the vehicle installation deviation can be achieved with only one shooting. Image misalignment due to camera mounting misalignment can be removed, and distance can be measured accurately.
  • the monocular camera of the modified example 1-4 is not limited to the embodiment of the superior surgery, and can be variously modified and applied as shown in the modified examples 1-1 to the modified example 1-3. And the same effect can be obtained.
  • optical element section 302a ... image pickup element section, 302b ... image pickup element section, 310 ... calculation Unit, 311 ... Image capture image storage unit, 312 ... Image correction information storage unit, 313 ... Calibration information storage unit, 314 ... Synchronous signal generation unit, 315a ... Reference image acquisition unit, 315b ... Reference image acquisition unit, 316 ... Correction Image storage unit, 317 ... Disparity image storage unit, 318 ... Misalignment correction information storage unit, 320 ... Image calibration unit, 321 ... Marker position detection unit, 322 ... Image deviation factor detection unit, 323 ... Image correction data change unit, 330 ... Distance detection unit, 331 ... Image correction unit, 332 ...

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Mechanical Engineering (AREA)
  • Manufacturing & Machinery (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Measurement Of Optical Distance (AREA)
  • Studio Devices (AREA)

Abstract

本開示は、単眼カメラやステレオカメラを車両に取り付けて、校正のためのマーカを撮影したときに、車両の設置ずれやカメラの取付ずれによるマーカに対するカメラの設置ずれを検出して、この要因による画像のずれの影響を受けないように、ガラスによる画像ずれを校正して、距離を正確に計測する処理装置を提供する。車載カメラ（ステレオカメラ１０４）からの距離が異なる複数のマーカ１０１，１０２，１０３を撮像した画像及びモデル化された車両１１１の窓（フロントガラス１１２）のデータから車載カメラの設置ずれを取得し、設置ずれを使用して、車載カメラの画像を補正するための補正データを変更する処理装置。設置ずれとは、マーカ１０１，１０２，１０３が存在するチャートに対して車載カメラが配置されるべき位置に対する位置ずれである。

Description

処理装置及び車載カメラ装置
　本発明は、一または複数のカメラ画像を歪のない画像に補正するデータを算出する処理装置及び車載カメラ装置に関する。
　特許文献１の従来技術は、第１カメラと第２カメラを有するステレオカメラを車両に設置した後に、フロントガラス（透明体）を介して撮影した第１カメラの画像を校正する第１カメラの補正パラメータを算出する。次に、第１カメラと第２カメラの被写体の視差ずれを校正する第２カメラの補正パラメータを算出することにより、フロントガラスによる画像のずれを除去する。
　特許文献２の従来技術は、フロントガラス（透明体）を介在したときと、介在しないときに、被写体をステレオカメラで撮影し、画像上の被写体の座標を求め、それらの座標との差をもとに、画像を構成する補正パラメータを算出する。この補正パラメータをもとに、フロントガラスによる画像のずれを除去する。
特開２０１９－１３２８５５号公報 特開２０１５－１６９５８３号公報
　カメラを取り付けた車両にチャートに対する設置ずれがある場合や、カメラに車両に対する取付ずれがある場合、フロントガラスによる画像のずれとして構成する補正パラメータに、車両の設置ずれ及びカメラの取付ずれによる画像のずれが含まれてしまう。これにより、校正のために撮影した被写体の距離と異なる距離の対象物を撮影したときに、第１カメラと第２カメラの画像上の対象物に垂直方向のずれが発生して、パターン・マッチング処理で対象物の像が正常に一致せず、正確な視差を検出できなくなる。また、第１カメラと第２カメラの画像上の対象物に水平方向のずれが発生して、視差誤差が発生する。このように視差誤差により、対象物の距離が正確に計測できない。
　本発明の課題は、単眼カメラやステレオカメラを車両に取り付けて、校正のためのマーカを撮影したときに、車両の設置ずれやカメラの取付ずれによるマーカに対するカメラの設置ずれを検出して、この要因による画像のずれの影響を受けないように、ガラスによる画像ずれを校正して、距離を正確に計測する処理装置を提供することである。
　本発明による処理装置は、車載カメラからの距離が異なる複数のマーカを撮像した画像及びモデル化された車両の窓のデータから前記車載カメラの設置ずれを取得し、前記設置ずれを使用して、前記車載カメラの画像を補正するための補正データを変更する処理装置であって、前記設置ずれとは、前記マーカが存在するチャートに対して前記車載カメラが配置されるべき位置に対する位置ずれである。
　本発明によれば、距離の異なるマーカの画像上の間隔及び位置ずれをもとに、距離に依存しない車両のガラスのモデルの拡大率及びオフセットずれ、距離に依存するマーカとカメラ間位置及び姿勢ずれを検出することができる。そして、カメラ位置に車両設置ずれ及びカメラ取付ずれがあるとして、フロントガラスによる画像のずれを校正するように、画像を補正するデータを変更することにより、１回の撮影だけで車両設置ずれ及びカメラ取付ずれによる画像のずれを除去でき、距離を正確に計測できる。
本発明の処理装置及び車載カメラ装置の実施形態を示す図である。 マーカの配置領域の例を示す図である。 本発明の処理装置及び車載カメラ装置の実施形態を示す図である。 処理装置及び車載カメラ装置の動作を示す図である。 補正画像上のマーカの位置を示す図である。 マーカ、ステレオカメラ及び車両の配置を上方から見た例を示す図である。 マーカ、ステレオカメラ及びガラスの配置を側方から見た例を示す図である。 ステレオカメラの動作を示す図である。 ２つの撮像系部の補正画像上の視差を算出する例を示す図である。 図３に示す処理装置及び車載カメラ装置の変形例を示す図である。 図３に示す処理装置及び車載カメラ装置の変形例を示す図である。 カメラの動作を示す図である。 距離計測の対象物が撮影された画像の例を示す図である。
（実施形態１）
　図１は、本発明の一実施例の形態の画像校正装置の構成を示す図である。図２は、マーカの配置領域の例を示す図である。図３は、本発明の一実施例の形態の画像校正装置のステレオカメラの構成を示す図である。
　本実施形態の処理装置は、たとえば画像校正装置である。画像校正装置は、フロントガラス１１２を通さない状態で撮影した画像の歪及びずれを補正するための画像補正データを有しており、車両１１１が所定の位置１２１及び所定の姿勢（方向１２２）からずれた位置及び姿勢（方向１２３）に設置される。ステレオカメラ１０４が車両１１１に対して所定の位置及び姿勢（方向１２２）からずれた位置及び姿勢（方向１２４）に取り付けられた状態で、車両１１１の設置ずれ及びステレオカメラ１０４の取付ずれの影響を除去して、フロントガラス１１２による画像ずれを補正するように、画像補正データを変更する。
　図１及び図３に本発明の画像校正装置の一実施例の構成を示す。ここで、灰色で表示した補正画像記憶部３１６、視差画像記憶部３１７、距離検出部３３０は、画像校正装置に含まれず、立体物の距離を検出するケースで稼働する。これらの動作は後述する。
　画像校正装置は、複数のマーカ、車両設置ずれ検出部１０５及びステレオカメラ１０４を備える。
　複数のマーカは、図２に示すように、丸の形状を有している。複数のマーカ２０１は車両の正面に配置され、複数のマーカ２０２、複数のマーカ２０３、複数のマーカ２０４及び複数のマーカ２０５は、複数のマーカ２０１に対してそれぞれ左上の手前、右上の手前、左下の手前及び右下の手前に配置されている。ここで、マーカ２０１、マーカ２０２、マーカ２０３、マーカ２０４及びマーカ２０５は、それぞれ、チャート２０６、チャート２０７、チャート２０８、チャート２０９及びチャート２１０に描かれている。また、マーカ１０１は、マーカ２０１を、マーカ１０２は、マーカ２０２または２０４を、マーカ２０３は、マーカ２０３またはマーカ２０５を表している。マーカ２０１～２０５の配置は、カメラから異なる距離に配置されていれば、図２に示す以外の配置でも構わない。
　ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）及び演算部などから構成される車両設置ずれ検出部１０５は、設計通り設置したときの車両の表面形状データ（設計値）及び車両の位置（設計位置）を有しており、車両１１１の表面位置（計測値）を計測して、車両１１１の表面形状データの設計値と車両１１１の表面位置の計測値を照合して、車両１１１の設計位置からの位置ずれ及び姿勢ずれを検出する。
　ステレオカメラ１０４は、車両１１１に取り付けられており、車両１１１のフロントガラス１１２を通して、マーカ２０１～２０５を撮影する。また、ステレオカメラ１０４は、撮像系部３００ａ、撮像系部３００ｂ、及び演算部３１０を備えており、車両位置ずれ検出部１０５と接続している。
　カメラなどの撮像系部３００ａは、光学素子部３０１ａ、及び撮像素子部３０２ａを備えている。レンズなどの光学素子部３０１ａは、光を屈折させて、撮像素子部３０２ａ上に像を結ぶ。撮像素子などの撮像素子部３０２ａは、光学素子部３０１ａにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。
　カメラなどの撮像系部３００ｂは、光学素子部３０１ｂ、及び撮像素子部３０２ｂを備えている。また、撮像系部３００ａと撮像系部３００ｂの焦点距離の設計値は同じである。撮像系部３００ａと撮像系部３００ｂの光軸の方向は、おおむね同じである。レンズなどの光学素子部３０１ｂは、光を屈折させて、撮像素子部３０２ｂ上に像を結ぶ。撮像素子などの撮像素子部３０２ｂは、光学素子部３０１ｂにより屈折した光の像を受光し、その光の強さに応じた画像を生成する。
　撮像系部３００ａが撮像した画像は、視差画像を作成するときに基準となる画像であるため、基準画像と呼ぶ。また、撮像系部３００ｂが撮像した画像は、視差画像を作成するときに、基準画像から抽出した領域と一致する領域を探索される画像であり、参照画像と呼ぶ。
　ＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ、中央演算処理装置）及びメモリなどの演算部３１０は、撮像画像記憶部３１１、画像補正情報記憶部３１２、校正情報記憶部３１３、同期信号発生部３１４、基準画像取込部３１５ａ、参照画像取込部３１５ｂ、画像校正部３２０、補正画像記憶部３１６、視差画像記憶部３１７、ずれ補正記憶部３１８、及び距離検出部３３０を備えている。
　メモリなどの撮像画像記憶部３１１は、撮像系部３００ａ及び撮像系部３００ｂから出力される画像を格納する。
　メモリなどの画像補正情報記憶部３１２は、撮像系部３００ａの画像及び撮像系部３００ｂの画像について、撮影画像（歪がない画像）上の各画素に対応する補正画像（歪がある撮像後の画像）上の２次元座標（画像補正データ）を格納する。画像補正情報記憶部３１２は、事前に、フロントガラス１１２がない状態で求められた撮像系部３００ａ及び撮像系部３００ｂの画像補正データを格納するとともに、画像補正データ変更部が作成した、フロントガラス１１２越しに歪がない画像に補正する画像補正データを格納する。ここで、歪がない画像とは、ピンホールモデルで透視投影を行った画像である。この画像補正データは、撮像後の画像のレンズ歪みや光軸ずれを補正する処理に用いられ、撮像時の画像の歪を表している。
　メモリなどの校正情報記憶部３１３は、撮像系部３００ａ及び撮像系部３００ｂの焦点距離、画素ピッチ、撮影画像上の光軸位置、補正画像上の光軸位置、車両１１１にずれがないように設置したときのステレオカメラ１０４に対するマーカ２０１～２０５の３次元位置、撮像系部３００ａ及び撮像系部３００ｂにおけるフロントガラス１１２による画像変形モデルのデータ（ガラス変形データ）の設計値及びそのときの補正画像上の各マーカ画像、フロントガラス１１２による画像変形のモデルの水平方向及び垂直方向の拡大率及びオフセットずれ、車両設置の位置ずれ及び姿勢ずれ、カメラ取付の位置ずれ及び姿勢ずれが格納されている。
　ここで、フロントガラス１１２による画像変形の水平方向及び垂直方向の拡大率及びオフセットずれ量、車両設置の位置ずれ及び姿勢ずれ、カメラ取付の位置ずれ及び姿勢ずれは、画像ずれ要因検出部３２２で算出されている。フロントガラス１１２による画像変形の水平方向及び垂直方向の拡大率の初期値は１であり、それ以外の初期値はゼロである。ガラス変形データは、フロントガラス１１２を通る前の画像上の各画素に対応したフロントガラス１１２を通った後の画像上の位置の２次元座標である。
　同期信号発生部３１４は、同期信号を生成し、発信する。
　基準画像取込部３１５ａは、同期信号発生部３１４の同期信号に合わせて、撮像素子部３０２ａに同期信号及び露光時間の情報を送った後に、撮像素子部３０２ａが生成する画像を取得して、画像を撮像画像記憶部３１１に格納する。
　参照画像取込部３１５ｂは、同期信号発生部３１４の同期信号に合わせて、撮像素子部３０２ｂに同期信号及び露光時間の情報を送った後に、撮像素子部３０２ｂが生成する画像を取得して、画像を撮像画像記憶部３１１に格納する。
　画像校正部３２０は、マーカ位置検出部３２１、画像ずれ要因検出部３２２、及び画像補正データ変更部３２３を備えている。
　マーカ位置検出部３２１は、画像補正情報記憶部３１２に事前に格納されている画像補正データ、フロントガラス１１２による画像変形データの設計値をもとに、フロントガラス１１２越しの撮影画像を補正する画像補正データを算出して、その画像補正データを用いて、撮像系部３００ａ及び撮像系部３００ｂの撮影画像を補正する。マーカ位置検出部３２１は、次に、パターン・マッチング処理を行い、校正情報記憶部３１３に格納されているマーカ画像と、それらの補正画像上のマーカ像に一致させて、補正画像上のマーカ位置(検出位置)を検出する。
　画像ずれ要因検出部３２２は、校正情報記憶部３１３に格納されている撮像系部３００ａ及び撮像系部３００ｂの焦点距離、画素ピッチ、撮影画像上の光軸位置、補正画像上の光軸位置、車両１１１にずれがないように設置したときのステレオカメラ１０４に対するマーカの３次元位置、撮像系部３００ａ及び撮像系部３００ｂのガラス変形データの設計値をもとに、車両１１１にずれがないように設置して、フロントガラス１１２による画像ずれが設計値通りである場合の補正画像上のマーカ位置（設計位置）を算出する。
　さらに、画像ずれ要因検出部３２２は、補正画像上のマーカ２０１～２０５の検出位置及び設計位置をもとに、フロントガラス１１２による画像ずれがステレオカメラ１０４とマーカ２０１～２０５との間の距離に依存しないこと、カメラ設置ずれがステレオカメラ１０４とマーカ２０１～２０５との間の距離に依存することを利用して、フロントガラス１１２による画像変形の水平方向及び垂直方向の拡大率及びオフセットずれ、カメラ設置ずれを算出する。ここで、カメラ設置ずれはマーカ２０１～２０５とステレオカメラ１０４との間の位置ずれ及び姿勢ずれ（設計箇所からのずれ）である。次に、車両設置ずれ検出部１０５が検出した車両設置ずれ、画像ずれ要因検出部３２２が算出したカメラ設置ずれをもとに、カメラ取付ずれを算出する。ここで、カメラ取付ずれは、車両１１１にステレオカメラ１０４を取り付けたときの車両１１１に対するステレオカメラ１０４の位置ずれ及び姿勢ずれ（設計箇所からのずれ）である。
　画像補正データ変更部３２３は、校正情報記憶部３１３に格納されている撮像系部３００ａ及び撮像系部３００ｂの焦点距離、画素ピッチ、撮影画像上の光軸位置、補正画像上の光軸位置、車両１１１にずれがないように設置したときのステレオカメラ１０４に対するマーカ２０１～２０５の３次元位置を読み込む。
　また、画像補正データ変更部３２３は、画像ずれ要因検出部３２２が検出したカメラ設置ずれ、カメラ取付ずれ、フロントガラス１１２のモデルの水平方向及び垂直方向の拡大率、オフセットずれを用いて、カメラ設置ずれによる画像ずれを表すカメラ設置ずれデータ、カメラ取付方向ずれによる画像ずれを表すカメラ取付方向ずれデータ、フロントガラス１１２のモデルの水平方向及び垂直方向の拡大率、オフセットずれがあるときのガラスずれデータを算出する。
　また、画像補正データ変更部３２３は、２次元線形補間を用いて、カメラ取付方向ずれデータによる変換、ガラスずれデータによる変換、ガラス変形データによる変換、カメラ設置ずれデータによる変換、フロントガラス１１２を通さないときの画像補正データ（撮像時の画像の歪を表す）による変換を画素ごとに順次行う。これにより、画像補正データ変更部３２３は、カメラ設置ずれによる画素ずれを除去するとともに、車両１１１の進行方向を向いたときのフロントガラス１１２越しの画像補正データを基準画像及び参照画像について算出して、これらの画像補正データを画像補正情報記憶部３１２に格納する。
　メモリなどの補正画像記憶部３１６は、画像補正部３３１が撮像系部３００ａ及び撮像系部３００ｂの画像補正データを用いて、それぞれの撮影画像を補正した補正画像を格納する。メモリなどの視差画像記憶部３１７は、視差画像を格納する。メモリなどのずれ補正情報記憶部３１８は、基準画像及び参照画像における縦エッジと横エッジの両方がある領域の位置の時系列データ、消失点位置の設計値、消失点位置データ（検出値）、カメラ取付ずれによる水平方向及び垂直方向の画像ずれを格納する。
　距離検出部３３０は、画像補正部３３１、視差算出部３３２、認識部３３３、及びカメラ取付ずれ検出部３３４を備える。
　画像補正部３３１は、画像補正情報記憶部３１２から読み込んだ基準画像及び参照画像の画像補正データを用いて、撮像画像記憶部３１１から読み込んだ撮影時の基準画像及び参照画像を、歪のない画像に変換する。これらの補正後の基準画像及び参照画像を補正画像記憶部３１６に格納する。
　視差算出部３３２は、補正画像記憶部３１６から補正後の基準画像及び参照画像を読み込み、補正後の基準画像上から抽出した所定のサイズの領域（基準領域と呼ぶことにする）に対応する補正後の参照画像上の同じ高さにある領域を探索する。視差算出部３３２は、基準領域と一致する参照画像上の領域（参照領域と呼ぶことにする）の位置と、基準領域の位置の差すなわち視差を算出する。各基準領域について視差を算出することにより、視差画像を算出する。
　認識部３３３は、視差画像記憶部３１７から視差画像を読み込み、視差、撮像系部３００ａと撮像系部３００ｂの焦点の距離（基線長）、焦点距離及びの１画素のサイズをもとに、撮像系部３００ａ及び撮像系部３００ｂの光軸方向にステレオカメラ１０４から画像上の対象物までの距離を算出する。認識部３３３は、各領域について距離を算出することにより、距離画像を算出する。
　認識部３３３は、次に、補正画像記憶部３１６から補正後の基準画像を読み込み、補正後の基準画像及び距離画像を用いて、基準画像に写っている対象物及び基準画像上の対象物の位置を認識し、ステレオカメラ１０４に対する対象物の３次元の相対位置及び相対速度を算出する。ここで、ステレオカメラ１０４に対する３次元の相対位置座標系は、撮像系部３００ａの入射瞳中心を原点として、撮像系部１００ａに対して右方向にｘ座標、下方向にｙ座標、光軸方向にｚ座標をとる。また、認識部３３３は、ステレオカメラ１０４と対象物の相対位置及び相対速度をもとに衝突までに時間を算出して、所定の時間内に衝突するかどうかを判定する。
　カメラ取付ずれ検出部３３４は、補正画像記憶部３１６から読み込んだ前回と今回の補正後の基準画像について、水平方向及び垂直方向のエッジ画像を作成して、縦エッジ（垂直方向のエッジ）と横エッジ（水平方向のエッジ）を両方含む領域を検出する。次に、カメラ取付ずれ検出部３３４は、パターン・マッチング処理を行い、今回の補正後の基準画像上の領域に対応する前回の補正後の基準画像上の領域を探索して、縦エッジと横エッジの両方を含む領域の位置の時系列データを求める。
　さらに、カメラ取付ずれ検出部３３４は、上記領域の位置の時系列データの近似曲線を複数求め、それらの交点をもとに、基準画像上の消失点の位置（検出値）を検出する。カメラ取付ずれ検出部３３４は、基準画像上の消失点の位置の検出値と設計値の差をカメラ取付ずれとして、ずれ補正情報記憶部３１８に格納する。最後に、カメラ取付ずれ検出部３３４は、画像補正情報記憶部３１２からを読み込んだ基準画像の画像補正データを、カメラ取付ずれだけ補正して、画像補正情報記憶部３１２に格納する。参照画像について、同様の処理を行う。
　図１～図３に示す本実施形態のステレオカメラ１０４の一実施例の動作手順を、図４を用いて説明する。
　ステップ４０１：同期信号発生部３１４は、同期信号を生成して、基準画像取込部３１５ａ及び参照画像取込部３１５ｂに送る。
　基準画像取込部３１５ａは、同期信号発生部３１４からの同期信号を受け取った直後に、撮像素子部３０２ａに同期信号及び露光時間の情報を送る。撮像素子部３０２ａは、基準画像取込部３１５ａからの同期信号及び露光時間の情報を受け取った直後に、光学素子部３０１ａにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、基準画像取込部３１５ａに画像を送る。基準画像取込部３１５ａは、撮像素子部３０２ａから画像を受け取るとともに、画像を撮像画像記憶部３１１に格納する。
　参照画像取込部３１５ｂは、同期信号発生部３１４からの同期信号を受け取った直後に、撮像素子部３０２ｂに同期信号及び露光時間の情報を送る。撮像素子部３０２ｂは、参照画像取込部３１５ｂからの同期信号及び露光時間の情報を受け取った直後に、光学素子部３０１ｂにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、参照画像取込部３１５ｂに画像を送る。参照画像取込部３１５ｂは、撮像素子部３０２ｂから画像を受け取るとともに、画像を撮像画像記憶部３１１に格納する。
　ステップ４０２：マーカ位置検出部３２１は、撮像画像記憶部３１１から撮像時の基準画像及び参照画像を、画像補正情報記憶部３１２から、事前に格納されている基準画像及び参照画像の画像補正データを、校正情報記憶部３１３から、事前に格納されている基準画像及び参照画像のガラス変形データを、それぞれ読み込む。
　フロントガラス１１２を通さないときの基準画像の画像補正テーブル（Ｆ１２ｘ、Ｆ１２ｙ）を式（１）及び（２）に示す。ここで、（Ｘ１、Ｙ１）は撮影画像（光学素子を通った後）上の位置、（Ｘ２、Ｙ２）はフロントガラス１１２を通さないときの補正画像（光学素子を通る前）上の位置である。
　Ｘ１＝Ｆ１２ｘ（Ｘ２、Ｙ２） ・・・（１）
　Ｙ１＝Ｆ１２ｙ（Ｘ２、Ｙ２） ・・・（２）
　式（３）及び（４）を用いて、ガラス変形データ（Ｇｘ、Ｇｙ）をもとに、フロントガラス１１２を通す前の補正後の基準画像上の位置（Ｘ３、Ｙ３）に対応するフロントガラス１１２を通った後の補正後の基準画像上の位置（Ｘ２、Ｙ２）を算出する。
　Ｘ２＝Ｇｘ（Ｘ３、Ｙ３） ・・・（３）
　Ｙ２＝Ｇｙ（Ｘ３、Ｙ３） ・・・（４）
　フロントガラス１１２を通った後の補正後の基準画像上の位置（Ｘ２、Ｙ２）は実数である。そのため、位置（Ｘ２、Ｙ２）の近傍にある値が整数となる４つの位置に対して、式（１）及び（２）を用いて、フロントガラス１１２を通った後の補正後（光学素子を通る前）の基準画像上の位置に対応する撮影後（光学素子を通った後）の基準画像上の位置を求め、２次元線形補間を行う。これにより、フロントガラス１１２越しの補正後の基準画像上の位置（Ｘ３、Ｙ３）に対応する撮影後の基準画像上の位置を算出する。この処理を各画素について行い、撮影画像をフロントガラス１１２越しの補正画像に変換するための画像補正データ（式（５）及び（６））を算出する。
　Ｘ１＝Ｆ１３ｘ（Ｘ３、Ｙ３） ・・・（５）
　Ｙ１＝Ｆ１３ｙ（Ｘ３、Ｙ３） ・・・（６）
　この画像補正データを用いて、撮影後の基準画像の位置（Ｘ１、Ｙ１）の周辺４画素の輝度値に２次元線形補間を実施することにより、画像補正後の基準画像の画素（Ｘ３、Ｙ３）の輝度値を算出する。補正後の基準画像の各画素について上記の手順を実施して、設計通りのフロントガラス１１２である場合の補正後の基準画像の輝度値を算出する。
　マーカ位置検出部３２１は、校正情報記憶部３１３に格納されている撮像系部３００ａ及び撮像系部３００ｂの焦点距離、画素ピッチ、撮影画像上の光軸位置、補正画像上の光軸位置、車両１１１にずれがないように設置したときのステレオカメラ１０４に対するマーカ２０１～２０５の３次元位置を読み込む。マーカ位置検出部３２１は、さらに、これらのパラメータの値をもとに、ステレオカメラ１０４に設置ずれがなく、フロントガラス１１２を通さず、光学素子のゆがみがないときの補正画像上のマーカ位置（設計位置）を算出する。
　次に、マーカ位置検出部３２１は、校正情報記憶部３１３に格納されている各マーカ画像を読み込み、マーカ位置の設計の付近における画像補正後の基準画像の輝度値とマーカ画像の輝度値の差の絶対値の和（ＳＡＤ、Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）を算出する。マーカ位置検出部３２１は、マーカ２０１～２０５の設計位置の付近でＳＡＤが最も小さい位置を求める。
　マーカ位置検出部３２１は、ＳＡＤが最も小さい位置の左右の画素のＳＡＤをもとに、等角直線フィッティングを行い、画像補正後の基準画像とマーカ画像が最も一致する位置のサブピクセルを算出する。マーカ位置検出部３２１は、ＳＡＤが最も小さい水平方向の位置にこのサブピクセルを加算することにより、マーカ２０１～２０５の水平方向の位置を算出する。
　次に、マーカ位置検出部３２１は、ＳＡＤが最も小さい位置の上下の画素のＳＡＤをもとに、等角直線フィッティングを行い、画像補正後の基準画像とマーカ画像が最も一致する位置のサブピクセルを算出する。ＳＡＤが最も小さい垂直方向の位置にこのサブピクセルを加算することにより、マーカ２０１～２０５の垂直方向の位置を算出する。同様に、他のマーカ２０１～２０５についても同様の処理を行い、補正後の基準画像上のマーカ２０１～２０５の位置を算出する。以上の処理で検出したマーカ２０１～２０５の位置を検出位置と呼ぶことにする。また、このマーカ２０１～２０５の検出位置は図５において補正画像５０１上のマーカ５０２及びマーカ５０４に相当する。
　参照画像についても、以上の画像補正及びマーカ位置検出の処理を行う。
　ステップ４０３：画像ずれ要因検出部３２２は、校正情報記憶部３１３から撮像系部３００ａ及び撮像系部３００ｂの焦点距離、画素ピッチ、撮影画像上の光軸位置、補正画像上の光軸位置、車両１１１にずれがないように設置したときのステレオカメラ１０４に対するマーカ２０１～２０５の３次元位置、撮像系部３００ａ及び撮像系部３００ｂのガラス変形データの設計値を読み込む。これらの情報をもとに、画像ずれ要因検出部３２２は、車両１１１にずれがないように設置して、フロントガラス１１２による画像ずれが設計値通りである場合の補正画像上のマーカ２０１～２０５の位置（設計位置）を算出する。このマーカ２０１～２０５の設計位置は図５において補正画像５０１上のマーカ５０３及びマーカ５０５に相当する。
　画像ずれ要因検出部３２２は、上記のように算出した補正画像上のマーカ２０１～２０５の設計位置と、ステップ４０２で検出したマーカ２０１～２０５の検出位置をもとに、下記のように、フロントガラス１１２の拡大率及びカメラ設置ずれなどを推定していく。ここでは、ステレオカメラ１０４からの距離が異なるマーカ２０１～２０５の位置をもとに、フロントガラス１１２による画像ずれがステレオカメラ１０４とマーカ２０１～２０５間距離に依存しないこと、カメラ設置ずれがステレオカメラ１０４とマーカ２０１～２０５間距離に依存することを利用する。
　ステップ４０３：画像ずれ要因検出部３２２は、ステップ４０２で求めた補正画像上のマーカ２０１～２０５の設計位置及び検出位置をもとに、下記のように、フロントガラス１１２の拡大率及びカメラ設置ずれなどを推定していく。ここでは、ステレオカメラ１０４からの距離が異なるマーカ２０１～２０５の位置をもとに、フロントガラス１１２による画像ずれがステレオカメラ１０４とマーカ２０１～２０５間距離に依存しないこと、カメラ設置ずれがステレオカメラ１０４とマーカ２０１～２０５間距離に依存することを利用する。
　まず、基準画像について、画像ずれ要因検出部３２２は、補正画像におけるチャート２０６上のマーカ２０１の検出位置及び設計位置について、水平方向及び垂直方向に隣り合うマーカ２０１の間隔の平均を算出する。同様にチャート２０７～２１０上のマーカ２０２～２０５の検出位置及び設計位置の間隔の平均を算出する。そこで、フロントガラス１１２による画像ずれがステレオカメラ１０４とマーカ２０１～２０５との間の距離に依存しないこと、カメラ設置ずれがステレオカメラ１０４とマーカ２０１～２０５との間の距離に依存することを利用する。これにより、式（７）から式（１０）を用いて、フロントガラス１１２による水平方向及び垂直方向の拡大率Mgh、Mgv、ステレオカメラ１０４とマーカ２０１間距離dLcを算出する。ここで、遠いマーカはマーカ２０１、近いマーカはマーカ２０２～２０５である。
　Mgh = Mifh Minh (Lf - Ln) / (Minh Lf - Mifh Ln) ・・・（７）
　Mgv = Mifv Minv (Lf - Ln) / (Minv Lf - Mifv Ln) ・・・（８）
　Mifh = Wifh / Wdfh ・・・（９）
　Mifv = Wifv / Wdfv ・・・（１０）
　Minh = Winh / Wdnh ・・・（１１）
　Minv = Winv / Wdnv ・・・（１２）
　dLc = (dLch + dLcv) / 2 ・・・（１３）
　dLch = (Mifh - Minh) Lf Ln / (Minh Lf - Mifh Ln) ・・・（１４）
　dLcv = (Mifv - Minv) Lf Ln / (Minv Lf - Mifv Ln) ・・・（１５）
・遠いマーカ２０１とステレオカメラ１０４との距離の設計値：Lf
・近いマーカ２０２～２０５とステレオカメラ１０４との距離の設計値：Ln
・マーカ２０１～２０５とステレオカメラ１０４との距離ずれ：dLc
・フロントガラス１１２による水平方向の拡大率：Mgh
・フロントガラス１１２による垂直方向の拡大率：Mgv
・補正画像上の遠いマーカ２０１の設計位置の水平方向の間隔の平均：Wdfh
・補正画像上の近いマーカ２０２～２０５の設計位置の水平方向の間隔の平均：Wdnh
・補正画像上の遠いマーカ２０１の設計位置の垂直方向の間隔の平均：Wdfv
・補正画像上の近いマーカ２０２～２０５の設計位置の垂直方向の間隔の平均：Wdnv
・補正画像上の遠いマーカ２０１の検出位置の水平方向の間隔の平均：Wifh
・補正画像上の近いマーカ２０２～２０５の検出位置の水平方向の間隔の平均：Winh
・補正画像上の遠いマーカ２０１の設計位置の検出方向の間隔の平均：Wifv
・補正画像上の近いマーカ２０２～２０５の検出位置の垂直方向の間隔の平均：Winv
・補正画像上の遠いマーカ２０１の間隔の水平方向の拡大率：Mifh
・補正画像上の近いマーカ２０２～２０５の間隔の水平方向の拡大率：Minh
・補正画像上の遠いマーカ２０１の間隔の垂直方向の拡大率：Mifv
・補正画像上の近いマーカ２０２～２０５の間隔の垂直方向の拡大率：Minv
　マーカ２０２に近い位置にあるチャート２０６上のマーカ２０１を遠いマーカとして、マーカ２０２を近いマーカとして、式（１３）～（１５）を用いて、画像上の左上にあるマーカ２０２とステレオカメラ１０４との間の距離ずれdLcluを算出する。同様の計算を行い、マーカ２０３～２０５とステレオカメラ１０４との間の距離ずれdLcru（画像上の右上）、dLcld（画像上の左下）、dLclu（画像上の右下）を算出する。図６に示すように、ステレオカメラ１０４の光軸方向６０１に垂直な水平方向の線６０２及び線６０３に対する左右のマーカ間の距離ずれをともに、マーカとステレオカメラ１０４との間のヨー角ずれを算出できる。そこで、式（１６）～式（１８）を用いて、マーカとステレオカメラ１０４との間のヨー角ずれdψcを算出する。
　dψc = atan((dLcl - dLcr) / Llr) ・・・（１６）
　dLcl = (dLcul + dLcdl) / 2 ・・・（１７）
　dLcr = (dLcur + dLcdr) / 2 ・・・（１８）
・左側のマーカ２０２及び２０４の距離ずれの平均dLcl
・右側のマーカ２０３及び２０５の距離ずれの平均dLcr
・左側と右側のマーカ間の距離の設計値の平均Llr
　図７に示すように、ステレオカメラ１０４の光軸方向７０３に垂直な垂直方向の線７０４及び線７０５に対する上下のマーカ間の距離ずれをともに、マーカとステレオカメラ１０４間のピッチ角ずれを算出できる。そこで、式（１９）～式（２１）を用いて、マーカとステレオカメラ１０４間のピッチ角ずれdφcを算出する。
　dφc = atan((dLcd - dLcu) / Lud) ・・・（１９）
　dLcu = (dLcul + dLcur) / 2 ・・・（２０）
　dLcd = (dLcdl + dLcdr) / 2 ・・・（２１）
・上側のマーカ２０２及び２０３とステレオカメラ間の距離ずれの平均：dLcu
・下側のマーカ２０４及び２０５とステレオカメラ間の距離ずれの平均：dLcd
・上側と下側のマーカ間の距離の設計値の平均：Lud
　マーカとステレオカメラ１０４との間のロール角ずれは、補正画像上の光軸位置（あるいは中心位置）を中心に、マーカの検出位置と設計位置の回転ずれに相当する。そこで、補正画像上の式（２２）を用いて、ロール角ずれdθcを算出する。
　dθc = - atan[Σ{(Vi - Vo)(Ud - Uo) - (Ui - Uo)(Vd - vo)} / Σ{(Ui - Uo)(Ud - Uo) + (Vi - Vo)(Vd - Vo)}] ・・・（２２）
・マーカ２０１～２０５の各検出位置：(Ui、Vi)
・マーカ２０１～２０５の各設計位置：(Ud、Vd)
・補正画像上の光軸位置（中心位置）：(Uo、Vo)
　マーカとステレオカメラ１０４間の水平方向及び垂直方向の位置ずれは、ステレオカメラ１０４とマーカとの間の距離に依存するが、フロントガラス１１２によるオフセットずれはステレオカメラ１０４とマーカとの間の距離に依存しない。このことを利用して、式（２３）～式（２６）を用いて、フロントガラス１１２による水平方向及び主直方向のオフセットずれdUg及びdVg、マーカとステレオカメラ１０４間の水平方向及び垂直方向の位置ずれdXc及びdYcを算出する。ここで、遠いマーカはマーカ２０１に、近いマーカはマーカ２０２～２０５に相当する。
　dXc = (dUin - dUif) c Lf Ln / {f (Lf - Ln)} ・・・（２３）
　dYc = (dVin - dVif) c Lf Ln / {f (Lf - Ln)} ・・・（２４）
　dUg = (dUin Ln - dUif Lf) / (Lf - Ln) ・・・（２５）
　dVg = (dVin Ln - dVif Lf) / (Lf - Ln) ・・・（２６）
・レンズの焦点距離：f
・撮像素子の画素ピッチ：c
・補正画像上の遠いマーカの水平方向の検出位置と設計位置の差の平均：dUif
・補正画像上の近いマーカの水平方向の検出位置と設計位置の差の平均：dUin
・補正画像上の遠いマーカの垂直方向の検出位置と設計位置の差の平均：dVif
・補正画像上の遠いマーカの垂直方向の検出位置と設計位置の差の平均：dVin
　基準画像で実施した上記の処理を、参照画像についても実施する。
　基準画像と参照画像を用いて、算出したステレオカメラ１０４とマーカ間の水平方向及び垂直方向の位置ずれ、距離ずれ、ピッチ角ずれ、ヨー角ずれ、ロール角ずれの平均を算出する。これらをステレオカメラ１０４の設置ずれとする。また、以上の算出により、基準画像及び参照画像のフロントガラス１１２による水平方向及び垂直方向の拡大率及びオフセットずれが求められる。
　ステップ４０４：車両設置ずれ検出部１０５は、車両１１１にレーザー光を照射して、その反射光の受光時間をもとに車両１１１の表面の複数箇所までの距離及び受光角度を検出する。それらの距離及び受光角度をもとに、車両１１１の表面の複数箇所の検出位置に変換する。
　車両設置ずれ検出部１０５は、設計通り設置したときの車両１１１の表面形状データ及び車両１１１の位置（設計位置）及び姿勢（設計姿勢）を有しており、これらのデータをもとに、車両１１１の表面の複数箇所の設計位置を算出する。
　車両１１１の表面の各箇所の検出位置に最も近い設計位置を探索して、その設計位置を検出位置の対応点と設定する。車両１１１の表面の各箇所の検出位置(Xvm、 Yvm、 Zvm)及び設計位置(Xvd、 Yvd、 Zvd)をもとに、式（２７）～式（３２）を用いて、車両１１１の位置ずれ(dXv、 dYv、 dLv)及び姿勢ずれ(dφv、 dψv、 dθv)を算出する。
　dXv = Σ(Xvd - Xvm) / Nm ・・・（２７）
　dYv = Σ(Yvd - Yvm) / Nm ・・・（２８）
　dLv = Σ(Zvd - Zvm) / Nm ・・・（２９）
　dφv = - atan[Σ{(Zvm - Zo)(Yvd - Yvo) - (Yvm - Yvo)(Zvd - Zvo)} / Σ{(Yvm - Yvo)(Yvd - Yvo) + (Zvm - Zvo)(Zvd - Zvo)}] ・・・（３０）
　dψv = - atan[Σ{(Xvm - Xo)(Zvd - Zvo) - (Zvm - Zvo)(Xvd - Xvo)} / Σ{(Zvm - Zvo)(Zvd - Zvo) + (Xvm - Xvo)(Xvd - Xvo)}] ・・・（３１）
　dθv = - atan[Σ{(Yvm - Yo)(Xvd - Xvo) - (Xvm - Xvo)(Yvd - Yvo)} / Σ{(Xvm - Xvo)(Xvd - Xvo) + (Yvm - Yvo)(Yvd - Yvo)}] ・・・（３２）
・計測点の数Nm
・車両１１１の回転中心(Xvo、 Yvo、 Zvo)
　上記のように算出した車両１１１の位置ずれ及び姿勢ずれを、車両１１１の設計位置及び設計姿勢に加算して、車両１１１の表面形状データをもとに、再び、車両１１１の表面の複数箇所の設計位置を算出する。そして、車両１１１の表面の各箇所の検出位置に最も近い設計位置を探索して、その設計位置を検出位置の対応点と設定して、式（２７）～式（３２）を用いて、車両１１１の位置ずれ及び姿勢ずれを算出する処理を繰り返す。式（２７）～式（３２）で算出したずれの値が所定の閾値よりも小さい場合、処理を終了して、それまでのそれらのずれを加算した値を車両設置の位置ずれ及び姿勢ずれとする。
　ステップ４０５：カメラ取付ずれ検出部３３４は、式（３３）～式（３８）を用いて、カメラ設置の位置ずれ及び姿勢ずれから車両設置の位置ずれ及び姿勢ずれを引くことにより、カメラ取付の位置ずれ(dXa、 dYa、 dLa)及び姿勢ずれ(dφa、 dψa、 dθa)を算出する。
　dXa = dXc - dXv ・・・（３３）
　dYa = dYc - dYv ・・・（３４）
　dZa = dZc - dZv ・・・（３５）
　dφa = dφc - dφv ・・・（３６）
　dψa = dψc - dψv ・・・（３７）
　dθa = dθc - dθv ・・・（３８）
　ステップ４０６：画像補正データ変更部３２３は、校正情報記憶部３１３に格納されている撮像系部３００ａ及び撮像系部３００ｂの焦点距離、画素ピッチ、撮影画像上の光軸位置、補正画像上の光軸位置、車両１１１にずれがないように設置したときのステレオカメラ１０４に対するマーカの３次元位置を読み込む。画像補正データ変更部３２３は、これらのパラメータの値をもとに、ステレオカメラ１０４に設置ずれがなく、フロントガラス１１２を通さず、光学素子の歪がないときの補正画像上のマーカ位置（設計位置）を算出する。
　画像補正データ変更部３２３は、画像ずれ要因検出部３２２が算出したステレオカメラ１０４の設置の位置ずれ及び姿勢ずれをもとに、フロントガラス１１２を通さないときの補正画像上のマーカ位置を算出する。画像補正データ変更部３２３は、これらの２つの補正画像上のマーカ位置の変化をもとに、カメラ設置ずれによる画像ずれを表すカメラ設置ずれデータを作成する。
　次に、画像補正データ変更部３２３は、画像ずれ要因検出部３２２が算出したステレオカメラ１０４設置の位置ずれ及び姿勢ずれがある状態から、車両１１１の進行方向に対するカメラの取付方向のずれだけがない（除去された）ときの補正画像上のマーカ位置を算出する。そして、画像補正データ変更部３２３は、ステレオカメラ設置ずれがあるときと、そこから車両１１１の進行方向に対するカメラの取付方向ずれをなくしたときの補正画像上のマーカ位置をもとに、カメラ取付方向ずれデータを算出する。
　画像補正データ変更部３２３は、画像ずれ要因検出部３２２が算出したフロントガラス１１２のモデルの水平方向及び垂直方向の拡大率、オフセットずれがあるときのガラスずれデータを算出する。画像補正データ変更部３２３は、ステップ４０２に示すような２次元線形補間を用いて、カメラ取付方向ずれデータによる変換、ガラスずれデータによる変換、ガラス変形データによる変換、カメラ設置ずれデータによる変換、フロントガラス１１２を通さないときの画像補正データ（光学素子による歪を表す）による変換を画素ごとに順次行う。
　これにより、画像補正データ変更部３２３は、カメラ設置ずれによる画素ずれを除去するとともに、車両１１１の進行方向を向いたときのフロントガラス１１２越しの画像補正データを基準画像及び参照画像について算出する。画像補正データ変更部３２３は、これらの画像補正データを画像補正情報記憶部３１２に格納する。
　図３に示す本実施形態のステレオカメラ１０４は、車両１１１が走行している間、図８に示す動作を行うことにより、作成した画像補正データを用いて、立体物の距離を検出するとともに、カメラ取付ずれを検出して、画像補正データを変更する。
　ステップ８０１：同期信号発生部３１４は、同期信号を生成して、基準画像取込部３１５ａ及び参照画像取込部３１５ｂに送る。
　基準画像取込部３１５ａは、同期信号発生部３１４からの同期信号を受け取った直後に、撮像素子部３０２ａに同期信号及び露光時間の情報を送る。撮像素子部３０２ａは、基準画像取込部３１５ａからの同期信号及び露光時間の情報を受け取った直後に、光学素子部３０１ａにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、基準画像取込部３１５ａに画像を送る。基準画像取込部３１５ａは、撮像素子部３０２ａから画像を受け取るとともに、画像を撮像画像記憶部３１１に格納する。
　参照画像取込部３１５ｂは、同期信号発生部３１４からの同期信号を受け取った直後に、撮像素子部３０２ｂに同期信号及び露光時間の情報を送る。撮像素子部３０２ｂは、参照画像取込部３１５ｂからの同期信号及び露光時間の情報を受け取った直後に、光学素子部３０１ｂにより屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、参照画像取込部３１５ｂに画像を送る。参照画像取込部３１５ｂは、撮像素子部３０２ｂから画像を受け取るとともに、画像を撮像画像記憶部３１１に格納する。
　ステップ８０２：画像補正部３３１は、撮像画像記憶部３１１から撮像後の基準画像及び参照画像を読み込む。画像補正部３３１は、画像補正情報記憶部３１２から基準画像及び参照画像の画像補正データを読み込む。
　式（３９）及び式（４０）を用いて、補正後の基準画像上の各画素に対応する撮像後の画像上の座標（Ｆｘ（Ｘ４、Ｙ４）、Ｆｙ（Ｘ４、Ｙ４））をもとに、補正後の基準画像の画素（Ｘ４、Ｙ４）に対応する撮像後の基準画像の位置（Ｘ１、Ｙ１）を算出する。
　Ｘ１＝Ｆｘ（Ｘ４、Ｙ４） ・・・（３９）
　Ｙ１＝Ｆｙ（Ｘ４、Ｙ４） ・・・（４０）
　基準画像の位置（Ｘ１、Ｙ１）の周辺４画素の輝度値を、２次元線形補間を実施することにより、補正後の基準画像の画素（Ｘ４、Ｙ４）の輝度値を算出する。補正後の基準画像の各画素について上記の手順を実施して、補正後の基準画像の輝度値を算出する。また、参照画像についても上記の手順を実施して、参照画像の補正画像の輝度値を算出する。補正後の基準画像及び参照画像を補正画像記憶部３１６に格納する。
　ステップ８０３：視差算出部３３２は、補正画像記憶部３１６から基準画像及び参照画像の補正画像を読み込む。視差算出部３３２は、図９に示すように、補正後の基準画像９０１の所定のサイズの領域９０３（基準領域と呼ぶことにする）を抽出する。視差算出部３３２は、補正後の参照画像９０２で基準領域９０３と同じ対象物が写っている領域の画像を以下のパターン・マッチングで探索する。
　視差算出部３３２は、基準画像９０３と同じ高さにある参照画像９０２の所定のサイズの領域９０４（参照領域）を抽出して、基準領域９０３の輝度値と参照領域９０４の輝度値の差の絶対値の和（ＳＡＤ、Ｓｕｍ　ｏｆ　Ａｂｓｏｌｕｔｅ　Ｄｉｆｆｅｒｅｎｃｅ）を算出する。視差算出部３３２は、基準領域９０３と同じ高さにある参照画像９０２上の各参照領域９０４についてＳＡＤを算出して、ＳＡＤが最も小さい値の参照領域９０５を探索する。視差算出部３３２は、参照領域９０５のＳＡＤ及び参照領域９０５から１画素の左右隣の参照領域のＳＡＤを用いて、等角直線フィッティングを行い、基準領域９０３と最も一致する参照画像上の参照領域９０５のサブピクセルを算出する。視差算出部３３２は、基準領域９０３と参照領域９０５の位置の差にサブピクセルを加算することにより、補正後の基準画像９０１上の基準領域９０３の視差を算出する。
　視差算出部３３２は、このような処理を画像補正後の基準画像９０１上の全ての領域について実施して、基準画像９０１の全体での視差を算出する。視差算出部３３２は、このようにして算出した視差画像を視差画像記憶部３１７に格納する。
　ステップ８０４：認識部３３３は、視差画像記憶部３１７から視差画像を読み込む。
　認識部３３３は、式（４１）を用いて、視差画像上の領域におけるステレオカメラ１０４との光軸方向の距離Ｌを算出する。ここで、ｆは撮像系部３００ａ及び撮像系部３００ｂの焦点距離の設計値、Ｂは撮像系部３００ａと撮像系部３００ｂの主点間の距離（基線長）、ｄは視差、ｃは撮像素子部３０２ａ及び撮像素子部３０２ｂの画素ピッチである。
　Ｌ＝ｆ×Ｂ／（ｄ×ｃ） ・・・（４１）
　認識部３３３は、この処理を視差画像の全ての領域について実施して、視差画像全体におけるステレオカメラ１０４との光軸方向の距離を算出して、距離画像を作成する。
　認識部３３３は、式（４２）～式（４４）を用いて、距離画像上の領域における３次元位置を算出する。ここで、３次元座標系は、ステレオカメラ１０４の撮像系部３００ａの光学素子部３０１ａの主点から垂直に下した路面上の点を原点として、右方向にＸ座標を、上方向にＹ座標を、進行方向にＺ座標をとる。また、（Ｕ、Ｖ）は、距離画像上の各位置、（Ｕ０、Ｖ０）は、基準画像上の光軸位置、Ｈは路面からのステレオカメラ１０４の取付高さである。
　Ｘ＝Ｌ×ｃ×（Ｕ－Ｕ０）／ｆ ・・・（４２）
　Ｙ＝Ｈ＋Ｌ×ｃ×（Ｖ－Ｖ０）／ｆ ・・・（４３）
　Ｚ＝Ｌ ・・・（４４）
　認識部３３３は、この処理を視差画像の全ての領域について実施して、視差画像全体で３次元位置を算出する。
　認識部３３３は、距離画像上で距離の比率が処理の閾値以内であり、隣接する領域を検出して、その領域の面積が閾値以上であり、それらの領域の路面からの高さ（Ｙ座標）が閾値以上である場合、立体物であると推定する。
　ステップ８０５：カメラ取付ずれ検出部３３４は、補正画像記憶部３１６から、前回及び今回の処理で作成した補正後の基準画像を読み込む。カメラ取付ずれ検出部３３４は、前回と今回の補正後の基準画像について、水平方向及び垂直方向のエッジ画像を作成する。カメラ取付ずれ検出部３３４は、これらのエッジ画像上の所定のサイズの領域内に縦エッジと横エッジが両方存在する領域を検出する。カメラ取付ずれ検出部３３４は、パターン・マッチング処理を用いて、この領域に一致する前回の補正後の基準画像上の領域を探索する。
　カメラ取付ずれ検出部３３４は、前回と今回の補正画像上に一致するエッジを検出した場合、前回と今回のエッジ位置を検出して、ずれ補正情報記憶部３１８に、検出した前回のエッジ位置と一致するエッジ位置に今回のエッジ位置を追加して、格納する。カメラ取付ずれ検出部３３４は、前回と今回の補正画像上に一致するエッジがない場合、今回のエッジ位置を新たにずれ補正情報記憶部３１８に格納する。このように、カメラ取付ずれ検出部３３４は、エッジの時系列位置を格納していく。
　カメラ取付ずれ検出部３３４は、あるエッジ位置の時系列データの数が所定の閾値以上である場合、エッジ一致の時系列データを結んだ近似直線を求める。カメラ取付ずれ検出部３３４は、縦エッジと横エッジの両方を含む各領域についてこの処理を実施する。カメラ取付ずれ検出部３３４は、これらの近似直線の組合せごとの画像上の交点の位置を求めて、それらの交点の位置を平均する。
　カメラ取付ずれ検出部３３４は、交点の位置の平均値が設計上の消失点位置から閾値以内の距離である場合、直進していると判定して、交点の位置の平均値を消失点位置として、消失点位置データの数を一つ増やして、ずれ補正情報記憶部３１８に格納する。カメラ取付ずれ検出部３３４は、交点の位置の平均値が設計上の消失点位置から閾値以上の距離である場合、旋回中であると判定して、その消失点位置データが正しく検出されていないと判定して、破棄する。
　カメラ取付ずれ検出部３３４は、ずれ補正情報記憶部３１８に格納されている消失点位置データの数が所定の閾値以上である場合、ずれ補正情報記憶部３１８に格納されている消失点位置データを平均して、消失点位置の検出値を求め、消失点位置の検出値と設計値の差を、カメラ取付ずれによる水平方向及び垂直方向の画像ずれとする。
　カメラ取付ずれ検出部３３４は、参照画像について、上記の処理を行う。基準画像及び参照画像におけるカメラ取付ずれによる水平方向及び垂直方向の画像ずれの平均を算出して、ずれ補正情報記憶部３１８に格納する。
　ステップ８０６：カメラ取付ずれ検出部３３４は、画像補正情報記憶部３１２から基準画像の画像補正データを、ずれ補正情報記憶部３１８からカメラ取付ずれによる水平方向及び垂直方向の画像ずれを読み込む。カメラ取付ずれ検出部３３４は、ステップ４０２に示すような２次元線形補間を用いて、基準画像の画像補正データによる変換、カメラ取付ずれによる水平方向及び垂直方向の画像ずれを補正する変換を各画素ごとに順次行う。これにより、カメラ取付ずれ検出部３３４は、カメラ取付ずれを除去する画像補正データを算出する。
　カメラ取付ずれ検出部３３４は、参照画像について、上記の処理を行う。カメラ取付ずれ検出部３３４は、このように算出した基準画像及び参照画像の画像補正データを画像補正情報記憶部３１２に格納する。
　車両１１１にステレオカメラ１０４を取り付けるときに、車両設置ずれやステレオカメラ取付ずれがあると、フロントガラス１１２による画像ずれと区別できない。すると、車両設置ずれやステレオカメラ取付ずれによる画像ずれがフロントガラス１１２による画像ずれに含まれ、変更された画像補正データに誤差が発生する。そして、マーカと異なる距離にある対象物の補正後の基準画像と参照画像に水平方向及び垂直方向の画像ずれが発生する。そして、この垂直方向の画像ずれにより、パターン・マッチング処理で基準画像と参照画像の領域が一致せず、正常に視差を算出できなくなる。また、仮に垂直ずれが補正されたとしても、水平方向の画像ずれにより、視差誤差が発生する。
　本実施形態によれば、距離の異なるマーカの画像上の間隔及び位置ずれをもとに、距離に依存しない車両１１１のガラスのモデルの拡大率及びオフセットずれ、距離に存するマーカとカメラ間位置及び姿勢ずれを検出する。そして、カメラ位置に車両設置ずれ及びカメラ取付ずれがあるとして、フロントガラス１１２による画像のずれを校正するように、画像を補正するデータを変更する。これにより、１回の撮影だけで車両設置ずれ及びカメラ取付ずれによる画像のずれを除去でき、距離を正確に計測できる。
　図３に示す本実施形態によれば、車両１１１が走行する間、図８に示す動作手順のステップ８０５及びステップ８０６において、カメラ取付ずれ検出部３３４が、補正画像上の消失点位置（検出位置）を検出する。そして、カメラ取付ずれ検出部３３４が、消失点の設計位置の差をもとに、カメラ取付ずれによる水平方向及び垂直方向の画像ずれとして、それらを補正するように、画像補正データを変更する。これにより、経年的に発生するステレオカメラ１０４の設置ずれや変形などによる補正ずれを補正できる。
　なお、本発明の処理装置及び車載カメラ装置は、上述の実施形態に限定されるものではなく、様々に変形して適用することができる。以下では、本発明の処理装置及び車載カメラ装置の実施形態の変形例について説明する。
（変形例１－１）（画像校正の処理を計算部で実施する実施形態）
　図１及び図１０に本発明の処理装置及び車載カメラ装置の一実施形態の構成を示す。本変形例は、図１及び図３に示す処理装置及び車載カメラ装置の一実施形態において、ステレオカメラ１０４から校正情報記憶部３１３、画像校正部３２０を外して、新たに追加した計算部１０６（１０００）に校正情報記憶部３１３、画像校正部３２０が備えられている。
　計算部１０６（１０００）はステレオカメラ１０４及び車両設置ずれ検出部１０５と接続されている。各部の動作は、図１及び図３に示す処理装置及び車載カメラ装置の実施形態と同様である。このように、ステレオカメラ１０４から校正情報記憶部３１３、画像校正部３２０を外すことにより、画像校正処理を行う実行ファイルをステレオカメラ１０４から除去でき、ステレオカメラ１０４内で使用するメモリ量を削減できる。また、新たに追加した計算部１０６（１０００）は、車両１１１に取り付ける工程に専用に設置されるものであり、計算部１０６（１０００）の演算処理能力はステレオカメラ１０４よりも速い。このため、画像校正処理にかかる時間を短縮でき、時間当たりに画像を校正できる台数を増加できる。
（変形例１－２）（カメラ設置ずれのみの検出）
　本変形例は、図１及び図３に示す本発明の処理装置及び車載カメラ装置の実施形態において、車両設置ずれ検出部１０５を削除する。また、図４に示す動作手順におけるステップ４０４及びステップ４０５を実施しない。さらに、ステップ４０６において、カメラ取付方向ずれデータによる変換、ガラスずれデータによる変換、ガラス変形データによる変換、カメラ設置ずれデータによる変換、フロントガラス１１２を通さないときの画像補正データ（光学素子による歪を表す）による変換を各画素ごとに順次行う代わりに、ガラスずれデータによる変換、ガラス変形データによる変換、カメラ設置ずれデータによる変換、フロントガラス１１２を通さないときの画像補正データ（光学素子による歪を表す）による変換を各画素ごとに順次行う。
　これにより、車両設置ずれ検出部１０５を備えなくても、車両設置ずれによるステレオカメラ１０４の設置ずれによる補正誤差を画像補正データから除去できる。この変形例では、ステレオカメラ取付ずれによる画像上の消失点位置に誤差が生じるが、図８に示す動作手順のステップ８０５及びステップ８０６において、カメラ取付ずれを検出して、それによる画像ずれを補正する画像補正データを算出することにより、ステレオカメラ取付ずれによる画像ずれを補正できる。
（変形例１－３）（マーカ中心の位置を検出する実施形態）
　本変形例では、図１及び図３に示す本発明の処理装置及び車載カメラ装置の実施形態において、校正情報記憶部３１３は、補正画像上の各マーカ画像を格納しない。また、ステップ４０２で、マーカ画像を用いて、パターン・マッチング処理を行い、特徴点位置を検出する代わりに、画像補正後の基準画像及び参照画像において、所定の輝度値以下の画素を１とし、それ以外の画素を０と設定する二値化処理を行い、二値化した画像上の各マーカの重心位置を算出することにより、マーカの位置を検出する。これにより、マーカ画像を予め作成して、記憶させる作業を低減できる。
（変形例１－４）（単眼カメラの画像校正装置）
　本変形例では、図１及び図３に示す本発明の処理装置及び車載カメラ装置の実施形態において、図１に示すステレオカメラ１０４を単眼カメラ１０４に変更して、図３に示すステレオカメラの代わりに、図１１に示す単眼カメラを備え、図８に示す走行時の動作手順の代わりに、図１２に示す動作手順を行うとともに、図４及び図１２に示す動作手順において、各部は、撮像系部３００ａ及び撮像系部３００ｂの画像に関する処理を行う代わりに、撮像系部１０００の画像に関する処理を行う。
　図１及び図１１に本発明の画像校正装置の一実施例の構成を示す。ここで、灰色で表示した補正画像記憶部３１６、距離検出部３３０は、本実施形態に含まれず、立体物の距離を検出するケースで稼働する。これらの動作を後述する。
　単眼カメラは、車両１１１に取り付けられており、車両１１１のフロントガラス１１２を通して、マーカ２０１～２０５を撮影する。また、単眼カメラは、撮像系部１０００と演算部２１０を備えており、車両設置ずれ検出部１０５と接続している。
　カメラなどの撮像系部１０００は、光学素子部１００１と撮像素子部１００２を備えている。レンズなどの光学素子部１００１は、光を屈折させて、撮像素子部１００２上に像を結ぶ。撮像素子などの撮像素子部１００２は、光学素子部１００１により屈折した光の像を受光し、その光の強さに応じた画像を生成する。
　ＣＰＵ（ｃｅｎｔｒａｌ　ｐｒｏｃｅｓｓｉｎｇ　ｕｎｉｔ、中央演算処理装置）及びメモリなどの演算部３１０は、撮像画像記憶部３１１、画像補正情報記憶部３１２、校正情報記憶部３１３、補正画像記憶部３１６、ずれ補正記憶部３１８、画像取込部１０１５、画像校正部３２０、距離検出部１０３０を備えている。
　距離検出部１０３０は、画像補正部３３１、認識部１０３２、立体物距離検出部１０３３、カメラ取付ずれ検出部３３４を備えている。
　メモリなどの撮像画像記憶部３１１、画像補正情報記憶部３１２、校正情報記憶部３１３、補正画像記憶部３１６、ずれ補正記憶部３１８は、撮像系部３００ａ及び撮像系部３００ｂの情報の代わりに、撮像系部１０００の情報を記憶する。
　画像取込部１０１５は、撮像素子部１００２が生成する画像を取得して、画像を撮像画像記憶部３１１に格納する。
　マーカ位置検出部３２１、画像ずれ要因検出部３２２、画像補正データ変更部３２３、画像補正部３３１、カメラ取付ずれ検出部３３４は、撮像系部３００ａ及び撮像系部３００ｂの画像に関する処理を行う代わりに、撮像系部１０００の画像に関する同様の処理を行う。
　認識部１０３２は、画像補正部３３１が補正した画像における各領域で車両１１１の特徴量を算出して、車両１１１の特徴と一致する領域を検出する。また、認識部１０３２は、補正後の画像における各領域で歩行者の特徴量を算出して、歩行者の特徴と一致する領域を検出する。
　立体物距離検出部１０３３は、車両１１１の領域及び歩行者の領域の下部の位置を、路面と接する位置として、路面と接する位置をもとに、車両１１１及び歩行者の距離を算出する。
　図１及び図１１に示す本変形例は、図４に示す動作手順で動作する。ここで、ステップ４０１では、下記の処理を行うとともに、マーカ位置検出部３２１、画像ずれ要因検出部３２２、画像補正データ変更部３２３は、撮像系部３００ａ及び撮像系部３００ｂの画像に関する処理を行う代わりに、撮像系部１０００の画像に関する処理を行うことにより、カメラ設置ずれ、車両設置ずれ、カメラ取付ずれ、フロントガラス１１２の水平方向及び垂直方向の拡大率を検出する。
　ステップ４０１：画像取込部１０１５は、撮像素子部１００２に撮像信号及び露光時間の情報を送る。撮像素子部１００２は、画像取込部１０１５からの撮像信号及び露光時間の情報を受け取った直後に、光学素子部１００１により屈折した光の像を露光時間だけ受光し、その光の強さに応じた画像を生成して、画像取込部１０１５に画像を送る。画像取込部１０１５は、撮像素子部１００２から画像を受け取るとともに、画像を撮像画像記憶部３１１に格納する。
　図１及び図１１に示す本変形例の単眼カメラの実施形態は、図８に示す動作手順の代わりに、図１２に示す動作手順を行うことにより、立体物の距離を検出するとともに、カメラ取付ずれを検出して、画像補正データを変更する。ここで、ステップ８０１では、同期信号発生部を使わない変形例１－４のステップ４０１（上述）と同じ処理を行う。また、ステップ８０２及びステップ８０５～８０６では、撮像系部３００ａ及び撮像系部３００ｂの画像に関する処理を行う代わりに、撮像系部１０００の画像に関する同様の処理を行うため、それらのステップの説明を省略して、ステップ１１０３及びステップ１１０４のみの説明を示す。
　ステップ１１０３：認識部１０３２は、補正画像記憶部３１６に格納されている補正後の画像を読み込む。補正後の画像１２０１における各領域で車両１１１の特徴量を算出して、図１３に示すように、車両１１１の特徴と一致する領域１２０２を検出する。また、認識部１０３２は、補正後の画像１２０１における各領域で歩行者の特徴量を算出して、歩行者の特徴と一致する領域１２０３を検出する。
　ステップ１１０４：立体物距離検出部１０３４は、車両１１１の領域１２０２及び歩行者の領域１２０３の下部の位置を、路面と接する位置として、路面と接する位置をもとに、車両１１１及び歩行者の距離を算出する。
　車両１１１に単眼カメラを取り付けるときに、車両設置ずれや単眼カメラ取付ずれがあると、フロントガラス１１２による画像ずれと区別できず、車両設置ずれや単眼カメラ取付ずれによる画像ずれがフロントガラス１１２による画像ずれに含まれ、変更された画像補正データに誤差が発生して、マーカと異なる距離にある対象物の補正後の画像に水平方向及び垂直方向の画像ずれが発生して、この垂直方向の画像ずれにより、それらの距離に誤差が発生する。
　変形例１－４では、距離の異なるマーカの画像上の間隔及び位置ずれをもとに、距離に依存しない車両１１１のフロントガラス１１２のモデルの拡大率及びオフセットずれ、距離に存するマーカとカメラ間位置及び姿勢ずれを検出する。そして、カメラ位置に車両設置ずれ及びカメラ取付ずれがあるとして、フロントガラス１１２による画像のずれを校正するように、画像を補正するデータを変更することにより、１回の撮影だけで車両設置ずれ及びカメラ取付ずれによる画像のずれを除去でき、距離を正確に計測できる。
　なお、変形例１－４の単眼カメラは、上術の実施形態に限定されるものではなく、変形例１－１～変形例１－３に示すように、様々に変形して適用することができ、同様の効果が得られる。
　以上、図面を用いて本開示に係る処理装置及び車載カメラ装置の実施形態を詳述してきたが、具体的な構成はこの実施形態に限定されるものではなく、本開示の要旨を逸脱しない範囲における設計変更等があっても、それらは本開示に含まれるものである。
　１０１…マーカ、１０２…マーカ、１０３…マーカ、１０４…ステレオカメラ、１０５…車両設置ずれ検出部、１０６…計算部、１１１…車両、１１２…フロントガラス、１２１…所定の車両の位置、１２２…所定の車両の姿勢（方向）、１２３…車両の姿勢（方向）、１２４…ステレオカメラの姿勢（方向）、２０１…マーカ、２０２…マーカ、２０３…マーカ、２０４…マーカ、２０５…マーカ、２０６…チャート、２０７…チャート、２０８…チャート、２０９…チャート、２１０…チャート、３００ｂ…撮像系部、３０１ａ…光学素子部、３０１ｂ…光学素子部、３０２ａ…撮像素子部、３０２ｂ…撮像素子部、３１０…演算部、３１１…撮像画像記憶部、３１２…画像補正情報記憶部、３１３…校正情報記憶部、３１４…同期信号発生部、３１５ａ…基準画像取込部、３１５ｂ…参照画像取込部、３１６…補正画像記憶部、３１７…視差画像記憶部、３１８…ずれ補正情報記憶部、３２０…画像校正部、３２１…マーカ位置検出部、３２２…画像ずれ要因検出部、３２３…画像補正データ変更部、３３０…距離検出部、３３１…画像補正部、３３２…視差算出部、３３３…認識部、３３４…カメラ取付ずれ検出部、５０１…補正画像、５０２…マーカの検出位置、５０３…マーカの設計位置、５０４…マーカの検出位置、マーカの設計位置、６０１…光軸方向、６０２…光軸方向に垂直な水平方向の線、６０３…光軸方向に垂直な水平方向の線、７０１…マーカ、７０２…マーカ、７０３…光軸方向、７０４…光軸方向に垂直な垂直方向の線、７０５…光軸方向に垂直な垂直方向の線、９０１…補正後の基準画像、９０２…補正後の参照画像、９０３…基準領域、９０４…参照領域、９０５…基準領域に最も一致する参照領域、１０００…計算部、１０００…撮像系部、１００１…光学素子部、１００２…撮像素子部、画像取得部…１０１５、１０３０…距離検出部、１０３２…認識部、１０３３…立体物距離検出部、１２０１…補正画像、１２０２…車両、１２０３…歩行者

Claims (6)

  1. 　車載カメラからの距離が異なる複数のマーカを撮像した画像及びモデル化された車両の窓のデータから前記車載カメラの設置ずれを取得し、前記設置ずれを使用して、前記車載カメラの画像を補正するための補正データを変更する処理装置であって、
    　前記設置ずれとは、前記マーカが存在するチャートに対して前記車載カメラが配置されるべき位置に対する位置ずれである、処理装置。
  2. 　前記マーカは、上下方向に前記車載カメラからの距離が異なるよう配置されており、
    　前記処理装置は、前記マーカの間隔及び距離ずれをもとに前記設置ずれを取得し、
    　前記設置ずれは、前記車両のピッチ角ずれである、請求項１に記載の処理装置。
  3. 　前記マーカは、左右方向に前記車載カメラからの距離が異なるよう配置されており、
    　前記処理装置は、前記マーカの間隔及び距離ずれをもとに、前記設置ずれを取得し、
    　前記設置ずれは、前記車両のヨー角ずれである、請求項１に記載の処理装置。
  4. 　前記処理装置は、画像上の前記マーカの水平方向及び垂直方向の間隔ずれをもとに、前記窓の水平方向及び垂直方向の拡大率を取得する、請求項１に記載の処理装置。
  5. 　前記車両の設置ずれを検出する車両設置ずれ検出部を有し、
    　前記車両の前記設置ずれ及び前記車載カメラの前記設置ずれをもとに、前記車両に対する前記車載カメラの取付ずれを算出して、前記車載カメラの前記設置ずれ及び前記車載カメラの前記取付ずれを使用して、前記車載カメラの画像を補正するための補正データを変更する、請求項１に記載の処理装置。
  6. 　請求項１に記載の処理装置を備えた車載カメラ装置であって、
    　第１のカメラ及び第２のカメラを有し、
    　前記処理装置は、
    　前記第１のカメラが前記マーカを撮像した第１の画像及び前記第２のカメラが前記マーカを撮像した第２の画像を取得し、
    　前記第１の画像及び前記第２の画像から得られたマーカ間隔ずれ及び位置ずれをもとに、前記第１のカメラ及び前記第２のカメラに関する前記窓の拡大率ずれ、オフセットずれ、及び共通の車両設置ずれを取得し、
    　前記拡大率ずれ、前記オフセットずれ、及び前記共通の車両設置ずれをもとに、前記第１のカメラ及び前記第２のカメラのための補正データを変更する、車載カメラ装置。
PCT/JP2021/022110 2020-07-16 2021-06-10 処理装置及び車載カメラ装置 Ceased WO2022014215A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN202180045150.2A CN115943636A (zh) 2020-07-16 2021-06-10 处理装置及车载摄像机装置
DE112021002562.7T DE112021002562T5 (de) 2020-07-16 2021-06-10 Verarbeitungsvorrichtung und an einem fahrzeug montierte kameravorrichtung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020-121784 2020-07-16
JP2020121784A JP7405710B2 (ja) 2020-07-16 2020-07-16 処理装置及び車載カメラ装置

Publications (1)

Publication Number Publication Date
WO2022014215A1 true WO2022014215A1 (ja) 2022-01-20

Family

ID=79555715

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/022110 Ceased WO2022014215A1 (ja) 2020-07-16 2021-06-10 処理装置及び車載カメラ装置

Country Status (4)

Country Link
JP (1) JP7405710B2 (ja)
CN (1) CN115943636A (ja)
DE (1) DE112021002562T5 (ja)
WO (1) WO2022014215A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230113100A (ko) * 2022-01-21 2023-07-28 모셔널 에이디 엘엘씨 광학 시스템에서의 보어사이트 오차 결정을 위한 방법 및 시스템

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7740131B2 (ja) * 2022-05-27 2025-09-17 株式会社デンソー カメラの校正確認方法、校正確認プログラムおよび校正確認装置
US12400367B2 (en) 2023-12-14 2025-08-26 Industrial Technology Research Institute Camera calibration method based on vehicle localization
JP2025145081A (ja) * 2024-03-21 2025-10-03 株式会社日立ハイテク カメラ調整用ターゲット及び検体処理装置
JP2025149126A (ja) * 2024-03-26 2025-10-08 株式会社デンソー 車載カメラの校正方法、車載カメラの校正装置

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010085186A (ja) * 2008-09-30 2010-04-15 Aisin Seiki Co Ltd 車載カメラの校正装置
JP2013195783A (ja) * 2012-03-21 2013-09-30 Ricoh Co Ltd 位置ずれ検出装置、車両及び位置ずれ検出方法
JP2017032280A (ja) * 2015-07-28 2017-02-09 株式会社リコー 角度算出システム、角度算出装置、プログラム、および角度算出方法
JP2017062198A (ja) * 2015-09-25 2017-03-30 富士重工業株式会社 幾何歪除去再現装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2019132855A (ja) 2014-01-31 2019-08-08 株式会社リコー ステレオカメラ校正方法、視差算出装置及びステレオカメラ
JP6427900B2 (ja) 2014-03-07 2018-11-28 株式会社リコー 校正方法、校正システム、プログラム及び移動体
JP5906272B2 (ja) * 2014-03-28 2016-04-20 富士重工業株式会社 車両用ステレオ画像処理装置
EP3505865B1 (en) * 2016-08-29 2022-03-09 Hitachi Astemo, Ltd. On-vehicle camera, method for adjusting on-vehicle camera, and on-vehicle camera system
EP3557523B1 (de) * 2018-04-18 2021-07-28 B&R Industrial Automation GmbH Verfahren zur erzeugung eines korrekturmodells einer kamera zur korrektur eines abbildungsfehlers
JP6680335B2 (ja) * 2018-10-31 2020-04-15 株式会社リコー ステレオカメラ、車両、算出方法及びプログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010085186A (ja) * 2008-09-30 2010-04-15 Aisin Seiki Co Ltd 車載カメラの校正装置
JP2013195783A (ja) * 2012-03-21 2013-09-30 Ricoh Co Ltd 位置ずれ検出装置、車両及び位置ずれ検出方法
JP2017032280A (ja) * 2015-07-28 2017-02-09 株式会社リコー 角度算出システム、角度算出装置、プログラム、および角度算出方法
JP2017062198A (ja) * 2015-09-25 2017-03-30 富士重工業株式会社 幾何歪除去再現装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230113100A (ko) * 2022-01-21 2023-07-28 모셔널 에이디 엘엘씨 광학 시스템에서의 보어사이트 오차 결정을 위한 방법 및 시스템
GB2615145A (en) * 2022-01-21 2023-08-02 Motional Ad Llc Methods and systems for determination of boresight error in an optical system
US20230262303A1 (en) * 2022-01-21 2023-08-17 Motional Ad Llc Methods and systems for determination of boresight error in an optical system
US11812128B2 (en) 2022-01-21 2023-11-07 Motional Ad Llc Methods and systems for determination of boresight error in an optical system
KR102797216B1 (ko) * 2022-01-21 2025-04-18 모셔널 에이디 엘엘씨 광학 시스템에서의 보어사이트 오차 결정을 위한 방법 및 시스템

Also Published As

Publication number Publication date
JP2022018583A (ja) 2022-01-27
JP7405710B2 (ja) 2023-12-26
CN115943636A (zh) 2023-04-07
DE112021002562T5 (de) 2023-04-13

Similar Documents

Publication Publication Date Title
JP7405710B2 (ja) 処理装置及び車載カメラ装置
JP3983573B2 (ja) ステレオ画像特性検査システム
US6381360B1 (en) Apparatus and method for stereoscopic image processing
KR101787304B1 (ko) 교정 방법, 교정 장치 및 컴퓨터 프로그램 제품
US9378553B2 (en) Stereo image processing device for vehicle
EP2751521B1 (en) Method and system for alignment of a pattern on a spatial coded slide image
CN108692719B (zh) 物体检测装置
EP2068280A2 (en) Image processing apparatus, image processing method, image processing program and position detecting apparatus as well as mobile object having the same
WO2015079980A1 (ja) カメラ校正装置
JP6970577B2 (ja) 周辺監視装置および周辺監視方法
JP2006252473A (ja) 障害物検出装置、キャリブレーション装置、キャリブレーション方法およびキャリブレーションプログラム
KR20210091146A (ko) 화상 처리 장치 및 화상 처리 방법, 그리고 프로그램
CN103426160A (zh) 数据导出装置及数据导出方法
KR101255461B1 (ko) 도로시설물 자동 위치측정 방법
JP6186431B2 (ja) キャリブレーション装置、キャリブレーションシステム、及び撮像装置
JPH11325890A (ja) ステレオカメラの画像補正装置
CN115861439B (zh) 一种深度信息测量方法、装置、计算机设备和存储介质
JPH09101129A (ja) 路面計測装置
JP2008085710A (ja) 運転支援システム
JP5580062B2 (ja) 障害物検知警報装置
JP2019053073A (ja) 校正方法、校正装置及びプログラム
US12541880B2 (en) Camera calibration method, and stereo camera device
US20250054190A1 (en) Camera calibration method, and stereo camera device
JPH11190611A (ja) ３次元計測方法およびその方法を用いた３次元計測処理装置
CN119856501A (zh) 摄像机校正装置及摄像机校正方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21842573

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 21842573

Country of ref document: EP

Kind code of ref document: A1