[go: up one dir, main page]

WO2011158306A1 - 路面反射率分類のためのシステム - Google Patents

路面反射率分類のためのシステム Download PDF

Info

Publication number
WO2011158306A1
WO2011158306A1 PCT/JP2010/004092 JP2010004092W WO2011158306A1 WO 2011158306 A1 WO2011158306 A1 WO 2011158306A1 JP 2010004092 W JP2010004092 W JP 2010004092W WO 2011158306 A1 WO2011158306 A1 WO 2011158306A1
Authority
WO
WIPO (PCT)
Prior art keywords
road surface
vehicle
reflectance
classification system
patch
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/004092
Other languages
English (en)
French (fr)
Inventor
ガイコ，イェンス・エルンスト
ローザー，マルティン・ベンヤミン
レンツ，ペーター・フィリップ
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Karlsruher Institut fuer Technologie KIT
Honda Motor Co Ltd
Original Assignee
Universitaet Karlsruhe
Honda Motor Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universitaet Karlsruhe, Honda Motor Co Ltd filed Critical Universitaet Karlsruhe
Priority to DE112010005669.2T priority Critical patent/DE112010005669B4/de
Priority to PCT/JP2010/004092 priority patent/WO2011158306A1/ja
Publication of WO2011158306A1 publication Critical patent/WO2011158306A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G01C21/3602—Input other than that of destination using image analysis, e.g. detection of road signs, lanes, buildings, real preceding vehicles using a camera
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00—Input parameters relating to infrastructure
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N2021/4704—Angular selective
    • G01N2021/4711—Multiangle measurement
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/47—Scattering, i.e. diffuse reflection
    • G01N2021/4735—Solid samples, e.g. paper, glass
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N2021/556—Measuring separately scattering and specular

Definitions

  • the present invention relates to a technique for detecting road reflection caused by, for example, a wet surface and specific lighting conditions, and particularly in image processing based on a driver assistance system (DAS) with lane marker detection and the like.
  • DAS driver assistance system
  • the present invention relates to a system for road-surface-reflectivity-classification that alleviates the limitations caused by wet surfaces and specific lighting conditions.
  • Road surface reflectance classification is achieved by analyzing multiple single images by using image processing methods, bi-directional reflectance distribution functions (BRDF) and robust reflectance features. Such road surface reflectance classification can be used to adapt the chassis control system. It is known that road surface reflection is an indicator of the presence of moisture on the road surface, and the presence of moisture on the road surface has a significant effect on the friction coefficient of the road surface. It has been.
  • BRDF road surface reflectance classification
  • CIE International Commission on Illumination
  • the main object of the present invention can be realized by using an in-vehicle camera, and the acquired data is applied in real time to a chassis control system and other useful purposes. It is to provide a system for road surface reflectance classification as obtained.
  • a second object of the present invention is to provide a system for road surface reflectance classification based on BRDF suitable for an in-vehicle camera.
  • a third object of the present invention is to provide a system for BRDF that is robust against optical disturbances caused by outlier reflection features and / or extreme surface conditions.
  • a fourth object of the present invention is to provide a system for BRDF that can perform road surface reflectance classification well even when the field of view of a camera for acquiring data is extremely limited.
  • such an object is a road surface reflectance classification system for acquiring an image of a road surface in front of a vehicle using an in-vehicle camera, and a navigation sensor for obtaining at least a position and a traveling direction of the vehicle, A clock for obtaining the current time and date, a sun position calculator for determining the position of the sun relative to the position of the vehicle and the traveling direction based on the output of the navigation sensor and the clock, and patches arranged in front and rear
  • a camera control unit that acquires images of a plurality of patches defined on the road surface in front of the vehicle, and based on the images acquired by the camera control unit under the assumption of spatial invariance of the road surface patch
  • BRDF bidirectional reflectance distribution
  • the sun position calculation unit determines the position of the sun with respect to the position of the vehicle and the traveling direction based on a navigation sensor composed of a GPS system based on a satellite, an inertial navigation system, etc., and an output of a clock for obtaining a date as well as the current time. .
  • the traveling direction of the vehicle can also be obtained by a navigation device such as a magnet.
  • the in-vehicle camera measures the reflection radiance and irradiance at different reflection angles for a given incident angle.
  • BRDF bidirectional reflectance distribution
  • the patch array is arranged as an (n ⁇ m) matrix, where n is the number of patches arranged in the horizontal direction and m is the number of patches arranged in the front-rear direction.
  • a diffusion patch can be provided on the hood surface of the vehicle to provide a reference for incident radiance.
  • the incident radiation can be measured using an optical sensor or a photoelectric sensor. It is also possible to directly estimate the reference of incident radiance from the acquired image by using an image processing method.
  • the main controller may be configured to analyze the output of the in-vehicle camera and provide a reference for incident radiance.
  • outlier reflection characteristics may be, but are not limited to, lane markers on the road surface or raindrops on the vehicle windshield.
  • the present invention further relates to a road surface reflectance classification system for acquiring an image of a road surface in front of a vehicle using an in-vehicle camera, the navigation sensor for obtaining at least the position and traveling direction of the vehicle, and the current time and date.
  • a camera control unit that acquires an image of at least one patch defined on a road surface at a predetermined distance ahead, and an image acquired by the camera control unit under the assumption of spatial or temporal invariance of the road surface patch
  • An evaluation unit for measuring the bidirectional reflectance distribution based on the display, and a display unit for displaying an index of the bidirectional reflectance distribution based on the output of the evaluation unit.
  • FIG. 2 is a diagram illustrating the distribution of reflected radiance in the case of a perfect mirror surface and an arbitrary surface, respectively, comprising FIGS. 1a and 1b. Diagram showing a surface model based on Oren-Nayar assumptions. 3a and 3b, FIG. 3a is a diagram showing a conventional BRDF measurement method, and FIG. 3b is a diagram showing a BRDF measurement method using a vehicle according to the present invention. 3 is a three-dimensional geometric model of an automotive BRDF measuring apparatus according to the present invention.
  • FIG. 3 is a three-dimensional geometric model of an automotive BRDF measuring apparatus according to the present invention.
  • FIG. 2 is a block diagram illustrating a normal view viewed from an in-vehicle camera and input from a GPS satellite in relation to a diffuse patch provided on the surface of the vehicle hood to provide a reference incident radiance.
  • 1 is a simplified block diagram of a system according to the present invention. One patch observed at different times (requires speedometer). A patch defined on the road surface in front of the vehicle observed at the same time (no speedometer is required).
  • FIG. 9A is a diagram showing road surface reflectance classification using SVM (surface reflection classifying)
  • FIG. 9B is a diagram showing how road surface reflection conditions are continuously evaluated.
  • the reflection of an opaque object usually depends on the angular direction of illuminating or observing the surface.
  • ⁇ i ⁇ r
  • FIG. 1b For a typical surface patch, any combination of diffuse and specular reflection can occur, and light is reflected in all directions of the upper hemisphere, as shown in FIG. 1b. In general, this behavior is expressed by BRDF.
  • the BRDF of the surface dA is defined by the reflected radiance Lr and incident radiance Ei for the observer and light source position given by the zenith angle ( ⁇ r, ⁇ i) and azimuth angle ( ⁇ r, ⁇ i).
  • the fr ( ⁇ i, ⁇ i, ⁇ r, ⁇ r) dLr ( ⁇ r, ⁇ r) / dEi ( ⁇ i, ⁇ i) (1)
  • the reflection model is usually introduced to realize a low parameter representation of the obtained BRDF measurement value.
  • One powerful physical BRDF model is proposed by Oren-Nayar in Non-Patent Documents 10, 12 and 13. This assumes an isotropic surface composed of a plurality of small facets arranged as a constant width V-shaped groove, as shown in FIG.
  • f r d, dir includes all the directly reflected parts
  • f r d, ms covers the part reflected multiple times.
  • ⁇ is the surface albedo
  • is the relative azimuth
  • ⁇ 1 max ( ⁇ i, ⁇ r) is the maximum zenith angle
  • ⁇ 2 min ( ⁇ i, ⁇ r) Is the minimum zenith angle
  • C1 (k w ), C2 (k w ), and C3 (k w ) are constants that depend only on k w (parameter for surface roughness) and the position of the observer and the light source. See Non-Patent Document 13. For clarity of explanation, all model equations do not specify the dependency of observer and light source positions ⁇ i, ⁇ r, and ⁇ .
  • ⁇ is the zenith angle of the normal N ⁇ of the facet relative to the macro normal M ⁇ .
  • the specular reflection portion can be expressed as follows.
  • F r s (k w , n) F (n) ⁇ P (k w ) ⁇ G / 4 ⁇ cos ⁇ i ⁇ cos ⁇ r ⁇ ⁇ ⁇ ⁇ ⁇ ⁇ (7)
  • F (n) represents the Fresnel reflectance describing the photometric behavior of the light beam on the surface (see Non-Patent Document 5)
  • G represents attenuation related to masking and shadowing in the facet structure. Is a factor. See Non-Patent Document 13.
  • f r k d f r d (k w ) + k s f r s (k w , n) (8)
  • k d and k s are weighting factors for the diffuse and specular reflection terms
  • n is the refractive index of the corresponding material
  • k w is a parameter for the surface roughness.
  • the robust road surface reflectance classification method depends on the characteristics of a strong BRDF with high reliability. In general, the necessary information can be obtained from a single image obtained by the in-vehicle camera.
  • a new framework for road surface reflectance classification based on images is provided.
  • the Oren-Nayar-BRDF model is fitted to the acquired data to extract reliable BRDF features.
  • these features form a low-dimensional description vector that is used to determine the road surface reflectance classification, for example by using an appropriate algorithm based on SVM (support vector machine) as shown in FIG. 9a. .
  • SVM support vector machine
  • FIG. 4 shows a data acquisition configuration for the illustrated embodiment.
  • Incident light rays from the sun are projected onto the road surface with a certain incident radiance Ei and a certain incident angle ⁇ i toward a specific patch on the road surface.
  • the incident light beam is reflected with a certain reflection angle ⁇ r and a certain reflection radiance Lr.
  • azimuth angles ( ⁇ r, ⁇ i) can be considered in addition to zenith angles ( ⁇ r, ⁇ i).
  • incident light from the sun having incident radiance Es enters the diffuse reflector R disposed on the engine hood of the vehicle, and the reflected light is captured by the camera with a reflected radiance Ls.
  • FIG. 5 shows a typical image obtained with an in-vehicle camera, including a diffuse reflector R that can be used to provide an indicator of incident radiance.
  • This index is obtained by using a photocell (photoelectric sensor) provided on the roof of the vehicle, an optical sensor incorporated as part of the raindrop detection system, or by directly estimating from an image using an image processing method. You can also Data obtained from this image is combined with azimuth information provided by GPS satellites in a system for road surface reflectance classification.
  • FIG. 6 shows an example of a system for road surface reflectance classification.
  • Information obtained by the in-vehicle camera 1 is sent to the main control unit 3 via the camera control unit 2.
  • the main control unit 3 further receives information on the current date and time from the clock 4 and information on the vehicle azimuth and position from the GPS receiver 5 and calculates the current position of the sun relative to the vehicle azimuth.
  • the main control unit 3 acquires the road surface reflectance classification by executing an algorithm described below, and supplies the result to the chassis control system or other in-vehicle system.
  • Road surface reflectance classification provides a measure or indicator of the presence of moisture on the road surface, thereby providing a measure or indicator of the coefficient of friction of the road surface against the tires of the vehicle.
  • the same patch is observed from a plurality of observation positions as shown in FIG.
  • the patches on the road surface are spatially constant, and the radiance obtained by observing these patches from different angles. Is observed as a single image, as shown in FIG. 3b.
  • the radiance measurement is realized by evaluating the average gray scale value of a 10 ⁇ 10 cm patch arranged at a point of 75 ⁇ 30 (n ⁇ m) by observation from a bird's eye view position as shown in FIG. be able to.
  • FIG. 7 shows another configuration for acquiring an image of the road surface in front of the vehicle.
  • the same patch defined on the road surface is observed together with the vehicle by an in-vehicle camera.
  • Standard image matching techniques optical flow
  • the camera acquires patch images at predetermined time intervals. This time interval may be equal or unequal as long as the camera control unit can associate each acquired image with the zenith angle of the observation axis of the road patch.
  • the system comprises a speed sensor 6, as indicated by the phantom line in FIG. 6, whereby the main control unit 5 matches the image so that a particular patch is present in subsequent images. It is possible to associate.
  • the method shown in FIG. 7 is as shown in FIG. 3a, as required in a conventional BRDF measurement device, based on the assumption that the road patch is (in the short term) time-invariant.
  • multiple BRDF measurements can be provided for a particular patch from different observer positions.
  • the radiant flux ⁇ with which each camera pixel is irradiated onto the area A over a predetermined exposure time Te is integrated.
  • the relationship between the grayscale value of the camera pixel and its incident emissivity E is as follows: Is obtained as follows.
  • Non-Patent Document 6 the relationship between the reflection radiance Lr of the road surface patch and the incident radiation E on the camera sensor is given by the following equation.
  • ⁇ is an angle that defines the relative geometric relationship between the camera and the reflector.
  • the proportionality constants of both equations depend only on the camera characteristics. Therefore, a point-by-point description between the radiance Lr reflected from the road surface and the gray scale value g of the camera pixel can be obtained from the equations (9) and (10).
  • the incident radiation Ei on the road surface can be estimated by determining the incident radiation Es on the diffuse reflector R provided on the hood of the vehicle.
  • the calculation is performed according to the equations (9) to (11) by taking the average of all the gray scale values g ⁇ exceeding a certain threshold in the gray scale value histogram of the reflector.
  • the incident radiation Ei on the road surface is obtained by the following equation.
  • the proportionality constant K can be determined by giving the camera and reflector characteristics and their relative geometric positions. Note that the proportionality constant K is common to all images acquired with the same experimental setup.
  • a meaningful BRDF evaluation of the fitted road surface of the BRDF model is possible only for a partitioned area in front of the vehicle as shown in FIG. This corresponds to a range of 77 ° ⁇ r ⁇ 87 ° for the zenith angle and ⁇ 20 ° ⁇ r ⁇ + 20 ° for the azimuth angle. Since the field of view is limited in this way, the positions of the light source and the observer vary depending on the time and the direction of the vehicle at that time, and different traffic situations cannot be directly compared by BRDF measurement. Therefore, in order to perform extrapolation based on the model for the entire BRDF of the road surface, it was decided to apply the extended Oren-Nayar model.
  • the robust reflective surface radiance is determined from the intensity signal value of the camera sensor.
  • large changes in road albedo such as those caused by vivid lane markers on dark concrete surfaces, break the assumption of road patch invariance and deviate from BRDF measurements. Give rise to a value.
  • the effects of any atmospheric phenomenon between the surface patch and the camera sensor such as raindrops on the windshield, can disturb the measurement process. Since this method improves DAS particularly in rough weather, insensitivity to such disturbances is extremely important.
  • Non-Patent Documents 4 and 14 and Patent Documents 1 and 2 are used to cause disturbance by raindrops.
  • the estimated Oren-Nayar models and their parameters can only distinguish different road reflection condition differences only in the case of well-conditioned images.
  • the actual traffic situation is accompanied by measurement noise, especially in stormy weather, and from a very limited field of view, a BRDF model describing the reflectivity of a substance for every observer and light source position It is a very difficult problem to estimate. According to our experiments, it was found that for this reason, it is not possible to accurately classify road surface reflection conditions using only the estimated Oren-Nayar model parameters.
  • the robust CIE reflection parameters S1 and S2 based on Non-Patent Documents 7 and 1 are excluded from positions other than the observer position of ⁇ r ⁇ 82 °. These parameters evaluate the entire BRDF function for two feature points.
  • S2 determines the closed BRDF volume Q0 for the reflectivity in the normal direction.
  • Non-Patent Document 3 To find the function f from an example for parameter fitting (see Non-Patent Document 3) using various methods such as k-Nearest-Neighbor, Decision Trees, Neural Networks and Support Vector Machines (SVM), Data-based machine learning methods have been proposed. Since SVM is simple, high speed and effective, it is adopted as a learning and classification method in this embodiment.
  • SVM Support Vector Machines
  • the BRDF model was visualized by a spherical coordinate system using a so-called q-body representation. See Non-Patent Document 7. If the light source is fixed, a set of vectors given by zenith and azimuth and their corresponding BRDF values as norms are used to synthesize an envelope that describes the surface reflection characteristics.
  • a system for road surface reflectance classification based on estimating BRDF of road surface is proposed.
  • the Oren-Nayar reflectivity model is used to enable the extraction of meaningful reflection features with high accuracy and high robustness with only low errors even under stormy conditions. Since only a single grayscale value image and GPS information acquired by an uncalibrated vehicle-mounted camera is used, the proposed framework is applicable to realistic scenarios or aspects, and any driving It can be applied to a person support system.
  • Patent and non-patent literature CIE 132-1999 Design methods for lighting of roads. Technical report, Commission Internationale de L'Eclairage, 1999. R.L. Cook and K.E. Torrance. A reflectance model for computer graphics. ACM Transactions on Graphics, 1 (1): 7-24, 1981. R.O. Duda, P.E. Hart, and D.G. Stork. Pattern classification. Wiley, 2. ed. Edition, 2001. J. Halimeh and M. Roser. Raindrop detection on car windshields using geometric-photometric environment construction and intensity-based correlation. In IEEE Intelligent Vehicle Symposium (IV '09), Xi'an, China, 2009. E. Hecht. Optics. Addison-Wesley Pub. Co., 4. ed. Edition, 2002. B.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Analytical Chemistry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Traffic Control Systems (AREA)

Abstract

　例えば、車線マーカーの検出等の画像処理に基づく運転者支援システム（ＤＡＳ）に於ける、濡れた路面や、特定の照明条件により引起される限界を緩和するような路面反射率分類システムが提供される。得られた路面反射率は、例えば、自動車のシャーシ制御に利用される。車両前方の画像を取得する車載カメラを用いて、双方向反射率分布関数(ＢＲＤＦ)の測定を行なう。車両前方の路面上の複数のパッチの画像を取得し、空間的不変性の仮定の下に、与えられた天頂角の与えられた放射度の入射光について複数の天頂角の反射光の反射ラジアンスを求める。或いは、車両前方の路面上の１つのパッチの画像を順次取得し、時間的不変性の仮定の下に、与えられた天頂角の与えられた放射度の入射光について複数の天頂角の反射光の反射ラジアンスを求める。

Description

路面反射率分類のためのシステム
　本発明は、例えば濡れた表面及び特定の照明条件により引き起こされる道路の反射を検出する技術に関し、特に車線マーカー検出などを伴う運転者支援システム（ＤＡＳ：driver assistance system）に基づく画像処理に於ける、濡れた表面及び特定の照明条件等により引き起こされる限界を緩和するような路面反射率分類（road surface reflectivity classification）のためのシステムに関する。
　路面反射率分類は、画像処理法、双方向反射率分布関数(ＢＲＤＦ:bi-directional reflectance distribution functions)及びロバストな反射特徴を用いることにより複数の単一の画像を分析することにより達成される。このような路面反射率分類は、シャーシ制御システムを適合化するために利用することができる。路面反射は、路面上に水分が存在することを示す指標であることが知られており、また路面上に水分が存在することは、路面の摩擦係数に対して多大な影響を与えることも知られている。
　ホンダＬＫＡＳ(lane keep assist system)等のように画像の処理に基づく運転者補助システムの一つとして、観測された光景の複雑さなどの特徴を推定するＤＡＳが知られている。複雑さのレベルがある程度のレベルを超えると、ＤＡＳ機能が一時的に停止され、機能の誤った反応を回避するようにしている。このような手法のため、現在のＤＡＳ、例えばＬＫＡＳは、雨天時の夜間運転などのような状況に於いては用いることができない。この限界は、このような機能を利用して運転者を補助することにより事故を減らす上での利益を制限する。
　路面反射率分類のうちで、ＢＲＤＦは、光の反射を点ごとに記述するもので、コンピュータービジョンシステムに於いて用いられる主な計量的概念である。これは、正確に定義された観測者及び様々な光源の位置から得られた高密度のサンプルを取得することにより計測される。ＢＲＤＦを完全にパラメータ化するためには、通常、測定値を適切な物理的或いは経験的なＢＲＤＦモデルに適合させる。非特許文献１０、１２、１３及び１５を参照。また、道路の照明の設計に於いて、道路の反射のタイプを識別するために開発された、設定された反射パラメータ及び標準表面の分類のためのＣＩＥ(International Commission on Illumination)標準も知られている。
　しかしながら、ＤＡＳのために路面反射率分類を適用することは知られていない。公知の路面反射率分類についての試みは、いづれもアカデミックなものであって、車載コンピュータ・ビジョンシステムに適用するのに適していない。
　ＢＲＤＦを求めるためには、正確に定義されたイメージング及び照明の設定環境の下に十分な数の測定を行う必要がある。これは、最近になって、測角反射率計(gonioreflectometers)などのような高度な装置を用いることにより、実験的に行うことによって初めて可能となったものである。ＣＩＥ標準は、研究室の環境や特別な野外の測定条件に於いて用いられるものとして発展し、最近になって測定に用いられ始めたものである。照明の設計に関連するような少数の表面についてのみ評価を行うものものとなっている。それに対して、路面反射の識別は、様々な濡れた条件に曝され得る多数の路面をカバーするものでなければならない。従って、研究室の環境に於いて生成されたデータベースでは、取得しなければならないデータが膨大であるために適用することができない。移動する車両の内部から路面の反射を特定することは、いくつもの理由により厄介かつ困難な課題である。低い観測角度から比較的少数の測定がなされるのみである。照明の方向や光源が未知であるために、測定値の取得をシステム化して制御することができない。複雑な交通状況から得られるセンサのデータには、ノイズが含まれ、それによって測定の質が損なわれる。このように、現在までのところ、移動する車両から得られたカメラ画像を用いるシステムに対して路面反射率分類を適用することは実質的に不可能であった。
　このような従来技術の問題点に鑑み、本発明の主な目的は車載カメラを用いて実現することができ、かつ取得されたデータを、シャーシ制御システムやその他の有用な目的にリアルタイムで適用し得るような路面反射率分類のためのシステムを提供することにある。
　本発明の第２の目的は、車載カメラに適合したＢＲＤＦに基づく路面反射率分類のためのシステムを提供することにある。
　本発明の第３の目的は、外れ値(outlier)的な反射特徴及びまたは極端な表面条件により引き起こされる光学的な外乱に対してロバストなＢＲＤＦのためのシステムを提供することにある。
　本発明の第４の目的は、データを取得するためのカメラの視野が極度に限定される場合でもうまく路面反射率分類を行うことができるようなＢＲＤＦのためのシステムを提供することにある。
　このような目的は、本発明によれば、車載カメラを用いて車両前方の路面の像を取得するための路面反射率分類システムであって、少なくとも車両の位置及び進行方向を求めるナビゲーションセンサと、現在の時刻及び日付を求めるクロックと、前記ナビゲーションセンサ及び前記クロックの出力に基づき、前記車両の位置及び進行方向に対する太陽の位置を判定するための太陽位置計算部と、前後に配列されたパッチのアレイとして、車両前方の路面上に画定された複数のパッチの像を取得するカメラ制御部と、路面パッチの空間的不変性の仮定の下に、前記カメラ制御部により取得された像に基づいて双方向反射率分布（ＢＲＤＦ）を測定する主制御部とを有することを特徴とする路面反射率分類システムを提供することにより少なくとも部分的に達成される。
　太陽位置計算部は、衛星や慣性航法システム等に基づくＧＰＳシステムからなるナビゲーションセンサ及び現在の時刻ばかりでなく日付を求めるクロックの出力に基づいて、車両の位置及び進行方向に対する太陽の位置を判定する。車両の進行方向は、磁石等の航法装置により求めることもできる。路面パッチの空間的不変性の仮定の下に、車載カメラは、与えられた入射角について、様々に異なる反射角に於ける反射ラジアンス（radiance）及び入射放射度（irradiance）を測定する。或いは、車両が、車両の走行速度を検出する速度センサを有するものとし、主制御部が、路面パッチの時間的不変性の仮定の下に、所定の時間間隔をおいて、前記カメラ制御部により取得された複数の像に基づいて双方向反射率分布（ＢＲＤＦ）を測定するものとすることもできる。
　いずれにせよ、パッチアレイが、（ｎ×ｍ）マトリックスとして配置され、ｎが横方向に配置されたパッチの数であり、ｍが前後方向に配置されたパッチの数であるものとすることができる。また、入射放射度の基準を提供するために、車両のフード面上に拡散パッチを設けることができる。或いは、光センサ又は光電センサを用いて、入射放射度を測定することもできる。また、画像処理の手法を用いて、取得された画像から入射放射度の基準を直接推定することもできる。例えば、主制御部が、車載カメラの出力を分析して入射放射度の基準を提供するように構成されているものとすることができる。
　システムが高度にロバストに作動し得るように、双方向反射率分布の測定に際して、主制御部が、既知の外れ値的な（outlier）反射特性を除去するものであると良い。そのような外れ値的な反射特性は、限定的ではないが、路面上の車線マーカーであったり、車両のウインドシールド上の雨滴によるものであって良い。
　本発明は、更に、車載カメラを用いて車両前方の路面の像を取得するための路面反射率分類システムであって、少なくとも車両の位置及び進行方向を求めるナビゲーションセンサと、現在の時刻及び日付を求めるクロックと、前記車両の走行速度を検出する速度センサと、前記ナビゲーションセンサ及び前記クロックの出力に基づき、前記車両の位置及び進行方向に対する太陽の位置を判定するための太陽位置計算部と、車両前方の所定距離の路面上に画定された少なくとも１つのパッチの像を取得するカメラ制御部と、路面パッチの空間的又は時間的不変性の仮定の下に、前記カメラ制御部により取得された画像に基づいて双方向反射率分布を測定する評価部と、前記評価部の出力に基づき双方向反射率分布の指標を表示する表示部とを有することを特徴とする路面反射率分類システムを提供する。
図１ａ及び図１ｂからなり、それぞれ完全な鏡面及び任意の表面の場合における反射放射輝度の分布を示すダイアグラム図。 Oren-Nayarの仮定に基づく表面モデルを示すダイアグラム図。 図３ａ及び図３ｂからなり、図３ａは従来のＢＲＤＦ測定方法を示すダイアグラム図、図３ｂは本発明に基づく車両を用いたＢＲＤＦ測定方法を示すダイアグラム図。 本発明に基づく自動車用ＢＲＤＦ測定装置の三次元幾何学的モデル。 基準となる入射放射度を提供するために車両のフードの表面に設けられた拡散パッチに関連して車載カメラから見た通常の光景及びＧＰＳ衛星からの入力を示すブロック図。 本発明に基づくシステムの単純化したブロック図。 異なる時点に於いて観測した一つのパッチ（速度計が必要である）。 同一の時点に於いて観測した車両の前方の路面に画定されたパッチ（速度計が必要でない）。 図９ａ及び図９ｂからなり、図９ａはＳＶＭ(surface reflectivity classification)を用いた路面反射率分類を示すダイアグラム図、図９ｂは路面反射状況を連続的に評価する様子を示すダイアグラム図。
　不透明な物体の反射は、通常、その表面を照明する角度方向或いは観測する角度方向に依存する。完全な鏡面の場合、入射光線の天頂角θｉは、反射光線の天頂角θｒに等しい（θｉ＝θｒ）（図１ａ）。一般的な表面パッチについては、拡散的反射及び鏡面的反射のあらゆる組み合わせが発生可能であって、図１ｂに示されるように、上半球のあらゆる方向に光が反射される。一般に、この挙動はＢＲＤＦにより表現される。非特許文献１１によれば、表面ｄＡのＢＲＤＦは、天頂角（θｒ、θｉ）及び方位角（φｒ、φｉ）により与えられる観測者及び光源位置についての反射ラジアンスＬｒ及び入射放射度Ｅｉにより定義される。
 fr(φｉ, θi, φｒ, θr) = dLr(φｒ, θr) / dEi(φｉ, θi) ・・・・・・ (1)
入射放射度Ｅｉは、単位面積Ａ当たりの放射束Φを表し、
 Ei = dΦ/ dＡ ・・・・・・ (2) 
反射ラジアンスＬｒは以下の式により与えられる。
 Lr = d2Φ/ (dＡ ・cos θr・dΩ) ・・・・・・ (3) 
これは、伝播方向に対して直交する面上で測定された、単位立体角Ω当たりの放射束Φを表す。
　反射モデルは、通常、得られたＢＲＤＦ測定値の低パラメータ表現を実現するために導入される。１つの有力な物理ＢＲＤＦモデルが、非特許文献１０、１２及び１３に於いてOren-Nayarにより提唱されている。これは、図２に示されるように、一定幅のＶ字形の溝として配置された複数の小さな切子面により構成された等方性の表面を仮定する。
　全ての切子面のランバート的(lambertian)挙動を重ね合わせると、２つの拡散反射要素が導き出される。fr d,dirは全ての直接反射された部分を含み、fr d,ms は複数回反射された部分をカバーする。
Figure JPOXMLDOC01-appb-M000001
ここで、ρは表面アルベド(albedo)であり、φ = |φi － φr| は相対方位角であり、θ1 = max(θi, θr) は最大天頂角であり、θ2 = min(θi, θr)は最小天頂角である。C1(kw)，C2(kw)及びC3(kw)は、kw（表面粗さについてのパラメータ）及び観測者並びに光源の位置にのみ依存する定数である。非特許文献１３を参照。説明を明快にするために、全てのモデル式は、観測者及び光源の位置θi, θr及びφの依存関係を明示していない。
　現実的な路面では、伝統的なOren-Nayarモデルでは考慮し得ないような表面に於ける反射の正確な記述が必要となる。本発明では、全ての表面の切子面が小さな完全な鏡面として仮定されるように、Oren-Nayarモデルを鏡面について拡張した。非特許文献９及び１５を参照。
　各切子面について、鏡面反射は、全反射の方向にのみ引起される。それにより、切子面の法線Ｎ→に対する局部的な照明角度θ'=θ'i=θ'rが得られ（図２を参照）、これを幾何学的に決定することができる。非特許文献１７を参照。
　鏡面反射に関与する切子面の法線の確率分布Ｐを、標準偏差kwのゼロ平均ガウス分布としてモデル化する。
Figure JPOXMLDOC01-appb-M000002
ここで、αは、図２に示されるように、マクロ的な法線Ｍ→に対する切子面の法線Ｎ→の天頂角である。式（６）を用いて、鏡面反射部分を次のように表すことができる。
 fr s(kw, n) = F(n)・P(kw)・G / 4・cos θi・cos θr ・・・・・・ (7)
ここで、F(n)は表面上に於ける光線の測光的挙動を記述するフレネル反射率を示し（非特許文献５を参照。）、Ｇは切子面構造内でのマスキング及びシャドウイングに関する減衰ファクタである。非特許文献１３を参照。
　最後に、拡散的及び鏡面的反射部分（fr d及びfr s）の重み付け重ね合わせにより拡張Oren-Nayarモデルが得られる。
 fr = kdfr d(kw) + ksfr s(kw, n) ・・・・・・ (8)
ここで、kd及びksは、拡散的及び鏡面的反射項のための重みファクタであり、ｎは対応する物質の屈折率であり、kwは表面粗さについてのパラメータである。
　ロバストな路面反射率分類の手法は、高い信頼性を有する強いＢＲＤＦの特徴に依存する。一般に、車載カメラにより得られた単一の画像により、必要とされる十分な情報が得られる。
　本出願に於いては、画像に基づく路面反射率分類の新規なフレームワークが提供される。第一に、式（１）に基づき、ＢＲＤＦ測定を行うために必要な全ての放射分析的及び幾何学的量を取得する。次に、Oren-Nayar－ＢＲＤＦモデルを、取得したデータに適合させ、信頼できるＢＲＤＦ特徴を抽出する。最後に、これらの特徴は、例えば図９ａに示されるようなＳＶＭ（support vector machine）に基づく適切なアルゴリズムを用いることにより、路面反射率分類を決定するために用いられる低次元記述ベクトルを形成する。しかしながら、抽出された特徴が十分に顕著なものであれば、反射状態を連続的に評価することも可能である（図９ｂ参照。）。
　式（１）に基づき、ＢＲＤＦ測定値の計算を行うためには、路面上の入射放射度Ｅｉ、観測者に向けて反射されたラジアンス及び観測者及び光源の位置を幾何学的に特定する変数θi, θr及びφを知ることが必要である。これらの量は、図４から図６に示された測定用の構成によって取得することができる。
　図４は、図示された実施例のためのデータ取得構成を示す。太陽からの入射光線は、路面上の特定のパッチに向けて、或る入射放射度Ｅｉ及び或る入射角度θｉをもって路面に投射される。入射光線は、或る反射角θｒ及び或る反射ラジアンスＬｒをもって反射される。所望に応じて、天頂角（θｒ、θｉ）に加えて方位角（φｒ、φｉ）をも考慮することができる。同時に、入射放射度Ｅｓを有する太陽からの入射光線が、車両のエンジンフード上に配置された拡散反射器Ｒに入射し、その反射光が反射ラジアンスＬｓをもってカメラにより捕捉される。
　図５は、入射放射度の指標を提供するために用いることのできる拡散反射器Ｒを含む、車載カメラにより得られた典型的な画像を示す。この指標は、車両のルーフに設けられたフォトセル（光電センサ）、雨滴検知システムの一部として組み込まれた光センサを用いたり、あるいは、画像処理方法を用いて画像から直接推定することにより得ることもできる。この画像から得られたデータは、路面反射率分類のためのシステムに於いて、ＧＰＳ衛星により提供される方位情報と組み合わせられる。
　図６は、路面反射率分類のためのシステムの一例を示す。車載カメラ１により得られた情報は、カメラ制御ユニット２を介して、主制御ユニット３に送られる。主制御ユニット３は更に、クロック４から現在の日時に関する情報及びＧＰＳ受信機５から車両の方位及び位置に関する情報を受け取り、車両の方位に対する太陽の現在の位置を計算する。主制御ユニット３は、以下に記載されるアルゴリズムを実行することにより、路面反射率分類を取得し、その結果をシャーシ制御システムあるいはその他の車載システムに供給する。路面反射率分類は、路面上の水分の存在の尺度又は指標を提供し、それにより車両のタイヤに対する路面の摩擦係数の尺度又は指標を与える。
測定観測角θｒ，φｒの決定
　従来のＢＲＤＦ測定方法によれば、図３ａに示されるように、同一のパッチを複数の観測位置から観測する。それに対して、図８に示された本発明に基づく手法に於いては、路面上のパッチが空間的に一定であると仮定し、これらのパッチに対して異なる角度から観測して得られるラジアンスを図３ｂに示されるように、単一の画像として観測する。ラジアンスの測定は、図８に示されるように７５×３０（ｎ×ｍ）の点に配置された１０×１０ｃｍのパッチの平均グレースケール値を鳥瞰位置からの観測により評価することにより、実現することができる。
　図７は、車両前方の路面の画像を取得する別の構成を示す。この実施例に於いては、車両が道路を走行している間に、路面上に規定された同一のパッチを、車両と共に車載カメラにより観測する。標準的な画像合致手法（オプティカルフロー）をこの目的のために用いることができる。カメラは、パッチの画像を所定の時間間隔をもって取得する。この時間間隔は、カメラ制御ユニットが、取得された画像のそれぞれを、路面パッチの観測軸線の天頂角に対応づけることができる限り、均等であっても不均等であってもよい。この場合、システムは、図６に於いて想像線に示されるように、速度センサ６を備え、それによって主制御ユニット５は画像を合致させることにより、特定のパッチをそれ以降の画像に於いて対応づけることが可能にされている。図７に示された方法は、路面パッチが（短期的に）時間的に不変であるという仮定に基づいて、従来のＢＲＤＦ測定装置に於いて必要とされるような、図３ａに示されるように、異なる観測者の位置からの特定のパッチに対する複数のＢＲＤＦ測定値を提供することができる。
路面パッチのラジアンスＬｒ（θｒ，φｒ）の決定
　画像取得過程に於いて、各カメラピクセルが所定の露出時間Ｔｅに渡って領域Ａに照射される放射束Φを積分する。カメラセンサが線形特性を有するものと仮定し、画像取得過程に於いて発生するノイズを無視すると共に式（２）を用いることにより、カメラピクセルのグレースケール値とその入射放射度Ｅの関係が以下のように得られる。
Figure JPOXMLDOC01-appb-M000003
非特許文献６によれば、路面パッチの反射ラジアンスＬｒとカメラセンサ上の入射放射度Ｅとの間の関係が次の式により与えられる。
Figure JPOXMLDOC01-appb-M000004
ここでθはカメラ及び反射器の相対的な幾何学的関係を定める角度である。これら両式の比例定数はカメラの特性にのみ依存する。従って、路面から反射されるラジアンスＬｒとカメラピクセルのグレースケール値ｇとの間の点毎の記述を式（９）及び（１０）から求めることができる。
幾何学的な太陽の位置θｉ，φｉの決定
　太陽が考慮されるべき唯一の光源であるとすると、この関係は、日時の情報及び各瞬間に於ける太陽の位置を表す式から計算することができる。非特許文献１６参照。
太陽の放射度Ｅｉ（θｉ，φｉ）の決定
　路面上の放射度Ｅｉを決定するために、車両の周囲の太陽による放射度が一定であると仮定する。即ち、路面パッチの空間的不変性を仮定する。これにより、図４に示されるように、車両のフード上に設けられた拡散反射器Ｒ上の入射放射度Ｅｓを決定することにより路面上の入射放射度Ｅｉを推定することができる。完全に拡散的な反射器のＢＲＤＦ式は以下の式により与えられる。
　　　　　Ls = (ρ/π) Es ・・・・・・ (11)
　ロバスト性を確保するために、反射器のグレースケール値ヒストグラムに於ける或る閾値を超えた全てのグレースケール値ｇ－の平均をとることにより、式（９）～（１１）により計算する。このようにして、路面上の入射放射度Ｅｉが次の式により得られる。
Ei = Es = K ・ (g-/Te)  ・・・・・・ (12)
ここで、比例定数Ｋは、カメラ及び反射器の特性並びにそれらの相対的な幾何学的位置を与えることにより決定することができる。ここで、比例定数Ｋは同一の実験セットアップにより取得された全ての画像について共通であることに留意されたい。
ＢＲＤＦモデルの当てはめ
　路面の意味のあるＢＲＤＦ評価は、図８に示すように車両の前方の区画された領域についてのみ可能である。これは、天頂角については７７°＜θｒ＜８７°、方位角については－２０°＜φｒ＜＋２０°の範囲に対応する。このように視界が制限されていることから、その時の時刻や車両の方向に応じて、光源及び観測者の位置が様々に異なり、異なる交通状況をＢＲＤＦ測定によって直接比較することはできない。従って、路面の全体のＢＲＤＦに対してモデルに基づく外挿を行うために、拡張されたOren-Nayarモデルを当てはめることにした。標準的な非線形Levenberg-Marquardt最適化（非特許文献８を参照。）を行うことにより、正規化された重み付けファクタ（kd + ks = 1）（非特許文献２を参照。）を用いることにより、未知のOren-Nayarパラメータを推定した。
　ここで、伝統的なＢＲＤＦモデル当てはめは、取得したサンプル間について、モデルに基づいた内挿を行うために、既に高密度にサンプルされたＢＲＤＦの低パラメータ近似を見つけようとするものであることに留意されたい。推定されたモデルパラメータ自体は、通常重要な意味を有していない。それに対して、我々の目的は、極めて制限された視野の観測からＢＲＤＦのパラメータを推定することにある。
ロバストさ
　反射表面ラジアンスは、カメラセンサの強度信号値から決定される。従って、黒っぽいコンクリート面上の鮮やかな車線マーカーにより引き起こされるもの等のような、路面アルベド（albedo）に於ける大きな変化は、路面パッチの不変性の仮定を破壊するもので、ＢＲＤＦ測定値に外れ値を生じさせる。しかも、ウインドシールド上の雨滴などのような表面パッチとカメラセンサとの間のあらゆる大気現象の影響は、測定プロセスを乱す原因となる。この方法は、特に荒天時に置いてＤＡＳを向上させるものであることから、このような外乱に対する鈍感さは極めて重要である。
　このように理由から、標準的な車線検知方法及び、先に開発されたコンピュータ・ビジョンに基づく雨滴検知（非特許文献４及び１４並びに特許文献１及び２を参照。）を利用し、雨滴によって乱されておらず、かつ車線マーカー上に位置しないＢＲＤＦ測定値のみを考慮するものとする。更に、推定されたOren-Nayarモデル及びそれらのパラメータは、条件の良い画像の場合に於いてのみ、異なる道路反射条件の違いをうまく区別することが可能である。しかしながら、現実の交通状況は、特に荒天時にあっては、測定ノイズを伴ない、しかも、極めて制限された視野の観測から、あらゆる観測者及び光源の位置について物質の反射率を記述するＢＲＤＦモデルを推定することは極めて困難な問題である。我々の実験によれば、このような理由により、推定されたOren-Nayarモデルパラメータだけでは、路面の反射状態を正確に分類することができないことが見出された。
　推定されたOren-Nayarモデルパラメータに加えて、非特許文献７及び１に基づくロバストなＣＩＥ反射パラメータＳ１、Ｓ２を、θｒ≒８２°の観測者位置以外からは排除するようにした。これらのパラメータはＢＲＤＦ関数全体を２つの特徴点について評価する。
Figure JPOXMLDOC01-appb-M000005
ここで、Ｓ２は法線方向についての反射率に対する閉じられたＢＲＤＦ体積Ｑ０を決定する。特に、Ｓ１はヘッドライト及び道路照明の設計のためにカスタマイズされた反射パラメータであって、φ＝１８０°及びθｉ＝２６．６°に標準的な光源の位置がある場合についての反射率を示す。
　しかしながら、このような角度の組合せは、我々の目的にとって理想的ではないことは予想された。従って、新規な反射特徴Ｓ３を提唱する。
Figure JPOXMLDOC01-appb-M000006
これは、上記したようにして得られた現在の車両の方位及び太陽の位置に基づいて計算される。
分類
　記述ベクトルｖを生成するためにOren-Nayarモデルパラメータ kw, kd, n 及び反射特徴Ｓ１、Ｓ２、Ｓ３の選択された組合せを選択し、このベクトルを路面反射率分類を決定するために利用する。この場合、バイナリ分類をクラスＣ＝｛拡散面，鏡面｝に適用する。このように、分類の問題が、ｖを記述空間ＤからクラスＣにマップする関数ｆ（ｃ＝ｆ（ｖ）、但しｆ：Ｄ→Ｃ）を見つける問題に帰結させることができる。
　k-Nearest-Neighbor, Decision Trees, Neural Networks及びSupport Vector Machines (SVM)等のような様々な方法を用いてパラメータ当てはめ用の例（非特許文献３を参照。）から関数ｆを見つけるための、データに基づく機械学習方法が提唱されている。ＳＶＭが、単純、高速であってしかも有効であることから、本実施例における学習及び分類方法として採用された。
　ＳＶＭの利点の一つは、線形及びＲＢＦ（Radial Basis Functions）のようなカーネル方法をアルゴリズムに組み込むことができる点にある。それにより、非線形な決定境界を見つけることができる。しかしながら、ＲＢＦカーネルのための一つのパラメータは人手により最適化されなければならず、線形分離が既に満足できる結果を表示させるものであることから、線形カーネルを適用することとした。
　全ての実験に置いて１０２４×７６８ピクセルの解像度を有する６８０グレースケール画像を用いた。これは、主に乾燥及び湿った路面について鏡面及び拡散反射をカバーするように、様々に異なる照明条件、及び様々な高速道路の路面について観測を行うものであった。
　ＢＲＤＦモデルは、いわゆるｑ体表現（q-body representation）を用いた球面座標系により可視化された。非特許文献７を参照。光源が固定されている場合、天頂角及び方位角で与えられる一組のベクトル及びそれらのノルムとしての対応するＢＲＤＦ値を用いて、表面反射特性を記述するエンベロープを合成する。
　分類のための画像データが制限されている問題を克服するために、5-fold-crossvalidationを実行した。ここでは、画像が、パラメータの当てはめ及びテストのために同時に用いられることがないようにし、しかもそれらについて同量の画像が割り当てられるようにした。
まとめ
　路面のＢＲＤＦを推定することに基づく路面反射率分類のためのシステムを提案する。Oren-Nayar反射率モデルを使用し、荒天条件下にあっても、低い誤差を伴なうのみで、路面反射率分類を正確かつ高いロバスト性をもって有意義な反射特徴を抽出できるようにする。較正されていない車載カメラにより取得された単一のグレースケール値画像及びＧＰＳ情報のみを用いることから、ここで提案されているフレームワークは、現実的なシナリオ即ち局面に適用可能であり、あらゆる運転者支援システムに対して適用可能である。
　以上で具体的実施形態の説明を終えるが、当業者であれば容易に理解できるように、本発明は上記実施形態や変形例に限定されることなく幅広く変形実施することができる。本出願のパリ条約に基づく優先権主張の基礎出願の全内容及び本出願中で引用された従来技術の全内容は、それに言及したことをもって本願明細書の一部とする。
特許及び非特許文献
CIE 132-1999. Design methods for lighting of roads. Technical report, Commission Internationale de L'Eclairage, 1999. R.L. Cook and K.E. Torrance. A reflectance model for computer graphics. ACM Transactions on Graphics, 1(1):7-24, 1981. R.O. Duda, P.E. Hart, and D.G. Stork. Pattern classification. Wiley, 2. ed. edition, 2001. J. Halimeh and M. Roser. Raindrop detection on car windshields using geometric-photometric environment construction and intensity-based correlation. In IEEE Intelligent Vehicle Symposium (IV '09), Xi'an, China, 2009. E. Hecht. Optics. Addison-Wesley Pub. Co., 4. ed. edition, 2002. B. Jahne. Digital Image Processing. Springer, 6th revised and extended edition edition, 2005. W. Leins and P. von Berg. Reflexionsverhalten von Fahrbahnbelagen. Forschungsberichte des Landes Nordrhein-Westfalen ; 2752. Westdeutscher Verlag, Opladen, 1978. D. Marquardt. An algorithm for least-squares estimation of nonlinear parameters. SIAM Journal of Applied Mathematics, 11:431-441, 1963. G. Meister. Bidirectional Reflectance of Urban Surfaces. PhD thesis, Universitat Hamburg, 2000. S.K. Nayar and M. Oren. Visual appearance of matte surfaces. Science, 267:1153-1156, 1995. F.E. Nicodemus, J.C. Richmond, J.J. Hsia, I.W. Ginsberg, and T. Limperis. Geometrical considerations and nomenclature for reflectance. Technical report, US Department of Commerce, National Bureau of Standards, Washington, D.C., 1977. M. Oren and S.K. Nayar. Seeing beyond lambert's law. In IEEE European Conference on Computer Vision (ECCV '94), pages 269-280. Springer, 1994. M. Oren and S.K. Nayar. Generalization of the lambertian model and implications for machine vision. International Journal of Computer Vision, 14:227-251, 1995. M. Roser and A. Geiger. Video-based raindrop detection for improved image registration. In IEEE Workshop on Video-Oriented Object and Event Classification (in conjunction with ICCV '09), 2009. K.E. Torrance and E.M. Sparrow. Theory for off-specular reflection from roughened surfaces. Journal of the Optical Society of America, 57(9):1105-1114, September 1967. T.C. van Flandern and K.F. Pulkkinen. Low-precision formulae for planetary positions. The Astrophysical Journal Supplement Series, 41:391-411, November 1979. Bram van Ginneken, Marigo Stavridi, and Jan J. Koenderink. Diffuse and specular reflectance from rough surfaces. Appl. Opt., 37(1):130-139, 1998. PCT/JP2009/000181 PCT/JP2010/000092

Claims (9)

  1. 　車載カメラを用いて車両前方の路面の像を取得するための路面反射率分類システムであって、
    　少なくとも車両の位置及び進行方向を求めるナビゲーションセンサと、
    　現在の時刻及び日付を求めるクロックと、
    　前記ナビゲーションセンサ及び前記クロックの出力に基づき、前記車両の位置及び進行方向に対する太陽の位置を判定するための太陽位置計算部と、
    　前後に配列されたパッチのアレイとして、車両前方の路面上に画定された複数のパッチの像を取得するカメラ制御部と、
    　路面パッチの空間的不変性の仮定の下に、前記カメラ制御部により取得された像に基づいて双方向反射率分布（ＢＲＤＦ）を測定する主制御部とを有することを特徴とする路面反射率分類システム。
  2. 　入射放射度の基準を提供するために前記車両のフード面上に設けられた拡散パッチを更に含むことを特徴とする請求項１に記載の路面反射率分類システム。
  3. 　入射放射度の基準を提供するための車載光センサを更に含むことを特徴とする請求項１に記載の路面反射率分類システム。
  4. 　前記主制御部が、前記車載カメラの出力を分析して入射放射度の基準を提供するように構成されていることを特徴とする請求項１に記載の路面反射率分類システム。
  5. 　前記パッチアレイが、（ｎ×ｍ）マトリックスとして配置され、ｎが横方向に配置されたパッチの数であり、ｍが前後方向に配置されたパッチの数であることを特徴とする請求項１に記載の路面反射率分類システム。
  6. 　前記双方向反射率分布の測定に際して、前記主制御部が、既知の外れ値的な（outlier）反射特性を除去することを特徴とする請求項１に記載の路面反射率分類システム。
  7. 　前記ナビゲーションセンサが、衛星ＧＰＳシステムを含むことを特徴とする請求項１に記載の路面反射率分類システム。
  8. 　車載カメラを用いて車両前方の路面の像を取得するための路面反射率分類システムであって、
    　少なくとも車両の位置及び進行方向を求めるナビゲーションセンサと、
    　現在の時刻及び日付を求めるクロックと、
    　前記車両の走行速度を検出する速度センサと、
    　前記ナビゲーションセンサ及び前記クロックの出力に基づき、前記車両の位置及び進行方向に対する太陽の位置を判定するための太陽位置計算部と、
    　車両前方の所定距離の路面上に画定されたパッチの像を取得するカメラ制御部と、
    　路面パッチの時間的不変性の仮定の下に、所定の時間間隔を於いて、前記カメラ制御部により取得された複数の像に基づいて双方向反射率分布を測定する主制御部とを有することを特徴とする路面反射率分類システム。　
  9. 　車載カメラを用いて車両前方の路面の像を取得するための路面反射率分類システムであって、
    　少なくとも車両の位置及び進行方向を求めるナビゲーションセンサと、
    　現在の時刻及び日付を求めるクロックと、
    　前記車両の走行速度を検出する速度センサと、
    　前記ナビゲーションセンサ及び前記クロックの出力に基づき、前記車両の位置及び進行方向に対する太陽の位置を判定するための太陽位置計算部と、
    　車両前方の所定距離の路面上に画定された少なくとも１つのパッチの像を取得するカメラ制御部と、
    　路面パッチの空間的又は時間的不変性の仮定の下に、前記カメラ制御部により取得された画像に基づいて双方向反射率分布を測定する評価部と、
    　前記評価部の出力に基づき双方向反射率分布の指標を表示する表示部とを有することを特徴とする路面反射率分類システム。　
PCT/JP2010/004092 2010-06-18 2010-06-18 路面反射率分類のためのシステム Ceased WO2011158306A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
DE112010005669.2T DE112010005669B4 (de) 2010-06-18 2010-06-18 System zur Straßenoberflächenreflektivitätsklassifizierung
PCT/JP2010/004092 WO2011158306A1 (ja) 2010-06-18 2010-06-18 路面反射率分類のためのシステム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2010/004092 WO2011158306A1 (ja) 2010-06-18 2010-06-18 路面反射率分類のためのシステム

Publications (1)

Publication Number Publication Date
WO2011158306A1 true WO2011158306A1 (ja) 2011-12-22

Family

ID=45347734

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/004092 Ceased WO2011158306A1 (ja) 2010-06-18 2010-06-18 路面反射率分類のためのシステム

Country Status (2)

Country Link
DE (1) DE112010005669B4 (ja)
WO (1) WO2011158306A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014124895A1 (de) * 2013-02-12 2014-08-21 Continental Teves Ag & Co. Ohg Verfahren und strahlensensormodul zur vorausschauenden strassenzustandsbestimmung in einem fahrzeug
WO2014189059A1 (ja) * 2013-05-20 2014-11-27 株式会社デンソー 路面状態推定装置
JP2020106443A (ja) * 2018-12-28 2020-07-09 スタンレー電気株式会社 路面状態検知システム及び路面状態検知方法
CN112597666A (zh) * 2021-01-08 2021-04-02 北京深睿博联科技有限责任公司 一种基于表面材质建模的路面状态分析方法及装置
US20220180643A1 (en) * 2019-03-22 2022-06-09 Vergence Automation, Inc. Vectorization for object detection, recognition, and assessment for vehicle vision systems
CN115346129A (zh) * 2022-07-05 2022-11-15 中国空间技术研究院 一种brdf模型参数的确定方法及系统

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102013226631A1 (de) * 2013-12-19 2015-06-25 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Ermittlung von lokalen Wetterverhältnissen und eines lokalen Fahrbahnzustands
DE102014100416A1 (de) 2014-01-15 2015-07-16 Hella Kgaa Hueck & Co. Vorrichtung und Verfahren zur dynamischen Messung der Reflexionseigenschaften von Fahrbahnoberflächen
DE102015208429A1 (de) 2015-05-06 2016-11-10 Continental Teves Ag & Co. Ohg Verfahren und Vorrichtung zur Erkennung und Bewertung von Fahrbahnreflexionen
DE102016009022A1 (de) 2016-07-23 2017-02-02 Daimler Ag Verfahren zur Erkennung von Nässe auf einer Fahrbahn

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1089974A (ja) * 1996-09-17 1998-04-10 Toyota Motor Corp 光学式車両位置検出装置
JP2004246798A (ja) * 2003-02-17 2004-09-02 Nissan Motor Co Ltd 車線検出装置
WO2005075959A1 (ja) * 2004-02-10 2005-08-18 Nihon University 摩擦係数推定方法及び装置
JP2010036757A (ja) * 2008-08-06 2010-02-18 Fuji Heavy Ind Ltd 車線逸脱防止制御装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3000899A1 (en) 2002-12-04 2016-03-30 Applied Biosystems, LLC Multiplex amplification of polynucleotides
JP5384807B2 (ja) 2007-06-20 2014-01-08 株式会社岡村製作所 椅子における背板へのカバー部材取付構造
JP5216010B2 (ja) * 2009-01-20 2013-06-19 本田技研工業株式会社 ウインドシールド上の雨滴を同定するための方法及び装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1089974A (ja) * 1996-09-17 1998-04-10 Toyota Motor Corp 光学式車両位置検出装置
JP2004246798A (ja) * 2003-02-17 2004-09-02 Nissan Motor Co Ltd 車線検出装置
WO2005075959A1 (ja) * 2004-02-10 2005-08-18 Nihon University 摩擦係数推定方法及び装置
JP2010036757A (ja) * 2008-08-06 2010-02-18 Fuji Heavy Ind Ltd 車線逸脱防止制御装置

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014124895A1 (de) * 2013-02-12 2014-08-21 Continental Teves Ag & Co. Ohg Verfahren und strahlensensormodul zur vorausschauenden strassenzustandsbestimmung in einem fahrzeug
CN104995070A (zh) * 2013-02-12 2015-10-21 大陆-特韦斯贸易合伙股份公司及两合公司 在车辆中前瞻性地确定道路状态的方法和光束传感器模块
WO2014189059A1 (ja) * 2013-05-20 2014-11-27 株式会社デンソー 路面状態推定装置
JP2014228300A (ja) * 2013-05-20 2014-12-08 国立大学法人 東京大学 路面状態推定装置
JP2020106443A (ja) * 2018-12-28 2020-07-09 スタンレー電気株式会社 路面状態検知システム及び路面状態検知方法
JP7273505B2 (ja) 2018-12-28 2023-05-15 スタンレー電気株式会社 路面状態検知システム及び路面状態検知方法
US20220180643A1 (en) * 2019-03-22 2022-06-09 Vergence Automation, Inc. Vectorization for object detection, recognition, and assessment for vehicle vision systems
CN112597666A (zh) * 2021-01-08 2021-04-02 北京深睿博联科技有限责任公司 一种基于表面材质建模的路面状态分析方法及装置
CN112597666B (zh) * 2021-01-08 2022-05-24 北京深睿博联科技有限责任公司 一种基于表面材质建模的路面状态分析方法及装置
CN115346129A (zh) * 2022-07-05 2022-11-15 中国空间技术研究院 一种brdf模型参数的确定方法及系统

Also Published As

Publication number Publication date
DE112010005669B4 (de) 2017-10-26
DE112010005669T5 (de) 2013-05-16

Similar Documents

Publication Publication Date Title
WO2011158306A1 (ja) 路面反射率分類のためのシステム
US10949684B2 (en) Vehicle image verification
Hautiere et al. Automatic fog detection and estimation of visibility distance through use of an onboard camera
CN105049784B (zh) 用于基于图像的视距估计的方法和设备
Tarel et al. Vision enhancement in homogeneous and heterogeneous fog
Tatoglu et al. Point cloud segmentation with LIDAR reflection intensity behavior
Negru et al. Image based fog detection and visibility estimation for driving assistance systems
Hautière et al. Real-time disparity contrast combination for onboard estimation of the visibility distance
Ogawa et al. Pedestrian detection and tracking using in-vehicle lidar for automotive application
CN102314600B (zh) 用于畅通路径检测的去除由基于车辆的相机捕获的图像中的阴影
US10735716B2 (en) Vehicle sensor calibration
KR101364727B1 (ko) 촬영된 영상의 처리를 이용한 안개 감지 방법 및 장치
JP2014215877A (ja) 物体検出装置
CA3106398A1 (en) Method and device for recognising and analysing surface defects in three-dimensional objects having a reflective surface, in particular motor vehicle bodies
JP7448484B2 (ja) カメラ内部パラメータのオンライン評価
WO2019163315A1 (ja) 情報処理装置、撮像装置、及び撮像システム
Hautiere et al. Contrast restoration of foggy images through use of an onboard camera
Duthon et al. Methodology used to evaluate computer vision algorithms in adverse weather conditions
US9727792B2 (en) Method and device for tracking-based visibility range estimation
Morden et al. Driving in the rain: a survey toward visibility estimation through windshields
JP7648669B2 (ja) システム
WO2018165027A1 (en) Polarization-based detection and mapping method and system
CN119693908B (zh) 一种自动驾驶汽车避障控制方法、系统、汽车及存储介质
JP7288460B2 (ja) 車載用物体識別システム、自動車、車両用灯具、分類器の学習方法、演算処理装置
Negru et al. Fog assistance on smart mobile devices

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10853188

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 112010005669

Country of ref document: DE

Ref document number: 1120100056692

Country of ref document: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 10853188

Country of ref document: EP

Kind code of ref document: A1