JP2002162343A - Road surface condition determination method in visible image type road surface condition grasping device - Google Patents
Road surface condition determination method in visible image type road surface condition grasping deviceInfo
- Publication number
- JP2002162343A JP2002162343A JP2000357054A JP2000357054A JP2002162343A JP 2002162343 A JP2002162343 A JP 2002162343A JP 2000357054 A JP2000357054 A JP 2000357054A JP 2000357054 A JP2000357054 A JP 2000357054A JP 2002162343 A JP2002162343 A JP 2002162343A
- Authority
- JP
- Japan
- Prior art keywords
- road surface
- image
- inspection
- feature amount
- reference image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 title claims abstract description 34
- 238000007689 inspection Methods 0.000 claims abstract description 46
- 230000007613 environmental effect Effects 0.000 claims abstract description 17
- 238000012545 processing Methods 0.000 claims description 42
- 238000004441 surface measurement Methods 0.000 claims description 4
- 238000000491 multivariate analysis Methods 0.000 claims description 3
- 239000003086 colorant Substances 0.000 claims description 2
- 238000012544 monitoring process Methods 0.000 abstract description 6
- 238000010586 diagram Methods 0.000 description 8
- 230000008014 freezing Effects 0.000 description 6
- 238000007710 freezing Methods 0.000 description 6
- 238000004364 calculation method Methods 0.000 description 5
- 238000001514 detection method Methods 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 235000019557 luminance Nutrition 0.000 description 4
- 230000000694 effects Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005855 radiation Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- NAWXUBYGYWOOIX-SFHVURJKSA-N (2s)-2-[[4-[2-(2,4-diaminoquinazolin-6-yl)ethyl]benzoyl]amino]-4-methylidenepentanedioic acid Chemical compound C1=CC2=NC(N)=NC(N)=C2C=C1CCC1=CC=C(C(=O)N[C@@H](CC(=C)C(O)=O)C(O)=O)C=C1 NAWXUBYGYWOOIX-SFHVURJKSA-N 0.000 description 1
- 240000004050 Pentaglottis sempervirens Species 0.000 description 1
- 235000004522 Pentaglottis sempervirens Nutrition 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000005056 compaction Methods 0.000 description 1
- 239000006185 dispersion Substances 0.000 description 1
- 238000000605 extraction Methods 0.000 description 1
- 230000003760 hair shine Effects 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 230000010287 polarization Effects 0.000 description 1
- 238000012552 review Methods 0.000 description 1
Landscapes
- Investigating Or Analysing Materials By Optical Means (AREA)
- Traffic Control Systems (AREA)
Abstract
(57)【要約】
【課題】 判定範囲が狭い領域に限定されることなく、
路面状態によって種類分けが必要となることがなくて、
路面のような広い領域にわたって路面状態を監視したい
という要求に応えることができ、しかもコストが高くな
ることのない路面状況判定方法を提供する。
【解決手段】 路面を俯瞰するように取付けられた可視
カメラからの路面映像信号をもとに、ある路面範囲にお
ける路面の湿潤、乾燥等の状態を検知する路面状況把握
装置において、検知したい画像を例えば湿潤に対して外
乱因子となる天候条件、すなわち晴天、曇り、夜間等の
の環境条件にそれぞれ対応して予め撮像し、それらを基
準画像として蓄えておき、新たに撮像した検査画像と差
分比較することにより、検佐画像がどの基準画像に最も
近いかを演算することによって、検査画像における路面
状態を判別する。
(57) [Summary] [Problem] A determination range is not limited to a narrow area.
There is no need to sort by road condition,
Provided is a method for determining a road surface condition that can meet a demand for monitoring a road surface condition over a wide area such as a road surface and does not increase the cost. SOLUTION: Based on a road surface image signal from a visible camera mounted so as to look down on the road surface, an image to be detected is detected by a road surface condition grasping device which detects a state of the road surface such as wetness and dryness in a certain road surface range. For example, images are taken in advance corresponding to weather conditions that become a disturbance factor for wetness, that is, environmental conditions such as fine weather, cloudy, night, etc., and these are stored as reference images, and the difference is compared with a newly captured inspection image. Then, the road surface state in the inspection image is determined by calculating which reference image is closest to the inspection image.
Description
【0001】[0001]
【発明が属する技術分野】本発明は、道路交通におい
て、車への路面情報提供による運転の安全性向上、又は
道路管理において、積雪、凍結等の情報提供による除雪
等の道路管理作業の効率化等に寄与する技術として、汎
用的な可視カメラで得られる可視画像を利用して、その
ために必要な路面状態情報を自動的かつ非接触で検出
し、関連の施設にその情報を提供することを可能にする
技術に関するものである。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to the improvement of driving safety by providing road surface information to vehicles in road traffic or the efficiency of road management work such as snow removal by providing information such as snow and freezing in road management. As a technology that contributes to the use of such devices, it is necessary to automatically and non-contactly detect road surface condition information necessary for that purpose using visible images obtained with a general-purpose visible camera, and provide that information to related facilities. It's about enabling technology.
【0002】[0002]
【従来の技術】従来路面の湿潤、乾燥、凍結等の路面状
況を判定する方法として、種々の装置が開発されてい
る。例えば非接触で検出することのできる方法では、レ
−ザ光の反射特性の変化を利用する方法や、マイクロ波
や赤外線を用いる方法などがあるが、いずれも測定範囲
が比較的狭い領域に限定されたり、路面状態によって種
類分けが必要となったりして、路面のよな面的に広い領
域にわたって路面状態を監視したいというニーズにはか
ならずしも応えられていないのが現状である。2. Description of the Related Art Conventionally, various devices have been developed as a method for judging a road surface condition such as wet, dry or frozen road surface. For example, non-contact detection methods include a method using a change in the reflection characteristics of laser light and a method using microwaves or infrared rays, all of which are limited to an area where the measurement range is relatively narrow. At present, it is not always possible to meet the need to monitor the road surface condition over a wide area such as the road surface because the road surface condition needs to be classified according to the road surface condition.
【0003】これに対して可視カメラ用いる方法は、監
視領域という点で100〜150mの比較的広範囲が検
査可能である上に、コスト的にも比較的安価となる。ま
た可視カメラそのものは、路面検知とは別の目的、例え
ば交通量や事故の監視等の目的で、既に多数取付けられ
ている状況にあり、また道路の高度情報化の流れの中
で、今後も路線毎に比較的密に取付けけられることが予
想される。そのため可視カメラの他の目的の1つとし
て、この路面状況把握機能が付加することができれば、
コスト面で非常に有益なシステムとなり得るものであ
る。On the other hand, a method using a visible camera can inspect a relatively wide range of 100 to 150 m in terms of a monitoring area and is relatively inexpensive in terms of cost. In addition, many visible cameras are already installed for purposes other than road surface detection, such as monitoring traffic volume and accidents, etc. It is expected that the installation will be relatively dense on each line. Therefore, if this road surface condition grasping function can be added as one of the other purposes of the visible camera,
This can be a very cost-effective system.
【0004】[0004]
【発明が解決しようとする課題】しかしながら可視カメ
ラの画像により、種々の環境条件の中で、路面の状態を
正確に検出してゆくには、いくつかの困難な問題があ
る。一般に用いられる方法は、取得した路面画像の色、
輝度、それらの分布である模様等の基本要素に加え、さ
らにそれらを加工した情報を基にそれぞれに対応した閾
知を設定し、判別を行うものであるが、外乱、すなわち
天候等の環境条件の変化、例えば明るさや太陽の照射角
度等に対して最適な閾知が変動し、誤検知をしばしば生
じさせることとなる。そのためこれらの環境条件変動に
対して、強い判定手法を構築することが可視カメラ方式
実用化のためのキーとなっている。However, there are several difficult problems in accurately detecting the state of the road surface under various environmental conditions using the image of the visible camera. Commonly used methods include the color of the acquired road surface image,
In addition to the basic elements such as brightness and their distribution, patterns, etc., thresholds corresponding to each are set based on the information obtained by processing them, and judgment is made.However, disturbance, that is, environmental conditions such as weather , For example, the brightness or the sun irradiation angle fluctuates, which often causes erroneous detection. Therefore, building a strong determination method against these environmental condition fluctuations is a key for practical use of the visible camera system.
【0005】しかしながらこのような路面状況判定方法
では、いずれも測定範囲が比較的狭い領域に限定された
り、路面状態によって種類分けが必要となったりして、
路面のような画的に広い領域にわたって路面状態を監視
したいという要求に必ずしも応えることが出来ないとい
う問題があり、また比較的広範囲の領域が検査すること
のできる赤外線カメラを利用した方法では、コストが高
くなるという問題がある。[0005] However, in such a road surface condition judging method, the measurement range is limited to a relatively narrow region, or the type needs to be classified according to the road surface condition.
There is a problem that it is not always possible to meet the demand for monitoring the road surface condition over a large area such as the road surface, and a method using an infrared camera that can inspect a relatively wide area can be costly. Is high.
【0006】そこで本発明の目的は、前のような従来の
路面状況判定方法のもつ問題を解消し、判定範囲が狭い
領域に限定されることなく、路面状態によって種類分け
が必要となることがなくて、路面のような画的に広い領
域にわたって路面状態を監視したいという要求に応える
ことができ、しかもコストが高くなることのない路面状
況判定方法を提供するにある。Accordingly, an object of the present invention is to solve the problem of the conventional road surface condition judging method as described above, and it is necessary to classify according to the road surface condition without being limited to an area having a narrow judgment range. Instead, it is an object of the present invention to provide a method for determining a road surface condition that can meet a demand for monitoring a road surface condition over a large area such as a road surface and does not increase the cost.
【0007】[0007]
【発明の実施の形態】本発明は、前記のような目的を達
成するために、請求項1に記載の発明は、可視画像式路
面判別方法において、路面を俯瞰するように取付けられ
た可視カメラからの路面映像信号をもとに、ある路面範
囲における路面の湿潤、乾燥等の状態を検知する路面状
態把握装置において、検知したい路面状況に対応した画
像を、例えば湿潤に対して、外乱因子となる天候条件、
すなわち晴天、曇り、夜間等の環境条件にそれぞれ対応
して予め撮像し、それを基に、その時の路面の状態を反
映した色、輝度、模様等の特徴量を抽出して、基準画特
徴量として蓄えておき、新たに撮像した検査画像に対し
て同様な処理によって得られる検査画特徴量とを多変量
解析によって比較分析することにより、検査画像がどの
基準画特徴量に最も近いかを判定して、検査画像におけ
る路面状態がどの基準画像に最も近いかを判別すること
を特徴とするものである。請求項2に記載の発明は、可
視画像式路面判別方法において、検査画特徴量との比較
に基づいて検査を行った結果、目視や他の方法で確認さ
れた真の路面状態に対して、検査結果がそれと異なる結
果を出力した場合、その検査画特徴量を環境状況等の分
類に応じて新たに基準画特徴量として登録し、装置設置
後、順次基準画特徴量の内容を更新することができるこ
とを特徴と摺るものである。路面を俯瞰するように取付
けられた可視カメラからの路面映像信号をもとに、ある
路面範囲における路面の湿潤、乾燥等の状態を検知する
路面状況把握装置において、検知したい画像を例えば湿
潤に対して外乱因子となる天候条件、すなわち晴天、曇
り、夜間等の環境条件にそれぞれ対応して予め撮像し、
それらを基準画像として蓄えておき、新たに撮像した検
査画像と差分比較することにより検査画像がどの基準画
像に最も近いかを演算することにより、検査画像におけ
る路面状態を判別することを特徴とするものである。DESCRIPTION OF THE PREFERRED EMBODIMENTS In order to achieve the above object, according to the present invention, there is provided a visible image type road surface discriminating method, wherein a visible camera mounted so as to overlook the road surface. Based on the road surface image signal from the road surface condition grasping device that detects the state of the road surface in a certain road surface range, such as wet, dry, etc., the image corresponding to the road surface condition to be detected, for example, with respect to wet, disturbance factors and Weather conditions,
That is, images are taken in advance corresponding to environmental conditions such as fine weather, cloudy, and nighttime, and based on the images, feature amounts such as colors, luminances, and patterns that reflect the road surface state at that time are extracted, and reference image feature amounts are extracted. By comparing and analyzing by multivariate analysis the inspection image features obtained by similar processing on the newly captured inspection image, it is possible to determine which reference image features are closest to the inspection image. Then, it is characterized by determining to which reference image the road surface condition in the inspection image is closest. According to a second aspect of the present invention, in the visible image type road surface determination method, as a result of performing an inspection based on a comparison with the inspection image feature amount, a true road surface state visually or other methods is confirmed. If the inspection results output different results, register the inspection image feature as a new reference image feature according to the classification of environmental conditions, etc., and update the contents of the reference image feature sequentially after installing the device The feature is that it can be performed. Based on a road surface image signal from a visible camera mounted so as to overlook the road surface, in a road surface condition grasping device that detects a state of road surface wetness, dryness, etc. in a certain road surface range, an image to be detected is, for example, wet. Weather conditions that become disturbance factors, that is, fine weather, cloudy, image in advance corresponding to environmental conditions such as night, respectively,
These are stored as reference images, and the road surface state in the inspection image is determined by calculating which reference image is closest to the inspection image by comparing the difference with the newly captured inspection image. Things.
【0008】請求項2に記載の発明は、可視画像式路面
状況判別方法において、基準画像との比較に基づいて検
査を行った結果、目視や他の方法で確認された真の路面
状態にもかかわらず、検査結果がそれと異なる結果を出
力した場合、その検査画像を環境条件等の分類に応じて
新たに基準画像として登録し、装置設置後、順次基準画
像の内容を更新することができることを特徴とするもの
である。According to a second aspect of the present invention, in the visible image type road surface condition determination method, as a result of performing an inspection based on a comparison with a reference image, a true road surface condition confirmed visually or by another method is obtained. Regardless, when the inspection result outputs a different result, the inspection image is newly registered as a reference image according to the classification of environmental conditions and the like, and after the apparatus is installed, the contents of the reference image can be sequentially updated. It is a feature.
【0009】[0009]
【発明の実施の形態】本発明の実施の形態図面を参照し
ながら説明する。図1は本発明に係る路面状況把握装置
の機器構成を示すブロック図である。路面画像を撮影す
るための通常のTVカメラ10が路面を俯瞰するように、
路側に取付けられ、その映像出力信号をデジタル化する
ためのA/D変換機18、その画像を一旦検査画像とし
て保存する、検査画像メモリ部17、検査画像から画像
データ処理により路面状況に則した画像特徴量を抽出す
るための画像処理装置11と、そのようにして抽出され
た、基準画特徴量を保管しておくための基準メモリ部1
2、及び基準画特徴量を基に路面状況を判定するための
演算処理装置13、判定結果を外部に出力するための表
示部14及びインタヘフェース部15、ならびに全体の
機器を制御するための制御装置16からなっている。そ
してTVカメラ10は検出範囲である数10mから100
数10mの路面が市やに入るように、路側上方にポール
又はガントリ上に設置される。Embodiments of the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing a device configuration of a road surface condition grasping device according to the present invention. As a normal TV camera 10 for taking a road surface image looks down on the road surface,
An A / D converter 18 attached to the roadside for digitizing the video output signal, an image once stored as an inspection image, an inspection image memory unit 17, and image data processing from the inspection image in accordance with the road surface condition. An image processing device 11 for extracting image feature values, and a reference memory unit 1 for storing the reference image feature values thus extracted.
2, an arithmetic processing unit 13 for determining the road surface condition based on the reference image feature amount, a display unit 14 and an interface unit 15 for outputting the determination result to the outside, and for controlling the entire equipment It comprises a control device 16. Then, the TV camera 10 moves from the detection range of several tens of meters to 100
It is installed on a pole or a gantry above the road side so that a road surface of several tens of meters enters the city.
【0010】路面画像は、画像処理装置等の装置本体
が、設置されている建屋まで、場合によっては、数10
km信号線で送られる。TVカメラ10は色の情報も取る
必要があるため、通常はカラーカメラを使用摺る。画像
の取得サイクルは、1秒間に30画面である。画像処理
装置に入力された映像信号は、A/D変換後、制御装置
のコントロールによって、後述する手法によって画像処
理され、その結果は演算処理装置に入力される。演算処
理装置は、基準メモリ部12に保管されている基準画特
徴量を参照しながら、これも後述する手順により多変量
解析処理され、表示部14や他の装置へインターフェー
ス部15を介して出力される。[0010] The road surface image may be expressed by a formula (10) up to the building where the main body of the image processing apparatus or the like is installed.
Sent by km signal line. Since the TV camera 10 also needs to acquire color information, a color camera is usually used. The image acquisition cycle is 30 screens per second. After the A / D conversion, the video signal input to the image processing device is subjected to image processing by the control of the control device by a method described later, and the result is input to the arithmetic processing device. The arithmetic processing unit refers to the reference image feature amount stored in the reference memory unit 12 and also performs multivariate analysis processing according to a procedure described later, and outputs the result to the display unit 14 and other devices via the interface unit 15. Is done.
【0011】路面画像は、画像処理装置等の装置本体が
設置されている建屋まで場合によっては、数10k信号
で送られる。々費用ジブ滋養強日射環境条件に対応した
基準画像のイメ−ジと比較し、差分処理するための概念
を示す説明図、図3は基準画像の更新状態の説明図、図
4は基準画像を用いた路面状況判別処理の内容を示す説
明図である。本発明に係る路面状況把握装置は、図1に
示すように、路面Fの状態を俯瞰するように撮像するた
めのTVカメラ10が路面を監視カメラとしてのTVカメ
ラ10と、このTVカメラ10からの検査画像を基準画像に
処理するための画像処理装置11と、基準画像を保管する
ための基準画像メモリ部12と、この基準画像メモリ12に
蓄積された基準画像と検査画像との差分比較による画像
処理結果を基にして路面状況を判定するための演算処理
装置13と、この演算処理装置13によって判定された結果
を表示するための表示部14と、その判定結果を外部に出
力するためのインターフェイス部15と、機器全体を制御
するための制御装置16と、基準画像作成時に必要な検査
画像データを保管するための検査画像メモリ部17とTV
カメラ10からの映像信号をデジタル化して出力するため
のA/D変換器18とで構成されている。The road surface image is transmitted by a signal of several tens of k depending on the case up to the building where the apparatus main body such as the image processing apparatus is installed. Explanatory diagram showing the concept of comparing and comparing with the image of the reference image corresponding to the cost jib nourishment insolation environmental conditions, FIG. 3 is an explanatory diagram of the updated state of the reference image, and FIG. It is explanatory drawing which shows the content of the used road surface condition determination processing. As shown in FIG. 1, a road surface condition grasping device according to the present invention includes a TV camera 10 for capturing an image of a road surface F in a bird's-eye view, and a TV camera 10 as a monitoring camera for the road surface. An image processing device 11 for processing the inspection image into a reference image, a reference image memory unit 12 for storing the reference image, and a difference comparison between the reference image and the inspection image stored in the reference image memory 12. A processing unit 13 for determining a road surface condition based on the image processing result, a display unit 14 for displaying a result determined by the processing unit 13, and an output unit for outputting the determination result to the outside An interface unit 15, a control unit 16 for controlling the entire apparatus, an inspection image memory unit 17 for storing inspection image data necessary for creating a reference image, and a TV
An A / D converter 18 for digitizing and outputting a video signal from the camera 10 is provided.
【0012】このようなTVカメラ10は、色の情報も取
る必要があるため、通常は、カラーカメラを使用すると
ともに、検出範囲である数10mから100数mの路面Fが
視野にはいるよう路面状態を俯瞰するように路側上方に
ポールあるいはガントリ上に設置される。また、TVカ
メラ10によって撮像された路面画像は画像処理装置11等
の装置本体が設置されている建屋まで、場合によっては
数10Km信号線で送られる。この場合、画像の取得サイク
ルは、通常、1秒間に30画面である。Since such a TV camera 10 needs to acquire color information, a color camera is usually used and a road surface F having a detection range of several tens meters to several hundreds meters is in view. It is installed on a pole or gantry above the road side so that the road surface condition can be looked down. The road surface image captured by the TV camera 10 is transmitted to a building in which the apparatus main body such as the image processing apparatus 11 is installed by a signal line of several tens of kilometers in some cases. In this case, the image acquisition cycle is typically 30 screens per second.
【0013】そして、画像処理装置11は、TVカメラ10
に入力された路面画像の映像信号をA/D変換機18によ
ってA/D変換後、制御装置16をコントロ-ルすること
により、後述する手法によて画像処理してなるととも
に、その画像処理結果は、演算処理装置13に入力され
る。The image processing device 11 is a TV camera 10
After the A / D converter 18 converts the video signal of the road surface image input to the A / D converter into an A / D signal, the control device 16 is controlled to perform image processing according to a method described later. The result is input to the arithmetic processing unit 13.
【0014】一方、演算処理装置13は、基準画像メモリ
部12に保管されている基準画像を参照しながら、後述す
る手法によって演算処理され、その演算処理結果に基づ
いて路面状態を判定してなるとともに、その判定結果を
表示部14や他の装置などの外部にインタ-フェイス部15
を介して出力する。On the other hand, the arithmetic processing unit 13 performs arithmetic processing by a method described later with reference to a reference image stored in the reference image memory unit 12, and determines a road surface state based on the arithmetic processing result. At the same time, the result of the judgment is displayed on the display unit 14 or another device such as an interface unit 15 outside.
Output via.
【0015】次に、前記の構成を有する実施形態によっ
て実行される画像処理内容について説明する。この実施
形態において、基本画像を取得する場合、基本画像は、
基本的には対象とする路面における乾燥、湿潤、水膜、
積雪、凍結などの路面状態に応じて取得し、保存され
る,しかしながら、本装置は、屋外画像を対象としてい
るため、太陽の位置や雲の状態、周囲の建物などによっ
て、路面Fへの照射環境条件が大きく変動し、それに従
つて、画像の状態も変動する。特に、同じ路面状態で
も、晴天時のような日が射した状態と、曇天時とでは、
その画面状態が大きく異なり、単純な画像処理では判定
が難しくなる。Next, the contents of image processing executed by the embodiment having the above configuration will be described. In this embodiment, when acquiring a basic image, the basic image is:
Basically, dry, wet, water film,
It is acquired and stored according to the road surface conditions such as snowfall and freezing. However, since this device is intended for outdoor images, irradiation on the road surface F depends on the position of the sun, the state of clouds, surrounding buildings, etc. Environmental conditions fluctuate greatly, and the state of the image fluctuates accordingly. In particular, even when the road surface is the same, when the sun shines on sunny days and when it is cloudy,
The screen state is greatly different, and it is difficult to make a determination by simple image processing.
【0016】図2は、TVカメラ10からの検査画像と日
射環境条件に対応した基準画像のイメージと差分比較し
処理するための概念を示す。すなわち、本実施例におい
ては、基本画像を取得する場合、晴天時における路面F
の乾燥、湿潤、水膜、積雪、凍結などの路面状態と、曇
天時における路面Fの乾燥、湿潤、水膜、積雪、凍結な
どの路面状態と、夜間照明下における乾燥、湿潤、水
膜、積雪、凍結などの路面状態、更に必要ならば、晴天
時及び曇天時に路面状態のように2乃至3の環境状態に
分けて、それぞれに対応した路面状態を取得することに
よって、基準画像とする。FIG. 2 shows a concept for comparing and processing the difference between the inspection image from the TV camera 10 and the image of the reference image corresponding to the solar radiation environment condition. That is, in the present embodiment, when the basic image is acquired, the road surface F in fine weather is acquired.
Road surface conditions such as dry, wet, water film, snow cover, freezing, etc .; road surface conditions such as dry, wet, water film, snow cover, freezing, etc. of the road surface F when cloudy; and dry, wet, water film under nighttime illumination. Road surface conditions such as snow and freezing, and if necessary, two or three environmental conditions such as road conditions in fine weather and cloudy weather, and the corresponding road surface conditions are acquired to obtain a reference image.
【0017】この場合、晴天時では、太陽の位置によっ
ても画像が変化するため、大まかな時間帯域による基準
画像の取得も路面Fによっては必要になることは云うま
でもない、このとき、路面Fに生じる影の問題が懸念さ
れるが、この影については、全ての影の状態に対して基
準画像を取得するのは現実的ではない、このため、例え
ば、別途の路面画像からの影の部分をエッジ処理等によ
って検出し、それに合わせて、影部では、曇天時の基準
画像を用いて処理することになるが、本発明とは直接関
係しないため、その説明は省略する。In this case, when the weather is fine, the image changes depending on the position of the sun. Therefore, it is needless to say that it is necessary to obtain a reference image in a rough time band depending on the road surface F. However, it is not realistic to obtain a reference image for all shadow states. For this reason, for example, a shadow portion from a separate road surface image Is detected by edge processing or the like, and in accordance with that, the shadow portion is processed using the reference image at the time of cloudy weather, but the description is omitted because it is not directly related to the present invention.
【0018】ところで、前記したような基準画像を取得
するに当っては、全てのケースについて、短時間に基準
画像を取得することは非常に困難であり、ある程度の時
間を掛けて整備していく必要がある。極端な例として、
装置設置時において、予め、晴天時の乾燥状態のみが基
準画像として取得できているものとする。そして、新た
な検査画像に対して、後述する画像処理及び判定方法に
より、路面状態を判定してなるものであるが、晴天時の
乾燥状態のみの基準画像が1つしかないため、真の路面
状態にも拘らず、いずれの検査画像も「乾燥」と判定さ
れてしまう。これにより、真の路面状態が乾燥以外で
は、当然、検査画像は誤判定となる。By the way, in obtaining the above-mentioned reference image, it is very difficult to obtain the reference image in a short time in all cases, and it takes some time to maintain the image. There is a need. As an extreme example,
At the time of installation of the apparatus, it is assumed that only a dry state in fine weather has been previously acquired as a reference image. Then, the road surface condition is determined by a later-described image processing and determination method for the new inspection image. However, since there is only one reference image only in the dry state in fine weather, the true road surface is determined. Regardless of the state, any inspection image is determined to be "dry". Accordingly, when the true road surface condition is other than the dry condition, the inspection image naturally becomes an erroneous determination.
【0019】図3は、基準画像の更新状態のフローチャ
ートを示す。すなわち、本発明においては、基準画像の
取得時点、あるいは、その後日に検査画像メモリ部17の
記録と、判定結果を目視で付き合わせることにより、誤
判定した検査画像を新たに基準画像として基準画像メモ
リ部12に保管する。この場合、基本的にも、人手を介し
て行うことになるが、検査画像には、判定結果が記録さ
れ、表示部14に表示されているため、全ての画像につい
て操作を実施する必要がなく、代表的なケースについ
て、画像データを概観すればよく、これにより、操作は
比較的簡単である。FIG. 3 shows a flowchart of the update state of the reference image. That is, in the present invention, the inspection image that has been erroneously determined is newly set as the reference image by comparing the record of the inspection image memory unit 17 with the record of the inspection image memory 17 or the determination result by visual observation. Stored in the memory unit 12. In this case, basically, it is performed manually, but since the determination result is recorded in the inspection image and displayed on the display unit 14, it is not necessary to perform the operation on all the images. For typical cases, it is sufficient to review the image data, so that the operation is relatively simple.
【0020】このようにして、基準画像を更新すること
により、順次、基準画像を充実させて行き、これによ
り、少なくとも、1シーズン後には、路面状況把握装置
として十分な判定の信頼性を確保することが可能にな
る。By updating the reference image in this way, the reference image is successively enriched, thereby ensuring sufficient reliability of the judgment as a road surface condition grasping device at least after one season. It becomes possible.
【0021】図4は、基準画像を用いた路面状態の判定
処理の内容を示す。すなわち、本発明においては、ま
ず、検査画像の中から処理すべき路面Fの画像が抽出さ
れる。これは、予め路面画像に基づいて設定された処理
に従うものである。そして、画像処理装置11により、
検査画像と基準画像との差分画像が演算され、取得され
る。この差分画像を基に、以下に列挙する特徴量を抽出
する。 (1)色差及びその分散 カラー画像の色Hは、TVカメラ10による赤(R)、緑
(G)、及び青(B)のRGB信号を基に、例えば、下
記の式で算出できる。 色[0,π] :H=π/3(b−g) (R=Imax) r=(Imax−R)/ (Imax−Imin) H=π/3(2+b−g) (G=Imax) g=(Imax−G)/(Imax−Imin) H=π/3(4+g−r) (B=Imax) b=(Imax−B)/(Imax−Imin) (2)輝度及びその分散 カラー画像の輝度Iは、TVカメラ10のRGB信号を基
に、例えば、下記の式で算出できる。 (3)テクスチャ テクスチャとは、積雪時、車の轍で生じる縱稿の模様
や、湿潤、水膜発生時において、カメラ視野の手前と後
方との間で生じる偏光特性が原因となる反射強度の勾
配、及び新雪における粒状的な輝度分布など、路面Fに
生じる模様を微分処理などで数値的な特徴量に変換した
量を示す。FIG. 4 shows the content of the road surface state determination process using the reference image. That is, in the present invention, first, an image of the road surface F to be processed is extracted from the inspection image. This is in accordance with the processing set in advance based on the road surface image. Then, by the image processing device 11,
A difference image between the inspection image and the reference image is calculated and obtained. Based on the difference image, the following feature amounts are extracted. (1) Color difference and its dispersion The color H of the color image is red (R), green
Based on the RGB signals of (G) and blue (B), for example, it can be calculated by the following equation. Color [0, π]: H = π / 3 (b−g) (R = I max ) r = (I max −R) / (I max −I min ) H = π / 3 (2 + b−g) ( G = I max ) g = (I max −G) / (I max −I min ) H = π / 3 (4 + gr) (B = I max ) b = (I max −B) / (I max − I min ) (2) Luminance and its variance The luminance I of the color image can be calculated based on the RGB signals of the TV camera 10 by the following formula, for example. (3) Texture Texture refers to a vertical pattern generated by the tracks of a car during snowfall or a reflection intensity caused by polarization characteristics generated between the front and rear of the camera's visual field when wet or a water film is generated. It indicates the amount obtained by converting a pattern generated on the road surface F, such as a gradient and a granular luminance distribution in fresh snow, into a numerical feature amount by differential processing or the like.
【0022】なお、上記した路面Fに生じる模様の画像
特徴量の算出については、本発明に直接係るものではな
いため、その説明は省略するが、基本的には、一般は利
用されている画像解析ツールで求められる特徴量が利用
可能である。このような特徴量抽出処理を上記した差分
画像に行うことにより、その特徴量を求める。The calculation of the image feature amount of the pattern generated on the road surface F is not directly related to the present invention, and therefore the description thereof is omitted. The feature quantity required by the analysis tool can be used. The feature amount is obtained by performing such a feature amount extraction process on the above-described difference image.
【0023】このようにして差分画像の特徴量を多次元
空間の座標として考え、それぞれの座標値から、その基
準画像に対する座標点が決まる。このような操作を複数
の基準画像に対して実施することにより、多次元空間内
に同数の座標点が求められ、この座標点の内から、原点
と各座標点までの長さが最も短い基準画像に近似して対
応する基準画像が、求める路面状態を表す。In this way, the feature amount of the difference image is considered as coordinates in a multidimensional space, and a coordinate point for the reference image is determined from each coordinate value. By performing such an operation on a plurality of reference images, the same number of coordinate points are obtained in the multidimensional space, and the reference point having the shortest length from the coordinate points to the origin and each coordinate point is obtained. The reference image corresponding to the image represents the desired road surface condition.
【0024】ところで、このような検査画像から路面状
態を判定する手法において、基準画像間で差分を採る方
法としては、各画像から特徴量を抽出し、特徴量同士で
比較することも考えられるが、その場合には、画像間の
路面Fに対する位置情報が消されてしまうことになる。
すなわち、路面状態によるTVカメラ10による見え方
は、路面Fの位置によって少しずつ異なるため、出来る
限り、その位置に比較する方法が、より環境条件に適応
した比較が可能となる。したがって、本発明では、路面
位置に合わせて基準路面と比較し、位置情報も保持した
画像間の差を定量化することにより、評価精度の向上を
図っている。By the way, in such a method of determining the road surface condition from the inspection image, as a method of obtaining a difference between the reference images, it is conceivable to extract a feature amount from each image and compare the feature amounts. In that case, the position information on the road surface F between the images will be erased.
That is, the appearance of the TV camera 10 depending on the road surface condition is slightly different depending on the position of the road surface F. Therefore, the method of comparing the position with the position as much as possible makes the comparison more suitable for the environmental conditions. Therefore, in the present invention, the evaluation accuracy is improved by comparing with a reference road surface in accordance with the road surface position and quantifying the difference between the images also holding the position information.
【0025】また、演算処理装置13による画像演算処
理を実行するにおいて、基準画像が非常に多くなった場
合、ある程度の演算時間が必要になるが、本発明では、
装置の出力間隔が1分乃至数分であり、最近のプロセッ
サの演算処理速度の向上からすれば、数10枚の画像デー
タの演算処理にも対応可能である。In executing the image calculation processing by the calculation processing unit 13, if the number of reference images becomes very large, a certain amount of calculation time is required.
The output interval of the apparatus is one minute to several minutes, and it is possible to cope with the arithmetic processing of several tens of image data in view of the recent improvement in the arithmetic processing speed of the processor.
【0026】ただし、演算処理装置13による画像評価を
より厳密にしたい場合、例えば、積雪、圧雪、シャーベ
ット状などの情報に分けて画像の評価を行いたい場合な
どにおいては、基準画像が非常に多くなり、処理時間も
装置の出力間隔を超える可能性がある。このような場合
の対応策としては、基準画像を環境条件に応じて、グル
ープ分けして保存する必要がある。すなわち、晴天のグ
ループ、曇天のグループ、夜間のグループなどに分け
て、それぞれの路面状態を保存する。それらのグループ
を保存する際や判定の際には、当然ながら、上記した情
報が必要になる。However, when it is desired to make the image evaluation by the processing unit 13 more strict, for example, when it is desired to evaluate the image separately for information such as snow cover, snow compaction, sherbet shape, etc., the number of reference images is very large. And the processing time may also exceed the output interval of the device. As a countermeasure in such a case, it is necessary to store the reference images in groups according to environmental conditions. That is, the road surface state is stored in a group of fine weather, a group of cloudy weather, a group at night, and the like. When storing those groups or when making a determination, the above information is, of course, required.
【0027】しかしながら、道路には、ある間隔で気象
関係の計器が設置されていることが多くそのような気象
関係の情報を、本装置を設置しようとする管理棟などに
配信することにより、容易に情報が得られる。特に、日
射計などの情報を基に天候条件をある程度限定すれば、
上記したような演算回数を軽減化することが可能にな
り、また、夜間などの情報は,その時の時間で区分が可
能になる。However, weather-related instruments are often installed on roads at certain intervals, and such weather-related information is easily distributed to a management building or the like where the present device is to be installed. Information is obtained. In particular, if you limit the weather conditions to some extent based on information such as pyranometer,
The number of calculations as described above can be reduced, and information such as nighttime can be classified according to the time at that time.
【0028】なお、上記した実施形態において、検査画
像から路面状態を判定する手法における判定要素(特徴
量)として、特に、凍結などの路面状態の判定に有効な
路面温度を利用することも佐えられ、このような情報を
特徴量空間に付加すれば、その判定結果の信頼性を一層
向上させることが可能になる。In the above-described embodiment, it is also possible to use a road surface temperature that is particularly effective in determining a road surface state such as freezing as a determination factor (feature amount) in a method of determining a road surface state from an inspection image. Therefore, if such information is added to the feature space, the reliability of the determination result can be further improved.
【0029】[0029]
【発明の効果】本発明は、前記のようであって、可視カ
メラからの路面映像のうち、例えば、路面の湿潤、乾燥
などの状態に対して、晴天、曇り、夜間などのような天
候条件などの外乱因子となる環境条件にそれぞれ対応し
て、検知したい路面状態を予め取得し、これらの路面状
態を基準画像として蓄積して置き、新たに撮像した検査
画像と差分比較することにより、検査画像が、如何なる
基準画像に対して最も近似するか否かを計算して、基準
画像における路面状態を判別しているので、環境変動の
影響が大幅に軽減することができるとともに、環境条件
の変動に対して強い判定性能を構築することができると
いう効果がある。According to the present invention, as described above, in a road surface image from a visible camera, for example, weather conditions such as fine weather, cloudy, nighttime, etc., for a wet or dry condition of the road surface. For each environmental condition that is a disturbing factor, such as a road surface condition to be detected is acquired in advance, these road surface conditions are stored as a reference image, and the difference is compared with a newly captured inspection image. Since the image is calculated to determine whether or not it is most similar to the reference image, and the road surface state in the reference image is determined, the influence of environmental fluctuations can be significantly reduced, and fluctuations in environmental conditions can be greatly reduced. There is an effect that it is possible to construct a strong determination performance against
【0030】また、基準画像を取得する際にも、その操
作が比較的簡便にかつ容易に行うことができ、しかも、
基準画像を更新することにより、順次、基準画像を充実
させることができるため、十分な判定の信頼性を確保す
ることができ、これによって、路面状況把握装置とし
て、本来、コストや汎用性、他の機能との併用による多
機能性などの面で優れている可視画像式の特徴を十分発
揮させることができるという効果がある。When a reference image is obtained, the operation can be performed relatively easily and easily.
By updating the reference images, the reference images can be sequentially enriched, so that sufficient judgment reliability can be ensured. As a result, as a road surface condition grasping device, cost, versatility, etc. There is an effect that the feature of the visible image type, which is excellent in terms of multifunctionality and the like, when used in combination with the above function, can be sufficiently exhibited.
【図1】本発明に係る可視画像式路面状況把握装置の構
成を示す図である。FIG. 1 is a diagram showing a configuration of a visible image type road surface condition grasping device according to the present invention.
【図2】本発明の特徴である日射環境条件に対応した基
準画像のイメージと差分処理の概念を示す図である。FIG. 2 is a diagram illustrating a concept of an image of a reference image corresponding to a solar radiation environment condition and a difference process, which are features of the present invention.
【図3】基準画像の更新方法を説明する図である。FIG. 3 is a diagram illustrating a method of updating a reference image.
【図4】基準画像を用いた路面状況判定処理の内容を示
す説明図である。FIG. 4 is an explanatory diagram showing the contents of a road surface condition determination process using a reference image.
【図5】基準画像特徴量による路面状況判定図である。FIG. 5 is a diagram illustrating a road surface condition determination based on a reference image feature amount;
10 監視カメラ 11 画像処理装置 12 基準画像メモリ部 13 演算処理装置 14 表示部 15 インターフェイス部 16 制御装置 17 検査画像メモリ部 18 A/D変換機 F 路面 10 Surveillance camera 11 Image processing unit 12 Reference image memory unit 13 Processing unit 14 Display unit 15 Interface unit 16 Control unit 17 Inspection image memory unit 18 A / D converter F Road surface
───────────────────────────────────────────────────── フロントページの続き Fターム(参考) 2G059 AA05 BB08 BB10 EE02 EE13 FF01 KK04 MM01 MM05 MM09 MM10 PP04 5H180 AA01 CC04 EE13 ──────────────────────────────────────────────────続 き Continued on the front page F term (reference) 2G059 AA05 BB08 BB10 EE02 EE13 FF01 KK04 MM01 MM05 MM09 MM10 PP04 5H180 AA01 CC04 EE13
Claims (2)
カメラからの路面映像信号をもとに、ある路面範囲にお
ける路面の湿潤、乾燥等の状態を検知する路面状態把握
装置において、検知したい路面状況に対応した画像を、
例えば湿潤に対して、外乱因子となる天候条件、すなわ
ち晴天、曇り、夜間等の環境条件にそれぞれ対応して予
め撮像し、それを基に、その時の路面の状態を反映した
色、輝度、模様等の特徴量を抽出して、基準画特徴量と
して蓄えておき、新たに撮像した検査画像に対して同様
な処理によって得られる検査画特徴量とを多変量解析に
よって比較分析することにより、検査画像がどの基準画
特徴量に最も近いかを判定して、検査画像における路面
状態がどの基準画像に最も近いかを判別することを特徴
とする可視画像式路面判別方法。1. A road surface condition grasping device for detecting a condition such as wetness or dryness of a road surface in a certain road surface range based on a road surface image signal from a visible camera mounted so as to look down on the road surface. Images corresponding to the situation,
For example, for wet conditions, weather conditions serving as disturbance factors, i.e., sunny, cloudy, nighttime, etc., are respectively imaged in advance, and based on the images, colors, brightness, and patterns reflecting the road surface conditions at that time are taken. By extracting feature amounts such as the reference image feature amount and storing it as a reference image feature amount, the inspection image feature amount obtained by performing the same processing on a newly captured inspection image is compared and analyzed by multivariate analysis to perform inspection. A visible image type road surface determination method, comprising determining which reference image feature amount the image is closest to, and determining which reference image the road surface state in the inspection image is closest to.
画特徴量との比較に基づいて検査を行った結果、目視や
他の方法で確認された真の路面状態に対して、検査結果
がそれと異なる結果を出力した場合、その検査画特徴量
を環境状況等の分類に応じて新たに基準画特徴量として
登録し、装置設置後、順次基準画特徴量の内容を更新す
ることができることを特徴とした可視画像式路面判別方
法。2. In a visible image type road surface determination method, as a result of performing an inspection based on a comparison with an inspection image feature amount, an inspection result is compared with a true road surface state confirmed visually or by another method. When a different result is output, the inspection image feature amount is newly registered as a reference image feature amount according to the classification of environmental conditions and the like, and after the apparatus is installed, the contents of the reference image feature amount can be sequentially updated. The visible image type road surface determination method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000357054A JP3500425B2 (en) | 2000-11-24 | 2000-11-24 | Road surface condition judgment method in visible image type road surface condition grasping device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000357054A JP3500425B2 (en) | 2000-11-24 | 2000-11-24 | Road surface condition judgment method in visible image type road surface condition grasping device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002162343A true JP2002162343A (en) | 2002-06-07 |
| JP3500425B2 JP3500425B2 (en) | 2004-02-23 |
Family
ID=18829186
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000357054A Expired - Lifetime JP3500425B2 (en) | 2000-11-24 | 2000-11-24 | Road surface condition judgment method in visible image type road surface condition grasping device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3500425B2 (en) |
Cited By (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004191276A (en) * | 2002-12-13 | 2004-07-08 | Koito Ind Ltd | Road surface condition determination device |
| US7676094B2 (en) | 2004-01-14 | 2010-03-09 | Denso Corporation | Road surface reflection detecting apparatus |
| JP2014520712A (en) * | 2011-07-13 | 2014-08-25 | ジャガー ランド ローバー リミテッド | Vehicle control system and control method |
| US10467482B2 (en) | 2016-02-17 | 2019-11-05 | Ford Global Technologies, Llc | Method and arrangement for assessing the roadway surface being driven on by a vehicle |
| WO2019216393A1 (en) * | 2018-05-10 | 2019-11-14 | パナソニックIpマネジメント株式会社 | Road surface state estimating method, road surface state estimating device, and road surface state estimating system |
| CN114299726A (en) * | 2021-12-31 | 2022-04-08 | 象谱信息产业有限公司 | Highway severe weather identification method based on artificial intelligence |
| CN114842621A (en) * | 2022-05-31 | 2022-08-02 | 北京万云科技开发有限公司 | Sand-dust weather early warning method |
| CN116559169A (en) * | 2023-07-11 | 2023-08-08 | 中南大学 | Real-time pavement state detection method |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3612565B2 (en) * | 2002-02-20 | 2005-01-19 | 国土交通省国土技術政策総合研究所長 | Road surface condition judgment method |
| JP5564960B2 (en) * | 2010-01-25 | 2014-08-06 | 日本電気株式会社 | Wet detection device and wet detection method |
-
2000
- 2000-11-24 JP JP2000357054A patent/JP3500425B2/en not_active Expired - Lifetime
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004191276A (en) * | 2002-12-13 | 2004-07-08 | Koito Ind Ltd | Road surface condition determination device |
| US7676094B2 (en) | 2004-01-14 | 2010-03-09 | Denso Corporation | Road surface reflection detecting apparatus |
| JP2014520712A (en) * | 2011-07-13 | 2014-08-25 | ジャガー ランド ローバー リミテッド | Vehicle control system and control method |
| US9415779B2 (en) | 2011-07-13 | 2016-08-16 | Jaguar Land Rover Limited | Vehicle control system and method |
| US10467482B2 (en) | 2016-02-17 | 2019-11-05 | Ford Global Technologies, Llc | Method and arrangement for assessing the roadway surface being driven on by a vehicle |
| WO2019216393A1 (en) * | 2018-05-10 | 2019-11-14 | パナソニックIpマネジメント株式会社 | Road surface state estimating method, road surface state estimating device, and road surface state estimating system |
| CN114299726A (en) * | 2021-12-31 | 2022-04-08 | 象谱信息产业有限公司 | Highway severe weather identification method based on artificial intelligence |
| CN114842621A (en) * | 2022-05-31 | 2022-08-02 | 北京万云科技开发有限公司 | Sand-dust weather early warning method |
| CN116559169A (en) * | 2023-07-11 | 2023-08-08 | 中南大学 | Real-time pavement state detection method |
| CN116559169B (en) * | 2023-07-11 | 2023-10-10 | 中南大学 | Real-time pavement state detection method |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3500425B2 (en) | 2004-02-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109716108B (en) | An Asphalt Pavement Disease Detection System Based on Binocular Image Analysis | |
| CN101281142B (en) | Method for measuring atmosphere visibility | |
| JP2002157676A (en) | Road surface condition determination method in visible image type road surface condition grasping device | |
| US20070296611A1 (en) | Foreign object detection system and method | |
| CN101936900A (en) | A Visibility Detection System Based on Video | |
| US20160217346A1 (en) | Imaging through aerosol obscurants | |
| CN102682602B (en) | Collecting method for road traffic parameters based on video technique | |
| CN103778418A (en) | Mountain fire image identification method of image monitoring system of electric transmission line tower | |
| CN101957309A (en) | All-weather video measurement method for visibility | |
| JP3747056B2 (en) | Road surface condition determination device | |
| JP2017224935A (en) | Object detection/evaluation system and object detection/evaluation method | |
| CN102162788A (en) | Visibility detection method based on high-definition video | |
| CN112649900A (en) | Visibility monitoring method, device, equipment, system and medium | |
| JP3500425B2 (en) | Road surface condition judgment method in visible image type road surface condition grasping device | |
| WO2021199915A1 (en) | Degradation display system, degradation display method, and storage medium | |
| Mertz et al. | City-wide road distress monitoring with smartphones | |
| CN102789686B (en) | Road traffic flow detecting method based on road surface brightness composite mode recognition | |
| CN103149603B (en) | Road weather detection method based on video | |
| JP3612565B2 (en) | Road surface condition judgment method | |
| CN201740736U (en) | Visibility detection system based on video | |
| KR101006652B1 (en) | Weather sensor using image information analysis and weather detection method using the same | |
| JP3817611B2 (en) | Road surface condition judgment method in visible image type road surface condition grasping device | |
| JP2003329780A (en) | Night time cloud amount measuring method and device therefor | |
| JP5190204B2 (en) | Road area snow detection device and road area snow detection method | |
| CN113204986A (en) | Moving target detection method suitable for unmanned aerial vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| TRDD | Decision of grant or rejection written | ||
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3500425 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| EXPY | Cancellation because of completion of term |