JP2009298193A - Driving support device for vehicle - Google Patents
Driving support device for vehicle Download PDFInfo
- Publication number
- JP2009298193A JP2009298193A JP2008151999A JP2008151999A JP2009298193A JP 2009298193 A JP2009298193 A JP 2009298193A JP 2008151999 A JP2008151999 A JP 2008151999A JP 2008151999 A JP2008151999 A JP 2008151999A JP 2009298193 A JP2009298193 A JP 2009298193A
- Authority
- JP
- Japan
- Prior art keywords
- vehicle
- risk
- degree
- target
- recognition
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Landscapes
- Regulating Braking Force (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Abstract
【課題】交差点に進入する車両の自車両に対する認識度を的確に判断し、交差点における自車両の情報を適切に加味して安全性を確保しつつスムーズな交通の流れを維持して自然で適切な運転支援を行う。
【解決手段】対象車両のドライバの顔向き方向に応じて対象車両のドライバの顔向き度Fiを設定し、対象車両のドライバの顔向き度Fiを基に自車両の被認知度Riを演算し、自車両の被認知度Riを基に自車両のリスクRiskiを演算して、自車両の被認知度Riが閾値Ricより高く且つ対象車両が1台しか存在しない場合、自車両が対象車両に対して優先走行の関係にある場合は、自車両のリスクRiを減少補正する。また、自車両の被認知度Riが閾値Ric以下、或いは、対象車両が複数存在する場合、自車両のリスクRiskiが閾値Riskltより高い場合はライトを点灯させる。
【選択図】図1[PROBLEMS] To accurately determine the degree of recognition of a vehicle entering an intersection with respect to the own vehicle and appropriately consider the information of the vehicle at the intersection to ensure safety while maintaining a smooth traffic flow. Provide proper driving assistance.
A face direction degree Fi of a driver of the target vehicle is set according to a face direction direction of the driver of the target vehicle, and a recognition degree Ri of the host vehicle is calculated based on the face direction degree Fi of the driver of the target vehicle. If the vehicle's risk Riski is calculated based on the vehicle's perceived degree Ri and the subject vehicle's perceived degree Ri is higher than the threshold Ric and there is only one target vehicle, the host vehicle becomes the target vehicle. On the other hand, when there is a priority running relationship, the risk Ri of the host vehicle is corrected to decrease. Further, when the recognition degree Ri of the own vehicle is equal to or less than the threshold value Ric, or there are a plurality of target vehicles, the light is turned on when the risk Riski of the own vehicle is higher than the threshold Risklt.
[Selection] Figure 1
Description
本発明は、交差点において各車両間の状況を考慮し、ドライバの運転を支援する車両の運転支援装置に関する。 The present invention relates to a driving support apparatus for a vehicle that supports driving of a driver in consideration of a situation between vehicles at an intersection.
近年、車両においては、ITS(Intelligent Transport Systems)や車載の画像処理システム、レーダ装置等から得られる情報を基に、前方環境を認識し、安全な走行ができるように運転を支援する様々な運転支援装置が提案され、実用化されている。 2. Description of the Related Art In recent years, in vehicles, various driving systems that recognize driving environments and support driving to enable safe driving based on information obtained from ITS (Intelligent Transport Systems), in-vehicle image processing systems, radar devices, etc. Support devices have been proposed and put into practical use.
特に、交差点においては、進入してくる車両との衝突防止、安全性の確保や交通のスムーズな流れの維持等の多くの観点から様々な技術が提案されている。例えば、特開2007−200052号公報では、自車両が一時停止線の手前の位置からの発進前後における、交差他車両の車両挙動変化(速度、速度変化量、車幅方向位置変化量等)に基づいて、交差他車両のドライバが自車両の存在を認知する度合いを被認知度として推定し、推定された被認知度が高いほど、自車両が一時停止交差点内により進入した位置で再停止するように運転支援を行う技術が開示されている。
しかしながら、上述の特許文献1に開示される交差点での運転支援の技術のように、交差他車両の自車両に対する被認知度を、交差他車両の車両挙動変化(速度、速度変化量、車幅方向位置変化量等)に基づいて判断したのでは、他の対象物(他の車両や歩行者、路面状況等)に応じた運転行動である可能性も高く、自車両の認知による運転行動であるとは限らない。また、交差点においては、優先道路や左方優先等の交差点特有の交通規則が存在し、交差点に進入する車両のドライバは、通常、この交通規則に則って走行するため、こうした条件も加味して交差点での運転支援を行うことが望まれる。 However, as in the driving assistance technology at the intersection disclosed in Patent Document 1 described above, the degree of recognition of the other vehicle in the intersection with respect to the host vehicle is changed to the vehicle behavior change (speed, speed change amount, vehicle width of the other vehicle in the intersection). Judgment based on the amount of change in direction and position), it is highly possible that the driving action is in accordance with other objects (other vehicles, pedestrians, road conditions, etc.). Not always. In addition, there are traffic rules peculiar to intersections such as priority roads and left priority at intersections, and drivers of vehicles entering the intersection usually travel according to these traffic rules. It is desirable to provide driving assistance at intersections.
本発明は上記事情に鑑みてなされたもので、交差点に進入する車両の自車両に対する認識度を的確に判断し、交差点における自車両の情報を適切に加味して安全性を確保しつつスムーズな交通の流れを維持して自然で適切な運転支援を行うことができる車両の運転支援装置を提供することを目的としている。 The present invention has been made in view of the above circumstances, and it is possible to accurately determine the degree of recognition of a vehicle entering the intersection with respect to the own vehicle and appropriately consider the information of the own vehicle at the intersection to ensure smoothness while ensuring safety. An object of the present invention is to provide a vehicle driving support device capable of maintaining a traffic flow and providing natural and appropriate driving support.
本発明は、前方の交差点を検出する交差点検出手段と、前方の車両情報を検出する車両情報検出手段と、上記交差点に進入する車両を対象車両として認識し、該対象車両の自車両に対する認知度を自車両の被認知度として演算する被認知度演算手段と、自車両のリスクを演算するリスク演算手段と、少なくとも上記自車両の被認知度が予め設定した閾値より高い場合、自車両が上記対象車両に対して優先走行の関係にある場合は、上記自車両のリスクを減少補正するリスク補正設定手段と、上記自車両のリスクに基づいて警報制御と走行制御の少なくとも一方を実行させる制御実行手段とを備えたことを特徴としている。 The present invention recognizes an intersection detection means for detecting a forward intersection, vehicle information detection means for detecting forward vehicle information, and a vehicle entering the intersection as a target vehicle, and the degree of recognition of the target vehicle with respect to the host vehicle. The degree of recognition of the subject vehicle, the risk computation means for calculating the risk of the subject vehicle, and when the subject vehicle is at least higher than a preset threshold, When there is a priority traveling relationship with respect to the target vehicle, risk correction setting means for reducing and correcting the risk of the host vehicle, and control execution for executing at least one of alarm control and traveling control based on the risk of the host vehicle And a means.
本発明による車両の運転支援装置によれば、交差点に進入する車両の自車両に対する認識度を的確に判断し、交差点における自車両の情報を適切に加味して安全性を確保しつつスムーズな交通の流れを維持して自然で適切な運転支援を行うことが可能となる。 According to the vehicle driving support device of the present invention, the degree of recognition of a vehicle entering the intersection with respect to the host vehicle is accurately determined, and smooth traffic is ensured while ensuring safety by appropriately taking into account the information of the host vehicle at the intersection. It is possible to provide natural and appropriate driving support while maintaining the flow of the vehicle.
以下、図面に基づいて本発明の実施の形態を説明する。
図1〜図6は本発明の実施の形態を示し、図1は車両に搭載される交差点における運転支援装置の機能ブロック図、図2は交差点での運転支援制御プログラムのフローチャート、図3は図2から続くフローチャート、図4は交差点に進入する自車両と対象車両の一例を示す説明図、図5は対象車両のドライバの顔向き度の特性の説明図、図6は交差点進入量の特性の説明図である。
Hereinafter, embodiments of the present invention will be described with reference to the drawings.
1 to 6 show an embodiment of the present invention, FIG. 1 is a functional block diagram of a driving support apparatus at an intersection mounted on a vehicle, FIG. 2 is a flowchart of a driving support control program at the intersection, and FIG. FIG. 4 is an explanatory diagram showing an example of the subject vehicle and the target vehicle entering the intersection, FIG. 5 is an explanatory diagram of the characteristics of the face orientation of the driver of the target vehicle, and FIG. 6 is a characteristic of the intersection approach amount. It is explanatory drawing.
図1において、符号1は車両に搭載される交差点における運転支援装置を示し、この運転支援装置1は、画像認識装置2とナビゲーション装置3からの信号が制御ユニット4に入力され、制御ユニット4からライト制御装置5、警報制御装置6、及び、走行制御装置7に信号が出力される。 In FIG. 1, reference numeral 1 denotes a driving support device at an intersection mounted on a vehicle. In the driving support device 1, signals from the image recognition device 2 and the navigation device 3 are input to the control unit 4. Signals are output to the light control device 5, the alarm control device 6, and the travel control device 7.
画像認識装置2は、例えば、車室内の天井前方に一定の間隔をもって取り付けられ、車外の対象を異なる視点からステレオ撮像する1組のCCDカメラと、このCCDカメラからの画像データを処理するステレオ画像処理装置とから構成されている。 The image recognition device 2 is, for example, a set of CCD cameras that are mounted at a fixed interval in front of a ceiling in a vehicle interior and that stereo-shoots an object outside the vehicle from different viewpoints, and a stereo image that processes image data from the CCD camera. And a processing device.
ステレオ画像処理装置における、CCDカメラからの画像データの処理は、例えば以下のように行われる。まず、CCDカメラで撮像した自車両の進行方向の1組のステレオ画像対に対し、対応する位置のずれ量から距離情報を求め、距離画像を生成する。そして、このデータを基に、周知のグルーピング処理を行い、予め記憶しておいた3次元的な車両形状データ等の枠(ウインドウ)と比較し、前方に存在する各車両を抽出して、それぞれの自車両との距離の時間的変化の割合から自車両との相対速度を演算し、また、この相対速度と自車速とを加算することにより、各車両の速度を算出して、これらのデータ(画像データも含む)を制御ユニット4に入力する。このように、画像認識装置2は、車両情報検出手段として設けられている。 The processing of image data from the CCD camera in the stereo image processing apparatus is performed as follows, for example. First, distance information is obtained from a set of stereo image pairs taken in the traveling direction of the host vehicle captured by the CCD camera from the corresponding positional deviation amount, and a distance image is generated. Then, based on this data, a well-known grouping process is performed, and compared with a frame (window) such as three-dimensional vehicle shape data stored in advance, each vehicle existing ahead is extracted, Calculate the relative speed with the own vehicle from the ratio of the temporal change in the distance to the own vehicle, and calculate the speed of each vehicle by adding the relative speed and the own vehicle speed. (Including image data) is input to the control unit 4. Thus, the image recognition apparatus 2 is provided as vehicle information detection means.
ナビゲーション装置3は、例えば、ITSの機能を備え、現在位置の表示や目的地までの案内等を行う周知のものであり、特に、予め記憶された地図情報に設けられた交差点情報やITSにより送受信される交差点情報を含む各種道路情報が、現在の自車位置情報と共に、制御ユニット4に入力される。このようにナビゲーション装置3は交差点検出手段として設けられている。 The navigation device 3 has, for example, an ITS function, and is a well-known device that displays the current position, guides to the destination, and the like. In particular, the navigation device 3 transmits / receives by using intersection information or ITS provided in map information stored in advance. The various road information including the intersection information is input to the control unit 4 together with the current vehicle position information. Thus, the navigation apparatus 3 is provided as an intersection detection means.
制御ユニット4は、上述の画像認識装置2から前方の車両情報が、ナビゲーション装置3から前方の道路情報が入力され、これらの入力情報に基づいて、交差点に進入する車両を対象車両として認識する。そして、対象車両のドライバの顔向き方向を検出し、該対象車両のドライバの顔向き方向に応じて対象車両のドライバの顔向き度Fiを設定し、この対象車両のドライバの顔向き度Fiを基に、対象車両の自車両に対する認知度を自車両の被認知度Riとして演算し、この自車両の被認知度Riを基に自車両のリスクRiskiを演算して、自車両の被認知度Riが予め設定した閾値Ricより高く、且つ、対象車両が1台しか存在しない場合、自車両が対象車両に対して優先走行の関係にある場合は、自車両のリスクRiを減少補正する。また、自車両の被認知度Riが予め設定した閾値Ric以下、或いは、対象車両が複数存在する場合、自車両のリスクRiskiが予め設定した閾値Riskltより高い場合には、ライト制御装置5に信号出力して、ヘッドライトを点灯させる制御を行う。更に、これらの制御に加え、自車両のリスクの最大値Riskmaxが予め設定した閾値Riskalよりも高い場合は、警報制御装置6に信号出力して、インストルメントパネル内のLEDの点滅、ハンドルへの振動付加等、所定の警報を作動させる。また、自車両のリスクの最大値Riskmaxに応じ、停止線から交差点への進入が許容される距離である交差点進入量Laloを設定し、該交差点進入量Laloを走行制御装置7に出力してスロットル開度、及び、ブレーキ制御を行わせるようになっている。 The control unit 4 receives forward vehicle information from the image recognition device 2 described above and forward road information from the navigation device 3, and recognizes a vehicle entering the intersection as a target vehicle based on the input information. Then, the face direction of the driver of the target vehicle is detected, the face direction degree Fi of the driver of the target vehicle is set according to the face direction of the driver of the target vehicle, and the face direction degree Fi of the driver of the target vehicle is set. Based on the recognition degree Ri of the subject vehicle as the recognition degree Ri of the subject vehicle, the risk Risk of the subject vehicle is calculated based on the perceived degree Ri of the subject vehicle, and the perceived degree of the subject vehicle. If Ri is higher than the preset threshold value Ric and there is only one target vehicle, and the host vehicle is in a priority travel relationship with respect to the target vehicle, the risk Ri of the host vehicle is corrected to decrease. In addition, when the recognition degree Ri of the own vehicle is equal to or less than the preset threshold value Ric, or when there are a plurality of target vehicles, and the risk Riski of the own vehicle is higher than the preset threshold value Risklt, a signal is sent to the light control device 5. Output and control to turn on the headlight. Furthermore, in addition to these controls, if the maximum risk Riskmax of the host vehicle is higher than a preset threshold Riskal, a signal is output to the alarm control device 6 to blink the LED in the instrument panel, Activates a predetermined alarm such as vibration addition. Further, according to the maximum value Riskmax of the host vehicle, an intersection approach amount Lalo that is an allowable distance from the stop line to the intersection is set, and the intersection approach amount Lalo is output to the travel control device 7 to be throttled. The opening degree and the brake control are performed.
すなわち、制御ユニット4は、図1に示すように、交差点判定部4a、顔向き方向検出部4b、顔向き度設定部4c、被認知度演算部4d、被認知度判定部4e、優先判定部4f、リスク演算部4g、リスク設定部4h、ライト警報判定部4i、衝突警報判定部4j、交差点進入量演算部4kから主要に構成されている。
That is, as shown in FIG. 1, the control unit 4 includes an
交差点判定部4aは、ナビゲーション装置3から前方の道路情報が入力され、交差点位置と現在の自車両の位置とを比較して、自車両が交差点に進入するか否かの判定を行い、自車両が交差点に進入する場合に、当該交差点の情報と共に、交差点に進入するとの判定結果が顔向き方向検出部4bに出力される。
The
顔向き方向検出部4bは、画像認識装置2から画像データを含む前方の車両情報が入力され、交差点判定部4aから自車両の交差点進入の判定結果と、進入する交差点の情報とが入力される。そして、自車両が交差点に進入するとの判定の際に、各車両(以下、処理の実行対象とする車両を対象車両と言う)において、画像データのウインドウ内の画像について、更に、周知の顔認識処理を行って、例えば、顔幅を検出し、顔部品位置を検出して、顔中心を算出し、左右の比率から顔向き方向を算出して、この顔向き方向のデータを顔向き度設定部4cに出力する。尚、顔向き方向は、例えば、図4に示すように、対象車両毎に、自車両と対象車両とを結ぶ破線を中心0度の角度とし、時計回りの角度を+、反時計回りの角度を−の符号の角度として検出される。
The face
顔向き度設定部4cは、顔向き方向検出部4bから各車両毎のドライバの顔向き方向が入力される。そして、例えば、予め設定しておいた特性マップ(図5参照)を参照し、ドライバの顔向き方向を顔向き度Fi(iは対象車両を区別するためのIDナンバーを示す)に変換し、被認知度演算部4dに出力する。
The face direction degree setting unit 4c receives the driver's face direction for each vehicle from the face
顔向き度Fiは、図5に示すように、中心から離れるに従って小さく設定されるようになっている。すなわち、自車両の方向に対象車両のドライバが顔を向けている際には、顔向き度Fiが高く設定されるようになっている。 As shown in FIG. 5, the face orientation degree Fi is set to be smaller as the distance from the center increases. That is, when the driver of the target vehicle faces the direction of the host vehicle, the face orientation degree Fi is set high.
被認知度演算部4dは、顔向き度設定部4cから顔向き度Fiが入力される。そして、例えば、以下の(1)式により、対象車両の自車両に対する認知度を自車両の被認知度Riとして演算し、被認知度判定部4e、リスク演算部4gに出力する。
Ri(k)=Ri(k-1)+Fi(k)−D(≧0) …(1)
ここで、Dは予め設定した減衰(忘却)係数、kは演算カウンタである。
The face recognition
Ri (k) = Ri (k−1) + Fi (k) −D (≧ 0) (1)
Here, D is a preset attenuation (forgetting) coefficient, and k is a calculation counter.
すなわち、ドライバは、一度認識したとしても、次第にそのことを忘れていくため、このことを考慮して、減衰係数Dを含んだ上述の(1)式により被認知度Riを演算する。 In other words, even if the driver recognizes it once, it gradually forgets that, and in consideration of this, the driver calculates the degree of recognition Ri by the above-described equation (1) including the attenuation coefficient D.
被認知度判定部4eは、被認知度演算部4dから被認知度Riが入力される。そして、被認知度Riが予め設定しておいた閾値Ricよりも大きく、且つ、対象車両は1台のみかを判定し、判定結果をリスク設定部4hに出力する。尚、対象車両の台数は、今回、上述の(1)式を実行した回数、或いは、画像認識装置2からのデータを基に判断する。
The degree-of-recognition determination unit 4e receives the degree-of-recognition Ri from the degree-of-
優先判定部4fは、画像認識装置2から前方の車両情報が入力され、ナビゲーション装置3から前方の道路情報が入力される。そして、対象車両が優先道路に存在するか否かを判定し、判定結果をリスク設定部4hに出力する。 The priority determination unit 4 f receives forward vehicle information from the image recognition device 2 and forward road information from the navigation device 3. Then, it is determined whether or not the target vehicle exists on the priority road, and the determination result is output to the risk setting unit 4h.
リスク演算部4gは、被認知度演算部4dから被認知度Riが入力される。そして、例えば、以下の(2)式により、自車両の対象車両に対するリスクRiskiを演算し、リスク設定部4hに出力する。
Riski=1/Ri …(2)
リスク設定部4hは、画像認識装置2から前方の車両情報が、被認知度演算部4dから被認知度Riが、被認知度判定部4eから被認知度Riと対象車両の台数に関する判定結果が、優先判定部4fから優先判定結果が入力される。
The
Risk = 1 / Ri (2)
In the risk setting unit 4h, the vehicle information ahead from the image recognition device 2, the recognition level Ri from the recognition
そして、被認知度Riが予め設定しておいた閾値Ricよりも大きく、且つ、対象車両は1台のみの判定結果が得られている場合で、対象車両が優先道路に無い場合は、自車両の対象車両に対するリスクRiskiに予め設定した1より小さい係数K1を乗算して補正する。また、被認知度Riが予め設定しておいた閾値Ricよりも大きく、且つ、対象車両は1台のみの判定結果が得られている場合で、対象車両が左前方に無い場合は、自車両の対象車両に対するリスクRiskiに予め設定した1より小さい係数K2を乗算して補正する。すなわち、自車両が対象車両に対して優先走行の関係にある場合は、自車両のリスクRiskiを減少補正するのである。こうして設定された自車両のリスクRiskiは、リスクの最大値Riskmax(交差点に存在する対象車両のリスクの最大値)が演算され、衝突警報判定部4j、交差点進入量演算部4kに出力される。一方、被認知度Riが予め設定しておいた閾値Ric以下の場合は、自車両のリスクRiskiをライト警報判定部4iに出力する。また、他の自車両の対象車両に対するリスクRiskiと共に、上述のようにリスクの最大値Riskmaxを演算して、衝突警報判定部4j、交差点進入量演算部4kに出力する。
If the recognition degree Ri is larger than the preset threshold value Ric, and the determination result of only one target vehicle is obtained, and the target vehicle is not on the priority road, the own vehicle Is corrected by multiplying the risk Riski for the target vehicle by a coefficient K1 smaller than 1. In addition, when the degree of recognition Ri is larger than a preset threshold value Ric and the determination result of only one target vehicle is obtained, and the target vehicle is not in the left front, Is corrected by multiplying the risk Riski for the target vehicle by a coefficient K2 smaller than 1. That is, when the host vehicle has a priority traveling relationship with respect to the target vehicle, the risk Riski of the host vehicle is reduced and corrected. As for the risk Riski of the own vehicle thus set, the maximum value Riskmax (maximum value of the risk of the target vehicle existing at the intersection) is calculated and output to the collision warning determination unit 4j and the intersection approach
ライト警報判定部4iは、リスク設定部4hから、被認知度Riが予め設定しておいた閾値Ric以下の場合に自車両のリスクRiskiが入力される。そして、自車両のリスクRiskiと予め設定しておいた閾値Riskltとを比較して、自車両のリスクRiskiが閾値Riskltを上回っている場合には、ライト制御装置5に信号出力してヘッドライトを点灯させる。
The light
衝突警報判定部4jは、リスク設定部4hから自車両のリスクの最大値Riskmaxが入力される。そして、自車両のリスクの最大値Riskmaxと予め設定した閾値Riskalとを比較して、自車両のリスクの最大値Riskmaxが予め設定した閾値Riskalよりも高い場合は、警報制御装置6に信号出力して、インストルメントパネル内のLEDの点滅、ハンドルへの振動付加等、所定の警報を作動させる。 The collision warning determination unit 4j receives the maximum risk Riskmax of the host vehicle from the risk setting unit 4h. Then, the maximum risk Riskmax of the host vehicle is compared with a preset threshold Riskal. If the maximum risk Riskmax of the host vehicle is higher than the preset threshold Riskal, a signal is output to the alarm control device 6. Then, a predetermined alarm such as blinking of an LED in the instrument panel, addition of vibration to the handle is activated.
交差点進入量演算部4kは、リスク設定部4hから自車両のリスクの最大値Riskmaxが入力される。そして、例えば、予め設定しておいたマップ(図6)を参照して自車両のリスクの最大値Riskmaxに応じ、停止線から交差点への進入が許容される距離である交差点進入量Laloを設定し、該交差点進入量Laloを走行制御装置7に出力してスロットル開度、及び、ブレーキ制御を行わせる。
The intersection approach
このように、本実施の形態では、顔向き方向検出部4b、顔向き度設定部4c、被認知度演算部4dにより被認知度演算手段が構成され、リスク演算部4gでリスク演算手段が構成され、リスク設定部4hでリスク補正設定手段が構成され、ライト警報判定部4i、衝突警報判定部4j、交差点進入量演算部4kで制御実行手段が構成されている。
As described above, in the present embodiment, the face
次に、運転支援装置1で実行される交差点での運転支援制御プログラムについて、図2、図3のフローチャートで説明する。まず、ステップ(以下、「S」と略称)101で必要なパラメータの読み込みが行われる。 Next, the driving support control program at the intersection executed by the driving support device 1 will be described with reference to the flowcharts of FIGS. First, in step (hereinafter abbreviated as “S”) 101, necessary parameters are read.
次いで、S102に進み、自車両が交差点に進行中か否か判定し、交差点に進行していない場合はプログラムを抜け、交差点に進行する場合にはS103以降へと進む。 Next, the process proceeds to S102, where it is determined whether or not the host vehicle is proceeding to the intersection. If the vehicle is not proceeding to the intersection, the program exits. If the vehicle proceeds to the intersection, the process proceeds to S103 and subsequent steps.
S103では、顔向き度設定部4cで、予め設定しておいた特性マップ(図5参照)を参照し、対象車両のドライバの顔向き方向を変換して顔向き度Fiを設定する。 In S103, the face orientation degree setting unit 4c refers to a preset characteristic map (see FIG. 5), converts the face orientation direction of the driver of the target vehicle, and sets the face orientation degree Fi.
次に、S104に進み、被認知度演算部4dで、上述の(1)式により、自車両の被認知度Riを演算する。
Next, it progresses to S104 and the to-be-recognized
次いで、S105に進み、リスク演算部4gで、上述の(2)式により、自車両の対象車両に対するリスクRiskiを演算する。
Next, the process proceeds to S105, and the
そして、S106に進むと、被認知度判定部4eで、被認知度Riが予め設定しておいた閾値Ricよりも大きく、且つ、対象車両は1台のみかの判定が行われる。この結果、被認知度Riが予め設定しておいた閾値Ricよりも大きく、且つ、対象車両は1台のみの判定結果が得られている場合は、S107に進み、リスク設定部4hで優先判定部4fでの判定結果が参照され、対象車両が優先道路を走行しているかの判定が行われる。この判定の結果、対象車両が優先道路を走行していない場合はS108に進んで、自車両の対象車両に対するリスクRiskiに予め設定した1より小さい係数K1を乗算して補正してS109に進み、対象車両が優先道路を走行している場合は補正を行うことなくS109へと進む。 Then, in S106, the degree-of-recognition determination unit 4e determines whether the degree-of-recognition Ri is larger than a preset threshold value Ric and whether there is only one target vehicle. As a result, when the degree of recognition Ri is larger than a preset threshold value Ric and the determination result of only one target vehicle is obtained, the process proceeds to S107, and priority determination is performed by the risk setting unit 4h. The determination result in the unit 4f is referred to, and it is determined whether the target vehicle is traveling on the priority road. As a result of this determination, if the target vehicle is not traveling on the priority road, the process proceeds to S108, the risk Riski for the target vehicle of the host vehicle is corrected by multiplying by a coefficient K1 smaller than 1, and the process proceeds to S109. If the target vehicle is traveling on the priority road, the process proceeds to S109 without correction.
S109では、同じくリスク設定部4hで対象車両の位置が判定され、対象車両が左前方に存在するか否かの判定が行われる。この判定の結果、対象車両が左前方に存在していない場合はS110に進んで、自車両の対象車両に対するリスクRiskiに予め設定した1より小さい係数K2を乗算して補正してS111に進み、対象車両が左前方に存在している場合は補正を行うことなくS111へと進む。 In S109, the risk setting unit 4h similarly determines the position of the target vehicle, and determines whether or not the target vehicle exists in the left front. As a result of this determination, if the target vehicle does not exist on the left front, the process proceeds to S110, the risk Riski for the target vehicle of the host vehicle is corrected by multiplying by a coefficient K2 smaller than 1, and the process proceeds to S111. If the target vehicle is present on the left front, the process proceeds to S111 without correction.
一方、上述のS106で、被認知度Riが予め設定しておいた閾値Ric以下、或いは、対象車両は複数台存在すると判定された場合は、S112に進み、ライト警報判定部4iで自車両のリスクRiskiと予め設定しておいた閾値Riskltとが比較され、自車両のリスクRiskiが閾値Riskltを上回っている場合には、S113に進み、ヘッドライトを点灯させるべく、警報時ライト点灯信号ONの信号がライト制御装置5に出力され、S111に進む。
On the other hand, if it is determined in S106 that the degree of recognition Ri is equal to or less than the preset threshold value Ric or that there are a plurality of target vehicles, the process proceeds to S112, and the light
逆に、自車両のリスクRiskiが閾値Risklt以下の場合には、S114に進み、ヘッドライト消灯のため、警報時ライト点灯信号OFFの信号がライト制御装置5に出力され、S111に進む。 On the other hand, if the risk Risk of the host vehicle is less than or equal to the threshold Risklt, the process proceeds to S114, and the headlight extinction signal is output to the light control device 5 to turn off the headlight, and the process proceeds to S111.
S109、S110、S113、S114からS111に進むと、全ての対象車両についてリスクを設定したか否か判定され、設定しているのであればS115に進み、未だ設定していないのであればS103からの処理を繰り返す。 When the process proceeds from S109, S110, S113, and S114 to S111, it is determined whether or not the risk has been set for all the target vehicles. If set, the process proceeds to S115, and if not set, the process starts from S103. Repeat the process.
S115に進むと、リスク設定部4hで対象車両に設定されたリスクの最大値Riskmaxが演算される。 In S115, the risk maximum value Riskmax set for the target vehicle by the risk setting unit 4h is calculated.
そして、S116に進み、衝突警報判定部4jで、自車両のリスクの最大値Riskmaxと予め設定した閾値Riskalとが比較され、自車両のリスクの最大値Riskmaxが予め設定した閾値Riskalよりも高い場合は、S117に進んで、インストルメントパネル内のLEDの点滅、ハンドルへの振動付加等、所定の警報(衝突警報)を作動させるべく、警報制御装置6に信号出力して、S118へと進む。また、自車両のリスクの最大値Riskmaxが閾値Riskal以下の場合は、そのままS118へと進む。 Then, in S116, the collision warning determination unit 4j compares the maximum risk Riskmax of the host vehicle with the preset threshold Riskal, and the maximum risk Riskmax of the host vehicle is higher than the preset threshold Riskal. In S117, a signal is output to the alarm control device 6 to activate a predetermined alarm (collision alarm) such as blinking of an LED in the instrument panel, addition of vibration to the handle, etc., and the process proceeds to S118. When the maximum risk Riskmax of the host vehicle is equal to or less than the threshold Riskal, the process proceeds to S118 as it is.
S118に進むと、交差点進入量演算部4kで予め設定しておいたマップ(図6)を参照して自車両のリスクの最大値Riskmaxに応じ、停止線から交差点への進入が許容される距離である交差点進入量Laloが設定される。
Proceeding to S118, the distance allowed to enter the intersection from the stop line according to the maximum risk Riskmax of the host vehicle with reference to the map (FIG. 6) preset by the intersection approach
そして、S119に進み、走行制御装置7により、交差点進入量Laloに基づく走行制御、例えば、スロットル開度、及び、ブレーキ制御が行われ、プログラムを抜ける。 In S119, the travel control device 7 performs travel control based on the intersection approach amount Lalo, for example, throttle opening and brake control, and exits the program.
このように本発明の実施の形態によれば、対象車両のドライバの顔向き方向を検出し、該対象車両のドライバの顔向き方向に応じて対象車両のドライバの顔向き度Fiを設定し、この対象車両のドライバの顔向き度Fiを基に、対象車両の自車両に対する認知度を自車両の被認知度Riとして演算し、この自車両の被認知度Riを基に自車両のリスクRiskiを演算して、自車両の被認知度Riが予め設定した閾値Ricより高く、且つ、対象車両が1台しか存在しない場合、自車両が対象車両に対して優先走行の関係にある場合は、自車両のリスクRiを減少補正する。また、自車両の被認知度Riが予め設定した閾値Ric以下、或いは、対象車両が複数存在する場合、自車両のリスクRiskiが予め設定した閾値Riskltより高い場合には、ライト制御装置5に信号出力して、ヘッドライトを点灯させる制御を行う。このため、交差点に進入する車両の自車両に対する認識度を的確に判断し、交差点における自車両の情報を適切に加味して安全性を確保しつつスムーズな交通の流れを維持して自然で適切な運転支援を行うことが可能となる。従って、例えば、複数車両のドライバが、お互いに相手を認知している状況下においては、スムーズな運転を妨げる不要な警報を防止しつつ、自車両が他車両から認知されていない状況では、防衛運転を促す警報となるため、安全性を向上させることができる。また、交差点では、複数の車両が交差する場合、各ドライバの注意は、最も危険な対象車両に向き、他の車両に対しては散漫になりがちであるが、本発明によれば、各対象車両毎にリスクを判断し、自車両の警報を行うので安全性に極めて優れ、更に、各対象車両毎に交通ルールを考慮して警報制御等を行うので、無用な警報が生じることが無く自然な運転支援制御を実現することが可能となっている。 Thus, according to the embodiment of the present invention, the face direction of the driver of the target vehicle is detected, the face direction degree Fi of the driver of the target vehicle is set according to the face direction of the driver of the target vehicle, Based on the face orientation Fi of the driver of the target vehicle, the recognition degree of the target vehicle with respect to the host vehicle is calculated as the perceived degree Ri of the host vehicle, and the risk Riski of the host vehicle is calculated based on the perceived degree Ri of the host vehicle. When the recognition degree Ri of the own vehicle is higher than a preset threshold value Ric and there is only one target vehicle, when the own vehicle is in a priority traveling relationship with respect to the target vehicle, The risk Ri of the host vehicle is reduced and corrected. In addition, when the recognition degree Ri of the own vehicle is equal to or less than the preset threshold value Ric, or when there are a plurality of target vehicles, and the risk Riski of the own vehicle is higher than the preset threshold value Risklt, a signal is sent to the light control device 5. Output and control to turn on the headlight. For this reason, the degree of recognition of the vehicle entering the intersection is accurately judged, and the information on the vehicle at the intersection is properly taken into account to ensure safety while maintaining a smooth traffic flow. It becomes possible to perform a driving assistance. Thus, for example, in a situation where drivers of multiple vehicles recognize each other, an unnecessary warning that prevents smooth driving is prevented, while in a situation where the host vehicle is not recognized by other vehicles, Since this is an alarm that prompts driving, safety can be improved. In addition, when a plurality of vehicles cross at an intersection, the attention of each driver tends to be directed to the most dangerous target vehicle and tends to be distracted with respect to other vehicles. Since the risk is judged for each vehicle and the vehicle's own vehicle is alarmed, safety is extremely high. Furthermore, alarm control is performed for each target vehicle in consideration of traffic rules. It is possible to realize a simple driving support control.
尚、本実施の形態では、対象車両のドライバの顔向き方向を、自車両に搭載したカメラからの画像データを画像処理して得るようにしているが、対象車両に搭載した認識装置による認識結果を車車間通信等により受信して用いるようにしても良い。更に、交差点の各対象車両のデータや、道路情報(対象車両の位置、優先道路等の情報)は、車車間通信や、路車間通信により受信して用いるようにしても良い。 In the present embodiment, the direction of the face of the driver of the target vehicle is obtained by performing image processing on image data from a camera mounted on the host vehicle, but the recognition result by the recognition device mounted on the target vehicle. May be received and used by inter-vehicle communication or the like. Further, data of each target vehicle at the intersection and road information (information on the position of the target vehicle, priority road, etc.) may be received and used by inter-vehicle communication or road-to-vehicle communication.
また、本実施の形態では、被認知度Riが予め設定しておいた閾値Ricよりも大きく、且つ、対象車両は1台のみの場合に、更に、対象車両と自車両との優先関係を判定するようにしているが、仕様によっては、被認知度Riが予め設定しておいた閾値Ricよりも大きい場合に、更に、対象車両と自車両との優先関係を判定するようにしても良い。 Further, in the present embodiment, when the degree of recognition Ri is larger than a preset threshold value Ric and there is only one target vehicle, the priority relationship between the target vehicle and the host vehicle is further determined. However, depending on the specification, when the degree of recognition Ri is larger than a preset threshold value Ric, the priority relationship between the target vehicle and the host vehicle may be further determined.
更に、本実施の形態では、対象車両と自車両との優先関係を、対象車両が優先道路に存在するか、及び、対象車両が左前方に存在するかで判定するようになっているが、何れか一方のみの判定としても良い。 Furthermore, in the present embodiment, the priority relationship between the target vehicle and the host vehicle is determined based on whether the target vehicle exists on the priority road and whether the target vehicle exists on the left front. Only one of the determinations may be made.
また、本実施の形態では、対象車両のリスクを、前述の(2)式で求めるようになっているが、これに限るものではなく、例えば、対象車両の車速や対象車両との距離等を考慮したリスクとしても良い。 Further, in the present embodiment, the risk of the target vehicle is obtained by the above-described equation (2). However, the present invention is not limited to this. For example, the vehicle speed of the target vehicle, the distance to the target vehicle, etc. It may be a risk that takes into account.
更に、本実施の形態では、自車両の被認知度Riが予め設定した閾値Ric以下、或いは、対象車両が複数存在する場合、自車両のリスクRiskiが予め設定した閾値Riskltより高い場合には、ライト制御装置5に信号出力して、ヘッドライトを点灯させる制御を行うようになっているが、これに加え、自車両のリスクRiskiを増加補正するようにしても良い。また、ヘッドライトによる警報を行うことなく、単に、自車両のリスクRiskiを増加補正するようにしても良い。 Furthermore, in the present embodiment, when the recognition degree Ri of the own vehicle is equal to or less than a preset threshold Ric, or when there are a plurality of target vehicles, the risk Riski of the own vehicle is higher than the preset threshold Risklt, A signal is output to the light control device 5 to control the headlights to be turned on, but in addition to this, the risk Riski of the host vehicle may be increased and corrected. Further, the risk Riski of the host vehicle may be simply increased and corrected without performing an alarm with a headlight.
また、本実施の形態では、自車両のリスクRiskiに応じて警報と交差点進入量の可変制御の両方を行うようにしているが、何れか一方のみを行うものとしても良い。 In the present embodiment, both the alarm and the variable control of the intersection approach amount are performed according to the risk Risk of the own vehicle, but only one of them may be performed.
1 交差点における運転支援装置
2 画像認識装置(車両情報検出手段)
3 ナビゲーション装置(交差点検出手段)
4 制御ユニット
4a 交差点判定部
4b 顔向き方向検出部(被認知度演算手段)
4c 顔向き度設定部(被認知度演算手段)
4d 被認知度演算部(被認知度演算手段)
4e 被認知度判定部
4f 優先判定部
4g リスク演算部(リスク演算手段)
4h リスク設定部(リスク補正設定手段)
4i ライト警報判定部(制御実行手段)
4j 衝突警報判定部(制御実行手段)
4k 交差点進入量演算部(制御実行手段)
5 ライト制御装置
6 警報制御装置
7 走行制御装置
1 driving support device at intersection 2 image recognition device (vehicle information detection means)
3. Navigation device (intersection detection means)
4
4c Face orientation setting unit (perceived degree calculation means)
4d recognizing degree calculation unit (recognizing degree calculating means)
4e Recognized degree determination unit 4f
4h Risk setting section (risk correction setting means)
4i Light warning determination unit (control execution means)
4j Collision warning determination unit (control execution means)
4k intersection approach amount calculation unit (control execution means)
5 Light control device 6 Alarm control device 7 Travel control device
Claims (6)
前方の車両情報を検出する車両情報検出手段と、
上記交差点に進入する車両を対象車両として認識し、該対象車両の自車両に対する認知度を自車両の被認知度として演算する被認知度演算手段と、
自車両のリスクを演算するリスク演算手段と、
少なくとも上記自車両の被認知度が予め設定した閾値より高い場合、自車両が上記対象車両に対して優先走行の関係にある場合は、上記自車両のリスクを減少補正するリスク補正設定手段と、
上記自車両のリスクに基づいて警報制御と走行制御の少なくとも一方を実行させる制御実行手段と、
を備えたことを特徴とする車両の運転支援装置。 An intersection detection means for detecting a front intersection;
Vehicle information detecting means for detecting vehicle information ahead;
Recognizing degree calculating means for recognizing a vehicle entering the intersection as a target vehicle and calculating the degree of recognition of the target vehicle with respect to the own vehicle;
A risk calculating means for calculating the risk of the own vehicle;
If at least the degree of recognition of the host vehicle is higher than a preset threshold, and if the host vehicle is in a priority running relationship with the target vehicle, a risk correction setting unit that reduces and corrects the risk of the host vehicle;
Control execution means for executing at least one of alarm control and travel control based on the risk of the vehicle,
A vehicle driving support apparatus comprising:
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008151999A JP5204559B2 (en) | 2008-06-10 | 2008-06-10 | Vehicle driving support device |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2008151999A JP5204559B2 (en) | 2008-06-10 | 2008-06-10 | Vehicle driving support device |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2009298193A true JP2009298193A (en) | 2009-12-24 |
| JP5204559B2 JP5204559B2 (en) | 2013-06-05 |
Family
ID=41545559
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2008151999A Expired - Fee Related JP5204559B2 (en) | 2008-06-10 | 2008-06-10 | Vehicle driving support device |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP5204559B2 (en) |
Cited By (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2510698A (en) * | 2013-12-18 | 2014-08-13 | Daimler Ag | Driver assistance system |
| JP2018018389A (en) * | 2016-07-29 | 2018-02-01 | パナソニックIpマネジメント株式会社 | Self-driving vehicle control device and control program |
| DE112017001583T5 (en) | 2016-03-28 | 2018-12-13 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle situation determination device and vehicle situation determination method |
| WO2019130483A1 (en) * | 2017-12-27 | 2019-07-04 | 本田技研工業株式会社 | Vehicle control device, vehicle control method, and program |
| CN114127821A (en) * | 2019-07-12 | 2022-03-01 | 日产自动车株式会社 | Information processing apparatus, information processing method, and program |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006256493A (en) * | 2005-03-17 | 2006-09-28 | Advics:Kk | Vehicle travel support device |
| JP2007200052A (en) * | 2006-01-27 | 2007-08-09 | Nissan Motor Co Ltd | Driving support device at intersection and driving support method at intersection |
| JP2007241729A (en) * | 2006-03-09 | 2007-09-20 | Toyota Central Res & Dev Lab Inc | Driving support device and driving support system |
| JP2007286959A (en) * | 2006-04-18 | 2007-11-01 | Matsushita Electric Ind Co Ltd | Driving assistance device |
| JP2008126755A (en) * | 2006-11-17 | 2008-06-05 | Toyota Motor Corp | Driving support device |
-
2008
- 2008-06-10 JP JP2008151999A patent/JP5204559B2/en not_active Expired - Fee Related
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006256493A (en) * | 2005-03-17 | 2006-09-28 | Advics:Kk | Vehicle travel support device |
| JP2007200052A (en) * | 2006-01-27 | 2007-08-09 | Nissan Motor Co Ltd | Driving support device at intersection and driving support method at intersection |
| JP2007241729A (en) * | 2006-03-09 | 2007-09-20 | Toyota Central Res & Dev Lab Inc | Driving support device and driving support system |
| JP2007286959A (en) * | 2006-04-18 | 2007-11-01 | Matsushita Electric Ind Co Ltd | Driving assistance device |
| JP2008126755A (en) * | 2006-11-17 | 2008-06-05 | Toyota Motor Corp | Driving support device |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| GB2510698A (en) * | 2013-12-18 | 2014-08-13 | Daimler Ag | Driver assistance system |
| DE112017001583T5 (en) | 2016-03-28 | 2018-12-13 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle situation determination device and vehicle situation determination method |
| US10836392B2 (en) | 2016-03-28 | 2020-11-17 | Panasonic Intellectual Property Management Co., Ltd. | Vehicle situation determination device and vehicle situation determination method |
| JP2018018389A (en) * | 2016-07-29 | 2018-02-01 | パナソニックIpマネジメント株式会社 | Self-driving vehicle control device and control program |
| WO2018021463A1 (en) * | 2016-07-29 | 2018-02-01 | パナソニックIpマネジメント株式会社 | Control device and control program for self-driving vehicle |
| CN109478373A (en) * | 2016-07-29 | 2019-03-15 | 松下知识产权经营株式会社 | Control device and control program for autonomous vehicle |
| US10839681B2 (en) | 2016-07-29 | 2020-11-17 | Panasonic Intellectual Property Management Co., Ltd. | Control device and method for controlling autonomous driving vehicle |
| WO2019130483A1 (en) * | 2017-12-27 | 2019-07-04 | 本田技研工業株式会社 | Vehicle control device, vehicle control method, and program |
| CN114127821A (en) * | 2019-07-12 | 2022-03-01 | 日产自动车株式会社 | Information processing apparatus, information processing method, and program |
| US12272244B2 (en) | 2019-07-12 | 2025-04-08 | Nissan Motor Co., Ltd. | Information processing device, information processing method, and program |
Also Published As
| Publication number | Publication date |
|---|---|
| JP5204559B2 (en) | 2013-06-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6986780B2 (en) | Autonomous driving control device and vehicle | |
| JP6521486B2 (en) | Vehicle control device | |
| KR101866068B1 (en) | Drive control apparatus and mehtod for autonomous vehicle | |
| JP5345350B2 (en) | Vehicle driving support device | |
| US10274962B2 (en) | Vehicle traveling control apparatus | |
| JP6031066B2 (en) | Vehicle travel control device | |
| JP6512140B2 (en) | Automatic driving system | |
| US6675090B2 (en) | Curve approach device, and vehicle equipped with curve approach device | |
| US10532736B2 (en) | Vehicle travel control device | |
| JP6521487B2 (en) | Vehicle control device | |
| CN111527015A (en) | Vehicle control device | |
| US11247677B2 (en) | Vehicle control device for maintaining inter-vehicle spacing including during merging | |
| CN105799700A (en) | Collision avoidance control system and control method | |
| US20140257593A1 (en) | Vehicular driving support system | |
| KR20190038077A (en) | Apparatus and Method for Controlling Lane-Keeping | |
| JP6494020B2 (en) | Vehicle driving support control device | |
| JP5452004B2 (en) | Vehicle driving support device | |
| JP5204559B2 (en) | Vehicle driving support device | |
| CN105599767A (en) | Roundabout detecting arrangement | |
| JP6642886B2 (en) | Vehicle driving support device | |
| WO2012124111A1 (en) | Driving assist apparatus and method | |
| JP2016124310A (en) | Traveling control device of vehicle | |
| KR102287136B1 (en) | Routing change method and system based on driving situation information fusion | |
| JP2010009232A (en) | Driving support device for vehicle | |
| US20220024462A1 (en) | Control device for vehicle, control method for automated driven vehicle, and nontransitory recording medium provided with computer program |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110330 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20121030 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20121031 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20121218 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130122 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130215 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 5204559 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160222 Year of fee payment: 3 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |