[go: up one dir, main page]

JP2022038604A - 車両の制御装置 - Google Patents

車両の制御装置 Download PDF

Info

Publication number
JP2022038604A
JP2022038604A JP2020143196A JP2020143196A JP2022038604A JP 2022038604 A JP2022038604 A JP 2022038604A JP 2020143196 A JP2020143196 A JP 2020143196A JP 2020143196 A JP2020143196 A JP 2020143196A JP 2022038604 A JP2022038604 A JP 2022038604A
Authority
JP
Japan
Prior art keywords
driver
road surface
threshold value
determination threshold
range
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2020143196A
Other languages
English (en)
Inventor
章也 佐藤
Akiya Sato
英行 高尾
Hideyuki Takao
結 太田
Yui Ota
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Subaru Corp
Original Assignee
Subaru Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Subaru Corp filed Critical Subaru Corp
Priority to JP2020143196A priority Critical patent/JP2022038604A/ja
Priority to CN202110817306.6A priority patent/CN114103965A/zh
Priority to US17/400,199 priority patent/US11718307B2/en
Publication of JP2022038604A publication Critical patent/JP2022038604A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/06Road conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18Eye characteristics, e.g. of the iris
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052Filtering, filters
    • B60W2050/0054Cut-off filters, retarders, delaying means, dead zones, threshold values or cut-off frequency
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/221Physiology, e.g. weight, heartbeat, health or special needs
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/225Direction of gaze
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/229Attention level, e.g. attentive to driving, reading or sleeping
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2552/00Input parameters relating to infrastructure
    • B60W2552/05Type of road, e.g. motorways, local streets, paved or unpaved roads

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Ophthalmology & Optometry (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

【課題】様々な走行環境(路面状態)に応じてドライバーに対して危険運転(居眠り又は脇見など)の有無を適切に提示可能な車両の制御装置を提供する。【解決手段】本発明の一形態における車両の制御装置は、ドライバーの状態値を検出するドライバー状態値検出手段と、路面状態を検出する路面状態検出手段と、前記ドライバーの状態値に基づいて危険運転と判定される状態の判定閾値を決定する閾値設定手段と、前記ドライバーの状態値が所定時間だけ前記判定閾値の範囲内にあるときに危険運転と判定する危険運転判定手段と、前記路面状態に基づいて、前記判定閾値を可変する判定閾値可変手段と、を有する。【選択図】 図1

Description

本発明は、検出したドライバーの状態に応じて警告を提示可能な車両の制御装置に関する。
移動手段としての自動車は利便性に優れており、自動車に乗車して様々な場所に出向くことが可能となっている。このときドライバーは、運転中に車外で興味を惹く物が存在すればその注視対象物に度を越して注視する(これを脇見運転とも称する)ことも想定でき、さらには体調により眠気を催す可能性もある。
かような運転時の居眠りや脇見といった事故を起こしかねないドライバーの不注意を検出する装置が特許文献1などに開示されている。しかしながらこの特許文献1のシステムはドライバーのみの情報で成立したものであるため、例えば摩擦係数が低いなど前方の路面状況が通常より危険な場合であっても同じ条件で判断してしまう。
他方、例えば特許文献2では、自車両が走行している路面状況等の走行環境を検知して障害物に対する自車両の衝突予測時間を算出する車両の警報装置が開示されている。この特許文献2によれば、例えば天候状態が悪い場合には、天候状態が良い場合に比べて衝突予測時間を求めるための所定時間を長めに変更してドライバーに対し警報を行うことが提案されている。
特開2019-105872号公報 特開2009-116394号公報
上述した特許文献に限らず現在の技術では市場のニーズを適切に満たしているとは言えず以下に述べる課題が存在する。
例えば上記した特許文献1では、上述したとおり、ドライバーのみから得た情報で不注意判定をしているため、例えば路面状況によって適切な判定がなされない可能性は否めない。一方で特許文献2では、あくまでも自車両の衝突予測時間が所定時間よりも短く且つドライバーの視線方向が障害物の方向でないときの当該所定時間を可変させているに過ぎず、自車両に対して衝突リスクのある障害物自体の基準を変化させるものではない。
本発明は、上記した課題を一例に鑑みて為されたものであり、様々な走行環境(路面状態)に応じてドライバーに対して危険運転(居眠り又は脇見など)の有無を適切に提示可能な車両の制御装置を提供することを目的とする。
上記課題を解決するため、本発明の一実施形態における車両に搭載される制御装置は、(1)ドライバーの状態値を検出するドライバー状態値検出手段と、路面状態を検出する路面状態検出手段と、前記ドライバーの状態値に基づいて危険運転と判定される状態の判定閾値を決定する閾値設定手段と、前記ドライバーの状態値が所定時間以上前記判定閾値を超えた範囲内にあるときに危険運転と判定する危険運転判定手段と、前記路面状態に基づいて、前記判定閾値を可変する判定閾値可変手段と、を有する。
また、上記した(1)に記載の車両の制御装置においては、(2)閾値設定手段は、前記ドライバーの正対する前方を基準として左右及び/又は上下に所定の角度ずつ安全範囲と不注意範囲とを区分けすることが好ましい。
また、上記した(2)に記載の車両の制御装置においては、(3)前記判定閾値可変手段は、前記路面状態に応じて、前記ドライバーの左側に位置する安全範囲の領域と、前記ドライバーの右側に位置する安全範囲の領域とで、互いのレンジを異ならせることが好ましい。
また、上記した(1)~(3)のいずれかに記載の車両の制御装置においては、(4)前記判定閾値可変手段は、前記車両の旋回時において、旋回する側に対応する前記判定閾値が前記旋回する側とは反対側の前記判定閾値と異なる範囲となるように、前記判定閾値を可変することが好ましい。
また、上記した(1)~(4)のいずれかに記載の車両の制御装置においては、(5)前記判定閾値可変手段は、前記車両の高速道路走行時と一般道路走行時とで互いに異なるように、前記判定閾値を可変することが好ましい。
本発明によれば、様々な走行環境に応じてドライバーに対して危険運転の有無を適切に提示できる。
車両全体の機能ブロック図である。 ドライバーの左右視線又は顔の左右向きにおける安全範囲と不注意範囲を示す模式図である。 ドライバーの上下視線又は顔の上下向きにおける安全範囲と不注意範囲を示す模式図である。 走行する路面の温度、凹凸および水分量に基づいて路面状態の判別する例を示す模式図である。 走行環境に応じた安全範囲と不注意範囲の設定例その1を示す模式図である。 走行環境に応じた安全範囲と不注意範囲の設定例その2を示す模式図である。 路面状態に応じて選択される判定閾値テーブルの一例を示す模式図である。 路面状態に応じて選択される判定閾値テーブルの他の一例を示す模式図である。 ドライバーに対して危険運転の有無を提示する危険運転判定方法を示すフローチャートである。
次に本発明を実施するための好適な実施形態について説明する。また、以下で詳述する以外の構成については、公知の各種の車載センサを含む公知の車両構造やシステムを適宜補完してもよい。例えばドライバーの視線検出や注視領域の判定には、本実施形態の趣旨と相反しない限りにおいて、特開2008-018853号公報や特開2013-255168号公報などで例示される視線追跡技術を適用することができる。
<車両200>
図1に、本実施形態における車両200の機能ブロック図を示す。以下では、本実施形態に好適な車両として四輪駆動の自動車を例示するが、本発明の趣旨を阻害しない限りにおいて二輪車や車以外の飛行機などに適用してもよい。
車両200は、撮像装置VR、提示装置DS、外部通信装置CS、センサ類SR、ナビゲーション装置NS、保存装置MRおよび制御装置100などを含んで構成されている。
撮像装置VRは、本実施形態では車外カメラVRと車内カメラVRを含んでいる。このうち車外カメラVRは、車両200が走行する路面の画像を取得したり車両200の周囲を撮像可能な一又は複数個からなる公知の車外撮影用の車載カメラである。かような車外カメラVRは、車外の全方位を撮影できるようにそれぞれパン機構やチルト機構など公知の傾斜機構を有することが望ましい。なお傾斜機構は必ずしも必須ではなく、例えば前後左右をそれぞれ独立で撮像可能なように複数の広角カメラによって構成してもよい。
また、車内カメラVRは、乗員の顔を撮像するための1又は複数のカメラからなる。なお、本実施形態では少なくともドライバーの顔を撮像できればよいが、車両200に乗車する各乗員の視線を検出してもよい。このような場合、運転席用、助手席用、左後部座席用、右後部座席用といったように、乗員各人に対応するように複数の車内カメラVが設置されることが好ましい。かような車外カメラVRは、可視光または赤外線によって乗員の顔画像を取得する公知の車内カメラを適用することができる。
提示装置DSは、本実施形態では車載される公知のスピーカSPとディスプレイDPを含んで構成されている。このうちディスプレイDPは、後述するナビゲーション装置NSのモニターと兼用されていてもよい。また、本実施形態の提示装置DSは、乗員の有するスマートフォンなどの携帯機器と近距離無線通信が可能なように構成されていてもよい。
外部通信装置CSは、例えば上記スマートフォンを利用したパケット通信や、コネクテッドのサービスに代表される次世代の自動車無線通信技術を利用して外部との各種の情報通信を行うことができる公知の通信装置が例示できる。これにより、例えばインターネットなどの公知のネットワークNETを介して各種の情報通信を行うことも可能となっている。
センサ類SRは、それぞれ公知の、車両の速度を検出する速度センサや加速度を検出する加速度センサ、あるいはステアリングの切れ角(操舵角)を検出する操舵角センサなど公知の車載センサが含まれる。本実施形態の車両200は、センサ類SRの一例として、後述する路面の路面温度を検出する路面温度センサ、路面の凹凸を検出可能な凹凸検出センサおよび路面の水分量を検出可能な水分量センサを具備していることが好ましい。
なお、路面温度を検出する路面温度センサとしては、例えば特開2015-038516号公報に例示されるごとき公知の種々の温度センサを適用してもよい。また、路面の凹凸を検出可能な凹凸検出センサとしては、例えば特開2004-138549号に開示された装置(路面の凹凸検出センサ)や特開2013-61690号公報に記載された公知の種々の手段や装置を適用してもよい。また、路面の水分量を検出可能な水分量センサとしては、例えば特開2006-46936号公報に例示されるごとき公知の種々の水分量検出センサを適用できる。
また、本実施形態の車両200は、センサ類SRの他の一例として、路面の摩擦係数を算出可能な摩擦係数計測センサを具備していることが好ましい。かような摩擦係数計測センサとしては、例えば特許第5843833号や特許第6413902号に例示される公知の種々の測定機器を適用できる。
ナビゲーション装置NSは、車両の位置情報を取得するためのGPS装置や、地域名称や建物などのマップ情報が内蔵されている。
保存装置MRは、例えば公知のハードディスクドライブや不揮発性メモリなどが例示でき、後述する判定閾値テーブルなどの各種データベースや危険運転判定プログラムあるいは他の公知の車載用プログラムがインストールされて管理・保存されている。
<制御装置100>
次に、本実施形態の車両200における制御装置100の構成について詳述する。
図1に示されるとおり、本実施形態の制御装置100は、演算手段やメモリなどを備えた公知のコンピューターであり、ドライバー状態値検出部10、路面状態検出部20、閾値設定部30、閾値変更部40、危険判定部50および提示部60を含んで構成されている。
ドライバー状態値検出部10は、本発明のドライバー状態値検出手段として、ドライバーの状態値を検出する機能を備えている。ここで、ドライバーの状態値とは、本実施形態で示される危険運転の有無を判定するために必要なパラメータであり、「ドライバーの注意度合に相関する動作の動作範囲」とも言い得る。ドライバーの状態値の具体例としては、例えばドライバーの視線、ドライバーの顔の向き、ドライバーの心拍数、およびドライバーの瞬き数が例示できるがこれらに限られるものではなく、危険運転を判定するに際してドライバーの注意度合に相関する動作であれば適用可能である。
なおドライバーの視線や顔の向きは、上記した車外カメラVR及び車内カメラVRなどを適宜用い、ドライバーの顔画像から視線の方向や顔の向きを抽出することができる。かようなドライバーの視線・顔の向き検出の具体的な態様については、特に制限はなく公知の解析技術が適用でき、例えば特開2013-255168号公報でも説明されているとおり「小野泰弘,岡部孝弘,佐藤洋一,“低解像度画像からの視線方向推定”,電子情報通信学会論文誌,Vol.J90-D,No.8,p.2212-2222,2007」などを参照できる他、顔面の特徴点抽出を用いた視線や顔の向き検出など既存の解析技術を利用することができる。
路面状態検出部20は、本発明の路面状態検出手段として、車両200が走行する路面の状態(路面状態)を検出する機能を備えている。より具体的な路面状態検出部20としては、例えば上記した路面温度センサ、路面凹凸検出センサおよび路面水分量センサから受信した情報に基づいて、図4に示すマトリックスデータから路面状態を設定(判定)してもよい。
すなわち、図4に示すように、路面状態検出部20は、予めマトリックス化された路面温度と路面凹凸と路面水分量との関係から導かれる4つの状態値(DRY、WET、SNOW、ICE)を保持しておく。そして車両200の走行時に、路面状態検出部20は、上記各センサからのそれぞれ実測された路面温度、路面凹凸および路面水分量のデータに基づきいずれの状態であるかを判定できる。
なお、本実施形態の路面状態検出部20は、上記した温度、凹凸および水分量の関係から予め4つの状態に区分けしていずれの状態であるか判定したが、路面状態の判定手法はこの態様に限られない。例えば車両200が上述した路面の摩擦係数を計測可能な装置やセンサを具備している場合には、この計測した摩擦係数に応じて路面状態を区分けしてもよい。
そして摩擦係数の大小で路面状態を区分けする場合、上記した4つの状態に限らず数値範囲をより細分化して区域分けすることができる。かような場合には、例えば後述する安全範囲SZと不注意範囲CZの判定閾値をリニアに可変制御することができ、あるいはトンネル通過時など走行環境が著しく変化する場合にも緩やかに可変制御することが可能となる。
閾値設定部30は、本発明の閾値設定手段として、前記したドライバーの状態値に基づいて危険運転と判定される状態の判定閾値を決定する機能を備えている。より具体的に本実施形態の閾値設定部30は、前記したドライバーの正対する前方を基準として左右及び/又は上下に所定の角度ずつ安全範囲と不注意範囲とを区分けする。
図2にドライバーDRの左右視線における安全範囲SZと不注意範囲CZを、図3にドライバーDRの上下視線における安全範囲SZと不注意範囲CZをそれぞれ示す。なお以下ではドライバーDRの視線を基準にそれぞれ安全範囲SZと不注意範囲CZとを区分けしたが、ドライバーDRの顔の向きを検出して上記視線に代えて顔の向きを基準としても同様に安全範囲SZと不注意範囲CZとを区分けしてもよいことは言うまでもない。
図2に示すように、車両200が具備するシートSTに着座したドライバーDRは、前方Pを見ながらハンドルHを操作して車両200を運転している。このとき本実施形態では、前方Pを基準として左右に所定の角度だけ安全範囲SZが規定されており、この安全範囲SZの外側で境界(L-ex、R-ex)を境に水平軸Hxまでの範囲にそれぞれ不注意範囲CZ(左側不注意範囲L-CZ、右側不注意範囲R-CZ)がそれぞれ設定されている。
したがって、例えばドライバーDRの視線が安全範囲SZに入っていれば危険運転のリスクは無いと判定されるとともに、判定閾値(上記した境界)を超えて所定時間だけ不注意範囲CZに滞留していれば危険運転であると判定されることになる。
このように安全範囲SZと不注意範囲CZとを区分けする境界(L-ex、R-ex)が、本実施形態の判定閾値に相当している。なお、不注意範囲CZの端部は、水平軸HxでなくドライバーDRの後方側まで広がっていてもよい。
安全範囲SZは、本実施形態では、過度に集中しない限りにおいてドライバーDRが運転時に視線を滞留させてもよいとされる領域であると定義される。この安全範囲SZは、前方Pを基準として右側安全範囲R-SZと、左側安全範囲L-SZとに区分けされている。なお上記した安全範囲SZの具体的な角度については、車両の種類(セダン、SUV、軽自動車など)やピラーの位置や大きさによって種々の値を取り得ることから、実験またはシミュレーションにて設定できる。
一方で不注意範囲CZについても、本実施形態では、一般的に視線を滞留しておくと事故などのリスクが高まる領域であると定義される。なお上記した不注意範囲CZの具体的な角度についても、車両の種類(セダン、SUV、軽自動車など)やピラーの位置や大きさによって種々の値を取り得ることから、実験またはシミュレーションにて設定できる。
また、本実施形態では、安全範囲SZと不注意範囲CZとは境界exを境に連続しているが、この形態に限られずいずれの状態も取り得るバッファ領域が介在していてもよい。かようなバッファ領域を設けた場合には、例えば不注意範囲CZからバッファ領域を経由して再び不注意範囲CZに戻った際には後述するステップ5の不注意範囲CZでの滞留時間を据え置いて計時を積算してもよい。
同様に、図3に示すように、車両200が具備するシートSTに着座したドライバーDRは、前方Pを見ながらハンドルHを操作して車両200を運転している。このとき本実施形態では、前方Pを基準として上下に所定の角度だけ安全範囲SZ(上側安全範囲up-SZ、下側安全範囲ud-SZ)がそれぞれ規定されている。また、この安全範囲SZの外側で境界(up-ex、up-ex)を境にそれぞれ垂直軸Vxまでの範囲にそれぞれ不注意範囲CZ(上側不注意範囲up-CZ、下側不注意範囲ud-CZ)がそれぞれ設定されている。なお、不注意範囲CZの端部は、垂直軸VxでなくドライバーDRの後方側まで広がっていてもよい。
閾値変更部40は、本発明の判定閾値可変手段として、前記した路面状態検出部20による路面状態の検出結果に基づいて、前記した判定閾値を可変する機能を備えている。より具体的に本実施形態の閾値設定部30は、路面状態に応じて上記した境界の位置を可変させる。
図5及び図6に、閾値変更部40が実行可能な走行環境に応じた判定閾値の可変態様を一例として示す。図5は左右方向に関する判定閾値の可変態様を示し、図6は上下方向における判定閾値の可変態様を示す。
図5に示すように、路面状態検出部20は、車両200が走行環境として4つ(DRY、WET、SNOW,ICE)の環境のうちいずれに存するか検出する。そして路面状態検出部20によって車両200はDRY状態の走行環境にあるとされたとき、閾値変更部40は(DRY)で示される位置に境界exを設定するように制御する。
一方で、例えばトンネルを抜けるなどして天候が雨天に変化するときなどは、路面状態検出部20によって車両200はWET状態の走行環境にあると判断され、これを受けて閾値変更部40は(WET)で示される位置に境界exの位置を変更する。これにより、例えば晴天時(走行環境がDRYのとき)にはドライバーDRの視線が多少左右に振られたとしても安全範囲SZに位置することになって危険運転とは判定されない。
他方で例えば上記のように走行環境が変化した際には、安全範囲SZの範囲が相対的に狭まることから、DRY時には危険運転と判定されない視線の位置でも、場合によっては危険運転と判定されることが発生し得る。このように本実施形態では、走行環境に応じて危険運転と判定される状態が変化するため、環境に応じた適切な警告をドライバーDRに提示することが可能となっている。
なお上下方向における判定閾値の可変態様については、上記した左右方向における判定閾値の可変態様と同様であるのでその説明は省略する。
なお、閾値変更部40は、前記した路面状態に応じて、ドライバーDRの左側に位置する安全範囲の領域(左側安全範囲L-SZ)と、右側に位置する安全範囲の領域(右側安全範囲R-SZ)とで、互いのレンジを異ならせてもよい。具体的には、例えば右ハンドル車の場合にはドライバーDRの右側に比して左側の方が視認しづらい場合がある。したがって例えば閾値変更部40は、右側安全範囲R-SZについては路面状態に応じてその範囲を広狭させる一方で、左側安全範囲L-SZについては路面状態に依らず一定の範囲(すなわち境界exを可変しない)に設定するように制御してもよい。
また、閾値変更部40は、車両200の旋回時において、旋回する側に対応する判定閾値が、旋回する側とは反対側の判定閾値と異なる範囲となるように、前記した判定閾値を可変するようにしてもよい。具体的には、例えばドライバーDRがハンドルHを右に切って右旋回をするとき、ドライバーDRの左側に比して右側の方をより幅広く安全確認しなければならない場合も想定し得る。したがって例えば閾値変更部40は、車両200が右に旋回している場合には、左側安全範囲L-SZについては路面状態に応じてその範囲を広狭させる一方で、右側安全範囲R-SZについては路面状態に依らず一定の範囲(すなわち境界exを可変しない)に設定するように制御してもよい。
また、閾値変更部40は、車両200の高速道路走行時と一般道路走行時とで互いに異なるように、前記した判定閾値を可変するようにしてもよい。具体的には、例えば車両200が高速道路を走行する場合には一般道の走行時に比して停止距離が長くなる。換言すれば、上記したような高速走行時には一般道の走行時に比してより安全性を高めなければならないとも言える。したがって例えば閾値変更部40は、ナビゲーション装置NSなどによって車両200が一般道を走行していると判定される場合には境界exを可変させず、高速道路などで高速走行をしていると判定される場合には路面状態に応じて境界exを可変させるように制御してもよい。
危険判定部50は、本発明の危険運転判定手段として、ドライバーDRの状態値(上記した視線、顔の向き、心拍数あるいは瞬き数など)が所定時間だけ前記判定閾値を超えた範囲内にあるときに危険運転と判定する機能を備えている。より具体的に本実施形態の危険判定部50は、上記したドライバーDRの状態値が所定時間だけ判定閾値を超えて不注意範囲CZに滞留した場合に危険運転であると判定する。
一例として、図7及び図8に、ドライバーDRの状態値と判定閾値との関係を示す。図7は路面状態に応じて選択されるドライバーDRの視線又は顔の向きに関する判定閾値テーブルの一例を示している。また、図8は路面状態に応じて選択されるドライバーDRの心拍数又は瞬き数に関する判定閾値テーブルの一例を示している。
すなわち図7では、ドライバーDRの視線における安全範囲SZが走行環境に応じて区分けして設定されている。本例では、ドライバーDRの左右と上下におけるそれぞれの視線がどの角度にあれば安全範囲SZに入るかが規定されている。例えば走行環境(路面状態)がSNOWである場合、前方Pから左右に±15度の範囲内であれば危険判定部50によって安全範囲SZ内に在ると判定される。また、例えば走行環境(路面状態)がDRYである場合、前方Pから上下に±20度の範囲を越えると危険判定部50によって不注意範囲CZ内に在ると判定される。
一方でドライバーDRの状態値が心拍数や瞬き数の場合には、図8に例示するごとき判定閾値データテーブルが保存装置MR内に予め保存される。そして例えばハンドルHに装着された公知の脈拍計(不図示)や車内カメラVRなどによって、走行時のドライバーDRにおける心拍数や瞬き数が計測される。
このとき走行環境(路面状態)がWETである場合、計測された心拍数が基準値Tから±15%を超えていれば危険判定部50によって不注意範囲CZ内に在ると判定される。また、例えば走行環境(路面状態)がICEである場合、計測された瞬き数が基準値Tから±5%以内であれば危険判定部50によって安全範囲SZ内に在ると判定される。
なお上記した心拍数や瞬き数の基準値Tの設定については、特に制限はなく公知の種々の手法が適用でき、例えば乗車を開始して数分以内の平均値を基準値Tとして設定してもよいし、ドライバーDRがディスプレイDPを介して入力してもよい。
提示部60は、本発明の提示手段として、前記によって判定した危険運転を示す警告をドライバーDRに提示する機能を有している。より具体的に提示部60は、上記したディスプレイDPやスピーカSPを介してドライバーDRに対して危険運転を行っている旨の警告を提示してもよい。なお提示部60は、危険運転であることの提示態様として、音声及び画像の双方で提示することに加え、音声又は画像のいずれかで表示すること、あるいは音声及び画像で表示せず保存装置MRにその事実だけ記録することのいずれかの態様を選択してもよい。
<危険運転判定方法>
次に図9も参照しつつ、本実施形態の制御装置100が実行可能なドライバーDRに対して危険運転の有無を提示する危険運転判定方法について説明する。
まずステップ1では、上記した路面状態検出手段としての路面状態検出部20によって車両200が走行する路面状態が検出される。このとき路面状態検出部20は、上記したセンサや摩擦係数計測装置などによって走行環境を計測し、例えば路面状態が「WET」であると判定したとする。
次いでステップ2において、閾値設定手段としての閾値設定部30は、保存装置MRに保存された判定閾値テーブルを参照して、「WET」状態に対応した境界exを設定する。このとき、心拍数や瞬き数をドライバーDRの状態値として用いる場合には、同様に保存装置MRに保存された判定閾値テーブルを参照して、「WET」状態に対応した心拍数や瞬き数の境界exが設定される。
次いでステップ3では、ドライバー状態値検出手段としてのドライバー状態値検出部10は、ドライバーDRの状態値を検出する。なお、ドライバーDRの状態値としては、例えば上記した視線、顔の向き、心拍数および瞬き数の少なくとも1つを用いることができる。本例では、ドライバーDRの状態値の一例としてドライバーDRの視線を検出する。なおこのステップ3でドライバーDRの状態値が検出できなければ(ステップ3でNo)、ステップ1へ戻って処理を再び繰り返す。
ステップ3でドライバーDRの状態値(本例では視線)を検出できた場合、続くステップ4では検出したドライバーDRの状態値が不注意範囲CZ内であるか否かが判定される。そして検出したドライバーDRの状態値が不注意範囲CZ内にない場合には、再びステップ1へ戻って処理が繰り返される。
一方、ステップ4でドライバーDRの状態値が不注意範囲CZ内に在る場合には、このドライバーDRの状態値が所定時間だけ不注意範囲CZに在るかが公知のタイマー(不図示)などで計時される(ステップ5)。なお、この滞留時間としての所定時間については、本実施形態の趣旨を逸脱しない限り特に制限はなく、例えば数秒間など適宜設定できる。
そして例えばドライバーDRの視線が安全範囲SZに戻った場合には上記タイマーでの計時がリセットされる。なお、上記したバッファ領域が設定されている場合には、ドライバーDRの視線が不注意範囲CZからバッファ領域を経由して再び不注意範囲CZに戻ったらタイマーでの計時は前回のバッファ領域への遷移時から再び再開するようにしてもよい。
そしてステップ5で上記したタイマーなどによってドライバーDRの状態値が所定時間だけ不注意範囲CZに滞留したと判定された場合には、続くステップ6で上記提示手段として提示部60が提示装置DSを介してドライバーDRに警告を与える。
そして続くステップ7ではエンジンが停止されたか否かが判定され、エンジンOFFと判定されたときには本処理が完了する一方で、車両200が未だ走行中である場合には再びステップ1へ戻って上記した処理が繰り返される。したがって、例えば車両200の走行中に天候が雨天から晴れに回復したときは、上記路面状態検出部20によって路面状態が「DRY」であると判定されて以降の処理が実行されることになる。
以上説明した本実施形態における車両200の制御装置100と危険運転判定方法によれば、様々な走行環境に応じてドライバーに対して危険運転の有無を適切に提示することが可能となる。
なお上述のとおり添付図面を参照しながら本発明の好適な実施形態について説明したが、本発明はかかる例に限定されない。すなわち当業者であれば上記した実施形態に対して更なる修正を試みることは明らかであり、これらについても当然に本発明の技術的範囲に属するものと了解される。
100 制御装置
10 ドライバー状態値検出部(ドライバー状態値検出手段)
20 路面状態検出部(路面状態検出手段)
30 閾値設定部(閾値設定手段)
40 閾値変更部(判定閾値可変手段)
50 危険判定部(危険運転判定手段)
60 提示部(提示手段)
200 車両
VR 撮像装置
DS 提示装置
CS 外部通信装置
SR センサ類
NS ナビゲーション装置
MR 保存装置

Claims (5)

  1. ドライバーの状態値を検出するドライバー状態値検出手段と、
    路面状態を検出する路面状態検出手段と、
    前記ドライバーの状態値に基づいて危険運転と判定される状態の判定閾値を決定する閾値設定手段と、
    前記ドライバーの状態値が所定時間以上前記判定閾値を超えた範囲内にあるときに危険運転と判定する危険運転判定手段と、
    前記路面状態に基づいて、前記判定閾値を可変する判定閾値可変手段と、
    を有する車両の制御装置。
  2. 閾値設定手段は、前記ドライバーの正対する前方を基準として左右及び/又は上下に所定の角度ずつ安全範囲と不注意範囲とを区分けする、請求項1に記載の車両の制御装置。
  3. 前記判定閾値可変手段は、前記路面状態に応じて、前記ドライバーの左側に位置する安全範囲の領域と、前記ドライバーの右側に位置する安全範囲の領域とで、互いのレンジを異ならせる、請求項2に記載の車両の制御装置。
  4. 前記判定閾値可変手段は、
    前記車両の旋回時において、旋回する側に対応する前記判定閾値が前記旋回する側とは反対側の前記判定閾値と異なる範囲となるように、前記判定閾値を可変する、請求項1~3のいずれか一項に記載の車両の制御装置。
  5. 前記判定閾値可変手段は、
    前記車両の高速道路走行時と一般道路走行時とで互いに異なるように、前記判定閾値を可変する、請求項1~4のいずれか一項に記載の車両の制御装置。
JP2020143196A 2020-08-27 2020-08-27 車両の制御装置 Pending JP2022038604A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2020143196A JP2022038604A (ja) 2020-08-27 2020-08-27 車両の制御装置
CN202110817306.6A CN114103965A (zh) 2020-08-27 2021-07-20 车辆的控制装置
US17/400,199 US11718307B2 (en) 2020-08-27 2021-08-12 Vehicle control apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2020143196A JP2022038604A (ja) 2020-08-27 2020-08-27 車両の制御装置

Publications (1)

Publication Number Publication Date
JP2022038604A true JP2022038604A (ja) 2022-03-10

Family

ID=80358070

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2020143196A Pending JP2022038604A (ja) 2020-08-27 2020-08-27 車両の制御装置

Country Status (3)

Country Link
US (1) US11718307B2 (ja)
JP (1) JP2022038604A (ja)
CN (1) CN114103965A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171304A1 (ja) 2022-03-11 2023-09-14 富士フイルム株式会社 タンパク質食品素材の製造方法及びタンパク質食品素材

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022152869A (ja) * 2021-03-29 2022-10-12 本田技研工業株式会社 車両制御装置、車両制御方法、及びプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071019A (ja) * 2012-09-28 2014-04-21 Fuji Heavy Ind Ltd 視線誘導システム
JP2018067198A (ja) * 2016-10-20 2018-04-26 矢崎総業株式会社 走行支援装置
JP2018108784A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 脇見判定装置及び方法
JP2019091281A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08192655A (ja) * 1995-01-17 1996-07-30 Toyota Motor Corp 漫然運転防止装置
JP2004138549A (ja) 2002-10-18 2004-05-13 Toyota Motor Corp 路面状態検出装置
JP4157078B2 (ja) 2004-07-30 2008-09-24 シャープ株式会社 路面状態計測方法及び路面状態計測装置
JP4893507B2 (ja) * 2007-07-04 2012-03-07 オムロン株式会社 脇見検出装置および方法、並びに、プログラム
JP2009116394A (ja) 2007-11-01 2009-05-28 Mazda Motor Corp 車両の警報装置
JP6029586B2 (ja) 2010-10-04 2016-11-24 マサチューセッツ インスティテュート オブ テクノロジー 血球凝集素ポリペプチド、ならびにそれに関連する試薬および方法
JP2013061690A (ja) 2011-09-10 2013-04-04 Denso Corp 車両用障害物検出システム
JP5843833B2 (ja) 2013-10-03 2016-01-13 三菱電機株式会社 車両の制御装置
JP5878612B2 (ja) 2014-11-27 2016-03-08 株式会社ブリヂストン 路面状態推定方法
JP6413902B2 (ja) 2015-04-07 2018-10-31 株式会社Soken 駐車支援装置
DE102017119759A1 (de) * 2017-08-29 2019-02-28 HELLA GmbH & Co. KGaA Verfahren zur Ansteuerung mindestens eines Hauptscheinwerfers einer Beleuchtungseinheit eines Fahrzeugs, Beleuchtungseinheit, Computerprogrammprodukt und computerlesbares Medium
JP7329755B2 (ja) * 2017-08-31 2023-08-21 パナソニックIpマネジメント株式会社 支援方法およびそれを利用した支援システム、支援装置
JP6915502B2 (ja) * 2017-11-09 2021-08-04 トヨタ自動車株式会社 ドライバ状態検出装置
JP6812952B2 (ja) * 2017-11-15 2021-01-13 オムロン株式会社 脇見判定装置、脇見判定方法、およびプログラム
JP6702291B2 (ja) * 2017-11-15 2020-06-03 オムロン株式会社 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム
JP7003612B2 (ja) 2017-12-08 2022-01-20 株式会社デンソー 異常検知装置、及び異常検知プログラム
JP7163578B2 (ja) * 2018-01-09 2022-11-01 いすゞ自動車株式会社 運転状態判定装置及び運転状態判定方法
US11493920B2 (en) * 2018-02-02 2022-11-08 Uatc, Llc Autonomous vehicle integrated user alert and environmental labeling
JP6626523B2 (ja) * 2018-03-28 2019-12-25 株式会社Subaru 車両の制御装置及び車両の制御方法
KR102739161B1 (ko) * 2018-11-14 2024-12-06 현대자동차주식회사 운전자의 부주의 경고 제어 장치 및 방법
CN113966513A (zh) * 2019-04-12 2022-01-21 石通瑞吉电子公司 用于商用车辆车队管理的移动设备使用监控
CN110638474A (zh) * 2019-09-25 2020-01-03 中控智慧科技股份有限公司 一种驾驶状态检测的方法、系统、设备及可读存储介质

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014071019A (ja) * 2012-09-28 2014-04-21 Fuji Heavy Ind Ltd 視線誘導システム
JP2018067198A (ja) * 2016-10-20 2018-04-26 矢崎総業株式会社 走行支援装置
JP2018108784A (ja) * 2017-01-04 2018-07-12 株式会社デンソーテン 脇見判定装置及び方法
JP2019091281A (ja) * 2017-11-15 2019-06-13 オムロン株式会社 脇見判定装置、脇見判定方法及び脇見判定のためのプログラム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023171304A1 (ja) 2022-03-11 2023-09-14 富士フイルム株式会社 タンパク質食品素材の製造方法及びタンパク質食品素材

Also Published As

Publication number Publication date
US20220063634A1 (en) 2022-03-03
CN114103965A (zh) 2022-03-01
US11718307B2 (en) 2023-08-08

Similar Documents

Publication Publication Date Title
EP2000889B1 (en) Monitor and monitoring method, controller and control method, and program
US9834221B2 (en) Driver attentiveness detection method and device
CN107176165B (zh) 车辆的控制装置
US10369926B2 (en) Driver state sensing system, driver state sensing method, and vehicle including the same
JP6460058B2 (ja) 車両の制御装置
JP6460019B2 (ja) 車両の制御装置
JP6720732B2 (ja) 車両の制御装置
JP2017185946A (ja) 車両の自動運転システム
KR20180129044A (ko) 차량 운전 보조 장치 및 이의 안전 운전 유도 방법
JP6136564B2 (ja) 車両用表示装置
US20190147264A1 (en) Concentration determination apparatus, concentration determination method, and program for concentration determination
JP2022038604A (ja) 車両の制御装置
JP2020086907A (ja) 漫然運転判定装置
JP6790522B2 (ja) 車両の制御装置
JP2024096831A (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
CN106494329A (zh) 一种车窗控制方法及装置
US20200023863A1 (en) Concentration degree determination device, concentration degree determination method, and program for determining concentration degree
JP6701913B2 (ja) 車両の制御装置
JP6877651B1 (ja) 視認負荷値推定装置、視認負荷値推定システム、視認負荷値推定方法、及び視認負荷値推定プログラム
JP7163578B2 (ja) 運転状態判定装置及び運転状態判定方法
JP2018151902A (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP7639694B2 (ja) オブジェクト認識制御装置、およびオブジェクト認識方法
JP6658358B2 (ja) 車両の制御装置
SE1530037A1 (sv) Driver attentiveness detection method and device
WO2025225558A1 (ja) 情報処理装置、情報処理システム、情報処理方法及び記録媒体

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230704

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20240311

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240416

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240614

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20240924

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20241120

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20241203