JP7273031B2 - 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム - Google Patents
情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム Download PDFInfo
- Publication number
- JP7273031B2 JP7273031B2 JP2020514013A JP2020514013A JP7273031B2 JP 7273031 B2 JP7273031 B2 JP 7273031B2 JP 2020514013 A JP2020514013 A JP 2020514013A JP 2020514013 A JP2020514013 A JP 2020514013A JP 7273031 B2 JP7273031 B2 JP 7273031B2
- Authority
- JP
- Japan
- Prior art keywords
- driver
- information
- unit
- driving
- recovery
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/38—Electronic maps specially adapted for navigation; Updating thereof
- G01C21/3804—Creation or updating of map data
- G01C21/3807—Creation or updating of map data characterised by the type of data
- G01C21/3815—Road data
- G01C21/3822—Road feature data, e.g. slope data
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0057—Estimation of the time available or required for the handover
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W40/09—Driving style or behaviour
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W60/00—Drive control systems specially adapted for autonomous road vehicles
- B60W60/005—Handover processes
- B60W60/0053—Handover processes from vehicle to occupant
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
- G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
- G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
- G01C21/34—Route searching; Route guidance
- G01C21/36—Input/output arrangements for on-board computers
- G01C21/3697—Output of additional, non-guidance related information, e.g. low fuel level
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/01—Detecting movement of traffic to be counted or controlled
- G08G1/0104—Measuring and analyzing of parameters relative to traffic conditions
- G08G1/0137—Measuring and analyzing of parameters relative to traffic conditions for specific applications
- G08G1/0141—Measuring and analyzing of parameters relative to traffic conditions for specific applications for traffic information dissemination
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0967—Systems involving transmission of highway information, e.g. weather, speed limits
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/09—Arrangements for giving variable traffic instructions
- G08G1/0962—Arrangements for giving variable traffic instructions having an indicator mounted inside the vehicle, e.g. giving voice messages
- G08G1/0968—Systems involving transmission of navigation instructions to the vehicle
- G08G1/096833—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route
- G08G1/096844—Systems involving transmission of navigation instructions to the vehicle where different aspects are considered when computing the route where the complete route is dynamically recomputed based on new data
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/165—Anti-collision systems for passive traffic, e.g. including static obstacles, trees
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/166—Anti-collision systems for active traffic, e.g. moving vehicles, pedestrians, bikes
-
- G—PHYSICS
- G08—SIGNALLING
- G08G—TRAFFIC CONTROL SYSTEMS
- G08G1/00—Traffic control systems for road vehicles
- G08G1/16—Anti-collision systems
- G08G1/167—Driving aids for lane monitoring, lane changing, e.g. blind spot detection
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
- B60W2040/0818—Inactivity or incapacity of driver
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W2050/0062—Adapting control system settings
- B60W2050/007—Switching between manual and automatic parameter input, and vice versa
- B60W2050/0072—Controller asks driver to take over
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/143—Alarm means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
- B60W50/08—Interaction between the driver and the control system
- B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
- B60W2050/146—Display means
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/10—Accelerator pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/12—Brake pedal position
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/10—Historical data
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/862—Combination of radar systems with sonar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/865—Combination of radar systems with lidar systems
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/86—Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
- G01S13/867—Combination of radar systems with cameras
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
- G01S13/88—Radar or analogous systems specially adapted for specific applications
- G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
- G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
Landscapes
- Engineering & Computer Science (AREA)
- Automation & Control Theory (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Transportation (AREA)
- Human Computer Interaction (AREA)
- Mathematical Physics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Atmospheric Sciences (AREA)
- Chemical & Material Sciences (AREA)
- Analytical Chemistry (AREA)
- Traffic Control Systems (AREA)
- Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
Description
本開示は、情報処理装置、移動装置、情報処理システム、および方法、並びにプログラムに関する。さらに詳細には、自動運転と手動運転の切り替え制御を行う情報処理装置、移動装置、情報処理システム、および方法、並びにプログラムに関する。
近年、車両走行の安全性の向上やドライバの負荷軽減等を目的として、ドライバが車両の走行操舵作業に介在せずとも車両の走行を自動で制御したり走行の支援を行ったりする自動操舵システムの開発が進められている。将来的には車両の走行制御を全て自動で行える様になると、自動走行モードで車両を利用中の使用者は該当車両が自動運転中に一切の運転操舵作業から離れ、本来の一次タスクである操舵作業に対して別の2次タスクの実行が許容されるようになると期待される。しかし、本来であれば運転に携わっていた運転者が、車両の制御ループから一旦完全に離れ、車両の制御を車両の自動運転システムに一任した場合、運転者の運転に必須である周辺状況把握は離れている間はなされず、その結果ドライバによる運転操舵作業に必要な周辺状況把握認知が一旦完全に途切れる事にもつながる。
仮に運転者が前記自動運転で車両の走行が可能なシステムを用いて、自動操舵走行を開始した状況では、運転者は操舵に必要な周辺環境を認知する本来の一次タスク作業から離れているために、システムが制御する走行を継続的にし続けるか、運転者による復帰が必要である状況が発生した場合、車両を安全に運転者に引き継ぐ必要があるが、運転者走行に必要な状況把握や操作能力が限られた時間で復帰できる状況にあるとは限らない。つまり、車両の自動操舵システムを利用して自動で走行状態に一旦入ると、その後の車両の安全性は走行する環境が目的地に到着するまで、該自動操舵システムが認知対応可能な状況の範囲の事象が持続するか、または安全に自動操舵システムが機能している途中でシステムに代わり運転者が正常な道路走行状況把握をして走行操舵制御を引き継ぐか、車両の走行を中断して該当車両を緊急停車させるなど、システムが取れる対応は限定される。
この場合、運転者が自主的に引き継がない事態が発生すると、走行ルートで引継ぎが必要な区間に接近すると、システムは走行中の車両を安全の為に緊急停車させることになる。しかし道路一般で車両を緊急に停車させたりまたは減速したりした場合、結果的に該当道路の許容交通量にボトルネック生む事になり、渋滞など社会インフラとしての基幹機能の低下を招くことが想定され、社会活動の観点では望ましい利用形態とはいえない。
言い換えると、自動運転システムを社会的に広域で利用できるようにして且つ社会の基幹機能に負の影響を与えることなく導入するには、運転者により自動運転の状態で走行を開始した車において、システムは運転者にほぼ確実に且つ的確に復帰させる機能が求められるともいえる。
言い換えると、自動運転システムを社会的に広域で利用できるようにして且つ社会の基幹機能に負の影響を与えることなく導入するには、運転者により自動運転の状態で走行を開始した車において、システムは運転者にほぼ確実に且つ的確に復帰させる機能が求められるともいえる。
自動運転のシステムが運転者に車両の制御を安心して引き渡して良いかその運転者の運転復帰能力を判断出来ない限り、システムが運転者に車の制御を戻す事が出来ない。その為、自動運転の利用が全面的に可能な閉じた空間での利用形態が一つの使い方となると考えられている。他方、車の利点は任意の地点から異なる任意の地点を自由に移送する事であるが、仮にその様な利用形態において自動運転が導入された場合、自動運転で通過が出来ない区間が存在した場合、前述の運転者へ自動運転から復帰させる必要が生じ、仮に復帰が困難な場合に車両を路肩等へ停車させたとしても、上記の通り、交通渋滞を誘発することに繋がる。
実際、一般車が走行する社会インフラで自動運転が導入されたとしても、社会が許容するインフラ投資の観点から見ても当面の道路インフラとしては運転者介在する必要がある区間と自動運転可能な区間が交互に入り混じった状態が想定される。そして取り分け初期の導入期ではそれらが旅程区間を通して交互に斑状に表れることが想定される導入形態となる。そのため、運転者が自動運転可能な車両を利用した際に2次タスクの実行を良好に行うためには、当該運転者に運転復帰の通知を適切なタイミング行うことが必要となる。
例えば、特許文献1には、自車両の走行予定道路における複数の危険に対して、その危険度を表示する技術が開示されている。また、例えば、特許文献2には、自動運転中において運転者に手動運転を開始させる場合に、携帯端末に意識を集中させている運転者に対して、手動運転の開始をしなければならない状況にあることを携帯端末の画面に表示して知らせる技術が開示されている。これら公知の技術は、走行環境として地図情報として事前取得可能な公知の既定地点に対する一律の通知方法である。
自動運転を行うための車両周辺環境認識技術が成熟してきた事と、車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ(LDM)の導入により、車両の自動運転を実世界空間で利用する機運が高まっている。確かに、これら実験的に示された今日の技術進歩で、一般道でも車両が自動で走行ができる技術そのものは既に存在し、且つ走行すること自体は可能である事が多々の実験で示されている。
市街地や高速道路を走る自動運転車両の走行を支える技術の一つが、このローカルダイナミックマップ(LDM)である。LDMは階層化された複数のレイヤーの情報群で構成され、例えば中長期的に更新さる国土地理院地図等を元に生成された元地図情報、さらにその情報を元に定期情報更新を行い補正した固定地図情報をルートプラニングやルートナビゲーションに利用し、さらに実際の走行に伴う環境リファレンスインフラ固定物のレイヤー情報や、道路関連標識や信号器は道路制限情報など、更にはより高密度ライブ情報をも取り込む事で周囲歩行者、分類、移動予測方向などを提供するローカルダイナミックマップの提供が模索されている。とはいえ、常に自動運転制御が可能な車両にLDMの地図情報を提供しただけでは、旅程の全区間を自動運転で走破することが保証できるものではない。また、LDMとしてタイムリーな情報更新が出来ない場合もあり、LDMから得られない実際の状況に基づいて運転者の運転操舵復帰が求められる事もある。
LDMは鉄道車両における軌道の様に旅程の全工程その情報に頼って自動運転で走行を保証するものではない。そして、その四六時中の常時更新に不備が生じてデータの一時的陳腐化が起き事もある。ましてはLDM情報が提供されても、落下物や震災や濃霧など想定外事象の発生で、もはや車が自動運転モードのまま走行が困難な事もある。また、極端な事例でなくとも、今日の技術を持いて自動運転を任意の2点間で決まる旅程を組んだ場合、その途中途中で自動運転走行が可能な区間と運転者が自動走行制御を見守らないと安全に走行通過が困難な区間や更には自動運転では該当区間で発生し得る事象に対処が出来ず手動運転が安全に区間を通過するには必須となる事もある。
そのため、車両を利用して他点間移動すると、途中で複数回自動運転から手動運転に走行中引き継ぐ作業が発生する。ここで、自動運転の利用が広く普及し始めると、利用者はその恩恵の一つとなる運転操舵から思考意識も切離れた2次タスクの実行をするようになる。その場合、システムが運転者に復帰通知を促し、運転者が実際に2次タスクの実行意識集中を中断し、運転操舵に復活するには通知から復帰まで遅延が生じ、且つその遅延は実行中となる2次タスクの内容やその時の運転者意識の操舵からの乖離状態により大きく変化する。結果的に、システムが運転者に上記理由より自動運転から手動運転に復帰要請の通知を出しても決まった時間で復帰は起こらず、運転に必要な状況判断認識能力や2次タスクによる意識乖離度などで決まる一定の時間的分布を示す事になる。この反応時間の分布により、素早く反応するケースと時間を要するケースが発生する。
そして、この復帰通知から対処時間の分布には別の問題をはらむ。システムが運転の状態によらず常に早期通知を繰り返し実行すると、利用者は復帰必要タイミングより極めて早い通知である事になれてしまう。そして、次第に通知に対する早期復帰の必要性認識は薄れていき、常ではないにしても、早期の通知が繰り返し発報すると、無意識の内に通知を不要なノイズとしてとらえ、重要性意識の低下が進む。または、通知を煩わしく思うあまりに通知音を意識的に低減したり、更には通知音に対し無意識の内に音のフィルタリングが進む事を招いたりもする。
つまり、車両制御システムが的確な状況に応じた運転者復帰タイミング通知が出来ないシステムは利用者の行動特性に影響を与え、必要なタイミングで復帰が出来ない事を偶発的にもたらすリスクを生み出す。
更に、道路インフラに視点を置くと自動運転車両で自動運転が許容される「自動運転区間」から手動運転が要求される「手動運転区間」に侵入する前に、運転者の所定の注意の下で走行することを要求する「注意下走行区間」を設定し、この「注意下走行区間」の走行期間内に100%の運転者が手動運転に復帰する事が望ましい。
しかし、「自動運転区間」で運転者が行っている運転操舵以外の作業である2次タスクの内容次第では、100%の復帰は望めない。そこで、その代わりに自動運転モードで走行中の車両の運転者が復帰に失敗して車両の自動運転システムで制御している間に車両を減速したり、緊急減速徐行したり、更には徐行退避、路肩停車など対処が提案されている。
しかし、「自動運転区間」で運転者が行っている運転操舵以外の作業である2次タスクの内容次第では、100%の復帰は望めない。そこで、その代わりに自動運転モードで走行中の車両の運転者が復帰に失敗して車両の自動運転システムで制御している間に車両を減速したり、緊急減速徐行したり、更には徐行退避、路肩停車など対処が提案されている。
車両の走行自体の安全性確保の視点で見ればごく自然な対処であり、その事態はまっとうな制御と言えるが、しかしながら社会活動の動脈路で有りえる幹線道路で車両が停車し、それもバイパスの利かない幹線ルートでこの緊急停車が発生すると、社会活動とういう上位レベルの活動を麻痺する事となり、社会的な大きな課題を誘発する結果を招く。
そこで、人の行動特性を加味して長期利用による弊害も考慮して道路インフラに対する負荷を最少化する必要がある。それには自動運転中の車両の運転者が、手動運転復帰を求められた場合、高い成功率で速やかに手動運転に復帰できる仕組みが必要となり、道路状況に応じて復帰タイミングで復帰通知を行える様にし、その結果利用者がより的確なタイミングで復帰作業に取り掛かる循環を生み出す新たな仕組みつくりが必要である。
本開示は、例えば、上述の問題点に鑑みてなされたものであり、自動運転中の車両の運転者が、手動運転復帰を求められる場合、目標復帰成功率(RRR:Requested
Recovery Ratio)に応じた成功率で速やかに手動運転に復帰できる仕組みを実現する情報処理装置、移動装置、情報処理システム、および方法、並びにプログラムを提供することを目的とする。
Recovery Ratio)に応じた成功率で速やかに手動運転に復帰できる仕組みを実現する情報処理装置、移動装置、情報処理システム、および方法、並びにプログラムを提供することを目的とする。
本開示の第1の側面は、
予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する情報処理装置にある。
予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する情報処理装置にある。
さらに、本開示の第2の側面は、
ローカルダイナミックマップ(LDM)を移動装置に提供するサーバとしての情報処理装置であり、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を生成、更新するRRR情報付属LDM生成、更新部を有する情報処理装置にある。
ローカルダイナミックマップ(LDM)を移動装置に提供するサーバとしての情報処理装置であり、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を生成、更新するRRR情報付属LDM生成、更新部を有する情報処理装置にある。
さらに、本開示の第3の側面は、
移動装置の運転者情報を取得する運転者情報取得部と、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を取得する環境情報取得部と、
前記目標復帰成功率(RRR)を達成するために自動運転実行中の運転者が必要とする手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する移動装置にある。
移動装置の運転者情報を取得する運転者情報取得部と、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を取得する環境情報取得部と、
前記目標復帰成功率(RRR)を達成するために自動運転実行中の運転者が必要とする手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する移動装置にある。
さらに、本開示の第4の側面は、
サーバと移動装置を有する情報処理システムであり、
前記サーバは、ローカルダイナミックマップ(LDM)を前記移動装置に提供するサーバであり、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を生成、更新して、前記移動装置に送信し、
前記移動装置は、
前記サーバから受信する目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)に記録された目標復帰成功率(RRR)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定する情報処理システムにある。
サーバと移動装置を有する情報処理システムであり、
前記サーバは、ローカルダイナミックマップ(LDM)を前記移動装置に提供するサーバであり、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を生成、更新して、前記移動装置に送信し、
前記移動装置は、
前記サーバから受信する目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)に記録された目標復帰成功率(RRR)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定する情報処理システムにある。
さらに、本開示の第5の側面は、
情報処理装置において実行する情報処理方法であり、
データ処理部が、
予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定する情報処理方法にある。
情報処理装置において実行する情報処理方法であり、
データ処理部が、
予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定する情報処理方法にある。
さらに、本開示の第6の側面は、
情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出させ、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定させるプログラムにある。
情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出させ、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定させるプログラムにある。
なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
本開示の一実施例の構成によれば、道路区間単位の目標復帰成功率(RRR)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知を行う構成が実現される。
具体的には、例えば、予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する。データ処理部は、ローカルダイナミックマップ(LDM)の付属情報として設定された道路区間単位の目標復帰成功率(RRR)を取得し、運転者単位の学習データを利用して走行予定の道路区間単位の手動運転復帰可能時間を算出する。
本構成により、道路区間単位の目標復帰成功率(RRR)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知を行う構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
具体的には、例えば、予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する。データ処理部は、ローカルダイナミックマップ(LDM)の付属情報として設定された道路区間単位の目標復帰成功率(RRR)を取得し、運転者単位の学習データを利用して走行予定の道路区間単位の手動運転復帰可能時間を算出する。
本構成により、道路区間単位の目標復帰成功率(RRR)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知を行う構成が実現される。
なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
以下、図面を参照しながら本開示の情報処理装置、移動装置、情報処理システム、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
1.ローカルダイナミックマップ(LDM)と本開示の構成の概要について
2.移動装置と情報処理装置の構成と処理の概要について
3.移動装置の具体的な構成と処理例について
4.自動運転モードから手動運転モードへのモード切り替えシーケンスについて
5.自動運転の動作シーケンス例について
6.移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について
7.本開示の移動装置、情報処理装置、またはサーバの実行する情報処理シーケンスについて
8.ローカルダイナミックマップ(LDM)、および目標復帰成功率(RRR)の取得、利用処理シーケンスについて
9.目標復帰成功率(RRR)を利用した手動運転復帰通知処理のシーケンスについて
10.情報処理装置の構成例について
11.本開示の構成のまとめ
1.ローカルダイナミックマップ(LDM)と本開示の構成の概要について
2.移動装置と情報処理装置の構成と処理の概要について
3.移動装置の具体的な構成と処理例について
4.自動運転モードから手動運転モードへのモード切り替えシーケンスについて
5.自動運転の動作シーケンス例について
6.移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について
7.本開示の移動装置、情報処理装置、またはサーバの実行する情報処理シーケンスについて
8.ローカルダイナミックマップ(LDM)、および目標復帰成功率(RRR)の取得、利用処理シーケンスについて
9.目標復帰成功率(RRR)を利用した手動運転復帰通知処理のシーケンスについて
10.情報処理装置の構成例について
11.本開示の構成のまとめ
[1.ローカルダイナミックマップ(LDM)と本開示の構成の概要について]
まず、図1以下を参照して、ローカルダイナミックマップ(LDM)の概要について説明する。自動運転を行う際に必要となる情報の一つとして、ローカルダイナミックマップ(LDM)がある。
図1に示すように、LDMは階層化された複数タイプのレイヤーの情報群で構成される。すなわち、LDMは、以下の4つのタイプの情報によって構成される。
タイプ1=静的データ
タイプ2=準静的データ
タイプ3=準動的データ
タイプ4=動的データ
まず、図1以下を参照して、ローカルダイナミックマップ(LDM)の概要について説明する。自動運転を行う際に必要となる情報の一つとして、ローカルダイナミックマップ(LDM)がある。
図1に示すように、LDMは階層化された複数タイプのレイヤーの情報群で構成される。すなわち、LDMは、以下の4つのタイプの情報によって構成される。
タイプ1=静的データ
タイプ2=準静的データ
タイプ3=準動的データ
タイプ4=動的データ
タイプ1=静的データは、例えば中長期的に更新さる国土地理院地図等を元に生成された地図情報等のデータによって構成される。
タイプ2=準静的データは、例えばビル等の建築物、樹木、標識等、短期的に大きな変化はないが、長期的には変化が発生するデータ等によって構成される。
タイプ3=準動的データは、信号、渋滞、事故等、ある一定の時間単位で変化し得るデータによって構成される。
タイプ4=動的データは、車、人等の往来情報等であり、逐次変化するデータによって構成される。
タイプ2=準静的データは、例えばビル等の建築物、樹木、標識等、短期的に大きな変化はないが、長期的には変化が発生するデータ等によって構成される。
タイプ3=準動的データは、信号、渋滞、事故等、ある一定の時間単位で変化し得るデータによって構成される。
タイプ4=動的データは、車、人等の往来情報等であり、逐次変化するデータによって構成される。
これらのデータから構成されるローカルダイナミックマップ(LDM)は、例えばサーバから各自動車に送信され、自動車がこのLDMを解析して、走行ルートの設定や、走行スピード、レーンの制御など、自動運転の制御に利用する。
なお、サーバは、最新情報に基づくローカルダイナミックマップ(LDM)の更新処理を継続的に実行しており、各自動車は、LDM利用時に最新の情報をサーバから取得して利用する。
なお、サーバは、最新情報に基づくローカルダイナミックマップ(LDM)の更新処理を継続的に実行しており、各自動車は、LDM利用時に最新の情報をサーバから取得して利用する。
しかし、現状においては、自動運転車両がLDM情報を利用して自動運転可能な区間は、高速道路の一部区間等、限られた区間であり、運転者による手動運転が求められる区間が、多数、存在する。また、現状のLDMはタイムリーな情報更新がなされない場合があり、このような場合も、運転者による手動運転が求められる。
このように、現状のインフラを利用した場合、自動運転車両による自動運転を行う運転者は、様々なタイミングや地点で自動運転から手動運転への復帰が求められることになる。
しかし、運転者は、自動運転の実行時には、例えば居眠り等を行い覚醒度が低下した状態、すなわち意識レベルが低い状態になっている場合が多い。このような状態で、運転者に手動運転への復帰を要求しても、復帰に失敗してしまう可能性が高い。復帰の不成功車両は、例えば道路わきの退避スペースに緊急停止させる等の方策は可能であるが、復帰失敗車両が大量に発生すると、退避スペースが不足する事態が発生し得る。
しかし、運転者は、自動運転の実行時には、例えば居眠り等を行い覚醒度が低下した状態、すなわち意識レベルが低い状態になっている場合が多い。このような状態で、運転者に手動運転への復帰を要求しても、復帰に失敗してしまう可能性が高い。復帰の不成功車両は、例えば道路わきの退避スペースに緊急停止させる等の方策は可能であるが、復帰失敗車両が大量に発生すると、退避スペースが不足する事態が発生し得る。
このような問題を解決するのが以下に説明する本開示の構成である。本開示の構成では、道路の区間単位で、自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR:Requested Recovery Ratio)を設定する。さらに、この道路区間単位の目標復帰成功率(RRR)に応じて、自動運転車両に対する手動運転への復帰要請通知のタイミングを制御する。
例えば目標復帰成功率(RRR)の高い道路区間では、自動運転車両に対する手動運転への復帰要請通知のタイミングを目標復帰成功率(RRR)の低い道路区間より、早めに設定する。この制御により、目標復帰成功率(RRR)の高い道路区間では、手動運転への復帰の成功率を目標値に近づけることが可能となる。
なお、目標復帰成功率(RRR)は、道路状況に応じて、逐次変化する情報であり、この目標復帰成功率(RRR)は、例えば、ローカルダイナミックマップ(LDM)の構成情報として設定する。すなわち、ローカルダイナミックマップ(LDM)提供サーバが、自動運転車両に対して逐次、更新された目標復帰成功率(RRR)を含むローカルダイナミックマップ(LDM)を生成して送信する。各自動運転車両は、LDMに含まれる目標復帰成功率(RRR)に応じて、自動運転から手動運転への復帰要請通知タイミングを制御する。以下、本開示の構成と処理の詳細について説明する。
[2.移動装置と情報処理装置の構成と処理の概要について]
図2以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者(ドライバ)に手動運転を開始させることが必要となる。
図2以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者(ドライバ)に手動運転を開始させることが必要となる。
しかし、自動運転実行中に運転者が行う処理(2次タスク)は様々である。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。
これらの処理の違いにより、運転者の覚醒度(意識レベル)は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。
これらの処理の違いにより、運転者の覚醒度(意識レベル)は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
このためには、自動運転実行中の運転者の覚醒度に応じて、自動運転から手動運転への切り替え要求を行う通知タイミングを変更することが必要である。
このためには、自動運転実行中の運転者の覚醒度に応じて、自動運転から手動運転への切り替え要求を行う通知タイミングを変更することが必要である。
例えば、自動運転実行中に運転者が前を向いて道路を見ているような場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前のタイミングに行えばよい。運転者は、すぐに安全な手動運転を開始することができるからである。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前のタイミングに行えばよい。運転者は、すぐに安全な手動運転を開始することができるからである。
しかし、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を手動運転が必要となる時間の直前のタイミングに行うと、運転者は、意識がはっきりしない状態で手動運転を開始せざるを得ない。その結果、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で手動運転への切り替え通知を行うことが必要となる。
このような場合、手動運転への切り替え通知を手動運転が必要となる時間の直前のタイミングに行うと、運転者は、意識がはっきりしない状態で手動運転を開始せざるを得ない。その結果、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で手動運転への切り替え通知を行うことが必要となる。
前述したように、現状は、全ての走行区間を自動運転可能なインフラの整備が実現されておらず、運転者の手動運転が求められる区間が存在し、運転者は、様々なタイミングや地点で自動運転から手動運転への復帰が求められることになる。
しかし、運転者が、自動運転実行時に居眠り等により覚醒度が低下した状態になっていると、運転者に手動運転への復帰を要求しても、復帰に失敗してしまう可能性が高い。復帰に失敗した車両は緊急停止させる等の方策をほ取らざるを得ないが、このうな車両の大量発生は、渋滞や事故を発生させる要因となる。
しかし、運転者が、自動運転実行時に居眠り等により覚醒度が低下した状態になっていると、運転者に手動運転への復帰を要求しても、復帰に失敗してしまう可能性が高い。復帰に失敗した車両は緊急停止させる等の方策をほ取らざるを得ないが、このうな車両の大量発生は、渋滞や事故を発生させる要因となる。
このような問題を解決するため、本開示の構成では、道路の区間単位で、自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR:Requested Recovery Ratio)を設定し、この目標復帰成功率(RRR)に応じて、自動運転車両に対する手動運転への復帰要請通知のタイミングを制御する。
図2以下を参照して本開示の移動装置と、移動装置に装着可能な情報処理装置の構成と処理について説明する。
図2は、本開示の移動装置の一例である自動車10の一構成例を示す図である。
図2に示す自動車10に本開示の情報処理装置が装着されている。
図2は、本開示の移動装置の一例である自動車10の一構成例を示す図である。
図2に示す自動車10に本開示の情報処理装置が装着されている。
図2に示す自動車10は、手動運転モードと、自動運転モードの2つの運転モードによる運転が可能な自動車である。
手動運転モードは、運転者(ドライバ)20の操作、すなわちハンドル(ステアリング)操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
一方、自動運転モードでは、運転者(ドライバ)20による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
位置センサは、例えばGPS受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等である。
手動運転モードは、運転者(ドライバ)20の操作、すなわちハンドル(ステアリング)操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
一方、自動運転モードでは、運転者(ドライバ)20による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
位置センサは、例えばGPS受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等である。
なお、図2は、本開示の概要を説明する図であり、主要な構成要素を概略的に示している。詳細構成については後段で説明する。
図2に示すように、自動車10は、データ処理部11、運転者情報取得部12、環境情報取得部13、通信部14、通知部15を有する。
運転者情報取得部12は、例えば、運転者の覚醒度を判定するための情報、例えば、運転者の生体情報や、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔画像を撮影するカメラ、眼球や瞳孔の動き等を取得するセンサ、体温等の測定センサ、さらに、各操作部(ハンドル、アクセル、ブレーキ等)の操作情報取得部等によって構成される。
運転者情報取得部12は、例えば、運転者の覚醒度を判定するための情報、例えば、運転者の生体情報や、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔画像を撮影するカメラ、眼球や瞳孔の動き等を取得するセンサ、体温等の測定センサ、さらに、各操作部(ハンドル、アクセル、ブレーキ等)の操作情報取得部等によって構成される。
環境情報取得部13は、自動車10の走行環境情報を取得する。例えば、自動車の前後左右の画像情報、GPSによる位置情報、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection
and Ranging)、ソナー等からの周囲の障害物情報等である。
and Ranging)、ソナー等からの周囲の障害物情報等である。
データ処理部11は、運転者情報取得部12の取得した運転者情報や、環境情報取得部13の取得した環境情報を入力し、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否か、さらに手動運転中の運転者が安全な運転を実行しているか否か等を示す安全性指標値を算出する。
さらに、例えば、自動運転モードから手動運転モードへの切り替えの必要が発生した場合に、手動運転モードへの切り替えを行うように、通知部15を介して通知する処理を実行する。
さらに、例えば、自動運転モードから手動運転モードへの切り替えの必要が発生した場合に、手動運転モードへの切り替えを行うように、通知部15を介して通知する処理を実行する。
この通知処理のタイミングは、例えば運転者情報取得部12、環境情報取得部13を入力して算出した最適なタイミングとする。
すなわち、運転者20が、安全な手動運転を開始できるようなタイミングとする。
具体的には、運転者の覚醒度が高い場合は、手動運転開始時間の直前、例えば5秒前に通知を行い、運転者の覚醒度が低い場合は、余裕をもって手動運転開始時間の20秒前に行う等の処理を行う。具体的な通知に最適なタイミングの算出は後述する。
すなわち、運転者20が、安全な手動運転を開始できるようなタイミングとする。
具体的には、運転者の覚醒度が高い場合は、手動運転開始時間の直前、例えば5秒前に通知を行い、運転者の覚醒度が低い場合は、余裕をもって手動運転開始時間の20秒前に行う等の処理を行う。具体的な通知に最適なタイミングの算出は後述する。
通知部15は、この通知を行う表示部、音声出力部、あるいはハンドルやシートのバイブレータによって構成される、
通知部15を構成する表示部に対する警告表示の例を図3に示す。
通知部15を構成する表示部に対する警告表示の例を図3に示す。
図3に示すように、通知部(表示部)15には、以下の各表示がなされる。
運転モード情報=「自動運転中」、
警告表示=「手動運転に切り替えてください」
運転モード情報=「自動運転中」、
警告表示=「手動運転に切り替えてください」
運転モード情報の表示領域には、自動運転モードの実行時は「自動運転中」の表示が行われ、手動運転モードの実行時は「手動運転中」の表示が行われる。
警告表示情報の表示領域には、自動運転モードで自動運転を実行している間に、以下の表示を行う表示領域である。
「手動運転に切り替えてください」
「手動運転に切り替えてください」
なお、図2に示すように、自動車10は通信部14を介してサーバ30と通信可能な構成を持つ。
例えば、データ処理部11における通知出力の適正時間を算出する処理の一部、具体的には学習処理をサーバ30において行うことが可能である。
この具体例については後述する。
例えば、データ処理部11における通知出力の適正時間を算出する処理の一部、具体的には学習処理をサーバ30において行うことが可能である。
この具体例については後述する。
図4は、本開示の移動装置や情報処理装置が実行する処理の具体例を示す図である。
図4には、自動運転モードで自動運転を実行している間に、手動運転への切り替え要求を行う通知の適正タイミングの設定例を示す図であり、以下の2つの例の通知処理例を示している。
(a)自動運転実行中の運転者の覚醒度が高い場合の通知処理
(b)自動運転実行中の運転者の覚醒度が低い場合の通知処理
図4には、自動運転モードで自動運転を実行している間に、手動運転への切り替え要求を行う通知の適正タイミングの設定例を示す図であり、以下の2つの例の通知処理例を示している。
(a)自動運転実行中の運転者の覚醒度が高い場合の通知処理
(b)自動運転実行中の運転者の覚醒度が低い場合の通知処理
(a)の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
(b)の例は、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
さらに、本開示の構成では、道路の区間単位で、自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR:Requested Recovery Ratio)を設定し、この目標復帰成功率(RRR)に応じて、自動運転車両に対する手動運転への復帰要請通知のタイミングを制御する。この具体的制御例については後段で説明する。
[3.移動装置の具体的な構成と処理例について]
次に、図5以下を参照して、本開示の自動車10に相当する移動装置の具体的な構成と処理例について説明する。
図5は、移動装置100の構成例を示している。なお、以下、移動装置100が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
次に、図5以下を参照して、本開示の自動車10に相当する移動装置の具体的な構成と処理例について説明する。
図5は、移動装置100の構成例を示している。なお、以下、移動装置100が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
移動装置100は、入力部101、データ取得部102、通信部103、車内機器104、出力制御部105、出力部106、駆動系制御部107、駆動系システム108、ボディ系制御部109、ボディ系システム110、記憶部111、および、自動運転制御部112を備える。
入力部101、データ取得部102、通信部103、出力制御部105、駆動系制御部107、ボディ系制御部109、記憶部111、および、自動運転制御部112は、通信ネットワーク121を介して、相互に接続されている。通信ネットワーク121は、例えば、CAN(Controller Area Network)、LIN(Local
Interconnect Network)、LAN(Local Area Network)、または、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、移動装置100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
Interconnect Network)、LAN(Local Area Network)、または、FlexRay(登録商標)等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、移動装置100の各部は、通信ネットワーク121を介さずに、直接接続される場合もある。
なお、以下、移動装置100の各部が、通信ネットワーク121を介して通信を行う場合、通信ネットワーク121の記載を省略するものとする。例えば、入力部101と自動運転制御部112が、通信ネットワーク121を介して通信を行う場合、単に入力部101と自動運転制御部112が通信を行うと記載する。
入力部101は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部101は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部101は、赤外線もしくはその他の電波を利用したリモートコントロール装置、または、移動装置100の操作に対応したモバイル機器もしくはウェアラブル機器等の外部接続機器であってもよい。入力部101は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動装置100の各部に供給する。
データ取得部102は、移動装置100の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動装置100の各部に供給する。
例えば、データ取得部102は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ジャイロセンサ、加速度センサ、慣性計測装置(IMU)、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を備える。
また、例えば、データ取得部102は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、ToF(Time Of Flight)カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部102は、天候または気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、LiDAR(Light Detection and Ranging、Laser Imaging Detection and Ranging)、ソナー等からなる。
例えば、図6は、自車の外部情報を検出するための各種のセンサの設置例を示している。撮像装置7910,7912,7914,7916,7918は、例えば、車両7900のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。
フロントノーズに備えられる撮像装置7910および車室内のフロントガラスの上部に備えられる撮像装置7918は、主として車両7900の前方の画像を取得する。サイドミラーに備えられる撮像装置7912,7914は、主として車両7900の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置7916は、主として車両7900の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像装置7918は、主として先行車両または、歩行者、障害物、信号機、交通標識または車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。
なお、図6には、それぞれの撮像装置7910,7912,7914,7916の撮影範囲の一例が示されている。撮像範囲aは、フロントノーズに設けられた撮像装置7910の撮像範囲を示し、撮像範囲b,cは、それぞれサイドミラーに設けられた撮像装置7912,7914の撮像範囲を示し、撮像範囲dは、リアバンパまたはバックドアに設けられた撮像装置7916の撮像範囲を示す。例えば、撮像装置7910,7912,7914,7916で撮像された画像データが重ね合わせられることにより、車両7900を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。
車両7900のフロント、リア、サイド、コーナおよび車室内のフロントガラスの上部に設けられるセンサ7920,7922,7924,7926,7928,7930は、例えば超音波センサまたはレーダであってよい。車両7900のフロントノーズ、リアバンパ、バックドアおよび車室内のフロントガラスの上部に設けられるセンサ7920,7926,7930は、例えばLiDARであってよい。これらのセンサ7920~7930は、主として先行車両、歩行者または障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。
図5に戻って各構成要素の説明を続ける。データ取得部102は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、GNSS(Global Navigation Satellite System)衛星からのGNSS信号を受信するGNSS受信機等を備える。
また、例えば、データ取得部102は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部102は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面またはステアリングホイール等に設けられ、座席に座っている搭乗者の着座状態またはステアリングホイールを握っている運転者の生体情報を検出する。生体信号としては心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応など多様化可観測データが利用可能である。これら、可観測の運転状態を反映した生体活動可観測情報は、観測から推定される可観測評価値として集約し評価値のログと紐付けたられた復帰遅延時間特性から該当運転者の復帰遅延事案の固有特性として後述する安全性判別部(学習処理部)155で復帰通知タイミングの算出に用いる。
図7は、データ取得部102に含まれる車内の運転者の情報を得るための各種センサの例を示している。例えば、データ取得部102は、運転者の位置、姿勢を検出するための検出器として、ToFカメラ、ステレオカメラ、シート・ストレイン・ゲージ(Seat
Strain Gauge)等を備える。また、データ取得部102は、運転者の生体活動可観測情報を得るための検出器として、顔認識器(Face(Head) Recognition)、ドライバ・アイ・トラッカー(Driver Eye Tracker)、ドライバー・ヘッド・トラッカー(Driver Head Tracker)等を備える。
Strain Gauge)等を備える。また、データ取得部102は、運転者の生体活動可観測情報を得るための検出器として、顔認識器(Face(Head) Recognition)、ドライバ・アイ・トラッカー(Driver Eye Tracker)、ドライバー・ヘッド・トラッカー(Driver Head Tracker)等を備える。
また、データ取得部102は、運転者の生体活動可観測情報を得るための検出器として、生体信号(Vital Signal)検出器を備えている。また、データ取得部102は、運転者認証(Driver Identification)部を備えている。なお、認証方式としては、パスワードや暗証番号などによる知識認証他、顔、指紋、瞳の虹彩、声紋などによる生体認証も考えらえる。
通信部103は、車内機器104、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動装置100の各部から供給されるデータを送信したり、受信したデータを移動装置100の各部に供給したりする。なお、通信部103がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部103が、複数の種類の通信プロトコルをサポートすることも可能である
例えば、通信部103は、無線LAN、Bluetooth(登録商標)、NFC(Near Field Communication)、または、WUSB(Wireless USB)等により、車内機器104と無線通信を行う。また、例えば、通信部103は、図示しない接続端子(および、必要であればケーブル)を介して、USB(Universal Serial Bus)、HDMI(登録商標)(High-Definition Multimedia Interface)、または、MHL(Mobile High-definition Link)等により、車内機器104と有線通信を行う。
さらに、例えば、通信部103は、基地局またはアクセスポイントを介して、外部ネットワーク(例えば、インターネット、クラウドネットワークまたは事業者固有のネットワーク)上に存在する機器(例えば、アプリケーションサーバまたは制御サーバ)との通信を行う。また、例えば、通信部103は、P2P(Peer To Peer)技術を用いて、自車の近傍に存在する端末(例えば、歩行者もしくは店舗の端末、または、MTC(Machine Type Communication)端末)との通信を行う。
さらに、例えば、通信部103は、車車間(Vehicle to Vehicle)通信、路車間(Vehicle to Infrastructure)通信、自車と家との間(Vehicle to Home)の通信、および、歩車間(Vehicle to Pedestrian)通信等のV2X通信を行う。また、例えば、通信部103は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制または所要時間等の情報を取得する。なお、通信部を通して先導車両となり得る区間走行中前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部102のデータと補完利用をしてもよく、特に先導車による隊列走行などで後続隊列のより安全性を確保する手段となる。
車内機器104は、例えば、搭乗者が有するモバイル機器(タブレット、スマートフォンなど)もしくはウェアラブル機器、自車に搬入され、もしくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。なお、自動運転の普及でかならずしも乗員は着座固定位置に固定されないことを考慮すれば、将来的にはビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張利用してもよい。本実施例では、運転者の介在必要地点の情報呈示を該当する運転者に限定した例として記述をしているが、情報提供はさらに隊列走行等で後続車への情報提供をしてもよいし、更には旅客輸送相乗りバスや長距離物流商用車の運行管理センターに常時情報を上げる事で、適宜遠隔での走行支援と組み合せ利用をしてもよい。
出力制御部105は、自車の搭乗者または車外に対する各種の情報の出力を制御する。例えば、出力制御部105は、視覚情報(例えば、画像データ)および聴覚情報(例えば、音声データ)のうちの少なくとも1つを含む出力信号を生成し、出力部106に供給することにより、出力部106からの視覚情報および聴覚情報の出力を制御する。具体的には、例えば、出力制御部105は、データ取得部102の異なる撮像装置により撮像された画像データを合成して、俯瞰画像またはパノラマ画像等を生成し、生成した画像を含む出力信号を出力部106に供給する。また、例えば、出力制御部105は、衝突、接触、危険地帯への進入等の危険に対する警告音または警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部106に供給する。
出力部106は、自車の搭乗者または車外に対して、視覚情報または聴覚情報を出力することが可能な装置を備える。例えば、出力部106は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部106が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、AR(Augmented Reality)表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
駆動系制御部107は、各種の制御信号を生成し、駆動系システム108に供給することにより、駆動系システム108の制御を行う。また、駆動系制御部107は、必要に応じて、駆動系システム108以外の各部に制御信号を供給し、駆動系システム108の制御状態の通知等を行う。
駆動系システム108は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム108は、内燃機関または駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、回生ブレーキを含む制動力を発生させる制動装置、ABS(Antilock Brake System)、ESC(Electronic Stability Control)、並びに、電動パワーステアリング装置等を備える。
ボディ系制御部109は、各種の制御信号を生成し、ボディ系システム110に供給することにより、ボディ系システム110の制御を行う。また、ボディ系制御部109は、必要に応じて、ボディ系システム110以外の各部に制御信号を供給し、ボディ系システム110の制御状態の通知等を行う。
ボディ系システム110は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム110は、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ(例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ等)等を備える。
記憶部111は、例えば、ROM(Read Only Memory)、RAM(Random Access Memory)、HDD(Hard Disc Drive)等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイス等を備える。記憶部111は、移動装置100の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部111は、ダイナミックマップ等の3次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
自動運転制御部112は、自律走行または運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部112は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、または、自車のレーン逸脱警告等を含むADAS(Advanced Driver Assistance System)の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部112は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部112は、検出部131、自己位置推定部132、状況分析部133、計画部134、および、動作制御部135を備える。
検出部131は、自動運転の制御に必要な各種の情報の検出を行う。検出部131は、車外情報検出部141、車内情報検出部142、および、車両状態検出部143を備える。
車外情報検出部141は、移動装置100の各部からのデータまたは信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部141は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離、相対速度の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
また、例えば、車外情報検出部141は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部141は、検出処理の結果を示すデータを自己位置推定部132、状況分析部133のマップ解析部151、交通ルール認識部152、および、状況認識部153、並びに、動作制御部135の緊急事態回避部171等に供給する。
車外情報検出部141が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたローカルダイナミックマップがインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、または該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に情報更新を受けて走行をすることがあってもよい。また、インフラより常時最新のローカルダイナミックマップの更新が行われていない場合など、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラより提供されるルート上の自動運転走行可否情報はいわゆる「情報」としてあたかも見えない軌道を提供していることに等しい。なお、便宜上車外情報検出部141は自車両に搭載した前提で図示をしているが、前走車が「情報」としてとらえた情報を利用する事で、走行時の事前予測性を更に高めても良い。
車内情報検出部142は、移動装置100の各部からのデータまたは信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部142は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、眼球詳細挙動等が含まれる。
さらに、自動運転において運転者は運転操舵作業から完全に離脱した利用が将来的に想定され、運転者は一時的な居眠りや他の作業に取り掛かり、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるかシステムが把握する必要が出てくる。つまり、従来考えられていたドライバモニタリングシステムでは眠気などの意識低下を見る検出手段が主であったが、今後は運転者が運転操舵に全く介在していない状態となるため、システムは運転者の運転介在度合いを操舵機器の操舵安定性等から直接的に観測する手段がなくなり、運転者の正確な意識状態が未知の状態から、運転に必要は意識復帰推移を観測し、その正確な運転者の内部覚醒状態を把握した上で操舵の自動運転から手動運転への介入譲渡を進める必要がある。
そこで、車内情報検出部142には主に大きな2段階の役割があり、一つ目の役割は自動運転中の運転者の状態のパッシブ監視であり、二つ目の役割はいざシステムより復帰の要請が出された以降、注意下運転の区間到達までに手動運転が可能なレベルまで、運転者の周辺認知、知覚、判断とさらには操舵機器の作動能力の検出判断である。制御として更に車両全体の故障自己診断を行い、その自動運転の一部機能故障で自動運転の機能低下が発生した場合も同様に運転者による早期手動運転への復帰をうながしても良い。ここでいうパッシブモニタリングとは、運転者に意識上の応答反応を求めない種類の検出手段をさし、物理的な電波や光等を機器から発信して応答信号を検出する物を除外するものではない。つまり、仮眠中など無意識下の運転者の状態モニタリングを指し、運転者の認知応答反応でない分類をパッシブ方式としている。電波や赤外線等を照射した反射や拡散信号を解析して評価するアクティブ応答デバイスを除外するものではない。反して、運転者に応答反応を求める意識的応答を求める物はアクティブとしている。
検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部142は、検出処理の結果を示すデータを状況分析部133の状況認識部153、および、動作制御部135に供給する。なお、システムによる運転者へ運転復帰指示が出た後に運転者が的確な期限時間内に手動運転が達成できない事が判明し、自運転のまま減速制御を行って時間猶予をおこなっても引継ぎが間に合わないと判断された場合は、システムの緊急事態回避部171等に指示を出し、車両を退避の為に減速、退避・停車手順を開始する。つまり、初期状態として同じ間に合わない状況でも、車両を早期に減速を開始する事で引継ぎ限界に到達する到達時間を稼ぎだすことができる。
車両状態検出部143は、移動装置100の各部からのデータまたは信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部143は、検出処理の結果を示すデータを状況分析部133の状況認識部153、および、動作制御部135の緊急事態回避部171等に供給する。
自己位置推定部132は、車外情報検出部141、および、状況分析部133の状況認識部153等の移動装置100の各部からのデータまたは信号に基づいて、自車の位置および姿勢等の推定処理を行う。また、自己位置推定部132は、必要に応じて、自己位置の推定に用いるローカルマップ(以下、自己位置推定用マップと称する)を生成する。
自己位置推定用マップは、例えば、SLAM(Simultaneous Localization and Mapping)等の技術を用いた高精度なマップとされる。自己位置推定部132は、推定処理の結果を示すデータを状況分析部133のマップ解析部151、交通ルール認識部152、および、状況認識部153等に供給する。また、自己位置推定部132は、自己位置推定用マップを記憶部111に記憶させる。
状況分析部133は、自車および周囲の状況の分析処理を行う。状況分析部133は、マップ解析部151、交通ルール認識部152、状況認識部153、状況予測部154および安全性判別部(学習処理部)155を備える。
マップ解析部151は、自己位置推定部132および車外情報検出部141等の移動装置100の各部からのデータまたは信号を必要に応じて用いながら、記憶部111に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部151は、構築したマップを、交通ルール認識部152、状況認識部153、状況予測部154、並びに、計画部134のルート計画部161、行動計画部162、および、動作計画部163等に供給する。
交通ルール認識部152は、自己位置推定部132、車外情報検出部141、および、マップ解析部151等の移動装置100の各部からのデータまたは信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部152は、認識処理の結果を示すデータを状況予測部154等に供給する。
状況認識部153は、自己位置推定部132、車外情報検出部141、車内情報検出部142、車両状態検出部143、および、マップ解析部151等の移動装置100の各部からのデータまたは信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部153は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部153は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ(以下、状況認識用マップと称する)を生成する。状況認識用マップは、例えば、占有格子地図(Occupancy Grid Map)とされる。
認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き(例えば、速度、加速度、移動方向等)、並びに、自車の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度など車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配など、全く同じ道路環境であっても車両自体の特性、さらには積載物等によっても制御に求められる復帰開始タイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映する必要がある。車両の種類や積載物によって制御タイミングを決定する上で単純に自車両の異常の有無および内容等を観測モニタリングすれば良い内容ではない。運送輸送業などで、積載物固有の特性に応じて一定の安全性を確保する為に望ましい復帰の猶予時間の加算を決めるパラメータを予め固定値として設定をしてもよく、必ずしも全ての通知タイミング決定条件を自己累積学習より一律に定める方法をとらなくともよい。
認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き(例えば、速度、加速度、移動方向等)、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。車両を安全に走行させるという事は、その車両の固有の状態で搭載している積載量や搭載部の車台固定状態、重心の偏重状態、最大減速可能加速値、最大負荷可能遠心力、運転者の状態に応じて復帰応答遅延量などに応じて、対処が求められる制御開始ポイントが大きく異なってくる。
状況認識部153は、認識処理の結果を示すデータ(必要に応じて、状況認識用マップを含む)を自己位置推定部132および状況予測部154等に供給する。また、状況認識部153は、状況認識用マップを記憶部111に記憶させる。
状況予測部154は、マップ解析部151、交通ルール認識部152および状況認識部153等の移動装置100の各部からのデータまたは信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部154は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。
予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。
状況予測部154は、予測処理の結果を示すデータを、交通ルール認識部152および状況認識部153からのデータとともに、計画部134のルート計画部161、行動計画部162、および、動作計画部163等に供給する。
安全性判別部(学習処理部)155は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習する学習処理部としての機能を有し、学習情報を状況認識部153等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
ルート計画部161は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部161は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部161は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部161は、計画したルートを示すデータを行動計画部162等に供給する。
行動計画部162は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、ルート計画部161により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部162は、発進、停止、進行方向(例えば、前進、後退、左折、右折、方向転換等)、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部162は、計画した自車の行動を示すデータを動作計画部163等に供給する
動作計画部163は、マップ解析部151および状況予測部154等の移動装置100の各部からのデータまたは信号に基づいて、行動計画部162により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部163は、加速、減速、および、走行軌道等の計画を行う。動作計画部163は、計画した自車の動作を示すデータを、動作制御部135の加減速制御部172および方向制御部173等に供給する。動作計画部で短期的な走行軌道計画を行う一方で、より長期的には、旅程の開始と走行の継時変化に伴い道路状況は変化するため、つまり運転者の介在必要性がその間に変化するため、走行道路選定ルート再設定を行っても良い。2点間移動の選択可能ルートは必ずしも一意に決まるとな限らず、到着時間を優先した経路選択や運転者の介在必要性のルート中の発生頻度、更には一定の無介在可能連続性の最大化をしたルートなど、運転者の途中2次タスクに応じて運転者にとり望ましいニーズは変わる。つまり、動作計画部163ではそれら継時変化を受けて、変化が一定以上に起きた場合、走行道路選定ルート再設定の提案通知を適宜行っても良い。
動作制御部135は、自車の動作の制御を行う。動作制御部135は、緊急事態回避部171、加減速制御部172、および、方向制御部173を備える。
緊急事態回避部171は、車外情報検出部141、車内情報検出部142、および、車両状態検出部143の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部171は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部171は、計画した自車の動作を示すデータを加減速制御部172および方向制御部173等に供給する。なお、緊急事態回避部は主に運転者がシステムの手動運転要請に応じて引き継ぎ不全が発生した際のシステムと運転者間の制御機能であるが、システムに対する外的トリガーにより車内外の第三者や運転者自身が体調異変を察して車両を緊急事態対処するモードを更に兼ねてもよい。もう少し具体的には、意図的な緊急停車処置として運転者が旅程途中で急激な発作に襲われ、その地点以降の走行で手動運転復帰が見込めず緊急対処とSOS発信としての操作、運転出来ない同乗者による運転者の復帰可能性の低下を見ての予防的処置、システムが事象対処の想定外として発生する地震、落石、飛来物の空からの落下、システム異常、運転中の利用者の意識喪失した走行中車両の第三者緊急停車指示など多様なユースケースでの緊急停車の用途を包含してもよい。
加減速制御部172は、動作計画部163または緊急事態回避部171により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部172は、計画された加速、減速、または、急停車を実現するための駆動力発生装置または制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。なお、緊急事態が発生し得るケースは主に2つある。つまり、自動運転中の走行ルートで本来ならインフラより取得したローカルダイナミックマップ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事象が発生し、緊急復帰が間に合わないケースと、自動運転から手動運転に運転者が的確に復帰することが困難になるケースがある。なお、第三者による緊急停車指示の場合は車両の停車が目的であり、路肩等への安全帯での減速徐行停車が基本となるが、運転者の復帰シーケンスの対応遅延の場合は、車両の減速する事で引き継ぎ地点への到着を遅延させて到達猶予を稼ぐことで、その猶予延長で引き継ぎは実現できることもある。つまり、単に車両を停止させる事に限定するものではない。
方向制御部173は、動作計画部163または緊急事態回避部171により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部173は、動作計画部163または緊急事態回避部171により計画された走行軌道または急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部107に供給する。
[4.自動運転モードから手動運転モードへのモード切り替えシーケンスについて]
次に、自動運転モードから手動運転モードへの引継ぎシーケンスについて説明する。
図8は、自動運転制御部112における自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を概略的に示している。
次に、自動運転モードから手動運転モードへの引継ぎシーケンスについて説明する。
図8は、自動運転制御部112における自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を概略的に示している。
ステップS1は、運転者が運転操舵から完全離脱の状態にある。この状態で、運転者は、例えば、仮眠、あるいはビデオ鑑賞、ゲームに集中、タブレット、スマートフォン等の視覚ツールを用いた作業などの2次タスクを実行できる。タブレット、スマートフォン等の視覚ツールを用いた作業は、例えば、運転席をずらした状態で、あるいは運転席とは別の席で行うことも考えられる。
これら運転者の状態次第では、ルート上の手動運転復帰が求められる区間に接近した際に、運転者が復帰するまでの時間はその時々の作業内容により大きく変動する事が想定され、事象接近の直前の通知では復帰までに時間が不足したり、事象接近に対して余裕をみたあまりにも早めに通知をした場合、実際に復帰に必要なタイミングまでの時間が長く空き過ぎたりすることが発生する。その結果、的確なタイミングで通知が行われない状況が繰り返し起こると、運転者はシステムの通知タイミングに対するタイミングの信頼性が失われ、通知に対する意識が低下して、結果的に運転者の的確な対処がおろそかになる。その結果、引き継が上手く行われないリスクが高まると同時に、安心した2次タスク実行の阻害要因にもなる。そこで、運転者が通知に対する的確な運転復帰の対処を開始するには、通知タイミングの最適化をシステムが行う必要がある。
ステップS2は、先に図3を参照して説明したような手動運転復帰要求通知のタイミングである。運転者に対して、振動などの動的なパプティックスや視覚的あるいは聴覚的に運転復帰が通知される。自動運転制御部112では、例えば、運転者の定常状態がモニタリングされて、通知を出すタイミングを把握され、適宜なタイミングで通知がなされる。つまり、前段のパッシブモニタリング期間で運転者の2次タスクの実行状態が常時パッシブにモニタリングされ、通知の最適タイミングの最適タイミングをシステムは算出する事ができ、ステップS1の期間のパッシブモニタリングを常時継続的に行って、復帰タイミングと復帰通知は、運転者の固有復帰特性に合わせ行うのが望ましい。
つまり、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミング学習して、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求めた最適タイミングを運転者へ提示するのが望ましい。この場合、例えば復帰開始の望ましい地点での通知に対して運転者が一定時間の間に応答しなかった場合には、アラームの鳴動や不快を催す着座の振動などによる高刺激の警告がなされる。
ステップS3では、運転者が、着座復帰したか確認される。ステップS4では、顔や視線の評価から運転者の周囲視確認作業の開始している行動判定による運転者の認知開始状況や更に瞳孔挙動特性やサッケードや固視と言った眼球挙動解析により、走行環境の周辺環境認知に必要な運転者の内部覚醒度状態が確認される。特に、詳細な眼球の挙動解析には脳内での認知判断理解に影響される回帰反応が見られるため、内部覚醒度状態の観測が可能となりシステムが運転者の引き継ぎ直前での覚醒判定の大きな手掛かりとなる。そして一定の覚醒復帰状況に把握できた段階でシステムは短期で有りつつ段階的に運手者に制御以上を行うが、ステップS5では、この操作以上の間の運転者の実操舵状況の安定度がモニタリングされる。この操作移譲過程は完全にパッシブな移譲であって良いし、運転者が意識下や無意識下で実装の補正操舵を要する程度のアクティブな(加減速や蛇行等)走行ノイズを僅かに加えて運転者の補正操舵品質を評価してよい。またそれらアクティブ操舵確認はLDMから得られる道路の状況に応じて発生し、直線道などで運転者のパッシブ操舵応答が検出されにくい区間で限定して選択的適用を行っても良い。そして、ステップS6では、システムが運転者による覚醒状態での良好な操舵復帰が検出された場合に自動運転から手動運転への引継ぎが完了した状態となる。
[5.自動運転の動作シーケンス例について]
次に、図9に示すフローチャートを参照して、自動運転の動作シーケンスの一例について説明する。
図9に示すフローチャートは、移動装置の実行する自動運転の動作シーケンスを説明するフローチャートである。
次に、図9に示すフローチャートを参照して、自動運転の動作シーケンスの一例について説明する。
図9に示すフローチャートは、移動装置の実行する自動運転の動作シーケンスを説明するフローチャートである。
まず、ステップS11において、運転者認証が行われる。この運転者認証は、パスワードや暗証番号などによる知識認証、あるいは顔、指紋、瞳の虹彩、声紋などによる生体認証、さらには知識認証と生体認証が併用されて行われる。このように運転者認証が行われることで、複数の運転者が同一の車両を運転する場合であっても、各運転者に対応付けて通知タイミングを決定するための情報の蓄積行うことが可能となる。
次に、ステップS12において、運転者により入力部101が操作されて、目的地が設定される。この場合、インスツルメンツパネルの表示に基づいて運転者の入力操作が行われる。
なお、本実施例としては車両に乗車して旅程設定を想定した場合の事例を説明しているが、車両に乗車する前に事前にスマートフォンや自宅を出る前にパソコンより遠隔事前予約設定などを行ってもよく、さらにはスケジュール表に則って車のシステムが運転者の想定したスケジュールに沿ってプリプラニング設定を行い、道路環境のLDM情報、すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ(LDM)情報などを更新取得して乗車時やその前にでもコンシエルジュ的に実際の走行アドバイス表示などをさらに行ってもよい。
次に、ステップS13において、走行ルート上の走行区間表示が開始される。この走行区間表示は、インスツルメンツパネルに表示される他、例えば、運転者が2次タスクを行うタブレット等にも作業ウインドウと並べて表示される。これにより、作業ウインドウで作業を行っている運転者は、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で容易に認識可能となる。
この走行区間表示では、前方予定と各地点への接近情報の提示がなされる。この走行区間表示においては、走行ルートの運転者介在必要区間および自動運転可能区間が、現在地点からの到達予測時間軸で表示される。そして、運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間が含まれる。この走行区間表示の詳細については、後述する。
次に、ステップS14において、LDM更新情報の取得が開始される。このLDM更新情報の取得に伴って、走行区間表示の内容を最新の状態に変更可能となる。次に、ステップS15において、走行が開始される。次に、ステップS16において、自車の位置情報と取得LDM更新情報に基づいて、走行区間表示の表示が更新されていく。これにより走行区間表示は、走行に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。
走行を伴い相対的に接近する前方の走行環境と該当自車両の引き継ぎに必要タイミング等の情報の提示手段は、スクロール手段に限定する必要ななく、その他方法としては差し迫る時間間隔が直感的、明示的手段で且つ誤認少なく何時運転へ復帰に取り掛かるべきか知る事が出来る手段が好ましい。例えば、砂時計を模した時間提示方法や、クロノグラフ形式の腕時計形態で引継ぎ残存時間を利用者装着機器へ直接提示する手段を介してもよい。
次に、ステップS17において、運転者状態のモニタリングがされる。次に、ステップS18において、事象変化対応処理が行われる。この事象変化対応処理には、走行ルート中に既に存在している自動運転モードと手動運転モードとの切り替え地点あるいは注意走行区間が迫ってきた場合に対応するためのモード切り替え処理、走行ルート中にモード切り替え地点あるいは注意走行区間の運転者介在必要区間が新たに発生した場合に対応するための事象発生処理などが含まれる。以降、ステップS16からステップS18の処理が適宜繰り返される。
「走行区間表示の詳細」
図10は、運転者により目的地が設定されることで決定された走行ルートの一例を示している。走行ルートには、少なくとも、自動運転可能区間Saと、手動運転区間Sbが設定される。さらに、図10に示す例は反時計回りで走行した際のルートとして、自動運転から手動運転への引継ぎ区間Scと、自動運転からの注意走行区間Sdが設定された構成を示している。これらの走行区間情報は、ローカルダイナミックマップ(LDM)に記録された情報である。
ここで、引継ぎ区間Scは手動運転区間Sbの直前に存在し、運転者は手動運転への復帰体勢にあることが必要となる。また、注意走行区間Sdは、手動運転への復帰体勢にある運転者の注意監視下において自動運転のまま巡航する定速かまたは減速して通過走行が可能な区間である。注意下走行とは、システムが事象対処に対して万能でない区間であるため、運転者が状況判断をして事象対処が求めらる事があるため、システムが自動運転で対処が出来ない場合は運転者が適宜対処必要となる。つまり、該当区間に侵入前には運転者が事象対処できる程度の姿勢や覚醒度合いの復帰が必要である。
図10は、運転者により目的地が設定されることで決定された走行ルートの一例を示している。走行ルートには、少なくとも、自動運転可能区間Saと、手動運転区間Sbが設定される。さらに、図10に示す例は反時計回りで走行した際のルートとして、自動運転から手動運転への引継ぎ区間Scと、自動運転からの注意走行区間Sdが設定された構成を示している。これらの走行区間情報は、ローカルダイナミックマップ(LDM)に記録された情報である。
ここで、引継ぎ区間Scは手動運転区間Sbの直前に存在し、運転者は手動運転への復帰体勢にあることが必要となる。また、注意走行区間Sdは、手動運転への復帰体勢にある運転者の注意監視下において自動運転のまま巡航する定速かまたは減速して通過走行が可能な区間である。注意下走行とは、システムが事象対処に対して万能でない区間であるため、運転者が状況判断をして事象対処が求めらる事があるため、システムが自動運転で対処が出来ない場合は運転者が適宜対処必要となる。つまり、該当区間に侵入前には運転者が事象対処できる程度の姿勢や覚醒度合いの復帰が必要である。
図示の例において、自動運転可能区間Saは緑色で示され、手動運転区間Sbは赤色で示され、引継ぎ区間Scおよび注意走行区間Sdは黄色で示されている。なお、便宜上、各色は別々の模様で表している。
センターインフォーメーションディスプレイやタブレット等の表示デバイスにおける走行区間表示にあっては、上述したような走行ルートの各区間が、現在地点からの到達予測時間軸で表示される。自動運転制御部112は、走行ルート情報および交通情報に基づいて走行ルートにおける走行区間表示のための情報処理をする。
[6.移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について]
次に、移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について説明する。
この処理は、主に、図5を参照して説明した移動装置100の自動運転制御部112内に構成される安全性判別部155において実行される。
次に、移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について説明する。
この処理は、主に、図5を参照して説明した移動装置100の自動運転制御部112内に構成される安全性判別部155において実行される。
先に説明したように、安全性判別部155は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習する学習処理部としての機能を有し、その学習情報を状況認識部153等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
図11は、安全性判別部155の具体的な構成例と処理について説明する図である。
左に自動車等の移動装置200、右に移動装置100とネットワークを介して通信する学習サーバ300と、LDM(ローカルダイナミックマップ)情報提供サーバ310を示している。なお、図11には、移動装置と、学習サーバ、LDM情報提供サーバを1台のみ示しているが、これらは、いずれも多数の装置がネットワークを介して接続されている。例えば、LDM情報提供サーバ310は、ローカルエリア単位で設定された複数のサーバによって構成可能である。また、学習サーバと、LDM情報提供サーバは1つのサーバ内に構成してもよい。
左に自動車等の移動装置200、右に移動装置100とネットワークを介して通信する学習サーバ300と、LDM(ローカルダイナミックマップ)情報提供サーバ310を示している。なお、図11には、移動装置と、学習サーバ、LDM情報提供サーバを1台のみ示しているが、これらは、いずれも多数の装置がネットワークを介して接続されている。例えば、LDM情報提供サーバ310は、ローカルエリア単位で設定された複数のサーバによって構成可能である。また、学習サーバと、LDM情報提供サーバは1つのサーバ内に構成してもよい。
移動装置200は、運転者情報取得部201、環境情報取得部202、運転者個人識別情報取得部203、安全性判別部210、通知制御部221、通知部222、通信部230、記憶部240を有する。
なお、安全性判別部210は、図5に示す状況分析部133内に構成される安全性判別部155に相当する。
安全性判別部210は、学習処理部211、安全性判別処理実行部(手動運転復帰可能時間推定部)212、個人認証処理部213を有する。
学習サーバ300は、学習データ取得、生成部301、学習処理部302、通信部303、記憶部304を有する。
なお、安全性判別部210は、図5に示す状況分析部133内に構成される安全性判別部155に相当する。
安全性判別部210は、学習処理部211、安全性判別処理実行部(手動運転復帰可能時間推定部)212、個人認証処理部213を有する。
学習サーバ300は、学習データ取得、生成部301、学習処理部302、通信部303、記憶部304を有する。
まず移動装置200の各構成部の処理について説明する。
運転者情報取得部201は、カメラや様々なセンサによって構成され、運転者の情報を取得する。
運転者情報取得部201が取得する運転者情報は、例えば眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情などである。
運転者情報取得部201が取得するこれらの情報は、例えば運転者の覚醒度を判定するための情報として用いられる。
運転者情報取得部201は、カメラや様々なセンサによって構成され、運転者の情報を取得する。
運転者情報取得部201が取得する運転者情報は、例えば眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情などである。
運転者情報取得部201が取得するこれらの情報は、例えば運転者の覚醒度を判定するための情報として用いられる。
なお、運転者の覚醒度判定には、上記例は単純化して記述している内容であるが、単純な目や顔などの情報を取得から運転者の詳細状態を判別できるものではなく、事前履歴情報や眼や顔等の詳細挙動解析を行い、階層的にその可観測値から運転者の手動運転復帰に必要な内部覚醒状態の判定を総合的に行う事を包含する。以下これら、判定に用いる生体情報の幾つかの例を示す。
運転者の覚醒状態を脳内の活動領域観測により認知対象や判断対象部位の活動状況を観測する手段として、電気的に電位検出をした脳波観測や赤外線を用いた頭部表層血流観測やfMRIによる脳内機能評価など大がかりな計測機器がある。ただし、今日の技術で車両に搭載して日常的な一般の利用には程遠い機器であり、実験環境下で心拍波形やEOGなど他の生体との相関とりとそれら生体情報に基づくオフライン学習の利用は限定される。
その他、引き継が突発的に必要になった段階で短期的な覚醒状態判定に直接用いる事は困難であるが、事前に中長期的事前ログ情報を継続的取得する事で、事前に覚醒復帰予測に利用できる情報もある。システムより復帰通知を受けて復帰までに要する時間は、通知を受けた時点での眠りの深さ、疲労蓄積度合、仮眠開始からの経過時間、などなど様々要因で且つ個人特性に応じて復帰に要する時間は変わってくる。これら事前情報は、直接的な復帰時間を与える事は困難であるが、覚醒復帰の影響ファクターとして働くため、取得可能な可観測情報を覚醒復帰時間推定の影響因子として学習に用いる。
運転者情報取得部201が取得する運転者情報は、これら運転者の状態に応じてそれらログ取得を行い、更には復帰通知を受けるかまた対象引き継事象接近等のトリガーを元に覚醒状態観測を行っている。長期ログ観測には、例えば腕時計などの様な観測可能機器を運転者が身に付けて利用している場合は車両搭乗前の生活ログを含めてもよく、その場合は事前の休憩状態や睡眠過不足状態の情報も判定の一助に利用できることになる。事前のログ取得を利用できないケースでの通常利用では、利用者が車両に搭乗して、車両に搭載される各種センサより、例えば心電図のローレンツプロット評価から疲労や眠気と言った注意散漫の度合の観測が可能であり、心拍・脈波・血流情報や血圧、更には呼吸、呼気・体臭と言った中長期的変化ログからも緊張状態や疲労状態の推定が可能であり、システムとのヴァーバル(質疑)応答で利用者の発話トーンや応答遅延解析による運転者の状態推定も可能である。更には、顔の表情や下向きや脇見状態の発生など行動解析的手段も採用できる。
また、指示応答特性を見たジェスチャによる俊敏さ評価や活動量と言ったアクティブ評価による状態判別を行っても良い。
また、指示応答特性を見たジェスチャによる俊敏さ評価や活動量と言ったアクティブ評価による状態判別を行っても良い。
運転者情報取得部201が取得する運転者情報は、前記事前のログ観測による覚醒復帰影響因子の事前モニタリングを行いつつも、最終的な引継ぎ判定を実行するために、確度の高い内部覚醒状態判別が必要である。運転者が覚醒して自動運転から手動運転に復帰できるという事を、別の視点で見ると、運転者の状況は、時系列に以下のシーケンスに従って変化する。
1.引き継がないといけないという事象が発生している事を認知し、
2.引き継ぎの必要性に伴う必要な状況把握認知をして、
3.通知把握認知が音声通知ならその通知に対する応答があり応答が起床であったり、スイッチによる認知確認であったり、ジェスチャによる応答確認であったり、ハンドルに手を添える行動認知による検出であったり、運転席着座復帰検出であったりする。
4.通常、復帰通知を受けて最終的に復帰姿勢に戻った運転者は、ハンドルヤブレーキやアクセルと言った操舵機器の操作を開始するに先立ち、手動運転復帰に必要な状況把握と精査手順を踏んでから機器操舵を開始する事が想定される為に、主な情報取得手段の一つが視覚的情報取得である。
5.視覚的に状況認知ができると運転者は適切な操舵機器を操り始めるが、安全の為にシステムは瞬間的に一切の操舵を引き継ぐのではなく、運転者の適切な操舵介在と筋力的操舵応答状況まで確認取れる段階への徐々に引き継を進める手順を行う。操舵機器の操舵安定性が得られているかシステムが確認する手順としては自動制御の死スステム制御段階で運転者が操舵補正を要する操舵ノイズを加える事でその応答を見る事で体の機能的応答も確認することが可能である。
1.引き継がないといけないという事象が発生している事を認知し、
2.引き継ぎの必要性に伴う必要な状況把握認知をして、
3.通知把握認知が音声通知ならその通知に対する応答があり応答が起床であったり、スイッチによる認知確認であったり、ジェスチャによる応答確認であったり、ハンドルに手を添える行動認知による検出であったり、運転席着座復帰検出であったりする。
4.通常、復帰通知を受けて最終的に復帰姿勢に戻った運転者は、ハンドルヤブレーキやアクセルと言った操舵機器の操作を開始するに先立ち、手動運転復帰に必要な状況把握と精査手順を踏んでから機器操舵を開始する事が想定される為に、主な情報取得手段の一つが視覚的情報取得である。
5.視覚的に状況認知ができると運転者は適切な操舵機器を操り始めるが、安全の為にシステムは瞬間的に一切の操舵を引き継ぐのではなく、運転者の適切な操舵介在と筋力的操舵応答状況まで確認取れる段階への徐々に引き継を進める手順を行う。操舵機器の操舵安定性が得られているかシステムが確認する手順としては自動制御の死スステム制御段階で運転者が操舵補正を要する操舵ノイズを加える事でその応答を見る事で体の機能的応答も確認することが可能である。
運転者情報取得部201が取得する運転者情報はこれら一連の過程での観測を行う機能を包含する。
運転者情報取得部201が取得する運転者情報は、更に前記視覚的な状況把握を行う事を述べたが、この4.の過程は更に視覚として認知・判断・プラニングを行う事で初めて手動操舵の準備が整う。視線の中心視野に判断に必要な情報を捉えただけでは、運転者は取るべき操舵行動判断とプラニングは出来ない。その為、視線をリスク判断に必要な対象に向けて、通常周辺視野でとらえその方角に中心視野=視線を向ける為、サケードによる眼球の振り向きの俊敏な動作が発現し、対象を視線の中心視野に来るとその対象の理解を進める為に主に固視(Fixation)を開始し、脳内の知識情報をその対象の特徴を捉えながら参照する事で対象の判断が完了すると理解の発火が起こる。そして対象の理解が完了すれば、同時並行的に把握しないといけない次の対象把握を進める新たな方角へ眼球のサッケード動作を行ったり、乃至は捉えた対象の行動判断を進める為に相対的方角移動を打ち消すパーシュート(Pursuit)追尾回転をしたりする。
運転者情報取得部201が取得する運転者情報は、更に前記視覚的な状況把握を行う事を述べたが、この4.の過程は更に視覚として認知・判断・プラニングを行う事で初めて手動操舵の準備が整う。視線の中心視野に判断に必要な情報を捉えただけでは、運転者は取るべき操舵行動判断とプラニングは出来ない。その為、視線をリスク判断に必要な対象に向けて、通常周辺視野でとらえその方角に中心視野=視線を向ける為、サケードによる眼球の振り向きの俊敏な動作が発現し、対象を視線の中心視野に来るとその対象の理解を進める為に主に固視(Fixation)を開始し、脳内の知識情報をその対象の特徴を捉えながら参照する事で対象の判断が完了すると理解の発火が起こる。そして対象の理解が完了すれば、同時並行的に把握しないといけない次の対象把握を進める新たな方角へ眼球のサッケード動作を行ったり、乃至は捉えた対象の行動判断を進める為に相対的方角移動を打ち消すパーシュート(Pursuit)追尾回転をしたりする。
つまり、これら眼球の視覚情報探索行動として現れる広域サッケード探索、走行に伴う流れを追うパーシュート動作、視線を向けた注目被視体の認知まで視線滞留する固視の際に発生する固視微動とその範囲や揺らぎ安定性と注目点へサッケードを行う滞留時間等などの初期視覚取得から知識認知と認知確定の確認固視微動のサイクルで判断に至ると、つまり判断の発火が起きる僅かな時間遅延が脳内の活動量に影響されその影響が短期的に観測できる現象もある。ここで特に視覚反射行動は、運転者個人が自身の視覚記憶を参照して視覚的に捉え始めたやわい情報からリスク判断を開始し、リスク判断に至るまで無意識の中で判断確定に必要な追加補足情報を固視微動しつつ補っていくことが想定される。その為、サッケードによる眼球の振り向き直後に初期視覚情報を評価して運転行動判断を無意識の内に複雑に繰り返す事で運転継続に必要は判断を確定し、次に確認するべき情報取得の為にサッケードを繰り返すシーケンスが断続的に繰り返していく。そしてこれら一連の眼球挙動は運転操舵に必要な情報取得作業は覚醒認知下での行動となるため、運転が手動復帰に必要な内部覚醒状態の復帰レベルと強く反映した眼球の詳細挙動として発現する。
さらに、運転者情報取得部201には、運転者の操作情報を取得する操作情報取得部も含まれる。これらは、例えば運転者の顔画像を撮影するカメラ、各操作部(ハンドル、アクセル、ブレーキ等)の操作情報取得部等によって構成される。
環境情報取得部202は、様々な環境情報を取得する。
環境情報取得部202が取得する環境情報は、例えば移動装置200に設置された撮像部による画像、奥行き情報、3次元構造情報、移動体に設置されたレーダ、LiDAR等のセンサによる地形情報、GPSによる位置情報、さらに、信号器の状態、標識の情報など、道路等のインフラストラクチャーに設置された通信機器からの情報などである。
環境情報取得部202が取得する環境情報は、例えば移動装置200に設置された撮像部による画像、奥行き情報、3次元構造情報、移動体に設置されたレーダ、LiDAR等のセンサによる地形情報、GPSによる位置情報、さらに、信号器の状態、標識の情報など、道路等のインフラストラクチャーに設置された通信機器からの情報などである。
環境情報取得部202は、さらに、通信部230を介して、LDM情報提供サーバ310から、RRR(Requested Recovery Ratio)情報付属ローカルダイナミックマップ(LDM)を、随時取得する。
RRR情報付属LDMは、随時更新され、最新のデータが、随時移動装置100に提供される。
なお、ローカルダイナミックマップ(LDM)は、先に、図1を参照して説明したように、階層化された複数タイプのレイヤーの情報群で構成される。すなわち、LDMは、以下の4つのタイプの情報によって構成される。
タイプ1(静的データ)=例えば中長期的に更新さる国土地理院地図等を元に生成された地図情報等のデータ。
タイプ2(準静的データ)=例えばビル等の建築物、樹木、標識等、短期的に大きな変化はないが、長期的には変化が発生するデータ。
タイプ3(準動的データ)=信号、渋滞、事故等、ある一定の時間単位で変化し得るデータ。
タイプ4(動的データ)=車、人等の往来情報等であり、逐次変化するデータ。
RRR情報付属LDMは、随時更新され、最新のデータが、随時移動装置100に提供される。
なお、ローカルダイナミックマップ(LDM)は、先に、図1を参照して説明したように、階層化された複数タイプのレイヤーの情報群で構成される。すなわち、LDMは、以下の4つのタイプの情報によって構成される。
タイプ1(静的データ)=例えば中長期的に更新さる国土地理院地図等を元に生成された地図情報等のデータ。
タイプ2(準静的データ)=例えばビル等の建築物、樹木、標識等、短期的に大きな変化はないが、長期的には変化が発生するデータ。
タイプ3(準動的データ)=信号、渋滞、事故等、ある一定の時間単位で変化し得るデータ。
タイプ4(動的データ)=車、人等の往来情報等であり、逐次変化するデータ。
本開示の構成では、この従来型のLDMデータに加え、さらに、道路の区間単位のRRR情報を追加したLDMをLDM情報提供サーバ310から、随時取得する。
すなわち、LDM情報提供サーバ310は、自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR:Requested Recovery Ratio)を道路の区間単位情報として追加したLDM、すなわち、RRR情報付属ローカルダイナミックマップ(LDM)を生成、更新して、移動装置100に提供する。
すなわち、LDM情報提供サーバ310は、自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR:Requested Recovery Ratio)を道路の区間単位情報として追加したLDM、すなわち、RRR情報付属ローカルダイナミックマップ(LDM)を生成、更新して、移動装置100に提供する。
運転者個人識別情報取得部203は、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証に適用可能な情報を取得する。
なお、図11に示す運転者情報取得部201、環境情報取得部202、運転者個人識別情報取得部203の構成は、図5に示す構成では、データ取得部102、検出部131の各構成に対応する。
なお、図11に示す運転者情報取得部201、環境情報取得部202、運転者個人識別情報取得部203の構成は、図5に示す構成では、データ取得部102、検出部131の各構成に対応する。
安全性判別部210は、学習処理部211、安全性判別処理実行部(手動運転復帰可能時間推定部)212、個人認証処理部213を有する。
個人認証処理部213は、運転者個人識別情報取得部203の取得した、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証情報を入力して個人認証処理を実行する。
この認証処理に必要な登録情報は、記憶部240、あるいは学習サーバ300から取得する。
例えば、運転者が移動装置である自動車に乗車したときに、個人識別処理としての個人認証が実施される。個人識別後の運転者情報、時刻、運転入力、道路等の環境情報は、常時または定期的に記録され、学習サーバ300に送信される。
個人認証処理部213は、運転者個人識別情報取得部203の取得した、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証情報を入力して個人認証処理を実行する。
この認証処理に必要な登録情報は、記憶部240、あるいは学習サーバ300から取得する。
例えば、運転者が移動装置である自動車に乗車したときに、個人識別処理としての個人認証が実施される。個人識別後の運転者情報、時刻、運転入力、道路等の環境情報は、常時または定期的に記録され、学習サーバ300に送信される。
なお、運転者個人識別情報取得部203から入力した、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証に適用可能な情報を学習サーバ300に送信し、学習サーバ300に登録された情報を用いて、学習サーバ300において個人認証処理を実行してもよい。
学習処理部211は、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報等を入力して、これらの入力情報を適用した安全性判定のための学習処理を実行する。
具体的には、例えば、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の構築を行う。なお、学習器においては運転者固有特性に限定した判別を行うよう学習するだけでは無く、車両特性や環境特性等に応じた特性も学習する。例えば、同一運転者として識別された運転者でも、自家用車による通勤乗用車での操舵特性と職業従事に於ける重量物連結車両の車両挙動特性の安全性を考慮して運転をする際に、走行状況に応じた操舵開始点や制動量なども大きく異なるため、それら安全性に寄与する変動因子の要因学習を行う事で、状況や車両特性を含めた最適化がなされた学習器となる。
具体的には、例えば、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の構築を行う。なお、学習器においては運転者固有特性に限定した判別を行うよう学習するだけでは無く、車両特性や環境特性等に応じた特性も学習する。例えば、同一運転者として識別された運転者でも、自家用車による通勤乗用車での操舵特性と職業従事に於ける重量物連結車両の車両挙動特性の安全性を考慮して運転をする際に、走行状況に応じた操舵開始点や制動量なども大きく異なるため、それら安全性に寄与する変動因子の要因学習を行う事で、状況や車両特性を含めた最適化がなされた学習器となる。
なお、学習器とは、機械学習を用いて入出力関係を学習可能な、モデル、アルゴリズム、パラメータ等の集合を指す。統計的学習器、学習モデル、機械学習モデル、統計的学習モデル、予測器、予測モデル、推定器、推定モデル等の様々な呼称があるが、どれも本質的に同じ意味であるため、ここでは学習器という呼称を採用する。具体的な用途に応じて分類器、分類モデル、識別器、識別モデル、回帰学習器、回帰学習モデル、生成モデル等と呼ばれることもあるが、学習器という呼称はそれらの概念を全て包含する上位概念である。
安全性判別処理実行部212は、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報等を入力し、さらに、学習処理部211における学習結果である学習器、あるいは学習サーバ300から取得した学習器を利用して、現在の運転者情報と環境情報に基づく安全性指標値を算出する。
さらに、安全な手動運転復帰までに必要となる時間(=手動運転復帰可能時間)を推定する。
なお、安全な手動運転復帰までに必要となる時間とは、引き継ぎが求められる地点到着までに、運転者が一定の高い割合で手動運転を開始する為に要する時間に基づいて算出されるが、安全性を直接評価して算出される時間では決して無い。手動運転への復帰準備の開始が求められるタイミングは、該当車両の運動特性や道路環境状況、天候と言った様々な要因に影響を受ける為に、それら影響を取り入れる事で安全性を最大化する事が出来る様になる。
さらに、安全な手動運転復帰までに必要となる時間(=手動運転復帰可能時間)を推定する。
なお、安全な手動運転復帰までに必要となる時間とは、引き継ぎが求められる地点到着までに、運転者が一定の高い割合で手動運転を開始する為に要する時間に基づいて算出されるが、安全性を直接評価して算出される時間では決して無い。手動運転への復帰準備の開始が求められるタイミングは、該当車両の運動特性や道路環境状況、天候と言った様々な要因に影響を受ける為に、それら影響を取り入れる事で安全性を最大化する事が出来る様になる。
通知制御部221は、安全性判別処理実行部212の推定した手動運転復帰可能時間に基づいて、先に図3を参照して説明したような手動運転開始要求通知の通知タイミングの制御を行い、通知部222を介して通知する。
なお、通知部222は、例えばアラーム、ウインドウ上のディスプレイ、センターコンソールやメータパネル、ハンドルやシートのバイブレーション処理実行部などによって構成される。
通信部230は、学習サーバ300等、外部装置との通信を実行する。
なお、通知部222は、例えばアラーム、ウインドウ上のディスプレイ、センターコンソールやメータパネル、ハンドルやシートのバイブレーション処理実行部などによって構成される。
通信部230は、学習サーバ300等、外部装置との通信を実行する。
次に、学習サーバ300の各構成部の処理について説明する。
学習サーバ300は、学習データ取得、生成部301、学習処理部302、通信部303、記憶部304を有する。
学習サーバ300は、学習データ取得、生成部301、学習処理部302、通信部303、記憶部304を有する。
学習データ取得、生成部301は、学習器の構築に必要となる学習器の入出力データの取得や生成を行う。具体的には、例えば、ネットワークに接続された様々な移動装置から、「運転者情報」や「環境情報」を取得する。さらに、例えば、地図データ、事故発生状況データや渋滞データ等の、様々な取得可能なデータに基づく学習用データを生成する。なお、ここでは学習器の入出力データと表現したが、これは教師付き学習においては教師データ、訓練データ等と呼ばれるものである。所望の入出力関係を学習することさえできれば、教師なし学習、半教師付き学習、強化学習等の他の手法による学習可能性を除外するものでは無いため、ここでは一般化して学習器の入出力データと称した。
これらのデータは記憶部304に格納される。
これらのデータは記憶部304に格納される。
学習処理部303は、学習器の入出力データ取得、生成部301が取得または生成し、記憶部304に格納した学習器の入出力データを利用した学習処理を実行する。
この学習処理により、例えば、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の入出力データの構築を行う。
この学習処理により、例えば、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の入出力データの構築を行う。
次に、移動装置200の安全性判別部210の処理の詳細について説明する。
安全性判別部210は、学習処理部211、安全性判別処理実行部(手動運転復帰可能時間推定部)212、個人認証処理部213を有する。
学習処理部211は、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報を入力して、これらの入力情報を適用した安全性判定のための学習処理を実行する。
安全性判別部210は、学習処理部211、安全性判別処理実行部(手動運転復帰可能時間推定部)212、個人認証処理部213を有する。
学習処理部211は、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報を入力して、これらの入力情報を適用した安全性判定のための学習処理を実行する。
安全性判別処理実行部(手動運転復帰可能時間推定部)212は、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報等を入力し、さらに、学習処理部211における学習結果である学習器、あるいは学習サーバ300から取得した学習器を利用して、現在の運転者情報と環境情報に基づく安全性指標値を算出する。
さらに、安全な手動運転復帰までに必要となる時間(=手動運転復帰可能時間)を推定する。
さらに、安全な手動運転復帰までに必要となる時間(=手動運転復帰可能時間)を推定する。
なお、安全性判別処理実行部(手動運転復帰可能時間推定部)212は、学習器の入出力データが存在せず、学習処理部211から学習済みの学習器が取得できない初期状態では、例えば事前に実験的に取得した不特定多数のデータを用いて学習された学習器を記憶部240から取得して、この学習器を利用して、安全指標値の算出処理や手動運転復帰可能時間の推定処理を実行する。
あるいは予め規定した固定の手動運転復帰可能時間を推定値として出力する。
なお、不特定多数のデータを用いた学習処理によって生成された学習器は学習サーバ300からも取得可能である。
あるいは予め規定した固定の手動運転復帰可能時間を推定値として出力する。
なお、不特定多数のデータを用いた学習処理によって生成された学習器は学習サーバ300からも取得可能である。
学習処理部211における学習処理が実行された後は、その学習器を用いて、入力運転者情報と環境情報に基づく安全指標値の算出処理や、手動運転復帰可能時間の推定処理を実行する。
学習処理部211は、例えば、
(a)運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報と、
(b)自動運転モードから手動運転モードへの切り替え通知後に、運転者が安全な状態で運転できたか否かの操作情報、
これら(a),(b)の情報の対応関係を構築する学習処理を行う。
(a)運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報と、
(b)自動運転モードから手動運転モードへの切り替え通知後に、運転者が安全な状態で運転できたか否かの操作情報、
これら(a),(b)の情報の対応関係を構築する学習処理を行う。
なお、前述したように、運転者情報取得部12は、例えば、運転者の覚醒度を判定するための情報取得処理の他、運転者の操作情報、すなわち各操作部(ハンドル、アクセル、ブレーキ等)の操作情報を取得する機能も備えている。
すなわち、学習処理部211は、運転者情報と、環境情報を取得し、あるタイミングで先に図3を参照して説明したような、手動運転復帰要求通知を行った後の運転者の運転操作情報を取得して、安全な運転が実行できているか否かを確認する。
安全な運転ができていれば、同じ運転者情報と、環境情報が得られた場合、手動運転復帰要求通知の通知タイミングを、さらに遅くしてもよいと判断する。
一方、安全な運転ができていなければ、同じ運転者情報と、環境情報が得られた場合、手動運転復帰要求通知の通知タイミングを早めるべきであると判断する。
安全な運転ができていれば、同じ運転者情報と、環境情報が得られた場合、手動運転復帰要求通知の通知タイミングを、さらに遅くしてもよいと判断する。
一方、安全な運転ができていなければ、同じ運転者情報と、環境情報が得られた場合、手動運転復帰要求通知の通知タイミングを早めるべきであると判断する。
学習処理部211における学習処理では、このような手動運転復帰要求通知の通知タイミングを決定するための学習器を構築する。
なお、学習処理部211における学習処理では、手動運転復帰要求通知の通知タイミングの決定に適用するデータのみならず、ある運転者情報と、環境情報が得られた場合に運転者が安全な手動運転を実行できるか否かの判定処理に適用可能な学習器、すなわち、「運転者情報と環境情報」と、「安全性指標値」とを対応付けた学習器も構築する。
学習器の特徴として、事象発生の都度発生する運転者の復帰通知事前特性からの推移を取得しつつ、(b)運転者が安全な状態で運転できたか否かの操作情報も教師データとして成否判別や引き継ぎ品質評価を行う事で自己完結した学習器を含むシステムとなり,精度の向上をはかることができる。
なお、学習処理部211における学習処理では、手動運転復帰要求通知の通知タイミングの決定に適用するデータのみならず、ある運転者情報と、環境情報が得られた場合に運転者が安全な手動運転を実行できるか否かの判定処理に適用可能な学習器、すなわち、「運転者情報と環境情報」と、「安全性指標値」とを対応付けた学習器も構築する。
学習器の特徴として、事象発生の都度発生する運転者の復帰通知事前特性からの推移を取得しつつ、(b)運転者が安全な状態で運転できたか否かの操作情報も教師データとして成否判別や引き継ぎ品質評価を行う事で自己完結した学習器を含むシステムとなり,精度の向上をはかることができる。
このように、学習処理部211における学習処理では、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報に対応付けられた安全性指標値データを得ることができる。
さらに、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報に対応する手動運転復帰可能時間(安全な手動運転復帰までに必要となる時間)を算出することができる。
この手動運転復帰可能時間に基づいて、運転者に対する手動運転開始要求通知の通知時間を決定することができる。
学習処理部211における学習処理の結果データは記憶部240に格納される。
さらに、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報に対応する手動運転復帰可能時間(安全な手動運転復帰までに必要となる時間)を算出することができる。
この手動運転復帰可能時間に基づいて、運転者に対する手動運転開始要求通知の通知時間を決定することができる。
学習処理部211における学習処理の結果データは記憶部240に格納される。
記憶部240に格納されるデータ(学習器且つ/又は学習器の入出力データ)には、例えば以下のデータが含まれる。
運転者情報と、環境情報に対応付けられた安全性指標値データ、
運転者情報と、環境情報に対応付けられた手動運転復帰可能時間(安全な手動運転復帰までに必要となる時間)(=手動運転開始要求の最適な先行通知時間)、
手動運転開始要求通知後の運転者情報の異常性、環境情報の異常性、復帰所要時間、
学習器、
これらのデータを記憶部240に蓄積することができる。
運転者情報と、環境情報に対応付けられた安全性指標値データ、
運転者情報と、環境情報に対応付けられた手動運転復帰可能時間(安全な手動運転復帰までに必要となる時間)(=手動運転開始要求の最適な先行通知時間)、
手動運転開始要求通知後の運転者情報の異常性、環境情報の異常性、復帰所要時間、
学習器、
これらのデータを記憶部240に蓄積することができる。
記憶部240に蓄積されたデータは、定期的に学習サーバ300に送信される。
学習サーバ300は、移動装置200から受信するデータを記憶部304に格納するとともに、学習データ生成部301において、さらに受信データに基づく学習処理を行う。
学習サーバ300は、多数の移動装置(自動車)から大量のデータを受信し、これら大量のデータに基づく学習処理を行うことが可能となる。この結果、より汎用性の高い、かつ確実性の高い入出力データ(学習器)を得ることが可能となる。
学習サーバ300は、大量のデータに基づく学習処理により、学習器を更新し学習サーバ300の記憶部304に格納する。
学習サーバ300は、移動装置200から受信するデータを記憶部304に格納するとともに、学習データ生成部301において、さらに受信データに基づく学習処理を行う。
学習サーバ300は、多数の移動装置(自動車)から大量のデータを受信し、これら大量のデータに基づく学習処理を行うことが可能となる。この結果、より汎用性の高い、かつ確実性の高い入出力データ(学習器)を得ることが可能となる。
学習サーバ300は、大量のデータに基づく学習処理により、学習器を更新し学習サーバ300の記憶部304に格納する。
学習サーバ300の記憶部304に格納される学習器には、上述した移動装置200の記憶部240に格納されるデータと同様のデータが含まれる。すなわち、
学習器、
運転者情報と、環境情報に対応付けられた安全性指標値データ、
運転者情報と、環境情報に対応付けられた手動運転復帰可能時間(安全な手動運転復帰までに必要となる時間)(=手動運転開始要求の最適な先行通知時間)、
手動運転開始要求通知後の運転者情報の異常性、環境情報の異常性、復帰所要時間、
これらのデータが、学習サーバ300の記憶部304に格納される。
学習器、
運転者情報と、環境情報に対応付けられた安全性指標値データ、
運転者情報と、環境情報に対応付けられた手動運転復帰可能時間(安全な手動運転復帰までに必要となる時間)(=手動運転開始要求の最適な先行通知時間)、
手動運転開始要求通知後の運転者情報の異常性、環境情報の異常性、復帰所要時間、
これらのデータが、学習サーバ300の記憶部304に格納される。
これら、学習サーバ300の記憶部304に格納される学習器は、随時、移動装置200に提供され、移動装置200の安全性判別部210の安全性判別処理部212において、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報に基づく安全性指標値や、手動運転復帰可能時間等の算出に利用される。
なお、学習処理部211は、学習データに個人識別情報や、車種情報、あるいは時間情報等を含めることで、個人や自動車(車種等)や時間に対応付けた安全性指標値や、手動運転復帰可能時間を予測可能な学習器を生成することができる。
個人識別情報は、個人認証処理部213を介して取得可能である。
車種情報は、環境情報取得部202から取得可能である。あるいは予め記憶部に格納したデータを利用する構成としてもよい。
個人識別情報は、個人認証処理部213を介して取得可能である。
車種情報は、環境情報取得部202から取得可能である。あるいは予め記憶部に格納したデータを利用する構成としてもよい。
安全性判別処理実行部(手動運転復帰可能時間推定部)212は、学習処理部211の学習処理の結果として算出された学習器を適用して手動運転復帰可能時間を取得して、取得した手動運転復帰可能時間に基づく手動運転復帰要求通知を行う。
さらに、学習処理部211は、この通知後の運転者の運転動作情報を運転者情報取得部201、環境情報取得部202から取得して、正常な運転が実行されているか否かを判定する。
この判定に基づいて、例えば、異常が見られる頻度が高い場合には通知時刻を早め、異常が見られる頻度が低い場合には通知時刻を遅めるといった出力が可能となるように学習器の更新且つ/又は再学習を行う。この更新/又は再学習処理によって、通知時間制御を運転者のその時の健康状態に即して行うことも可能となる。
以上、後半では学習サーバで行うケースに付いてい記述しているが、通信容量の許容帯域幅、サーバ側の処理能力、車両搭載学習器の処理能力などにより、実際の処理分担はや個人化情報の取り扱い区分に関する上記の説明は一例に過ぎず、インフラ側で行う事を限定するものではない。
この判定に基づいて、例えば、異常が見られる頻度が高い場合には通知時刻を早め、異常が見られる頻度が低い場合には通知時刻を遅めるといった出力が可能となるように学習器の更新且つ/又は再学習を行う。この更新/又は再学習処理によって、通知時間制御を運転者のその時の健康状態に即して行うことも可能となる。
以上、後半では学習サーバで行うケースに付いてい記述しているが、通信容量の許容帯域幅、サーバ側の処理能力、車両搭載学習器の処理能力などにより、実際の処理分担はや個人化情報の取り扱い区分に関する上記の説明は一例に過ぎず、インフラ側で行う事を限定するものではない。
次に、移動装置200の安全性判別部210の安全性判別処理部212において実行する手動運転復帰可能時間の推定処理の具体例について説明する。
前述したように、自動運転中、運転者は様々な処理(2次タスク)を行うことができ、実行している2次タスクに応じて覚醒度が大きく異なることになる。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。これらの処理の違いにより、運転者の覚醒度(意識レベル)は異なるものとなる。
例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。これらの処理の違いにより、運転者の覚醒度(意識レベル)は異なるものとなる。
例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
従って、安全性判別処理部212において実行する手動運転復帰可能時間の推定処理を行うためには、運転者情報取得部201が、自動運転実行時の運転者の2次タスク実行状況を確認可能な情報を取得し、学習処理部211において、これらのデータを用いた学習処理を行うことが好ましい。
このための運転者情報取得部201の構成として、車内を観測するために設置されたカメラ、ハンドルや座席に設置された圧力センサ、温度センサなどを含めることが好ましい。
学習処理部211は、カメラから得た画像を用いて、顔認証、頭部姿勢推定、視線推定、身体姿勢推定、行動識別した結果を算出し、これらのデータを学習処理に利用する。
学習処理部211は、カメラから得た画像を用いて、顔認証、頭部姿勢推定、視線推定、身体姿勢推定、行動識別した結果を算出し、これらのデータを学習処理に利用する。
2次タスク実行時には、自動運転状態に取得した入力情報であることがわかるよう、付加情報を与えた形で管理する。2次タスクから復帰する際には、何らかの方法で算出された復帰可能時間の分だけ前に運転者に情報提示し、手動運転状態に戻って貰う必要がある。手動運転復帰可能時間推定のためのデータが十分に集まっていない時点では、確実に復帰が可能となる時間で復帰通知を行う必要があり、個人の特性が未学習で有るためにその情報に依らない固定の定義時間を利用して情報を提示する。この固定の定義時間とは、例えば多様な運転者人口の利用実績データより統計的に評価して、評価利用者が一定の割合で引き継ぎが成功できた時間を事前に取得し、その事前に収集した復帰遅延時間のドライバ人口平均をオフライン等で事前に学習させた得た統計的なデータより、目的とする成功率で復帰するための定義時間を設定してもよい。
また、この定期時間を利用するに当たり、初めてシステムを利用するユーザーは慎重で有るため、その特性加味したオフセット設定をおこなってもよい。
その際、情報提示から手動運転に復帰するまでの時間を引き継ぎ事象が発生する都度計測し、手動運転復帰可能時間として記録ログとして記録収拾する。
その際、情報提示から手動運転に復帰するまでの時間を引き継ぎ事象が発生する都度計測し、手動運転復帰可能時間として記録ログとして記録収拾する。
また、手動運転に復帰したという判定をする際、事前の学習結果を参考にしてもよい。同様の施行を繰り返すと、特定の個人と車両に関する、復帰可能時間推定のためのデータを収集することができる。
安全性指標値の推定や、手動運転復帰可能時間推定のためのデータが十分に集まった場合、例えば、以下の入出力データを利用した機械学習処理により、安全性指標値や、最適な復帰可能時間を予測する学習器を構築することができる。
入力:運転者情報や、環境情報等
出力:安全性指標値や、手動運転復帰可能時間
安全性指標値の推定や、手動運転復帰可能時間推定のためのデータが十分に集まった場合、例えば、以下の入出力データを利用した機械学習処理により、安全性指標値や、最適な復帰可能時間を予測する学習器を構築することができる。
入力:運転者情報や、環境情報等
出力:安全性指標値や、手動運転復帰可能時間
また、固有認証された固有復帰特性には、運転者の過去の運転経験や環境条件に応じて復帰時間が異なることもある。例えば雨天の視界の悪い状況、夜間状況、逆光下の視界障害を受けた状態、早朝や夕方の累積疲労がたまった状況、または同じ運転者であっても通勤時自家用車利用の際の行動、乗務大型乗合バスや貨物積載車両の車両特性など、状況に応じて復帰に取り掛かり復帰に要する時間も一意ではない。以下、これら多くの状況要因ファクターはその一例であり、それら要因を大きく2つに分類してまとめて「運転者情報」や「環境情報」として呼称する。
LDM情報提供サーバ310は、目標復帰成功率(RRR:Requested Recovery Ratio)情報付属ローカルダイナミックマップ(LDM)生成、更新部311と通信部312を有する。
RRR情報付属LDM生成、更新部311は、先に、図1を参照して説明した階層化された複数タイプ(タイプ1~4)のレイヤーの情報群で構成されるLDMに、さらに、道路の区間単位のRRR情報を追加したRRR情報付属LDMを生成、あるいは更新して、通信部312を介して移動装置100に送信する。
RRR情報付属LDM生成、更新部311は、先に、図1を参照して説明した階層化された複数タイプ(タイプ1~4)のレイヤーの情報群で構成されるLDMに、さらに、道路の区間単位のRRR情報を追加したRRR情報付属LDMを生成、あるいは更新して、通信部312を介して移動装置100に送信する。
すなわち、LDM情報提供サーバ310は、自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR:Requested Recovery Ratio)を道路の区間単位情報として追加したLDM、すなわち、RRR情報付属ローカルダイナミックマップ(LDM)を生成し、また逐次、更新して、移動装置100に提供する。
LDM情報提供サーバ310のRRR情報付属LDM生成、更新部311の具体的構成例を図12に示す。
RRR情報付属LDM生成、更新部311は、図12に示すように、情報収集格納部320、既存LDM情報生成、更新部330、RRR情報生成、更新部340、RRR情報挿入部350を有する。
RRR情報付属LDM生成、更新部311は、図12に示すように、情報収集格納部320、既存LDM情報生成、更新部330、RRR情報生成、更新部340、RRR情報挿入部350を有する。
図12に示すように、情報収集格納部320には、前走車収集情報収集格納部321、インフラ動的観測モニタリング情報収集格納部322、インフラ定点観測モニタリング情報収集格納部323、マクロインフラ情報収集格納部324、インフラ依存情報収集、格納部325を有する。
これらは、先に図1を参照して説明した複数のレイヤーからなる既存LDMの生成、更新に必要となる情報と、自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR)の算出に必要となる情報の収集、格納処理を行う。
これらは、先に図1を参照して説明した複数のレイヤーからなる既存LDMの生成、更新に必要となる情報と、自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR)の算出に必要となる情報の収集、格納処理を行う。
前走車収集情報収集格納部321は、各道路区間を走行中の車両からの情報を収集、格納する。インフラ動的観測モニタリング情報収集格納部322は、例えば各道路区間を走行中の情報収集車(プローブカー)からの情報を収集、格納する。インフラ定点観測モニタリング情報収集格納部323は、例えば各道路区間に設置してあるカメラやセンサからの情報を収集、格納する。マクロインフラ情報収集格納部324は、例えば交通情報提供サーバの提供する渋滞情報、事故情報等を収集、格納する。インフラ依存情報収集、格納部325は、例えば地図情報、気象情報等、道路の通行に影響を与える様々な外的情報を収集、格納する。
これらは、先に図1を参照して説明した複数のレイヤーからなる既存LDMの生成、更新に必要となる情報と、自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR)の算出に必要となる情報である。
これらは、先に図1を参照して説明した複数のレイヤーからなる既存LDMの生成、更新に必要となる情報と、自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR)の算出に必要となる情報である。
既存LDM情報生成、更新部330は、情報収集格納部320の情報を入力して、既存のローカルダイナミックマップ(LDM)を生成する。図12に示すように、既存LDM情報生成、更新部330は、タイプ1データ(地図情報等の静的データ)生成、更新部331、タイプ2~3データ(準静的~準動的データ)生成、更新部332、タイプ4データ(動的データ)生成、更新部333を有する。
これらの構成要素は、情報収集格納部320の情報を入力して、先に図1を参照して説明した階層化された複数タイプ(タイプ1~4)のレイヤーの情報群で構成されるローカルダイナミックマップ(LDM)を生成する。
これらの構成要素は、情報収集格納部320の情報を入力して、先に図1を参照して説明した階層化された複数タイプ(タイプ1~4)のレイヤーの情報群で構成されるローカルダイナミックマップ(LDM)を生成する。
RRR情報生成、更新部340は、情報収集格納部320の情報を入力して、道路区間単位の自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を、算出し、逐次更新する。
図12に示すように、RRR情報生成、更新部340は、区間単位RRR算出部341、区間単位予測交通量推定部342、減速、停止車両による許容交通量低下率推定部343、引き継ぎ不全による停止車両占有率推定部344、基本許容交通量算出部345、RRR引き継ぎ不全ペナルティファクタ算出部346を有する。
図12に示すように、RRR情報生成、更新部340は、区間単位RRR算出部341、区間単位予測交通量推定部342、減速、停止車両による許容交通量低下率推定部343、引き継ぎ不全による停止車両占有率推定部344、基本許容交通量算出部345、RRR引き継ぎ不全ペナルティファクタ算出部346を有する。
区間単位RRR算出部341は、自動運転から手動運転への目標復帰成功率(RRR)を算出区間(道路区間)単位の目標復帰成功率(RRR)を算出する。この算出に必要なパラメータは、区間単位予測交通量推定部342~RRR引き継ぎ不全ペナルティファクタ算出部346から取得される。
区間単位予測交通量推定部342は、情報収集格納部320の情報を入力して、RRR算出区間(道路区間)単位の予測交通量を推定する。
減速、停止車両による許容交通量低下率推定部343は、情報収集格納部320の情報を入力して、RRR算出区間(道路区間)単位の減速、停止車両による許容交通量低下率を推定する。なお、通行許容交通量の低下は降雪、道路整備予定時間を本来ならラッシュ時間帯を避けた深夜等の車両通行量の多い時間帯を避けた予定であってもその時々の状況変化などで通勤ラッシュアワーにずれ込み想定外の事象の発生、落石や突風などで飛来物の路上の一部レーンを塞ぐなど、事故以外でもその時々の多様な要因で通行許容量は能動的に時間変化する。
引き継ぎ不全による停止車両占有率推定部344は、情報収集格納部320の情報を入力して、RRR算出区間(道路区間)単位の引き継ぎ不全による停止車両占有率を推定する。
基本許容交通量算出部345は、情報収集格納部320の情報を入力して、RRR算出区間(道路区間)単位の基本許容交通量を算出する。
減速、停止車両による許容交通量低下率推定部343は、情報収集格納部320の情報を入力して、RRR算出区間(道路区間)単位の減速、停止車両による許容交通量低下率を推定する。なお、通行許容交通量の低下は降雪、道路整備予定時間を本来ならラッシュ時間帯を避けた深夜等の車両通行量の多い時間帯を避けた予定であってもその時々の状況変化などで通勤ラッシュアワーにずれ込み想定外の事象の発生、落石や突風などで飛来物の路上の一部レーンを塞ぐなど、事故以外でもその時々の多様な要因で通行許容量は能動的に時間変化する。
引き継ぎ不全による停止車両占有率推定部344は、情報収集格納部320の情報を入力して、RRR算出区間(道路区間)単位の引き継ぎ不全による停止車両占有率を推定する。
基本許容交通量算出部345は、情報収集格納部320の情報を入力して、RRR算出区間(道路区間)単位の基本許容交通量を算出する。
RRR引き継ぎ不全ペナルティファクタ算出部346、情報収集格納部320の情報を入力して、RRR算出区間(道路区間)単位の引き継ぎ不全ペナルティファクタを算出する。なお、引き継ぎ不全ペナルティファクタとは、ある車両の運転者が自動運転から手動運転への引き継ぎに失敗した場合に運転者に科するペナルティ要素であり、例えば、所定の講習、罰金、免停等、一般の交通違反と同様のペナルティの設定態様である。このペナルティファクタは、各RRR算出区間(道路区間)単位で設定される。例えば自動運転から手動運転への引き継ぎの失敗車両の発生によって大きな交通渋滞が発生する区間ではペナルティファクタの値が大きく設定される。一方、自動運転から手動運転への引き継ぎの失敗車両の発生によって大きな交通渋滞が発生しない区間ではペナルティファクタの値が小さく設定される。
区間単位RRR算出部341は、区間単位予測交通量推定部342~RRR引き継ぎ不全ペナルティファクタ算出部346から取得されるパラメータを用いて、目標復帰成功率(RRR)を算出区間(道路区間)単位の目標復帰成功率(RRR)を算出する。すなわち、区間単位の自動運転から手動運転への目標復帰成功率(RRR)を算出する。
RRR情報挿入部350は、既存LDM情報生成、更新部330の生成したローカルダイナミックマップ(LDM)361に、RRR情報生成、更新部340の生成した道路区間単位の目標復帰成功率(RRR)であるRRR情報362を挿入して、RRR情報付属LDM363を生成して通信部312を介して、各車両に送信する。
なお、RRR情報生成、更新部340の生成した道路区間単位の目標復帰成功率(RRR)であるRRR情報362は、先に図1を参照して説明した階層構成のローカルダイナミックマップ(LDM)の構成データ中の例えばタイプ3、またはタイプ4のデータとして挿入される。
なお、この道路区間単位の目標復帰成功率(RRR)は、道路状況の変化等に応じて、逐次、更新される。
なお、RRR情報生成、更新部340の生成した道路区間単位の目標復帰成功率(RRR)であるRRR情報362は、先に図1を参照して説明した階層構成のローカルダイナミックマップ(LDM)の構成データ中の例えばタイプ3、またはタイプ4のデータとして挿入される。
なお、この道路区間単位の目標復帰成功率(RRR)は、道路状況の変化等に応じて、逐次、更新される。
RRR情報挿入部350の生成したRRR情報付属LDM363は、道路を走行中の各車両に配信される。
なお、LDM情報提供サーバ310は、既存LDM情報生成、更新部330の生成したローカルダイナミックマップ(LDM)361と、RRR情報生成、更新部340の生成した道路区間単位の目標復帰成功率(RRR)であるRRR情報362を個別に自動車に配信する設定としてもよい。
なお、LDM情報提供サーバ310は、既存LDM情報生成、更新部330の生成したローカルダイナミックマップ(LDM)361と、RRR情報生成、更新部340の生成した道路区間単位の目標復帰成功率(RRR)であるRRR情報362を個別に自動車に配信する設定としてもよい。
図13にRRR情報付属LDMの配信構成と、RRR情報付属LDMを生成するための情報収集構成例の一例を示す。図13には、所定の区間(セグメント区間(n-4)~(n+1))に区分した道路上を走行する複数の自動車を示している。各区間(セグメント)は、目標復帰成功率(RRR)の算出区間に対応する。道路上には複数の一般車両381a,b・・・が走行している。さらに、情報収集者であるプローブカー382も走行している。
地域LDM情報提供サーバ371,372は、それぞれ担当する所定エリアのLDMを生成、更新して各車両に提供するサーバである。なお、本開示の構成においては、地域LDM情報提供サーバ371,372の各々は、先に図12を参照して説明した構成を有し、RRR情報付属LDMを生成して各車両に配信する。
図13に示す点線は、各構成要素間の情報の通信経路の例を示している。地域LDM情報提供サーバ371,372から、各車両に対してRRR情報付属LDMが提供される通信経路の他、地域LDM情報提供サーバ371,372が最新のRRR情報付属LDMを生成、更新するための通信経路も示している。
地域LDM情報提供サーバ371,372は、先に図12を参照して説明した構成を有する。すなわち情報収集格納部320を有し、前走車収集情報収集格納部321、インフラ動的観測モニタリング情報収集格納部322、インフラ定点観測モニタリング情報収集格納部323、マクロインフラ情報収集格納部324、インフラ依存情報収集、格納部325を有する。
これらの各情報を取得する場合の通信経路の一部が、図13に示す点線である。
なお、一般車両、プローブカー間での車両間通信も実行され、各車両内で、これらの受信データに基づくRRR情報付属LDMの更新処理を行うことも可能である。
これらの各情報を取得する場合の通信経路の一部が、図13に示す点線である。
なお、一般車両、プローブカー間での車両間通信も実行され、各車両内で、これらの受信データに基づくRRR情報付属LDMの更新処理を行うことも可能である。
[7.本開示の移動装置、情報処理装置、またはサーバの実行する情報処理シーケンスについて]
次に、移動装置や情報処理装置、またはサーバにおいて実行される本開示の情報処理シーケンスについて説明する。
まず、先に図11を参照して説明した移動装置200の学習処理部211、または学習サーバ300の学習処理部302において実行する学習処理のシーケンス例について図14に示すフローチャートを参照して説明する。
次に、移動装置や情報処理装置、またはサーバにおいて実行される本開示の情報処理シーケンスについて説明する。
まず、先に図11を参照して説明した移動装置200の学習処理部211、または学習サーバ300の学習処理部302において実行する学習処理のシーケンス例について図14に示すフローチャートを参照して説明する。
先に説明したように、移動装置200の学習処理部211、および学習サーバ300の学習処理部302は、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の構築を行う。
まず、ステップS31において、「運転者情報」や「環境情報」を入力する。
次に、ステップS32において、手動運転開始要求通知時間から手動運転開始までの時間を計測する。
次に、ステップS32において、手動運転開始要求通知時間から手動運転開始までの時間を計測する。
次に、ステップS33において、手動運転開始後の運転者の操作情報を運転者情報取得部から取得し、安全な操作が行われているか否かに応じた安全性指標値を算出する。前述したように、運転者情報取得部12は、運転者の覚醒度を判定するための情報取得処理の他、運転者の操作情報、すなわち各操作部(ハンドル、アクセル、ブレーキ等)の操作情報を取得する機能も備えている。
なお、ステップS33の安全性指標値算出処理においては、運転者の操作情報のみならず、例えば、具体的な事象対処情報や事故情報を用いて安全性指標値を算出する処理を行ってもよい。例えば、「運転者情報」、「環境情報」の他、時刻や道路情報に対応する事故情報等を用いて安全性指標値を算出する構成としてもよい。事象対処情報とは、運転者の的確な操舵判断評価レベルとして運転操舵状況の継続モニタリングすることを通し、例えば車両が車線から逸れる走行が開始されたらその補正のハンドル操作が適切なタイミングで行われているか、または定常時観測に対して遅延が見られないか、オーバー補正動作が発生していないか、補正刻み間隔の発生が不規則になり始めていないか等、変動振幅やステアリング補正の際の発生加速度変化など総合的操舵安定性評価を継続的に行う。これら運転者の操舵機器への操舵安定性をシステムが受動的にパッシブモニタリング解析する事で運転者の疲労度合いや眠気等の運転転者の運転品質低下推定に従来用いらていた運転者のモニタリング方法の一つであるが、自動運転に於ける運転者の短期間での運転者覚醒度合いの復帰品質評価として用いるには、一律のパッシブモニタリングであると引き継ぎ要請地点での道路の単調性や緊急度の違いで運転者介在がマチマチとなる。そこで、引き継ぎ地点で運転者に応答を求める操作ノイズを適宜注入して能動的な反射応答反応として操舵の補正安定性をさらに確認してもよい。
システムが一旦運転者に車両システムの制御を委ね始めると、運転者はハンドルやブレーキやアクセルと操舵意図入力が行われる為、システムはスアリングの上記補正操舵の例で分かるように、システムが操舵上望ましいと判断さる正常な走行運転として許容範囲の理想時速走行制御と運転者による制御の差違評価が開始できるため、運転者の操舵妥当性から運転者の覚醒度復帰レベルの定量化評価が可能となる。システムが完全に操舵介在を完了するのは、運転者にシステム制御が委ねられた段階であり、その結果システムはその引継ぎ開始前の運転者状態、車両状態、環境状態等のいわゆる「運転者情報」、「環境情報」の履歴と成否または正常引き継ぎに要した実際の遅延時間や引き継ぎ開始時の操舵の質評価ログ、更に完全回復に要した復帰挙動特性変化カーブなどログデータセットが得られる。
次のステップS34では、手動運転開始後の操作情報に基づく安全性指標値を一定値以上(安全)にするために必要な、通知時間から手動運転開始時間までの経過時間(手動運転復帰可能時間)を算出する。
次のステップS35では、入力情報(運転者情報、環境情報等)と、安全性指標値と、手動運転復帰可能時間との対応データから構成される入出力データを生成、学習器を更新する。
ステップS31~S35の処理は、繰り返し、実行され、大量の学習データを利用して、入力情報(運転者情報、環境情報等)と、安全性指標値と、手動運転復帰可能時間との対応データを用いて構成される学習器が、順次、更新される。
ステップS31~S35の処理は、繰り返し、実行され、大量の学習データを利用して、入力情報(運転者情報、環境情報等)と、安全性指標値と、手動運転復帰可能時間との対応データを用いて構成される学習器が、順次、更新される。
ステップS36の処理は、学習サーバ300の学習処理部302において学習器の構築が行われた場合の処理である。
ステップS36では、学習サーバ300の生成した最新の学習器を移動装置(自動車)に送信する。
ステップS36では、学習サーバ300の生成した最新の学習器を移動装置(自動車)に送信する。
この図14に示す学習処理によって、安全性指標値と、手動運転復帰可能時間との対応データや、復帰遅延時間と復帰成功率との対応データを生成することができる。これらのデータの具体例を図15に示す。
図15(a)は、観測値に相当する可観測評価値と復帰遅延時間(=手動運転復帰可能時間)の複数の関係情報(観測プロット)の分布の一例を示している。この例は、ある運転者のある2次タスクの種類に対応したものである。この複数の関係情報(観測プロット)から復帰遅延時間を算出するために、取得された観測値に対応した評価値方向に一定の幅を持つ領域(破線矩形枠で示している)内の関係情報(観測プロット)を抽出する。図中の点線cは、後述の図15(b)の復帰成功率が0.95となる復帰遅延時間を、運転者の異なる観測値で観測した際の境界線を表している。
図15(a)は、観測値に相当する可観測評価値と復帰遅延時間(=手動運転復帰可能時間)の複数の関係情報(観測プロット)の分布の一例を示している。この例は、ある運転者のある2次タスクの種類に対応したものである。この複数の関係情報(観測プロット)から復帰遅延時間を算出するために、取得された観測値に対応した評価値方向に一定の幅を持つ領域(破線矩形枠で示している)内の関係情報(観測プロット)を抽出する。図中の点線cは、後述の図15(b)の復帰成功率が0.95となる復帰遅延時間を、運転者の異なる観測値で観測した際の境界線を表している。
点線cより長い、つまり早い猶予時間で運転者に自動から手動の復帰通知や警報を出す事により、運転者の自動から手動復帰が、0.95以上の割合で成功する事が担保される領域となる。
図15(b)は、抽出された複数の関係情報(観測プロット)で得られる復帰遅延時間と復帰成功率との関係を示している。ここで、曲線aは各復帰遅延時間における単独成功率を示し、曲線bは各復帰遅延時間における累積成功率を示している。この場合、曲線bに基づいて、所定の割合の成功率、図示の例においては成功率が0.95となるように、復帰遅延時間t1が算出される。
この算出処理は、例えば、先に図11を参照して説明した安全性判別部210において実行される。例えば、記憶部240に格納されている過去に取得された可観測評価値と復帰遅延時間の複数の関係情報(観測プロット)の分布情報を利用して、安全性判別部210で行われる。
先に説明した自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR:Requested Recovery Ratio)は、図15(b)のグラフに示す復帰成功率に対応する。
本開示の構成では、道路の区間単位で、自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR)を設定し、この目標復帰成功率(RRR)に応じて、自動運転車両に対する手動運転への復帰要請通知のタイミングを制御する。
例えば、95%の成功率が要求される区間、すなわち、
RRR=0.95
の設定区間では、図(b)に示す復帰成功率=0.95のラインと曲線bとの交点位置に対応する復帰遅延時間t1を求め、この復帰遅延時間t1を取得し、手動運転開始区間に侵入する時間よりt1前の時間に、運転者に対して復帰要求通知を行えばよい。復帰通知は、例えば先に図3を参照して説明した表示処理やアラーム出力等によって行われる。
本開示の構成では、道路の区間単位で、自動運転から手動運転への復帰の目標となる成功率である目標復帰成功率(RRR)を設定し、この目標復帰成功率(RRR)に応じて、自動運転車両に対する手動運転への復帰要請通知のタイミングを制御する。
例えば、95%の成功率が要求される区間、すなわち、
RRR=0.95
の設定区間では、図(b)に示す復帰成功率=0.95のラインと曲線bとの交点位置に対応する復帰遅延時間t1を求め、この復帰遅延時間t1を取得し、手動運転開始区間に侵入する時間よりt1前の時間に、運転者に対して復帰要求通知を行えばよい。復帰通知は、例えば先に図3を参照して説明した表示処理やアラーム出力等によって行われる。
図16は、自動運転モードにおいて運転者が、運転操舵作業から離脱状態にある時に実行している処理(2次タスク)の種類に応じた手動運転復帰可能時間について説明する図である。
個々の分布プロファイルが、図15(b)で示す、観測値、すなわち運転者状態を示す運転者情報に基づいて予測される曲線aに相当する。つまり、必要な復帰確率で自動運転から手動運転に引き継ぎ点で完了するためには、各段階で検出される運転者の覚醒度合いを評価可能な観測値からその時々の実行中の2次タスクの内容や復帰前後履歴等に応じて、運転者が復帰に要する過去の特性を参照してそのプロファイル(図15(b)の復帰成功率プロファイル)が所望の値となる時刻t1を元に実際に復帰に必要な状態に各復帰段階で達しているかを引き継ぎが完了するまでモニタリングして行く。
例えば、仮眠している場合の初期曲線は、自動運転で仮眠期間中にパッシブモニタリングしていた呼吸や脈波等の観測情報から睡眠レベルを推測し、覚醒警報発報後に該当運転者の復帰遅延特性を見た累計の平均的分布となる。目が覚めてその後の移動復帰手順中で観測された運転者状態を示す運転者情報に応じて、途中の各分布は決まっていく。図に示す「6.仮眠している場合」を観測して覚醒警報が間に合う右のタイミングが決定し、その後の途中行程は予測中間点の可観測運転者状態評価値から予測される復帰バジェットの中での復帰時間分布となる。
途中途中で、引き継まで順次減っていく残存引き継ぎ限界タイムリミットに違反しない事を観測し続け、違反リスクがある場合は、減速して時間猶予生成などを行う。なお、例えば「6.仮眠している場合」、「5.着座」のステップが無い中で、「4.非運転姿勢イレギュラー回転着座」からスタートする復帰の際の分布は、初めの状況認知把握から復帰のプロセスが開始されるので、同じ項目でも「6.仮眠している場合」から始めた途中経過としての状態「4.非運転姿勢イレギュラー回転着座」姿勢は同じになっても思考過程が復帰意識過程にあり、初めから「4.非運転姿勢イレギュラー回転着座」姿勢で状況認知から開始する場合には、状況認知の時間を要するために長くなる。
このように、運転者の覚醒度を反映した運転者状態(運転者情報)に応じて、所定の復帰成功率を得るための復帰遅延時間は大きく異なることになる。本開示の情報処理装置のデータ処理部は、運転者単位、かつ、運転者の覚醒度を反映した運転者状態(運転者情報)単位の学習データを利用して手動運転復帰可能時間を算出する。学習データは、例えば、図15(b)に示す自動運転から手動運転への復帰遅延時間と復帰成功率との対応データ等である。
なお、現在運転している運転者の可観測評価値と復帰遅延時間との関係情報が記憶部に十分に蓄積されていない場合もある。その場合には、記憶部には例えば同年代の運転者人口から収集された情報に基づき生成された復帰特性情報として、予め備えた復帰の想定分布情報として利用して、復帰遅延時間t1の算出を行うことができる。この復帰情報は、運転者固有特性がまだ十分に学習されていないため、その情報を元に同一の復帰確率で利用しても良く、またはより高い復帰成功率を設定しても良い。なお、人間工学的に見て不慣れな利用者はより慎重になる事から利用初期に早期の復帰が見込まれ、利用に慣れるに従いシステムの通知に合わせた行動に運転者自身が適合していく。なお、多数の車両を運行する物流業、バスやタクシーなどの運行業、更にはシェアリングカーやレンタル自動車で異なる車両を利用する場合、運転者の個人認証を行い遠隔サーバ等で運転の可観測情報と復帰特性を集中または分散して管理や学習し、個別車両に必ずしも復帰特性のデータを保持せず、遠隔学習処理や保持をしても良い。
また、通知タイミングが重要となる事から、復帰成功率は一律の成否までの時間として説明をしているが、自動運転から手動運転の成否を2値的な成否に限定せず、復帰引き継ぎ品質に拡張した判別を更に行っても良い。つまり、実際の復帰確認に至る
復帰手順推移の遅延時間、通知に対する復帰開始遅延、途中復帰動作における停滞など、許された時間内での復帰であって復帰品質評価値として学習器へ更に入力をしてもよい。
復帰手順推移の遅延時間、通知に対する復帰開始遅延、途中復帰動作における停滞など、許された時間内での復帰であって復帰品質評価値として学習器へ更に入力をしてもよい。
先に図15を参照して説明したように、図14に示すフローチャートに従った学習処理によって生成されるデータとして、安全性指標値と、手動運転復帰可能時間との対応データや、復帰遅延時間と復帰成功率との対応データを生成することができる。
本開示の情報処理装置は、図14に示すフローチャートに従った学習処理によって生成される復帰遅延時間と復帰成功率との対応データ、および、ローカルダイナミックマップ(LDM)に含まれる各道路区間単位の目標復帰成功率(RRR:Requested Recovery Ratio)を利用して、自動運転車両に対する手動運転への復帰要請通知のタイミングを算出して決定する。
この具体例について、図17を参照して説明する。
この具体例について、図17を参照して説明する。
図17(a)は、図14に示すフローチャートに従った学習処理によって生成されるある運転者の復帰遅延時間と復帰成功率との対応データである。
なお、復帰遅延時間と復帰成功率との対応データは、運転者毎に異なるデータであり、また、自動運転中の運転者状態(例えば仮眠中、作業中、前を見ている等)によっても異なるデータとなる。これらの各状態に対応したデータ(復帰遅延時間と復帰成功率との対応データ)が図14を参照して説明したシーケンスに従った学習処理によって生成される。
なお、復帰遅延時間と復帰成功率との対応データは、運転者毎に異なるデータであり、また、自動運転中の運転者状態(例えば仮眠中、作業中、前を見ている等)によっても異なるデータとなる。これらの各状態に対応したデータ(復帰遅延時間と復帰成功率との対応データ)が図14を参照して説明したシーケンスに従った学習処理によって生成される。
情報処理装置が、自動運転車両に対する手動運転への復帰要請通知のタイミングを決定する処理を行う際は、現在の運転者の識別情報と、自動運転実行中の運転者状態を示す運転者情報を取得して、識別された運転者の運転者状態を示す運転者情報に対応する学習データ(復帰遅延時間と復帰成功率との対応データ)を適用した処理を行う。
図17(a)に示すデータは、ある1人の運転者に対する学習処理によって生成されたデータであり、運転者が着座運転姿勢で端末を利用して作業中の場合に対応するデータ(復帰遅延時間と復帰成功率との対応データ)である。
この学習データを取得した運転者が、現在、図17(b)に示すような道路区間を走行している。すなわち、現在、自動運転区間を走行中であり、走行中の自動運転区間の次に、目標復帰成功率(RRR)=0.95の設定された手動運転区間が存在する。これらの区間情報や目標復帰成功率(RRR)は、RRR情報付属LDMから取得可能な情報である。
なお、運転者は、着座運転姿勢で端末を利用して作業中である。
なお、運転者は、着座運転姿勢で端末を利用して作業中である。
このような設定において、運転者が乗車中の移動装置(自動車)内の情報処理装置は、現在、自動運転実行中の運転者状態を示す運転者情報を取得し、さらに識別された運転者の運転者状態を示す運転者情報に対応する学習データ(図17(a)に示す復帰遅延時間と復帰成功率との対応データ)を適用して、自動運転車両に対する手動運転への復帰要請通知のタイミングを決定する処理を行う。
図に示す例では、走行中の自動運転区間の次に、目標復帰成功率(RRR)=0.95(=95%)の設定された手動運転区間が存在する。
情報処理装置のデータ処理部は、図17(a)に示す復帰遅延時間と復帰成功率との対応データの復帰成功率=0.95(=95%)の場合の復帰遅延時間を取得する。図に示す例では、復帰成功率=0.95(=95%)の場合の復帰遅延時間=16secである。情報処理装置データ処理部は、この取得データ(16sec)に基づいて、自動車が手動運転区間に侵入する16秒前を、手動運転への復帰要請通知のタイミングとして決定し、この決定タイミングで復帰要請通知を実行する。この通知は、例えば先に図3を参照して説明した表示データやアラームの出力、あるいはシートやハンドル等のバイブレーション処理などによって実行される。
情報処理装置のデータ処理部は、図17(a)に示す復帰遅延時間と復帰成功率との対応データの復帰成功率=0.95(=95%)の場合の復帰遅延時間を取得する。図に示す例では、復帰成功率=0.95(=95%)の場合の復帰遅延時間=16secである。情報処理装置データ処理部は、この取得データ(16sec)に基づいて、自動車が手動運転区間に侵入する16秒前を、手動運転への復帰要請通知のタイミングとして決定し、この決定タイミングで復帰要請通知を実行する。この通知は、例えば先に図3を参照して説明した表示データやアラームの出力、あるいはシートやハンドル等のバイブレーション処理などによって実行される。
なお、情報処理装置が、自動車が手動運転区間に侵入する16秒前を、手動運転への復帰要請通知のタイミングとして決定するためには、自動車の自動運転実行中の速度情報が必要であり、情報処理装置は、自動運転実行中の速度情報も取得して通知タイミングの決定処理を行う。
図17(b)に示すように、自動車が手動運転区間に侵入する16秒前に、手動運転への復帰要請通知を行うことで、運転者は、16秒後には、95%の確率で安全な手動運転を開始することが可能になる。結果として、目標復帰成功率(RRR)=0.95(=95%)の設定された手動運転区間に侵入するタイミングにおいて、運転者は、95%の確率で安全な手動運転を開始可能になる
このように、本開示の情報処理装置のデータ処理部、例えば図11に示す安全性判別部210は、手動運転が必要となる道路区間に侵入するまでの時間が、手動運転復帰可能時間以上となるタイミングを、手動運転復帰要請通知タイミングとして決定し、このタイミングで手動運転復帰要請通知を実行する。
このように、本開示の情報処理装置のデータ処理部、例えば図11に示す安全性判別部210は、手動運転が必要となる道路区間に侵入するまでの時間が、手動運転復帰可能時間以上となるタイミングを、手動運転復帰要請通知タイミングとして決定し、このタイミングで手動運転復帰要請通知を実行する。
次に、図18を参照して、目標復帰成功率(RRR)の異なる設定の手動運転区間が存在する場合の処理について説明する。図18(b)に示すように、自動車が走行中の自動運転区間の次に、目標復帰成功率(RRR)=0.50(=50%)の設定された手動運転区間が存在する場合の処理である。なお、区間情報や目標復帰成功率(RRR)は、RRR情報付属LDMから取得可能な情報である。
なお、運転者は、着座運転姿勢で端末を利用して作業中である。
なお、運転者は、着座運転姿勢で端末を利用して作業中である。
この場合、情報処理装置のデータ処理部は、図18(a)に示す復帰遅延時間と復帰成功率との対応データの復帰成功率=0.50(=50%)の場合の復帰遅延時間を取得する。図に示す例では、復帰成功率=0.50(=50%)の場合の復帰遅延時間=11secである。情報処理装置データ処理部は、この取得データ(11sec)に基づいて、自動車が手動運転区間に侵入する11秒前を、手動運転への復帰要請通知のタイミングとして決定し、この決定タイミングで復帰要請通知を実行する。この通知は、例えば先に図3を参照して説明した表示データやアラームの出力、あるいはシートやハンドル等のバイブレーション処理などによって実行される。
図18(b)に示すように、自動車が手動運転区間に侵入する11秒前に、手動運転への復帰要請通知を行うことで、運転者は、11秒後には、50%の確率で安全な手動運転を開始することが可能になる。結果として、目標復帰成功率(RRR)=0.50(=50%)の設定された手動運転区間に侵入するタイミングにおいて、運転者は、50%の確率で安全な手動運転を開始可能になる。
次に、図19を参照して、運転者の状態が、図17、図18を参照して説明した状態(着座運転姿勢で端末を利用して作業中)とは異なる状態の場合の処理例について説明する。
前述したように、情報処理装置が、自動運転車両に対する手動運転への復帰要請通知のタイミングを決定する際には、現在の運転者の識別情報と、自動運転実行中の運転者状態を示す運転者情報を取得して、識別された運転者の運転者状態を示す運転者情報に対応する学習データ(復帰遅延時間と復帰成功率との対応データ)を適用した処理を行う。
前述したように、情報処理装置が、自動運転車両に対する手動運転への復帰要請通知のタイミングを決定する際には、現在の運転者の識別情報と、自動運転実行中の運転者状態を示す運転者情報を取得して、識別された運転者の運転者状態を示す運転者情報に対応する学習データ(復帰遅延時間と復帰成功率との対応データ)を適用した処理を行う。
図19(a)に示すデータは、ある1人の運転者に対する学習処理によって生成されたデータであり、運転者が仮眠中の場合に対応するデータ(復帰遅延時間と復帰成功率との対応データ)である。
図19(a)に示すグラフは、図18(a)に示すグラフと異なり、復帰成功率の傾きが緩やかなグラフとなっている。すなわち、図19(a)に示すグラフは、所定の復帰成功率を得るための復帰遅延時間が、図18(a)に示すグラフより長い時間に設定されている。これは、運転者が仮眠中の場合、より早いタイミングで手動運転復帰通知を行う必要があることを意味する。
図19(a)に示すグラフは、図18(a)に示すグラフと異なり、復帰成功率の傾きが緩やかなグラフとなっている。すなわち、図19(a)に示すグラフは、所定の復帰成功率を得るための復帰遅延時間が、図18(a)に示すグラフより長い時間に設定されている。これは、運転者が仮眠中の場合、より早いタイミングで手動運転復帰通知を行う必要があることを意味する。
この図19(a)に示すデータの取得対象となった運転者が、現在、図19(b)に示すような道路区間を走行している。すなわち、現在、自動運転区間を走行中であり、走行中の自動運転区間の次に、目標復帰成功率(RRR)=0.50の設定された手動運転区間が存在する。
これらの区間情報や目標復帰成功率(RRR)は、RRR情報付属LDMから取得可能な情報である。
なお、運転者は、仮眠中である。
これらの区間情報や目標復帰成功率(RRR)は、RRR情報付属LDMから取得可能な情報である。
なお、運転者は、仮眠中である。
この場合、情報処理装置のデータ処理部は、図19(a)に示す復帰遅延時間と復帰成功率との対応データの復帰成功率=0.50(=50%)の場合の復帰遅延時間を取得する。図に示す例では、復帰成功率=0.50(=50%)の場合の復帰遅延時間=37secである。情報処理装置データ処理部は、この取得データ(37sec)に基づいて、自動車が手動運転区間に侵入する37秒前を、手動運転への復帰要請通知のタイミングとして決定し、この決定タイミングで復帰要請通知を実行する。この通知は、例えば先に図3を参照して説明した表示データやアラームの出力、あるいはシートやハンドル等のバイブレーション処理などによって実行される。
図19(b)に示すように、自動車が手動運転区間に侵入する37秒前に、手動運転への復帰要請通知を行うことで、運転者は、37秒後には、50%の確率で安全な手動運転を開始することが可能になる。結果として、目標復帰成功率(RRR)=0.50(=50%)の設定された手動運転区間に侵入するタイミングにおいて、運転者は、50%の確率で安全な手動運転を開始可能になる。
なお、情報処理装置(システム)が算出する手動運転への復帰要請通知のタイミングは、運転者が手動運転を開始可能となる最短時間を考慮したタインミングとするのが1つの例であるが、さらに、このタイミングより早期のタイミングを算出して運転者に手動運転復帰通知を行う構成としてもよい。例えば、以下のような状況では、より早期のタイミングで通知を行うことが好ましい。
(a)運転者の介入を要する山間部のカーブの多い危険な区間を走行している場合、
(b)複雑な近傍の走行車両との相互関係を理解して操舵を行うことが必要な場合、
(c)大がかりなラウンドアバウト内での引き継ぎが必要な場合、
(d)ミリ波レーダやナイトビジョン等を利用した車両運転システムにおいて、夜間や濃霧下の環境等を走行している等、人による運転が容易ではない状況にある場合、
例えばこのような状況では、より早期のタイミングで通知を行うことが好ましい。
なお、この場合も、目標復帰成功率は必要なベースライン通知時間を算出する上で用いる基本指標になる。
(a)運転者の介入を要する山間部のカーブの多い危険な区間を走行している場合、
(b)複雑な近傍の走行車両との相互関係を理解して操舵を行うことが必要な場合、
(c)大がかりなラウンドアバウト内での引き継ぎが必要な場合、
(d)ミリ波レーダやナイトビジョン等を利用した車両運転システムにおいて、夜間や濃霧下の環境等を走行している等、人による運転が容易ではない状況にある場合、
例えばこのような状況では、より早期のタイミングで通知を行うことが好ましい。
なお、この場合も、目標復帰成功率は必要なベースライン通知時間を算出する上で用いる基本指標になる。
[8.ローカルダイナミックマップ(LDM)、および目標復帰成功率(RRR)の取得、利用処理シーケンスについて]
次に図20に示すフローチャートを参照して、移動装置のデータ処理部、または移動装置に装着された情報処理装置のデータ処理部が実行するローカルダイナミックマップ(LDM)、および目標復帰成功率(RRR)の取得、利用処理シーケンスについて説明する。
図20に示すフローの各ステップの処理について、順次、説明する。
次に図20に示すフローチャートを参照して、移動装置のデータ処理部、または移動装置に装着された情報処理装置のデータ処理部が実行するローカルダイナミックマップ(LDM)、および目標復帰成功率(RRR)の取得、利用処理シーケンスについて説明する。
図20に示すフローの各ステップの処理について、順次、説明する。
(ステップS101)
まず、移動装置のデータ処理部、または移動装置に装着された情報処理装置のデータ処理部は、ステップS101において、ベース地図情報を取り込む。なお、以下において、移動装置のデータ処理部、または移動装置に装着された情報処理装置のデータ処理部を簡略化してデータ処理部として説明する。
ステップS101において、データ処理部は、例えばLDM(ローカルダイナミックマップ)情報提供サーバから取得済みのデータが移動装置内のローカル記憶部に格納されている場合はローカル記憶部から取得する。ローカル記憶部に格納されていない場合はLDM情報提供サーバから取得する。
まず、移動装置のデータ処理部、または移動装置に装着された情報処理装置のデータ処理部は、ステップS101において、ベース地図情報を取り込む。なお、以下において、移動装置のデータ処理部、または移動装置に装着された情報処理装置のデータ処理部を簡略化してデータ処理部として説明する。
ステップS101において、データ処理部は、例えばLDM(ローカルダイナミックマップ)情報提供サーバから取得済みのデータが移動装置内のローカル記憶部に格納されている場合はローカル記憶部から取得する。ローカル記憶部に格納されていない場合はLDM情報提供サーバから取得する。
(ステップS102)
次に、データ処理部は、ステップS102においてLDMの更新情報を確認し、更新情報がある場合は更新処理を行う。これらの更新情報は、LDM(ローカルダイナミックマップ)情報提供サーバから取得する。
このステップS101~S102の処理によって、先に図1を参照して説明したタイプ1~タイプ4の複数階層から構成されたLDM(ローカルダイナミックマップ)の取得が完了する。
次に、データ処理部は、ステップS102においてLDMの更新情報を確認し、更新情報がある場合は更新処理を行う。これらの更新情報は、LDM(ローカルダイナミックマップ)情報提供サーバから取得する。
このステップS101~S102の処理によって、先に図1を参照して説明したタイプ1~タイプ4の複数階層から構成されたLDM(ローカルダイナミックマップ)の取得が完了する。
(ステップS103)
次に、データ処理部は、ステップS103において、走行予定の道路区間を取得する。これは、例えば自動運転開始時に予め設定済みの走行ルート情報から、走行予定の道路区間を取得する処理である。
次に、データ処理部は、ステップS103において、走行予定の道路区間を取得する。これは、例えば自動運転開始時に予め設定済みの走行ルート情報から、走行予定の道路区間を取得する処理である。
(ステップS104)
次に、データ処理部は、ステップS104において、走行予定道路区間の目標復帰成功率(RRR)の取得リクエストを行う。これは、ステップS101~S102で取得したローカルダイナミックマップ(LDM)の付属情報として、LDM情報提供サーバが生成する目標復帰成功率(RRR)の取得要求である。
次に、データ処理部は、ステップS104において、走行予定道路区間の目標復帰成功率(RRR)の取得リクエストを行う。これは、ステップS101~S102で取得したローカルダイナミックマップ(LDM)の付属情報として、LDM情報提供サーバが生成する目標復帰成功率(RRR)の取得要求である。
(ステップS105)
次に、データ処理部は、ステップS105において、走行予定道路区間の目標復帰成功率(RRR)を取得し、ステップS101~S102で取得したローカルダイナミックマップ(LDM)に対応付けるデータ更新処理を実行する。
次に、データ処理部は、ステップS105において、走行予定道路区間の目標復帰成功率(RRR)を取得し、ステップS101~S102で取得したローカルダイナミックマップ(LDM)に対応付けるデータ更新処理を実行する。
なお、本処理例では、既存のローカルダイナミックマップ(LDM)、すなわち図1を参照して説明したタイプ1~4の各データから構成されるLDMと、道路区間単位の目標復帰成功率(RRR)情報を個別に取得する設定として説明したが、これは一例であり、LDM情報提供サーバが道路区間単位の目標復帰成功率(RRR)情報をLDMに記録したRRR付属LDMを生成して、移動装置がこのRRR付属LDMを取得する構成としてもよい。
(ステップS106)
次に、データ処理部は、ステップS105において、走行予定道路区間の目標復帰成功率(RRR)に基づく処理を実行する。
具体的には、先に図17~図19を参照して説明したような、運転者状況に応じた学習データ(復帰遅延時間と復帰成功率との対応データ)と、走行予定道路区間の目標復帰成功率(RRR)を用いて、手動運転区間への侵入前に実行すべき手動運転復帰要請通知の通知タイミングを決定し、決定した通知タイミングでの通知処理を実行する。
なお、このステップS106の処理の詳細については、さらに、後段で図21に示すフローチャートを参照して説明する。
次に、データ処理部は、ステップS105において、走行予定道路区間の目標復帰成功率(RRR)に基づく処理を実行する。
具体的には、先に図17~図19を参照して説明したような、運転者状況に応じた学習データ(復帰遅延時間と復帰成功率との対応データ)と、走行予定道路区間の目標復帰成功率(RRR)を用いて、手動運転区間への侵入前に実行すべき手動運転復帰要請通知の通知タイミングを決定し、決定した通知タイミングでの通知処理を実行する。
なお、このステップS106の処理の詳細については、さらに、後段で図21に示すフローチャートを参照して説明する。
(ステップS107)
ステップS107は、RRR付属LDMの利用処理完了判定処理である。RRR付属LDMの利用処理が完了したと判定されると処理を終了する。
一方、RRR付属LDMの利用処理が完了していないと判定されると、ステップS103に戻り、ステップS103以下の処理を繰り返し実行する。
ステップS107は、RRR付属LDMの利用処理完了判定処理である。RRR付属LDMの利用処理が完了したと判定されると処理を終了する。
一方、RRR付属LDMの利用処理が完了していないと判定されると、ステップS103に戻り、ステップS103以下の処理を繰り返し実行する。
[9.目標復帰成功率(RRR)を利用した手動運転復帰通知処理のシーケンスについて]
次に、本開示の移動装置、情報処理装置の実行する目標復帰成功率(RRR)を利用した手動運転復帰通知処理のシーケンスについて説明する。
次に、本開示の移動装置、情報処理装置の実行する目標復帰成功率(RRR)を利用した手動運転復帰通知処理のシーケンスについて説明する。
図21に示すフローチャートは、本開示の移動装置である自動車が、自動運転モードから手動運転モードへ切り替える際に実行する処理のシーケンスの一例を説明するフローチャートである。
各ステップの処理について、順次、説明する。
各ステップの処理について、順次、説明する。
(ステップS201)
まず、移動装置のデータ処理部、または移動装置に装着された情報処理装置のデータ処理部は、ステップS201において、自動運転モードから手動運転モードへの切り替え要求の発生事象を観測する。なお、以下において、移動装置のデータ処理部、または移動装置に装着された情報処理装置のデータ処理部を簡略化してデータ処理部として説明する。
データ処理部は、ステップS201において、自動運転モードから手動運転モードへの切り替え要求の発生事象を観測する。この観測情報は、ローカルダイナミックマップ(LDM)情報に基づいて行われる。
まず、移動装置のデータ処理部、または移動装置に装着された情報処理装置のデータ処理部は、ステップS201において、自動運転モードから手動運転モードへの切り替え要求の発生事象を観測する。なお、以下において、移動装置のデータ処理部、または移動装置に装着された情報処理装置のデータ処理部を簡略化してデータ処理部として説明する。
データ処理部は、ステップS201において、自動運転モードから手動運転モードへの切り替え要求の発生事象を観測する。この観測情報は、ローカルダイナミックマップ(LDM)情報に基づいて行われる。
(ステップS202)
次に、ステップS202において、観測値を取得する。この観測値取得処理は、例えば、図11に示す運転者情報取得部201、環境情報取得部202、運転者個人識別情報取得部203において行われる。なお、これらの構成は、図5に示す構成では、データ取得部102、検出部131の各構成に対応する。
次に、ステップS202において、観測値を取得する。この観測値取得処理は、例えば、図11に示す運転者情報取得部201、環境情報取得部202、運転者個人識別情報取得部203において行われる。なお、これらの構成は、図5に示す構成では、データ取得部102、検出部131の各構成に対応する。
先に説明したように、運転者情報取得部201は、カメラや様々なセンサによって構成され、運転者の情報、例えば運転者の覚醒度を判定するための情報を取得する。例えば眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情などである。運転者情報取得部201は、さらに、運転者の各操作部(ハンドル、アクセル、ブレーキ等)の操作情報も取得する。
この観測値取得処理において、運転者の運転者状態を示す運転者情報、例えば仮眠中であるか、前を見ているか、タブレット端末操作中であるか等の運転者状態を示す運転者情報が取得される。
この観測値取得処理において、運転者の運転者状態を示す運転者情報、例えば仮眠中であるか、前を見ているか、タブレット端末操作中であるか等の運転者状態を示す運転者情報が取得される。
また、環境情報取得部202は、例えば移動装置に設置された撮像部による画像、奥行き情報、3次元構造情報、移動体に設置されたLiDAR等のセンサによる地形情報、GPSによる位置情報、さらに、信号器の状態、標識の情報など、道路等のインフラストラクチャーに設置された通信機器からの情報などを取得する。
(ステップS203)
次に、ステップS203において、手動運転復帰要求区間の目標復帰成功率(RRR)を取得する。これは、LDM情報提供サーバの提供する目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)から取得する。
次に、ステップS203において、手動運転復帰要求区間の目標復帰成功率(RRR)を取得する。これは、LDM情報提供サーバの提供する目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)から取得する。
(ステップS204)
次に、ステップS204において、ステップS202で取得した観測値、具体的には運転者状態を示す運転者情報と、ステップS203で取得した手動運転復帰要求区間の目標復帰成功率(RRR)を用いて、目標復帰成功率(RRR)を実現するための手動運転復帰可能時間(=復帰遅延時間)を算出する。
この処理は、先に図17~図19を参照して説明した処理に相当する。
次に、ステップS204において、ステップS202で取得した観測値、具体的には運転者状態を示す運転者情報と、ステップS203で取得した手動運転復帰要求区間の目標復帰成功率(RRR)を用いて、目標復帰成功率(RRR)を実現するための手動運転復帰可能時間(=復帰遅延時間)を算出する。
この処理は、先に図17~図19を参照して説明した処理に相当する。
このステップS204の処理は、図11に示す安全性判別部210の安全性判別処理実行部(手動運転復帰可能時間推定部)212の実行する処理である。
安全性判別処理実行部(手動運転復帰可能時間推定部)212は、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報等を入力する。さらに、学習処理部211における学習結果である学習器、あるいは学習サーバ300から取得した学習器を利用し、現在の運転者情報と、手動運転復帰要求区間の目標復帰成功率(RRR)に基づいて、安全な手動運転復帰までに必要となる手動運転復帰可能時間(=復帰遅延時間)を推定する。
安全性判別処理実行部(手動運転復帰可能時間推定部)212は、運転者情報取得部201の取得した運転者情報と、環境情報取得部202の取得した環境情報等を入力する。さらに、学習処理部211における学習結果である学習器、あるいは学習サーバ300から取得した学習器を利用し、現在の運転者情報と、手動運転復帰要求区間の目標復帰成功率(RRR)に基づいて、安全な手動運転復帰までに必要となる手動運転復帰可能時間(=復帰遅延時間)を推定する。
ここで、利用する学習データは、運転者対応、かつ運転者状態を示す運転者情報に応じたデータである。具体的には、図17~図19を参照して説明した運転者対応、かつ運転者状態を示す運転者情報に応じた復帰遅延時間と復帰成功率との対応データである。
このように安全な手動運転復帰までに必要となる手動運転復帰可能時間(=復帰遅延時間)の推定処理には、現在運転している運転者の個人識別情報と、現在実行中の2次タスクの種類の情報を観測情報として利用した処理(手動運転復帰可能時間推定処理)が行われる。なお、乗車前の運転者履歴が利用できる場合には、例えば運転前の生活情報である休憩時間や就寝時間、睡眠時間、スポーツ等の活動は残存蓄積疲労となり、運転者の復帰特性に大きく影響を及ぼすため、それら履歴のログ情報などがある場合は評価の総合判定で除外をするものではない。
(ステップS205)
ステップS205において、ステップS204で算出された復帰遅延時間で決まる通知タイミング、つまり引継ぎ対象事象(自動運転から手動運転への引継ぎ区間や自動運転からの注意走行区間)が復帰遅延時間に迫ってきたタイミングで、運転者に運転復帰するように促すための通知を実行する。この通知は、例えば先に図3を参照して説明したような表示処理として実行される。あるいはアラーム出力やハンドルやシートのバイブレーションとして実行してもよい。例えば、運転者が仮眠している場合には、運転者が寝ている状態から起こすための通知方法が選択される。
ステップS205において、ステップS204で算出された復帰遅延時間で決まる通知タイミング、つまり引継ぎ対象事象(自動運転から手動運転への引継ぎ区間や自動運転からの注意走行区間)が復帰遅延時間に迫ってきたタイミングで、運転者に運転復帰するように促すための通知を実行する。この通知は、例えば先に図3を参照して説明したような表示処理として実行される。あるいはアラーム出力やハンドルやシートのバイブレーションとして実行してもよい。例えば、運転者が仮眠している場合には、運転者が寝ている状態から起こすための通知方法が選択される。
(ステップS206~S209)
次に、ステップS206において、運転者の復帰推移をモニタリングする。そして、ステップS207において、ステップS206におけるモニタリング結果に基づいて、復帰遅延時間内に運転復帰可能か否かが判断される。運転復帰が可能であると判断されると、ステップS208において、運転者の運転復帰が行われる。その後、ステップS209において、学習データの更新が行われる。つまり、上述の運転復帰がなされたときの初期の運転者の2次タスクの種類に関して可観測評価値と実際の復帰遅延時間の関係情報(観測プロット)のサンプル値が1つ追加される。その後、処理が終了される。なお、本実施例では学習はこのイベント都度に発生するプロットデータに限定して記載しているが、実際には事象発生までに前の状態(履歴)に大きく依存して決まるため、多次元的学習を行う事で運転者状態観測値からの復帰遅延所要時間の推定精度の向上をさらにおこなってもよい。
次に、ステップS206において、運転者の復帰推移をモニタリングする。そして、ステップS207において、ステップS206におけるモニタリング結果に基づいて、復帰遅延時間内に運転復帰可能か否かが判断される。運転復帰が可能であると判断されると、ステップS208において、運転者の運転復帰が行われる。その後、ステップS209において、学習データの更新が行われる。つまり、上述の運転復帰がなされたときの初期の運転者の2次タスクの種類に関して可観測評価値と実際の復帰遅延時間の関係情報(観測プロット)のサンプル値が1つ追加される。その後、処理が終了される。なお、本実施例では学習はこのイベント都度に発生するプロットデータに限定して記載しているが、実際には事象発生までに前の状態(履歴)に大きく依存して決まるため、多次元的学習を行う事で運転者状態観測値からの復帰遅延所要時間の推定精度の向上をさらにおこなってもよい。
(ステップS211~S212)
また、ステップS207で運転復帰が不可能であると判断されるとき、ステップS211で減速徐行退避シーケンスの始動から停車までが実行される。次に、ステップS212において、引継不備事象のペナルティの記録が発行され、処理が終了される。なお、このペナルティの記録は記憶部に残される。
なお、このペナルティに付いては運転者の通知に対する的確な望ましいい早期復帰を促す効果がある。個別事象での利用では、例えばシステムの自動運転に可能依存しいて引き継ぎ開始が遅れる事で、車両を減速徐行して一定の走行期間の上限走行速度を運転者の望む上限速度より引き下げて抑制したり、旅程途中でサービスエリア等への一定時間停車させたり、一旦手動運転に移行した後の自動運転モードでの再利用を一定期間や回数制限したりした運用設定を行うと、システム利用者な通知や警報に対する対処遅延がその後の利用者の望む快適性が阻害される結果、利用者の習慣的行動反射に心理的影響を施す副次的な大きな効果があり、運転者個人復帰特性の学習効果と相まって、利用は無意識の内にその運転者に適したタイミングでの通知とその通知に適した遅延の少ない無意識での復帰手順を生む事に繋がる。つまり、走行環境に応じてRRRとして設定された目標復帰率で道路状況に応じて運転者が自身の早期復帰能力に応じて復帰の最適化が利用に応じて順次習慣的に進み、多くの道路利用者が同じように通知の最適化とそれに応じて引き継ぎ不全が一定割合以下に控えられることで道路インフラとしては社会的な負のインパクトを抑制でき、利用者視点では状況に応じた(不必要な早期復帰を要しない事で)自動運転の利便性の最大化が図れるなど、好循環作用が期待される。つまり、ペナルティそれ自体の目的な懲罰的利用を目的とする機能出はなく、利用者の行動特性の最適化誘導の手段がその一次目的でその個別事象の都度利用に課せられるペナルティは副次的なものである。
また、ステップS207で運転復帰が不可能であると判断されるとき、ステップS211で減速徐行退避シーケンスの始動から停車までが実行される。次に、ステップS212において、引継不備事象のペナルティの記録が発行され、処理が終了される。なお、このペナルティの記録は記憶部に残される。
なお、このペナルティに付いては運転者の通知に対する的確な望ましいい早期復帰を促す効果がある。個別事象での利用では、例えばシステムの自動運転に可能依存しいて引き継ぎ開始が遅れる事で、車両を減速徐行して一定の走行期間の上限走行速度を運転者の望む上限速度より引き下げて抑制したり、旅程途中でサービスエリア等への一定時間停車させたり、一旦手動運転に移行した後の自動運転モードでの再利用を一定期間や回数制限したりした運用設定を行うと、システム利用者な通知や警報に対する対処遅延がその後の利用者の望む快適性が阻害される結果、利用者の習慣的行動反射に心理的影響を施す副次的な大きな効果があり、運転者個人復帰特性の学習効果と相まって、利用は無意識の内にその運転者に適したタイミングでの通知とその通知に適した遅延の少ない無意識での復帰手順を生む事に繋がる。つまり、走行環境に応じてRRRとして設定された目標復帰率で道路状況に応じて運転者が自身の早期復帰能力に応じて復帰の最適化が利用に応じて順次習慣的に進み、多くの道路利用者が同じように通知の最適化とそれに応じて引き継ぎ不全が一定割合以下に控えられることで道路インフラとしては社会的な負のインパクトを抑制でき、利用者視点では状況に応じた(不必要な早期復帰を要しない事で)自動運転の利便性の最大化が図れるなど、好循環作用が期待される。つまり、ペナルティそれ自体の目的な懲罰的利用を目的とする機能出はなく、利用者の行動特性の最適化誘導の手段がその一次目的でその個別事象の都度利用に課せられるペナルティは副次的なものである。
[10.情報処理装置の構成例について]
上述した処理は、図5を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置、あるいはサーバにおいて実行することが可能である。
図22を参照して、情報処理装置やサーバのハードウェア構成例について説明する。
上述した処理は、図5を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置、あるいはサーバにおいて実行することが可能である。
図22を参照して、情報処理装置やサーバのハードウェア構成例について説明する。
図22は、情報処理装置やサーバのハードウェア構成例を示す図である。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
CPU(Central Processing Unit)501は、ROM(Read Only Memory)502、または記憶部508に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
RAM(Random Access Memory)503には、CPU501が実行するプログラムやデータなどが記憶される。これらのCPU501、ROM502、およびRAM503は、バス504により相互に接続されている。
CPU501はバス504を介して入出力インタフェース505に接続され、入出力インタフェース505には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、GPS等の状況データ取得部などよりなる入力部506、ディスプレイ、スピーカなどよりなる出力部507が接続されている。
なお、入力部506には、センサ521からの入力情報も入力される。
また、出力部507は、移動装置の駆動部522に対する駆動情報も出力する。
なお、入力部506には、センサ521からの入力情報も入力される。
また、出力部507は、移動装置の駆動部522に対する駆動情報も出力する。
CPU501は、入力部506から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部507に出力する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース505に接続されている記憶部508は、例えばハードディスク等からなり、CPU501が実行するプログラムや各種のデータを記憶する。通信部509は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
入出力インタフェース505に接続されているドライブ510は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア511を駆動し、データの記録あるいは読み取りを実行する。
[11.本開示の構成のまとめ]
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
なお、本明細書において開示した技術は、以下のような構成をとることができる。
(1) 予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する情報処理装置。
(1) 予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する情報処理装置。
(2) 前記データ処理部は、
ローカルダイナミックマップ(LDM)の付属情報として設定された道路区間単位の目標復帰成功率(RRR)を取得し、走行予定の道路区間単位の手動運転復帰可能時間を算出する(1)に記載の情報処理装置。
ローカルダイナミックマップ(LDM)の付属情報として設定された道路区間単位の目標復帰成功率(RRR)を取得し、走行予定の道路区間単位の手動運転復帰可能時間を算出する(1)に記載の情報処理装置。
(3) 前記データ処理部は、
手動運転が必要となる道路区間に侵入するまでの時間が、手動運転復帰可能時間以上となるタイミングを、手動運転復帰要請通知タイミングとして決定する(1)または(2)に記載の情報処理装置。
手動運転が必要となる道路区間に侵入するまでの時間が、手動運転復帰可能時間以上となるタイミングを、手動運転復帰要請通知タイミングとして決定する(1)または(2)に記載の情報処理装置。
(4) 前記データ処理部は、
運転者単位の学習データを利用して、前記手動運転復帰可能時間を算出する(1)~(3)いずれかに記載の情報処理装置。
運転者単位の学習データを利用して、前記手動運転復帰可能時間を算出する(1)~(3)いずれかに記載の情報処理装置。
(5) 前記データ処理部は、
運転者単位、かつ運転者状態を示す運転者情報単位の学習データを利用して、前記手動運転復帰可能時間を算出する(1)~(4)いずれかに記載の情報処理装置。
運転者単位、かつ運転者状態を示す運転者情報単位の学習データを利用して、前記手動運転復帰可能時間を算出する(1)~(4)いずれかに記載の情報処理装置。
(6) 前記データ処理部は、
運転者単位、かつ運転者状態単位の学習データである自動運転から手動運転への復帰遅延時間と復帰成功率との対応データを利用して、前記手動運転復帰可能時間を算出する(1)~(5)いずれかに記載の情報処理装置。
運転者単位、かつ運転者状態単位の学習データである自動運転から手動運転への復帰遅延時間と復帰成功率との対応データを利用して、前記手動運転復帰可能時間を算出する(1)~(5)いずれかに記載の情報処理装置。
(7) 前記運転者状態は、センサによる取得情報に基づいて解析される運転者状態である(6)に記載の情報処理装置。
(8) 前記運転者状態は、運転者の覚醒度を反映した運転者情報である(6)または(7)に記載の情報処理装置。
(9) 前記データ処理部は、
自動運転から手動運転への切り替え後の運転者の操作情報を取得して学習データの更新処理を実行する(1)~(8)いずれかに記載の情報処理装置。
自動運転から手動運転への切り替え後の運転者の操作情報を取得して学習データの更新処理を実行する(1)~(8)いずれかに記載の情報処理装置。
(10) 前記情報処理装置は、
さらに、前記データ処理部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する(1)~(9)いずれかに記載の情報処理装置。
さらに、前記データ処理部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する(1)~(9)いずれかに記載の情報処理装置。
(11) 前記通知部は、
表示部、または音声出力部、またはバイブレータの少なくともいずれかによって構成される(10)に記載の情報処理装置。
表示部、または音声出力部、またはバイブレータの少なくともいずれかによって構成される(10)に記載の情報処理装置。
(12) ローカルダイナミックマップ(LDM)を移動装置に提供するサーバとしての情報処理装置であり、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を生成、更新するRRR情報付属LDM生成、更新部を有する情報処理装置。
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を生成、更新するRRR情報付属LDM生成、更新部を有する情報処理装置。
(13) 前記RRR情報付属LDM生成、更新部は、
各道路区間の交通状態に応じて前記目標復帰成功率(RRR)を更新する処理を行う(12)に記載の情報処理装置。
各道路区間の交通状態に応じて前記目標復帰成功率(RRR)を更新する処理を行う(12)に記載の情報処理装置。
(14) 移動装置の運転者情報を取得する運転者情報取得部と、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を取得する環境情報取得部と、
前記目標復帰成功率(RRR)を達成するために自動運転実行中の運転者が必要とする手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する移動装置。
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を取得する環境情報取得部と、
前記目標復帰成功率(RRR)を達成するために自動運転実行中の運転者が必要とする手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する移動装置。
(15) 前記データ処理部は、
手動運転が必要となる道路区間に侵入するまでの時間が、手動運転復帰可能時間以上となるタイミングを、手動運転復帰要請通知タイミングとして決定する(14)に記載の移動装置。
手動運転が必要となる道路区間に侵入するまでの時間が、手動運転復帰可能時間以上となるタイミングを、手動運転復帰要請通知タイミングとして決定する(14)に記載の移動装置。
(16) 前記データ処理部は、
運転者単位、かつ運転者状態を示す運転者情報単位の学習データである自動運転から手動運転への復帰遅延時間と復帰成功率との対応データを利用して、前記手動運転復帰可能時間を算出する(14)または(15)に記載の移動装置。
運転者単位、かつ運転者状態を示す運転者情報単位の学習データである自動運転から手動運転への復帰遅延時間と復帰成功率との対応データを利用して、前記手動運転復帰可能時間を算出する(14)または(15)に記載の移動装置。
(17) 前記移動装置は、
さらに、前記データ処理部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで、通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する(14)~(16)いずれかに記載の移動装置。
さらに、前記データ処理部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで、通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する(14)~(16)いずれかに記載の移動装置。
(18) サーバと移動装置を有する情報処理システムであり、
前記サーバは、ローカルダイナミックマップ(LDM)を前記移動装置に提供するサーバであり、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を生成、更新して、前記移動装置に送信し、
前記移動装置は、
前記サーバから受信する目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)に記録された目標復帰成功率(RRR)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定する情報処理システム。
前記サーバは、ローカルダイナミックマップ(LDM)を前記移動装置に提供するサーバであり、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を生成、更新して、前記移動装置に送信し、
前記移動装置は、
前記サーバから受信する目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)に記録された目標復帰成功率(RRR)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定する情報処理システム。
(19) 情報処理装置において実行する情報処理方法であり、
データ処理部が、
予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定する情報処理方法。
データ処理部が、
予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定する情報処理方法。
(20) 情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出させ、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定させるプログラム。
データ処理部に、予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出させ、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定させるプログラム。
また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、LAN(Local Area Network)、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
以上、説明したように、本開示の一実施例の構成によれば、道路区間単位の目標復帰成功率(RRR)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知を行う構成が実現される。
具体的には、例えば、予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する。データ処理部は、ローカルダイナミックマップ(LDM)の付属情報として設定された道路区間単位の目標復帰成功率(RRR)を取得し、運転者単位の学習データを利用して走行予定の道路区間単位の手動運転復帰可能時間を算出する。
この目標復帰成功率を基づき運転復帰する運転者行動とその過程で起こる実効的な推移に対し遅延が発生した際に、運転者へ直接的ペナルティを課す仕組みと相まって運転者は繰り返し利用で自然と早期対処を体感的に学習する。そのため、実施の効果は単純なインフラ毎の引き継ぎ不全の発生抑制に留まらず、実質的には運転者の自動運転システムを利用した際にシステム要請に対する早期応答性改善、2次タスク実施時におけるシステム要請に対する注意感度維持(またはその早期対応の必要性感覚の自然な発育)に大きく影響を及ぼす。
本構成により、道路区間単位の目標復帰成功率(RRR)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知を行う構成が実現される。
具体的には、例えば、予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する。データ処理部は、ローカルダイナミックマップ(LDM)の付属情報として設定された道路区間単位の目標復帰成功率(RRR)を取得し、運転者単位の学習データを利用して走行予定の道路区間単位の手動運転復帰可能時間を算出する。
この目標復帰成功率を基づき運転復帰する運転者行動とその過程で起こる実効的な推移に対し遅延が発生した際に、運転者へ直接的ペナルティを課す仕組みと相まって運転者は繰り返し利用で自然と早期対処を体感的に学習する。そのため、実施の効果は単純なインフラ毎の引き継ぎ不全の発生抑制に留まらず、実質的には運転者の自動運転システムを利用した際にシステム要請に対する早期応答性改善、2次タスク実施時におけるシステム要請に対する注意感度維持(またはその早期対応の必要性感覚の自然な発育)に大きく影響を及ぼす。
本構成により、道路区間単位の目標復帰成功率(RRR)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知を行う構成が実現される。
10・・自動車,11・・データ処理部,12・・運転者情報取得部,13・・環境情報取得部,14・・通信部,15・・通知部,20・・運転者,30・・サーバ,100・・移動装置,101・・入力部,102・・データ取得部,103・・通信部,104・・車内機器,105・・出力制御部,106・・出力部,107・・駆動系制御部,108・・駆動系システム,109・・ボディ系制御部,110・・ボディ系システム,111・・記憶部,112・・自動運転制御部,121・・通信ネットワーク,131・・検出部,132・・自己位置推定部,133・・状況分析部,134・・計画部,135・・動作制御部,141・・車外情報検出部,142・・車内情報検出部,143・・車両状態検出部,151・・マップ解析部,152・・交通ルール認識部,153・・状況認識部,154・・状況予測部,155・・安全性判別部(学習処理部),161・・ルート計画部,162・・行動計画部,163・・動作計画部,171・・緊急事態回避部,172・・加減速制御部,173・・方向制御部,200・・移動装置,201・・運転者情報取得部,202・・環境情報取得部,203・・運転者個人識別情報取得部,210・・安全性判別部,211・・学習処理部,212・・安全性判別処理実行部(手動運転復帰可能時間推定部),213・・個人認証処理部,221・・通知制御部,222・・通知部,230・・通信部,240・・記憶部,300・・学習サーバ,301・・学習データ取得、生成部,302・・学習処理部,303・・通信部,304・・記憶部,310・・LDM情報提供サーバ,311・・RRR情報付属LDM生成、更新部,312・・通信部,320・・情報収集、格納部,330・・既存LDM情報生成、更新部,340・・RRR情報生成、更新部,350・・RRR情報挿入部,501・・CPU,502・・ROM,503・・RAM,504・・バス,505・・入出力インタフェース,506・・入力部,507・・出力部,508・・記憶部,509・・通信部,510・・ドライブ,511・・リムーバブルメディア,521・・センサ,522・・駆動部
Claims (20)
- 予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する情報処理装置。
- 前記データ処理部は、
ローカルダイナミックマップ(LDM)の付属情報として設定された道路区間単位の目標復帰成功率(RRR)を取得し、走行予定の道路区間単位の手動運転復帰可能時間を算出する請求項1に記載の情報処理装置。 - 前記データ処理部は、
手動運転が必要となる道路区間に侵入するまでの時間が、手動運転復帰可能時間以上となるタイミングを、手動運転復帰要請通知タイミングとして決定する請求項1に記載の情報処理装置。 - 前記データ処理部は、
運転者単位の学習データを利用して、前記手動運転復帰可能時間を算出する請求項1に記載の情報処理装置。 - 前記データ処理部は、
運転者単位、かつ運転者状態を示す運転者情報単位の学習データを利用して、前記手動運転復帰可能時間を算出する請求項1に記載の情報処理装置。 - 前記データ処理部は、
運転者単位、かつ運転者状態単位の学習データである自動運転から手動運転への復帰遅延時間と復帰成功率との対応データを利用して、前記手動運転復帰可能時間を算出する請求項1に記載の情報処理装置。 - 前記運転者状態は、センサによる取得情報に基づいて解析される運転者状態である請求項6に記載の情報処理装置。
- 前記運転者状態は、運転者の覚醒度を反映した運転者情報である請求項6に記載の情報処理装置。
- 前記データ処理部は、
自動運転から手動運転への切り替え後の運転者の操作情報を取得して学習データの更新処理を実行する請求項1に記載の情報処理装置。 - 前記情報処理装置は、
さらに、前記データ処理部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する請求項1に記載の情報処理装置。 - 前記通知部は、
表示部、または音声出力部、またはバイブレータの少なくともいずれかによって構成される請求項10に記載の情報処理装置。 - ローカルダイナミックマップ(LDM)を移動装置に提供するサーバとしての情報処理装置であり、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を生成、更新するRRR情報付属LDM生成、更新部を有する情報処理装置。 - 前記RRR情報付属LDM生成、更新部は、
各道路区間の交通状態に応じて前記目標復帰成功率(RRR)を更新する処理を行う請求項12に記載の情報処理装置。 - 移動装置の運転者情報を取得する運転者情報取得部と、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を取得する環境情報取得部と、
前記目標復帰成功率(RRR)を達成するために自動運転実行中の運転者が必要とする手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定するデータ処理部を有する移動装置。 - 前記データ処理部は、
手動運転が必要となる道路区間に侵入するまでの時間が、手動運転復帰可能時間以上となるタイミングを、手動運転復帰要請通知タイミングとして決定する請求項14に記載の移動装置。 - 前記データ処理部は、
運転者単位、かつ運転者状態を示す運転者情報単位の学習データである自動運転から手動運転への復帰遅延時間と復帰成功率との対応データを利用して、前記手動運転復帰可能時間を算出する請求項14に記載の移動装置。 - 前記移動装置は、
さらに、前記データ処理部の算出した前記手動運転復帰可能時間に基づいて決定されるタイミングで、通知部を介して運転者に対する手動運転復帰要求通知の通知処理を実行する通知制御部を有する請求項14に記載の移動装置。 - サーバと移動装置を有する情報処理システムであり、
前記サーバは、ローカルダイナミックマップ(LDM)を前記移動装置に提供するサーバであり、
自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を道路区間単位で設定した目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)を生成、更新して、前記移動装置に送信し、
前記移動装置は、
前記サーバから受信する目標復帰成功率(RRR)付属ローカルダイナミックマップ(LDM)に記録された目標復帰成功率(RRR)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定する情報処理システム。 - 情報処理装置において実行する情報処理方法であり、
データ処理部が、
予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出し、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定する情報処理方法。 - 情報処理装置において情報処理を実行させるプログラムであり、
データ処理部に、予め規定された自動運転から手動運転への目標復帰成功率(RRR:Requested Recovery Ratio)を達成するために、自動運転実行中の運転者に必要となる手動運転復帰可能時間を算出させ、算出時間に基づいて手動運転復帰要請通知の通知タイミングを決定させるプログラム。
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2018081283 | 2018-04-20 | ||
| JP2018081283 | 2018-04-20 | ||
| PCT/JP2019/010021 WO2019202881A1 (ja) | 2018-04-20 | 2019-03-12 | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPWO2019202881A1 JPWO2019202881A1 (ja) | 2021-05-13 |
| JP7273031B2 true JP7273031B2 (ja) | 2023-05-12 |
Family
ID=68239116
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2020514013A Active JP7273031B2 (ja) | 2018-04-20 | 2019-03-12 | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム |
Country Status (5)
| Country | Link |
|---|---|
| US (2) | US11572085B2 (ja) |
| JP (1) | JP7273031B2 (ja) |
| CN (1) | CN111989729B (ja) |
| DE (1) | DE112019002067T5 (ja) |
| WO (1) | WO2019202881A1 (ja) |
Families Citing this family (32)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11513214B2 (en) * | 2018-11-20 | 2022-11-29 | Metawave Corporation | Radar system for internal and external environmental detection |
| JP7273577B2 (ja) * | 2019-03-27 | 2023-05-15 | 株式会社Subaru | 車両の制御装置、車両の制御方法及び車両の制御システム |
| CN113661511A (zh) * | 2019-06-18 | 2021-11-16 | 维宁尔美国公司 | 良好驾驶员记分卡和驾驶员训练 |
| DE102019006685B4 (de) * | 2019-09-24 | 2021-07-08 | Daimler Ag | Verfahren zum Betreiben eines Fahrzeuges |
| US11587433B2 (en) * | 2019-10-31 | 2023-02-21 | Here Global B.V. | Method, apparatus, and system for probe anomaly detection |
| FR3105540A1 (fr) * | 2019-12-20 | 2021-06-25 | Orange | Procédé de gestion d’un état d’urgence d’un premier véhicule et dispositif de gestion associé |
| JP7294150B2 (ja) * | 2020-01-06 | 2023-06-20 | トヨタ自動車株式会社 | 管理システム、及び管理方法 |
| CN114981854B (zh) | 2020-01-17 | 2025-04-18 | 索尼半导体解决方案公司 | 信息处理装置、信息处理系统、信息处理方法和信息处理程序 |
| JP2021149617A (ja) * | 2020-03-19 | 2021-09-27 | 本田技研工業株式会社 | レコメンド案内装置、レコメンド案内方法、および、レコメンド案内プログラム |
| JP6808305B1 (ja) | 2020-03-31 | 2021-01-06 | 正通 亀井 | 運転モード切替補助システム |
| CN111572555B (zh) * | 2020-04-28 | 2021-09-14 | 东风汽车集团有限公司 | 一种自学习辅助驾驶方法 |
| WO2021246236A1 (ja) * | 2020-06-01 | 2021-12-09 | ソニーグループ株式会社 | 情報処理装置、情報処理方法および記憶媒体 |
| US11772670B2 (en) * | 2020-06-03 | 2023-10-03 | Micron Technology, Inc. | Customized vehicle operation based on driver status |
| CN111915159B (zh) * | 2020-07-15 | 2023-09-12 | 北方工业大学 | 一种基于动态时间预算的个性化接管预警方法和系统 |
| JP7371591B2 (ja) | 2020-08-31 | 2023-10-31 | トヨタ自動車株式会社 | 走行制御装置および走行制御方法 |
| CN116034408A (zh) * | 2020-09-07 | 2023-04-28 | 索尼半导体解决方案公司 | 信息处理设备、信息处理方法和信息处理程序 |
| KR102481075B1 (ko) * | 2020-10-08 | 2022-12-26 | 네이버랩스 주식회사 | 헤드업 디스플레이의 제어 방법 및 시스템 |
| JP7752025B2 (ja) * | 2020-12-22 | 2025-10-09 | 株式会社Subaru | 安全運転支援装置 |
| JP7530694B2 (ja) * | 2021-03-26 | 2024-08-08 | パナソニックオートモーティブシステムズ株式会社 | 支援装置 |
| JP7701797B2 (ja) * | 2021-04-08 | 2025-07-02 | キヤノン株式会社 | 情報処理システム及び情報処理装置 |
| EP4327129A4 (en) * | 2021-04-20 | 2025-03-12 | Stella Consulting Services (Pty) Ltd | VEHICLE WARNING SYSTEM |
| DE102021003073B3 (de) * | 2021-06-15 | 2022-07-07 | Mercedes-Benz Group AG | Verfahren und Vorrichtung zur Erhöhung der Anteile des automatisierten Fahrens bei einem mindestens teilautomatisiert fahrenden Fahrzeug |
| US20220405518A1 (en) * | 2021-06-18 | 2022-12-22 | Honeywell International Inc. | System for sensing an operator's capacitive state |
| CN114550478B (zh) * | 2022-02-28 | 2024-04-09 | 福建省高速公路信息科技有限公司 | 基于etc的高速公路安全自动驾驶推荐方法 |
| CN114612879B (zh) * | 2022-03-01 | 2024-09-06 | 智道网联科技(北京)有限公司 | 一种地面交通标志检测方法、装置和电子设备 |
| DE102022001030B3 (de) * | 2022-03-25 | 2023-03-30 | Mercedes-Benz Group AG | Verfahren zur Ermittlung einer Navigationsroute für einen automatisierten Fahrbetrieb eines Fahrzeugs |
| CN114834482B (zh) * | 2022-04-29 | 2024-11-08 | 际络科技(上海)有限公司 | 自动驾驶接管方法及装置 |
| US20230347876A1 (en) * | 2022-04-29 | 2023-11-02 | Rivian Ip Holdings, Llc | Adas timing adjustments and selective incident alerts based on risk factor information |
| JP7630481B2 (ja) * | 2022-12-22 | 2025-02-17 | 三菱ロジスネクスト株式会社 | 視界補助システム、産業車両、視界補助方法及びプログラム |
| US12528473B2 (en) * | 2023-03-29 | 2026-01-20 | Honda Motor Co., Ltd. | Information processing system, information processing method, and recording medium |
| JP2024160629A (ja) * | 2023-05-01 | 2024-11-14 | トヨタ自動車株式会社 | 車両用情報処理装置 |
| DE102023119332A1 (de) | 2023-07-21 | 2025-01-23 | Audi Aktiengesellschaft | Verfahren und Vorrichtung zur Aktualisierung von Kartendaten unter Verwendung eines Kraftfahrzeugs sowie Kraftfahrzeug |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016034782A (ja) | 2014-08-01 | 2016-03-17 | トヨタ自動車株式会社 | 車両制御装置 |
| JP2016038768A (ja) | 2014-08-08 | 2016-03-22 | トヨタ自動車株式会社 | 車両制御装置 |
| WO2017085981A1 (ja) | 2015-11-19 | 2017-05-26 | ソニー株式会社 | 運転支援装置及び運転支援方法、並びに移動体 |
| JP2017097518A (ja) | 2015-11-20 | 2017-06-01 | オムロン株式会社 | 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム |
Family Cites Families (16)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP3239727B2 (ja) | 1995-12-05 | 2001-12-17 | トヨタ自動車株式会社 | 車両の自動運転制御装置 |
| JP2001023094A (ja) * | 1999-07-12 | 2001-01-26 | Nissan Motor Co Ltd | 半自動運転システム |
| EP2915718B1 (en) * | 2014-03-04 | 2018-07-11 | Volvo Car Corporation | Apparatus and method for continuously establishing a boundary for autonomous driving availability and an automotive vehicle comprising such an apparatus |
| JP2016090274A (ja) | 2014-10-30 | 2016-05-23 | トヨタ自動車株式会社 | 警報装置、警報システム及び携帯端末 |
| EP3230142B1 (en) | 2014-12-12 | 2022-03-16 | Sony Group Corporation | Method for switching modes for operating a vehicle |
| JP2016139204A (ja) | 2015-01-26 | 2016-08-04 | 株式会社デンソー | 危険度表示装置 |
| JP6358156B2 (ja) | 2015-04-09 | 2018-07-18 | 株式会社デンソー | 車両の運転支援装置 |
| JP2016215658A (ja) | 2015-05-14 | 2016-12-22 | アルパイン株式会社 | 自動運転装置および自動運転システム |
| JP6552316B2 (ja) * | 2015-07-29 | 2019-07-31 | 修一 田山 | 車輌の自動運転システム |
| JP6636337B2 (ja) | 2016-01-07 | 2020-01-29 | 株式会社デンソーアイティーラボラトリ | 警報装置、警報方法、及びプログラム |
| JP6460008B2 (ja) * | 2016-02-25 | 2019-01-30 | トヨタ自動車株式会社 | 自動運転装置 |
| CN107179767B (zh) | 2016-03-10 | 2021-10-08 | 松下电器(美国)知识产权公司 | 驾驶控制装置、驾驶控制方法以及非瞬时性记录介质 |
| JP2017191562A (ja) | 2016-04-15 | 2017-10-19 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
| JP2017207885A (ja) * | 2016-05-18 | 2017-11-24 | 本田技研工業株式会社 | 車両制御システム、車両制御方法、および車両制御プログラム |
| CN107499311B (zh) | 2016-06-14 | 2020-01-31 | 斑马网络技术有限公司 | 驾驶模式的切换方法、装置及设备 |
| JP6778872B2 (ja) | 2016-06-28 | 2020-11-04 | パナソニックIpマネジメント株式会社 | 運転支援装置及び運転支援方法 |
-
2019
- 2019-03-12 CN CN201980025701.1A patent/CN111989729B/zh active Active
- 2019-03-12 US US17/046,856 patent/US11572085B2/en active Active
- 2019-03-12 DE DE112019002067.6T patent/DE112019002067T5/de active Pending
- 2019-03-12 JP JP2020514013A patent/JP7273031B2/ja active Active
- 2019-03-12 WO PCT/JP2019/010021 patent/WO2019202881A1/ja not_active Ceased
-
2022
- 2022-12-28 US US18/147,169 patent/US20230211810A1/en active Pending
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2016034782A (ja) | 2014-08-01 | 2016-03-17 | トヨタ自動車株式会社 | 車両制御装置 |
| JP2016038768A (ja) | 2014-08-08 | 2016-03-22 | トヨタ自動車株式会社 | 車両制御装置 |
| WO2017085981A1 (ja) | 2015-11-19 | 2017-05-26 | ソニー株式会社 | 運転支援装置及び運転支援方法、並びに移動体 |
| JP2017097518A (ja) | 2015-11-20 | 2017-06-01 | オムロン株式会社 | 自動運転支援装置、自動運転支援システム、自動運転支援方法および自動運転支援プログラム |
Also Published As
| Publication number | Publication date |
|---|---|
| CN111989729A (zh) | 2020-11-24 |
| US11572085B2 (en) | 2023-02-07 |
| JPWO2019202881A1 (ja) | 2021-05-13 |
| CN111989729B (zh) | 2022-12-06 |
| US20210370983A1 (en) | 2021-12-02 |
| WO2019202881A1 (ja) | 2019-10-24 |
| US20230211810A1 (en) | 2023-07-06 |
| DE112019002067T5 (de) | 2021-02-04 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP7273031B2 (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム | |
| JP7324716B2 (ja) | 情報処理装置、移動装置、および方法、並びにプログラム | |
| US12202489B2 (en) | Information processing device, moving apparatus, method, and program | |
| CN112041910B (zh) | 信息处理装置、移动设备、方法和程序 | |
| US11993293B2 (en) | Information processing apparatus, moving apparatus, and method, and program | |
| JP7155122B2 (ja) | 車両制御装置及び車両制御方法 | |
| CN114981854B (zh) | 信息处理装置、信息处理系统、信息处理方法和信息处理程序 | |
| US20210155269A1 (en) | Information processing device, mobile device, information processing system, method, and program | |
| US11866073B2 (en) | Information processing device, information processing system, and information processing method for wearable information terminal for a driver of an automatic driving vehicle | |
| WO2021049219A1 (ja) | 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム | |
| KR20220113947A (ko) | 정보 처리 장치, 이동 장치, 정보 처리 시스템 및 방법, 그리고 프로그램 | |
| JP7238193B2 (ja) | 車両制御装置および車両制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220121 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230404 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230427 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 7273031 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |