[go: up one dir, main page]

WO2020054458A1 - 情報処理装置、移動装置、および方法、並びにプログラム - Google Patents

情報処理装置、移動装置、および方法、並びにプログラム Download PDF

Info

Publication number
WO2020054458A1
WO2020054458A1 PCT/JP2019/034078 JP2019034078W WO2020054458A1 WO 2020054458 A1 WO2020054458 A1 WO 2020054458A1 JP 2019034078 W JP2019034078 W JP 2019034078W WO 2020054458 A1 WO2020054458 A1 WO 2020054458A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
information
vehicle
notification
driving
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/034078
Other languages
English (en)
French (fr)
Inventor
英史 大場
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to US17/274,100 priority Critical patent/US11420636B2/en
Priority to JP2020545911A priority patent/JP7288911B2/ja
Priority to DE112019004597.0T priority patent/DE112019004597T5/de
Priority to CN201980058781.0A priority patent/CN112672943B/zh
Publication of WO2020054458A1 publication Critical patent/WO2020054458A1/ja
Anticipated expiration legal-status Critical
Priority to US17/888,200 priority patent/US11738757B2/en
Priority to US18/343,144 priority patent/US12202489B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/082—Selecting or switching between different modes of propelling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0881—Seat occupation; Driver or passenger presence
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/007—Switching between manual and automatic parameter input, and vice versa
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0062—Adapting control system settings
    • B60W2050/0075—Automatic parameter input, automatic initialising or calibrating means
    • B60W2050/0083—Setting, resetting, calibration
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/229—Attention level, e.g. attentive to driving, reading or sleeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/10—Historical data

Definitions

  • the present disclosure relates to an information processing device, a moving device, a method, and a program. More specifically, the present invention relates to an information processing device, a moving device, a method, and a program for performing switching control between automatic driving and manual driving.
  • Autonomous driving technology is a technology that enables automatic driving on a road by using various sensors such as position detection means provided in a vehicle (automobile), and is expected to rapidly spread in the future.
  • the driver does not need to look ahead in the vehicle traveling direction, such as falling asleep, watching TV, reading a book, or Free behaviors such as sitting backwards and talking with the person in the back seat are possible.
  • Patent Document 1 Japanese Patent Application Laid-Open No. 2014-133449. This document discloses a configuration for estimating an obstacle level such as a situation of injury to an occupant due to an accident or the like.
  • Patent Document 1 of a configuration for controlling a notification timing required for a safe return from automatic operation to manual operation.
  • a notification for starting the manual operation to the driver is required. If the notification timing is too late, there is a problem that manual driving is started in a state where the awakening degree of the driver is low, that is, in a state where the consciousness level is lowered, which increases the possibility of causing an accident.
  • the present disclosure has been made in view of, for example, the above-described problems, and provides an information processing device, a moving device, a method, and a program that can safely perform switching from automatic driving to manual driving.
  • the purpose is to do.
  • a first aspect of the present disclosure is: A data processing unit that determines the degree of arousal that is the consciousness level of the driver of the vehicle,
  • the data processing unit includes: An information processing apparatus is configured to acquire observation information of the driver and determine a degree of awakening of the driver based on the acquired observation information.
  • a second aspect of the present disclosure includes: It is a mobile device that can switch between automatic operation and manual operation, Having a data processing unit to determine the arousal level that is the consciousness level of the driver of the mobile device,
  • the data processing unit includes: The observation information of the driver is obtained and the observation information recording process of storing the information in the storage unit is performed.Based on the obtained observation information, the degree of awakening of the driver is determined.
  • a mobile device controls a notification timing of a manual operation return request notification, which is a notification of a request to return a driver from automatic operation to manual operation.
  • a third aspect of the present disclosure includes: An information processing method executed in the information processing apparatus,
  • the information processing device has a data processing unit that determines a degree of arousal that is the consciousness level of the driver of the vehicle,
  • the data processing unit includes: An information processing method for executing observation information recording processing of acquiring observation information of the driver and storing the observation information in a storage unit, and determining a degree of awakening of the driver based on the acquired observation information.
  • a fourth aspect of the present disclosure includes: An information processing method executed in a mobile device capable of switching between automatic driving and manual driving,
  • the moving device has a data processing unit that determines a degree of alertness that is a driver's consciousness level of the moving device,
  • the data processing unit includes: The observation information of the driver is obtained and the observation information recording process of storing the information in the storage unit is performed.Based on the obtained observation information, the degree of awakening of the driver is determined.
  • An information processing method for controlling a notification timing of a manual operation return request notification that is a notification of a request to return a driver from automatic operation to manual operation.
  • a fifth aspect of the present disclosure includes: A program for executing information processing in the information processing apparatus,
  • the information processing device has a data processing unit that determines a degree of arousal that is the consciousness level of the driver of the vehicle,
  • the program is configured to execute an observation information recording process of acquiring the observation information of the driver and storing the observation information in a storage unit, and determining a degree of awakening of the driver based on the acquired observation information.
  • the program of the present disclosure is, for example, a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • a program that can be provided by a storage medium or a communication medium provided in a computer-readable format to an information processing device or a computer system that can execute various program codes.
  • processing according to the program is realized on an information processing device or a computer system.
  • a system is a logical set configuration of a plurality of devices, and is not limited to a configuration in which devices of each configuration are in the same housing.
  • the configuration is realized in which the awakening level, which is the consciousness level of the driver of the vehicle, is determined, and the timing of the manual driving return request notification is controlled according to the awakening level.
  • the awakening level which is the consciousness level of the driver of the vehicle
  • it has a data processing unit that determines the arousal level which is the consciousness level of the driver of the vehicle.
  • the data processing unit acquires the driver's observation information and determines the degree of awakening of the driver.
  • the vehicle is a vehicle capable of switching between automatic driving and manual driving, and the data processing unit controls a timing of a notification of a request for a manual driving return from automatic driving to manual driving to the driver in accordance with a degree of awakening of the driver.
  • the observation information acquired by the data processing unit includes both the observation information before and after the driver gets on the vehicle. For example, passive monitoring, response information of the driver to the notification, and the like are observed. With this configuration, a configuration is realized in which the awakening level, which is the consciousness level of the driver of the vehicle, is determined, and the timing of the manual driving return request notification timing is controlled according to the arousal level. It should be noted that the effects described in the present specification are merely examples and are not limited, and may have additional effects.
  • FIG. 1 is a diagram illustrating a configuration example of a mobile device according to the present disclosure.
  • FIG. 6 is a diagram illustrating an example of data displayed on a display unit of the mobile device according to the present disclosure.
  • FIG. 7 is a diagram for describing processing executed by the mobile device of the present disclosure.
  • FIG. 7 is a diagram for describing processing executed by the mobile device of the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a behavior of a driver in the mobile device according to the present disclosure. It is a figure explaining the example of data display with respect to the terminal which a driver holds. It is a figure explaining the example of data display with respect to the terminal which a driver holds.
  • FIG. 1 is a diagram for describing a configuration example of a moving device according to the present disclosure.
  • FIG. 1 is a diagram for describing a configuration example of a moving device according to the present disclosure.
  • FIG. 3 is a diagram illustrating a sensor configuration example of the moving device according to the present disclosure.
  • FIG. 11 is a diagram illustrating an example of a mode switching sequence from an automatic operation mode to a manual operation mode executed by the moving device of the present disclosure. It is a figure showing the flow chart explaining an example of the operation sequence of automatic operation.
  • FIG. 9 is a diagram illustrating an example of a travel route in which an autonomous driving availability section determined by setting a destination by a driver is set to a spot or occurs. It is a figure for explaining information processing for display of a run section in a run route. It is a figure showing an example of a run section display finally displayed.
  • FIG. 4 is a diagram illustrating a specific configuration example and processing of a safety determination unit.
  • FIG. 3 is a diagram illustrating an example of a hardware configuration of an information processing device.
  • the moving device according to the present disclosure is, for example, an automobile that can travel by switching between automatic driving and manual driving.
  • the driver driver
  • the driver's awakening degree is high, that is, manual driving can be started at any time.
  • the switching to the manual operation may be notified at a timing immediately before the time when the manual operation is required. This is because the driver can immediately start safe manual driving.
  • the mobile device controls the timing of notification of switching to manual driving according to the arousal level of the driver. Further, in one embodiment of the present disclosure, not only the driver information such as the degree of awakening, but also, for example, the traveling time of the mobile device, the operation information of the driver, the environmental information such as the road, the accident information that occurred in the past, and the like. Using the information, an optimum manual operation switching notification timing is calculated.
  • the above information namely, the awakening degree using information such as travel time of a mobile device, driver's operation information, environmental information such as roads, and accident information that occurred in the past, etc.
  • a learning process for calculation is executed, and an optimal notification timing is calculated as a result of the learning process.
  • the learning process can be executed in a vehicle that is a mobile device, or may be performed in a server that can communicate with the vehicle that is a mobile device.
  • information of the driver individual that is, the driver's driving history, accident history, accumulated fatigue due to the pre-driving life log, drinking and sleeping and physical condition history.
  • the processing is performed in consideration of the information, the driving operation information after the start of the manual driving, and the type information of the automobile. It also uses information about the number of crew members and the cargo on board. When many types of information are used, they can be used separately for pre-learning and for online learning according to data characteristics.
  • FIG. 1 is a diagram illustrating a configuration example of an automobile 10 that is an example of a moving device according to the present disclosure.
  • the information processing device of the present disclosure is mounted on the automobile 10 shown in FIG.
  • the vehicle 10 shown in FIG. 1 is a vehicle that can be driven in two driving modes, a manual driving mode and an automatic driving mode.
  • a manual driving mode traveling based on an operation of the driver (driver) 20, that is, a steering (steering) operation, an operation of an accelerator, a brake, and the like is performed.
  • the automatic driving mode the operation by the driver (driver) 20 is unnecessary, and the driving is performed based on sensor information such as a position sensor and other surrounding information detecting sensors.
  • the position sensor is, for example, a GPS receiver or the like
  • the surrounding information detection sensor is, for example, a camera, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ranging, Laser Imaging Detection and Ranging), a sonar, or the like.
  • FIG. 1 is a diagram for explaining the outline of the present disclosure and schematically shows main components. The detailed configuration will be described later.
  • the automobile 10 includes a data processing unit 11, a driver information acquisition unit 12, an environment information acquisition unit 13, a communication unit 14, and a notification unit 15.
  • the driver information acquisition unit 12 acquires, for example, information for determining a driver's arousal level, driver's operation information, and the like. Specifically, for example, it is configured by a camera that captures a driver's face image, an operation information acquisition unit of each operation unit (such as a steering wheel, an accelerator, and a brake).
  • the environment information acquisition unit 13 acquires the traveling environment information of the automobile 10. For example, image information on the front, rear, left and right of the vehicle, position information by GPS, LiDAR (Light Detection and Ranging, Laser Imaging and Detection and Ranging), and obstacle information around the sonar and the like.
  • image information on the front, rear, left and right of the vehicle For example, image information on the front, rear, left and right of the vehicle, position information by GPS, LiDAR (Light Detection and Ranging, Laser Imaging and Detection and Ranging), and obstacle information around the sonar and the like.
  • LiDAR Light Detection and Ranging
  • Laser Imaging and Detection and Ranging Laser Imaging and Detection and Ranging
  • the data processing unit 11 inputs the driver information obtained by the driver information obtaining unit 12 and the environment information obtained by the environment information obtaining unit 13 so that the driver in the vehicle that is automatically driving can execute safe manual driving. Then, a safety index value is calculated which indicates whether the vehicle is in a safe state and whether the driver who is manually driving is performing safe driving. Further, for example, when it is necessary to switch from the automatic operation mode to the manual operation mode, a process of notifying via the notification unit 15 is performed so as to perform the switch to the manual operation mode.
  • the timing of this notification processing is, for example, an optimal timing calculated by inputting the driver information acquisition unit 12 and the environment information acquisition unit 13. That is, the timing is such that the driver 20 can start safe manual driving. Specifically, when the degree of awakening of the driver is high, the notification is performed immediately before the manual driving start time, for example, 5 seconds before, and when the degree of awakening of the driver is low, 20 seconds of the manual driving start time is sufficiently provided. Perform processing such as before. Calculation of the optimal timing for specific notification will be described later.
  • the notification unit 15 includes a display unit that performs the notification, an audio output unit, or a handle or a seat vibrator.
  • FIG. 2 shows an example of a warning display on the display unit constituting the notification unit 15.
  • Operation mode information "Automatic operation”
  • Warning display "Switch to manual operation”
  • the display of “in automatic operation” is displayed when the automatic operation mode is executed, and the display “in manual operation” is displayed when the manual operation mode is executed.
  • the display area of the warning display information is a display area for performing the following display while executing the automatic operation in the automatic operation mode. "Please switch to manual operation" Note that, although this example is an example in which the description is clearly described, the present invention is not limited to such a text display, and a display using a symbol such as a pictogram may be performed.
  • the vehicle 10 has a configuration capable of communicating with the server 30 via the communication unit 14.
  • the server 30 it is possible for the server 30 to perform a part of the process of calculating the appropriate time of the notification output in the data processing unit 11, specifically, the learning process. This specific example will be described later.
  • FIG. 3 is a diagram illustrating a specific example of a process executed by the mobile device or the information processing device according to the present disclosure.
  • FIG. 3 is a diagram showing an example of setting an appropriate timing of a notification for requesting a switch to manual operation during execution of automatic operation in the automatic operation mode. Is shown.
  • the example of (a) is an example in which the driver faces the front and looks at the road during the execution of the automatic driving.
  • the degree of awakening of the driver is high, that is, a state in which manual driving can be started at any time.
  • the driver can immediately start safe manual driving even if the notification of switching to manual driving is issued immediately before the time when manual driving is required.
  • the notification timing of requesting switching to manual driving is For example, as shown in FIG. 4, it is preferable to set differently depending on the following three cases.
  • the example of (a) is an example in which the driver faces the front and looks at the road during the execution of the automatic driving.
  • the degree of awakening of the driver is high, that is, a state in which manual driving can be started at any time.
  • the driver can immediately start safe manual driving even if the notification of switching to manual driving is issued immediately before the time when manual driving is required.
  • the example of (b) is an example in which the driver falls asleep during execution of automatic driving.
  • the awakening degree of the driver is extremely low.
  • the notification of the switch to the manual driving is made immediately before the time when the manual driving is required, the driver starts the manual driving with the state child who is not conscious, and an accident occurs.
  • the possibilities increase. Therefore, when the arousal level is low as described above, it is necessary to notify the switching to the manual operation at an earlier stage.
  • the example of (c) is a case where the driver leaves the driver's seat while performing automatic driving and works, and in such a case, the driver needs time to return to the driver's seat. Will be.
  • the notification of the switch to the manual driving is issued immediately before the time when the manual driving is required, the driver may approach the manual driving section before returning to the driver's seat. Therefore, when the driver is away from the driver's seat, it is necessary to notify the switching to the manual driving at an earlier stage.
  • the driver (driver) 20 notifies and provides information via the information terminal 50 worn on the arm, for example, the information terminal 50 as shown in FIG.
  • the information terminal 50 performs the same display processing of the display data as described with reference to FIG. 2, and further obtains the approach information and the like of the road section (automatic driving section, manual driving section) on which the automobile 10 is traveling. indicate. Furthermore, it has an alarm output, a voice output, and a vibration function, and notifies the driver 20 of various notifications and warnings.
  • FIG. 5 is a diagram showing a usage example of the information terminal 50.
  • the driver (driver) 20 riding the automobile 10 may be in the driver's seat as shown in FIG. 4A while the automobile 10 is performing automatic driving, but as shown in FIG. In some cases, the driver leaves the driver's seat and works in the luggage compartment. However, the driver 20 always wears the information terminal 50 on his / her arm, and can notice display information displayed on the information terminal 50, output voice, alarm, vibration, and the like.
  • FIG. 6 is a diagram illustrating an example of display information of the information terminal 50.
  • the example illustrated in FIG. 6 illustrates a display example similar to the display example of the notification unit (display unit) 15 described above with reference to FIG.
  • the following displays are displayed on the information terminal 50.
  • Operation mode information "Automatic operation”
  • Warning display "Switch to manual operation”
  • the driver 20 can check this display anywhere. Further, a configuration may be employed in which notification and information provision are performed using a tablet-type information terminal 50 as shown in FIG.
  • FIG. 8 shows a configuration example of the mobile device 100.
  • the vehicle is referred to as own vehicle or own vehicle.
  • the mobile device 100 includes an input unit 101, a data acquisition unit 102, a communication unit 103, an in-vehicle device 104, an output control unit 105, an output unit 106, a drive system control unit 107, a drive system system 108, a body system control unit 109, and a body system.
  • the system includes a system 110, a storage unit 111, and an automatic operation control unit 112.
  • the communication network 121 may be, for example, a vehicle-mounted communication network or a bus based on any standard such as CAN (Controller Area Network), LIN (Local Interconnect Network), LAN (Local Area Network), or FlexRay (registered trademark). Become. Each unit of the mobile device 100 may be directly connected without going through the communication network 121.
  • the description of the communication network 121 is omitted.
  • the input unit 101 and the automatic operation control unit 112 communicate via the communication network 121, it is described that the input unit 101 and the automatic operation control unit 112 simply communicate.
  • the input unit 101 includes a device used by a passenger to input various data and instructions.
  • the input unit 101 includes an operation device such as a touch panel, a button, a microphone, a switch, and a lever, and an operation device that can be input by a method other than a manual operation using a voice, a gesture, or the like.
  • the input unit 101 may be a remote control device using infrared rays or other radio waves, or an externally connected device such as a mobile device or a wearable device compatible with the operation of the mobile device 100.
  • the input unit 101 generates an input signal based on data, instructions, and the like input by the passenger, and supplies the input signal to each unit of the mobile device 100.
  • the data acquisition unit 102 includes various sensors for acquiring data used for processing of the mobile device 100, and supplies the acquired data to each unit of the mobile device 100.
  • the data acquisition unit 102 includes various sensors for detecting the state of the own vehicle and the like.
  • the data acquisition unit 102 includes a gyro sensor, an acceleration sensor, an inertial measurement device (IMU), an accelerator pedal operation amount, a brake pedal operation amount, a steering wheel steering angle, an engine speed, A sensor or the like for detecting a motor rotation speed, a wheel rotation speed, or the like is provided.
  • IMU inertial measurement device
  • the data acquisition unit 102 includes various sensors for detecting information outside the vehicle.
  • the data acquisition unit 102 includes an imaging device such as a Time-of-Flight (ToF) camera, a stereo camera, a monocular camera, an infrared camera, and other cameras.
  • the data acquisition unit 102 includes an environment sensor for detecting weather or weather, and a surrounding information detection sensor for detecting an object around the own vehicle.
  • the environment sensor includes, for example, a raindrop sensor, a fog sensor, a sunshine sensor, a snow sensor, and the like.
  • the surrounding information detection sensor includes, for example, an ultrasonic sensor, a radar, a LiDAR (Light Detection and Ranging, Laser Imaging and Detection and Ranging), a sonar, and the like.
  • FIG. 9 shows an example of installation of various sensors for detecting external information of the own vehicle.
  • the imaging devices 7910, 7912, 7914, 7916, and 7918 are provided at, for example, at least one of a front nose, a side mirror, a rear bumper, a back door, and an upper part of a windshield in a vehicle 7900.
  • the imaging device 7910 provided in the front nose and the imaging device 7918 provided above the windshield in the passenger compartment mainly acquire an image in front of the vehicle 7900.
  • the imaging devices 7912 and 7914 provided in the side mirror mainly acquire an image of the side of the vehicle 7900.
  • An imaging device 7916 provided in a rear bumper or a back door mainly acquires an image behind the vehicle 7900.
  • An imaging device 7918 provided above a windshield in a vehicle interior is mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, a traffic light, a traffic sign, a lane, and the like. Further, in automatic driving in the future, when a vehicle makes a right or left turn, the vehicle may be extended to a pedestrian crossing a right or left turn destination road in a wider area, or even to an area approaching a crossing.
  • FIG. 9 shows an example of the imaging range of each of the imaging devices 7910, 7912, 7914, and 7916.
  • the imaging range a indicates the imaging range of the imaging device 7910 provided on the front nose
  • the imaging ranges b and c indicate the imaging ranges of the imaging devices 7912 and 7914 provided on the side mirrors, respectively
  • the imaging range d is 14 shows an imaging range of an imaging device 7916 provided in a rear bumper or a back door.
  • the image data captured by the imaging devices 7910, 7912, 7914, and 7916 are superimposed to form a bird's-eye view image of the vehicle 7900 as viewed from above, and a three-dimensional display image that surrounds the periphery of the vehicle with a curved plane. Is obtained.
  • the sensors 7920, 7922, 7924, 7926, 7928, 7930 provided on the front, rear, sides, corners of the vehicle 7900 and on the windshield in the passenger compartment may be, for example, an ultrasonic sensor or a radar.
  • the sensors 7920, 7926, and 7930 provided on the front nose, the rear bumper, the back door, and the windshield in the passenger compartment of the vehicle 7900 may be, for example, LiDAR.
  • These sensors 7920 to 7930 are mainly used for detecting a preceding vehicle, a pedestrian, an obstacle, or the like. These detection results may be further applied to the improvement of the three-dimensional object display of the overhead view display and the all-around three-dimensional display.
  • the data acquisition unit 102 includes various sensors for detecting the current position of the vehicle. More specifically, for example, the data acquisition unit 102 includes a GNSS receiver that receives a GNSS signal from a GNSS (Global Navigation / Satellite / System) satellite.
  • GNSS Global Navigation / Satellite / System
  • the data acquisition unit 102 includes various sensors for detecting information in the vehicle.
  • the data acquisition unit 102 includes an imaging device that captures an image of the driver, a biological sensor that detects biological information of the driver, a microphone that collects sounds in the vehicle compartment, and the like.
  • the biological sensor is provided on, for example, a seat surface or a steering wheel, and detects a sitting state of a passenger sitting on a seat or biological information of a driver holding a steering wheel.
  • Biosignals include heart rate, pulse rate, blood flow, respiration, psychosomatic correlation, visual stimulation, brain waves, sweating, head posture behavior, eyes, gaze, blink, saccade, microsaccade, fixation, drift, gaze
  • Various observable data such as iris pupil response are available.
  • These vital activity observable information reflecting the observable driving state are collected as observable evaluation values estimated from observation, and the return delay time characteristics associated with the log of the evaluation value are used to determine the return delay of the driver. It is used for calculating the return notification timing by the safety determination unit 155 described later as the unique characteristic of the case.
  • FIG. 10 shows examples of various sensors included in the data acquisition unit 102 for obtaining information on the driver in the vehicle.
  • the data acquisition unit 102 includes a ToF camera, a stereo camera, a seat strain gauge (Seat Strain Gauge), and the like as detectors for detecting the position and posture of the driver.
  • the data acquisition unit 102 includes a face recognizer (Face (Head) @Recognition), a driver eye tracker (Driver ⁇ Eye ⁇ Tracker), and a driver head / header as detectors for obtaining observable information on a driver's life activity.
  • a tracker (Driver ⁇ Header ⁇ Tracker) is provided.
  • the data acquisition unit 102 includes a biological signal (Vital @ Signal) detector as a detector for obtaining information on observable life activity of the driver.
  • the data acquisition unit 102 includes a driver authentication (Driver Identification) unit.
  • Driver Identification Driver Identification
  • the authentication method in addition to knowledge authentication using a password or a password, biometric authentication using a face, a fingerprint, an iris of a pupil, a voice print, or the like can be considered.
  • the communication unit 103 communicates with the in-vehicle device 104 and various devices outside the vehicle, a server, a base station, and the like, and transmits data supplied from each unit of the mobile device 100, and transmits received data to the mobile device 100. It is supplied to each part.
  • the communication protocol supported by the communication unit 103 is not particularly limited, and the communication unit 103 can support a plurality of types of communication protocols.
  • the communication unit 103 performs wireless communication with the in-vehicle device 104 using a wireless LAN, Bluetooth (registered trademark), NFC (Near Field Communication), WUSB (Wireless USB), or the like.
  • the communication unit 103 may be connected to a USB (Universal Serial Bus), HDMI (registered trademark) (High-Definition Multimedia Interface), or MHL (Universal Serial Bus) via a connection terminal (and a cable if necessary).
  • a wired communication is performed with the in-vehicle device 104 by using Mobile ⁇ High-definition ⁇ Link or the like.
  • the communication unit 103 communicates with a device (for example, an application server or a control server) existing on an external network (for example, the Internet, a cloud network, or a network unique to a business operator) via a base station or an access point. Perform communication. Further, for example, the communication unit 103 uses P2P (Peer To Peer) technology to communicate with a terminal (for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal) that is present near the vehicle. Perform communication.
  • a device for example, an application server or a control server
  • an external network for example, the Internet, a cloud network, or a network unique to a business operator
  • P2P Peer To Peer
  • a terminal for example, a pedestrian or store terminal, or an MTC (Machine Type Communication) terminal
  • the communication unit 103 may communicate between vehicles (Vehicle to Vehicle), road to vehicle (Vehicle to Infrastructure), communication between the vehicle and the home (Vehicle to Home), and between vehicles (Vehicle to Vehicle). ) Perform V2X communication such as communication.
  • the communication unit 103 includes a beacon receiving unit, receives a radio wave or an electromagnetic wave transmitted from a wireless station or the like installed on a road, and obtains information such as a current position, traffic congestion, traffic regulation, or required time. I do.
  • the communication unit performs pairing with a forward traveling vehicle during a section that can be a leading vehicle, acquires information acquired from a data acquisition unit mounted on the preceding vehicle as advance traveling information, and obtains information of the data acquisition unit 102 of the own vehicle.
  • the data and supplementary use may be used, and it is a means of ensuring the safety of the following platoon, especially when the platoon is driven by a leading vehicle.
  • the in-vehicle device 104 is, for example, a mobile device (tablet, smartphone, or the like) or a wearable device possessed by the passenger, an information device carried or attached to the own vehicle, a navigation device that performs a route search to an arbitrary destination, and the like. including.
  • a mobile device tablet, smartphone, or the like
  • a wearable device possessed by the passenger
  • an information device carried or attached to the own vehicle a navigation device that performs a route search to an arbitrary destination, and the like.
  • the occupant is not necessarily fixed at the seating fixed position due to the spread of automatic driving, in the future it may be extended to a video player, a game device, and other devices that can be detachably used from the vehicle installation.
  • the example is described in which the information presentation of the driver's intervention required point is limited to the corresponding driver, but the information provision is further performed by providing information to a succeeding vehicle by platooning or the like.
  • the information may be constantly provided to an operation management
  • the output control unit 105 controls the output of various information to the occupant of the own vehicle or the outside of the vehicle.
  • the output control unit 105 generates an output signal including at least one of visual information (for example, image data) and auditory information (for example, audio data), and supplies the output signal to the output unit 106. It controls the output of visual and auditory information from 106.
  • the output control unit 105 combines image data captured by different imaging devices of the data acquisition unit 102 to generate a bird's-eye view image or a panoramic image, and outputs an output signal including the generated image. It is supplied to the output unit 106.
  • the output control unit 105 generates sound data including a warning sound or a warning message for danger such as collision, contact, entry into a dangerous zone, and the like, and outputs an output signal including the generated sound data to the output unit 106. Supply.
  • the output unit 106 includes a device capable of outputting visual information or auditory information to the occupant of the vehicle or to the outside of the vehicle.
  • the output unit 106 includes a display device, an instrument panel, an audio speaker, headphones, a wearable device such as an eyeglass-type display worn by a passenger, a projector, a lamp, and the like.
  • the display device included in the output unit 106 can display visual information in a driver's visual field such as a head-up display, a transmissive display, and a device having an AR (Augmented Reality) display function in addition to a device having a normal display.
  • the display device may be used.
  • the drive system control unit 107 controls the drive system 108 by generating various control signals and supplying them to the drive system 108. Further, the drive system control unit 107 supplies a control signal to each unit other than the drive system 108 as necessary, and notifies a control state of the drive system 108 and the like.
  • the drive system 108 includes various devices related to the drive system of the vehicle.
  • the driving system 108 includes a driving force generating device for generating driving force such as an internal combustion engine or a driving motor, a driving force transmitting mechanism for transmitting driving force to wheels, a steering mechanism for adjusting a steering angle,
  • the vehicle includes a braking device that generates a braking force, an ABS (Antilock Break System), an ESC (Electronic Stability Control), an electric power steering device, and the like.
  • the body system control unit 109 controls the body system 110 by generating various control signals and supplying them to the body system 110. Further, the body-system control unit 109 supplies a control signal to each unit other than the body-system system 110 as needed, and notifies a control state of the body-system system 110 and the like.
  • the body system 110 includes various body-system devices mounted on the vehicle body.
  • the body system 110 is a keyless entry system, a smart key system, a power window device, a power seat, a steering wheel, an air conditioner, and various lamps (for example, a head lamp, a back lamp, a brake lamp, a blinker, a fog lamp, and the like). Etc. are provided.
  • the storage unit 111 includes, for example, a magnetic storage device such as a ROM (Read Only Memory), a RAM (Random Access Memory), a HDD (Hard Disc Drive), a semiconductor storage device, an optical storage device, and a magneto-optical storage device. .
  • the storage unit 111 stores various programs and data used by each unit of the mobile device 100.
  • the storage unit 111 stores map data such as a three-dimensional high-accuracy map such as a dynamic map, a global map that has a lower accuracy than the high-accuracy map and covers a wide area, and a local map that includes information around the own vehicle. Is stored.
  • the automatic driving control unit 112 performs control relating to automatic driving such as autonomous driving or driving support. Specifically, for example, the automatic driving control unit 112 performs collision avoidance or impact mitigation of the own vehicle, following running based on the inter-vehicle distance, running speed maintaining running, a collision warning of the own vehicle, a lane departure warning of the own vehicle, and the like. It performs cooperative control for the purpose of realizing the function of ADAS (Advanced ⁇ Driver ⁇ Assistance ⁇ System). In addition, for example, the automatic driving control unit 112 performs cooperative control for the purpose of autonomous driving in which the vehicle runs autonomously without depending on the operation of the driver.
  • the automatic driving control unit 112 includes a detection unit 131, a self-position estimation unit 132, a situation analysis unit 133, a planning unit 134, and an operation control unit 135.
  • the detection unit 131 detects various kinds of information necessary for controlling the automatic driving.
  • the detection unit 131 includes an outside information detection unit 141, an inside information detection unit 142, and a vehicle state detection unit 143.
  • the outside-of-vehicle information detection unit 141 performs detection processing of information outside the vehicle based on data or signals from each unit of the mobile device 100. For example, the outside-of-vehicle information detection unit 141 performs detection processing, recognition processing, and tracking processing of an object around the own vehicle, and detection processing of a distance to the object and a relative speed.
  • Objects to be detected include, for example, vehicles, people, obstacles, structures, roads, traffic lights, traffic signs, road markings, and the like.
  • the outside-of-vehicle information detection unit 141 performs a process of detecting an environment around the own vehicle.
  • the surrounding environment to be detected includes, for example, weather, temperature, humidity, brightness, road surface conditions, and the like.
  • the out-of-vehicle information detection unit 141 uses the self-position estimation unit 132, the map analysis unit 151 of the situation analysis unit 133, the traffic rule recognition unit 152, the situation recognition unit 153, and the operation control unit 135 to output data indicating the result of the detection processing. To the emergency avoidance unit 171 and the like.
  • the information acquired by the outside-of-vehicle information detecting unit 141 is mainly used for the section where the local dynamic map (LDM), which is constantly updated as a section where automatic driving can be performed with emphasis, is supplied from the infrastructure. May be supplied, or a vehicle or a group of vehicles traveling ahead in the relevant section may always receive information update before traveling into the section and travel.
  • LDM local dynamic map
  • the road environment information obtained from the vehicle entering the section in order to obtain more secure road information just before the intrusion section, especially in platooning May be used in a complementary manner. Whether or not a section is capable of automatic driving is often determined by the presence or absence of prior information provided by these infrastructures.
  • An updated fresh local dynamic map which constitutes information on the availability of automatic driving on a route provided by the infrastructure, is equivalent to providing a trajectory as if it were not visible as so-called "information”.
  • LDM fresh local dynamic map
  • the outside-of-vehicle information detection unit 141 is illustrated on the assumption that it is mounted on the own vehicle, but by using information that the preceding vehicle has grasped as “information”, the predictability at the time of traveling is further enhanced. Is also good.
  • the in-vehicle information detection unit 142 performs a process of detecting information in the vehicle based on data or signals from each unit of the mobile device 100.
  • the in-vehicle information detection unit 142 performs a driver authentication process and a recognition process, a driver state detection process, a passenger detection process, an in-vehicle environment detection process, and the like.
  • the state of the driver to be detected includes, for example, physical condition, arousal level, concentration level, fatigue level, gaze direction, detailed eyeball behavior, and the like.
  • the in-vehicle information detection unit 142 mainly has two major roles. The first is to passively monitor the status of the driver during automatic driving, and the second is to return from the system. After the request is issued, the surroundings of the driver are recognized, perceived, and determined, and further, the detection of the operating ability of the steering device is performed to a level at which manual driving can be performed before the cautionary driving section is reached. As a control, a failure self-diagnosis of the entire vehicle may be further performed, and when the function of the automatic driving is degraded due to a partial functional failure of the automatic driving, the driver may be promptly returned to the early manual driving.
  • Passive monitoring here refers to a type of detection means that does not require the driver to respond consciously, and excludes those that transmit physical radio waves, light, etc. from devices and detect response signals. is not. In other words, it refers to the monitoring of the driver's state unconsciously, such as during a nap, and the passive method is used for classification that is not a cognitive response reaction of the driver. It does not exclude an active response device that analyzes and evaluates reflected or diffused signals irradiated with radio waves or infrared rays. On the other hand, an object that seeks a conscious response that seeks a response response from the driver is active.
  • the environment inside the vehicle to be detected includes, for example, temperature, humidity, brightness, odor and the like.
  • the in-vehicle information detection unit 142 supplies data indicating the result of the detection processing to the situation recognition unit 153 of the situation analysis unit 133 and the operation control unit 135.
  • the system issued a driver return instruction to the driver, it was found that the driver could not achieve manual operation within the correct time limit. If it is determined that it is not in time, an instruction is issued to the emergency avoidance unit 171 or the like of the system, and a deceleration, evacuation / stop procedure for evacuation of the vehicle is started.
  • the vehicle state detection unit 143 performs detection processing of the state of the own vehicle based on data or signals from each unit of the moving device 100.
  • the state of the subject vehicle to be detected includes, for example, speed, acceleration, steering angle, presence / absence and content of abnormality, driving operation state, power seat position and inclination, door lock state, and other in-vehicle devices. State and the like are included.
  • the vehicle state detection unit 143 supplies data indicating the result of the detection process to the situation recognition unit 153 of the situation analysis unit 133, the emergency avoidance unit 171 of the operation control unit 135, and the like.
  • the self-position estimating unit 132 estimates the position and posture of the own vehicle based on data or a signal from each unit of the mobile device 100 such as the outside-of-vehicle information detecting unit 141 and the situation recognizing unit 153 of the situation analyzing unit 133. I do. In addition, the self-position estimating unit 132 generates a local map used for estimating the self-position (hereinafter, referred to as a self-position estimation map) as necessary.
  • a self-position estimation map used for estimating the self-position
  • the self-position estimation map is a high-accuracy map using, for example, a technique such as SLAM (Simultaneous Localization and Mapping).
  • the self-position estimating unit 132 supplies data indicating the result of the estimation processing to the map analyzing unit 151, the traffic rule recognizing unit 152, the status recognizing unit 153, and the like of the status analyzing unit 133. Further, the self-position estimating unit 132 causes the storage unit 111 to store the self-position estimating map.
  • the situation analysis unit 133 performs analysis processing of the situation of the own vehicle and the surroundings.
  • the situation analysis unit 133 includes a map analysis unit 151, a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, and a safety determination unit 155.
  • the map analysis unit 151 analyzes various maps stored in the storage unit 111 while using data or signals from each unit of the mobile device 100 such as the self-position estimation unit 132 and the outside-of-vehicle information detection unit 141 as necessary. Perform the process and build a map containing the information needed for the process of automatic driving.
  • the map analysis unit 151 converts the constructed map into a traffic rule recognition unit 152, a situation recognition unit 153, a situation prediction unit 154, and a route planning unit 161, an action planning unit 162, and an operation planning unit 163 of the planning unit 134. To supply.
  • the traffic rule recognition unit 152 recognizes a traffic rule around the own vehicle based on data or signals from each unit of the mobile device 100 such as the self-position estimating unit 132, the outside-of-vehicle information detecting unit 141, and the map analyzing unit 151. Perform processing. By this recognition processing, for example, the position and state of the signal around the own vehicle, the contents of traffic regulation around the own vehicle, the lane on which the vehicle can travel, and the like are recognized.
  • the traffic rule recognition unit 152 supplies data indicating the result of the recognition processing to the situation prediction unit 154 and the like.
  • the situation recognition unit 153 is based on data or signals from each unit of the mobile device 100 such as the self-position estimation unit 132, the outside information detection unit 141, the inside information detection unit 142, the vehicle state detection unit 143, and the map analysis unit 151. Then, a process of recognizing the situation regarding the own vehicle is performed. For example, the situation recognition unit 153 performs recognition processing on the situation of the own vehicle, the situation around the own vehicle, the situation of the driver of the own vehicle, and the like. Further, the situation recognizing unit 153 generates a local map (hereinafter, referred to as a situation recognizing map) used for recognizing a situation around the own vehicle as needed.
  • the situation recognition map is, for example, an occupancy grid map (Occupancy ⁇ Grid ⁇ Map).
  • the situation of the own vehicle to be recognized includes, for example, the position, posture, and movement (for example, speed, acceleration, moving direction, and the like) of the own vehicle, and the cargo loading amount and the cargo loading that determine the motion characteristics of the own vehicle.
  • Vehicle-specific such as the movement of the center of gravity of the car body, the tire pressure, the movement of the braking distance due to the wear of the brake pad, the allowable maximum deceleration braking to prevent cargo movement caused by the load braking, the limit speed of centrifugal relaxation during curve running with the liquid load
  • the return start timing required for the control also differs depending on the characteristics of the vehicle itself and the load.
  • the situation around the own vehicle to be recognized includes, for example, the type and position of the surrounding stationary object, the type, position and movement (eg, speed, acceleration, moving direction, etc.) of the surrounding moving object, and the surrounding road.
  • the configuration and the state of the road surface, and the surrounding weather, temperature, humidity, brightness, and the like are included.
  • the state of the driver to be recognized includes, for example, physical condition, arousal level, concentration level, fatigue level, movement of the line of sight, driving operation, and the like.
  • Running a vehicle safely means that the vehicle is loaded in the unique state of the vehicle, the vehicle is fixed in the mounting part, the center of gravity is unbalanced, the maximum decelerable acceleration value, the maximum loadable centrifugal force, the driver
  • the control start point that needs to be dealt with differs greatly depending on the return response delay amount or the like depending on the state of the control.
  • the situation recognition unit 153 supplies data indicating the result of the recognition processing (including a situation recognition map as necessary) to the self-position estimation unit 132, the situation prediction unit 154, and the like.
  • the situation recognition unit 153 causes the storage unit 111 to store the situation recognition map.
  • the situation prediction unit 154 performs a situation prediction process for the vehicle based on data or signals from each unit of the mobile device 100 such as the map analysis unit 151, the traffic rule recognition unit 152, and the situation recognition unit 153. For example, the situation prediction unit 154 performs prediction processing of the situation of the own vehicle, the situation around the own vehicle, the situation of the driver, and the like.
  • the situation of the own vehicle to be predicted includes, for example, the behavior of the own vehicle, occurrence of an abnormality, and a possible driving distance.
  • the situation around the own vehicle to be predicted includes, for example, behavior of a moving object around the own vehicle, a change in a signal state, a change in an environment such as weather, and the like.
  • the situation of the driver to be predicted includes, for example, the behavior and physical condition of the driver.
  • the situation prediction unit 154 together with data from the traffic rule recognition unit 152 and the situation recognition unit 153, shows data indicating the result of the prediction process, along with the route planning unit 161, the action planning unit 162, and the operation planning unit 163 of the planning unit 134. And so on.
  • the safety determination unit 155 learns the optimal return timing according to the driver's return behavior pattern, vehicle characteristics, and the like, and provides the learning information to the situation recognition unit 153 and the like. Thus, for example, it is possible to present to the driver the statistically determined optimum timing required for the driver to normally return from the automatic operation to the manual operation at a predetermined rate or more.
  • the route planning unit 161 plans a route to a destination based on data or signals from each unit of the mobile device 100 such as the map analysis unit 151 and the situation prediction unit 154. For example, the route planning unit 161 sets a route from the current position to a specified destination based on the global map. In addition, for example, the route planning unit 161 changes the route as appropriate based on conditions such as traffic congestion, accidents, traffic restrictions, construction, and the like, and the physical condition of the driver. The route planning unit 161 supplies data indicating the planned route to the action planning unit 162 and the like.
  • the action planning unit 162 safely travels the route planned by the route planning unit 161 within the planned time based on data or signals from each unit of the mobile device 100 such as the map analysis unit 151 and the situation prediction unit 154. Plan your vehicle's actions to do so. For example, the action planning unit 162 performs planning such as starting, stopping, a traveling direction (for example, forward, backward, left turn, right turn, direction change, and the like), a traveling lane, a traveling speed, and an overtaking.
  • the behavior planning unit 162 supplies data indicating the planned behavior of the own vehicle to the behavior planning unit 163 and the like.
  • the operation planning unit 163 performs an operation of the own vehicle for realizing the action planned by the action planning unit 162 based on data or a signal from each unit of the mobile device 100 such as the map analysis unit 151 and the situation prediction unit 154. To plan. For example, the operation planning unit 163 plans acceleration, deceleration, a traveling trajectory, and the like. The operation planning unit 163 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172 and the direction control unit 173 of the operation control unit 135.
  • the operation control unit 135 controls the operation of the own vehicle.
  • the operation control unit 135 includes an emergency avoidance unit 171, an acceleration / deceleration control unit 172, and a direction control unit 173.
  • the emergency avoidance unit 171 performs a collision, a contact, an approach to a danger zone, a driver abnormality, a vehicle abnormality, based on the detection results of the outside-of-vehicle information detection unit 141, the in-vehicle information detection unit 142, and the vehicle state detection unit 143. An emergency situation such as an abnormality is detected.
  • the emergency avoidance unit 171 plans the operation of the own vehicle to avoid an emergency such as a sudden stop or a sudden turn.
  • the emergency avoidance unit 171 supplies data indicating the planned operation of the own vehicle to the acceleration / deceleration control unit 172, the direction control unit 173, and the like.
  • the acceleration / deceleration control unit 172 performs acceleration / deceleration control for realizing the operation of the vehicle planned by the operation planning unit 163 or the emergency avoidance unit 171.
  • the acceleration / deceleration control unit 172 calculates a control target value of a driving force generating device or a braking device for realizing planned acceleration, deceleration, or sudden stop, and drives a control command indicating the calculated control target value. It is supplied to the system control unit 107.
  • an emergency can occur. In other words, an unexpected accident occurs during a self-driving driving route on a road that was originally safe with a local dynamic map etc. acquired from the infrastructure, etc. There are cases where it is not in time and cases where it is difficult for the driver to accurately return from automatic driving to manual driving.
  • the direction control unit 173 performs direction control for realizing the operation of the own vehicle planned by the operation planning unit 163 or the emergency avoidance unit 171. For example, the direction control unit 173 calculates a control target value of the steering mechanism for realizing the traveling trajectory or the sharp turn planned by the operation planning unit 163 or the emergency avoidance unit 171, and performs control indicating the calculated control target value. The command is supplied to the drive system control unit 107.
  • FIG. 11 schematically illustrates an example of a mode switching sequence in the automatic operation control unit 112 from the automatic operation mode to the manual operation mode.
  • Step S1 is in a state where the driver is completely departed from the steering operation.
  • the driver can perform a secondary task such as a nap or watching a video, concentrating on a game, or working with a visual tool such as a tablet or a smartphone.
  • Work using a visual tool such as a tablet or smartphone may be performed, for example, with the driver's seat shifted or in a seat different from the driver's seat.
  • the time required for the driver to return may vary greatly depending on the work content at that time, and the event approach If the last notification is not enough time to return, or if the notification is given too early with a margin for approaching the event, the time required to actually return may be too long and empty. . As a result, if the situation where the notification is not performed at the correct timing occurs repeatedly, the driver loses the reliability of the timing with respect to the notification timing of the system, the awareness of the notification is reduced, and as a result, the driver's correctness is reduced.
  • the system needs to optimize the notification timing in order for the driver to start an appropriate operation return operation for the notification.
  • Step S2 is the timing of the manual operation return request notification as described above with reference to FIG.
  • the driver is notified of the dynamic haptics such as vibration and the return of driving visually or audibly.
  • the automatic driving control unit 112 for example, the steady state of the driver is monitored, the timing of issuing a notification is grasped, and the notification is made at an appropriate timing.
  • the execution state of the driver's secondary task is constantly passively monitored during the passive monitoring period at the preceding stage, and the system can calculate the optimal timing of the optimal timing of the notification, so that the passive monitoring during the period of step S1 is continuously performed. It is desirable that the return timing and the return notification be performed in accordance with the specific return characteristics of the driver.
  • step S3 it is checked whether the driver has returned from sitting.
  • step S4 the internal arousal level of the driver is confirmed by analyzing the eyeball behavior of the face, saccade, and the like.
  • step S5 the stability of the driver's actual steering situation is monitored. Then, in step S6, the transition from the automatic operation to the manual operation is completed.
  • FIG. 12 is a flowchart illustrating the operation sequence of the automatic driving that executes the mobile device 100.
  • driver authentication is performed.
  • the driver authentication is performed using knowledge authentication using a password or a password, biometric authentication using a face, fingerprint, iris of the pupil, voiceprint, or the like, or using knowledge authentication and biometric authentication in combination.
  • step S12 the driver operates the input unit 101 to set a destination.
  • the driver's input operation is performed based on the display on the instrument panel.
  • LDM local dynamic map
  • step S13 display of a traveling section on the traveling route is started.
  • the display of the traveling section is displayed on the instrument panel, for example, and also on a tablet or the like on which the driver performs a secondary task, and is displayed alongside the work window.
  • the driver working in the work window can easily recognize the section of the travel route that requires driver intervention and the section in which automatic driving is possible on the predicted time axis from the current point.
  • this travel section display a forward plan and information on approach to each point are presented.
  • the section of the traveling route that requires driver intervention and the section in which automatic driving is possible are displayed on the predicted time axis of arrival from the current point.
  • the section requiring driver intervention includes a manual driving section, a transition section from automatic driving to manual driving, and a cautionary driving section from automatic driving. The details of this traveling section display will be described later.
  • step S14 acquisition of LDM update information is started.
  • the content of the traveling section display can be changed to the latest state.
  • traveling starts.
  • step S16 the display of the traveling section display is updated based on the position information of the own vehicle and the acquired LDM update information. As a result, the traveling section display is scroll-displayed so that each section approaches the own vehicle as the vehicle travels.
  • the means for presenting information such as the traveling environment in front of the vehicle and the timing required to take over the vehicle in question, which is relatively close to the vehicle, does not need to be limited to scrolling means. It is preferable to use explicit means and a means capable of knowing when to return to the operation when operation should be started with few misunderstandings. For example, a time presentation method imitating an hourglass, or a means for directly presenting the remaining takeover time to a user-worn device in the form of a chronograph wristwatch may be used.
  • step S17 the driver status is monitored.
  • step S18 an event change handling process is performed.
  • the event change handling process includes a mode switching process for responding to a case where a switching point between the automatic driving mode and the manual driving mode already existing in the traveling route or a cautionary traveling section is approaching. Event generation processing and the like for responding to a new occurrence of a section requiring driver intervention in a mode switching point or a cautionary driving section are included. Thereafter, the processing from step S16 to step S18 is repeated as appropriate.
  • FIG. 13 shows an example of a traveling route determined by setting a destination by a driver.
  • the traveling route includes an automatically operable section Sa, a manual operation section Sb, a handover section Sc from the automatic operation to the manual operation, and a cautionary traveling section Sd from the automatic operation.
  • the takeover section Sc always exists immediately before the manual operation section Sb, and the driver needs to be in a posture to return to the manual operation.
  • the cautionary traveling section Sd is a section in which the vehicle can travel while decelerating in the automatic driving mode under the monitoring of the driver in the posture of returning to the manual driving.
  • the automatically operable section Sa is shown in green
  • the manual operation section Sb is shown in red
  • the takeover section Sc and the cautionary section Sd are shown in yellow.
  • each color is represented by a separate pattern.
  • each section of the running route as described above is displayed on a predicted time axis of arrival from the current point.
  • the automatic driving control unit 112 performs information processing for displaying a traveling section on the traveling route based on the traveling route information and the traffic information.
  • FIG. 14 (a) shows each section of the traveling route on a fixed scale on a moving distance axis from the current point.
  • FIG. 14B shows the average road traffic flow velocity v (t) at each point.
  • FIG. 14C is a graph obtained by converting each section represented by the moving distance axis into a time axis using the velocity v (t).
  • each section of the travel route is represented by a predicted time axis from the current point. That is, it can be represented by a time axis obtained by dividing the physical distance of the traveling route by the average speed of each section.
  • the entire section displayed as a traveling section is divided into three sections as shown in FIG. 14D, and the time axis of each section is changed. That is, the first section from the current point to the first point (time t0, for example, about 10 minutes) is displayed on the first time axis as a section immediately adjacent to the time linear display.
  • time t0 is set to a necessary and sufficient time until the general driver finishes the secondary task and returns to operation. Since the nearest section approached by driving has the same visual intuition effect as shown on a map that travels at a constant speed, the driver can start preparing for accurate driving return following the approach of the event, and return to some degree accurately There is a merit that the starting point can be grasped intuitively.
  • the purpose of displaying this section is to provide the user with the start determination information of the exact return point of the operator.
  • a second section from the first point (time t0) to the second point (time t1, for example, about one hour) is defined as a reciprocal display section of time from the first time axis to the first time.
  • the time axis is sequentially changed to a second time axis reduced at a predetermined ratio with respect to the axis.
  • the display purpose of the second section is mainly that if the display is made at the same scale magnification as that of the first section, it becomes difficult to display the long-term period in a narrow display space. In this way, the driver is provided with the correct information. In this way, the driver can easily understand the point up to a certain point during the driving without requiring the intervention of driving, and plan to engage in the secondary task. There is a merit that can be done. In a secondary task or the like associated with the interaction with a third party, it plays a role of presenting important information in the release planning of the driver from the secondary task.
  • the display of the second display section described above is, when the vehicle is traveling at a constant vehicle speed, a view of a map obtained by obliquely tilting the traveling straight extension display section on the map in the traveling direction, or a display in front of the road plane. Corresponds to an oblique state.
  • the display image height position since the visual effect of this display section can be intuitively recognized at the display image height position, it can be said that the display can easily grasp the sensory distance without displaying the accurate position display scale or the like on the screen. .
  • the far section is reduced, but it is not a point to reach immediately by traveling, so rough prediction is important, but since the driver does not need to know strictly the arrival time information intuitively as near points It is also suitable for making a secondary task execution plan.
  • a third section from the second point (time t1) to the third point (time t2) is displayed on a second time axis (reduction rate hs / h0) as a time linear display distant section.
  • the driver can know in detail the section information that is closest in time in a limited display space, and can also display the section information that is farther in time. It becomes possible to know. If the distant part is displayed with the display form of the second section as it is, the visual resolution of the person and the display resolution of the system become lower than the limit, and the information necessary for determining the plan of the secondary task cannot be determined. Meaning is lost. Therefore, the user can intuitively understand the sense of the time section, and at the stage where the necessary intervening section and unnecessary section are appropriately displayed, the display scale is reduced, and the subsequent sections are returned to the fixed scale again. The most effective display is to perform the display.
  • the vehicle control system 100 has default values for the times t0, t1, and t3. Since it is conceivable that the values of the times t0, t1, and t3 are different between the long-distance driving and the short-distance driving, the default value is not limited to one, and a plurality of types are provided, and the driver (user ) Or the system may be selectively used according to the traveling route. It is also conceivable to allow the driver (user) to arbitrarily set the values of the times t0, t1, and t3.
  • FIGS. 15A and 15B show an example of a finally displayed traveling section display.
  • the length of the arrow indicates whether or not the time axis is linear, and further, the change in the reduction ratio of the time axis.
  • FIG. 15A all of the first, second, and third sections are displayed with the first width.
  • the first section from the current point to the first point (time t0) is displayed with the first width
  • the second section from the first point (time t0) to the second point is displayed with the second width
  • the second section up to the point (time t1) is displayed with a width that is sequentially changed from the first width to a second width narrower than the first width, and from the second point (time T1).
  • a third section up to the third point (time T2) is displayed with a second width.
  • the width of the road or the map is further changed by changing the width of the display information in the traveling direction in a pseudo manner.
  • the same perspective effect as that seen in the infinite direction along the course of travel is obtained, and the distribution of the sections requiring driving intervention can be more easily intuitively grasped than just looking at the screen for a moment.
  • the second section is rotated counterclockwise and viewed, as it is equivalent to the road width in front of the road and the arrival time at each corresponding point when traveling at a constant speed, the accurate position memory is visually checked. Even if it is not determined, it can be said that the user can intuitively grasp the actual feeling of arrival at each point and can allocate time.
  • the third section In a portion where the reduction rate hs / h0 is small, for example, as in the third section, if a section having a short time length is displayed with the same time length, the section is displayed very thinly and it is difficult for the driver to recognize the section. It is expected to be. Therefore, even when the driver-intervening section (manual driving section, takeover section, cautionary traveling section) is actually shorter than a certain time length, the time is displayed with a certain time length. In this case, for example, when the takeover section and the manual operation section are continuous, the display of the takeover section may be omitted. In FIGS. 15A and 15B, the display of the first manual operation section Sb of the third section indicates such a state. Thus, in the third section in which the time axis is greatly reduced, it is possible to display the driver-required section with a short time length so that the driver can recognize it.
  • the manual operation section Sb when the manual operation section Sb is intermittently continuous with a short cycle, it is displayed as the entire manual operation section Sb.
  • the display of the second manual operation section Sb of the third section shows a state in which such a connection is performed and displayed.
  • the manual operation section Sb displayed in this manner actually includes a handover section Sd for a short period and an automatic operable section Sa in addition to the manual operation section Sb, as shown in FIG. I have. Note that, as will be described later, for example, when the travel section is displayed on the tablet or the like, the point is double-touched, so that detailed display can be performed.
  • FIGS. 16A to 16D show an example of a change in the display of the traveling section with the passage of time. This example shows an example in which the second section is tapered, but the same applies to a case where all sections are displayed with the same width.
  • each section is fast in the first section.
  • the time axis is reduced from the third section to the first section, the movement of each section becomes faster.
  • the time axis is greatly reduced, so that the movement in each section is slow.
  • FIGS. 17A and 17B show an example of a travel section display 181 on the travel route displayed on the screen of the tablet 182.
  • FIG. 17A shows an example in which the tablet 182 is used in a portrait orientation.
  • the traveling section display 181 is displayed in a state of being bent from the left side to the upper side, and is displayed in parallel with a work window which is an execution screen of a secondary task performed by the tablet 182.
  • FIG. 17B shows an example in which the tablet 182 is used in a landscape orientation.
  • the traveling section display 181 is displayed in a state of being bent from the left side to the upper side, and is displayed in parallel with a work window which is an execution screen of a secondary task performed by the tablet 182.
  • the running section display 181 is arranged on the screen of the tablet 182 in a folded state, but if the arrangement space is sufficient, it may be arranged linearly.
  • FIG. 18 shows an example of a state in which the driver is actually executing a secondary task using the tablet 182.
  • the tablet 182 is used horizontally.
  • a running section display 181 is displayed in a state of being bent from the left side to the upper side.
  • whether or not to display the traveling section display 181 on the screen may be selectively performed by a driver (user) operation. In this case, for example, when the driving section display 181 does not appear on the screen and the driver intervention required section enters within a certain period of time and notifies the driver, the driving section display 181 is automatically set. May appear on the screen.
  • the newly generated section requiring driver intervention is newly displayed.
  • the newly generated necessary section for driver intervention is displayed in a blinking manner, for example, for a predetermined time so as to be distinguishable from the others.
  • This blinking display may be accompanied by a caution alarm sound.
  • the case where the section requiring the driver intervention newly occurs includes the case where the caution traveling section and the manual driving section newly occur, and also includes the case where the caution traveling section is changed to the manual driving section.
  • FIG. 19 shows a state in which a cautionary driving section Sd is newly generated in the second section and the driver is warned by blinking display.
  • the driver may be able to stop the blinking, that is, the warning state, by touching the displayed location of the blinking cautionary traveling section Sd.
  • a small window pops up and the blinking, that is, the warning state can be stopped by touching the screen of consent. May be done.
  • the safety determination unit 155 learns the optimal return timing according to the driver's return behavior pattern, vehicle characteristics, and the like, and provides the learning information to the situation recognition unit 153 and the like.
  • the safety determination unit 155 learns the optimal return timing according to the driver's return behavior pattern, vehicle characteristics, and the like, and provides the learning information to the situation recognition unit 153 and the like.
  • FIG. 21 is a diagram for describing a specific configuration example and processing of the safety determination unit 155.
  • a mobile device 200 such as an automobile is shown on the left, and a server 300 communicating with the mobile device 100 via a network is shown on the right.
  • the mobile device 200 includes a driver information acquisition unit 201, an environment information acquisition unit 202, a driver personal identification information acquisition unit 203, a safety determination unit 210, a notification control unit 221, a notification unit 222, a communication unit 230, and a storage unit 240.
  • the safety determination unit 210 corresponds to the safety determination unit 155 included in the situation analysis unit 133 illustrated in FIG.
  • the safety determination unit 210 includes a learning processing unit 211, a safety determination processing execution unit (manual operation returnable time estimation unit) 212, and a personal authentication processing unit 213.
  • the server 300 includes a learning data acquisition / generation unit 301, a learning processing unit 302, a communication unit 303, and a storage unit 304.
  • the driver information acquisition unit 201 is configured by a camera and various sensors, and acquires driver information.
  • the driver information acquired by the driver information acquisition unit 201 includes, for example, a gaze direction, eyeball behavior, pupil diameter, and facial expression acquired from an image including a face region, which are acquired from an image including an eyeball region. These pieces of information acquired by the driver information acquisition unit 201 are used, for example, as information for determining a driver's arousal level.
  • the above example is a simplified description, but it is not possible to determine the detailed state of the driver from acquiring simple information such as eyes and faces, and This includes performing detailed behavior analysis of history information, eyes, faces, and the like, and comprehensively determining the internal arousal state necessary for the driver to return to manual driving from the observable values in a hierarchical manner.
  • the biological information used for the determination will be described.
  • the time required to receive a return notification from the system depends on various factors such as the depth of sleep at the time of receiving the notification, the degree of fatigue accumulation, the elapsed time from the start of nap, etc., and according to individual characteristics. The time required will vary. Although it is difficult to give a direct return time to these prior information, it works as an influencing factor of the awakening return. Therefore, the observable information that can be obtained is used for learning as an influencing factor of the awakening recovery time estimation.
  • the driver information obtained by the driver information obtaining unit 201 obtains the logs according to the status of these drivers, and further receives a return notification or observes an awake state based on a trigger such as approaching the target takeover event. It is carried out.
  • Long-term log observation may include, for example, a life log before boarding the vehicle if the driver is wearing an observable device such as a wristwatch.
  • the information of the excess or deficiency state can also be used to assist the determination.
  • the user gets on the vehicle and uses various sensors mounted on the vehicle to evaluate the degree of distraction such as fatigue and drowsiness from Lorentz plot evaluation of the electrocardiogram.
  • the driver's state can be estimated by analyzing the utterance tone of the user and the response delay in the response.
  • behavior analysis means such as facial expression, occurrence of a downward or inattentive state, and the like can be employed.
  • state determination may be performed by agility evaluation based on gestures that look at the instruction response characteristics or active evaluation such as activity amount.
  • the driver information obtained by the driver information obtaining unit 201 is a highly accurate internal awake state in order to execute a final handover determination while performing the pre-monitoring of the awakening return influencing factors by the previous log observation. Judgment is required.
  • the situation of the driver changes in chronological order according to the following sequence. 1. Recognizing that there is an event that needs to be taken over, 2. By understanding the necessary situation accompanying the necessity of takeover, 3. If the notification grasp recognition is voice notification, there is a response to the notification and the response is awakening, recognition confirmation by switch, response confirmation by gesture, detection by action recognition to attach a hand to the steering wheel, driving It is the detection of the seat return. 4.
  • the driver who has finally returned to the return position after receiving the return notification takes the necessary conditions for manual operation return and scrutinization procedures before starting operation of steering devices such as steering wheel brakes and accelerators.
  • One of the main information acquisition means is visual information acquisition because it is assumed that the device steering is started after that. 5.
  • the driver can visually recognize the situation, the driver starts to operate the appropriate steering device, but for safety, the system does not take over all the steering momentarily, but the driver's appropriate steering intervention and muscular steering response Perform a procedure to gradually take over to the stage where the situation can be confirmed.
  • the driver information acquired by the driver information acquisition unit 201 includes a function of performing observation in a series of these processes.
  • the driver information acquired by the driver information acquisition unit 201 has been described to further visually grasp the situation.
  • the preparation for manual steering is completed only after visual recognition, judgment and planning. The driver cannot judge and plan the steering action to be taken merely by capturing the information necessary for the judgment in the central visual field of the line of sight.
  • fixation of a target fixation is started mainly to advance the understanding of the target, and reference is made to the knowledge information in the brain while capturing the characteristics of the target.
  • fixation is started mainly to advance the understanding of the target, and reference is made to the knowledge information in the brain while capturing the characteristics of the target.
  • the understanding of the object is completed, the saccade movement of the eyeball to a new direction to advance the next object grasp that must be grasped simultaneously in parallel, or a relative direction to advance the action judgment of the grasped object For example, a pursuit for canceling the movement is performed.
  • a wide area saccade search that appears as a visual information search behavior of these eyes, a pursuit operation that follows the flow accompanying running, a fixation tremor that occurs at the time of fixation that stays in the gaze until the recognition of the target subject to look at From the initial visual acquisition, such as the range, fluctuation stability, and saccade to the point of interest, to the confirmation of knowledge recognition and cognitive confirmation from the initial visual acquisition to the judgment in the fixation tremor cycle, that is, a slight time delay that causes the judgment to fire Is affected by the amount of activity in the brain, and the effect can be observed in the short term.
  • the visual reflex action starts with risky information that the individual driver has started to visually grasp by referring to his own visual memory, and starts the risk judgment, until the risk judgment is unconsciously necessary to finalize the judgment
  • the supplementary information is supplemented while performing the fixation tremor.
  • the initial visual information is evaluated immediately after the eyeball is turned by the saccade, and the driving behavior judgment is repeated in an unconscious manner to determine the necessity for driving continuation, and to obtain the information to be checked next
  • the sequence of repeating the saccade repeats intermittently.
  • the driving is expressed as detailed behavior of the eyeball that strongly reflects the return level of the internal awakening state required for manual return .
  • the driver information acquisition unit 201 includes an operation information acquisition unit for acquiring operation information of the driver. These are configured by, for example, a camera that captures a driver's face image, an operation information acquisition unit of each operation unit (such as a steering wheel, an accelerator, and a brake).
  • the environment information acquisition unit 202 acquires various environment information.
  • the environment information acquired by the environment information acquisition unit 202 includes, for example, an image obtained by an imaging unit installed in the mobile device 200, depth information, three-dimensional structure information, terrain information obtained by a sensor such as LiDAR installed on a moving object, and a GPS position.
  • the information includes information from communication devices installed in infrastructure such as roads, such as information on signal status and signs.
  • the driver personal identification information acquisition unit 203 acquires information applicable to personal authentication such as iris authentication, fingerprint authentication, vein authentication, and voiceprint authentication.
  • the configuration of the driver information acquisition unit 201, the environment information acquisition unit 202, and the driver personal identification information acquisition unit 203 illustrated in FIG. 21 is the same as the configuration of the data acquisition unit 102 and the detection unit 131 in the configuration illustrated in FIG. Corresponding.
  • the safety determination unit 210 includes a learning processing unit 211, a safety determination processing execution unit (manual operation returnable time estimation unit) 212, and a personal authentication processing unit 213.
  • the personal authentication processing unit 213 executes personal authentication processing by inputting personal authentication information such as iris authentication, fingerprint authentication, vein authentication, and voiceprint authentication acquired by the driver personal identification information acquiring unit 203.
  • the registration information necessary for this authentication processing is obtained from the storage unit 240 or the server 300. For example, when a driver gets on a car which is a mobile device, personal authentication as personal identification processing is performed.
  • the driver information, the time, the driving input, and the environmental information such as the road after the personal identification are recorded constantly or periodically and transmitted to the server 300.
  • information that can be applied to personal authentication such as iris authentication, fingerprint authentication, vein authentication, and voiceprint authentication, which is input from the driver personal identification information acquisition unit 203, is transmitted to the server 300, and the information registered in the server 300 is transmitted.
  • the personal authentication processing may be executed in the server 300 using the personal authentication processing.
  • the learning processing unit 211 receives the driver information acquired by the driver information acquisition unit 201, the environment information acquired by the environment information acquisition unit 202, and the like, and performs learning for safety determination using the input information. Execute the process. Specifically, for example, a learning device capable of calculating a "safety index value” and an "estimated value of a time allowed to return to manual operation” corresponding to "driver information” and “environmental information” is constructed. Note that the learning device not only learns to perform determination limited to the driver-specific characteristics, but also learns characteristics according to vehicle characteristics, environmental characteristics, and the like.
  • the learning of the optimization including the situation and the vehicle characteristics can be performed by learning the factors of the variation factors that contribute to the safety.
  • the learning device refers to a set of models, algorithms, parameters, and the like, which can learn the input / output relationship using machine learning.
  • a statistical learning device a learning model, a machine learning model, a statistical learning model, a predictor, a prediction model, an estimator, an estimation model, but all have essentially the same meaning.
  • the name “learning device” is adopted. Depending on the specific application, it may be called a classifier, a classification model, a classifier, a classification model, a regression learning device, a regression learning model, a generation model, etc. It is a concept.
  • the safety determination process execution unit 212 inputs the driver information acquired by the driver information acquisition unit 201, the environment information acquired by the environment information acquisition unit 202, and the like.
  • the time required to return to safe manual operation is calculated based on the time required for the driver to start manual operation at a certain high rate before arrival at the point where the takeover is required, It is by no means a time calculated by directly assessing safety.
  • the timing to start preparations for returning to manual driving is affected by various factors such as the vehicle's kinetic characteristics, road environment conditions, and weather, so maximize safety by incorporating those effects. You can do things.
  • the notification control unit 221 controls the notification timing of the manual operation start request notification as described above with reference to FIG. 2 based on the manual operation returnable time estimated by the safety determination processing execution unit 212, The notification is made via the notification unit 222.
  • the notification unit 222 includes, for example, an alarm, a display on a window, a vibration process execution unit for a steering wheel and a seat, and the like.
  • the communication unit 230 executes communication with an external device such as the server 300.
  • the server 300 includes a learning data acquisition / generation unit 301, a learning processing unit 302, a communication unit 303, and a storage unit 304.
  • the learning data acquisition and generation unit 301 acquires and generates learning device input / output data necessary for constructing the learning device.
  • “driver information” and “environment information” are obtained from various mobile devices connected to a network.
  • learning data is generated based on various obtainable data such as map data, accident occurrence situation data and traffic congestion data.
  • the input / output data of the learning device is described, but this is called teacher data, training data, or the like in supervised learning.
  • the possibility of learning using other methods such as unsupervised learning, semi-supervised learning, reinforcement learning, etc. is not excluded, so here we generalize the input and output of the learning device. Called data. These data are stored in the storage unit 304.
  • the learning processing unit 303 executes a learning process using the input / output data of the learning device, which is obtained or generated by the input / output data acquisition / generation unit 301 of the learning device and stored in the storage unit 304.
  • this learning process for example, it is possible to construct input / output data of a learning device that can calculate a “safety index value” and an “estimated value of a time allowed to return to manual operation” corresponding to “driver information” and “environment information”. Do.
  • the safety determination unit 210 includes a learning processing unit 211, a safety determination processing execution unit (manual operation returnable time estimation unit) 212, and a personal authentication processing unit 213.
  • the learning processing unit 211 inputs the driver information obtained by the driver information obtaining unit 201 and the environment information obtained by the environment information obtaining unit 202, and performs a learning process for safety determination by applying these input information.
  • the safety determination process execution unit (manual operation returnable time estimation unit) 212 A learning device learned using an unspecified number of data obtained experimentally from the storage unit 240 is used to calculate the safety index value and estimate the time during which manual operation can be returned using the learning device. Execute the process. Alternatively, a predetermined fixed manual operation returnable time is output as an estimated value. Note that a learning device generated by a learning process using a large number of unspecified data can also be acquired from the server 300.
  • the learning unit executes the calculation processing of the safety index value based on the input driver information and the environment information and the processing of estimating the time during which the manual driving can be returned.
  • the learning processing unit 211 for example, (A) The driver information acquired by the driver information acquisition unit 201, the environment information acquired by the environment information acquisition unit 202, (B) operation information as to whether or not the driver was able to drive in a safe state after notification of switching from the automatic driving mode to the manual driving mode; A learning process for establishing a correspondence between the information (a) and (b) is performed.
  • the driver information acquisition unit 12 performs, for example, information acquisition processing for determining a driver's arousal level, and also driver's operation information, that is, each operation unit (a steering wheel, an accelerator, a brake, and the like). ) Is also provided.
  • the learning processing unit 211 acquires the driver information and the environment information, and performs the driving operation of the driver after performing the manual driving return request notification as described above with reference to FIG. 2 at a certain timing. Obtain information to confirm whether safe driving is being performed. If safe driving has been performed, when the same driver information and environmental information are obtained, it is determined that the notification timing of the manual driving return request notification may be further delayed. On the other hand, if safe driving has not been performed, when the same driver information and environmental information are obtained, it is determined that the notification timing of the manual driving return request notification should be advanced.
  • a learning device for determining the notification timing of such a manual operation return request notification is constructed.
  • the driver can perform safe manual driving.
  • a learning device that can be applied to the process of determining whether or not can be executed that is, a learning device that associates “driver information and environmental information” with “safety index value” is also constructed.
  • the learning device while acquiring a transition from the prior characteristic of the driver's return notification that occurs each time an event occurs, (b) operation information as to whether or not the driver was able to drive in a safe state is also used as teacher data.
  • the system includes a self-contained learning device, and the accuracy can be improved.
  • the driver information acquired by the driver information acquisition unit 201 and the safety index value data associated with the environment information acquired by the environment information acquisition unit 202 are obtained. Can be. Furthermore, the driver information acquired by the driver information acquisition unit 201 and the manual operation returnable time (time required until safe manual operation return) corresponding to the environment information acquired by the environment information acquisition unit 202 are calculated. be able to. The notification time of the manual operation start request notification to the driver can be determined based on the manual operation return available time.
  • the result data of the learning processing in the learning processing unit 211 is stored in the storage unit 240.
  • the data (learning device and / or input / output data of the learning device) stored in the storage unit 240 includes, for example, the following data.
  • Driver information safety index value data associated with the environmental information
  • Abnormality of driver information after notification of manual operation start request abnormality of environmental information, time required for return, Learning device
  • the data stored in the storage unit 240 is periodically transmitted to the server 300.
  • the server 300 stores the data received from the mobile device 200 in the storage unit 304, and performs a learning process based on the received data in the learning data generation unit 301.
  • the server 300 can receive a large amount of data from a large number of mobile devices (cars) and perform a learning process based on the large amount of data. As a result, it is possible to obtain input / output data (learning device) with higher versatility and higher certainty.
  • the server 300 updates the learning device by a learning process based on a large amount of data and stores the updated learning device in the storage unit 304 of the server 300.
  • the learning devices stored in the storage unit 304 of the server 300 are provided to the mobile device 200 as needed, and the safety determination processing unit 212 of the safety determination unit 210 of the mobile device 200 performs It is used for calculation of a safety index value based on the acquired driver information and the environment information acquired by the environment information acquisition unit 202, a manual driving return time, and the like.
  • the learning processing unit 211 includes the personal identification information, the vehicle type information, the time information, and the like in the learning data, so that the safety index value associated with the individual, the vehicle (vehicle type, and the like) and time, the manual operation return A learning device capable of predicting a possible time can be generated.
  • the personal identification information can be obtained via the personal authentication processing unit 213.
  • the vehicle type information can be obtained from the environment information obtaining unit 202. Alternatively, a configuration in which data stored in the storage unit in advance may be used.
  • the safety determination processing execution unit (manual operation returnable time estimation unit) 212 obtains the manual operation returnable time by applying the learning device calculated as a result of the learning process of the learning processing unit 211, and A manual operation return request notification is made based on the operation return possible time.
  • the learning processing unit 211 acquires the driving operation information of the driver after the notification from the driver information acquiring unit 201 and the environment information acquiring unit 202, and determines whether the normal driving is being performed. Based on this determination, for example, the learning device can output such that the notification time is advanced when the frequency of occurrence of abnormality is high, and the notification time is delayed when the frequency of occurrence of abnormality is low. Update and / or relearn.
  • the notification time control can be performed by the update / re-learning process.
  • the driver can perform various processes (secondary tasks), and the degree of arousal greatly differs depending on the secondary task being executed. For example, just releasing the handle from the steering wheel, as in the case of driving, the user may be watching the front of the car, reading a book, or falling asleep. Due to the difference between these processes, the awakening degree (consciousness level) of the driver is different.
  • the driver information acquisition unit 201 can confirm the driver's secondary task execution status at the time of executing the automatic driving. It is preferable that the information is acquired and the learning processing unit 211 performs a learning process using these data.
  • the configuration of the driver information acquisition unit 201 for this purpose preferably includes a camera installed for observing the inside of the vehicle, a pressure sensor and a temperature sensor installed on a steering wheel and a seat, and a biological signal acquisition unit.
  • the learning processing unit 211 calculates the results of face authentication, head posture estimation, gaze estimation, body posture estimation, and behavior identification using images obtained from the camera, and uses these data in the learning processing.
  • the information is managed in a form to which additional information is given so that the input information is acquired in the automatic operation state.
  • the Present information using no fixed definition time.
  • This fixed definition time is, for example, statistically evaluated from the actual usage data of various driver populations, and obtains in advance the time at which the evaluation user was able to succeed at a certain rate, and collects it in advance.
  • a defined time for returning at a target success rate may be set based on statistical data obtained by learning the average driver population of the returned delay time beforehand offline or the like.
  • the offset may be set in consideration of the characteristics.
  • the time from the information presentation to the return to the manual operation is measured every time a handover event occurs, and the time is recorded and collected as a record log as the manual operation returnable time.
  • the learning result in advance may be referred to.
  • the learning result in advance By repeating the same operation, it is possible to collect data for estimating a possible return time for a specific individual and a vehicle. If the data for estimating the safety index value and estimating the time to allow manual operation return is sufficiently collected, the safety index value and the optimal return can be obtained, for example, by machine learning using the following input / output data.
  • a learning device that predicts time can be constructed. Input: Driver information, environmental information, etc.
  • Output Safety index value, time for manual operation return
  • the return time may differ depending on the driver's past driving experience and environmental conditions in the specific return characteristic that has been uniquely authenticated. For example, poor visibility in rainy weather, nighttime conditions, poor visibility under backlighting, accumulated fatigue in the early morning or evening, or even the same driver when using a private car when commuting, Depending on the circumstances, such as the characteristics of a large crew bus or a cargo-carrying vehicle, the time required to start and return is not unique.
  • driver information or “environment information”.
  • the learning processing unit 211 of the mobile device 200 and the learning processing unit 302 of the server 300 perform the “safety index value” and “manual operation return” corresponding to “driver information” and “environment information”.
  • the learning device that can calculate the “possible time estimation value” is constructed.
  • step S21 "driver information” and “environmental information” are input.
  • step S22 the operation information of the driver after the start of the manual operation, which is started by the notification of the manual operation start request, is obtained from the driver information obtaining unit, and the safety based on whether the safe operation is performed is determined. Calculate the sex index value.
  • the driver information acquisition unit 12 performs the operation information of the driver, that is, the operation information of each operation unit (the steering wheel, the accelerator, the brake, and the like), in addition to the information acquisition process for determining the arousal level of the driver. It also has the function of acquiring the operation information of the driver, that is, the operation information of each operation unit (the steering wheel, the accelerator, the brake, and the like), in addition to the information acquisition process for determining the arousal level of the driver. It also has the function of acquiring the operation information of the driver, that is, the operation information of each operation unit (the steering wheel, the accelerator, the brake, and the like), in addition to the information acquisition process for determining the arousal level of the driver. It also has the function of acquiring the operation information of the driver, that is, the operation information of each operation unit (the steering wheel, the accelerator, the brake, and the like), in addition to the information acquisition process for determining the arousal level of the driver. It also has the function of acquiring the operation information of the driver
  • a process of calculating a safety index value using not only the operation information of the driver but also specific event handling information or accident information may be performed.
  • a configuration may be used in which a safety index value is calculated using event handling information corresponding to time and road information in addition to “driver information” and “environment information”.
  • the event handling information refers to the driver's accurate steering judgment evaluation level through continuous monitoring of the driving steering condition.For example, when the vehicle starts to deviate from the lane, the steering operation of the correction is performed at an appropriate timing.
  • the fluctuation amplitude or the steering correction such as whether there is no delay in the steady-state observation, whether there is no overcorrection operation, or whether the generation of the correction interval has begun to become irregular.
  • Continuous evaluation of steering stability such as changes in generated acceleration, is performed continuously.
  • the driver performs steering intention input with the steering wheel, brake, accelerator, and so on. Since it is possible to start the evaluation of the difference between the ideal speed control that is determined to be desirable and the control performed by the driver, it is possible to quantitatively evaluate the driver's awakening degree return level from the driver's steering validity.
  • the system completes the steering intervention at the stage when the system control is entrusted to the driver. As a result, the system performs so-called "driver information” such as the driver status, vehicle status, and environmental status before the start of the takeover. And a log data set such as a history of "environmental information", success / failure, an actual delay time required for normal takeover, a steering quality evaluation log at the start of takeover, and a return behavior characteristic change curve required for complete recovery.
  • step S23 input / output data composed of data corresponding to input information (driver information, environmental information, etc.) and safety index values is generated, and the learning device is updated. Some of the occurrences are scheduled takeovers at the time of travel planning, and some of them are new during the travel time.It is not always necessary to distinguish between them.Pre-observed pre-return observation values and handover results that occur with repeated use of the vehicle A set of logs of pass / fail determination, success, avoidance, and quality determination is acquired as a learning data set.
  • the processes of steps S21 to S23 are repeatedly executed, and a learning device configured by using correspondence data of input information (driver information, environmental information, etc.) and safety index values by using a large amount of learning data. Are sequentially updated.
  • step S24 is a process performed when a learning device is constructed in the learning processing unit 302 of the server 300.
  • the latest learning device generated by server 300 is transmitted to the mobile device (car).
  • the flow illustrated in FIG. 22 is a generation processing flow of a learning device including data corresponding to “driver information, environmental information, and the like” and “safety index value”. , Environmental information, etc., and a processing sequence in the case of generating a learning device for input / output data in which “manual operation resumable time” is associated will be described with reference to the flow shown in FIG.
  • step S31 "driver information” and “environment information” are input.
  • step S32 the time from the manual operation start request notification time to the start of the manual operation is measured.
  • step S33 the operation information of the driver after the start of the manual driving is acquired from the driver information acquisition unit, and a safety index value is calculated according to whether or not a safe operation is being performed.
  • a safety index value calculation process in step S33 for example, a process of calculating the safety index value using not only the operation information of the driver but also specific accident information may be performed.
  • a configuration may be used in which a safety index value is calculated using accident information or the like corresponding to time or road information in addition to “driver information” and “environment information”.
  • step S34 the elapsed time from the notification time to the manual operation start time (manual operation resettable time) required to make the safety index value based on the operation information after the manual operation start to a certain value or more (safe) ) Is calculated.
  • step S35 input / output data composed of input information (driver information, environmental information, etc.), safety index values, and data corresponding to the time when manual operation can be returned is generated, and the learning device is updated.
  • the processes of steps S31 to S35 are repeatedly executed, and the correspondence data of the input information (driver information, environmental information, etc.), the safety index value, and the time during which the manual operation can be returned is performed using a large amount of learning data. Are sequentially updated.
  • step S36 is a process performed when a learning device is constructed in the learning processing unit 302 of the server 300.
  • the latest learning device generated by server 300 is transmitted to the mobile device (car).
  • FIG. 24 shows an example of input / output data of the learning device generated by the learning device construction process.
  • the data shown in FIG. 24 is input / output data of the learning device, which is made up of correspondence data of input information (driver information, environmental information, and the like), a safety index value, and a time when manual operation can be returned.
  • the driver information and the environment information include a plurality of observation values (parameters) obtained by a plurality of different sensors. That is, the driver information and the environment information are configured by a set of a plurality of parameters.
  • the safety index value in the example shown in FIG. 24 is an example in which the value is set from 0 (danger) to 1 (safe) from 0 to 1. This is an example, and as described above, it is also possible to apply a binary setting of 0 (danger) and 1 (safe), and other numerical ranges.
  • the estimated value of the manual operation returnable time is the time calculated in the processing of step S34 in the flow of FIG. 23 described above. In other words, the calculated value of the elapsed time from the notification time to the manual operation start time (recoverable time of the manual operation) necessary to make the safety index value based on the operation information after the manual operation start to be a certain value or more (safety) It is.
  • the safety determining process execution unit (manual driving returnable time estimating unit) 212 of the safety determining unit 210 illustrated in FIG. 21 uses such a learning device to convert driver information and input information such as environmental information. Estimate the corresponding safety index value and manual operation return time.
  • the process of estimating the manual operation resumable time to which the learning device is applied is performed as, for example, the following process.
  • the data shown in FIG. 24 is made up of correspondence data between “driver information and environmental information” and “safety index value and manual operation returnable time”, but this is an example, and for example, data Includes personal identification information, vehicle type information, time information, etc., in order to generate a learning index having a safety index value associated with an individual, a vehicle (vehicle type, etc.) and time, and a time during which manual driving can be resumed. Can be.
  • the present technology can be applied not only to the estimation of the resumable time adapted to the individual, but also to the estimation of the resumable time of the manual operation adapted to the vehicle.
  • a learning device that calculates an estimated returnable time associated with a driver of the vehicle and members of the fellow passenger may be constructed. With such a configuration, it is possible to predict an optimal time for returning to manual driving in accordance with the driver riding the vehicle and the members of the fellow passenger.
  • the configuration may be such that they are used separately for pre-learning and for online learning according to data characteristics.
  • FIG. 25 is a flowchart illustrating an example of a sequence of a process performed when the vehicle that is the moving device of the present disclosure switches from the automatic driving mode to the manual driving mode.
  • step S41 the mobile device observes an occurrence event of a request for switching from the automatic operation mode to the manual operation mode.
  • This observation information is acquired based on, for example, LDM information of the road environment. That is, the information is acquired based on so-called local dynamic map (LDM) information that constantly updates the travel map information of the road on which the vehicle travels with high density.
  • LDM local dynamic map
  • an expressway is a section where automatic driving is possible and a general road is a road environment in which traveling by automatic driving is not possible. If acquired, it is determined that the event is a request for switching from the automatic operation mode to the manual operation mode.
  • more complicated and diverse operations may be performed than limited divisions such as expressways and general roads.
  • step S42 an observation value is obtained.
  • This observation value acquisition processing is performed by, for example, the driver information acquisition unit 201, the environment information acquisition unit 202, and the driver personal identification information acquisition unit 203 illustrated in FIG. These configurations correspond to the configurations of the data acquisition unit 102 and the detection unit 131 in the configuration illustrated in FIG.
  • the driver information acquisition unit 201 includes a camera and various sensors, and acquires driver information, for example, information for determining a driver's arousal level. For example, the gaze direction, eyeball behavior, pupil diameter, facial expression acquired from the image including the face region, and the like obtained from the image including the eye region.
  • the driver information acquisition unit 201 further acquires the operation information of each operation unit (the steering wheel, the accelerator, the brake, and the like) of the driver.
  • the environment information acquisition unit 202 includes, for example, an image obtained by an imaging unit installed in a mobile device, depth information, three-dimensional structure information, terrain information obtained by a sensor such as LiDAR installed on a mobile object, position information obtained by GPS, and a signal device. It acquires information from communication devices installed in infrastructure such as roads, such as information on traffic conditions and signs.
  • step S43 the manual operation resumable time is calculated based on the obtained observation value.
  • This process is a process executed by the safety determination process execution unit (manual operation returnable time estimation unit) 212 of the safety determination unit 210 shown in FIG.
  • the learning device to be used is, for example, a learning device that has been learned using the input / output data described above with reference to FIG.
  • the data shown in 12 is the input / output of the learning device composed of the correspondence data of “driver information and environmental information” and “safety index value and possible time for returning to manual operation”.
  • FIG. 24 shows an example in which specific parameters are combined and tabulated based on a combination of driver information and environmental information assuming a combination of input information, but the frequency of occurrence of a unique combination event is actually shown. Is not so many, and occurs as a combination of various backgrounds and states each time an event occurs. This is information of multidimensional input, and there is not always a log of information indicating the prior state of the driver. Even with the same observation value of the biological information, many individual differences appear in the delay in the determination from the acquired visual information to the determination due to the individual's unique constitution, gesture, experience, memory, and the like.
  • the safety classifier is updated by learning using a data group consisting of a set of driver information and a safety index.
  • a learning method for example, Support Vector Machine, Boosting, Convolutional Neural Network, Deep Belief Network, Long Short-Term Memory, or the like can be considered.
  • re-learning may be performed by adding a newly acquired data group to the data group for pre-learning, or online learning may be used.
  • the safety discriminating process executing unit (manual driving resumable time estimating unit) 212 performs prediction by outputting driver information and environmental information as inputs using a learning device learned using the data illustrated in FIG. .
  • a learning device learned using the data illustrated in FIG. an entry having a parameter closest to each parameter of the driver information acquired by the driver information acquisition unit 201 and each parameter of the environment information acquired by the environment information acquisition unit 202 is selected from the data shown in FIG.
  • a simple method such as acquiring the estimated value of the manual operation returnable time set in the entry may be used.
  • the learning device used in the process of estimating the manual operation returnable time may be set to include the type of the secondary task for each driver or the type of the secondary task that is performing the automatic operation in the observation information.
  • a process (manual drive resumable time estimating process) using the personal identification information of the driver currently driving and the information of the type of the secondary task currently being executed as observation information is performed.
  • This example corresponds to the type of a certain secondary task of a certain driver.
  • the relation information in an area (shown by a broken-line rectangular frame) having a certain width in the evaluation value direction corresponding to the obtained observation value. (Observation plot).
  • a dotted line c in the figure indicates a boundary line when the return delay time at which the return success rate in FIG. 26B described later is 0.95 is observed with different observation values of the driver.
  • An area longer than the dotted line c that is, an area in which the driver is automatically and manually returned from the automatic return to the manual return notice or an alarm at an early grace time at a rate of 0.95 or more.
  • a target value Request for Recovery Ratio
  • the vehicle may be stopped and the system may be decelerated to a speed that can be dealt with by the system.
  • FIG. 26 (b) shows the relationship between the return delay time and the return success rate obtained from a plurality of pieces of extracted relation information (observation plots).
  • the curve a shows the single success rate at each return delay time
  • the curve b shows the cumulative success rate at each return delay time.
  • the return delay time t1 is calculated based on the curve b such that the success rate at a predetermined rate, in the illustrated example, the success rate is 0.95.
  • This calculation process is executed by, for example, the safety determination unit 210 described above with reference to FIG.
  • the determination is performed by the safety determination unit 210 using distribution information of a plurality of pieces of related information (observation plots) between the observable evaluation value and the return delay time acquired in the past and stored in the storage unit 240.
  • FIG. 27 is a diagram for explaining the manual operation returnable time according to the type of processing (secondary task) executed when the driver is in a state of leaving the driving steering operation in the automatic driving mode.
  • Each distribution profile corresponds to the curve a predicted based on the observed value, that is, the driver's state shown in FIG.
  • the observed value that is, the driver's state shown in FIG.
  • the past characteristics required for the driver to return from the observed values that can evaluate the degree of awakening of the driver detected at each stage.
  • the profile return success rate profile in FIG. 26B
  • the initial curve in the case of a nap is that the sleep level is estimated from observation information such as breathing and pulse waves that were passively monitored during the nap period in automatic driving, and the return delay of the driver after issuing a wake-up alert. It becomes the average distribution of the totals that looked at the characteristics. Each distribution on the way is determined according to the driver's condition observed during waking up and subsequent movement return procedures. By observing “6. If you are dormant” shown in the figure, the right timing for the wake-up warning is determined, and the subsequent half-way is the return budget predicted from the observable driver state evaluation value at the predicted midpoint.
  • the return time distribution is as follows.
  • the storage unit may not sufficiently store the relationship information between the observable evaluation value of the driver currently driving and the return delay time.
  • the storage unit calculates the return delay time t1 using return characteristic information generated based on information collected from the driver population of the same age, for example, as assumed return distribution information provided in advance. It can be carried out.
  • the return information since the driver-specific characteristics have not been sufficiently learned, the return information may be used with the same return probability, or a higher return success rate may be set. It should be noted that since a user who is unfamiliar with ergonomics becomes more cautious, an early return is expected at the beginning of use, and the driver himself adapts to the action according to the notification of the system as he gets used to the use.
  • the driver's personal authentication is performed and the operation is observable with a remote server etc.
  • the information and the return characteristic may be managed or learned in a concentrated or distributed manner, and the individual vehicle may not necessarily retain the data of the return characteristic, but may perform a remote learning process or retain.
  • the return success rate is described as the time until a uniform success or failure.
  • the success or failure of the automatic operation to the manual operation is not limited to the binary success or failure, and the return succession quality is not limited. May be further performed. That is, the return within the allowed time, such as the delay time of the return procedure transition leading to the actual return confirmation, the return start delay for the notification, the stagnation in the return operation, and the further input to the learning device as the return quality evaluation value. May be.
  • the notification timing determined by the return delay time calculated in step S43 is a return delay.
  • a notification for urging the driver to return to driving is executed.
  • This notification is executed, for example, as a display process as described above with reference to FIG. Alternatively, it may be executed as sound output or vibration of a steering wheel or a seat.
  • a notification method for waking up from a state in which the driver is sleeping is selected.
  • the process of waking up the driver in the event of a nap is a process in which the driver is aware of and returning to a light sleep, and may sound an alarm immediately.
  • a process of sounding an awakening alarm only when a response is made may be performed.
  • step S45 the return transition of the driver is monitored. Then, in step S46, it is determined whether or not the operation can be returned within the return delay time based on the monitoring result in step S45. When it is determined that the return to operation is possible, the driver is returned to operation in step S47. Then, in step S48, the learning data is updated. That is, one sample value of the relational information (observation plot) between the observable evaluation value and the actual return delay time is added to the type of the secondary task of the driver at the time of the above-mentioned returning operation. Then, in step S50, the process is terminated. In this embodiment, the learning is limited to plot data generated at each event. However, since learning is largely determined by the previous state (history) before the event occurs, the learning is multidimensional. By performing the learning, the accuracy of estimating the time required for the return delay from the driver state observation value may be further improved.
  • step S46 If it is determined in step S46 that the operation cannot be returned, the process from the start to the stop of the deceleration / gradual evacuation sequence is executed in step S51.
  • step S52 a record of a penalty for an incomplete takeover event is issued, and the process ends. Note that a record of this penalty is left in the storage unit.
  • the penalty has various aspects and is not limited to a specific method. Its main purpose is to establish an incentive mechanism to encourage early response and response to system notifications by the driver without high-quality delays and negligence. For example, if a drop in driver takeover quality is detected, the following penalty is imposed based on the record.
  • the upper speed limit of the vehicle Forced guidance to an evacuation area, Temporary evacuation to the service area, acquisition of forced breaks, Generation of rumble strips simulated vibration on the steering wheel and seat, Warning sound output, Increasing premium burden, Unpleasant feedback such as stench, Penalties, For example, a penalty as described above is imposed.
  • Unpleasant feedback such as stench, Penalties
  • a penalty as described above is imposed.
  • ergonomics affect human behavioral psychology, and avoidance behavior becomes a habit, that is, an important mechanism for improving safety. If the record for improving the behavior characteristics of the driver is falsified and invalidated, the function cannot be used. Therefore, it is desirable to provide a falsification prevention configuration to the recorded data.
  • the timing at which the dynamic driving return request notification to the driver is performed differs depending on the state of the driver.
  • the driver is in a nap or is away from the driver's seat, notification at an earlier timing is necessary.
  • the automatic driving technology is a technology that enables automatic driving on a road by using various sensors such as position detection means provided in a vehicle (automobile). In order to do so, it is indispensable to develop infrastructure such as installing marks that can be sensed on the road side. It takes a considerable amount of time to develop these infrastructures on all roads, and for a while it is assumed that there will be both autonomous and manual driving sections.
  • the vehicle runs in the autonomous driving mode.However, when exiting the expressway and stopping the car at a desired position in the parking lot, or on a narrow mountain road, it is predicted that mode switching, such as switching to the manual driving mode and driving by the operation of the driver (driver), is required.
  • the driver While the vehicle is performing autonomous driving, the driver does not need to look ahead in the direction of the vehicle, such as falling asleep, watching TV, reading a book, or sitting backwards. This allows the user to freely talk with the person in the backseat.
  • the system on the autonomous driving vehicle side identifies the autonomous driving section and the manual driving section, and when the manual driving section is approaching, executes a request for the driver to take over the manual driving. For example, notification is made by an alarm or the like.
  • the driver promptly ends the secondary task, which is a task other than the operation, for example, and starts the manual operation return process according to the notification from the system. However, if the driver's manual driving return process is delayed, the system determines that the driver cannot take control of the vehicle, and performs deceleration, slowing down, evacuation stop, etc. as an emergency response measure.
  • Emergency response processing such as deceleration, slowing down, evacuation stop, etc. can be said to be safe and secure without any problems when viewed on its own. However, for example, if the emergency stop or deceleration is allowed without any restriction, the normal traveling of the nearby traveling vehicles will be obstructed, which may cause a rear-end collision or a traffic jam.
  • the system on the self-driving vehicle side can increase the manual driving return success rate by requesting the driver to return to manual driving at an earlier timing when the manual driving section is approaching. Is an obstacle to operations other than driving by the driver during automatic driving, that is, secondary tasks. Therefore, it is important to notify the driver (manual driving return request) at a timing that is not too early and at a timing that can achieve a sufficient manual driving return success rate.
  • past history information such as a notification of a return to manual driving, a notification of a warning judgment to a driver, a (learning) record of a driver return characteristic, a record of a return transition intermediate observable state at each occurrence of an event, a notification and a warning
  • information such as the record of the driver's active response to the vehicle and the record of the quality assessment of the handover result. These pieces of information are data recorded (stored) in the storage unit as observation information obtained by the data processing unit of the information processing device.
  • EDR Event Data Recorder
  • the self-driving vehicle system will record the driver's return behavior during autonomous driving, in particular, record detailed information from passive monitoring to notification and recognition to actual handover, and include long-term human behavior characteristics It is useful to acquire and analyze information. As described above, it is predicted that the autonomous driving vehicle system will acquire analysis information on driver behavior more than conventional EDR or drive recorder.
  • the state of the driver during the automatic driving is various, and the optimum timing for issuing the manual driving return request differs depending on the state. Assuming that the state of the driver at the time of executing the return request is the initial state, the time required from the initial state to the return to the manual operation greatly depends on the initial state. Therefore, it is necessary to determine the notification timing based on the result of regular observation (monitoring) of the position and state of the driver on a regular basis.
  • this monitoring information and the driver state at the time of notification can be used as information for estimating the manual operation return quality at the time of manual operation return.
  • As information applicable to the estimation processing and the evaluation processing of the driver's manual driving return quality for example, there is the following information. 1. Riding (before commuting) health management status a. History, epilepsy, seizures, anemia, palpitations, shortness of breath, apnea syndrome, ... b. Sleep quality (pulse, breathing, turning information) Such
  • LDM is so-called local dynamic map (LDM) information that constantly updates the travel map information of the road on which the vehicle travels with high density.
  • LDM local dynamic map
  • the data processing unit of the vehicle system acquires the driver's observation information, and determines the arousal level, which is the driver's consciousness level, based on the acquired observation information. Further, according to the degree of awakening of the driver, the notification timing of a manual operation return request notification, which is a notification of a request to return the driver from automatic driving to manual driving, is controlled.
  • driver information that can be obtained by the system is classified by time series, it can be classified into the following three types. (1) Driver information that can be obtained before the driver gets on the vehicle (2) Driver information that can be obtained after the driver gets on the vehicle (3) Notification to the driver (manual drive return request notification, etc.) Driver information that can be acquired later Hereinafter, driver information that can be acquired at each of these timings will be sequentially described.
  • driver information acquired before driver gets into vehicle First, driver information acquired before the driver gets on the vehicle will be described.
  • the driver information to be obtained is information that can be applied to estimation processing and evaluation processing of the driver's manual driving return quality, and is information that can be used for determining and updating the notification timing.
  • the following information is acquired as information before the driver gets on the vehicle, and the information is recorded and stored in the storage unit in the system (information processing device) of the automatic driving vehicle.
  • Medical history information medical history, epilepsy, seizures, anemia, palpitations, shortness of breath, apnea syndrome, ...)
  • Sleep quality information (pulse, respiration, rollover information)
  • Excessive sleep debts (chronic, temporary lack of sleep) until the day before (sleep quality log information of sleep support devices such as wearable devices and sleep support applications)
  • Fatigue status information continuously work information, vacation status for a predetermined period such as the past week, observable fatigue information
  • Drinking status information drinking status of the previous day, reporting obligation information to commercial vehicle drivers, etc.
  • (6) Information on the actual working conditions of professional drivers (drivers) (6a) Observation information on the quality of waking up on the crew day (6b) Daytime activity records up to the management (6c) Inspection before starting work duty,
  • the system (information processing device) of the self-driving vehicle records and saves the bio-related information of these drivers as a pre-ride driver log in a storage unit in the system (information processing device).
  • driver information acquired after the driver gets on the vehicle is information that can be applied to estimation processing and evaluation processing of the driver's manual driving return quality, and is information that can be used for determining and updating the notification timing.
  • Driver information obtained after the driver gets on the vehicle will be described in two categories.
  • the vehicle system information processing device continuously observes various states of the driver according to the running state of the vehicle.
  • the driver state and the secondary task which is the operation performed by the driver during the execution of the automatic driving, change depending on the steering performance of the automatic driving vehicle and the allowable automatic driving level. That is, if fully automatic driving is possible, the driver can sleep and can work away from the driver's seat. However, the driver is not allowed to sleep or leave the driver's seat in a setting that requires monitoring of automatic driving by the driver, caution ahead, gripping of the steering wheel, and the like.
  • the driving modes of the vehicle can be classified into a plurality of driving modes 1 to 7 as follows, for example.
  • Driving mode 1 Manual driving equivalent to a state without any conventional automatic driving support function
  • Driving mode 2 Manual driving in a state in which a function such as LKAS (lane keeping support system) or ACC (safe driving support system: auto cruise control) is enabled by the system.
  • LKAS la keeping support system
  • ACC safe driving support system: auto cruise control
  • Driving mode 3 Following only during low-speed running such as traffic congestion, automatic driving under awake state including departure from stop, (Driving mode 4) Automatic driving in all speed ranges under the alertness of awakening of limited use of predetermined sections such as expressways, (Driving mode 5) Fully automatic operation without driver intervention in sections where the hardware and software aspects of the infrastructure are constantly managed, (Driving mode 6) Although constant management of the hardware and software aspects of the infrastructure is lacking, automatic driving in an automatic driving section where automatic driving can be performed by guided driving with a pairing leading vehicle, (Driving mode 7) Although constant management of the hardware and software aspects of the infrastructure is lacking, the driving speed is set to a low speed (including a stop), and the limited environment recognition function of the vehicle is applied to automatically drive. Autonomous driving on a road provided with lanes capable of autonomous driving,
  • the classification can be made as described above.
  • driving mode 1 driving mode 1
  • driving mode 3 driving mode 3
  • the driver state after getting on the vehicle is that if the driver is manually driving the vehicle
  • the driver monitoring process executed by the system of (1) constant evaluation of fatigue, drowsiness reduction and drowsiness evaluation during driving of the driver can be continuously performed.
  • the operation quality during manual operation such as detection of micro sleep or inattentive driving is recorded and stored in a storage unit in the system (information processing device).
  • the driver performs steering autonomously according to road conditions and running conditions. Therefore, the driver's consciousness can be monitored by evaluating the quality of the steering operation.
  • the driver monitoring system detects the driver's attention or consciousness loss due to driver fatigue or drowsiness during manual driving or semi-automatic driving, evaluates the risk of accidents based on the detection result, and further, based on the evaluation result.
  • the main function is to perform processing such as returning the driver to an awake state or issuing a notification prompting an early break.
  • ADAS system advanced driving
  • vehicle control such as LKAS (lane keeping system), ACC (auto cruise control), and inter-vehicle distance keeping system, and AEBS (automatic emergency braking system)
  • LKAS la keeping system
  • ACC auto cruise control
  • AEBS automated emergency braking system
  • the driver may be driven during a normal awake state without driver drowsiness. It is also possible to perform the following control as a process for reducing the risk of delay of the accident avoidance behavior of the user.
  • A lowering the obstacle detection threshold of the obstacle detection function
  • B lowering the collision avoidance determination threshold
  • C setting change to make the vehicle interval longer during ACC control
  • D a setting change to start the AEBS (emergency automatic braking system) braking operation starting point earlier
  • ADAS advanced driving support system
  • ADAS advanced driving support system
  • ADAS advanced driving support system
  • ADAS advanced driving support system
  • the braking operation start operating point of the AEBS Error Automatic Brake System
  • the dependent use of the automatic deceleration function is avoided.
  • a penalty for avoiding the dependent use is executed by executing a feedback process that gives the driver sensational discomfort. It is valid.
  • the sudden deceleration that causes discomfort is only one means for reducing the dependent use of the automatic deceleration function, and a hierarchical, short-, medium-, and long-term penalty mechanism is required.
  • the driver makes a dependent use of the automatic deceleration function, the driver develops a feeling that various inconveniences are induced, thereby developing the driver's own instinct and intuitive dependence avoidance behavior.
  • the vehicle system (information processing device) records usage information of various driving support systems provided in these vehicles and functional operation history information at the time of use. That is, it is recorded and stored in the storage unit in the system (information processing device). This recorded information is effective information for estimating the driver state thereafter. This information is information about the driver's state while not driving in the section where automatic driving is possible, which enables complete automatic driving. Become.
  • the vehicle system (information processing device) prompts the driver to notify the driver of returning to the manual driving at an appropriate timing before the end of the automatic driving possible section, Alternatively, it is also possible to present information such as at what timing the vehicle approaches the return point.
  • the notification timing and the type of notification that the notification to be performed should be a simple notification or a warning such as an alert or warning should be determined according to the driver's condition and the degree of danger of the road section that is about to enter. It is preferable that the setting be changed accordingly. For this purpose, it is necessary to constantly monitor the state of the driver constantly during the execution of the automatic driving in the above-mentioned (driving mode 4) or (driving mode 5).
  • driver state 1 The driver has left the driver's seat (Driver state 2) The driver is seated in the driver's seat but not in a drivable posture (Driver state 3) The driver is in the driver's seat In a state where the driver is seated and maintains a drivable posture, but cannot immediately return to driving (driver state 4), the driver is seated in the driver's seat, maintains a drivable posture, and can immediately return to driving State
  • the vehicle system (information processing device) observes which one of the driver states 1 to 4 the driver is in, and determines the awakening degree of the driver according to each driver state.
  • the driver state 1 is, specifically, for example, the following states. In each state, the system (information processing device) The awake state of the driver is determined as described above.
  • 1a A state of taking a nap with the body sideways in the nap space.
  • the system determines that the driver's awake state in this state is in a state of complete departure from steering attention, and is in light sleep or deep sleep.
  • 1b The driver has left the driver's seat, moved to the loading platform, and is sorting and sorting deliveries and collections.
  • the awake state of the driver in this state is in a state of largely departure from steering attention, and depending on the driver's response to information notification to the driver (notification of manual driving return request, etc.), situation determination and awareness It is determined that it is in a state where it can be determined whether or not maintenance is maintained.
  • the information notification to the driver includes various notifications in addition to the manual driving return request notification return notification.
  • various notifications such as a notification of a change in the mode in which the vehicle can travel in accordance with the update of the LDM information corresponding to the traveling direction of the vehicle, a notification that notifies the driver of a regular or irregular time, a notification that prompts a conscious response of the driver, and the like, are issued. included.
  • the mode of notification is not limited to voice notification such as an alarm, and various notifications such as output to the display unit of the tablet terminal held by the driver are performed.
  • 1c PC work, telephone conference, or relaxed state in the office space offset from the driver's seat in the vehicle.
  • the driver's awake state in this state is partially reduced or greatly departed from steering attention, and depending on the driver's response to information notification (manual driving return request notification, etc.), situation determination and awareness It is determined that it is in a state where it can be determined whether or not maintenance is maintained.
  • 1d The driver has left the driver's seat and is chatting with the passenger.
  • the driver's awake state in this state is partially reduced or greatly departed from steering attention, and depending on the driver's response to the information notification (manual driving return request notification, etc.), situation determination and awareness are performed. It is determined that it is in a state where it can be determined whether or not maintenance is maintained.
  • driver state 2 State in which the driver is seated in the driver's seat but is not in a drivable posture.
  • the system information The awake state of the driver determined by the processing device.
  • the driver state 2 is, for example, specifically the following states, and in each state, the system (information processing apparatus) determines the driver's awake state as follows.
  • the system is performing slip confirmation, slip recording, writing, resting, eating and drinking, etc.
  • the system is in a state where the awake state of the driver in this state is partially reduced or greatly departed from steering attention. It is determined that it is in a state where it is possible to determine whether the situation is determined and whether or not the consciousness is maintained, depending on the driver's response to the driving return request notification or the like.
  • the system (information processing device) is in a state where the awakening state of the driver in this state is partially reduced or greatly departed from steering attention, It is determined that the state can be determined and whether or not consciousness maintenance is maintained can be determined depending on the driver's response to the information notification (manual driving return request notification or the like).
  • the system In the video browsing state, the system (information processing device) indicates that the driver's awake state in this state is partially reduced or greatly departed from steering attention, and the driver's response to information notification (manual driving return request notification, etc.) It is determined that it is in a state where it is possible to determine whether the situation determination and the maintenance of consciousness are maintained depending on the response.
  • the system (information processing device) in which the driver is awake in this state indicates that the driver's awake state is partially reduced or is largely in the state of leaving the driver's steering attention, and the driver's response to information notification (such as notification of a request to return to manual driving). It is judged that it is in a state where it is possible to judge whether the situation judgment and the consciousness maintenance are maintained.
  • driver state 3 A state in which the driver is seated in the driver's seat and maintains a drivable posture, but cannot immediately return to driving.
  • driver state 3 The awake state of the driver determined by the system (information processing device) based on the various driver states will be described.
  • the driver state 3 is specifically, for example, the following states. In each state, the system (information processing device) determines the driver's awake state as follows.
  • the system (information processing device) is in a state where the driver's awakening state is partially reduced or greatly departed from steering attention, and the information notification (manual driving) It is determined that it is in a state where it is possible to determine whether the situation is determined and whether the consciousness is maintained or not depending on the driver's response to the return request notification or the like.
  • the system (information processing device) is in a state where the awakening state of the driver in this state is partially reduced or greatly departed from steering attention, It is determined that the state can be determined and whether or not consciousness maintenance is maintained can be determined depending on the driver's response to the information notification (manual driving return request notification or the like).
  • the system In the video browsing state, the system (information processing device) indicates that the driver's awake state in this state is partially reduced or greatly departed from steering attention, and the driver's response to information notification (manual driving return request notification, etc.) It is determined that it is in a state where it is possible to determine whether the situation determination and the maintenance of consciousness are maintained depending on the response.
  • the system (information processing device) in which the driver is awake in this state indicates that the driver's awake state is partially reduced or is largely in the state of leaving the driver's steering attention, and the driver's response to information notification (such as notification of a request to return to manual driving). It is judged that it is in a state where it is possible to judge whether the situation judgment and the consciousness maintenance are maintained.
  • (Driver state 4) A state in which the driver sits in the driver's seat, maintains a drivable posture, and can immediately return to driving.
  • (Driver state 4) and its specific driver state The awake state of the driver, which is determined by the system (information processing apparatus) on the basis of the information, will be described.
  • the driver state 4 is specifically, for example, the following states, and in each state, the system (information processing device) determines the driver's awake state as follows.
  • the system (information processing device) has a driver's awake state in this state where the partial steering attention is reduced, that is, it has the ability to return physically, It is judged that it is in a state of unconsciousness in terms of intelligence (judgment ability) called.
  • the system information processing device
  • the system has a driver's awake state in this state in which the partial steering attention is reduced, that is, the driver has the ability to return physically, but is intelligent.
  • the system (information processing device) mounted on the vehicle estimates and determines the awake state of the driver according to the detected status (driver state).
  • the sleep depth and the quality (eg, speed and accuracy) of the cognitive response to the information notification are also obtained as driver monitoring values during automatic driving as the state detection variable values that affect the driver from awakening to returning. I do.
  • the information notification to the driver includes, in addition to the manual driving return request notification return notification, for example, when the driver says tablet operation, a telephone conference, and a loading operation by moving to a bed.
  • Various notifications performed from the system to the non-vehicle-installed terminal and the like are included.
  • it includes a notification of a change in the travelable mode due to a change accompanying the update of the LDM information in the traveling direction, a notification of prompting a driver's attention, and a notification of prompting a regular or irregular driver's conscious response.
  • the mode of notification is not limited to voice notification such as an alarm, but also includes display information output to the display unit of the tablet terminal held by the driver, wearable devices such as watches, and the like.
  • the system analyzes the driver's response to such various notifications. For example, in order to notify that the driver has recognized the notification, the driver performs an operation on the display screen of the terminal held by the driver, for example, performs an operation such as a double touch process of a screen notification response icon, and thereby, a response indicating that the driver has recognized the notification. Can be returned to the system.
  • the response input need not be limited to the double touch, but may be modified to improve the detection accuracy, for example, by using a point gesture or a clock / counterclockwise rotation gesture input.
  • the response time from the driver is delayed after the notification is sent and the lag is long in the idle state, it is determined that the driver has opened the terminal but is actually drowsy and has decreased consciousness. It can be performed. If a notification is required while the driver is playing a game or watching a movie using the terminal, the playback of the game or the movie is temporarily interrupted and the notification is performed. What is important for the system is the detection of the response from the driver to the notification and the quality of the response. For this analysis, a time delay of the response and operation quality information are acquired.
  • the tablet terminal described above with reference to FIG. 18 and the like can execute a secondary task such as a game or watching a movie. Further, the approach status of the traveling section can be displayed together. In the main work window, a driver executing a secondary task such as a game or watching a movie can also check the approaching state of the traveling section. As described above, it is desirable that the secondary task execution terminal used by the driver is a multitask execution device that can also display the approach status of the traveling section. In many current tablet terminals and smartphone terminals, multitasking can be performed by using a subwindow. In addition, a video player, a game terminal, a video conference system, or the like may be used.
  • the driver who is executing the secondary task can be informed of the road condition in the traveling direction, and the response information can be observed and analyzed. , It is possible to determine the driver's consciousness level, that is, the arousal level.
  • the driver information that can be obtained after the driver gets on the vehicle that is, the driver information that can be applied to the estimation process or the evaluation process of the driver's manual driving return quality is roughly divided into the following. And two types of information. (1) passive monitoring information to be performed when a secondary task is detected while the driver is unconscious, such as during sleep; (2) Notification for system response confirmation upon detection of a secondary task performed under driver's consciousness, and evaluation record information of a response to a change in a manual driving return request point based on update information obtained from the LDM, It is composed of such information.
  • the driver can sleep and execute secondary tasks while the vehicle is automatically driving.
  • the vehicle system information processing device notifies the driver that the return point is approaching. That is, it is necessary to execute the manual operation return request notification with high accuracy without delay.
  • the vehicle system (information processing device) reviews the period of the periodic monitoring for confirming the driver's condition at any time. For example, the monitoring confirmation interval and the detection means are reviewed.
  • the depth of sleep can be observed by monitoring and detecting the driver's biological signal.
  • the so-called REM sleep period the brain activity of the driver is in awake state, and in REM sleep, rapid eye movements that are the origin of the name are observed, and the state is passively detected by a plurality of observation means. Is possible. By issuing a return notification or an alarm in a section where sleep is shallow, it is possible to increase the quality of waking up.
  • the system performs control to complete the takeover in advance in a section that is considered safer according to the safety of the invading road section obtained from the LDM of the itinerary in which the vehicle travels, the need for driver intervention, etc.
  • the vehicle system (information processing device) selects a different means according to the driver's state determination and grasps the state even when the driver is out of consciousness due to sleep or the like. Perform the calculation. At the point determined by the system to be an appropriate notification timing, a driver notification or a wake-up alarm is output and notified. The system will also analyze the driver's behavior for this notification. Hereinafter, the details of this processing will be described.
  • driver information acquired after execution of a manual driving return request notification to the driver is information that can be applied to estimation processing and evaluation processing of the driver's manual driving return quality, and is information that can be used for determining and updating the notification timing.
  • the vehicle system (information processing device) issues a return notification or a wake-up alert to the driver, causing the driver to respond in any way. There is expected.
  • the vehicle system uses the driver monitoring information to make a notification according to the driver state. For example, if the driver is sleeping, an alarm that wakes up by vibration or sound is sounded. Furthermore, the system restores some of the monitoring functions that have been stopped during the sleep of the driver, for example, a ToF sensor and a camera function that perform an eyeball behavior analysis and a behavior analysis function of the driver from a standby state or a stopped state, and Resume detailed monitoring of.
  • the vehicle system acquires these driver behaviors as monitoring information, for example, when the driver wakes up from a nap and performs activities such as standing up after wake-up and returning walking. Based on the acquired information, an analysis process (waking degree analysis) is performed to determine whether the driver is performing an active motion or a lazy motion.
  • an analysis process waking degree analysis
  • the driver If the driver is performing a secondary task such as work using a terminal that can respond to the system, such as a tablet terminal, it obtains response information to the notification from the system and the driver's confirmation status to the notification. Record.
  • the information is recorded and stored in a storage unit in the system (information processing device).
  • a response such as a pointing and calling in front of the traveling road, a pointing confirmation, and a pointing and calling may be detected.
  • notification form from the system information processing device
  • the following various methods can be used. There is notification by sound, blinking of a simple light source, presentation of symbols by a matrix display or the like.
  • the system detects, for example, the behavior of any of these drivers and records the cognitive response of the driver's notification.
  • the information is recorded and stored in a storage unit in the system (information processing device). By this processing, it is possible to confirm and evaluate the degree of recognition of the driver's return request.
  • the degree of recognition of the driver for the notification from the system can be evaluated based on a response delay time such as a response delay time and a posture return to the notification.
  • the system (information processing device) needs to determine whether or not the driver has been delayed from awakening required for returning to manual driving. This determination is executed as a process of evaluating the return quality of the driver.
  • the notification process and the return quality evaluation process are performed as processes suited to the characteristics specific to the driver and the vehicle.
  • the system may perform the following process as a process for evaluating the awake state at the time of returning to the driver.
  • a visual task is presented to the driver as a manual driving return determination task, and a perceptual cognitive reflex response in the brain obtained from detailed eyeball behavior analysis for the task is analyzed, and the cognitive evaluation value obtained from this analysis is recorded. I do.
  • the information is recorded and stored in a storage unit in the system (information processing device). The details of a method for evaluating the quality of awakening in the brain using visual behavior will be described later.
  • FIG. 28 is a diagram illustrating a graph for explaining the remaining grace time until the transition from the automatic operation to the manual operation is completed. After the system notifies the driver at time t0 (manual operation return request notification), the remaining grace time until reaching the “handover limit point” at the right end is vertically determined according to the elapse of time along the horizontal time axis. Shown on the axis.
  • FIG. 28 shows the remaining grace time when the vehicle travels at a constant speed, assuming a smooth transition from the autonomously operable section to the manual operation section. Note that the vertical axis in FIG. 28 is the remaining allowance time at the time of constant speed running, and therefore the vertical axis can be regarded as the actual distance to the takeover limit point.
  • the graph shows two lines of “example of individual-specific data” and “average return transition data”.
  • the individual-specific data example is an example of data based on learning data specific to one individual.
  • the average return transition data is an average value based on a large number of observation data.
  • Each of these lines is a line for realizing a takeover at a predetermined expected success rate (RRR: Requested Recovery Rate) when handover to manual operation is performed at a takeover limit point.
  • RRR Requested Recovery Rate
  • the system based on the monitoring information of the driver, at a predetermined expected success rate (RRR: Requested ⁇ Recovery ⁇ Rate), at a handover limit point, sets a notification point for causing the driver to perform handover to manual driving at a handover limit point. It is calculated using a learning dictionary of the driver-specific return characteristic.
  • RRR Requested ⁇ Recovery ⁇ Rate
  • the expected success rate (RRR: Requested ⁇ Recovery ⁇ Rate) will be described.
  • the expected success rate (RRR) is, for example, data specified in a local dynamic map (LDM) provided by a road information provider. That is, it is a switching point of the automatic driving possible section to the manual driving section, and the expected manual driving switching success rate of each point.
  • LDM local dynamic map
  • the arrival time at the handover point from the automatic operation to the manual operation is defined as t (ToR_point) (Take over Request point).
  • t ToR_point
  • ⁇ tMTBT Minimum Transition Budget Time
  • the minimum takeover delay allowable budget (time) is determined by the driver's monitoring cycle. It is required to set the notification (manual operation switching necessity notification) timing before the period becomes longer than the period.
  • the transition of the monitoring state (observation state) shown in FIG. 28, that is, the changing points t0 to t6 of the following monitoring states (a) to (g) in (a) to (g) are the predetermined expected success rates (RRR).
  • RRR expected success rates
  • the system confirms that the driver is in a nap by passive monitoring. After the system notifies the driver (manual operation return request notification) at time t0, the driver state and the driver's observation state by the system change as follows (a) to (g). .
  • A) Passive monitoring The system observes the driver's nap during passive monitoring
  • f Eyeball behavior
  • S / P Confirming physical recovery ability
  • the figure further shows “RED @ ZONE” in the shaded area.
  • This “RED @ ZONE” means that, for example, when “observation data” of an actual driver enters this zone, it is necessary to issue a notification (manual operation return request notification) to the driver again to prompt early return.
  • a zone This zone is defined in advance.
  • the example shown in FIG. 28 is a graph showing the remaining grace time from when the vehicle performs the constant speed traveling to when the transition from the automatic driving to the manual driving is completed.
  • the graph shown in FIG. 28 changes depending on the status of the infrastructure. For example, when deceleration control is performed to the takeover point by reducing the speed and control is performed to extend the arrival time at the takeover point, it is necessary to generate and use a graph reflecting the control.
  • the example shown in FIG. 28 is an example in which it is assumed that the driver leaves the driver's seat and takes a nap. It shows the remaining time when the vehicle travels at a constant speed until reaching the handover point of the manual driving. Since it is shown at a constant speed as described above, it may be regarded as a distance position to an actual takeover limit point.
  • specific state changes (a) to (g) will be described.
  • the vehicle system (information processing device) performs monitoring to determine at what timing notification / wakeup should be performed or whether notification should be good or alarm should be awakening. Do.
  • the system selects the optimal takeover execution section based on the LDM information of the road environment, that is, the so-called local dynamic map (LDM) information that constantly updates the travel map information of the road on which the vehicle travels with high density.
  • LDM local dynamic map
  • a straight road section where the driver can safely take over from automatic driving to manual driving, or a section where the impact on other surrounding vehicles can be reduced even if deceleration, emergency evacuation, and stopping are performed if the transfer is not performed smoothly.
  • the section information for completing the takeover is acquired from the LDM.
  • the system for example, Low risk * low impact * shallow sleep interval These complex judgments are made, the notification timing is determined, and the return notification is performed.
  • the actual notification and warning point are determined in the last road safety section segment where light REM sleeps on the traveling route course or the last section where the risk of traffic congestion is low even after an emergency stop.
  • the takeover point is not entered in a straight section of the road, but in a narrow road section in a mountainous area where it is impossible to pass each other, or after going into deep sleep after REM sleep.
  • this is because it is difficult to wake up, and it is necessary to make a complicated road handling judgment promptly after waking up to avoid a dangerous situation.
  • the system Based on the monitoring information of the driver, the system sets a notification point for causing the driver to execute the handover to the manual driving at the handover limit point at a predetermined expected success rate (RRR: Requested Recovery Rate), It is calculated using a learning dictionary of the driver-specific return characteristic.
  • RRR Requested Recovery Rate
  • the driver When the system notifies the driver at time t0, the driver wakes up after time t0 and starts waking up.
  • the system detects the wake-up of the driver by a ToF sensor or a camera, and the behavior of the driver can be evaluated based on the detected information.
  • the length of the time t0 to t1 is a budget allocated from data calculated by a learning process to wake up to obtain a predetermined expected success rate (RRR) and to wake up. Become.
  • the average return transition data is indicated by a dashed line.
  • the thick broken line (observation data example) shown in the figure is an example of observation data. If the observed data example is along the average return time indicated by the dashed line, no delay has occurred.
  • the section shown from time t1 to t2 is a section where the driver is expected to move to the driver's seat. If a delay occurs that erodes the “RED ZONE” indicated by the shaded area, an alarm alarm or the like prompting an early return is issued.
  • the system observes the driver returning to the driver's seat based on, for example, information obtained by a ToF sensor or a camera.
  • the system monitors that the driver returns to the seat in a rotated state from the driving position, returns to the direction in which he / she can drive, and fastens the necessary return procedures such as wearing a seat belt.
  • the evaluation of the return procedure is performed by using a ToF sensor or a camera, tracking detection of the rotational operation posture of the seat, detection of a seated rotation, a seating sensor, detection of a body temperature distribution or a biological signal, a seat belt wearing sensor, or the like. It is possible to evaluate the return quality based on the detection information along the time.
  • the interactive response confirmation processing executed by the system includes, for example, confirmation as to whether or not the driver is holding the steering wheel with an appropriate grip force, confirmation as to whether or not an appropriate pedal is being depressed, and meaning by AI recognition of voice.
  • Various processes such as question-and-answer with a question are possible.
  • the user dislikes a response method that involves annoyance a means that can obtain a simplified and early response result is desirable.
  • the interactive response confirmation method it is also effective to evaluate a gesture operation in which the driver visually confirms the direction of the road ahead with his / her gaze while pointing a finger for visual confirmation in the front, such as pointing and calling. . It is possible to acquire and record the return quality, such as the delay of the driver's operation and the accuracy of pointing when evaluating the positional relationship between the eyes and fingers of the pointing and calling and the front of the road. That is, it can be recorded and stored in the storage unit in the system (information processing device).
  • the eyeball behavior during the time t4 to t5 is a so-called “Saccadic”, which is a section for evaluating the overall high-speed movement behavior of the eyeball particularly relating to vision among the response characteristics of the driver.
  • the eyeball has a behavior based on a reflexive behavior that cancels out its own rotational movement or the like accompanying the movement by the semicircular canal, and a saccade operation that moves the central visual field at high speed in response to risk information of a moving object captured in the peripheral visual field. Furthermore, since a judgment based on memory is performed in the process of perceiving, recognizing, and judging an object captured in a substantially central visual field, behaviors such as microsaccade, tremor, and drift in the vicinity of fixation proceed. If the stimulus priority of the other event that induces attention is below a certain level, the driver completes the visual information judgment and recognizes it, and as a result, the driver turns his or her gaze to the target before reaching a conclusion. Becomes
  • the driver's awakening degree return quality can be evaluated by evaluating the driver's awakening degree by performing evaluation based on stable behavior under steady awakening.
  • a method of generating a semantic saliency map (attention distribution map for each object included in the scene) from a scene ahead in the traveling direction of the vehicle and analyzing the gaze behavior of the driver with respect to the map Is available.
  • a semantic saliency map (attention distribution map for each object included in the scene) from a scene ahead in the traveling direction of the vehicle and analyzing the gaze behavior of the driver with respect to the map Is available.
  • the roads on which the vehicle is traveling are diverse, and the line-of-sight behavior of the driver is often different from what is expected.
  • the evaluation method can present the handover caution information to a matrix information presentation device, analyze the driver's eyeball behavior with respect to the presented information, and evaluate the driver's arousal level.
  • the section indicated by “Return ability confirmation (S / P)” from time t5 to t6 is a period in which the driver partially starts the vehicle steering of the actual vehicle and performs the muscular and physical real steering evaluation in this section. is there.
  • the vehicle starts running according to the steering of the driver's steering device.
  • the control of gradually reducing the intervention of automatic driving control and increasing the driver's dependence on manual driving is performed.
  • the system may perform a noise injection that requires the driver to perform corrective steering as a final confirmation gateway of the return of the driver from awakening.
  • an unusual steering operation or the like is intentionally performed, and it is determined whether the driver can correctly perform steering correction. If the delay of the corrective steering is observed or if the correct corrective steering is not observed, the driver is still in a confused thinking state. That is, it is evaluated that the person is in an insufficient arousal state. Once the transition to manual driving steering has been advanced, it is necessary to avoid halfway system-dependent manual driving by the driver.
  • one of the important steps from the viewpoint of obtaining observation information recorded and stored in the storage unit in the system is as follows. There is an operation to confirm the completion of switching the system status from automatic operation to manual operation.
  • the vehicle is traveling at a constant speed, and the smooth transition from the automatic driving to the manual driving is performed, and the transition is performed without disturbing the flow of the vehicles around the road.
  • This is an example.
  • the system performs processing based on road conditions obtained from so-called local dynamic map (LDM) information that constantly updates the road environment LDM information, that is, the road map information of the road on which the vehicle runs, with high density. It is good also as a structure which performs. For example, when there is a vehicle lane having a different cruising speed, the process moves to a low-speed lane before reaching the takeover point.
  • LDM local dynamic map
  • the vehicle When the density of the surrounding vehicles is low and there is no effect even when the vehicle decelerates, the vehicle may be decelerated to gain a grace time, and control may be performed to enable a safer return. Returning at a constant speed that is the surrounding cruising speed is not a control that should always be followed, and if it is determined that it is difficult to return at the expected success rate (RRR) as expected by the driver even during the return, the vehicle Safety priorities such as deceleration should be taken. In other words, if it is determined that a safety problem will occur, safety priority is given to reducing the vehicle speed even if it affects other vehicles in the vicinity, delaying arrival at the takeover limit point, or shifting to early evacuation measures. Is preferably controlled.
  • the system observes the transition of the return and acquires and records the observed value and the return quality evaluation value. That is, it is recorded and stored in the storage unit in the system (information processing device). Based on the recorded data, it is possible to analyze whether the system-dependent traveling of the driver or intentional return delay has occurred. The result of this analysis processing is a great clue to, for example, investigating the cause of the occurrence of an accident, and is useful data for realizing safe vehicle traveling. Further, the mechanism of repeatedly imposing a penalty for the deterioration of the return quality is effective for making the driver habit of voluntary early response, and can suppress excessive dependent use of the system.
  • the system notifies the driver (manual driving return request notification) at time t0 in a state where the driver is taking a nap after leaving the driver's seat. It is the graph which connected the change point of the driver's state and the driver's observation state ((a)-(g)) by the system later.
  • the driver state and the driver's observation state by the system are as follows (a) to (g). It changes like (A) Passive monitoring (The system observes the driver's nap during passive monitoring) (B) Awakening, wake-up, surrounding confirmation (c) Driver's seat return (d) Driving posture return (e) Active response (f) Eyeball behavior (g) Confirmation of return ability (S / P)
  • FIG. 29 is a diagram illustrating an example of a transition of a state change and a transition timing according to a different initial state of a driver.
  • FIG. 29 shows a transition example of a state change according to different initial states of the following four drivers.
  • driver is performing secondary task with driving posture
  • the transition time (t22) from the state (i) to the “state (d) driving posture return” is “t (state)” from “state (c) driver's seat return” when the initial state of (2) is the driver's seat leaving. This is a time preceding the transition time (t12) to “state (d) driving posture return”.
  • the state (i) is a state in which the driver is already in the driver's seat, and the returning operation to the driver's seat is unnecessary.
  • the transition of the driver state and the observation state of the driver by the system are different depending on the initial state of the driver.
  • the information notification to the driver includes various notifications in addition to the manual driving return request notification return notification.
  • various notifications such as a notification of a change in the mode in which the vehicle can travel in accordance with the update of the LDM information corresponding to the traveling direction of the vehicle, a notification that notifies the driver of a regular or irregular time, a notification that prompts a conscious response of the driver, and the like, are issued. included.
  • the mode of notification is not limited to voice notification such as an alarm, and various notifications such as output to the display unit of the tablet terminal held by the driver are performed.
  • voice notification such as an alarm
  • various notifications such as output to the display unit of the tablet terminal held by the driver are performed.
  • the vehicle system can observe the driver's gear change to confirm the driver's consciousness and arousal level. For example, as a response to various notifications such as a notification at the time of transition from automatic driving to manual driving, the driver is caused to perform the same operation as the gear change. By observing the driver's operation, the driver's arousal level can be confirmed.
  • the driver is caused to depress a response pedal (awakening degree determination pedal) 401 shown in FIG. That is, like the clutch pedal or the foot-operated parking brake operation, the pedal is depressed by the left foot and the depressing procedure is performed.
  • a response pedal (awakening degree determination pedal) 401 shown in FIG. That is, like the clutch pedal or the foot-operated parking brake operation, the pedal is depressed by the left foot and the depressing procedure is performed.
  • a measurement value of a mechanical operation state such as a torque by pressing a pedal or an operation speed
  • a non-contact optical measurement method for acquiring foot motion analysis data using a stereo camera, a ToF, a structured light method, or the like may be applied.
  • IR light containing infrared rays As a main component. Can be suppressed.
  • the response pedal (awakening degree determination pedal) 401 is arranged adjacent to the brake pedal. A rear-end collision risk occurs.
  • the correct pedaling of the response pedal (awakening degree determining pedal) 401 should be slowly and gently, and up to about the intermediate position of the total pedaling amount of the pedal. Is notified.
  • the notification is not limited to a temporary notification at the time of use, and may include a use manual or driving education of an automatic driver. Contrary to this notification, when a strong depression or depression of all pedal positions is detected, it can be determined that the driver is in a hurry and the awakening level is insufficient.
  • the fail-safe mechanism when it is detected that the driver feels danger and depresses the response pedal (awakening degree determination pedal) 401 with the intention of braking.
  • the emergency stop may be performed by using an automatic emergency braking system, so-called AEBS. However, if such an operation is detected, it is subject to a penalty.
  • the driver is required to depress the response pedal (arousal level determination pedal) 401 carefully and slowly. If the driver is in a normal awake state, a stable depression that is different from a simple depression of the reflex pedal should be performed. As described above, by observing the depression state of the response pedal (arousal level determination pedal) 401, the awake state of the driver can be estimated. That is, the system repeatedly penalizes the driver when detecting a situation where the procedure or operation is not stable. Then, the driver will perform an operation to avoid falling into this penalty state, and it is expected that this will take a habit, and this operation will be performed based on careful judgment, and unconscious reflection There is also an advantage that it is not a reactive operation.
  • the following method can be used as a method of determining whether the driver is depressing the pedal with sufficient consciousness having a high degree of awakening, or depressing the pedal with the consciousness being lowered while awakening.
  • the mechanical fluctuation amount of the depression amount applied to the pedal by the encoder or the like, the measured value of the depression pressure, and the like can be used.
  • data obtained from a foot behavior analysis by a method such as a sensor using a ToF sensor, a 3D Flash Lidar, a structured light method, a two-dimensional camera image analysis, or a stereo camera can be used. The driver's arousal quality can be evaluated using these data.
  • eyeball behavior analysis Another effective means of confirming the driver's return to consciousness is eyeball behavior analysis. For example, it is conventionally known that it is possible to analyze the line of sight by analyzing the direction in which the line of sight is turned. By further developing this technology and analyzing the gaze behavior at a high speed, more detailed eyeball behavior detection can be performed.
  • FIG. 31 shows an example of a locus of the driver's eyeball behavior when a visual task is presented so as to look at certain information.
  • the example illustrated in FIG. 31 illustrates a locus of eyeball behavior when a person first gazes near the area a and then gazes near the area b.
  • a person When trying to understand the contents by visually observing a certain information (task), a person performs an eyeball rotation called a large saccade like a behavior locus shown in FIG. 31, turns his or her eyeball to a predetermined visual spot, and fixes in the vicinity. (Fixation) and eye movement with micro saccade.
  • the system presents, for example, a symbol requiring some thoughtful judgment to the driver, and observes the eyeball behavior.
  • the driver gives priority to the thinking activity in the brain to cope with the task, and performs other secondary tasks. It is presumed that they are not immersed.
  • the system may detect that the driver's line of sight has been turned to the presentation information, and may perform a process of determining that the recognition has been completed in response to further visual recognition of the detection.
  • the sequence will be described.
  • the processing of each step shown in the flow will be sequentially described.
  • Step S101 First, in step S101, the system selects or generates presentation information for a driver. For example, it is presentation information including a notification or the like indicating that the timing of switching to manual operation is approaching.
  • Step S102 the system performs a process of presenting the information generated or selected in step S101 to the driver.
  • Step S103 the system analyzes the driver's eyeball behavior with respect to the presentation information.
  • the driver having a high consciousness level performs, for example, the eyeball behavior shown in the areas a and b described above with reference to FIG. 31, that is, the eyeball behavior with Fixation (fixation) and microsaccade. .
  • fixation fixation
  • microsaccade microsaccade
  • step S104 the system determines whether the driver has completed the recognition of the notification information within a predetermined time. That is, it is determined whether or not the above-described eyeball behavior, that is, the eyeball behavior accompanied by Fixation (fixation) and microsaccade is observed. If it is observed, it is determined that the driver has completed the recognition of the notification information, and the process proceeds to step S105.
  • the above-described eyeball behavior that is, the eyeball behavior accompanied by Fixation (fixation) and microsaccade is observed. If it is observed, it is determined that the driver has completed the recognition of the notification information, and the process proceeds to step S105.
  • step S107 if no observation has been made, it is determined that the driver has not completed recognition of the notification information, and the flow proceeds to step S107.
  • Step S105 In the determination processing of step S104, if the driver determines that the recognition of the notification information is completed within the specified time, the system checks the driver with the system in step S105 (confirms that the driver has recognized the notification). ) Is completed.
  • Step S106 the system performs an eyeball behavior analysis of the driver with respect to the notification information in step S105.
  • the driver having a high consciousness level performs, for example, the eyeball behavior shown in the areas a and b described above with reference to FIG. 31, that is, the eyeball behavior with Fixation (fixation) and microsaccade. .
  • Fixation fixation
  • microsaccade microsaccade
  • Step S107 On the other hand, in the determination process of step S104, when the driver determines that the recognition of the notification information has not been completed within the specified time, the system performs an emergency evacuation process in step S107. Alternatively, when the degree of risk is small, the vehicle enters the evacuation area and stops after the continuous traveling. In each case, the driver is penalized.
  • the “task for ascertaining the presented content” there is a use of semantic information, for example, meaning “look right” and “look below” in sentences.
  • semantic information for example, meaning “look right” and “look below” in sentences.
  • Silhouette information presentation does not necessarily have to be in a normal arrangement, and it is effective to include a rotation or a silhouette with multiple complicated postures that require interpretive thinking.
  • the viewer is expected to perform fine eyeball behavior in order to understand the contents of the silhouette.
  • By analyzing the eyeball behavior it is possible to determine the awake state with higher accuracy.
  • FIG. 33 is an example of presentation information for confirming the driver's consciousness level, that is, the degree of arousal, and is an example of presentation information including a task called a horse and four animal silhouettes.
  • presentation information including a task called a horse and four animal silhouettes.
  • the lower right figure shows the horse's accuracy is high, but it is expected that fixation and micro saccade will be exhibited in order to confirm the shape of the tail and the characteristics of the head and feet if it is really a horse It is an issue.
  • the driver since the driver needs to understand the contents in accordance with the presentation task, the driver performs the information search process using the eyeball, and shows the eyeball behavior characteristic unique to this process.
  • the driver when the driver is performing work at a location away from the driver's seat, the driver interrupts the work and returns to the driver's seat, and then presents the driver with a task for observing eyeball behavior.
  • the driver's eyeball behavior By observing the driver's eyeball behavior in response to this presentation task, it is possible to quantitatively evaluate the driver's awakening return quality.
  • a notification including a message and caution information for the driver is transmitted to, for example, a HUD (head-up display) 421 or an instrument panel 422 in the vehicle shown in FIG. indicate.
  • HUD head-up display
  • the recognition quality of the notification can be evaluated.
  • evaluation is not necessarily limited to high-precision detailed analysis of the behavior of the eyeball itself.Evaluation is performed using simpler methods such as head behavior and facial expression recognition. May go. The specific examples of the plurality of response confirmation processes have been described above.
  • the driver is required to smoothly switch from automatic driving to manual driving and vice versa at each boundary across these sections. For example, if a takeover failure occurs at the boundary of a section and measures such as emergency deceleration, slowing down, and stopping are performed, this may cause traffic congestion, accidents such as rear-end collision of subsequent vehicles, and congestion. Therefore, if the switching from the automatic driving to the manual driving or vice versa cannot be performed smoothly, the healthy use of the road as the social infrastructure will be hindered.
  • the vehicle may run at a higher speed in accordance with the driver's coping ability.
  • high-speed driving support examples include LDM information, a leading vehicle that performs automatic driving support, a remote support system, and the like.
  • the supporting technologies are maintenance of the return quality when the driver returns from the automatic operation to the manual operation, and the acquisition, recording, and analysis processing of the driver's observation data.
  • the data processing unit of the information processing apparatus acquires a part or a main action of the series of actions of the driver at the time of shifting from automatic driving to manual driving, or at the time of shifting from manual driving to automatic driving, as observation information.
  • an observation information recording process stored in the storage unit is executed. Further, the information processing apparatus analyzes a driver's action delay amount in response to a system request, which is a request to the driver, and stores the analysis result in the storage unit as a return quality evaluation value from automatic operation to manual operation. The data processing unit executes a process of imposing a penalty on the driver based on the return quality evaluation value.
  • FIG. 35 is a diagram illustrating a hardware configuration example of the information processing apparatus.
  • a CPU (Central Processing Unit) 501 functions as a data processing unit that executes various types of processing according to a program stored in a ROM (Read Only Memory) 502 or a storage unit 508. For example, the processing according to the sequence described in the above embodiment is executed.
  • a RAM (Random Access Memory) 503 stores programs executed by the CPU 501, data, and the like. These CPU 501, ROM 502, and RAM 503 are interconnected by a bus 504.
  • the CPU 501 is connected to an input / output interface 505 via a bus 504.
  • the input / output interface 505 includes an input including various switches, a keyboard, a touch panel, a mouse, a microphone, and a status data acquisition unit such as a sensor, a camera, and a GPS.
  • An output unit 507 including a unit 506, a display, a speaker, and the like is connected. Note that input information from the sensor 521 is also input to the input unit 506.
  • the output unit 507 also outputs driving information for the driving unit 522 of the moving device.
  • the CPU 501 inputs a command, status data, and the like input from the input unit 506, executes various processes, and outputs a processing result to, for example, the output unit 507.
  • the storage unit 508 connected to the input / output interface 505 includes, for example, a hard disk and stores programs executed by the CPU 501 and various data.
  • the communication unit 509 functions as a transmission / reception unit for data communication via a network such as the Internet or a local area network, and communicates with an external device.
  • the drive 510 connected to the input / output interface 505 drives a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
  • a removable medium 511 such as a magnetic disk, an optical disk, a magneto-optical disk, or a semiconductor memory such as a memory card to record or read data.
  • the technology disclosed in the present specification can have the following configurations.
  • (1) It has a data processing unit for determining the arousal level which is the consciousness level of the driver of the vehicle,
  • the data processing unit includes: An information processing apparatus that acquires the driver's observation information and determines the awakening degree of the driver based on the acquired observation information.
  • the vehicle is a vehicle capable of switching between automatic driving and manual driving
  • the data processing unit includes: At the time of transition from automatic driving to manual driving, or at least at the time of transition from manual driving to automatic driving, a part or a main behavior of the series of actions of the driver is obtained as observation information, and the storage unit
  • the information processing apparatus which executes an observation information recording process stored in a storage device.
  • the vehicle is a vehicle capable of switching between automatic driving and manual driving
  • the data processing unit includes: At the time of transition from automatic driving to manual driving, or at least one of the transition from manual driving to automatic driving, at least a part of the series of actions of the driver or a main action is obtained as observation information, Observation information recording processing for analyzing an amount of delay in behavior of the driver in response to a system request that is a request to the driver from the information processing device, and storing the analysis result in a storage unit as a return quality evaluation value from automatic operation to manual operation. (1) or the information processing apparatus according to (2).
  • the data processing unit includes: The information processing device according to (3), wherein a process of imposing a penalty on a driver is performed based on the return quality evaluation value.
  • the vehicle is a vehicle capable of switching between automatic driving and manual driving
  • the data processing unit includes: The information according to any one of (1) to (4), wherein a notification timing of a manual operation return request notification, which is a notification of a request to return to automatic driving from automatic driving to manual driving, is sent to the driver in accordance with a degree of awakening of the driver. Processing equipment.
  • the observation information acquired by the data processing unit is as follows: Observation information before the driver gets on the vehicle, Observation information after the driver gets on the vehicle, (1) to (5), including both of the above.
  • the observation information before the driver gets on the vehicle is: (6)
  • the information processing apparatus according to (6) including at least one of the driver's medical history information, sleep information, fatigue information, drinking information, and occupational driver's actual working state information.
  • the observation information after the driver gets on the vehicle is: (A) Information obtained by passive monitoring, (B) analysis information of the driver's response to the notification, The information processing apparatus according to any one of (6) to (7), including at least one of the above information.
  • the observation information after the driver gets on the vehicle is: (A) observation information of the driver's eyeball behavior, (B) Observation information before execution of the manual operation return request notification to the driver, (C) Observation information after execution of the manual operation return request notification to the driver,
  • the information processing apparatus according to any one of (6) to (8), including at least one of the above information.
  • the data processing unit includes: As observation information after the driver gets on the vehicle, (Driver state 1) a state in which the driver leaves the driver's seat, (Driver state 2) a state where the driver is seated in the driver's seat but is not in a drivable posture; (Driver state 3) a state in which the driver is seated in the driver's seat and maintains a drivable posture, but cannot immediately return to driving; (Driver state 4) a state in which the driver sits in the driver's seat, maintains a drivable posture, and can immediately return to driving;
  • the information processing apparatus according to any one of (6) to (9), wherein the driver observes which of the above driver states 1 to 4 the driver is in, and determines the degree of awakening of the driver according to each driver state. .
  • the data processing unit includes: As the observation information after the execution of the notification of the manual operation return request to the driver, The information processing apparatus according to any one of (1) to (10), which obtains a steering quality for a driver's steering device.
  • the data processing unit includes: As the driver's observation information, The information processing apparatus according to any one of (1) to (11), wherein observation information of a response process of the driver corresponding to the notification to the driver is obtained.
  • the data processing unit includes: The information processing device according to (12), wherein a depression mode of a driver's response pedal to the notification is obtained as observation information of the driver's response process.
  • the data processing unit includes: The information processing apparatus according to (12) or (13), wherein the eyeball behavior of the driver when confirming the display data of the notification is acquired as the observation information of the driver's response process.
  • the data processing unit includes: The observation information of the driver is obtained and the observation information recording process of storing the information in the storage unit is performed.Based on the obtained observation information, the degree of awakening of the driver is determined.
  • the observation information acquired by the data processing unit is as follows: Observation information before the driver gets on the vehicle, Observation information after the driver gets on the vehicle, The moving device according to (15), including both.
  • the observation information after the driver gets on the vehicle is: (A) Information obtained by passive monitoring, (B) analysis information of the driver's response to the notification, The mobile device according to (16), which includes at least the above information.
  • the information processing device has a data processing unit that determines a degree of arousal that is the consciousness level of the driver of the vehicle,
  • the data processing unit includes: An information processing method for executing observation information recording processing of acquiring the observation information of the driver and storing the observation information in a storage unit, and determining a degree of awakening of the driver based on the acquired observation information.
  • An information processing method executed in a mobile device capable of switching between automatic driving and manual driving The moving device has a data processing unit that determines a degree of alertness that is a driver's consciousness level of the moving device, The data processing unit includes: The observation information of the driver is obtained and the observation information recording process of storing the information in the storage unit is performed.Based on the obtained observation information, the degree of awakening of the driver is determined.
  • An information processing method for controlling a notification timing of a manual operation return request notification which is a notification of a request to return a driver from automatic operation to manual operation, to a driver.
  • a program for causing an information processing device to execute information processing The information processing device has a data processing unit that determines a degree of arousal that is the consciousness level of the driver of the vehicle, The program, the data processing unit, A program for executing an observation information recording process of acquiring the observation information of the driver and storing the observation information in a storage unit, and determining a degree of awakening of the driver based on the acquired observation information.
  • the series of processes described in the specification can be executed by hardware, software, or a combination of both.
  • the program recording the processing sequence is installed in a memory in a computer built in dedicated hardware and executed, or the program is stored in a general-purpose computer capable of executing various processing. It can be installed and run.
  • the program can be recorded in a recording medium in advance.
  • the program can be received via a network such as a LAN (Local Area Network) or the Internet, and installed on a recording medium such as a built-in hard disk.
  • a system is a logical set configuration of a plurality of devices, and the devices of each configuration are not limited to those in the same housing.
  • the awakening level that is the consciousness level of the driver of the vehicle is determined, and the timing of the notification of the manual driving return request is controlled according to the awakening level.
  • a configuration is realized in which a driver return action based on the notification is recorded, and the recorded data is used as feedback data for performing an improvement process for a reduction in return quality.
  • it has a data processing unit that determines the arousal level which is the consciousness level of the driver of the vehicle.
  • the data processing unit acquires the driver's observation information and determines the degree of awakening of the driver.
  • the vehicle is a vehicle capable of switching between automatic driving and manual driving, and the data processing unit controls a timing of a notification of a request for a manual driving return from automatic driving to manual driving to the driver in accordance with a degree of awakening of the driver.
  • the observation information acquired by the data processing unit includes both the observation information before and after the driver gets on the vehicle.
  • the system goes to the driver and monitors whether the driver is performing a return transition with the expected return quality for the notification, makes predictions and determines from time to time if there is any delay. For example, passive monitoring, response information of the driver to the notification, and the like are observed.
  • the awakening level which is the consciousness level of the driver of the vehicle
  • the timing of the manual driving return request notification timing is controlled according to the arousal level. If there is a delay in the return prediction in the course of the notification request, the information is recorded as the return quality, and appropriate feedback is performed based on the record, so that the driver's return behavior and early execution of intervention are performed. Make a habit of In addition, when an accident or incident occurs due to a decrease in the takeover quality, it is possible to specify a delay event based on the recorded data, and it is possible to provide a preventive safety analysis means that leads to improvement of the system and operation. .
  • motion planning part 171 ... emergency avoidance part, 172 ... acceleration / deceleration control part, 173 ... directional control part, 201 ... mobile device, 181 ... running section display, 182 ... tablet , 201... Driver information acquisition section, 202... Environment information acquisition section, 203... Driver personal identification information acquisition section, 210... Safety determination section, 211... Learning processing section, 211.
  • Processing execution unit (manual operation returnable time estimation unit), 213 individual authentication processing unit, 221 notification control unit, 222 notification unit, 230 communication unit, 240 storage unit, 300 server , 301 ...
  • Acquisition and generation unit 302, learning processing unit, 303, communication unit, 304, storage unit, 401, pedal for response, 421, HUD (head-up display), 422, instrument panel, 501, CPU, 502, ROM, 503, RAM, 504, bus, 505, input / output interface, 506, input unit, 507, output unit, 508, storage unit, 509, communication unit, 510 ..Drive, 511..removable media, 521..sensor, 522..drive unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)

Abstract

車両の運転者の意識レベルである覚醒度を判定し、覚醒度に応じて手動運転復帰要請通知のタイミングを制御する。車両運転者の覚醒度を判定し、評価データを記録するデータ処理部を有する。データ処理部は、運転者の観測情報を取得して運転者の覚醒度を判定し、各時刻における復帰割合を評価して記録する。車両は自動運転と手動運転の切り替えが可能な車両であり、データ処理部は、運転者の覚醒度に応じて運転者に対する自動運転から手動運転への手動運転復帰要請通知のタイミングを制御する。データ処理部が取得する観測情報は、運転者の車両乗車前、乗車後の観測情報の双方を含む。例えばパッシブモニタリング、通知に対する運転者の応答情報などを観測する。

Description

情報処理装置、移動装置、および方法、並びにプログラム
　本開示は、情報処理装置、移動装置、および方法、並びにプログラムに関する。さらに詳細には、自動運転と手動運転の切り替え制御を行う情報処理装置、移動装置、および方法、並びにプログラムに関する。
　昨今、自動運転に関する技術開発が盛んに行われている。
　自動運転技術は、車両（自動車）に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であり、今後、急速に普及することが予測される。
　しかし、現状において自動運転は開発段階であり、１００％の自動運転が可能となるまでには時間を要すると考えられ、しばらくは、自動運転と、運転者（ドライバ）による手動運転とを、適宜切り替えて走行することになると予測される。
　例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転モードでの走行を行うが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では手動運転モードに切り替えて運転者（ドライバ）の操作で走行を行うといったモード切り替えが必要となると予測される。
　車両が自動運転を実行している間は、運転者（ドライバ）は車両走行方向である前方に視線を向ける必要がなく、例えば、居眠りをしたり、テレビを見たり、本を読んだり、あるいは後ろ向きに座って後部座席の人と会話をするといった自由な行動が可能となる。
　自動運転と手動運転を切り替えて走行する車両において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させることが必要となる。
　しかし、例えば、自動運転実行中に、運転者が居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態で手動運転モードに切り替えてしまうと、正常な手動運転を行うことができず、最悪の場合、事故を起こす可能性がある。
　運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
　このためには、運転者の覚醒度の確認が必要である。
　なお、車両に乗車した乗員の状況を推定する技術を開示した従来技術として、例えば特許文献１（特開２０１４－１３３４４９号公報）がある。この文献は、事故等による乗員に怪我の状況など障害レベルを推定する構成を開示している。
　しかし、この特許文献１を含め、従来技術には、自動運転から手動運転への安全な復帰のために必要となる通知タイミングを制御する構成についての開示はない。
　自動運転モードから手動運転モードへ切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させるための通知が必要となる。
　この通知タイミングが遅すぎると、運転者の覚醒度が低い状態、すなわち意識レベルが低下した状態で手動運転を開始させてしまい、事故を発生させる可能性を高めてしまうという問題がある。
特開２０１４－１３３４４９号公報
　本開示は、例えば、上述の問題点に鑑みてなされたものであり、自動運転から手動運転への切り替えを安全に行うことを可能とした情報処理装置、移動装置、および方法、並びにプログラムを提供することを目的とする。
　本開示の第１の側面は、
　車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
　前記データ処理部は、
　前記運転者の観測情報を取得し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する情報処理装置にある。
　さらに、本開示の第２の側面は、
　自動運転と手動運転の切り替えが可能な移動装置であり、
　前記移動装置の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
　前記データ処理部は、
　前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定し、判定した覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する移動装置にある。
　さらに、本開示の第３の側面は、
　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
　前記データ処理部は、
　前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する情報処理方法にある。
　さらに、本開示の第４の側面は、
　自動運転と手動運転の切り替えが可能な移動装置において実行する情報処理方法であり、
　前記移動装置は、前記移動装置の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
　前記データ処理部は、
　前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定し、判定した覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する情報処理方法にある。
　さらに、本開示の第５の側面は、
　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行させ、取得した観測情報に基づいて、前記運転者の覚醒度を判定させるプログラムにある。
　なお、本開示のプログラムは、例えば、様々なプログラム・コードを実行可能な情報処理装置やコンピュータ・システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、情報処理装置やコンピュータ・システム上でプログラムに応じた処理が実現される。
　本開示のさらに他の目的、特徴や利点は、後述する本開示の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　本開示の一実施例の構成によれば、車両の運転者の意識レベルである覚醒度を判定し、覚醒度に応じて手動運転復帰要請通知のタイミングを制御する構成を実現する。
　具体的にはは、例えば、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有する。データ処理部は、運転者の観測情報を取得して運転者の覚醒度を判定する。車両は自動運転と手動運転の切り替えが可能な車両であり、データ処理部は、運転者の覚醒度に応じて運転者に対する自動運転から手動運転への手動運転復帰要請通知のタイミングを制御する。データ処理部が取得する観測情報は、運転者の車両乗車前、乗車後の観測情報の双方を含む。例えばパッシブモニタリング、通知に対する運転者の応答情報などを観測する。
　本構成により、車両の運転者の意識レベルである覚醒度を判定し、覚醒度に応じて手動運転復帰要請通知のタイミングを制御する構成を実現する。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものではなく、また付加的な効果があってもよい。
本開示の移動装置の一構成例について説明する図である。 本開示の移動装置の表示部に表示されるデータの一例について説明する図である。 本開示の移動装置の実行する処理について説明する図である。 本開示の移動装置の実行する処理について説明する図である。 本開示の移動装置における運転者の行動例について説明する図である。 運転者の保持する端末に対するデータ表示例について説明する図である。 運転者の保持する端末に対するデータ表示例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置の構成例について説明する図である。 本開示の移動装置のセンサ構成例について説明する図である。 本開示の移動装置の実行する自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を示す図である。 自動運転の動作シーケンスの一例について説明するフローチャートを示す図である。 運転者により目的地が設定されることで決定された自動運転可否区間が斑に設定され、または発生した走行ルートの一例を示す図である。 走行ルートにおける走行区間表示のための情報処理を説明するための図である。 最終的に表示される走行区間表示の一例を示す図である。 時間経過に伴う走行区間表示の変化例（スクロール例）を示す図である。 タブレット端末機器（以下単に「タブレット」と記す）の画面上に表示される走行ルートにおける走行区間表示の一例を示す図である。 運転者が実際にタブレットを用いて２次タスクを実行している状態の一例を示す図である。 第２区間に新たに注意走行区間Ｓｄが発生し、点滅表示で運転者に警告している状態を示す図である。 タブレットの画面上に小ウインドウがポップアップ表示されている状態を示す図である。 安全性判別部の具体的な構成例と処理について説明する図である。 学習処理のシーケンス例について説明するフローチャートを示す図である。 学習処理のシーケンス例について説明するフローチャートを示す図である。 学習器の入出力データの構成例について説明する図である。 自動運転モードから手動運転モードへ切り替える際に実行する処理のシーケンスの一例を説明するフローチャートを示す図である。 観測値に相当する可観測評価値と復帰遅延時間（＝手動運転復帰可能時間）の複数の関係情報（観測プロット）の分布例と復帰成功率について説明する図である。 自動運転モードにおいて運転者が実行している処理（２次タスク）の種類に応じた手動運転復帰可能時間について説明する図である。 自動運転から手動運転への移行完了までの残存猶予時間について説明するグラフを示した図である。 運転者の異なる初期状態に応じた状態変化の推移と推移タイミングの例について説明する図である。 通知に対する運転者応答を、ペダルを利用して確認する構成例について説明する図である。 ある情報を見るように視覚課題を提示した際の運転者の眼球挙動の軌跡の一例について説明する図である。 車両のシステム（情報処理装置）が実行する運転者への情報通知に基づく運転者の眼球挙動の観測処理による運転者の意識レベル（覚醒度）の判定処理シーケンスについて説明するフローチャートを示す図である。 運転者の意識レベル、すなわち覚醒度を確認する提示情報の例について説明する図である。 運転者に対するメッセージや注意情報からなる通知を、車両内のＨＵＤ（ヘッドアップディスプレイ）や、インスツルメンツパネルを利用して行う構成について説明する図である。 情報処理装置のハードウェア構成例について説明する図である。
　以下、図面を参照しながら本開示の情報処理装置、移動装置、および方法、並びにプログラムの詳細について説明する。なお、説明は以下の項目に従って行なう。
　１．移動装置と情報処理装置の構成と処理の概要について
　２．移動装置の具体的な構成と処理例について
　３．自動運転モードから手動運転モードへのモード切り替えシーケンスについて
　４．自動運転の動作シーケンス例について
　５．移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について
　６．本開示の移動装置、情報処理装置の実行する処理のシーケンスについて
　７．システムから運転者に対する通知処理実行前後の運転者状態の観測と観測情報の記録処理について
　７－（１）運転者が車両に乗車する前に取得する運転者情報について
　７－（２）運転者が車両に乗車した後に取得する運転者情報について
　７－（２）（ａ）運転者に対する手動運転復帰要請通知の実行前に取得する運転者情報について
　７－（２）（ｂ）運転者に対する手動運転復帰要請通知の実行後に取得する運転者情報について
　８．自動運転から手動運転への移行時の運転者の状態変化と観測情報、および復帰品質の評価処理について
　９．システムからの通知に対する運転者の応答を確認するための具体例について
　１０．情報処理装置の構成例について
　１１．本開示の構成のまとめ
　　［１．移動装置と情報処理装置の構成と処理の概要について］
　まず、図１以下を参照して、移動装置と情報処理装置の構成と処理の概要について説明する。
　本開示の移動装置は、例えば、自動運転と手動運転を切り替えて走行することが可能な自動車である。
　このような自動車において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者（ドライバ）に手動運転を開始させることが必要となる。
　しかし、自動運転実行中に運転者が行う処理（２次タスク）は様々である。
　例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。
　これらの処理の違いにより、運転者の覚醒度（意識レベル）は異なるものとなる。
　例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
　運転の安全性を確保するためには、運転者の覚醒度が高い状態、すなわちはっきりした意識のある状態で手動運転を開始させることが必要となる。
　このためには、自動運転実行中の運転者の覚醒度に応じて、自動運転から手動運転への切り替え要求を行う通知タイミングを変更することが必要である。
　例えば、自動運転実行中に運転者が前を向いて道路を見ているような場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
　このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前のタイミングに行えばよい。運転者は、すぐに安全な手動運転を開始することができるからである。
　しかし、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
　このような場合、手動運転への切り替え通知を手動運転が必要となる時間の直前のタイミングに行うと、運転者は、意識がはっきりしない状態で手動運転を開始せざる得ない。その結果、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で手動運転への切り替え通知を行うことが必要となる。
　本開示の移動装置、または移動装置に搭載可能な情報処理装置は、例えば、運転者の覚醒度に応じて手動運転への切り替え通知タイミングの制御を行う。
　さらに、本開示の一実施例においては、覚醒度等の運転者情報のみならず、例えば、移動装置の走行時刻、運転者の操作情報、道路等の環境情報、過去に発生した事故情報等の情報も利用して、最適な手動運転の切り替え通知タイミングを算出する。
　例えば、本開示の一実施例においては、上記の各情報、すなわち、移動装置の走行時刻、運転者の操作情報、道路等の環境情報、過去に発生した事故情報等の情報を用いた覚醒度算出のための学習処理を実行し、学習処理の結果として最適な通知タイミングを算出する。
　なお、学習処理は、移動装置である自動車内においても実行可能であり、また、移動装置である自動車と通信可能なサーバにおいて実行してもよい。
　また、本開示の一実施例においては、上記の通知タイミング算出処理に際して、運転者個人の情報、すなわち、運転者の運転履歴、事故履歴、運転前生活ログによる蓄積疲労、飲酒や睡眠や体調履歴情報、手動運転開始後の運転操作情報、さらに、自動車の種類情報等も考慮した処理を実行する。
　さらに、乗員の人数や、積載している貨物に関する情報も利用する。
　なお、多くの種類の情報を利用する場合、データ特性に応じて、事前学習用と、オンライン学習用とに分けて利用することもできる。
　図１以下を参照して本開示の移動装置と、移動装置に装着可能な情報処理装置の構成と処理について説明する。
　図１は、本開示の移動装置の一例である自動車１０の一構成例を示す図である。
　図１に示す自動車１０に本開示の情報処理装置が装着されている。
　図１に示す自動車１０は、手動運転モードと、自動運転モードの２つの運転モードによる運転が可能な自動車である。
　手動運転モードは、運転者（ドライバ）２０の操作、すなわちハンドル（ステアリング）操作や、アクセル、ブレーキ等の操作に基づく走行が行われる。
　一方、自動運転モードでは、運転者（ドライバ）２０による操作が不要であり、例えば位置センサや、その他の周囲情報検出センサ等のセンサ情報に基づく運転が行われる。
　位置センサは、例えばＧＰＳ受信機等であり、周囲情報検出センサは、例えば、カメラ、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー等である。
　なお、図１は、本開示の概要を説明する図であり主要な構成要素を概略的に示している。詳細構成については後段で説明する。
　図１に示すように、自動車１０は、データ処理部１１、運転者情報取得部１２、環境情報取得部１３、通信部１４、通知部１５を有する。
　運転者情報取得部１２は、例えば、運転者の覚醒度を判定するための情報、運転者の操作情報等を取得する。具体的には、例えば、運転者の顔画像を撮影するカメラ、各操作部（ハンドル、アクセル、ブレーキ等）の操作情報取得部等によって構成される。
　環境情報取得部１３は、自動車１０の走行環境情報を取得する。例えば、自動車の前後左右の画像情報、ＧＰＳによる位置情報、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー等からの周囲の障害物情報等である。
　データ処理部１１は、運転者情報取得部１２の取得した運転者情報や、環境情報取得部１３の取得した環境情報を入力し、自動運転中の車内の運転者が安全な手動運転が実行可能な状態にあるか否か、さらに手動運転中の運転者が安全な運転を実行しているか否か等を示す安全性指標値を算出する。
　さらに、例えば、自動運転モードから手動運転モードへの切り替えの必要が発生した場合に、手動運転モードへの切り替えを行うように、通知部１５を介して通知する処理を実行する。
　この通知処理のタイミングは、例えば運転者情報取得部１２、環境情報取得部１３を入力して算出した最適なタイミングとする。
　すなわち、運転者２０が、安全な手動運転を開始できるようなタイミングとする。
　具体的には、運転者の覚醒度が高い場合は、手動運転開始時間の直前、例えば５秒前に通知を行い、運転者の覚醒度が低い場合は、余裕をもって手動運転開始時間の２０秒前に行う等の処理を行う。具体的な通知に最適なタイミングの算出は後述する。
　通知部１５は、この通知を行う表示部、音声出力部、あるいはハンドルやシートのバイブレータによって構成される、
　通知部１５を構成する表示部に対する警告表示の例を図２に示す。
　図２に示すように、表示部３０には、以下の各表示がなされる。
　運転モード情報＝「自動運転中」、
　警告表示＝「手動運転に切り替えてください」
　運転モード情報の表示領域には、自動運転モードの実行時は「自動運転中」の表示が行われ、手動運転モードの実行時は「手動運転中」の表示が行われる。
　警告表示情報の表示領域には、自動運転モードで自動運転を実行している間に、以下の表示を行う表示領域である。
　「手動運転に切り替えてください」
　なお、この例は説明を明文化した例であるが、このようなテキスト表示に限らず、例えばピクトグラムなどシンボルによる表示を行ってもよい。
　なお、図１に示すように、自動車１０は通信部１４を介してサーバ３０と通信可能な構成を持つ。
　例えば、データ処理部１１における通知出力の適正時間を算出する処理の一部、具体的には学習処理をサーバ３０において行うことが可能である。
　この具体例については後述する。
　図３は、本開示の移動装置や情報処理装置が実行する処理の具体例を示す図である。
　図３には、自動運転モードで自動運転を実行している間に、手動運転への切り替え要求を行う通知の適正タイミングの設定例を示す図であり、以下の２つの例の通知処理例を示している。
　（ａ）自動運転実行中の運転者の覚醒度が高い場合の通知処理
　（ｂ）自動運転実行中の運転者の覚醒度が低い場合の通知処理
　（ａ）の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
　このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
　（ｂ）の例は、運転者が自動運転実行中に居眠りをしているような場合、運転者の覚醒度は極めて低い状態にある。
　このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
　さらに、例えば宅配車両のように荷物室を有し、運転者が自動運転実行中に荷物室へ移動して作業を行うことが可能な車両では、手動運転への切り替え要求を行う通知タイミングは、例えば図４に示すように以下の３種類の場合によって異なる設定とすることが好ましい。
　（ａ）自動運転実行中の運転者の覚醒度が高い場合の通知処理
　（ｂ）自動運転実行中の運転者の覚醒度が低い場合の通知処理
　（ｃ）自動運転実行中の運転者が運転席から離れている場合の通知処理
　（ａ）の例は、自動運転実行中に運転者が前を向いて道路を見ている例である。この場合は、運転者の覚醒度は高い状態、すなわち、いつでも手動運転を開始できる状態にある。
　このような場合は、手動運転への切り替え通知は、手動運転が必要となる時間の直前タイミングに行っても、運転者は、すぐに安全な手動運転を開始することができる。
　（ｂ）の例は、運転者が自動運転実行中に居眠りをしているような場合の例であり、この場合、運転者の覚醒度は極めて低い状態にある。
　このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者は、意識がはっきりしない状態子で手動運転を開始してしまい、事故を発生させる可能性が高まる。従って、このように覚醒度が低い場合は、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
　（ｃ）の例は、運転者が自動運転実行中に運転席を離れて作業をしているような場合の例であり、このような場合、運転者は運転席に戻るまでに時間を要することになる。
　このような場合、手動運転への切り替え通知を、手動運転が必要となる時間の直前タイミングに行うと、運転者が運転席に戻る前に手動運転区間に差し掛かってしまう可能性がある。従って、このように運転者が運転席を離れている場合には、より早い段階で、手動運転への切り替え通知を行うことが必要となる。
　また、自動車１０に乗車している運転者（ドライバ）２０が、運転席を離れている場合には、運転席の通知部（表示部）１５に先に図２を参照して説明したような表示を行っても運転者２０は気づくことができない。
　これを解決するため、運転者（ドライバ）２０が腕に装着した情報端末５０、例えば図５に示すような情報端末５０を介して通知、情報提供を行う。情報端末５０は、図２を参照して説明したと同様の表示データの表示処理を行うとともに、さらに、自動車１０が走行中の道路の区間（自動運転区間、手動運転区間）の接近情報等を表示する。さらに、アラーム出力、音声出力、バイブレーション機能を有し、様々な通知、警告を運転者２０に知らせる。
　図５は、情報端末５０の利用例を示す図である。自動車１０に乗車している運転者（ドライバ）２０は、自動車１０が自動運転実行中に、図４（ａ）に示すように運転席にいる場合もあるが、図４（ｂ）に示すように、運転席を離れ、荷物室で作業を行っている場合もある。しかし、運転者２０は、常時、情報端末５０を腕に装着しており、情報端末５０に表示される表示情報や、出力される音声、アラーム、バイブレーション等に気づくことが可能となる。
　図６は、情報端末５０の表示情報の一例を示す図である。図６に示す例は、先に図２を参照して説明した通知部（表示部）１５の表示例と同様の表示例を示している。情報端末５０に、以下の各表示がなされる。
　運転モード情報＝「自動運転中」、
　警告表示＝「手動運転に切り替えてください」
　運転者２０は、どこにいてもこの表示を確認することが可能となる。
　さらに、図７に示すようなタブレット型の情報端末５０を利用して通知、情報提供を行う構成としてもよい。
　　［２．移動装置の具体的な構成と処理例について］
　次に、図８以下を参照して、本開示の移動装置１０の具体的な構成と処理例について説明する。
　図８は、移動装置１００の構成例を示している。なお、以下、移動装置１００が設けられている車両を他の車両と区別する場合、自車または自車両と称する。
　移動装置１００は、入力部１０１、データ取得部１０２、通信部１０３、車内機器１０４、出力制御部１０５、出力部１０６、駆動系制御部１０７、駆動系システム１０８、ボディ系制御部１０９、ボディ系システム１１０、記憶部１１１、および、自動運転制御部１１２を備える。
　入力部１０１、データ取得部１０２、通信部１０３、出力制御部１０５、駆動系制御部１０７、ボディ系制御部１０９、記憶部１１１、および、自動運転制御部１１２は、通信ネットワーク１２１を介して、相互に接続されている。通信ネットワーク１２１は、例えば、ＣＡＮ（Ｃｏｎｔｒｏｌｌｅｒ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、ＬＩＮ（Ｌｏｃａｌ　Ｉｎｔｅｒｃｏｎｎｅｃｔ　Ｎｅｔｗｏｒｋ）、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、または、ＦｌｅｘＲａｙ（登録商標）等の任意の規格に準拠した車載通信ネットワークやバス等からなる。なお、移動装置１００の各部は、通信ネットワーク１２１を介さずに、直接接続される場合もある。
　なお、以下、移動装置１００の各部が、通信ネットワーク１２１を介して通信を行う場合、通信ネットワーク１２１の記載を省略するものとする。例えば、入力部１０１と自動運転制御部１１２が、通信ネットワーク１２１を介して通信を行う場合、単に入力部１０１と自動運転制御部１１２が通信を行うと記載する。
　入力部１０１は、搭乗者が各種のデータや指示等の入力に用いる装置を備える。例えば、入力部１０１は、タッチパネル、ボタン、マイクロフォン、スイッチ、および、レバー等の操作デバイス、並びに、音声やジェスチャ等により手動操作以外の方法で入力可能な操作デバイス等を備える。また、例えば、入力部１０１は、赤外線もしくはその他の電波を利用したリモートコントロール装置、または、移動装置１００の操作に対応したモバイル機器もしくはウェアラブル機器等の外部接続機器であってもよい。入力部１０１は、搭乗者により入力されたデータや指示等に基づいて入力信号を生成し、移動装置１００の各部に供給する。
　データ取得部１０２は、移動装置１００の処理に用いるデータを取得する各種のセンサ等を備え、取得したデータを、移動装置１００の各部に供給する。
　例えば、データ取得部１０２は、自車の状態等を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ジャイロセンサ、加速度センサ、慣性計測装置（ＩＭＵ）、および、アクセルペダルの操作量、ブレーキペダルの操作量、ステアリングホイールの操舵角、エンジン回転数、モータ回転数、もしくは、車輪の回転速度等を検出するためのセンサ等を備える。
　また、例えば、データ取得部１０２は、自車の外部の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＴｏＦ（Ｔｉｍｅ　Ｏｆ　Ｆｌｉｇｈｔ）カメラ、ステレオカメラ、単眼カメラ、赤外線カメラ、および、その他のカメラ等の撮像装置を備える。また、例えば、データ取得部１０２は、天候または気象等を検出するための環境センサ、および、自車の周囲の物体を検出するための周囲情報検出センサを備える。環境センサは、例えば、雨滴センサ、霧センサ、日照センサ、雪センサ等からなる。周囲情報検出センサは、例えば、超音波センサ、レーダ、ＬｉＤＡＲ（Ｌｉｇｈｔ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ、Ｌａｓｅｒ　Ｉｍａｇｉｎｇ　Ｄｅｔｅｃｔｉｏｎ　ａｎｄ　Ｒａｎｇｉｎｇ）、ソナー等からなる。
　例えば、図９は、自車の外部情報を検出するための各種のセンサの設置例を示している。撮像装置７９１０，７９１２，７９１４，７９１６，７９１８は、例えば、車両７９００のフロントノーズ、サイドミラー、リアバンパ、バックドアおよび車室内のフロントガラスの上部のうちの少なくとも一つの位置に設けられる。
　フロントノーズに備えられる撮像装置７９１０および車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として車両７９００の前方の画像を取得する。サイドミラーに備えられる撮像装置７９１２，７９１４は、主として車両７９００の側方の画像を取得する。リアバンパまたはバックドアに備えられる撮像装置７９１６は、主として車両７９００の後方の画像を取得する。車室内のフロントガラスの上部に備えられる撮像装置７９１８は、主として先行車両または、歩行者、障害物、信号機、交通標識または車線等の検出に用いられる。また、今後自動運転においては車両の右左折の際により広域範囲にある右左折先道路の横断歩行者やさらには横断路接近物範囲まで拡張利用をしてもよい。
　なお、図９には、それぞれの撮像装置７９１０，７９１２，７９１４，７９１６の撮影範囲の一例が示されている。撮像範囲ａは、フロントノーズに設けられた撮像装置７９１０の撮像範囲を示し、撮像範囲ｂ，ｃは、それぞれサイドミラーに設けられた撮像装置７９１２，７９１４の撮像範囲を示し、撮像範囲ｄは、リアバンパまたはバックドアに設けられた撮像装置７９１６の撮像範囲を示す。例えば、撮像装置７９１０，７９１２，７９１４，７９１６で撮像された画像データが重ね合わせられることにより、車両７９００を上方から見た俯瞰画像、さらには車両周辺部を湾曲平面で囲う全周囲立体表示画像などが得られる。
　車両７９００のフロント、リア、サイド、コーナおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２２，７９２４，７９２６，７９２８，７９３０は、例えば超音波センサまたはレーダであってよい。車両７９００のフロントノーズ、リアバンパ、バックドアおよび車室内のフロントガラスの上部に設けられるセンサ７９２０，７９２６，７９３０は、例えばＬｉＤＡＲであってよい。これらのセンサ７９２０～７９３０は、主として先行車両、歩行者または障害物等の検出に用いられる。これら検出結果は、さらに前記俯瞰表示や全周囲立体表示の立体物表示改善に適用をしてもよい。
　図８に戻って各構成要素の説明を続ける。データ取得部１０２は、自車の現在位置を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、ＧＮＳＳ（Ｇｌｏｂａｌ　Ｎａｖｉｇａｔｉｏｎ　Ｓａｔｅｌｌｉｔｅ　Ｓｙｓｔｅｍ）衛星からのＧＮＳＳ信号を受信するＧＮＳＳ受信機等を備える。
　また、例えば、データ取得部１０２は、車内の情報を検出するための各種のセンサを備える。具体的には、例えば、データ取得部１０２は、運転者を撮像する撮像装置、運転者の生体情報を検出する生体センサ、および、車室内の音声を集音するマイクロフォン等を備える。生体センサは、例えば、座面またはステアリングホイール等に設けられ、座席に座っている搭乗者の着座状態またはステアリングホイールを握っている運転者の生体情報を検出する。生体信号としては心拍数、脈拍数、血流、呼吸、心身相関、視覚刺激、脳波、発汗状態、頭部姿勢挙動、眼、注視、瞬き、サッカード、マイクロサッカード、固視、ドリフト、凝視、虹彩の瞳孔反応など多様な可観測データが利用可能である。これら、可観測の運転状態を反映した生体活動可観測情報は、観測から推定される可観測評価値として集約し評価値のログと紐付けたられた復帰遅延時間特性から該当運転者の復帰遅延事案の固有特性として後述する安全性判別部１５５で復帰通知タイミングの算出に用いる。
　図１０は、データ取得部１０２に含まれる車内の運転者の情報を得るための各種センサの例を示している。例えば、データ取得部１０２は、運転者の位置、姿勢を検出するための検出器として、ＴｏＦカメラ、ステレオカメラ、シート・ストレイン・ゲージ（Ｓｅａｔ　Ｓｔｒａｉｎ　Ｇａｕｇｅ）等を備える。また、データ取得部１０２は、運転者の生体活動可観測情報を得るための検出器として、顔認識器（Ｆａｃｅ（Ｈｅａｄ）　Ｒｅｃｏｇｎｉｔｉｏｎ）、ドライバ・アイ・トラッカー（Ｄｒｉｖｅｒ　Ｅｙｅ　Ｔｒａｃｋｅｒ）、ドライバー・ヘッド・トラッカー（Ｄｒｉｖｅｒ　Ｈｅａｄ　Ｔｒａｃｋｅｒ）等を備える。
　また、データ取得部１０２は、運転者の生体活動可観測情報を得るための検出器として、生体信号（Ｖｉｔａｌ　Ｓｉｇｎａｌ）検出器を備えている。また、データ取得部１０２は、運転者認証（Ｄｒｉｖｅｒ　Ｉｄｅｎｔｉｆｉｃａｔｉｏｎ）部を備えている。なお、認証方式としては、パスワードや暗証番号などによる知識認証他、顔、指紋、瞳の虹彩、声紋などによる生体認証も考えらえる。
　通信部１０３は、車内機器１０４、並びに、車外の様々な機器、サーバ、基地局等と通信を行い、移動装置１００の各部から供給されるデータを送信したり、受信したデータを移動装置１００の各部に供給したりする。なお、通信部１０３がサポートする通信プロトコルは、特に限定されるものではなく、また、通信部１０３が、複数の種類の通信プロトコルをサポートすることも可能である
　例えば、通信部１０３は、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＮＦＣ（Ｎｅａｒ　Ｆｉｅｌｄ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）、または、ＷＵＳＢ（Ｗｉｒｅｌｅｓｓ　ＵＳＢ）等により、車内機器１０４と無線通信を行う。また、例えば、通信部１０３は、図示しない接続端子（および、必要であればケーブル）を介して、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）、ＨＤＭＩ（登録商標）（Ｈｉｇｈ－Ｄｅｆｉｎｉｔｉｏｎ　Ｍｕｌｔｉｍｅｄｉａ　Ｉｎｔｅｒｆａｃｅ）、または、ＭＨＬ（Ｍｏｂｉｌｅ　Ｈｉｇｈ－ｄｅｆｉｎｉｔｉｏｎ　Ｌｉｎｋ）等により、車内機器１０４と有線通信を行う。
　さらに、例えば、通信部１０３は、基地局またはアクセスポイントを介して、外部ネットワーク（例えば、インターネット、クラウドネットワークまたは事業者固有のネットワーク）上に存在する機器（例えば、アプリケーションサーバまたは制御サーバ）との通信を行う。また、例えば、通信部１０３は、Ｐ２Ｐ（Ｐｅｅｒ　Ｔｏ　Ｐｅｅｒ）技術を用いて、自車の近傍に存在する端末（例えば、歩行者もしくは店舗の端末、または、ＭＴＣ（Ｍａｃｈｉｎｅ　Ｔｙｐｅ　Ｃｏｍｍｕｎｉｃａｔｉｏｎ）端末）との通信を行う。
　さらに、例えば、通信部１０３は、車車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｖｅｈｉｃｌｅ）通信、路車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｉｎｆｒａｓｔｒｕｃｔｕｒｅ）通信、自車と家との間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｈｏｍｅ）の通信、および、歩車間（Ｖｅｈｉｃｌｅ　ｔｏ　Ｐｅｄｅｓｔｒｉａｎ）通信等のＶ２Ｘ通信を行う。また、例えば、通信部１０３は、ビーコン受信部を備え、道路上に設置された無線局等から発信される電波あるいは電磁波を受信し、現在位置、渋滞、通行規制または所要時間等の情報を取得する。なお、通信部を通して先導車両となり得る区間走行中前方走行車両とペアリングを行い、前方車搭載のデータ取得部より取得された情報を事前走行間情報として取得し、自車のデータ取得部１０２のデータと補完利用をしてもよく、特に先導車による隊列走行などで後続隊列のより安全性を確保する手段となる。
　車内機器１０４は、例えば、搭乗者が有するモバイル機器（タブレット、スマートフォンなど）もしくはウェアラブル機器、自車に搬入され、もしくは取り付けられる情報機器、および、任意の目的地までの経路探索を行うナビゲーション装置等を含む。なお、自動運転の普及でかならずしも乗員は着座固定位置に固定されないことを考慮すれば、将来的にはビデオ再生器やゲーム機器やその他車両設置から着脱利用が可能な機器に拡張利用してもよい。本実施例では、運転者の介在必要地点の情報呈示を該当する運転者に限定した例をして記述をしているが、情報提供はさらに隊列走行等で後続車への情報提供をしてもよいし、更には旅客輸送相乗りバスや長距離物流商用車の運行管理センターに常時情報を上げる事で、適宜遠隔での走行支援と組み合せ利用をしてもよい。
　出力制御部１０５は、自車の搭乗者または車外に対する各種の情報の出力を制御する。例えば、出力制御部１０５は、視覚情報（例えば、画像データ）および聴覚情報（例えば、音声データ）のうちの少なくとも１つを含む出力信号を生成し、出力部１０６に供給することにより、出力部１０６からの視覚情報および聴覚情報の出力を制御する。具体的には、例えば、出力制御部１０５は、データ取得部１０２の異なる撮像装置により撮像された画像データを合成して、俯瞰画像またはパノラマ画像等を生成し、生成した画像を含む出力信号を出力部１０６に供給する。また、例えば、出力制御部１０５は、衝突、接触、危険地帯への進入等の危険に対する警告音または警告メッセージ等を含む音声データを生成し、生成した音声データを含む出力信号を出力部１０６に供給する。
　出力部１０６は、自車の搭乗者または車外に対して、視覚情報または聴覚情報を出力することが可能な装置を備える。例えば、出力部１０６は、表示装置、インストルメントパネル、オーディオスピーカ、ヘッドホン、搭乗者が装着する眼鏡型ディスプレイ等のウェアラブルデバイス、プロジェクタ、ランプ等を備える。出力部１０６が備える表示装置は、通常のディスプレイを有する装置以外にも、例えば、ヘッドアップディスプレイ、透過型ディスプレイ、ＡＲ（Ａｕｇｍｅｎｔｅｄ　Ｒｅａｌｉｔｙ）表示機能を有する装置等の運転者の視野内に視覚情報を表示する装置であってもよい。
　駆動系制御部１０７は、各種の制御信号を生成し、駆動系システム１０８に供給することにより、駆動系システム１０８の制御を行う。また、駆動系制御部１０７は、必要に応じて、駆動系システム１０８以外の各部に制御信号を供給し、駆動系システム１０８の制御状態の通知等を行う。
　駆動系システム１０８は、自車の駆動系に関わる各種の装置を備える。例えば、駆動系システム１０８は、内燃機関または駆動用モータ等の駆動力を発生させるための駆動力発生装置、駆動力を車輪に伝達するための駆動力伝達機構、舵角を調節するステアリング機構、制動力を発生させる制動装置、ＡＢＳ（Ａｎｔｉｌｏｃｋ　Ｂｒａｋｅ　Ｓｙｓｔｅｍ）、ＥＳＣ（Ｅｌｅｃｔｒｏｎｉｃ　Ｓｔａｂｉｌｉｔｙ　Ｃｏｎｔｒｏｌ）、並びに、電動パワーステアリング装置等を備える。
　ボディ系制御部１０９は、各種の制御信号を生成し、ボディ系システム１１０に供給することにより、ボディ系システム１１０の制御を行う。また、ボディ系制御部１０９は、必要に応じて、ボディ系システム１１０以外の各部に制御信号を供給し、ボディ系システム１１０の制御状態の通知等を行う。
　ボディ系システム１１０は、車体に装備されたボディ系の各種の装置を備える。例えば、ボディ系システム１１０は、キーレスエントリシステム、スマートキーシステム、パワーウインドウ装置、パワーシート、ステアリングホイール、空調装置、および、各種ランプ（例えば、ヘッドランプ、バックランプ、ブレーキランプ、ウィンカー、フォグランプ等）等を備える。
　記憶部１１１は、例えば、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｃ　Ｄｒｉｖｅ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、および、光磁気記憶デバイス等を備える。記憶部１１１は、移動装置１００の各部が用いる各種プログラムやデータ等を記憶する。例えば、記憶部１１１は、ダイナミックマップ等の３次元の高精度地図、高精度地図より精度が低く、広いエリアをカバーするグローバルマップ、および、自車の周囲の情報を含むローカルマップ等の地図データを記憶する。
　自動運転制御部１１２は、自律走行または運転支援等の自動運転に関する制御を行う。具体的には、例えば、自動運転制御部１１２は、自車の衝突回避あるいは衝撃緩和、車間距離に基づく追従走行、車速維持走行、自車の衝突警告、または、自車のレーン逸脱警告等を含むＡＤＡＳ（Ａｄｖａｎｃｅｄ　Ｄｒｉｖｅｒ　Ａｓｓｉｓｔａｎｃｅ　Ｓｙｓｔｅｍ）の機能実現を目的とした協調制御を行う。また、例えば、自動運転制御部１１２は、運転者の操作に拠らずに自律的に走行する自動運転等を目的とした協調制御を行う。自動運転制御部１１２は、検出部１３１、自己位置推定部１３２、状況分析部１３３、計画部１３４、および、動作制御部１３５を備える。
　検出部１３１は、自動運転の制御に必要な各種の情報の検出を行う。検出部１３１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３を備える。
　車外情報検出部１４１は、移動装置１００の各部からのデータまたは信号に基づいて、自車の外部の情報の検出処理を行う。例えば、車外情報検出部１４１は、自車の周囲の物体の検出処理、認識処理、および、追跡処理、並びに、物体までの距離、相対速度の検出処理を行う。検出対象となる物体には、例えば、車両、人、障害物、構造物、道路、信号機、交通標識、道路標示等が含まれる。
　また、例えば、車外情報検出部１４１は、自車の周囲の環境の検出処理を行う。検出対象となる周囲の環境には、例えば、天候、気温、湿度、明るさ、および、路面の状態等が含まれる。車外情報検出部１４１は、検出処理の結果を示すデータを自己位置推定部１３２、状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３、並びに、動作制御部１３５の緊急事態回避部１７１等に供給する。
　車外情報検出部１４１が取得する情報は、走行区間が重点的に自動運転の走行が可能な区間として常時更新されたローカルダイナミックマップ（ＬＤＭ）がインフラより供給された区間であれば、主にインフラによる情報供給を受ける事が可能となり、または該当区間を先行走行する車両や車両群より区間侵入に先立ち事前に常に情報更新を受けて走行をすることがあってもよい。また、インフラより常時最新のローカルダイナミックマップの更新が行われていない場合など、取り分け隊列走行などでより安全な侵入区間直前での道路情報を得る目的で、区間侵入先導車両から得られる道路環境情報を補完的にさらに利用しても良い。自動運転が可能である区間であるかは多くの場合、これらインフラより提供される事前情報の有無により決まる。インフラより提供されるルート上の自動運転走行可否情報を構成する更新される新鮮なローカルダイナミックマップ（ＬＤＭ）はいわゆる「情報」としてあたかも見えない軌道を提供していることに等しい。なお、便宜上車外情報検出部１４１は自車両に搭載した前提で図示をしているが、前走車が「情報」としてとらえた情報を利用する事で、走行時の事前予測性を更に高めても良い。
　車内情報検出部１４２は、移動装置１００の各部からのデータまたは信号に基づいて、車内の情報の検出処理を行う。例えば、車内情報検出部１４２は、運転者の認証処理および認識処理、運転者の状態の検出処理、搭乗者の検出処理、および、車内の環境の検出処理等を行う。検出対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線方向、眼球詳細挙動等が含まれる。
　さらに、自動運転において運転者は運転操舵作業から完全に離脱した利用が将来的に想定され、運転者は一時的な居眠りや他の作業に取り掛かり、運転復帰に必要な意識の覚醒復帰がどこまで進んでいるかシステムが把握する必要が出てくる。つまり、従来考えられていたドライバモニタリングシステムでは眠気などの意識低下を見る検出手段が主であったが、今後は運転者が運転操舵に全く介在していない状態となるため、システムは運転者の運転介在度合いを操舵機器の操舵安定性等から直接的に観測する手段がなくなり、運転者の正確な意識状態が未知の状態から、運転に必要は意識復帰推移を観測し、その正確な運転者の内部覚醒状態を把握した上で操舵の自動運転から手動運転への介入譲渡を進める必要がある。
　そこで、車内情報検出部１４２には主に大きな２段階の役割があり、一つ目の役割は自動運転中の運転者の状態のパッシブ監視であり、二つ目の役割はいざシステムより復帰の要請が出された以降、注意下運転の区間到達までに手動運転が可能なレベルまで、運転者の周辺認知、知覚、判断とさらには操舵機器の作動能力の検出判断である。制御として更に車両全体の故障自己診断を行い、その自動運転の一部機能故障で自動運転の機能低下が発生した場合も同様に運転者による早期手動運転への復帰をうながしても良い。ここでいうパッシブモニタリングとは、運転者に意識上の応答反応を求めない種類の検出手段をさし、物理的な電波や光等を機器から発信して応答信号を検出する物を除外するものではない。つまり、仮眠中など無意識下の運転者の状態モニタリングを指し、運転者の認知応答反応でない分類をパッシブ方式としている。電波や赤外線等を照射した反射や拡散信号を解析して評価するアクティブ応答デバイスを除外するものではない。反して、運転者に応答反応を求める意識的応答を求める物はアクティブとしている。
　検出対象となる車内の環境には、例えば、気温、湿度、明るさ、臭い等が含まれる。車内情報検出部１４２は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５に供給する。なお、システムによる運転者へ運転復帰指示が出た後に運転者が的確な期限時間内に手動運転が達成できない事が判明し、自運転のまま減速制御を行って時間猶予をおこなっても引継ぎが間に合わないと判断された場合は、システムの緊急事態回避部１７１等に指示を出し、車両を退避の為に減速、退避・停車手順を開始する。つまり、初期状態として同じ間に合わない状況でも、車両を早期に減速させることで引継ぎ限界に到達する到達時間を稼ぎだすことができる。引継ぎ限界に到達する到達時間を稼ぎだすことで、システムによる事象対処に時間的余裕が発生し、安全確保のための対処が可能となる。ただし、後述する通りむやみな減速や徐行は渋滞誘発要因や追突リスクを上げるため適用は制限される。
　車両状態検出部１４３は、移動装置１００の各部からのデータまたは信号に基づいて、自車の状態の検出処理を行う。検出対象となる自車の状態には、例えば、速度、加速度、舵角、異常の有無および内容、運転操作の状態、パワーシートの位置および傾き、ドアロックの状態、並びに、その他の車載機器の状態等が含まれる。車両状態検出部１４３は、検出処理の結果を示すデータを状況分析部１３３の状況認識部１５３、および、動作制御部１３５の緊急事態回避部１７１等に供給する。
　自己位置推定部１３２は、車外情報検出部１４１、および、状況分析部１３３の状況認識部１５３等の移動装置１００の各部からのデータまたは信号に基づいて、自車の位置および姿勢等の推定処理を行う。また、自己位置推定部１３２は、必要に応じて、自己位置の推定に用いるローカルマップ（以下、自己位置推定用マップと称する）を生成する。
　自己位置推定用マップは、例えば、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）等の技術を用いた高精度なマップとされる。自己位置推定部１３２は、推定処理の結果を示すデータを状況分析部１３３のマップ解析部１５１、交通ルール認識部１５２、および、状況認識部１５３等に供給する。また、自己位置推定部１３２は、自己位置推定用マップを記憶部１１１に記憶させる。
　状況分析部１３３は、自車および周囲の状況の分析処理を行う。状況分析部１３３は、マップ解析部１５１、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４および安全性判別部１５５を備える。
　マップ解析部１５１は、自己位置推定部１３２および車外情報検出部１４１等の移動装置１００の各部からのデータまたは信号を必要に応じて用いながら、記憶部１１１に記憶されている各種のマップの解析処理を行い、自動運転の処理に必要な情報を含むマップを構築する。マップ解析部１５１は、構築したマップを、交通ルール認識部１５２、状況認識部１５３、状況予測部１５４、並びに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
　交通ルール認識部１５２は、自己位置推定部１３２、車外情報検出部１４１、および、マップ解析部１５１等の移動装置１００の各部からのデータまたは信号に基づいて、自車の周囲の交通ルールの認識処理を行う。この認識処理により、例えば、自車の周囲の信号の位置および状態、自車の周囲の交通規制の内容、並びに、走行可能な車線等が認識される。交通ルール認識部１５２は、認識処理の結果を示すデータを状況予測部１５４等に供給する。
　状況認識部１５３は、自己位置推定部１３２、車外情報検出部１４１、車内情報検出部１４２、車両状態検出部１４３、および、マップ解析部１５１等の移動装置１００の各部からのデータまたは信号に基づいて、自車に関する状況の認識処理を行う。例えば、状況認識部１５３は、自車の状況、自車の周囲の状況、および、自車の運転者の状況等の認識処理を行う。また、状況認識部１５３は、必要に応じて、自車の周囲の状況の認識に用いるローカルマップ（以下、状況認識用マップと称する）を生成する。状況認識用マップは、例えば、占有格子地図（Ｏｃｃｕｐａｎｃｙ　Ｇｒｉｄ　Ｍａｐ）とされる。
　認識対象となる自車の状況には、例えば、自車の位置、姿勢、動き（例えば、速度、加速度、移動方向等）、並びに、自車の運動特性を決定付ける貨物積載量や貨物積載に伴う車体の重心移動、タイヤ圧、ブレーキ制動パッド摩耗状況に伴う制動距離移動、積載物制動に引き起こす貨物移動防止の許容最大減速制動、液体搭載物に伴うカーブ走行時の遠心緩和限界速度など車両特有、更には積載貨物特有条件とさらには路面の摩擦係数や道路カーブや勾配など、全く同じ道路環境であっても車両自体の特性、さらには積載物等によっても制御に求められる復帰開始タイミングは異なるため、それら多様な条件の収集を行い学習して制御を行う最適タイミングに反映する必要がある。車両の種類や積載物によって制御タイミングを決定する上で単純に自車両の異常の有無および内容等を観測モニタリングすれば良い内容ではない。運送輸送業などで、積載物固有の特性に応じて一定の安全性を確保する為に望ましい復帰の猶予時間の加算を決めるパラメータを予め固定値として設定をしてもよく、必ずしも全ての通知タイミング決定条件を自己累積学習より一律に定める方法をとらなくともよい。
　認識対象となる自車の周囲の状況には、例えば、周囲の静止物体の種類および位置、周囲の動物体の種類、位置および動き（例えば、速度、加速度、移動方向等）、周囲の道路の構成および路面の状態、並びに、周囲の天候、気温、湿度、および、明るさ等が含まれる。認識対象となる運転者の状態には、例えば、体調、覚醒度、集中度、疲労度、視線の動き、並びに、運転操作等が含まれる。車両を安全に走行させるという事は、その車両の固有の状態で搭載している積載量や搭載部の車台固定状態、重心の偏重状態、最大減速可能加速値、最大負荷可能遠心力、運転者の状態に応じて復帰応答遅延量などに応じて、対処が求められる制御開始ポイントが大きく異なってくる。
　状況認識部１５３は、認識処理の結果を示すデータ（必要に応じて、状況認識用マップを含む）を自己位置推定部１３２および状況予測部１５４等に供給する。また、状況認識部１５３は、状況認識用マップを記憶部１１１に記憶させる。
　状況予測部１５４は、マップ解析部１５１、交通ルール認識部１５２および状況認識部１５３等の移動装置１００の各部からのデータまたは信号に基づいて、自車に関する状況の予測処理を行う。例えば、状況予測部１５４は、自車の状況、自車の周囲の状況、および、運転者の状況等の予測処理を行う。
　予測対象となる自車の状況には、例えば、自車の挙動、異常の発生、および、走行可能距離等が含まれる。予測対象となる自車の周囲の状況には、例えば、自車の周囲の動物体の挙動、信号の状態の変化、および、天候等の環境の変化等が含まれる。予測対象となる運転者の状況には、例えば、運転者の挙動および体調等が含まれる。
　状況予測部１５４は、予測処理の結果を示すデータを、交通ルール認識部１５２および状況認識部１５３からのデータとともに、計画部１３４のルート計画部１６１、行動計画部１６２、および、動作計画部１６３等に供給する。
　安全性判別部１５５は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部１５３等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
　ルート計画部１６１は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、目的地までのルートを計画する。例えば、ルート計画部１６１は、グローバルマップに基づいて、現在位置から指定された目的地までのルートを設定する。また、例えば、ルート計画部１６１は、渋滞、事故、通行規制、工事等の状況、および、運転者の体調等に基づいて、適宜ルートを変更する。ルート計画部１６１は、計画したルートを示すデータを行動計画部１６２等に供給する。
　行動計画部１６２は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、ルート計画部１６１により計画されたルートを計画された時間内で安全に走行するための自車の行動を計画する。例えば、行動計画部１６２は、発進、停止、進行方向（例えば、前進、後退、左折、右折、方向転換等）、走行車線、走行速度、および、追い越し等の計画を行う。行動計画部１６２は、計画した自車の行動を示すデータを動作計画部１６３等に供給する
　動作計画部１６３は、マップ解析部１５１および状況予測部１５４等の移動装置１００の各部からのデータまたは信号に基づいて、行動計画部１６２により計画された行動を実現するための自車の動作を計画する。例えば、動作計画部１６３は、加速、減速、および、走行軌道等の計画を行う。動作計画部１６３は、計画した自車の動作を示すデータを、動作制御部１３５の加減速制御部１７２および方向制御部１７３等に供給する。
　動作制御部１３５は、自車の動作の制御を行う。動作制御部１３５は、緊急事態回避部１７１、加減速制御部１７２、および、方向制御部１７３を備える。
　緊急事態回避部１７１は、車外情報検出部１４１、車内情報検出部１４２、および、車両状態検出部１４３の検出結果に基づいて、衝突、接触、危険地帯への進入、運転者の異常、車両の異常等の緊急事態の検出処理を行う。緊急事態回避部１７１は、緊急事態の発生を検出した場合、急停車や急旋回等の緊急事態を回避するための自車の動作を計画する。緊急事態回避部１７１は、計画した自車の動作を示すデータを加減速制御部１７２および方向制御部１７３等に供給する。
　加減速制御部１７２は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための加減速制御を行う。例えば、加減速制御部１７２は、計画された加速、減速、または、急停車を実現するための駆動力発生装置または制動装置の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。なお、緊急事態が発生し得るケースは主に２つある。つまり、自動運転中の走行ルートで本来ならインフラより取得したローカルダイナミックマップ等で安全とされていた道路を自動運転中に突発的な理由で予想外の事故が発生し、運転者の緊急復帰が間に合わないケースと、自動運転から手動運転に運転者が的確に復帰することが困難になるケースがある。
　方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された自車の動作を実現するための方向制御を行う。例えば、方向制御部１７３は、動作計画部１６３または緊急事態回避部１７１により計画された走行軌道または急旋回を実現するためのステアリング機構の制御目標値を演算し、演算した制御目標値を示す制御指令を駆動系制御部１０７に供給する。
　　［３．自動運転モードから手動運転モードへのモード切り替えシーケンスについて］
　次に、自動運転モードから手動運転モードへの引継ぎシーケンスについて説明する。
　図１１は、自動運転制御部１１２における自動運転モードから手動運転モードへのモード切り替えシーケンスの一例を概略的に示している。
　ステップＳ１は、運転者が運転操舵から完全離脱の状態にある。この状態で、運転者は、例えば、仮眠、あるいはビデオ鑑賞、ゲームに集中、タブレット、スマートフォン等の視覚ツールを用いた作業などの２次タスクを実行できる。タブレット、スマートフォン等の視覚ツールを用いた作業は、例えば、運転席をずらした状態で、あるいは運転席とは別の席で行うことも考えられる。
　これら運転者の状態次第では、ルート上の手動運転復帰が求められる区間に接近した際に、運転者が復帰するまでの時間はその時々の作業内容により大きく変動する事が想定され、事象接近の直前の通知では復帰までに時間が不足したり、事象接近に対して余裕をみたあまりにも早めに通知をした場合、実際に復帰に必要なタイミングまでの時間が長く空き過ぎたりすることが発生する。その結果、的確なタイミングで通知が行われない状況が繰り返し起こると、運転者はシステムの通知タイミングに対するタイミングの信頼性が失われ、通知に対する意識が低下して、結果的に運転者の的確な対処がおろそかになる、その結果、引き継が上手く行われないリスクが高まると同時に、安心した２次タスク実行の阻害要因にもなる。そこで、運転者が通知に対する的確な運転復帰の対処を開始するには、通知タイミングの最適化をシステムが行う必要がある。
　ステップＳ２は、先に図２を参照して説明したような手動運転復帰要求通知のタイミングである。運転者に対して、振動などの動的なパプティックスや視覚的あるいは聴覚的に運転復帰が通知される。自動運転制御部１１２では、例えば、運転者の定常状態がモニタリングされて、通知を出すタイミングを把握され、適宜なタイミングで通知がなされる。つまり、前段のパッシブモニタリング期間で運転者の２次タスクの実行状態が常時パッシブにモニタリングされ、通知の最適タイミングの最適タイミングをシステムは算出する事ができ、ステップＳ１の期間のパッシブモニタリングを常時継続的に行って、復帰タイミングと復帰通知は、運転者の固有復帰特性に合わせ行うのが望ましい。
　つまり、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミング学習して、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求めた最適タイミングを運転者へ提示するのが望ましい。この場合、通知に対して運転者が一定時間の間に応答しなかった場合には、アラームの鳴動などによる警告がなされる。
　ステップＳ３では、運転者が、着座復帰したか確認される。ステップＳ４では、顔やサッケード等の眼球挙動解析により、運転者の内部覚醒度状態が確認される。ステップＳ５では、運転者の実操舵状況の安定度がモニタリングされる。そして、ステップＳ６では、自動運転から手動運転への引継ぎが完了した状態となる。
　　［４．自動運転の動作シーケンス例について］
　次に、図１２に示すフローチャートを参照して、自動運転の動作シーケンスの一例について説明する。
　図１２に示すフローチャートは、移動装置の１００を実行する自動運転の動作シーケンスを説明するフローチャートである。
　まず、ステップＳ１１において、運転者認証が行われる。この運転者認証は、パスワードや暗証番号などによる知識認証、あるいは顔、指紋、瞳の虹彩、声紋などによる生体認証、さらには知識認証と生体認証が併用されて行われる。このように運転者認証が行われることで、複数の運転者が同一の車両を運転する場合であっても、各運転者に対応付けて通知タイミングを決定するための情報の蓄積行うことが可能となる。
　次に、ステップＳ１２において、運転者により入力部１０１が操作されて、目的地が設定される。この場合、インスツルメンツパネルの表示に基づいて運転者の入力操作が行われる。
　なお、本実施例としては車両に乗車して旅程設定を想定した場合の事例を説明しているが、車両に乗車する前に事前にスマートフォンや自宅を出る前にパソコンより遠隔事前予約設定などを行ってもよく、さらにはスケジュール表に則って車のシステムが運転者の想定したスケジュールに沿ってプリプラニング設定を行い、道路環境のＬＤＭ情報、すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（ＬＤＭ）情報などを更新取得して乗車時やその前にでもコンシエルジュ的に実際の走行アドバイス表示などをさらに行ってもよい。
　次に、ステップＳ１３において、走行ルート上の走行区間表示が開始される。この走行区間表示は、インスツルメンツパネルに表示される他、例えば、運転者が２次タスクを行うタブレット等にも作業ウインドウと並べて表示される。これにより、作業ウインドウで作業を行っている運転者は、走行ルートの運転者介在必要区間および自動運転可能区間を現在地点からの到達予測時間軸で容易に認識可能となる。
　この走行区間表示では、前方予定と各地点への接近情報の提示がなされる。この走行区間表示においては、走行ルートの運転者介在必要区間および自動運転可能区間が、現在地点からの到達予測時間軸で表示される。そして、運転者介在必要区間には、手動運転区間、自動運転から手動運転への引継ぎ区間および自動運転からの注意走行区間が含まれる。この走行区間表示の詳細については、後述する。
　次に、ステップＳ１４において、ＬＤＭ更新情報の取得が開始される。このＬＤＭ更新情報の取得に伴って、走行区間表示の内容を最新の状態に変更可能となる。次に、ステップＳ１５において、走行が開始される。次に、ステップＳ１６において、自車の位置情報と取得ＬＤＭ更新情報に基づいて、走行区間表示の表示が更新されていく。これにより走行区間表示は、走行に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。
　走行を伴い相対的に接近する前方の走行環境と該当自車両の引き継ぎに必要タイミング等の情報の提示手段は、スクロール手段に限定する必要ななく、その他方法としては差し迫る時間間隔が直感的、明示的手段で且つ誤認少なく何時運転へ復帰に取り掛かるべきか知る事が出来る手段が好ましい。例えば、砂時計を模した時間提示方法や、クロノグラフ形式の腕時計形態で引継ぎ残存時間を利用者装着機器へ直接提示する手段を介してもよい。
　次に、ステップＳ１７において、運転者状態のモニタリングがされる。次に、ステップＳ１８において、事象変化対応処理が行われる。この事象変化対応処理には、走行ルート中に既に存在している自動運転モードと手動運転モードとの切り替え地点あるいは注意走行区間が迫ってきた場合に対応するためのモード切り替え処理、走行ルート中にモード切り替え地点あるいは注意走行区間の運転者介在必要区間が新たに発生した場合に対応するための事象発生処理などが含まれる。以降、ステップＳ１６からステップＳ１８の処理が適宜繰り返される。
　　「走行区間表示の詳細」
　図１３は、運転者により目的地が設定されることで決定された走行ルートの一例を示している。この走行ルートには、自動運転可能区間Ｓａと、手動運転区間Ｓｂと、自動運転から手動運転への引継ぎ区間Ｓｃと、自動運転からの注意走行区間Ｓｄが存在する。ここで、引継ぎ区間Ｓｃは手動運転区間Ｓｂの直前に必ず存在し、運転者は手動運転への復帰体勢にあることが必要となる。また、注意走行区間Ｓｄは、手動運転への復帰体勢にある運転者の注意監視下において自動運転のまま減速して走行が可能な区間である。
　図示の例において、自動運転可能区間Ｓａは緑色で示され、手動運転区間Ｓｂは赤色で示され、引継ぎ区間Ｓｃおよび注意走行区間Ｓｄは黄色で示されている。なお、便宜上、各色は別々の模様で表している。
　センターインフォーメーションディスプレイやタブレット等の表示デバイスにおける走行区間表示にあっては、上述したような走行ルートの各区間が、現在地点からの到達予測時間軸で表示される。自動運転制御部１１２は、走行ルート情報および交通情報に基づいて走行ルートにおける走行区間表示のための情報処理をする。
　図１４（ａ）は、走行ルートの各区間を現在地点からの移動距離軸で一定のスケールで表している。図１４（ｂ）は、各地点における平均的道路交通の流れ速度ｖ（ｔ）を表している。図１４（ｃ）は、移動距離軸で表されている各区間を、速度ｖ（ｔ）を用いて時間軸に変換したものである。これにより、走行ルートの各区間は、現在地点からの到達予測時間軸で表されるものとなる。つまり、走行ルートの物理的距離を該当区間毎の平均速度で除算した時間軸で表す事が出来る。
　この実施の形態においては、走行区間表示される全区間を、図１４（ｄ）に示すように３つの区間に分割し、各区間の時間軸を変化させている。すなわち、現在地点から第１の地点（時間ｔ０、例えば１０分程度）までの第１の区間は、時間リニア表示直近区間として、第１の時間軸で表示する。例えば、時間ｔ０は、一般的な運転者が２次タスクを終了して運転復帰するまでに必要十分な時間に設定される。走行により接近する直近区間はあたかも一定速度で進む地図上に示すのと同等の視覚的直感効果が有るため、運転者は事象接近に伴う的確な運転復帰の準備を開始でき、ある程度正確に復帰を開始するポイントが感覚的に把握できるメリットがある。つまりこの区間の表示目的は運手者の的確復帰ポイントの開始判断情報を利用者に提供することにある。
　また、第１の地点（時間ｔ０）から第２の地点（時間ｔ１、例えば１時間程度）までの第２の区間は、時間の逆数表示区間として、第１の時間軸からこの第１の時間軸に対して所定の比率で縮小された第２の時間軸まで順次変化した時間軸で表示する。この第２の区間の表示目的は、主に先の第１の区間と同等スケール倍率で表示をすると、狭い表示スペースに長期期間の表示が困難となるため、より長期期間の道路状況を狭い表示で運転者に正確に提供する工夫となる。こうすることで、運転者は走行に伴いある一定の先の区間で何処までの地点は運転介在が求められないで済むかを把握が容易に出来る様になり、２次タスクへの従事を計画的に行えるメリットがある。運転介在のメリハリが付き、また第三者とのやり取りに伴う２次タスクなどでは運転者の２次タスクからの解放プラニング等での重要な情報呈示の役割を果たす。
　ここで、図１４（ｄ）において、この第２の表示区間の設定方法について記述する。三角形の高さをｈ０としたとき、その先端からｈだけ手前の地点の時間ｔは、以下の（１）式で求められる。
　ｔ＝ｔ０＊ｈ０／ｈ　　　・・・（１）
　また、第２の地点（時間ｔ１）における第２の時間軸は、第１の時間軸に対して、ｈｓ／ｈ０の比率で縮小されたものとなる。例えば、ｈｓ＝ｈ０／８である場合、縮小率は、１／８ということになる。
　以上に示す第２の表示区間の表示は、車速が一定で走行している場合であれば、地図上の走行直線伸張表示区間を進行方向に斜め傾けた地図を見た表示、または道路平面前方を斜めみした状態に相当する。言い換えれば、この表示区間の視覚的効果が表示像高位置で遠近が直感的にわかるため、画面上に正確な位置表示の目盛等を表示しなくとも感覚的距離が把握容易にできる表示とも言える。そして遠方の区間は縮小されるが、走行で直ぐ到達する地点ではないため、大凡の予測は重要となるが、近傍点程厳密な到着時刻情報を運転者が感覚的に把握する必要ではないため、２次タスク実行計画をする上でも好適である。
　また、第２の地点（時間ｔ１）から第３の地点（時間ｔ２）までの第３の区間は、時間リニア表示遠方区間として、第２の時間軸（縮小率ｈｓ／ｈ０）で表示する。このように３つの区間に分割して表示することで、運転者は、限られた表示スペースで、時間的に直近の区間情報の詳細に知ることができると共に、時間的により遠くまでの区間情報を知ることが可能となる。なお、第２区間の表示形態のままで遠方部を表示すると、人の視覚分解能、更にはシステムの表示分解能限界以下となり、２次タスクの計画判断に必要な情報が判別できなくなり、表示機能の意味が失われる。そこで、直感的に時間の区間感覚が十分把握でき、必要な介在区間、不必要区間区分が適切に表示される程度の段階で表示スケールの縮小を終え、それ以降の区間はまた一定スケールに戻した表示を行うのが最も効果的は表示となる。
　なお、車両制御システム１００は、時間ｔ０、ｔ１、ｔ３のデフォルト値を備えている。長距離運転と近距離運転とで時間ｔ０、ｔ１、ｔ３の値を別にすることも考えられるので、デフォルト値は１つに限定されるものではなく、複数種類を備えていて、運転者（ユーザ）あるいはシステムが走行ルートに応じて選択的に用いるようにされてもよい。また、時間ｔ０、ｔ１、ｔ３の値を、運転者（ユーザ）が任意に設定できるようにすることも考えられる。
　図１５（ａ），（ｂ）は、最終的に表示される走行区間表示の一例を示している。なお、矢印の長さにより、時間軸がリニアであるか否か、さらには時間軸の縮小率の変化が示されている。図１５（ａ）の場合には、第１の区間、第２の区間および第３の区間の全ての区間が第１の幅のままで表示されている。
　一方、図１５（ｂ）の場合には、現在地点から第１の地点（時間ｔ０）までの第１の区間は、第１の幅で表示され、第１の地点（時間ｔ０）から第２の地点（時間ｔ１）までの第２の区間は、第１の幅からこの第１の幅に対して狭い第２の幅まで順次変化した幅で表示され、第２の地点（時間Ｔ１）から第３の地点（時間Ｔ２）までの第３の区間は、第２の幅で表示される。これにより、運転者は、第１の区間に対する第２の区間および第３の区間の時間軸の縮小の程度を視覚的に認識することが可能となる。つまり、図１４での表示形態は進行方向の縮小率のみを配慮した表示であるが、さらに表示情報の進行方向に対する横断横幅を擬似的に遠近に合わせて幅を変える事で、道路や地図の進行に沿って無限方向に向かって見るのと同じ遠近効果が得られ、運転介在必要区間の分布が画面を一瞬みるだけより直感的に把握が容易となる。特に、第２の区間のみを反時計代わりに回転して見た場合、あたかも一定速度で走行した場合の道路前方の道路幅と各該当地点の到達時間に匹敵するので、正確な位置メモリを目視判断しなくても、各地点までの到達実感が直感的に把握でき、時間配分が可能となる表示形態といえる。
　なお、例えば第３の区間のように縮小率ｈｓ／ｈ０が小さな部分では、短い時間長の区間をそのままの時間長で表示すると、その区間が非常に細く表示され、運転者の認識が困難となることが予想される。そのため、運転者介在区間（手動運転区間、引き継ぎ区間、注意走行区間）が実際には一定時間長以下である場合であっても、一定時間長で表示するようにされる。この場合、例えば、引き継ぎ区間と手動運転区間が連続している場合、引き継ぎ区間の表示は省略されることもある。図１５（ａ），（ｂ）において、第３の区間の最初の手動運転区間Ｓｂの表示は、そのような状態を示している。これにより、時間軸が大きく縮小されている第３の区間において、短い時間長の運転者介在必要区間を運転者が認識可能に表示することが可能となる。
　また、第３の区間のように縮小率ｈｓ／ｈ０が小さな部分では、手動運転区間Ｓｂが間欠的に短い周期で連続する場合、全体が繋がった手動運転区間Ｓｂとして表示される。図１５（ａ），（ｂ）において、第３の区間の２番目の手動運転区間Ｓｂの表示は、そのように繋がれて表示された状態を示している。このように表示された手動運転区間Ｓｂは、実際には、図１５（ｃ）に示すように、手動運転区間Ｓｂの他に、短い期間の引継ぎ区間Ｓｄおよび自動運転可能区間Ｓａが含まれている。なお、後述するように、タブレット等に走行区間表示がされている状態で当該地点が例えばダブルタッチされることで、詳細表示が可能とされる。
　上述の走行ルートにおける走行区間表示は、自車の位置情報と取得ＬＤＭ更新情報に基づいて、更新されていく。これにより走行区間表示は、時間経過に伴って、各区間が自車に迫ってくるように、スクロール表示されるものとなる。図１６（ａ）～（ｄ）は、時間経過に伴う走行区間表示の変化例を示している。この例は、第２の区間が先細りに表示されている例を示しているが、全ての区間が同じ幅で表示される場合も同様である。
　この場合、第１の区間では、各区間の移動が早い。また、第２の区間では、第３の区間側から第１の区間側にいくほど、時間軸の縮小が小さくされているので、各区間の移動が早くなっていく。また、第３の区間では、時間軸の縮小が大きくなっているので、各区間の移動は遅い。
　図１７（ａ），（ｂ）は、タブレット１８２の画面上に表示される走行ルートにおける走行区間表示１８１の一例を示している。図１７（ａ）は、タブレット１８２を縦長で使用する場合の例である。この場合、走行区間表示１８１は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット１８２で行われる２次タスクの実行画面である作業ウインドウと並列に表示される。図１７（ｂ）は、タブレット１８２を横長で使用する場合の例である。この場合も、走行区間表示１８１は、左辺から上辺に沿って折れ曲がった状態で表示され、タブレット１８２で行われる２次タスクの実行画面である作業ウインドウと並列に表示される。なお、図示の例では、タブレット１８２の画面上に走行区間表示１８１が折り曲げた状態で配置されているが、配置スペースが十分にとれる場合には直線的に配置することも考えられる。
　図１８は、運転者が実際にタブレット１８２を用いて２次タスクを実行している状態の一例を示している。この例は、タブレット１８２は横長で使用されている。タブレット１８２の画面には、左辺から上辺に沿って折れ曲がった状態で走行区間表示１８１が表示されている。なお、この走行区間表示１８１を画面上に出すか否かを運転者（ユーザ）の操作で選択的に行うようにされてもよい。その場合、例えば、走行区間表示１８１が画面上に出ていない場合に、運転者介在必要区間が一定時間内に入ってきて、運転者に通知する場合には、自動的に、走行区間表示１８１が画面上に出てくるようにされてもよい。
　タブレット１８２の画面上に走行区間表示１８１が表示されている状態で、その表示区間中に新たに運転者介在必要区間が発生した場合、その新たに発生した運転者介在必要区間の表示が新たに発生する。この場合、この新たに発生した運転者介在必要区間は、他とは識別可能に、例えば一定時間の点滅表示が行われる。この点滅表示は、注意アラーム音を伴ってなされてもよい。ここで、新たに運転者介在必要区間が発生した場合には、注意走行区間や手動運転区間が新たに発生した場合の他、注意走行区間から手動運転区間に変更になった場合も含まれる。
　図１９は、第２区間に新たに注意走行区間Ｓｄが発生し、点滅表示で運転者に警告している状態を示している。なお、この場合、運転者がこの点滅表示されている注意走行区間Ｓｄの表示箇所をタッチすることで、その点滅、つまり警告状態を停止することが可能とされてもよい。あるいは、運転者がこの点滅表示されている注意走行区間Ｓｄの表示箇所をタッチすることで、小ウインドウがポップアップ表示され、承諾の画面タッチで、その点滅、つまり警告状態を停止することが可能とされてもよい。
　また、タブレット１８２の画面上に走行区間表示１８１が表示されている状態で、運転者（ユーザ）が任意の地点をダブルタッチして指定した場合、例えば、図２０に示すように、小ウインドウがポップアップ表示され、その地点に関連した表示がなされる。
　　［５．移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について］
　次に、移動装置の実行する安全性判別処理、手動運転復帰可能時間推定処理について説明する。
　この処理は、主に、図８を参照して説明した移動装置１００の自動運転制御部１１２内に構成される安全性判別部１５５において実行される。
　先に説明したように、安全性判別部１５５は、運転者の復帰行動パターンや車両特性等に応じた最適復帰タイミングを学習し、その学習情報を状況認識部１５３等に提供する。これにより、例えば、既定された一定以上の割合で運転者が正常に自動運転から手動運転に復帰するのに要する統計的に求められた最適タイミングを運転者へ提示することが可能となる。
　図２１は、安全性判別部１５５の具体的な構成例と処理について説明する図である。
　左に自動車等の移動装置２００、右に移動装置１００とネットワークを介して通信するサーバ３００を示している。
　移動装置２００は、運転者情報取得部２０１、環境情報取得部２０２、運転者個人識別情報取得部２０３、安全性判別部２１０、通知制御部２２１、通知部２２２、通信部２３０、記憶部２４０を有する。
　なお、安全性判別部２１０は、図８に示す状況分析部１３３内に構成される安全性判別部１５５に相当する。
　安全性判別部２１０は、学習処理部２１１、安全性判別処理実行部（手動運転復帰可能時間推定部）２１２、個人認証処理部２１３を有する。
　サーバ３００は、学習データ取得、生成部３０１、学習処理部３０２、通信部３０３、記憶部３０４を有する。
　まず移動装置２００の各構成部の処理について説明する。
　運転者情報取得部２０１は、カメラや様々なセンサによって構成され、運転者の情報を取得する。
　運転者情報取得部２０１が取得する運転者情報は、例えば眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情などである。
　運転者情報取得部２０１が取得するこれらの情報は、例えば運転者の覚醒度を判定するための情報として用いられる。
　なお、運転者の覚醒度判定には、上記例は単純化して記述している内容であるが、単純な目や顔などの情報を取得から運転者の詳細状態を判別できるものではなく、事前履歴情報や眼や顔等の詳細挙動解析を行い、階層的にその可観測値から運転者の手動運転復帰に必要な内部覚醒状態の判定を総合的に行う事を行う事を包含する。以下これら、判定に用いる生体情報の幾つかの例を示す。
　運転者の覚醒状態を脳内の活動領域観測によりに認知対象や判断対象部位の活動状況を観測する手段として、電気的に電位検出をした脳波観測や赤外線を用いた頭部表層血流観測やｆＭＲＩによる脳内機能評価など大がかりな計測機器がある。ただし、今日の技術で車両に搭載して日常的な一般の利用には程遠い機器であり、実験環境下で心拍波形やＥＯＧなど他の生体との相関とりとそれら生体情報に基づくオフライン学習の利用は限定される。
　その他、引き継が突発的に必要になった段階で短期的な覚醒状態判定に直接用いる事は困難であるが、事前に中長期的事前ログ情報を継続的取得する事で、事前に覚醒復帰予測に利用できる情報もある。システムより復帰通知を受けて復帰までに要する時間は、通知を受けた時点での眠りの深さ、疲労蓄積度合、仮眠開始からの経過時間、などなど様々要因で且つ個人特性に応じて復帰に要する時間は変わってくる。これら事前情報は、直接的な復帰時間を与える事は困難であるが、覚醒復帰の影響ファクターとして働くため、取得可能な可観測情報を覚醒復帰時間推定の影響因子として学習に用いる。
　運転者情報取得部２０１が取得する運転者情報は、これら運転者の状態に応じてそれらログ取得を行い、更には復帰通知を受けるかまた対象引き継事象接近等のトリガーを元に覚醒状態観測を行っている。長期ログ観測には、例えば腕時計などの様な観測可能機器を運転者が身に付けて利用している場合は車両搭乗前の生活ログを含めてもよく、その場合は事前の休憩状態や睡眠過不足状態の情報も判定の一助に利用できることになる。事前のログ取得を利用できないケースでの通常利用では、利用者が車両に搭乗して、車両に搭載される各種センサより、例えば心電図のローレンツプロット評価から疲労や眠気と言った注意散漫の度合の観測が可能であり、心拍・脈波・血流情報や血圧、更には呼吸、呼気・体臭と言った中長期的変化ログからも緊張状態や疲労状態の推定が可能であり、システムとのヴァーバル（質疑）応答で利用者の発話トーンや応答遅延解析による運転者の状態推定も可能である。更には、顔の表情や下向きや脇見状態の発生など行動解析的手段も採用できる。
また、指示応答特性を見たジェスチャによる俊敏さ評価や活動量と言ったアクティブ評価による状態判別を行っても良い。
　運転者情報取得部２０１が取得する運転者情報は、前記事前のログ観測による覚醒復帰影響因子の事前モニタリングを行いつつも、最終的な引継ぎ判定を実行するために、確度の高い内部覚醒状態判別が必要である。運転者が覚醒して自動運転から手動運転に復帰できるという事を、別の視点で見ると、運転者の状況は、時系列に以下のシーケンスに従って変化する。
　１．引き継がないといけないという事象が発生している事を認知し、
　２．引き継ぎの必要性に伴う必要な状況把握認知をして、
　３．通知把握認知が音声通知ならその通知に対する応答があり応答が起床であったり、スイッチによる認知確認であったり、ジェスチャによる応答確認であったり、ハンドルに手を添える行動認知による検出であったり、運転席着座復帰検出であったりする。
　４．通常、復帰通知を受けて最終的に復帰姿勢に戻った運転者は、ハンドルヤブレーキやアクセルと言った操舵機器の操作を開始するに先立ち、手動運転復帰に必要な状況把握と精査手順を踏んでから機器操舵を開始する事が想定される為に、主な情報取得手段の一つが視覚的情報取得である。
　５．視覚的に状況認知ができると運転者は適切な操舵機器を操り始めるが、安全の為にシステムは瞬間的に一切の操舵を引き継ぐのではなく、運転者の適切な操舵介在と筋力的操舵応答状況まで確認取れる段階への徐々に引き継を進める手順を行う。
　運転者情報取得部２０１が取得する運転者情報はこれら一連の過程での観測を行う機能を包含する。
　運転者情報取得部２０１が取得する運転者情報は、更に前記視覚的な状況把握を行う事を述べたが、この４．の過程は更に視覚として認知・判断・プラニングを行う事で初めて手動操舵の準備が整う。視線の中心視野に判断に必要な情報を捉えただけでは、運転者は取るべき操舵行動判断とプラニングは出来ない。その為、視線をリスク判断に必要な対象に向けて、通常周辺視野でとらえその方角に中心視野＝視線を向ける為、サケードによる眼球の振り向きの俊敏な動作が発現し、対象を視線の中心視野に来るとその対象の理解を進める為に主に固視（Ｆｉｘａｔｉｏｎ）を開始し、脳内の知識情報をその対象の特徴を捉えながら参照する事で対象の判断が完了すると理解の発火が起こる。そして対象の理解が完了すれば、同時並行的に把握しないといけない次の対象把握を進める新たな方角へ眼球のサッケード動作を行ったり、乃至は捉えた対象の行動判断を進める為に相対的方角移動を打ち消すパーシュート（Ｐｕｒｓｕｉｔ）追尾回転をしたりする。
　つまり、これら眼球の視覚情報探索行動として現れる広域サッケード探索、走行に伴う流れを追うパーシュート動作、視線を向けた注目被視体の認知まで視線滞留する固視の際に発生する固視微動とその範囲や揺らぎ安定性と注目点へサッケードを行う滞留時間等などの初期視覚取得から知識認知と認知確定の確認固視微動のサイクルで判断に至ると、つまり判断の発火が起きる僅かな時間遅延が脳内の活動量に影響されその影響が短期的に観測できる現象もある。ここで特に視覚反射行動は、運転者個人が自身の視覚記憶を参照して視覚的に捉え始めたやわい情報からリスク判断を開始し、リスク判断に至るまで無意識の中で判断確定に必要な追加補足情報を固視微動しつつ補っていくことが想定される。その為、サッケードによる眼球の振り向き直後に初期視覚情報を評価して運転行動判断を無意識の内に複雑に繰り返す事で運転継続に必要は判断を確定し、次に確認するべき情報取得の為にサッケードを繰り返すシーケンスが断続的に繰り返していく。そしてこれら一連の眼球挙動は運転操舵に必要な情報取得作業は覚醒認知下での行動となるため、運転が手動復帰に必要な内部覚醒状態の復帰レベルと強く反映した眼球の詳細挙動として発現する。
　さらに、運転者情報取得部２０１には、運転者の操作情報を取得する操作情報取得部も含まれる。これらは、例えば運転者の顔画像を撮影するカメラ、各操作部（ハンドル、アクセル、ブレーキ等）の操作情報取得部等によって構成される。
　環境情報取得部２０２は、様々な環境情報を取得する。
　環境情報取得部２０２が取得する環境情報は、例えば移動装置２００に設置された撮像部による画像、奥行き情報、３次元構造情報、移動体に設置されたＬｉＤＡＲ等のセンサによる地形情報、ＧＰＳによる位置情報、さらに、信号器の状態、標識の情報など、道路等のインフラストラクチャーに設置された通信機器からの情報などである。
　運転者個人識別情報取得部２０３は、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証に適用可能な情報を取得する。
　なお、図２１に示す運転者情報取得部２０１、環境情報取得部２０２、運転者個人識別情報取得部２０３の構成は、図８に示す構成では、データ取得部１０２、検出部１３１の各構成に対応する。
　安全性判別部２１０は、学習処理部２１１、安全性判別処理実行部（手動運転復帰可能時間推定部）２１２、個人認証処理部２１３を有する。
　個人認証処理部２１３は、運転者個人識別情報取得部２０３の取得した、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証情報を入力して個人認証処理を実行する。
　この認証処理に必要な登録情報は、記憶部２４０、あるいはサーバ３００から取得する。
　例えば、運転者が移動装置である自動車に乗車したときに、個人識別処理としての個人認証が実施される。個人識別後の運転者情報、時刻、運転入力、道路等の環境情報は、常時または定期的に記録され、サーバ３００に送信される。
　なお、運転者個人識別情報取得部２０３から入力した、例えば虹彩認証、指紋認証、静脈認証、声紋認証などの個人認証に適用可能な情報をサーバ３００に送信し、サーバ３００に登録された情報を用いて、サーバ３００において個人認証処理を実行してもよい。
　学習処理部２１１は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力して、これらの入力情報を適用した安全性判定のための学習処理を実行する。
　具体的には、例えば、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の構築を行う。なお、学習器においては運転者固有特性に限定した判別を行うよう学習するだけでは無く、車両特性や環境特性等に応じた特性も学習する。例えば、同一運転者として識別された運転者でも、自家用車による通勤乗用車での操舵特性と職業従事に於ける重量物連結車両の車両挙動特性の安全性を考慮して運転をする際に、走行状況に応じた操舵開始点や制動量なども大きく異なるため、それら安全性に寄与する変動因子の要因学習を行う事で、状況や車両特性を含めた最適化がなされた学習器となる。
　なお、学習器とは、機械学習を用いて入出力関係を学習可能な、モデル、アルゴリズム、パラメータ等の集合を指す。統計的学習器、学習モデル、機械学習モデル、統計的学習モデル、予測器、予測モデル、推定器、推定モデル等の様々な呼称があるが、どれも本質的に同じ意味であるため、ここでは学習器という呼称を採用する。具体的な用途に応じて分類器、分類モデル、識別器、識別モデル、回帰学習器、回帰学習モデル、生成モデル等と呼ばれることもあるが、学習器という呼称はそれらの概念を全て包含する上位概念である。
　安全性判別処理実行部２１２は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力し、さらに、学習処理部２１１における学習結果である学習器、あるいはサーバ３００から取得した学習器を利用して、現在の運転者情報と環境情報に基づく安全性指標値を算出する。
　さらに、安全な手動運転復帰までに必要となる時間（＝手動運転復帰可能時間）を推定する。
　なお、安全な手動運転復帰までに必要となる時間とは、引き継ぎが求められる地点到着までに、運転者が一定の高い割合で手動運転を開始する為に要する時間に基づいて算出されるが、安全性を直接評価して算出される時間では決して無い。手動運転への復帰準備の開始が求められるタイミングは、該当車両の運動特性や道路環境状況、天候と言った様々な要因に影響を受ける為に、それら影響を取り入れる事で安全性を最大化する事が出来る様になる。
　通知制御部２２１は、安全性判別処理実行部２１２の推定した手動運転復帰可能時間に基づいて、先に図２を参照して説明したような手動運転開始要求通知の通知タイミングの制御を行い、通知部２２２を介して通知する。
　なお、通知部２２２は、例えばアラーム、ウインドウ上のディスプレイ、ハンドルやシートのバイブレーション処理実行部などによって構成される。
　通信部２３０は、サーバ３００等、外部装置との通信を実行する。
　次に、サーバ３００の各構成部の処理について説明する。
　サーバ３００は、学習データ取得、生成部３０１、学習処理部３０２、通信部３０３、記憶部３０４を有する。
　学習データ取得、生成部３０１は、学習器の構築に必要となる学習器の入出力データの取得や生成を行う。具体的には、例えば、ネットワークに接続された様々な移動装置から、「運転者情報」や「環境情報」を取得する。さらに、例えば、地図データ、事故発生状況データや渋滞データ等の、様々な取得可能なデータに基づく学習用データを生成する。なお、ここでは学習器の入出力データと表現したが、これは教師付き学習においては教師データ、訓練データ等と呼ばれるものである。所望の入出力関係を学習することさえできれば、教師なし学習、半教師付き学習、強化学習等の他の手法による学習可能性を除外するものでは無いため、ここでは一般化して学習器の入出力データと称した。
　これらのデータは記憶部３０４に格納される。
　学習処理部３０３は、学習器の入出力データ取得、生成部３０１が取得または生成し、記憶部３０４に格納した学習器の入出力データを利用した学習処理を実行する。
　この学習処理により、例えば、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の入出力データの構築を行う。
　次に、移動装置２００の安全性判別部２１０の処理の詳細について説明する。
　安全性判別部２１０は、学習処理部２１１、安全性判別処理実行部（手動運転復帰可能時間推定部）２１２、個人認証処理部２１３を有する。
　学習処理部２１１は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報を入力して、これらの入力情報を適用した安全性判定のための学習処理を実行する。
　安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力し、さらに、学習処理部２１１における学習結果である学習器、あるいはサーバ３００から取得した学習器を利用して、現在の運転者情報と環境情報に基づく安全性指標値を算出する。
　さらに、安全な手動運転復帰までに必要となる時間（＝手動運転復帰可能時間）を推定する。
　なお、安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、学習器の入出力データが存在せず、学習処理部２１１から学習済みの学習器が取得できない初期状態では、例えば事前に実験的に取得した不特定多数のデータを用いて学習された学習器を記憶部２４０から取得して、この学習器を利用して、安全指標値の算出処理や手動運転復帰可能時間の推定処理を実行する。
　あるいは予め規定した固定の手動運転復帰可能時間を推定値として出力する。
　なお、不特定多数のデータを用いた学習処理によって生成された学習器はサーバ３００からも取得可能である。
　学習処理部２１１における学習処理が実行された後は、その学習器を用いて、入力運転者情報と環境情報に基づく安全指標値の算出処理や、手動運転復帰可能時間の推定処理を実行する。
　学習処理部２１１は、例えば、
　（ａ）運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報と、
　（ｂ）自動運転モードから手動運転モードへの切り替え通知後に、運転者が安全な状態で運転できたか否かの操作情報、
　これら（ａ），（ｂ）の情報の対応関係を構築する学習処理を行う。
　なお、前述したように、運転者情報取得部１２は、例えば、運転者の覚醒度を判定するための情報取得処理の他、運転者の操作情報、すなわち各操作部（ハンドル、アクセル、ブレーキ等）の操作情報を取得する機能も備えている。
　すなわち、学習処理部２１１は、運転者情報と、環境情報を取得し、あるタイミングで先に図２を参照して説明したような、手動運転復帰要求通知を行った後の運転者の運転操作情報を取得して、安全な運転が実行できているか否かを確認する。
　安全な運転ができていれば、同じ運転者情報と、環境情報が得られた場合、手動運転復帰要求通知の通知タイミングを、さらに遅くしてもよいと判断する。
　一方、安全な運転ができていなければ、同じ運転者情報と、環境情報が得られた場合、手動運転復帰要求通知の通知タイミングを早めるべきであると判断する。
　学習処理部２１１における学習処理では、このような手動運転復帰要求通知の通知タイミングを決定するための学習器を構築する。
　なお、学習処理部２１１における学習処理では、手動運転復帰要求通知の通知タイミングの決定に適用するデータのみならず、ある運転者情報と、環境情報が得られた場合に運転者が安全な手動運転を実行できるか否かの判定処理に適用可能な学習器、すなわち、「運転者情報と環境情報」と、「安全性指標値」とを対応付けた学習器も構築する。
　学習器の特徴として、事象発生の都度発生する運転者の復帰通知事前特性からの推移を取得しつつ、（ｂ）運転者が安全な状態で運転できたか否かの操作情報も教師データとして成否判別や引き継ぎ品質評価を行う事で自己完結した学習器を含むシステムとなり，精度の向上をはかることができる。
　このように、学習処理部２１１における学習処理では、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報に対応付けられた安全性指標値データを得ることができる。
　さらに、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報に対応する手動運転復帰可能時間（安全な手動運転復帰までに必要となる時間）を算出することができる。
　この手動運転復帰可能時間に基づいて、運転者に対する手動運転開始要求通知の通知時間を決定することができる。
　学習処理部２１１における学習処理の結果データは記憶部２４０に格納される。
　記憶部２４０に格納されるデータ（学習器且つ/又は学習器の入出力データ）には、例えば以下のデータが含まれる。
　運転者情報と、環境情報に対応付けられた安全性指標値データ、
　運転者情報と、環境情報に対応付けられた手動運転復帰可能時間（安全な手動運転復帰までに必要となる時間）（＝手動運転開始要求の最適な先行通知時間）、
　手動運転開始要求通知後の運転者情報の異常性、環境情報の異常性、復帰所要時間、
　学習器、
　これらのデータを記憶部２４０に蓄積することができる。
　記憶部２４０に蓄積されたデータは、定期的にサーバ３００に送信される。
　サーバ３００は、移動装置２００から受信するデータを記憶部３０４に格納するとともに、学習データ生成部３０１において、さらに受信データに基づく学習処理を行う。
　サーバ３００は、多数の移動装置（自動車）から大量のデータを受信し、これら大量のデータに基づく学習処理を行うことが可能となる。この結果、より汎用性の高い、かつ確実性の高い入出力データ(学習器)を得ることが可能となる。
　サーバ３００は、大量のデータに基づく学習処理により、学習器を更新しサーバ３００の記憶部３０４に格納する。
　サーバ３００の記憶部３０４に格納される学習器には、上述した移動装置２００の記憶部２４０に格納されるデータと同様のデータが含まれる。すなわち、
　学習器、
　運転者情報と、環境情報に対応付けられた安全性指標値データ、
　運転者情報と、環境情報に対応付けられた手動運転復帰可能時間（安全な手動運転復帰までに必要となる時間）（＝手動運転開始要求の最適な先行通知時間）、
　手動運転開始要求通知後の運転者情報の異常性、環境情報の異常性、復帰所要時間、
　これらのデータが、サーバ３００の記憶部３０４に格納される。
　これら、サーバ３００の記憶部３０４に格納される学習器は、随時、移動装置２００に提供され、移動装置２００の安全性判別部２１０の安全性判別処理部２１２において、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報に基づく安全性指標値や、手動運転復帰可能時間等の算出に利用される。
　なお、学習処理部２１１は、学習データに個人識別情報や、車種情報、あるいは時間情報等を含めることで、個人や自動車（車種等）や時間に対応付けた安全性指標値や、手動運転復帰可能時間を予測可能な学習器を生成することができる。
　個人識別情報は、個人認証処理部２１３を介して取得可能である。
　車種情報は、環境情報取得部２０２から取得可能である。あるいは予め記憶部に格納したデータを利用する構成としてもよい。
　安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、学習処理部２１１の学習処理の結果として算出された学習器を適用して手動運転復帰可能時間を取得して、取得した手動運転復帰可能時間に基づく手動運転復帰要求通知を行う。
　さらに、学習処理部２１１は、この通知後の運転者の運転動作情報を運転者情報取得部２０１、環境情報取得部２０２から取得して、正常な運転が実行されているか否かを判定する。
　この判定に基づいて、例えば、異常が見られる頻度が高い場合には通知時刻を早め、異常が見られる頻度が低い場合には通知時刻を遅めるといった出力が可能となるように学習器の更新且つ/又は再学習を行う。この更新/又は再学習処理によって、通知時間制御を行うことも可能となる。
　次に、移動装置２００の安全性判別部２１０の安全性判別処理部２１２において実行する手動運転復帰可能時間の推定処理の具体例について説明する。
　前述したように、自動運転中、運転者は様々な処理（２次タスク）を行うことができ、実行している２次タスクに応じて覚醒度が大きく異なることになる。
　例えば、ハンドルから手を放しているのみで、運転時と同様、自動車の前方を注視している場合もあり、本を読んでいる場合もあり、また、居眠りをしている場合もある。これらの処理の違いにより、運転者の覚醒度（意識レベル）は異なるものとなる。
　例えば、居眠りをすると、運転者の覚醒度が低下する。すなわち意識レベルが低下した状態となる。このような覚醒度が低下した状態では、正常な手動運転を行うことができず、その状態で手動運転モードに切り替えてしまうと、最悪の場合、事故を起こす可能性がある。
　従って、安全性判別処理部２１２において実行する手動運転復帰可能時間の推定処理を行うためには、運転者情報取得部２０１が、自動運転実行時の運転者の２次タスク実行状況を確認可能な情報を取得し、学習処理部２１１において、これらのデータを用いた学習処理を行うことが好ましい。
　このための運転者情報取得部２０１の構成として、車内を観測するために設置されたカメラ、ハンドルや座席に設置された圧力センサ、温度センサ、さらに生体信号取得部などを含めることが好ましい。
　学習処理部２１１は、カメラから得た画像を用いて、顔認証、頭部姿勢推定、視線推定、身体姿勢推定、行動識別した結果を算出し、これらのデータを学習処理に利用する。
　２次タスク実行時には、自動運転状態に取得した入力情報であることがわかるよう、付加情報を与えた形で管理する。２次タスクから復帰する際には、何らかの方法で算出された復帰可能時間の分だけ前に運転者に情報提示し、手動運転状態に戻って貰う必要がある。手動運転復帰可能時間推定のためのデータが十分に集まっていない時点では、確実に復帰が可能となる時間で復帰通知を行う必要があり、個人の特性が未学習で有るためにその情報に依らない固定の定義時間を利用して情報を提示する。この固定の定義時間とは、例えば多様な運転者人口の利用実績データより統計的に評価して、評価利用者が一定の割合で引き継ぎが成功できた時間を事前に取得し、その事前に収集した復帰遅延時間のドライバ人口平均をオフライン等で事前に学習させた得た統計的なデータより、目的とする成功率で復帰するための定義時間を設定してもよい。
　また、この定期時間を利用するに当たり、初めてシステムを利用するユーザーは慎重で有るため、その特性加味したオフセット設定をおこなってもよい。
その際、情報提示から手動運転に復帰するまでの時間を引き継ぎ事象が発生する都度計測し、手動運転復帰可能時間として記録ログとして記録収拾する。
　また、手動運転に復帰したという判定をする際、事前の学習結果を参考にしてもよい。同様の施行を繰り返すと、特定の個人と車両に関する、復帰可能時間推定のためのデータを収集することができる。
　安全性指標値の推定や、手動運転復帰可能時間推定のためのデータが十分に集まった場合、例えば、以下の入出力データを利用した機械学習処理により、安全性指標値や、最適な復帰可能時間を予測する学習器を構築することができる。
　入力：運転者情報や、環境情報等
　出力：安全性指標値や、手動運転復帰可能時間
　また、固有認証された固有復帰特性には、運転者の過去の運転経験や環境条件に応じて復帰時間が異なることもある。例えば雨天の視界の悪い状況、夜間状況、逆光下の視界障害を行けた状態、早朝や夕方の累積疲労がたまった状況、または同じ運転者であっても通勤時自家用車利用の際の行動、乗務大型乗合バスや貨物積載車両の車両特性など、状況に応じて復帰に取り掛かり復帰に要する時間も一意ではない。以下、これら多くの状況要因ファクターはその一例であり、それら要因を大きく２つに分類してまとめて「運転者情報」や「環境情報」として呼称する。
　次に、移動装置２００の学習処理部２１１、およびサーバ３００の学習処理部３０２において実行する学習処理のシーケンス例について、図２２に示すフローチャートを参照して説明する。
　先に説明したように、移動装置２００の学習処理部２１１、およびサーバ３００の学習処理部３０２は、「運転者情報」や「環境情報」に対応する「安全性指標値」や「手動運転復帰可能時間推定値」を算出可能とした学習器の構築を行う。
　まず、ステップＳ２１において、「運転者情報」や「環境情報」を入力する。
　次に、ステップＳ２２において、手動運転開始要求通知によって開始される手動運転開始後の運転者の操作情報を運転者情報取得部から取得し、安全な操作が行われているか否かに応じた安全性指標値を算出する。
　前述したように、運転者情報取得部１２は、運転者の覚醒度を判定するための情報取得処理の他、運転者の操作情報、すなわち各操作部（ハンドル、アクセル、ブレーキ等）の操作情報を取得する機能も備えている。
　なお、ステップＳ２２の安全性指標値算出処理においては、運転者の操作情報のみならず、例えば、具体的な事象対処情報や事故情報を用いて安全性指標値を算出する処理を行ってもよい。例えば、「運転者情報」、「環境情報」の他、時刻や道路情報に対応する事象対処情報等を用いて安全性指標値を算出する構成としてもよい。事象対処情報とは、運転者の的確な操舵判断評価レベルとして運転操舵状況の継続モニタリングすることを通し、例えば車両が車線から逸れる走行が開始されたらその補正のハンドル操作が適切なタイミングで行われているか、または定常時観測に対して遅延が見られないか、オーバー補正動作が発生していないか、補正刻み間隔の発生が不規則になり始めていないか等、変動振幅やステイアリング補正の際の発生加速度変化など総合的操舵安定性評価を継続的に行う。
　システムが一旦運転者に車両システムの制御を委ね始めると、運転者はハンドルやブレーキやアクセルと操舵意図入力が行われる為、システムはスアリングの上記補正操舵の例で分かるように、システムが操舵上望ましいと判断さる理想時速走行制御と運転者による制御の差違評価が開始できるため、運転者の操舵妥当性から運転者の覚醒度復帰レベルの定量化評価が可能となる。システムが完全に操舵介在を完了するのは、運転者にシステム制御が委ねられた段階であり、その結果システムはその引継ぎ開始前の運転者状態、車両状態、環境状態等のいわゆる「運転者情報」、「環境情報」の履歴と成否または正常引き継ぎに要した実際の遅延時間や引き継ぎ開始時の操舵の質評価ログ、更に完全回復に要した復帰挙動特性変化カーブなどログデータセットが得られる。
　次のステップＳ２３では、入力情報（運転者情報、環境情報等）と、安全性指標値との対応データから構成される入出力データを生成、学習器を更新する。発生事象が走行計画時の予定引き継ぎもあれば、走行時刻中に新たに発生する事象もあればそれら区別は必ずしも必要では無く、繰り返し車両の利用に伴い発生する復帰前事前取得観測値と引き継ぎ結果の良否判定更には成功、回避と質判定のログのセットが学習データセットとして取得される。
　ステップＳ２１～Ｓ２３の処理は、繰り返し、実行され、大量の学習データを利用して、入力情報（運転者情報、環境情報等）と、安全性指標値との対応データから構成される学習器が、順次、更新される。
　ステップＳ２４の処理は、サーバ３００の学習処理部３０２において学習器の構築が行われた場合の処理である。
　ステップＳ２４では、サーバ３００の生成した最新の学習器を移動装置（自動車）に送信する。
　なお、図２２に示すフローは、「運転者情報、環境情報等」と、「安全性指標値」との対応データから構成される学習器の生成処理フローであるが、さらに、「運転者情報、環境情報等」に、「手動運転復帰可能時間」を対応付けた入出力データに対する学習器を生成する場合の処理シーケンスについて、図２３に示すフローを参照して説明する。
　まず、ステップＳ３１において、「運転者情報」や「環境情報」を入力する。
　次に、ステップＳ３２において、手動運転開始要求通知時間から手動運転開始までの時間を計測する。
　次に、ステップＳ３３において、手動運転開始後の運転者の操作情報を運転者情報取得部から取得し、安全な操作が行われているか否かに応じた安全性指標値を算出する。
　なお、ステップＳ３３の安全性指標値算出処理においては、運転者の操作情報のみならず、例えば、具体的な事故情報を用いて安全性指標値を算出する処理を行ってもよい。例えば、「運転者情報」、「環境情報」の他、時刻や道路情報に対応する事故情報等を用いて安全性指標値を算出する構成としてもよい。
　次のステップＳ３４では、手動運転開始後の操作情報に基づく安全性指標値を一定値以上（安全）にするために必要な、通知時間から手動運転開始時間までの経過時間（手動運転復帰可能時間）を算出する。
　次のステップＳ３５では、入力情報（運転者情報、環境情報等）と、安全性指標値と、手動運転復帰可能時間との対応データから構成される入出力データを生成、学習器を更新する。
　ステップＳ３１～Ｓ３５の処理は、繰り返し、実行され、大量の学習データを利用して、入力情報（運転者情報、環境情報等）と、安全性指標値と、手動運転復帰可能時間との対応データを用いて構成される学習器が、順次、更新される。
　ステップＳ３６の処理は、サーバ３００の学習処理部３０２において学習器の構築が行われた場合の処理である。
　ステップＳ３６では、サーバ３００の生成した最新の学習器を移動装置（自動車）に送信する。
　この学習器構築処理によって生成される学習器の入出力データの例を図２４に示す。
　図２４に示すデータは、入力情報（運転者情報、環境情報等）と、安全性指標値と、手動運転復帰可能時間との対応データから構成される、学習器の入出力データである。
　なお、運転者情報、環境情報には、複数の異なるセンサによって取得される複数の観測値（パラメータ）が含まれる。
　すなわち、運転者情報や、環境情報は、複数のパラメータのセットによって構成される。
　図２４に示す例における安全性指標値は、０（危険）～１（安全）の０から１の値によって設定された例である。
　これは一例であり、前述したように、０（危険）と１（安全）の２値設定や、さらにその他の数値範囲を適用することも可能である。
　手動運転復帰可能時間推定値は、先に説明した図２３のフローのステップＳ３４の処理において算出された時間である。すなわち、手動運転開始後の操作情報に基づく安全性指標値を一定値以上（安全）にするために必要な、通知時間から手動運転開始時間までの経過時間（手動運転復帰可能時間）の算出値である。
　図２１に示す安全性判別部２１０の安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、このような学習器を利用して、運転者情報と、環境情報等の入力情報に対応する安全指標値や手動運転復帰可能時間を推定する。
　学習器を適用した手動運転復帰可能時間の推定処理は、例えば、以下のような処理として行われる。
　安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力する。
　さらに、学習処理部２１１における学習結果である学習器、あるいはサーバ３００から取得した学習器、すなわち図２４に示すデータ構成を有する入出力データを用いて学習された学習器を利用し、現在の運転者情報と環境情報に基づいて、安全な手動運転復帰までに必要となる時間（＝手動運転復帰可能時間）を推定する。
　なお、図２４に示すデータは、「運転者情報と環境情報」と、「安全性指標値と手動運転復帰可能時間」との対応データから構成されるが、これは一例であり、例えば、データに個人識別情報や、車種情報、あるいは時間情報等を含めることで、個人や自動車（車種等）や時間に対応付けた安全性指標値や、手動運転復帰可能時間を持つ学習器を生成することができる。
　また、同じ人物が別の車種等、異なる車両に乗った場合にも、車両毎の入力情報の対応関係を与えることで同様の手動運転復帰時間推定が可能であるが、その車両での情報を新たに収集して追加学習することで、更に予測精度を上げることができる。本技術は、個人に適応した復帰可能時間予測だけでなく、車両に適応した手動運転復帰可能時間予測にも応用できる。
　また、１つの車両に複数の人物が乗車する場合、その車両に乗車する運転者と同乗者のメンバーに対応付けた復帰可能時間推定値を算出する学習器を構築してもよい。
　このような構成とすることで、車両に乗車する運転者と同乗者のメンバーに応じた最適な手動運転復帰可能時間を予測することが可能となる。
　このように、運転者個人の情報として運転者の運転履歴、事故履歴、手動運転開始後の運転操作情報、自動車の種類情報等も考慮した処理や、乗員の人数や、積載している貨物に関する情報も利用した学習処理をおこなうことで、様々な状況に応じた学習器が生成可能となる。
　なお、多くの種類の情報を利用する場合、データ特性に応じて、事前学習用と、オンライン学習用とに分けて利用する構成としてもよい。
　　［６．本開示の移動装置、情報処理装置の実行する処理のシーケンスについて］
　次に、本開示の移動装置、情報処理装置の実行する処理のシーケンスについて説明する。
　図２５に示すフローチャートは、本開示の移動装置である自動車が、自動運転モードから手動運転モードへ切り替える際に実行する処理のシーケンスの一例を説明するフローチャートである。
　ステップＳ４１において、移動装置は、自動運転モードから手動運転モードへの切り替え要求の発生事象を観測する。
　この観測情報は、例えば道路環境のＬＤＭ情報に基づいて取得される。
　すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（ＬＤＭ）情報に基づいて取得される。
　具体例として、例えば、高速道路は自動運転可能区間、一般道は自動運転での走行が可能でない道路環境として仮定し、ＬＤＭに基づいて、高速道路から一般道への侵入が開始される予定が取得された場合、自動運転モードから手動運転モードへの切り替え要求の発生事象であると判定する。なお、実際には高速道や一般道と言った限定的な区分けより複雑で多様な運用が行われる可能性がある。
　次に、ステップＳ４２において、観測値を取得する。この観測値取得処理は、例えば、図２１に示す運転者情報取得部２０１、環境情報取得部２０２、運転者個人識別情報取得部２０３において行われる。なお、これらの構成は、図８に示す構成では、データ取得部１０２、検出部１３１の各構成に対応する。
　先に説明したように、運転者情報取得部２０１は、カメラや様々なセンサによって構成され、運転者の情報、例えば運転者の覚醒度を判定するための情報を取得する。例えば眼球領域を含む画像から取得した視線方向、眼球挙動、瞳孔径、顔領域を含む画像から取得した顔の表情などである。運転者情報取得部２０１は、さらに、運転者の各操作部（ハンドル、アクセル、ブレーキ等）の操作情報も取得する。
　環境情報取得部２０２は、例えば移動装置に設置された撮像部による画像、奥行き情報、３次元構造情報、移動体に設置されたＬｉＤＡＲ等のセンサによる地形情報、ＧＰＳによる位置情報、さらに、信号器の状態、標識の情報など、道路等のインフラストラクチャーに設置された通信機器からの情報などを取得する。
　次に、ステップＳ４３において、取得された観測値に基づいて、手動運転復帰可能時間を算出する。
　この処理は、図２１に示す安全性判別部２１０の安全性判別処理実行部（手動運転復帰可能時間推定部）２１２の実行する処理である。
　安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報等を入力する。さらに、学習処理部２１１における学習結果である学習器、あるいはサーバ３００から取得した学習器を利用し、現在の運転者情報と環境情報に基づいて、安全な手動運転復帰までに必要となる時間（＝手動運転復帰可能時間）を推定する。
　ここで、利用する学習器は、例えば先に図２４を参照して説明した入出力データを用いて学習された学習器である。
　なお、先に説明したように、１２に示すデータは、「運転者情報と環境情報」と、「安全性指標値と手動運転復帰可能時間」との対応データから構成される学習器の入出力データである。
　図２４には、入力情報の組み合せを想定した運転者情報と環境情報の組み合せを基本に具体的なパラメータを組み合せしテーブル化して例として示しているが、実際には固有の組み合せ事象の発生頻度はそう多くなく、事象の発生の都度色々な経緯や状態の組み合わせとして発生するため、多次元入力の情報であり、また常に運転者の事前状態を示す情報のログが有るとも限らない。そして、同じ生体情報の観測値であっても個人固有の体質や仕草、経験・記憶等により取得視覚情報から判断に至る判断遅延には多くの個人差が表れる。
　多様な条件による判定をより正確に導く為に、運転者情報と安全性指標の組からなるデータ群を利用して、学習によって安全性判別器を更新する。学習の手法としては、例えばSupport Vector Machine, Boosting, Convolutional Neural Network, Deep Belief Network, Long Short-Term Memory などが考えられる。更新の際には、事前学習用のデータ群に新たに取得されたデータ群を加えて再学習したり，オンライン学習を用いたりしても良い。
　安全性判別処理実行部（手動運転復帰可能時間推定部）２１２は、図２４に示すデータを用いて学習された学習器を用いて、運転者情報と環境情報を入力として出力することで予測する。或いは、運転者情報取得部２０１の取得した運転者情報と、環境情報取得部２０２の取得した環境情報の各パラメータに最も近いパラメータを持つエントリを図２４に示すデータから選択し、その選択されたエントリに設定された手動運転復帰可能時間推定値を取得するような、簡易的な方法を用いても良い。
　なお、手動運転復帰可能時間の推定処理に際して利用する学習器は、運転者毎、あるいは自動運転実行中の２次タスクの種類を観測情報に含めた設定とすることも可能である。
　この場合、現在運転している運転者の個人識別情報と、現在実行中の２次タスクの種類の情報を観測情報として利用した処理（手動運転復帰可能時間推定処理）が行われる。
　図２６（ａ）は、観測値に相当する可観測評価値と復帰遅延時間（＝手動運転復帰可能時間）の複数の関係情報（観測プロット）の分布の一例を示している。この例は、ある運転者のある２次タスクの種類に対応したものである。この複数の関係情報（観測プロット）から復帰遅延時間を算出するために、取得された観測値に対応した評価値方向に一定の幅を持つ領域（破線矩形枠で示している）内の関係情報（観測プロット）を抽出する。図中の点線ｃは、後述の図２６（ｂ）の復帰成功率が０．９５となる復帰遅延時間を、運転者の異なる観測値で観測した際の境界線を表している。
　点線ｃより長い、つまり早い猶予時間で運転者に自動から手動の復帰通知や警報を出す事により、運転者の自動から手動復帰が、０．９５以上の割合で成功する事が担保される領域となる。なお、該当毎に自動運転から手動運転に運転者が正常に復帰する目標値（Ｒｅｑｕｅｓｔ　ｆｏｒ　Ｒｅｃｏｖｅｒｙ　Ｒａｔｉｏ）は、例えば、道路側によりインフラの必要性から定められ、個別の区間通過車両に提供される。
　なお、走行道路に車両が停車しても周囲へ阻害要因とならないケースであれば、車両を停車してシステムが対処できる速度まで減速して対処をすればよい。通常なら走行道路での停車は必ずしも好ましいケースは多くないため、デフォルト設定として高い復帰率が望ましく、特に首都高速道路などの特定ルートでは敢えてインフラより更新情報が与えられなくとも極めて高い復帰成功率がデフォルトで求められるケースもある。
　図２６（ｂ）は、抽出された複数の関係情報（観測プロット）で得られる復帰遅延時間と復帰成功率との関係を示している。ここで、曲線ａは各復帰遅延時間における単独成功率を示し、曲線ｂは各復帰遅延時間における累積成功率を示している。この場合、曲線ｂに基づいて、所定の割合の成功率、図示の例においては成功率が０．９５となるように、復帰遅延時間ｔ１が算出される。
　この算出処理は、例えば、先に図２１を参照して説明した安全性判別部２１０において実行される。例えば、記憶部２４０に格納されている過去に取得された可観測評価値と復帰遅延時間の複数の関係情報（観測プロット）の分布情報を利用して、安全性判別部２１０で行われる。
　図２７は、自動運転モードにおいて運転者が、運転操舵作業から離脱状態にある時に実行している処理（２次タスク）の種類に応じた手動運転復帰可能時間について説明する図である。
　個々の分布プロファイルが、図２６（ｂ）で示す、観測値、すなわち運転者状態に基づいて予測される曲線ａに相当する。つまり、必要な復帰確率で自動運転から手動運転に引き継ぎ点で完了するためには、各段階で検出される運転者の覚醒度合いを評価可能な観測値から、運転者が復帰に要する過去の特性を参照してそのプロファイル（図２６（ｂ）の復帰成功率プロファイル）が所望の値となる時刻ｔ１を元に実際に復帰に必要な状態に各復帰段階で達しているかを引き継ぎが完了するまでモニタリングして行く。
　例えば、仮眠している場合の初期曲線は、自動運転で仮眠期間中にパッシブモニタリングしていた呼吸や脈波等の観測情報から睡眠レベルを推測し、覚醒警報発報後に該当運転者の復帰遅延特性を見た累計の平均的分布となる。目が覚めてその後の移動復帰手順中で観測された運転者状態に応じて、途中の各分布は決まっていく。図に示す「６．仮眠している場合」を観測して覚醒警報が間に合う右のタイミングが決定し、その後の途中行程は予測中間点の可観測運転者状態評価値から予測される復帰バジェットの中での復帰時間分布となる。
　途中途中で、引き継まで順次減っていく残存引き継ぎ限界タイムリミットに違反しない事を観測し続け、違反リスクがある場合は、減速して時間猶予生成などの対策処理を行う。なお、例えば「６．仮眠している場合」、「５．着座」のステップが無い中で、「４．非運転姿勢イレギュラー回転着座」からスタートする復帰の際の分布は、初めの状況認知把握から復帰のプロセスが開始されるので、同じ項目でも「６．仮眠している場合」から始めた途中経過としての状態「４．非運転姿勢イレギュラー回転着座」姿勢は同じになっても思考過程が復帰意識過程にあり、初めから「４．非運転姿勢イレギュラー回転着座」姿勢で状況認知から開始する場合には、状況認知の時間を要するために長くなる。
　なお、現在運転している運転者の可観測評価値と復帰遅延時間との関係情報が記憶部に十分に蓄積されていない場合もある。その場合には、記憶部には例えば同年代の運転者人口から収集された情報に基づき生成された復帰特性情報として、予め備えた復帰の想定分布情報として利用して、復帰遅延時間ｔ１の算出を行うことができる。この復帰情報は、運転者固有特性がまだ十分に学習されていないため、その情報を元に同一の復帰確率で利用しても良く、またはより高い復帰成功率を設定しても良い。なお、人間工学的に見て不慣れな利用者はより慎重になる事から利用初期に早期の復帰が見込まれ、利用に慣れるに従いシステムの通知に合わせた行動に運転者自身が適合していく。なお、多数の車両を運行する物流業、バスやタクシーなどの運行業、更にはシェアリングカーやレンタル自動車で異なる車両を利用する場合、運転者の個人認証を行い遠隔サーバ等で運転の可観測情報と復帰特性を集中または分散して管理や学習し、個別車両に必ずしも復帰特性のデータを保持せず、遠隔学習処理や保持をしても良い。
　また、通知タイミングが重要となる事から、復帰成功率は一律の成否までの時間として説明をしているが、自動運転から手動運転の成否を２値的な成否に限定せず、復帰引き継ぎ品質に拡張した判別を更に行っても良い。つまり、実際の復帰確認に至る
復帰手順推移の遅延時間、通知に対する復帰開始遅延、途中復帰動作における停滞など、許された時間内での復帰であって復帰品質評価値として学習器へ更に入力をしてもよい。
　図２５に戻って、ステップＳ４４において、ステップＳ４３で算出された復帰遅延時間で決まる通知タイミング、つまり引継ぎ対象事象（自動運転から手動運転への引継ぎ区間や自動運転からの注意走行区間）が復帰遅延時間に迫ってきたタイミングで、運転者に運転復帰するように促すための通知を実行する。この通知は、例えば先に図２を参照して説明したような表示処理として実行される。あるいは音声出力やハンドルやシートのバイブレーションとして実行してもよい。例えば、運転者が仮眠している場合には、運転者が寝ている状態から起こすための通知方法が選択される。仮眠している場合に運転者を起こす処理は、運転者が自覚して既に浅い眠りに復帰をしいるものであり、いきなりアラームを鳴らしてもよいが、例えば、まず軽い通知処理を行い、無反応な場合にのみ覚醒アラームを鳴らす処理を行ってもよい。
　次に、ステップＳ４５において、運転者の復帰推移をモニタリングする。そして、ステップＳ４６において、ステップＳ４５におけるモニタリング結果に基づいて、復帰遅延時間内に運転復帰可能か否かが判断される。運転復帰が可能であると判断されるとき、ステップＳ４７において、運転者の運転復帰が行われる。その後、ステップＳ４８において、学習データの更新が行われる。つまり、上述の運転復帰がなされたときの初期の運転者の２次タスクの種類に関して可観測評価値と実際の復帰遅延時間の関係情報（観測プロット）のサンプル値が１つ追加される。その後、ステップＳ５０において、処理が終了される。なお、本実施例では学習はこのイベント都度に発生するプロットデータに限定して記載しているが、実際には事象発生までに前の状態（履歴）に大きく依存して決まるため、多次元的学習を行う事で運転者状態観測値からの復帰遅延所要時間の推定精度の向上をさらにおこなってもよい。
　また、ステップＳ４６で運転復帰が不可能であると判断されるとき、ステップＳ５１で減速徐行退避シーケンスの始動から停車までが実行される。次に、ステップＳ５２において、引継不備事象のペナルティの記録が発行され、処理が終了される。
　なお、このペナルティの記録は記憶部に残される。ペナルティは様々な態様があり、特定の手法に限定されない。その主たる目的は運転者による高品質の遅延や怠慢の無いシステム通知に対する早期応答や対応を促す誘引の仕組みを構築することにある。
　例えば、運転者の引継ぎ品質の低下が検出された場合、その記録に基づいて以下のようなペナルティを科す。
　車両の走行上限速度の制限、
　退避場への強制誘導、
　サービスエリアへの一次的な退避と、強制的な休憩時間の取得、
　ハンドルやシートに対するランブルストリップス擬似振動の発生、
　警告音の出力、
　保険料の負担増、
　悪臭等の不快なフィードバック、
　罰則課金、
　例えば、上記のようなペナルティを科す。
　このように短中長期的なペナルティフィードバックを定常的に実行すると人間工学的にみてヒトの行動心理に作用し、回避行動が習慣化されるすなわち、安全性を向上させる重要な仕組みとなる。
　なお、これら運転者の行動特性を改善する記録が改ざんされて無効化されてしまうと機能が生かせないため、記録データには改ざん防止構成を施すことが望ましい。
　　［７．システムから運転者に対する通知処理実行前後の運転者状態の観測と観測情報の記録処理について］
　次に、車両のシステム（情報処理装置）から運転者に対する通知、例えば手動運転復帰要請通知等の様々な通知処理実行前後の運転者状態の観測と観測情報の記録処理について説明する。
　先に図１１を参照して自動運転モードから手動運転モードへのモード切り替えシーケンスの一例について説明したが、運転者に対する動運転復帰要請通知を行うタイミングは、運転者の状態に応じて異なることになる。例えば先に図３、図４を参照して説明したように、運転者が仮眠中である場合や運転席から離れている状態では、より早いタイミングでの通知が必要となる。以下では、システムから運転者に対する通知処理実行前後の運転者状態の観測と観測情報の記録処理、すなわち記憶部への格納処理を行うことで、より適切な通知を行うことを可能とする構成について説明する。
　前述したように、自動運転技術は、車両（自動車）に備えられた位置検出手段等の様々なセンサを用いて、道路上を自動走行可能とする技術であるが、この自動運転を可能とするためには道路側にもセンシング可能なマークの設置等のインフラ整備が不可欠となる。
　これらインフラを全ての道路に整備するには相当の時間を要し、しばらくは自動運転可能区間と手動運転区間が混在することが想定される。
　例えば、高速道路等、直線的で道路幅が十分な道路では、自動運転モードでの走行を行うが、高速道路から出て駐車場の好きな位置に車を止める場合や、道路幅の狭い山道等では手動運転モードに切り替えて運転者（ドライバ）の操作で走行を行うといったモード切り替えが必要となると予測される。
　車両が自動運転を実行している間は、運転者は車両走行方向である前方に視線を向ける必要がなく、例えば、居眠りをしたり、テレビを見たり、本を読んだり、あるいは後ろ向きに座って後部座席の人と会話をするといった自由な行動が可能となる。
　自動運転と手動運転を切り替えて走行する車両において、自動運転モードから手動運転モードに切り替える必要が発生した場合、運転者に手動運転を開始させることが必要となる。
　自動運転車両側のシステムは、自動運転可能区間と手動運転区間を識別し、手動運転区間が近づいている場合、運転者に対して手動運転引き継ぎ要請を実行する。例えばアラーム等で通知を行う。
　運転者は、システムからの通知によって、例えば運転以外の作業である２次タスクを速やかに終了して手動運転復帰処理に取り掛かる。しかし、万が一、運転者の手動運転復帰処理が遅れてしまうと、システムは運転者に車両の制御を委ねられないと判断し、緊急対処処置として減速、徐行、退避停車などを行うことになる。
　この減速、徐行、退避停車等の緊急対応処理は、その車両単独で見れば、安全性を担保でき問題のない対応であると言える。しかし、例えば緊急停止や減速を無制限に許容すると、周辺の走行車両の通常走行を妨害することになり、後続車による追突や、渋滞を発生させる可能性がある。
　さらに、事故が発生、あるいは事故を誘発する恐れのあるインシデントが発生した場合、その要因分析を行う必要がある。社会インフラ中で利用されるそれら車両で、運転者が要請に対する復帰品質や復帰要請タイミングの評価解析は、インシデント低減や復帰タイミング見直しの大きな手掛かりとなり重要である。
　自動運転車両側のシステムは、手動運転区間が近づいている場合、運転者に対して、より早いタイミングで手動運転復帰要請を行えば、手動運転復帰成功率を高めることができるが、早すぎる通知は、自動運転中の運転者の運転以外の作業、すなわち２次タスクの妨げとなる。
　従って、早すぎないタイミングで、かつ十分な手動運転復帰成功率を達成できるタイミングで運転者に対する通知（手動運転復帰要請）行うことが重要となる。
　この最適な通知タイミングの決定に利用可能な情報には様々な情報がある。
　例えば、手動運転への復帰通知や、運転者に対する警告判定の通知等の過去の履歴情報、運転者復帰特性の（学習）記録、事象発生都度の復帰推移中間可観測状態の記録、通知や警告に対する運転者アクティブ応答の記録、引き継ぎ結果品質評価の記録などさまざまな情報がある。なお、これらの情報は、情報処理装置のデータ処理部により取得された観測情報として記憶部に記録（格納）されるデータである。
　仮に事故が発生したとしても、事故発生時の復帰の遅延要因の解析記録を実施することで、運転者行動の落ち度やシステムによる通知や警告タイミングの改善に繋がる多くの有用情報が記憶部に格納された記録データから取得することが可能となる。
　従来のドライブレコーダは、ＥＤＲ（Ｅｖｅｎｔ　Ｄａｔａ　Ｒｅｃｏｒｄｅｒ）や走行前後画像を残すことに重きが置かれていたが、自動運転車両においては、単純なこれまでのドライブレコーダとは異なる情報の記録が必要となると予測される。
　自動運転車両システムは、運転者の自動運転時の復帰行動記録、取り分けパッシブモニタリングから通知とその認知から実際の引き継ぎまでの詳細な記録を行うことになり、また、長期にわたる人間行動特性を含めた情報を取得、解析することが有用である。このように自動運転車両システムは、従来のＥＤＲやドライブレコーダ以上の運転者行動に関する解析情報を取得することになると予測される。
　また、今後、自動運転可能区間は、順次、増大すると予測される。結果として、長時間の運転者が介在する必要のない自動運転区間が次第に長くなると予測される。しかし、このように長時間の自動運転が行われると、運転者の意識低下や運転者のすばやい応答が得られない状況が生まれる。例えば、その代表的な例として運転席から離席して仮眠をしている状況である。または、運転席で着座したまま風景を眺めている程度の運転操舵作業からの軽い離脱もある。
　このように自動運転中の運転者の状態は様々であり、状態によって手動運転復帰要請を行う最適タイミングは異なる。復帰要請を実行時の運転者の状態を初期状態とすると、初期状態から手動運転復帰までに要する時間は、その初期状態に大きく依存する。そのため、通知タイミングは、定常的に運転者の位置や状態を定期的に観測（モニタリング）して、その観測結果に基づいて決定することが必要である。
　なお、このモニタリング情報や、通知時点の運転者状態は、手動運転復帰時の手動運転復帰品質を推定するための情報として利用することも可能である。
　運転者の自動運転から手動運転への復帰品質に関わるファクターは様々である。
　運転者の手動運転復帰品質の推定処理や評価処理に適用可能な情報として、例えば以下の情報がある。
　１．乗車（乗務前）健康管理状態
　　ａ．病歴、癲癇、発作、貧血、動悸、息切れ、無呼吸症候群、・・・
　　ｂ．睡眠品質（脈、呼吸、寝返り情報）
など
　２．乗車中定常観測状態
　　ａ．運転者が定常的に運転から注意離脱が許容されない自動運転走行モードでＬｅｖｅｌ０，Ｌｅｖｅｌ１，Ｌｅｖｅｌ２またはそれ相当の場合、ドライバモニタリングシステム（疲労評価、ＰＥＲＣＬＯＳ（開眼割合）等による瞬き評価、顔の表情評価）
　　ｂ．生体情報観測（脈、呼吸、体臭、呼気、血流、・・・）睡眠の深さ観測の場合なら（レム睡眠観測、生体観測、発汗観測、呼吸、脈波、瞼、寝返り、アルファ波観測、）
　　ｃ．行動観測（個室仮眠、キャビン外配送物整理、離席電話会議、・・・）
　　ｄ．応答観測（タブレット等への定期、非定期の応答反応要請通知、及びＬＤＭからの進路新規事象発生通知、通知に対する運転者応答）
　なお、ＬＤＭは、車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（ＬＤＭ）情報である。
　３．引き継ぎ点接近確定後の通知に対する知覚、認知、反応等
　　ａ．２次タスク作業中断、携帯端末作業中断、ボタン操作、映画鑑賞の中断、電話会議の中断、
　　ｂ．応答専用ボタンの操作
　４．通知や警報（アラーム）に対する応答
　　ａ．機敏な応答確認、
　　ｂ．過剰な応答確認（神経反射のうち抑制が制御が不十分な覚醒低下状態に発現）
　　ｃ．速やかな復帰開始または、復帰手順途中であれば復帰手順の加速
　　ｄ．（睡眠中やゲーム中で）反応無し
　５．運転席運転姿勢着座復帰指示に伴う姿勢復帰行動の発現、正確さ、予想行動有無の検出
　６．指差喚呼等の定型確認手順の行動解析による正確さ、応答速さ、反復指差し有無、
　７．視覚、音、ビジュアル、ヴァーバルなど意味のある（ＳＥＭＡＮＴＩＣ）課題応答の正確さ、応答速さ、予想反応有無の検出
　８．車両システム操舵ノイズ中に対する操舵補正の正確さ、応答速さ、予想反応有無の検出
　９．操舵機器への体の機能的入力の
　　ａ．ステアリングハンドルの握り締め、
　　ｂ．アクセルやブレーキパダル操作、
　　ｃ．応答専用ペダルの操作（問えば従来のマニュアル車に装備されていたクラッチペダルに近い操作性ペダル等）、
　１０．手動運転開始後の操舵安定性、
　上記のように、運転者の手動運転復帰品質の推定処理または確認処理に適用可能な情報は多数あるが、全てを取得するのは困難であり、システムは、その都度の利用可能な情報を取得、解析に適用すればよい。
　車両のシステム（情報処理装置）のデータ処理部は、運転者の観測情報を取得し、取得した観測情報に基づいて運転者の意識レベルである覚醒度を判定する。さらに、運転者の覚醒度に応じて、運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する。
　システムが取得可能な運転者情報を時系列によって区分すると、以下の３種類に区分できる。
　（１）運転者が車両に乗車する前に取得可能な運転者情報
　（２）運転者が車両に乗車した後に取得可能な運転者情報
　（３）運転者に対する通知（手動運転復帰要請通知等）後に取得可能な運転者情報
　以下、これらの各タイミングにおいて取得可能な運転者情報について、順次説明する。
　　［７－（１）運転者が車両に乗車する前に取得する運転者情報について］
　まず、運転者が車両に乗車する前に取得する運転者情報について説明する。なお、取得する運転者情報は、運転者の手動運転復帰品質の推定処理や評価処理に適用可能な情報であり、さらに、通知タイミングの決定、更新等に利用可能な情報である。
　運転者の手動運転の復帰品質に影響する要素（ファクター）には、運転者の疲労や等、運転者固有の特性に起因する要素が多い。例えば、乗車前の体力・疲労等の履歴情報も復帰品質の評価には有効な情報となる。
　そこで、運転者の乗車前の情報として、以下の情報を取得し、自動運転車両のシステム（情報処理装置）内の記憶部に記録保存する。
　（１）病歴情報（病歴、癲癇、発作、貧血、動悸、息切れ、無呼吸症候群、・・・ょ
　（２）睡眠品質情報（脈、呼吸、寝返り情報）
　（３）前日までの睡眠債務超過（慢性的、一時的寝不足）状況（ウェアブル機器、睡眠支援アプリ等に代表される睡眠支援装置等の睡眠品質ログ情報）
　（４）疲労状況情報（連続勤務情報、過去一週間等の既定期間の休暇状況、可観測疲労情報）
　（５）飲酒状況情報（前日の飲酒状況、商用車ドライバへの申告義務情報など）
　（６）職業運転者（ドライバ）の労働実態情報
　（６ａ）乗務日の寝起き品質可観測情報
　（６ｂ）常務までの日中の行動記録、
　（６ｃ）勤務乗務開始前検査、
　自動運転車両のシステム（情報処理装置）は、これらの運転者の生体関連情報を乗車前運転者ログとしてシステム（情報処理装置）内の記憶部に記録保存する。
　　［７－（２）運転者が車両に乗車した後に取得する運転者情報について］
　次に、運転者が車両に乗車した後に取得する運転者情報について説明する。なお、取得する運転者情報は、運転者の手動運転復帰品質の推定処理や評価処理に適用可能な情報であり、さらに、通知タイミングの決定、更新等に利用可能な情報である。
　運転者が車両に乗車した後に取得する運転者情報について、以下の２種類に区分して説明する。
　（ａ）運転者に対する手動運転復帰要請通知の実行前に取得する運転者情報
　（ｂ）運転者に対する手動運転復帰要請通知の実行後に取得する運転者情報
　　［７－（２）（ａ）運転者に対する手動運転復帰要請通知の実行前に取得する運転者情報について］
　まず、（ａ）運転者に対する手動運転復帰要請通知の実行前に取得する運転者情報について説明する。
　運転者が車両に乗車して走行を開始すると、車両のシステム（情報処理装置）は、車両の走行状況に応じて運転者の様々な状態についての観測を継続的に実行する。
　運転者状態や、自動運転実行中に運転者が行う作業である２次タスクは、自動運転車両の操舵性能や、許容される自動運転レベルによって変化することが想定される。
　すなわち、完全な自動運転が可能であれば、運転者は、睡眠をとることも可能であり、運転席から離れて作業を行うこともできる。しかし、運転者による自動運転の監視や前方注意、ハンドルの把持等が要求される設定では運転者は睡眠や、運転席からの離脱が許容されない。
　車両の運転態様を分類すると、例えば以下のように複数の運転態様１～７に分類することができる。
　（運転態様１）　従来の一切の自動運転支援機能を有しない状態と同等の手動運転、
　（運転態様２）　ＬＫＡＳ（車線維持支援システム）やＡＣＣ（安全運転支援システム：オートクルーズコントロール）と言った一部機能をシステムが補助する機能を有効にした状態での手動運転、
　（運転態様３）　渋滞等の低速走行時に限定して追従、停車から発車を含めた覚醒状態下での自動運転、
　（運転態様４）　高速道道路等の既定区間限定利用の覚醒注意下での全速度域の自動運転、
　（運転態様５）　インフラのハード面、ソフト面が恒常的に管理された区間での運転者不介在の完全自動運転、
　（運転態様６）　インフラのハード面、ソフト面の恒常的な管理は欠落しているものの、ペアリング先導車両による誘導走行で自動運転が可能な自動運転走行区間での自動運転、
　（運転態様７）　インフラのハード面、ソフト面の恒常的な管理は欠落しているものの、走行速度を（停車を含めた）低速として、車両の限定的な環境認識機能を適用して自動運転を自律的に行うことを可能な車線が提供された道路での自動運転、
　例えば、車両の運転レベルを分類すると上記のように分類できる。
　例えば、上記の（運転態様１）から（運転態様３）迄の利用が可能な装備を備えた車両の場合、車両に乗車後の運転者状態は、運転者が手動運転中であれば、車両のシステムが実行するドライバモニタリング処理により、運転者の運転時疲労や覚醒度低下、眠気評価の定常的評価が継続的に行うことができる。このモニタリング処理によって例えばマイクロスリープ等の検出や脇見運転と言ったマニュアル運転時の運転品質がシステム（情報処理装置）内の記憶部に記録保存される。
　これら、従来型のいわゆる自動運転レベル２までの運用が可能な区間において運転者の責任の下で運転が行われる間は、運転者には運転注意義務があり、睡眠等、意識離脱状態になることは許容されない。運転者は道路状況や走行状況に応じて、自主的に操舵を行うことになる。従って、この操舵作業の品質評価を行うことで運転者の意識状態をモニタリングすることができる。
　つまり、ドライバモニタリングシステムは、手動運転時や半自動運転時における運転者の疲労や眠気等による注意・意識低下を検出し、検出結果に基づいて事故に繋がるリスクを評価し、さらに評価結果に基づいて運転者の覚醒状態への復帰や、早期の休憩を促す通知を行うといった処理を行うことが主要な機能である。
　ＬＫＡＳ（車線維持システム）やＡＣＣ（オートクルーズコントロール）の車間距離一定維持システム）やＡＥＢＳ（緊急時自動ブレーキシステム）等の車両制御の一部を担う部分的自動運転を実現するＡＤＡＳシステム（先進運転支援システム）の利用時には、上記の機能の他の処理も可能となる。
　例えば、運転者の疲労や眠気増大により運転操舵の遅延等の影響検出がされた場合、前述の覚醒復帰や早期休憩を促す他、運転者の眠気のない正常な覚醒状態での運転時に、運転者の事故回避行動の遅延リスクを低下させるための処理として以下のような制御を行うことも可能である。
　（ａ）障害物検出機能の障害物検出閾値の引き下げ、
　（ｂ）衝突回避判定閾値の引き下げ、
　（ｃ）ＡＣＣ制御中の車両間隔をより長くする設定変更、
　（ｄ）ＡＥＢＳ（緊急時自動ブレーキシステム）のブレーキ動作開始動作点をより早期に開始する設定変更、
　なお、ＡＤＡＳシステム（先進運転支援システム）等の利用に際しては、運転者の過剰な依存を防止することも必要であり、依存防止機能を備えているシステムもある。例えばＡＥＢＳ（緊急時自動ブレーキシステム）のブレーキ動作開始動作点をより早期に開始してよりスムーズに減速しつつも減速制御後半に不快な急減速を行うといった制御を行い、運転者に注意を促し、自動減速機能の依存的な利用を回避させるといった構成である。このような、依存的な利用を検出した場合、運転者に体感的な不快を与えるフィードバック処理を実行して、依存的な利用を回避させるペナルティを科すことも依存的な利用を減少させる手段として有効である。ただし、不快を与える急減速は、自動減速機能の依存的な利用を低減する一つの手段に過ぎず、階層的で短中長期的に運転者に作用するペナルティの仕組みが必要である。運転者が自動減速機能の依存的な利用を行うと、多様な不都合が誘発されるという感覚を運転者に芽生えさせることで、運転者自身の本能的で直観的な依存回避行動が発達する。
　車両のシステム（情報処理装置）は、これらの車両に備えられた各種の運転支援システムの利用情報や、利用時の機能動作履歴情報を記録する。すなわち、システム（情報処理装置）内の記憶部に記録保存する。
　この記録情報は、その後の運転者状態の推定に有効な情報となる。この情報は、完全な自動運転を可能とした自動運転可能区間を走行していない間の運転者状態に関する情報であるが、記録保存することで、その後の運転者状態の推定に有効な情報となる。
　前記の（運転態様４）や（運転態様５）の自動運転が可能な場合には、車両の走行旅程中に自動運転可能区間が一定時間以上続く区間が存在する可能性がある。
　この場合、運転者は道路環境と自車の搭載機能に応じて、自動走行可能な区間で運転操舵や運転注意から離脱して運転操舵に必要な道路周囲注意を払わない形で、運転以外の作業である２次タスクを行うことが有りえる。
　運転者が２次タスクを実行している間は、車両のシステム（情報処理装置）は、自動運転可能区間の終了に先立ち、適切なタイミングで運転者に手動運転への復帰通知を促したり、またはどの様なタイミングで復帰地点に近づくか等の情報提示を行ったりすることも可能である。
　通知タイミングや、実施するべき通知は単純な通知とするか、警報などの覚醒や注意を促す通知とするかの通知態様は、運転者の状態やこれから侵入しようとする道路区間の危険度合いなどに応じて変更する設定とすることが好ましい。
　そのためには、前記の（運転態様４）や（運転態様５）の自動運転の実行中、常に運転者の状態を定常的にモニタリングしておくことが必要である。
　前記の（運転態様１～３）では、ドライバモニタリングシステムを適用することで運転者の操舵情報等を取得して運転者の意識低下を確認することができた。しかし、この（運転態様４）や（運転態様５）の自動運転の実行中は、運転者の操舵等の状況の確認は基本的にできないため、前記の（運転態様１～３）で利用したドライバモニタリングシステムと異なるさらに、様々な運転者の情報取得が必須となる。
　（運転態様４）や（運転態様５）の自動運転の実行中、運転手は、以下の４種類の運転者状態（状態１～４）のいずれかにある。
　（運転者状態１）運転者が運転席を離席した状態
　（運転者状態２）運転者が運転席に着座しているが、運転可能姿勢でない状態
　（運転者状態３）運転者が運転席に着座し、運転可能姿勢を維持しているが、運転に即時復帰可能ではない状態
　（運転者状態４）運転者が運転席に着座し、運転可能姿勢を維持し、運転に即時復帰可能な状態
　車両のシステム（情報処理装置）は、運転者が上記各運転者状態１～４のいずれであるかを観測し、各運転者状態に応じて運転者の覚醒度を判定する。
　これらの各状態の具体例と、その具体的な運転者状態に基づいてシステム（情報処理装置）が判断する運転者の覚醒状態について説明する。
　（運転者状態１）運転者が運転席を離席した状態
　この運転者状態１は、具体的には、例えば以下のような状態であり、各状態においてシステム（情報処理装置）は、以下のように運転者の覚醒状態を判断する。
　１ａ．仮眠スペースで体を横にして仮眠した状態。
　システム（情報処理装置）は、この状態の運転者の覚醒状態が、完全な操舵注意離脱状態にあり、浅い睡眠、または深い睡眠中であると判断する。
　１ｂ．運転席を離席し、荷台に移動していて配送物や集荷物の荷分け整理を行っている状態。
　システム（情報処理装置）は、この状態の運転者の覚醒状態が大幅な操舵注意離脱状態にあり、運転者に対する情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
　なお、運転者に対する情報通知には、手動運転復帰要請通知復帰通知の他、様々な通知が含まれる。例えば、車両の進行方向に対応するＬＤＭ情報の更新に伴う走行可能モード変更通知や、運転者に注意を促す定期、非定期の通知、運転者の意識的応答を促す通知等、様々な通知が含まれる。通知の態様も、アラーム等の音声通知に限らず、運転者の保持するタブレット端末の表示部に対する出力等、様々な通知が行われる。
　１ｃ．車両内に運転席からオフセットしたオフィス・スペースでＰＣ作業、または電話会議、またはリラックスした状態。
　システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
　１ｄ．運転席を離席し、同乗者と歓談している状態。
　システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
　（運転者状態２）運転者が運転席に着座しているが、運転可能姿勢でない状態
　次に、（運転者状態２）の具体例と、その具体的な運転者状態に基づいてシステム（情報処理装置）が判断する運転者の覚醒状態について説明する。
　この運転者状態２は、具体的には、例えば以下のような状態であり、各状態においてシステム（情報処理装置）は、以下のように運転者の覚醒状態を判断する。
　２ａ．伝票確認、伝票記録、執筆、休憩、飲食等を行っている状態
　システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
　２ｂ．タブレット伝票作業、運行管理、メール・ＳＮＳなどのテキスティング、ブラウジングを行っている状態
　システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
　２ｃ．ビデオ閲覧を行っている状態
　システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
　２ｄ．ゲームを行っている状態
　システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
　（運転者状態３）運転者が運転席に着座し、運転可能姿勢を維持しているが、運転に即時復帰可能ではない状態
　次に、（運転者状態３）の具体例と、その具体的な運転者状態に基づいてシステム（情報処理装置）が判断する運転者の覚醒状態について説明する。
　この運転者状態３は、具体的には、例えば以下のような状態であり、各状態においてシステム（情報処理装置）は、以下のように運転者の覚醒状態を判断する。
　３ａ．伝票確認、伝票記録、執筆、休憩、飲食を行っている状態
　システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
　３ｂ．タブレット伝票作業、運行管理、メール・ＳＮＳなどのテキスティング、ブラウジングを行っている状態
　システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
　３ｃ．ビデオ閲覧を行っている状態
　システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
　３ｄ．ゲームを行っている状態
　システム（情報処理装置）は、この状態の運転者の覚醒状態が部分低下または大幅な操舵注意離脱状態にあり、情報通知（手動運転復帰要請通知等）に対する運転者の応答次第で状況判断や意識維持が保たれているか否かを判断可能な状態であると判断する。
　（運転者状態４）運転者が運転席に着座し、運転可能姿勢を維持し、運転に即時復帰可能な状態
　次に、（運転者状態４）の具体例と、その具体的な運転者状態に基づいてシステム（情報処理装置）が判断する運転者の覚醒状態について説明する。
　この運転者状態４は、具体的には、例えば以下のような状態であり、各状態においてシステム（情報処理装置）は、以下のように運転者の覚醒状態を判断する。
　４ａ．ハンズフリーでの電話会話を行っている状態
　システム（情報処理装置）は、この状態の運転者の覚醒状態が部分操舵注意低下状態、すなわち身体的には復帰能力があるが、いわゆる意識の脇見と呼ばれる知能（判断能力）的には意識離脱状態にあると判断する。
　４ｂ．片手ＳＮＳやメールテキスティンキングを行っている状態
　システム（情報処理装置）は、この状態の運転者の覚醒状態が部分操舵注意低下状態、すなわち身体的には復帰能力があるが、知能的には意識離脱状態にあると判断する。
　このように、車両に搭載したシステム（情報処理装置）は、検出されるステータス（運転者状態）に応じて運転者の覚醒状態を推定、判断する。
　なお、運転者の覚醒から復帰までに影響する状態検出変数値として、睡眠の深さ、情報通知に対する認知応答の品質（例えば速さ、正確さ）についても自動運転中の運転者モニタリング値として取得する。
　なお、先に説明したように、運転者に対する情報通知には、手動運転復帰要請通知復帰通知の他、例えば運転者がタブレット操作や電話会議、荷台に移っての荷分け作業と言った場合、システムから車両非設置端末等に対して行われる様々な通知が含まれる。例えば、進行方向のＬＤＭ情報更新に伴う変化による走行可能モード変更通知や、運転者注意を促す定期、非定期の運転者意識的応答を促す通知等が含まれる。通知の態様はアラーム等の音声通知に限らず、運転者の保持するタブレット端末の表示部に出力する表示情報、腕時計などのウェアブル機器等も含まれる。
　システム（情報処理装置）は、このような様々な通知に対する運転者の応答を解析する。例えば、運転者は通知を認知した事を知らせるために、運転者の保持する端末の表示画面に対する操作、例えば画面通知応答アイコンのダブルタッチ処理等の操作を行うことで、認知したことを示す応答をシステムに返すことができる。応答入力はダブルタッチに限定する必要ななく、例えばレ点ジェスチャや時計・半時計まわり回転ジェスチャ入力など検出精度を上げる工夫を施してもよい。
　この運転者からの応答タイミングが通知送信後から遅れ、時間的な空き状態であるラグが長い場合は、運転者は端末を開いているが、実際には眠気で意識が低下しているといった判断を行うことができる。
　なお、運転者が端末を利用してゲームや映画鑑賞などを行っている最中に通知が必要となる場合は、ゲームや映画の再生を一時的に中断して通知を行う。システムにとって重要なのは、通知に対する運転者からの応答検出と応答品質であり、この解析のために、応答の時間的遅延や操作品質情報を取得する。
　先に、図１８等を参照して説明したタブレット端末は、ゲームや映画鑑賞など２次タスクが実行可能である。また、走行区間の接近状況も併せて表示することができる。メインの作業ウインドウで、ゲームや映画鑑賞などの２次タスクを実行している運転者は、走行区間の接近状況も併せて確認可能となる。
　このように、運転者の利用する２次タスク実行端末は、走行区間の接近状況も併せて表示可能なマルチタスク実行装置であることが望ましい。現行の多くのタブレット端末やスマートフォン端末の場合、サブウィンドウを利用することでマルチタスクが実行可能である。その他、ビデオ・プレイヤーやゲーム端末、テレビ電話会議システム等でもよい。
　このようなマルチタスク実行端末を利用することで、２次タスクを実行中の運転者に対しても進行方向の道路事情を運転者に知らせることができ、その応答情報を観測、解析することで、運転者の意識レベル、すなわち覚醒度を判定することが可能となる。
　以上、説明したように、運転者が車両に乗車した後に取得可能な運転者情報、すなわち、運転者の手動運転復帰品質の推定処理や評価処理に適用可能な運転者情報は、大別して、以下の２種類の情報によって構成される。
　（１）睡眠中など、運転者の意識離脱中の２次タスク検出時に行うパッシブモニタリング情報、
　（２）運転者の意識下で行う２次タスク検出時のシステムの応答確認用の通知やＬＤＭから得られた更新情報による手動運転復帰要請地点変更等に対する応答の評価記録情報、
　これらの情報によって構成される。
　なお、運転者は、車両が自動運転を行っている間は、睡眠や２次タスクの実行が可能である。このように意識離脱を許容した状況において、自動運転可能区間から手動運転区間への引き継ぎ地点が接近した場合、車両のシステム（情報処理装置）は、運転者に復帰地点が近づいていることの通知、すなわち手動運転復帰要請通知を遅延なく精度高く実行することが必要となる。
　このために、車両のシステム（情報処理装置）は、随時、運転者の状態を確認する定期モニタリングの周期等の見直しを行う。例えばモニタリング確認の間隔と検出手段の見直しを行う。
　具体的には、運転者が睡眠中であれば運転者の生体信号をモニタリング検出することで、睡眠の深さを観測することが可能である。この睡眠の浅い期間、いわゆるレム睡眠期では運転者の脳の活動は覚醒状態にあり、ＲＥＭ睡眠では名称の由来である急速眼球運動が観測されるなど、その状態は複数の観測手段でパッシブ検出が可能である。睡眠の浅い区間で復帰通知や警報を出すことで、目覚め品質を高くすることが可能となる。
　さらにシステムは車両が進行する旅程のＬＤＭから得られる進行侵入道路区間の安全性、運転者介入必要性等応じて、より安全と思わる区間で事前に引き継ぎ完了を済ませるための制御を行う。
　例えば、運転者の睡眠が深く、さらに自動運転可能区間から手動運転区間への引き継ぎ実施区間やその後の道路区間が危険な曲りくねった道路等である場合には、覚醒度低下状態での運転が危険であると判定し、このような道路区間への侵入前の安全と思わる区間で引き継ぎ完了を済ませるための制御を行う。
　なお、車両のシステム（情報処理装置）は、運転者が睡眠等で意識離脱中にも、運転者の状態判定に応じて異なる手段を選定して状態把握を行い、状況に応じた通知タイミングの算出を行う。システムが適切な通知タイミングと判定したポイントで運転者通知または覚醒アラーム等を出力して通知する。
　システムは、さらに、この通知に対する運転者の挙動について解析することになる。
　以下、この処理の詳細について説明する。
　　［７－（２）（ｂ）運転者に対する手動運転復帰要請通知の実行後に取得する運転者情報について］
　次に、運転者に対する手動運転復帰要請通知の実行後に取得する運転者情報について説明する。なお、取得する運転者情報は、運転者の手動運転復帰品質の推定処理や評価処理に適用可能な情報であり、さらに、通知タイミングの決定、更新等に利用可能な情報である。
　車両のシステム（情報処理装置）が、運転者に対して復帰通知や覚醒警報を発報する事で、運転者が通知を知覚、認知をした場合、何からの運転者による応答反応を起こすことが期待される。
　なお、車両のシステム（情報処理装置）が、運転者のモニタリング情報を用いて運転者状態に応じた通知を行う。例えば、運転者が睡眠中であれば振動や音による目覚めを促す警報を鳴らす。さらに、システムは、運転者の睡眠中に停止していた一部のモニタリング機能、例えば運転者の眼球挙動解析や行動解析機能を行うＴｏＦセンサやカメラ機能をスタンバイや停止状態から復活させ、運転者の詳細なモニタリングを再開する。
　車両のシステム（情報処理装置）は、例えば、運転者が仮眠から目覚め、起床後の起立や復帰歩行等の活動を行った場合、これらの運転者挙動をモニタリング情報として取得する。取得情報に基づいて運転者が活発動作を行っているか怠慢動作を行っているか等の解析処理（覚醒度解析）を行う。
　仮眠からの復帰推移観測に際しては、例えばＴｏＦセンサのような３次元計測機能を備えたカメラ等を用い、上体の起立推移、体位の移動、運転席移動推移、着座推移、シートベルト装着動作、道路前方確認動作などの情報を取得し解析する。
　運転者がタブレット端末など、システムに対する応答が可能な端末を利用して作業等の２次タスクを実行中であれば、システムからの通知に対する応答情報や、通知に対する運転者の確認状況を取得して記録する。システム（情報処理装置）内の記憶部に記録保存する。また、運転者からの応答としては、例えば、走行道路前方の指差呼称や指差し確認、指差喚呼のような応答を検出してもよい。
　システム（情報処理装置）からの通知態様としては、例えば以下のような様々な方式が利用可能である。
　音による通知、単純光源点滅点灯、マトリックスディスプレー等による記号提示、がある。
　これらの通知を理解した運転者による確認応答としては、例えば以下のような様々な応答方式が利用可能である。
　ａ．座席やステアリングハンドルなどの接触媒体に対するハプティックス入力に対する握りやペダル操作、
　ｂ．応答専用ペダルや既存操舵装置を介した操作入力、
　ｃ．専用のボタン操作など、
　ｄ．さらには、例えば腕時計などの車両設置と無線通信により通信接続した運転者装着型ＨＭＩ装置とを用いた操作、手足や首や顔表情などジェスチャ操作など、
　システム（情報処理装置）は、例えばこれらいずれかの運転者の挙動を検出し運転者の通知の認知応答を記録する。システム（情報処理装置）内の記憶部に記録保存する。この処理により、運転者の復帰要請の認知度合いを確認、評価することが可能となる。システムからの通知に対する運転者の認知度合いは、応答遅延時間や通知に対する姿勢復帰などの反応応答遅延量で評価することが可能である。
　システム（情報処理装置）は、運転者が手動運転復帰に必要な覚醒復帰が遅れているか否かの判断を行うことが必要となる。この判断は、運転者の復帰品質の評価処理として実行する。
　復帰品質評価の評価基準には、平均的な運転者人口の復帰特性を元に統計的に導き出された定量化された標準応答行動遅延量を参照する手法がある。しかし、運転者の行動特性に運転者毎の違いがあり、また過去の経験や車両の設計上の特性や安全面から速やかな対処が必要な車両もあれば、必要のない車両もあり、様々である。
　従って、通知処理や復帰品質評価処理は、運転者や車両固有の特性に見合った処理として行うことが理想的である。このために、運転者や車両固有の特性を考慮した学習処理を行い、学習結果を用いて運転者や車両固有の特性に見合った通知処理や復帰品質評価処理を行うことが好ましい。
　さらに、システムは、運転者復帰時の覚醒状態の評価のための処理として、以下のような処理を行ってもよい。
　例えば、運転者に手動運転復帰判定課題として目視課題を提示し、その課題に対する眼球詳細挙動解析から得られる脳内の知覚認知反射応答の解析を行い、この解析から得られた認知評価値を記録する。システム（情報処理装置）内の記憶部に記録保存する。視覚挙動を用いた脳内の覚醒復帰品質の評価手法に関して詳細は後述する。
　　［８．自動運転から手動運転への移行時の運転者の状態変化と観測情報、および復帰品質の評価処理について］
　次に、自動運転から手動運転への移行時の運転者の状態変化と観測情報、および復帰品質の評価処理について説明する。
　図２８は、自動運転から手動運転への移行完了までの残存猶予時間について説明するグラフを示した図である。システムが時間ｔ０において運転者に対して通知（手動運転復帰要請通知）を行った後、横軸の時間軸に沿った時間経過に従って右端の「引き継ぎ限界点」に至るまでの残存猶予時間を縦軸に示している。
　図２８に示す例は、自動運転可能区間から手動運転区間へのスムーズな移行を想定し、車両が定速走行をした場合の残存猶予時間を示している。なお、図２８の縦軸は定速走行時の残存猶予時間であるので、縦軸は実際の引き継ぎ限界地点までの距離と見ることもできる。
　グラフには、「個人固有データ例」、「平均的復帰推移データ」の２つのラインを示している。
　個人固有データ例は、ある１人の個人固有の学習データに基づくデータの一例である。
　平均的復帰推移データは、多数の観測データに基づく平均値である。
　これらはいずれも、引継ぎ限界点において手動運転へ引き継ぎを行った場合、予め定められた期待成功率（ＲＲＲ：Ｒｅｑｕｅｓｔｅｄ　Ｒｅｃｏｖｅｒｙ　Ｒａｔｅ）での引き継ぎを実現させるラインである。
　システムは、運転者のモニタリング情報に基づいて、予め定められた期待成功率（ＲＲＲ：Ｒｅｑｕｅｓｔｅｄ　Ｒｅｃｏｖｅｒｙ　Ｒａｔｅ）で、引継ぎ限界点において、運転者に手動運転への引き継ぎを実行させるための通知ポイントを、運転者固有復帰特性の学習辞書を用いて算出する。
　期待成功率（ＲＲＲ：Ｒｅｑｕｅｓｔｅｄ　Ｒｅｃｏｖｅｒｙ　Ｒａｔｅ）について説明する。期待成功率（ＲＲＲ）は、例えば、道路情報提供者が提供するローカルダイナミックマップ（ＬＤＭ）に規定されるデータである。すなわち自動運転可能区間から手動運転区間の切り替え地点、各地点の期待される手動運転切り替え成功率である。
　自動運転から手動運転への引き継ぎ地点の到達時刻をｔ（ＴｏＲ＿ｐｏｉｎｔ）（Ｔａｋｅ　ｏｖｅｒ　Ｒｅｑｕｅｓｔ地点）とし、この到達時刻において引き継ぎが既定成功率ＲＲＲ（Ｒｅｑｕｅｓｔｅｄ　Ｒｅｃｏｖｅｒｙ　Ｒａｔｅ）で引き継げるための算出引き継ぎバジェット（時間）をΔｔＭＴＢＴ　（Ｍｉｎｉｍｕｍ　Ｔｒａｎｓｉｔｉｏｎ　Ｂｕｄｇｅｔ　Ｔｉｍｅ）とする。
　この前提において、ＴｏＲ地点の到達する予測時刻ｔ（ＴｏＲ＿ｐｏｉｎｔ）に先立ち、｛ｔ（ＴｏＲ＿ｐｏｉｎｔ）－ΔｔＭＴＢＴ（Ｍｉｎｉｍｕｍ　Ｔｒａｎｓｉｔｉｏｎ　Ｂｕｄｇｅｔ　Ｔｉｍｅ）｝より前に引き継ぎ通知や警報を発報する必要がある。
　すなわち、接近する引き継ぎ地点で期待成功率（ＲＲＲ）を達成させるためには、モニタリング時間ｔ（ｎ）から次のモニタリング時間Δｔ後のｔ（ｎ＋１）で、
　｛ｔ（ｎ＋１）－｛ｔ（ＴｏＲ＿ｐｏｉｎｔ）－ΔｔＭＴＢＴ（Ｍｉｎｉｍｕｍ　Ｔｒａｎｓｉｔｉｏｎ　Ｂｕｄｇｅｔ　Ｔｉｍｅ）｝｝＜０
　となるｔ（ｎ）で、運転者に対する通知（手動運転切り替え要性通知）を行う必要がある。なぜならｔ（ｎ＋１）で通知を行ったのでは遅くなり過ぎ、手遅れになる。
　以上のことを端的に述べると、道路情報提供者が提供するローカルダイナミックマップ（ＬＤＭ）に規定されたＲＲＲを達成するためには、最小の引き継ぎ遅延許容バジェット（時間）が、運転者のモニタリングサイクル期間より長くなる前のタイミングに通知（手動運転切り替え要性通知）タイミングを設定することが求められる。
　図２８に示すモニタリング状態（観測状態）の推移、すなわち、以下の（ａ）～（ｇ）のモニタリング状態（観測状態）の変化点ｔ０～ｔ６は、予め定められた期待成功率（ＲＲＲ）で、引継ぎ限界点において、運転者に手動運転への引き継ぎを実行させるための通知ポイントである。
　例えば、運転者が運転席から離席して仮眠をしている状態（時間ｔ０以前）では、システムはパッシブモニタリングにより運転者が仮眠中であることを確認する。
　システムが時間ｔ０において運転者に対して通知（手動運転復帰要請通知）を行った後は、運転者状態やシステムによる運転者の観測状態が以下の（ａ）～（ｇ）のように変化する。
　（ａ）パッシブモニタリング（システムは運転者が仮眠中であることをパッシブモニタリングで観測）
　（ｂ）眼覚め、起床、周囲確認
　（ｃ）運転席復帰
　（ｄ）運転姿勢復帰
　（ｅ）能動的応答
　（ｆ）眼球挙動
　（ｇ）身体的な復帰能力確認（Ｓ／Ｐ）
　図に示す「個人固有データ例」、「平均的復帰推移データ」、これら２つのラインは、システムが時間ｔ０において運転者に対して通知（手動運転復帰要請通知）を行った後の上記（ａ）～（ｇ）の推移点を結んで生成されるラインである。
　図には、さらに、斜線領域の「ＲＥＤ　ＺＯＮＥ」を示している。この「ＲＥＤ　ＺＯＮＥ」は、例えば、実際の運転者の「観測データ」がこのゾーンに入った場合、再度、運転者に通知（手動運転復帰要請通知）を発報して早期復帰を促す必要があるゾーンである。このゾーンは予め規定される。
　なお、前述したように、図２８に示す例は、車両が定速走行を行った場合の自動運転から手動運転に移行完了までの残存猶予時間を示したグラフである。
　インフラの設計によっては手動運転の切り替え準備区間で車線本数を増やすなどして、車速を落としても道路全体の流量低下を招かないで済むような道路設定とすることも可能であり、高速道路の料金所等はその概念に基づいた設計と言える。
　図２８に示すグラフは、インフラの状況によって変更される。例えば、速度を落として引き継ぎ点までに減速制御を行い、引き継ぎ点への到達時間を引き延ばす制御を行うといった場合には、その制御を反映したグラフを生成して利用することが必要である。
　右端の「引き継ぎ限界点」の直前の「身体的な復帰能力確認（Ｓ／Ｐ：（Ｓｏｍａｄｉｃ／Ｐｈｙｓｉｃａｌ））」で示した区間は、運転者が実車の車両操舵を部分的に開始してこの区間で筋力的体力的な実質操舵評価を実施する期間である。システムが最終的に引き継ぎを運転者に完全に委ね終えるのは、運転者の手足の痺れや補正するべき実際に操舵機器の制御が期待範囲内に行われるのを確認が取れた時点となる。
　前述したように、図２８に示す例は、運転者が運転席から離席して仮眠をしていることを想定した場合の例である。手動運転引き継ぎ地点に到達するまで、車両が一定速度で走行をした場合の残存時間を示している。前述したように定速で示しているので実際の引き継ぎ限界地点までの距離位置と見ても良い。
　以下、（ａ）～（ｇ）の具体的な状態変化について説明する。
　（ａ：～ｔ０）
　まず、車両のシステム（情報処理装置）は、時間ｔ０以前のパッシブモニタリング期間において、どのタイミングで通知・覚醒をするべきか、またはそれが通知で良いのか目覚まし覚醒であるべきかを判断するモニタリングを行う。
　この例では、自動運転可能区間において、運転者が運転から完全に離脱したケースを想定している。具体的には運転者が仮眠をとっている想定である。
　システムは時間ｔ０以前のパッシプモニタリング期間において、運転者が寝ていることを検出した場合、引き継ぎ処理の前段階で、起床アラームを鳴らす最適なタイミングを算出する必要がある。
　運転者に良好な目覚めと引き継に安全な区間での引き継ぎを行わせることが望ましい。このために、システムは、道路環境のＬＤＭ情報、すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（ＬＤＭ）情報に基づいて最適な引き継ぎ実行区間を選定する。
　例えば、安全に自動運転から手動運転へ引き継ぎが行える直線道路区間、または引き継ぎがスムーズに行われなかった場合の減速や緊急退避、停車を行っても他の周囲走行車両への影響が低減できる区間で引き継ぎが完了する区間情報をＬＤＭから取得する。
　システムは、例えば、
　低危険度＊低影響＊浅い睡眠区間
　これらの複合的な判断を行って、通知タイミングを決定して復帰通知を行う。
　つまり、走行ルート進路で浅いレム睡眠を迎える最後の道路安全区間セグメントや緊急停車をしても渋滞発生の低リスクとなる最後の区間等で実際の通知、警報地点を決定する。引き継ぎ地点を、例えば道路の直線区間ではなく、山間部の狭いすれ違い不可能な狭い道路区間に侵入してから行ったり、レム睡眠後の深い睡眠に移行した区間で覚醒通知や警報を行ったりしても、眼覚めが悪く、また眼覚めて早々に複雑な道路捌きの判断が求められ危険な状況を招くことを避けるためである。
　（ｂ：ｔ０～ｔ１）
　システムは、運転者のモニタリング情報に基づいて、予め定められた期待成功率（ＲＲＲ：Ｒｅｑｕｅｓｔｅｄ　Ｒｅｃｏｖｅｒｙ　Ｒａｔｅ）で、引継ぎ限界点において、運転者に手動運転への引き継ぎを実行させるための通知ポイントを、運転者固有復帰特性の学習辞書を用いて算出する。
　システムが、時間ｔ０において運転者に通知を行うと、時間ｔ０以降において、運転者は目覚め、起床を開始する。
　運転者の起床は、ＴｏＦセンサやカメラによりシステムが検知して、この検知情報によって運転者の行動評価が可能となる。
　時間ｔ０～ｔ１の長さは、予め定められた期待成功率（ＲＲＲ）を得るための目覚め、起床に要する時間を学習処理によって算出したデータから割り振られたバジェットであり、許容される最大時間となる。平均的な復帰推移データは一点鎖線で示している。図に示す太い破線線（観測データ例）は観測データの一例である。
　この観測データ例が、一点鎖線で示す平均的復帰時間に沿っていれば遅れは生じていないことになる。
　縦軸に示す残存猶予時間は進行に伴い減少するので、一定以上の復帰遅延が生じると予め定められた期待成功率（ＲＲＲ）を実現する復帰が困難となる。斜線領域で示す「ＲＥＤ　ＺＯＮＥ」まで遅れた場合には、再度、運転者に復帰警告を発報して早期復帰を促す必要がある。可観測な運転者復帰ステータス情報と合わせ、早期復帰を促す情報も有効な復帰品質評価情報となる。
　　（ｃ：ｔ１～ｔ２）
　時間ｔ１～ｔ２に示す区間は、運転者の運転席移動が期待される区間となる。斜線領域で示す「ＲＥＤ　ＺＯＮＥ」を浸食する遅延が生じれば早期復帰を促す警報アラーム等を発報する。システムは、運転者の運転席への復帰観測を例えばＴｏＦセンサやカメラによる取得情報に基づいて行う。
　　（ｄ：ｔ２～ｔ３）
　運転者は、運転席に移動して着座したら、その後、運転姿勢を整える必要がある。運転席からの離席と復帰が日常的に行われるように今後進化した場合、速やかな復帰する場合や、さらに運転席の操舵姿勢に束縛されないより自由な姿勢の利用形態として、回転移動運転席の利用が想定される。
　システムは、運転者が運転姿勢から回転した状態の座席に復帰し、運転が出来る方角へ戻しシートベルトを装着するなど必要な復帰手順が正常に行われる事をモニタリングする。この復帰手順評価はＴｏＦセンサやカメラによる姿勢トラッキングの他、座席の回転運転姿勢復帰検出や着座センサ、体温分布や生体信号検出、シートベルト装着センサなどを用いて行う。時間に沿った検出情報に基づいて復帰品質の評価を行うことが可能である。
　　（ｅ：ｔ３～ｔ４）
　運転者が手動運転に必要な着座姿勢復帰をして、復帰要請を受けた引き継ぎ地点後に期待される手動運転侵入区間の注意情報や前方進行方角への目視による確認など、運転者とシステムの間でインタラクティブな確認応答動作を実施する。この処理により、システムは、運転者が正しい思考的手順を踏んだ応答を行っているか否かを判定する。
　運転者は、意識がもうろうとしている場合や無意識である場合、システムに対して正しい応答が困難であり、仮に覚醒が十分復帰していない運転者が応答を行っても、期待される応答からかけ離れた応答結果となる。
　システムが実行するインタラクティブ応答の確認処理としては、例えば運転者がハンドルを適切な握力で握っているか否かの確認、適切なペダルの踏込を行っているか否かの確認、音声のＡＩ認識による意味のある質疑応答等、様々な処理が可能である。
なお、利用者が煩わしさを伴う応答方法は嫌われるため、単純化した早期の応答結果が得られる手段が望ましい。
　インタラクティブな応答確認方法の一手法として、例えば指差呼称の様に、運転者が前方の目視確認のために指をさしながら視線で前方道路方角を目視確認するジェスチャ動作の評価も有効である。
　運転者の動作の遅れや、指差呼称の目と指と道路前方の配置関係を評価した指差しの正確性などが復帰品質として取得、記録することができる。すなわち、システム（情報処理装置）内の記憶部に記録保存することができる。
　　（ｆ：ｔ４～ｔ５）
　時間ｔ４～ｔ５の眼球挙動は、いわゆる「Ｓａｃｃａｄｉｃ」であり、運転者の応答特性の中で特に視覚に関わる眼球の高速動作挙動全般の評価を行う区間である。
　眼球には、三半規管による運動に伴う自身の回転移動等を打ち消す反射的挙動による挙動や、周辺視野に捉えた動体のリスク情報に対して中心視野を高速に移動させるサッカード動作がある。
　さらに、ほぼ中心視野に捉えた対象を知覚、認識、判断を行う過程で記憶に基づく判断を行うため、固視とその近傍でのマイクロサッカードやトレモア、ドリフトと言った挙動が進行する。他に注意誘引する事象の刺激優先度が一定以下であれば、運転者は視覚情報の判断が完結して認識をし、その結果判断に必要は結論に至る間に対象に視線を振り向けた状態となる。
　特に後者の挙動は脳内での理解判断に多く関わることから、この観察結果に基づいて覚醒状態の推定を行うことが可能となる。視線を新たな対象に移動するサッカード動作が行われる要因は、周辺視野に入るリ他のリスク要因であったり、サイレンなどの音に伴う刺激であったり、衝撃であったり、記憶に伴う刺激であったり、その発現要因は多様である。その結果、この眼球挙動の検出と発生頻度や持続時間は状況や運転経験や疲労度合いなど傾向はあるにしても個人差の大きな挙動となる。その一方で、運転者の覚醒度の復帰品質は、定常覚醒下の安定時挙動を基準に評価を行うことで、運転者の覚醒度評価を行う事ができる。
　車両が自動運転走行中に運転者が視線を振り向けて周囲環境情報を確認する際には、多種多様で様々なリスク要因に注意をする必要がある。運転者の視線解析に際しては、例えば車両の走行方向の前方シーンからセマンティックサリエンシーマップ（シーンに含まれるオブジェクト単位の注意予想分布マップ）を生成して、マップに対する運転者の視線挙動を解析する手法が利用可能である。しかし、走行中の道路は多様であり、運転者の視線挙動が期待されるものと異なることも多く、安定した挙動観測は難しい。
　自動運転から手動運転への引き継ぎの際の覚醒度の判断に許容される猶予時間は限られている。そこで、短期間に一定の課題を人工的に提示、その課題確認の際の眼球挙動を発現させ、安定した眼球挙動評価を行う事が有効となる。つまり、偶発的な走行中の前方風景に対する眼球挙動を観測するのでなく、システムが機械的に提示した課題に対する挙動解析を実施する。その評価手法は引き継ぎ注意情報をマトリックス情報の提示装置に提示して、その提示情報に対する運転者の眼球挙動を解析して運転者の覚醒度評価を行うことができる。
　　（ｇ：ｔ５～ｔ６）
　時間ｔ５～ｔ６の「復帰能力確認（Ｓ／Ｐ）」で示す区間は、運転者が実車の車両操舵を部分的に開始してこの区間で筋力的体力的な実質操舵評価を実施する期間である。
　システムが、運転者が手動運転復帰を実質的に開始できる判断すると、運転者の操舵機器に対する操舵に従って車両が走行を開始する。あるいは、運転者の操舵機器に対する操舵品質と実際の操舵妥当性評価を行いながら、徐々に自動運転制御の介在を抑制していき、運転者の手動運転への依存度を高めていく制御を行う。
　なお、運転者の覚醒復帰の最後の確認関門として、システムは、運転者に補正操舵を要するノイズ注入を行ってもよい。
　いわゆるシステム側で、わざと正常でないハンドル操作等を行い、これに対して運転者が操舵補正を正しく行えるかを判定する。補正操舵の遅延が観測された場合や、正しい補正操舵が観測されない場合は運転者がまだ混乱した思考状態にある。すなわち不十分な覚醒状態にあると評価される。一旦、手動運転操舵へ移行が進められた場合は、運転者による中途半端なシステム依存の手動運転は回避することが必要である。
　復帰の手順としての品質では無いために上記手順には記していないが、システム（情報処理装置）内の記憶部に記録保存する観測情報の取得の観点で重要なステップの一つとして、運転者による自動運転から手動運転へのシステムのステータス切り替え完了の確認作業がある。
　通常、運転者は車両が自動運転モードにあるか、手動運転モードにあるか等のステータス確認を行う場合、コントロールパネル等に表示されるシンボル通知マーク等を目視で確認する。
　今後、自動運転が多用されるようになると、車両が手動運転モードにある場合に、運転者が自動運転状態にあると錯覚して、手動運転を放棄するリスクがある。このような場合、重大事故になりかねず、時間ｔ５～ｔ６の「復帰能力確認（Ｓ／Ｐ）」区間においても、運転者の観測を継続して運転者状態や運転者操作情報、その他の発生事象を観測、取得して記録する処理を行う構成とすることが望ましい。つまり、手動運転中に運転者自身が携わっている走行モードを明確に自覚しているか、運転者による確認作業の発生有無を記録することが望ましい。すなわち、システム（情報処理装置）内の記憶部に記録保存することが望ましい。
　取り分け従来型のいわゆる自動運転レベル２等の部分的な自動運転が多用されるようになると、運転者による手動運転の自覚が欠如するリスクが発生する。そのリスクを最少化する必要があり、復帰手順の遅れや品質記録に準じて、レベル４以上の完全全自動運転中以外のモード時の走行中では運転者による限走行モードのステータスの確認作業の発生有無を記録管理し、確認作業を怠った際には段階的なペナルティを科す制御を導入することで、運転者は定期的な自動運転運転モード利用状況確認を自主的且つ定期的に行う感覚を芽生えさせることができ、確認状況記録を残し、その記録に基づき多様なペナルティを生成する事で初めて本能的かつ直観的に自車の走行モードを定期確認した手動運転の利用行動が発育して安全な自動と手動運転の混在利用が可能となる。
　言い換えると、一見、自動運転から手動運転への切り替えや手動運転から自動運転への切り替えは、道路区間が各走行モードに適した状況に合わせて、運転者に走行モードの切り替えを煩わせることなく自動でシームレスに切り替えるのが便利であると思われる。すなわち、利便性という視点で見ると人間工学的にみてよいと思われがちである。
　しかし、運転者への通知や、通知の運転者の認識を確認することなく、このような自動切り替えを利用すると、場合によって自動運転システムが機能していないことを運転者が見過ごしてしまうことが発生し得る。すなわち、手動運転で必須な前方や周辺注意義務を怠る結果を招きかねず、その瞬間に危険な事態が急接近している可能性もある。つまり、有事が発生しない場合には極めてドライバフレンドリな引継ぎ手順に思えるが、他方でいざ手動運転による判断を伴う制御が求められる区間に接近している際に極めて危険な事態を招く負の側面がある。このような負の側面を低減させるため、本開示に示す運転者によるシステム状態把握の記録とその記録に基づく利用管理が重要となるすなわち、システム（情報処理装置）内の記憶部に記録保存された観測情報とその利用管理が重要となる。ペナルティは記録の利用形態の一例である。
　なお、図２８を参照して説明した例は、車両が一定速度で走行しながらスムーズな自動運転から手動運転への引き継ぎが行われ、道路の周囲の車両の流れを乱す事のない引き継ぎが行われた例である。
　システム（情報処理装置）は、道路環境のＬＤＭ情報、すなわち車両が走行する道路の走行地図情報を高密度で且つ常時更新するいわゆるローカルダイナミックマップ（ＬＤＭ）情報から得られた道路状況に基づく処理を行う構成としてもよい。
　例えば、巡航速度の異なる車両レーンがある場合、引継ぎ地点への到達前に低速レーンに移動するといった処理である。
　また、周囲車両の密度が低く減速をしても影響を及ぼさない場合には、減速して猶予時間を稼ぎ、より安全な復帰を可能とする制御を行ってもよい。周囲巡航速度となる一定速度での復帰は常に守るべき制御では無く、復帰途中であっても運転者の期待通りの期待成功率（ＲＲＲ）での復帰が困難と判断された場合等においては車両の減速といった安全優先の対応を行うべきである。
　すなわち、安全に問題が生じると判断され場合には、周辺の他の車両へ影響を及ぼしたとしても車速を落とし、引き継ぎ限界地点への到着を遅らせる処置や早期の退避処置に移行するといった安全優先の制御を行うことが好ましい。
　定速走行での復帰を行うにせよ、道路の余裕度から減速して復帰を行うにせよ、システムは復帰推移を観測し、観測値や復帰品質評価値を取得して記録する。すなわち、システム（情報処理装置）内の記憶部に記録保存する。この記録データに基づいて運転者のシステム依存走行や意図的な復帰遅延が生じているか解析が可能となる。この解析処理の結果は、例えば事故の発生要因の究明等の大きな手掛かりとなり、安全な車両走行を実現するために有用なデータとなる。また復帰品質の低下に対するペナルティを繰り返し科す仕組みは、運転者による自主的な早期対応を習慣化させるために有効であり、過剰なシステムの依存的な利用を抑制させることができる。
　前述したように図２８に示す例は、運転者が運転席から離席して仮眠をしている状態で、システムが時間ｔ０において運転者に対して通知（手動運転復帰要請通知）を行った後の、運転者状態やシステムによる運転者の観測状態（（ａ）～（ｇ））の変化点を接続したグラフである。
　運転者が仮眠中に、時間ｔ０でシステムが運転者に通知（手動運転復帰要請通知）を行った場合は、運転者状態やシステムによる運転者の観測状態が以下の（ａ）～（ｇ）のように変化する。
　（ａ）パッシブモニタリング（システムは運転者が仮眠中であることをパッシブモニタリングで観測）
　（ｂ）眼覚め、起床、周囲確認
　（ｃ）運転席復帰
　（ｄ）運転姿勢復帰
　（ｅ）能動的応答
　（ｆ）眼球挙動
　（ｇ）復帰能力確認（Ｓ／Ｐ）
　この状態変化（ａ）～（ｇ）は運転者の初期状態が仮眠状態である場合に固有の状態変化である。
　運転者状態やシステムによる運転者の観測状態の推移は、運転者の初期状態に応じて異なる推移となる。
　図２９は、運転者の異なる初期状態に応じた状態変化の推移と推移タイミングの例を示す図である。
　図２９には、以下の４つの運転者の異なる初期状態に応じた状態変化の推移例を示している。
　（１）運転者が仮眠スペースで仮眠している場合
　（２）運転者が運転席を離席して起きている（覚醒状態）場合
　（３）運転者が運転席に着座しているが運転姿勢ではない場合
　（４）運転者が運転姿勢のまま２次タスクを実行している場合
　（１）運転者が仮眠スペースで仮眠している場合は、図２８を参照して説明した例に対応する。すなわち、運転者状態やシステムによる運転者の観測状態が以下の（ａ）～（ｇ）のように変化する。
　（ａ）パッシブモニタリング（システムは運転者が仮眠中であることをパッシブモニタリングで観測）
　（ｂ）眼覚め、起床、周囲確認
　（ｃ）運転席復帰
　（ｄ）運転姿勢復帰
　（ｅ）能動的応答
　（ｆ）眼球挙動
　（ｇ）復帰能力確認（Ｓ／Ｐ）
　（２）運転者が運転席を離席して起きている（覚醒状態）場合には、運転者状態やシステムによる運転者の観測状態が図２９に示すように、以下の（ｈ）～（ｇ）のように変化する。
　（ｈ）運転手が運転席を離席している状態（システムは運転者が運転席を離席している状態であることをパッシブモニタリング、およびアクティブモニタリングで観測）
　（ｃ）運転席復帰
　（ｄ）運転姿勢復帰
　（ｅ）能動的応答
　（ｆ）眼球挙動
　（ｇ）復帰能力確認（Ｓ／Ｐ）
　すなわち（１）の初期状態が仮眠の場合の（ａ）パッシブモニタリング、（ｂ）眼覚め、起床、周囲確認が、
　（ｈ）運転手が運転席を離席している状態（システムは運転者が運転席を離席している状態であることをパッシブモニタリング、およびアクティブモニタリングで観測）
　に変更される。
　また、状態（ｈ）から「状態（ｃ）運転席復帰」への移行時間（ｔ１１）は、（１）の初期状態が仮眠の場合の「状態（ｂ）眼覚め、起床、周囲確認」から「状態（ｃ）運転席復帰」への移行時間（ｔ１）より、先行した時間となる。
　状態（ｈ）は、「状態（ｂ）眼覚め、起床、周囲確認」より、運転者の意識がはっきりした覚醒状態であるためである。
　（３）運転者が運転席に着座しているが運転姿勢ではない場合には、運転者状態やシステムによる運転者の観測状態が、図２９に示すように以下の（ｉ）～（ｇ）のように変化する。
　（ｉ）運転手が運転席で非正規姿勢状態（システムは運転者が運転席で非正規姿勢状態であることをパッシブモニタリング、およびアクティブモニタリングで観測）
　（ｄ）運転姿勢復帰
　（ｅ）能動的応答
　（ｆ）眼球挙動
　（ｇ）復帰能力確認（Ｓ／Ｐ）
　すなわち（１）の初期状態が仮眠の場合の（ａ）パッシブモニタリング～（ｃ）運転席復帰が、
　（ｉ）運転手が運転席で非正規姿勢状態（システムは運転者が運転席で非正規姿勢状態であることをパッシブモニタリング、およびアクティブモニタリングで観測）
　に変更される。
　また、状態（ｉ）から「状態（ｄ）運転姿勢復帰」への移行時間（ｔ２２）は、（２）の初期状態が運転席離席の場合の「状態（ｃ）運転席復帰」から「状態（ｄ）運転姿勢帰」への移行時間（ｔ１２）より、先行した時間となる。
　状態（ｉ）は、既に運転席にいる状態であり、運転席への復帰動作が不要となるためである。
　（４）運転者が運転姿勢のまま２次タスクを実行している場合には、運転者状態やシステムによる運転者の観測状態が、図２９に示すように以下の（ｊ）～（ｇ）のように変化する。
　（ｊ）運転手が運転席で２次タスクを実行中（システムは運転者が運転席で２次タスクを実行中であることをパッシブモニタリング、およびアクティブモニタリングで観測）
　（ｅ）能動的応答
　（ｆ）眼球挙動
　（ｇ）復帰能力確認（Ｓ／Ｐ）
　すなわち（１）の初期状態が仮眠の場合の（ａ）パッシブモニタリング～（ｄ）運転姿勢復帰が、
　（ｊ）運転手が運転席で２次タスクを実行中（システムは運転者が運転席で２次タスクを実行中であることをパッシブモニタリング、およびアクティブモニタリングで観測）
　に変更される。
　このように、運転者状態やシステムによる運転者の観測状態の推移は、運転者の初期状態に応じて異なる推移となる。
　　［９．システムからの通知に対する運転者の応答を確認するための具体例について］
　次に、車両のシステムからの情報通知に対する運転者の応答を確認するための具体例について説明する。
　なお、前述したように、運転者に対する情報通知には、手動運転復帰要請通知復帰通知の他、様々な通知が含まれる。例えば、車両の進行方向に対応するＬＤＭ情報の更新に伴う走行可能モード変更通知や、運転者に注意を促す定期、非定期の通知、運転者の意識的応答を促す通知等、様々な通知が含まれる。通知の態様も、アラーム等の音声通知に限らず、運転者の保持するタブレット端末の表示部に対する出力等、様々な通知が行われる。
　以下、これらの通知に対する運転者の応答を確認するための具体例について説明する。
　（１）応答確認具体例１
　まず図３０を参照して、通知に対する運転者応答をペダルを利用して確認する構成例について説明する。
　従来のマニュアル車であれば、運転者は変速機のギアを入れ替える際に、クラッチペダルを踏み、エンジンである駆動装置と車両の駆動輪の連結を切ってからギアの入れ替えを行っていた。その切り替えはギアボックスで歯車を破損させることなく、別のギア比に変更する上で不可欠な手順である。
　例えば車両のシステムが、運転者によるギア入れ替えを観測することで、運転者の意識・覚醒度合いを確認することができる。例えば、自動運転から手動運転へ移行する際の通知等、様々な通知に対する応答として、ギア入れ替えと同様の操作を運転者に行わせる。この運転者の操作を観測すれば、運転者の覚醒レベルを確認できる。
　具体的には、システムから運転者に対する通知に対する運転者の応答処理として、運転者に、図３０に示す応答用ペダル（覚醒度判定用ペダル）４０１の踏込みを行わせる。すなわち、クラッチペダルや足押式のパーキングブレーキ操作の様に、左足によるペダルの踏込みやその踏込手順を行わせる。
　このように、運転者に、復帰通知や復帰警報に定める手順の一環としてペダル操作を行わせることで、運転が自動運転状態から手動運転への復帰要請を受け入れた状況をシステムへ知らせることが可能となる。また、運転者が正しい操作をしたか否かを検出することで運転者が十分な覚醒状態にあるか否かを確認できる。
　なお、具体的な運転者による操作の観測データとしては、例えばペダルの踏込によるトルクや操作スピードなど機械的操作状況の計測値が取得できる。あるいはステレオカメラや、ＴｏＦや、ストラクチャードライト方式等を用いて、足の動作解析データを取得する非接触型の光学的計測手法を適用してもよい。
　なお、光学的な非接触型の観測を行う場合、赤外線を主成分とするＩＲ光を利用することが好ましい、赤外光を利用することで、足元方向から運転者視界に入る光による視界妨害を抑制することが可能となる。
　また、図３０に示す例は、応答用ペダル（覚醒度判定用ペダル）４０１がブレーキペダルに隣接して配置されているが、運転者がブレーキペダルと間違えると車両に急制動が掛り後続車による追突リスクが発生する。
　このような事態を避けるため、例えば、予め運転者に対して、応答用ペダル（覚醒度判定用ペダル）４０１の正しい踏み込み方は、ゆっくり穏やかに、かつペダルの全踏み込み量のほぼ中間位置ぐらいまでの踏み込みであることを通知しておく。ここで通知とは利用時の一時的通知に限らず、利用マニュアルや自動運転者の運転教育を含めてもよい。
　この通知に反して、強い踏み込みや、ペダルの全踏み込み位置までの踏み込みが検出された場合は、運転者が慌てていたと判断し、覚醒レベルが不十分であると判定することができる。
　さらに、人間工学的な視点でのフェールセーフ機構の一環として、運転者が危険を感じてブレーキのつもりで応答用ペダル（覚醒度判定用ペダル）４０１を強く踏んだことが検出された場合には、緊急時の自動緊急時制動システム、いわゆるＡＥＢＳを用いて緊急停止させるといった制御を行う構成としてもよい。ただし、このような操作が検出された場合、ペナルティ対象となる。
　運転者は基本的には応答用ペダル（覚醒度判定用ペダル）４０１の慎重なゆっくりとした踏み込みを行うことが要請される。運転者が正常な覚醒状態であれば単なる反射的ペダルの押し込みとは異なる安定した踏み込みが行われるはずである。このように、応答用ペダル（覚醒度判定用ペダル）４０１の踏み込み態様を観測することで、運転者の覚醒状態を推定することができる。つまり手順や操作が安定していない状況を検出するとシステムは運転者にペナルティを繰り返し科す。すると、運転者はこのペナルティ状態に陥ることを回避する操作を行うようになり、これが習慣付くことが期待される、また、この操作は慎重な判断に基づいて行われることになり、無意識の反射反応的な操作ではなくなるというメリットもある。
　運転者が、覚醒度が高い十分な意識下でペダルを踏み込んでいるか、あるいは例えば目覚め途中の意識の低下した状態でペダルを踏み込んでいるかを判定する手法としては例えば以下の方法が利用できる。
　エンコーダ等によるペダルに加わる踏み込み量の機械的変動量、踏込圧力の計測値等が利用できる。
　また、ＴｏＦセンサや３Ｄ　Ｆｌａｓｈ　Ｌｉｄａｒやステラクチャ―ドライト法によるセンサや２次元カメラ画像解析、ステレオカメラと言った手法で足の挙動解析から得られるデータも利用可能である。
　これらのデータを利用して運転者の覚醒品質の評価を行うことができる。
　なお、ペダル操作の解析に際しては、統計手法等で算出した閾値判定を行うことが可能であるが、個人差を考慮して精度を高めた解析を行うためには、個人挙動評価を繰り返し行い、ＣＮＮ（畳み込みニューラルネットワーク）等の機械学習を用いて学習辞書を利用した解析を行うことが好ましい。
　　（２）応答確認具体例２
　次に、眼球の挙動解析を利用した応答確認例について説明する。
　運転者の意識復帰を確認する他の有効な手段として眼球の挙動解析がある。例えば、視線を振り向けた方向を解析して視線を解析することが可能であることは、従来から知られている。この技術をさらに発展させ、高速で視線挙動の解析を行うことで、眼球のより詳細な挙動検出ができる。
　眼球の詳細挙動解析は、生体反射的に現れる挙動が一部あるものの、その挙動には脳内の神経伝達と処理を反映して現れる多くの現象も同時に見られるため、脳の認知等の活動結果が反映され、表に見える形になる。
　眼球挙動に脳内の活動が反映されることを利用して、運転者の覚醒レベルを高精度で推測する。
　人が行動に必要な状況判断を行う場合に取得する外界情報は、視覚的情報から得られるものが多い。人が視覚的情報を知覚し、認識し、行動に移す際に、人は情報に視線を向けて、その情報と自身の記憶（記録知識）との比較参照を行う。視線の先の情報を理解するまでの間、人は、その情報が見える部分やその近傍に視線を向けたまま細かな固視、マイクロサッケード、トレモア、ドリフトと言った視覚情報認知に必要となる特定の眼球挙動を示すことが知られている。
　この眼球挙動は、人が正常な覚醒状態にある場合と、意識・覚醒低下状態にある場合とでは、異なる振る舞いを示す。
　ある情報を見るように視覚課題を提示した際の運転者の眼球挙動の軌跡の一例を図３１に示す。
　図３１に示す例は、人がまず、領域ａ付近を注視し、その後、領域ｂ付近を注視した際の眼球挙動の軌跡を示したものである。
　ある情報（課題）を目視して内容を理解しようとする場合、人は図３１に示す挙動軌跡のように大きなサッケードと呼ばれる眼球回転を行い、所定の目視箇所に眼球を振り向け、その近傍でＦｉｘａｔｉｏｎ（固視）とマイクロサッケードを伴う眼球挙動を行う。
　例えば、自動運転中に、運転者の意識保持が継続しているか否かを確認するためには、定期的なモニタリングを行うことが必要である。運転者を過度に煩わせることなくモニタリングを実施するため、システムは、例えば何らかの思考的判断を要するシンボルを運転者に提示し、眼球挙動を観測する。この観測結果として運転者が視線による思考的確認動作が行えていることが観測された場合、運転者は脳内の思考活動を課題対処のために優先して実行し、その他の２次タスクに没頭したままではないことが推察される。
　また、システムが運転者の視線が提示情報に振り向けられたことを検出し、検出したことをさらに目視認知したことを受けて認知完了と判断する処理を行ってもよい。
　図３２に示すフローチャートを参照して、車両のシステム（情報処理装置）が実行する運転者への情報通知に基づく運転者の眼球挙動の観測処理による運転者の意識レベル（覚醒度）の判定処理シーケンスについて説明する。
　フローに示す各ステップの処理について、順次、説明する。
　　（ステップＳ１０１）
　まず、システムは、ステップＳ１０１において、運転者に対する提示情報を選択、または生成する。
　例えば手動運転への切り替えタイミングが近づいていることを示す通知等からなる提示情報である。
　　（ステップＳ１０２）
　次に、システムは、ステップＳ１０２において、ステップＳ１０１で生成または選択した情報を運転者に対して提示する処理を行う。
　　（ステップＳ１０３）
　次に、システムは、ステップＳ１０３において、提示情報に対する運転者の眼球挙動解析を行う。
　意識レベル（覚醒レベル）の高い運転者は、例えば、先に図３１を参照して説明した領域ａやｂに示すような眼球挙動、すなわちＦｉｘａｔｉｏｎ（固視）とマイクロサッケードを伴う眼球挙動を行う。
　このような眼球挙動が観測された場合は、運転者が通知情報を認識したと判定することができる。
　　（ステップＳ１０４）
　次に、システムは、ステップＳ１０４において、予め規定された時間内に、運転者が通知情報の認識を完了したかを判定する。
　すなわち、上述した眼球挙動、すなわちＦｉｘａｔｉｏｎ（固視）とマイクロサッケードを伴う眼球挙動が観測されたか否かを判定する。観測された場合は、運転者が通知情報の認識を完了したと判定し、ステップＳ１０５に進む。
　一方、観測されなかった場合は、運転者が通知情報の認識を完了していないと判定し、ステップＳ１０７に進む。
　　（ステップＳ１０５）
　ステップＳ１０４の判定処理において、運転者が規定時間内に通知情報の認識を完了したと判定した場合、システムは、ステップＳ１０５において、運転者にシステムによる確認（運転者が通知を認識したことの確認）が完了したことを通知する。
　　（ステップＳ１０６）
　さらに、システムは、ステップＳ１０６において、ステップＳ１０５の通知情報に対する運転者の眼球挙動解析を行う。
　意識レベル（覚醒レベル）の高い運転者は、例えば、先に図３１を参照して説明した領域ａやｂに示すような眼球挙動、すなわちＦｉｘａｔｉｏｎ（固視）とマイクロサッケードを伴う眼球挙動を行う。
　このような眼球挙動が観測された場合は、運転者が通知情報を認識したと判定し、処理を終了する。
　　（ステップＳ１０７）
　一方、ステップＳ１０４の判定処理において、運転者が規定時間内に通知情報の認識を完了していないと判定した場合、システムは、ステップＳ１０７において、緊急退避処置を行う。あるいは、危険度が少ない場合は、継続走行の後、退避エリアに侵入して停止する。いずれの場合も運転者にはペナルティを科す。
　運転者に通知を行った際の運転者からの認知応答を確実に確認するため、システムは、運転者に情報（＝覚醒確認課題）の提示を行う際に、情報を見ることだけではなく、提示した情報の内容を把握することを求める課題を課すことが有効である。
　「提示された内容の把握を求める課題」の一例として、例えば文章による「右を見よ」「下を見よ」と言った意味、セマンティック情報の利用がある。あるいは、例えば、「犬」という文字を提示するとともに、犬と犬に似た他の動物のシルエットを散りばめた図形シルエットを提示して、犬のシルエットを選択させるといった方法もある。この場合、視認者はシルエットが課題と同じであるか確認する。
　シルエットの情報提示は必ずしも正常配置である必然性は無く、解釈思考が求められる回転や複数の複雑な姿勢としたシルエットを含めることが有効である。視認者は、シルエットの内容理解を行うために、細かな眼球挙動を行うことが期待される。この眼球挙動の解析により、より確度の高い覚醒状態の判定が可能となする。
　図３３は、運転者の意識レベル、すなわち覚醒度を確認する提示情報の例であり、馬と言う課題と４つの動物のシルエットからなる提示情報の例である。４つのシルエットの内、右下の図が馬の確度が高いが本当に馬であるか、尾の形状や頭部や足の特徴を確認する為に、固視とマイクロサッケードの発現が期待される課題である。
　内容を正確に把握するには、シルエットの幾つの情報の詳細を観察する必要がある情報を提示すると、単に提示された情報に視線を振り向けるだけでなく、その目視情報の特徴を得る固視を繰り返し、記憶と比較照合することで判断を完結させる。
　脳内での認知知覚活動の発現は、必ずしも課題に対する正確な答えが導き出される必要はない。重要となるのは、俊敏な答えを探索するサッケードや固視やマイクロサッケードと言いた情報の認知理解を目的とした認知の発現有無である。
　つまり、運転者は提示課題に従って内容理解を行う必要から、眼球よる情報探索処理を行い、この処理特有の眼球挙動特性を示すことになる。
　なお、例えば、運転者が運転席から離れた地点で作業を行っている場合、運転者が作業を中断して運転席に復帰した後、運転者に眼球挙動観測のための課題を提示する。この提示課題に対する運転者の眼球挙動を観測することで、運転者の覚醒復帰品質を定量的に評価することが可能となる。
　特に、自動運転から手動運転への復帰通知を行う場合、運転者に対するメッセージや注意情報からなる通知を、例えば、図３４に示す車両内のＨＵＤ（ヘッドアップディスプレイ）４２１や、インスツルメンツパネル４２２等に表示する。
　この表示に対する運転者の目視確認の際の眼球の挙動を解析することで通知に対する認知品質の評価を行うことができる。観測手段による検出精度は異なるものの、評価は必ずしも高精度な眼球そのものの挙動詳細解析に限定して行う必要はなく、頭部挙動、顔の表情認識などと言ったより簡便な手法を用いて評価を行ってもよい。
　以上、複数の応答確認処理の具体例について説明した。
　今後も、一般乗用車は、車両としての利点である自由な２点間の移動手段として多く利用されることが予測される。今後、自動運転の普及や、ローカルダイナミックマップ（ＬＤＭ）情報の充実化、その他のソフト、ハード各技術の進歩などにより、道路区間単位で、完全自動運転区間の他、自動走行支援サービス、遠隔支援サービスの利用可能な区間、車対車間通信や先導車両による誘導が利用可能な区間等、様々な道路区間が混在することが予測される。
　運転者は、これらの区間を跨ぐ境界毎に、車両を自動運転から手動運転やその逆の切り替えをスムーズに行うことが要請される。例えば、区間の境界で引き継ぎ不全が発生し、緊急減速、徐行、停車等の措置が行われると、交通渋滞や、後続車の追突などの事故や渋滞の誘発要因となる。従って、自動運転から手動運転やその逆の切り替えをスムーズに行えないと社会インフラとしての道路の健全な利用を阻害することになる。
　例えばバス等の公共交通手段の乏しい過疎地において、運転能力の優れない利用者が非幹線道路に接する自宅所在地から、幹線道路を介して都市部に所在する病院などの施設に出かける場合に自動運転走行機能を備えた車両を利用すると仮定する。この場合、幹線道路を利用しない経路では、道路交通量も限定的であり、自車が停車しても渋滞になるリスクは極めて低く、その区間であれば低速で自動走行を行いながら進むことができる。
　また、運転者が一定以上の操舵能力を有していれば、運転者の対処能力に応じたより高速の走行を行ってもよい。
　さらに高速走行支援が得られる場合は、より高速な走行が許容される。高速走行支援の形態としては、ＬＤＭ情報、自動運転支援を行う先導車両、遠隔支援システム等がある。
　遠隔支援を受けて走行するか、先導車両による情報を受けて自動走行を行うか、または部分自動運転支援下でのマニュアル運転を行うかなどの選択には、運転者自身の正しい判断が必要となる。走行ルート上に様々な異なる区間が存在すると、この判断を正しく行うことが安全走行のために不可欠である。このためにも運転者の覚醒状態を継続的に観測し、記録保存することは重要である。
　車両が都市部等に到達した後は、自動運転に必要なＬＤＭの最新の更新データを継続的に利用することが可能となる場合が多い。多くの場合、商業地区では自動運転の利用を支援する環境整備が先行して行われるためである。特に市街中心地では車両が多く、自動運転による効率化の効果が大きくインフラ投資がしやすく、自動運転に必要な交通インフラ等の整備が先行して行われる。
　このように都市部では自動運転を可能とするインフラ整備が先行するが、一方、交通量の少ない地域でのインフラ整備は遅れることになる。結果として、自動運転機能を搭載した車両の利用者は、自動運転と手動運転の双方を、逐次、切り替えながら走行することを要求される。
　運転者が、各区間において自動運転と手動運転を切り替えて、安全な走行をするためには、自動運転と手動運転を切り替え時の復帰品質を高く維持することが必要である。復帰品質を高く維持することにより、渋滞発生が低減され、また緊急停止や減速による追突事故等、誘発的二次被害の発生も抑制することが可能となる。
　この支えとなる技術が、運転者の自動運転から手動運転へ復帰する際の復帰品質の維持であり、また運転者の観測データの取得、記録、解析処理である。
　本開示の情報処理装置のデータ処理部は、自動運転から手動運転への移行、または手動運転から自動運転への移行時の前記運転者の一連の行動の一部または主たる行動を観測情報として取得し、記憶部に格納する観測情報記録処理を実行する。さらに、情報処理装置から運転者に対する要請であるシステム要請に対する運転者の行動遅延量を解析し、解析結果を自動運転から手動運転への復帰品質評価値として記憶部に格納する。データ処理部は、この復帰品質評価値に基づいて運転者にペナルティを科す処理を実行する。
　　［１０．情報処理装置の構成例について］
　上述した処理は、図８を参照して説明した移動装置の構成を適用して実行することが可能であるが、その処理の一部は、例えば移動装置に着脱可能な情報処理装置において実行することが可能である。
　図３５を参照して、このような情報処理装置のハードウェア構成例について説明する。
　図３５は、情報処理装置のハードウェア構成例を示す図である。
　ＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）５０１は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）５０２、または記憶部５０８に記憶されているプログラムに従って各種の処理を実行するデータ処理部として機能する。例えば、上述した実施例において説明したシーケンスに従った処理を実行する。
　ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）５０３には、ＣＰＵ５０１が実行するプログラムやデータなどが記憶される。これらのＣＰＵ５０１、ＲＯＭ５０２、およびＲＡＭ５０３は、バス５０４により相互に接続されている。
　ＣＰＵ５０１はバス５０４を介して入出力インタフェース５０５に接続され、入出力インタフェース５０５には、各種スイッチ、キーボード、タッチパネル、マウス、マイクロフォン、さらに、センサ、カメラ、ＧＰＳ等の状況データ取得部などよりなる入力部５０６、ディスプレイ、スピーカなどよりなる出力部５０７が接続されている。
　なお、入力部５０６には、センサ５２１からの入力情報も入力される。
　また、出力部５０７は、移動装置の駆動部５２２に対する駆動情報も出力する。
　ＣＰＵ５０１は、入力部５０６から入力される指令や状況データ等を入力し、各種の処理を実行し、処理結果を例えば出力部５０７に出力する。
　入出力インタフェース５０５に接続されている記憶部５０８は、例えばハードディスク等からなり、ＣＰＵ５０１が実行するプログラムや各種のデータを記憶する。通信部５０９は、インターネットやローカルエリアネットワークなどのネットワークを介したデータ通信の送受信部として機能し、外部の装置と通信する。
　入出力インタフェース５０５に接続されているドライブ５１０は、磁気ディスク、光ディスク、光磁気ディスク、あるいはメモリカード等の半導体メモリなどのリムーバブルメディア５１１を駆動し、データの記録あるいは読み取りを実行する。
　　［１１．本開示の構成のまとめ］
　以上、特定の実施例を参照しながら、本開示の実施例について詳解してきた。しかしながら、本開示の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本開示の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。
　なお、本明細書において開示した技術は、以下のような構成をとることができる。
　（１）　車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
　前記データ処理部は、
　前記運転者の観測情報を取得し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する情報処理装置。
　（２）　前記車両は、自動運転と手動運転の切り替えが可能な車両であり、
　前記データ処理部は、
　自動運転から手動運転への移行時、または手動運転から自動運転への移行時の少なくともいずれかの移行時の前記運転者の一連の行動の一部または主たる行動を観測情報として取得し、記憶部に格納する観測情報記録処理を実行する（１）に記載の情報処理装置。
　（３）　前記車両は、自動運転と手動運転の切り替えが可能な車両であり、
　前記データ処理部は、
　自動運転から手動運転への移行時、または手動運転から自動運転への移行時の少なくともいずれかの移行時の前記運転者の一連の行動の一部または主たる行動を観測情報として取得し、さらに、
　前記情報処理装置から前記運転者に対する要請であるシステム要請に対する前記運転者の行動遅延量を解析し、解析結果を自動運転から手動運転への復帰品質評価値として記憶部に格納する観測情報記録処理を実行する（１）または（２）に記載の情報処理装置。
　（４）　前記データ処理部は、
　前記復帰品質評価値に基づいて、運転者にペナルティを科す処理を実行する（３）に記載の情報処理装置。
　（５）　前記車両は、自動運転と手動運転の切り替えが可能な車両であり、
　前記データ処理部は、
　前記運転者の覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する（１）～（４）いずれかに記載の情報処理装置。
　（６）　前記データ処理部が取得する観測情報は、
　前記運転者の車両乗車前の観測情報、
　前記運転者の車両乗車後の観測情報、
　の双方を含む（１）～（５）いずれかに記載の情報処理装置。
　（７）　前記運転者の車両乗車前の観測情報は、
　前記運転者の病歴情報、睡眠情報、疲労情報、飲酒情報、職業運転者の労働実態情報の少なくともいずれかを含む（６）に記載の情報処理装置。
　（８）　前記運転者の車両乗車後の観測情報は、
　（ａ）パッシブモニタリングによる取得情報、
　（ｂ）通知に対する運転者の応答解析情報、
　少なくとも上記情報のいずれかを含む（６）～（７）いずれかに記載の情報処理装置。
　（９）　前記運転者の車両乗車後の観測情報は、
　（ａ）運転者の眼球挙動の観測情報、
　（ｂ）運転者に対する手動運転復帰要請通知の実行前の観測情報と、
　（ｃ）運転者に対する手動運転復帰要請通知の実行後の観測情報と、
　少なくとも上記情報のいずれかを含む（６）～（８）いずれかに記載の情報処理装置。
　（１０）　前記データ処理部は、
　前記運転者の車両乗車後の観測情報として、
　（運転者状態１）前記運転者が運転席を離席した状態、
　（運転者状態２）運転者が運転席に着座しているが、運転可能姿勢でない状態、
　（運転者状態３）運転者が運転席に着座し、運転可能姿勢を維持しているが、運転に即時復帰可能ではない状態、
　（運転者状態４）運転者が運転席に着座し、運転可能姿勢を維持し、運転に即時復帰可能な状態、
　運転者が上記各運転者状態１～４のいずれであるかを観測し、各運転者状態に応じて運転者の覚醒度を判定する（６）～（９）いずれかに記載の情報処理装置。
　（１１）　前記データ処理部は、
　運転者に対する手動運転復帰要請通知の実行後の観測情報として、
　運転者の操舵機器に対する操舵品質を取得する（１）～（１０）いずれかに記載の情報処理装置。
　（１２）　前記データ処理部は、
　前記運転者の観測情報として、
　前記運転者への通知に対応する前記運転者の応答処理の観測情報を取得する（１）～（１１）いずれかに記載の情報処理装置。
　（１３）　前記データ処理部は、
　前記運転者の応答処理の観測情報として、前記通知に対する運転者の応答用ペダルの踏み込み態様を取得する（１２）に記載の情報処理装置。
　（１４）　前記データ処理部は、
　前記運転者の応答処理の観測情報として、前記通知の表示データを確認する際の運転者の眼球挙動を取得する（１２）または（１３）に記載の情報処理装置。
　（１５）　自動運転と手動運転の切り替えが可能な移動装置であり、
　前記移動装置の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
　前記データ処理部は、
　前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定し、判定した覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する移動装置。
　（１６）　前記データ処理部が取得する観測情報は、
　前記運転者の車両乗車前の観測情報、
　前記運転者の車両乗車後の観測情報、
　の双方を含む（１５）に記載の移動装置。
　（１７）　前記運転者の車両乗車後の観測情報は、
　（ａ）パッシブモニタリングによる取得情報、
　（ｂ）通知に対する運転者の応答解析情報、
　少なくとも上記情報を含む（１６）に記載の移動装置。
　（１８）　情報処理装置において実行する情報処理方法であり、
　前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
　前記データ処理部は、
　前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する情報処理方法。
　（１９）　自動運転と手動運転の切り替えが可能な移動装置において実行する情報処理方法であり、
　前記移動装置は、前記移動装置の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
　前記データ処理部は、
　前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定し、判定した覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する情報処理方法。
　（２０）　情報処理装置において情報処理を実行させるプログラムであり、
　前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
　前記プログラムは、前記データ処理部に、
　前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行させ、取得した観測情報に基づいて、前記運転者の覚醒度を判定させるプログラム。
　また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。
　なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。
　以上、説明したように、本開示の一実施例の構成によれば、車両の運転者の意識レベルである覚醒度を判定し、覚醒度に応じて手動運転復帰要請通知のタイミングを制御する構成を実現する。また通知に基づく運転者復帰行動を記録し、この記録データを復帰品質低下に対する改善処理を行うためのフィードバックデータとする構成が実現される。
　具体的には、例えば、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有する。データ処理部は、運転者の観測情報を取得して運転者の覚醒度を判定する。車両は自動運転と手動運転の切り替えが可能な車両であり、データ処理部は、運転者の覚醒度に応じて運転者に対する自動運転から手動運転への手動運転復帰要請通知のタイミングを制御する。データ処理部が取得する観測情報は、運転者の車両乗車前、乗車後の観測情報の双方を含む。システムは運転者に行って通知に対して期待される復帰品質で運転者が復帰推移を行っているかモニタリングし、予測して且つ遅れが発生していないか時々刻々判定する。
　例えばパッシブモニタリング、通知に対する運転者の応答情報などを観測する。
　本構成により、車両の運転者の意識レベルである覚醒度を判定し、覚醒度に応じて手動運転復帰要請通知のタイミングを制御する構成を実現する。また通知要請に対する途中経過における復帰予測に対して遅延が生じていれば、その情報を復帰品質として記録し、その記録に基づいて適切なフィードバックを行うことで運転者の復帰行動や介在の早期実行の習慣化を図る。また、引き継ぎ品質の低下に起因した事故やインシデントが発生した場合には、記録データに基づく遅延事象の特定が可能となり、システムや運用改善に繋がる予防安全の解析手段を提供することが可能となる。
　１０・・自動車，１１・・データ処理部，１２・・運転者情報取得部，１３・・環境情報取得部，１４・・通信部，１５・・通知部，２０・・運転者，３０・・サーバ，５０・・情報端末，１００・・移動装置，１０１・・入力部，１０２・・データ取得部，１０３・・通信部，１０４・・車内機器，１０５・・出力制御部，１０６・・出力部，１０７・・駆動系制御部，１０８・・駆動系システム，１０９・・ボディ系制御部，１１０・・ボディ系システム，１１１・・記憶部，１１２・・自動運転制御部，１２１・・通信ネットワーク，１３１・・検出部，１３２・・自己位置推定部，１３３・・状況分析部，１３４・・計画部，１３５・・動作制御部，１４１・・車外情報検出部，１４２・・車内情報検出部，１４３・・車両状態検出部，１５１・・マップ解析部，１５２・・交通ルール認識部，１５３・・状況認識部，１５４・・状況予測部，１５５・・安全性判別部，１６１・・ルート計画部，１６２・・行動計画部，１６３・・動作計画部，１７１・・緊急事態回避部，１７２・・加減速制御部，１７３・・方向制御部，２０１・・移動装置，１８１・・走行区間表示，１８２・・タブレット，２０１・・運転者情報取得部，２０２・・環境情報取得部，２０３・・運転者個人識別情報取得部，２１０・・安全性判別部，２１１・・学習処理部，２１１・・安全性判別処理実行部（手動運転復帰可能時間推定部），２１３・・個人認証処理部，２２１・・通知制御部，２２２・・通知部，２３０・・通信部，２４０・・記憶部，３００・・サーバ，３０１・・学習データ取得、生成部，３０２・・学習処理部，３０３・・通信部，３０４・・記憶部，４０１・・応答用ペダル，４２１・・ＨＵＤ（ヘッドアップディスプレイ），４２２・・インスツルメンツパネル，５０１・・ＣＰＵ，５０２・・ＲＯＭ，５０３・・ＲＡＭ，５０４・・バス，５０５・・入出力インタフェース，５０６・・入力部，５０７・・出力部，５０８・・記憶部，５０９・・通信部，５１０・・ドライブ，５１１・・リムーバブルメディア，５２１・・センサ，５２２・・駆動部

Claims (20)

  1. 　車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
    　前記データ処理部は、
    　前記運転者の観測情報を取得し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する情報処理装置。
  2. 　前記車両は、自動運転と手動運転の切り替えが可能な車両であり、
    　前記データ処理部は、
    　自動運転から手動運転への移行時、または手動運転から自動運転への移行時の少なくともいずれかの移行時の前記運転者の一連の行動の一部または主たる行動を観測情報として取得し、記憶部に格納する観測情報記録処理を実行する請求項１に記載の情報処理装置。
  3. 　前記車両は、自動運転と手動運転の切り替えが可能な車両であり、
    　前記データ処理部は、
    　自動運転から手動運転への移行時、または手動運転から自動運転への移行時の少なくともいずれかの移行時の前記運転者の一連の行動の一部または主たる行動を観測情報として取得し、さらに、
    　前記情報処理装置から前記運転者に対する要請であるシステム要請に対する前記運転者の行動遅延量を解析し、解析結果を自動運転から手動運転への復帰品質評価値として記憶部に格納する観測情報記録処理を実行する請求項１に記載の情報処理装置。
  4. 　前記データ処理部は、
    　前記復帰品質評価値に基づいて、運転者にペナルティを科す処理を実行する請求項３に記載の情報処理装置。
  5. 　前記車両は、自動運転と手動運転の切り替えが可能な車両であり、
    　前記データ処理部は、
    　前記運転者の覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する請求項１に記載の情報処理装置。
  6. 　前記データ処理部が取得する観測情報は、
    　前記運転者の車両乗車前の観測情報、
    　前記運転者の車両乗車後の観測情報、
    　の双方を含む請求項１に記載の情報処理装置。
  7. 　前記運転者の車両乗車前の観測情報は、
    　前記運転者の病歴情報、睡眠情報、疲労情報、飲酒情報、職業運転者の労働実態情報の少なくともいずれかを含む請求項６に記載の情報処理装置。
  8. 　前記運転者の車両乗車後の観測情報は、
    　（ａ）パッシブモニタリングによる取得情報、
    　（ｂ）通知に対する運転者の応答解析情報、
    　少なくとも上記情報のいずれかを含む請求項６に記載の情報処理装置。
  9. 　前記運転者の車両乗車後の観測情報は、
    　（ａ）運転者の眼球挙動の観測情報、
    　（ｂ）運転者に対する手動運転復帰要請通知の実行前の観測情報と、
    　（ｃ）運転者に対する手動運転復帰要請通知の実行後の観測情報と、
    　少なくとも上記情報のいずれかを含む請求項６に記載の情報処理装置。
  10. 　前記データ処理部は、
    　前記運転者の車両乗車後の観測情報として、
    　（運転者状態１）前記運転者が運転席を離席した状態、
    　（運転者状態２）運転者が運転席に着座しているが、運転可能姿勢でない状態、
    　（運転者状態３）運転者が運転席に着座し、運転可能姿勢を維持しているが、運転に即時復帰可能ではない状態、
    　（運転者状態４）運転者が運転席に着座し、運転可能姿勢を維持し、運転に即時復帰可能な状態、
    　運転者が上記各運転者状態１～４のいずれであるかを観測し、各運転者状態に応じて運転者の覚醒度を判定する請求項６に記載の情報処理装置。
  11. 　前記データ処理部は、
    　運転者に対する手動運転復帰要請通知の実行後の観測情報として、
    　運転者の操舵機器に対する操舵品質を取得する請求項１に記載の情報処理装置。
  12. 　前記データ処理部は、
    　前記運転者の観測情報として、
    　前記運転者への通知に対応する前記運転者の応答処理の観測情報を取得する請求項１に記載の情報処理装置。
  13. 　前記データ処理部は、
    　前記運転者の応答処理の観測情報として、前記通知に対する運転者の応答用ペダルの踏み込み態様を取得する請求項１２に記載の情報処理装置。
  14. 　前記データ処理部は、
    　前記運転者の応答処理の観測情報として、前記通知の表示データを確認する際の運転者の眼球挙動を取得する請求項１２に記載の情報処理装置。
  15. 　自動運転と手動運転の切り替えが可能な移動装置であり、
    　前記移動装置の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
    　前記データ処理部は、
    　前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定し、判定した覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する移動装置。
  16. 　前記データ処理部が取得する観測情報は、
    　前記運転者の車両乗車前の観測情報、
    　前記運転者の車両乗車後の観測情報、
    　の双方を含む請求項１５に記載の移動装置。
  17. 　前記運転者の車両乗車後の観測情報は、
    　（ａ）パッシブモニタリングによる取得情報、
    　（ｂ）通知に対する運転者の応答解析情報、
    　少なくとも上記情報を含む請求項１６に記載の移動装置。
  18. 　情報処理装置において実行する情報処理方法であり、
    　前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
    　前記データ処理部は、
    　前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定する情報処理方法。
  19. 　自動運転と手動運転の切り替えが可能な移動装置において実行する情報処理方法であり、
    　前記移動装置は、前記移動装置の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
    　前記データ処理部は、
    　前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行し、取得した観測情報に基づいて、前記運転者の覚醒度を判定し、判定した覚醒度に応じて、前記運転者に対する自動運転から手動運転への復帰要請通知である手動運転復帰要請通知の通知タイミングを制御する情報処理方法。
  20. 　情報処理装置において情報処理を実行させるプログラムであり、
    　前記情報処理装置は、車両の運転者の意識レベルである覚醒度を判定するデータ処理部を有し、
    　前記プログラムは、前記データ処理部に、
    　前記運転者の観測情報を取得して記憶部に格納する観測情報記録処理を実行させ、取得した観測情報に基づいて、前記運転者の覚醒度を判定させるプログラム。
PCT/JP2019/034078 2018-09-13 2019-08-30 情報処理装置、移動装置、および方法、並びにプログラム Ceased WO2020054458A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
US17/274,100 US11420636B2 (en) 2018-09-13 2019-08-30 Information processing device, moving apparatus, method, and program
JP2020545911A JP7288911B2 (ja) 2018-09-13 2019-08-30 情報処理装置、移動装置、および方法、並びにプログラム
DE112019004597.0T DE112019004597T5 (de) 2018-09-13 2019-08-30 Informationsverarbeitungseinrichtung, bewegungsvorrichtung, verfahren und programm
CN201980058781.0A CN112672943B (zh) 2018-09-13 2019-08-30 信息处理设备、移动装置、方法和程序
US17/888,200 US11738757B2 (en) 2018-09-13 2022-08-15 Information processing device, moving apparatus, method, and program
US18/343,144 US12202489B2 (en) 2018-09-13 2023-06-28 Information processing device, moving apparatus, method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018171586 2018-09-13
JP2018-171586 2018-09-13

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US17/274,100 A-371-Of-International US11420636B2 (en) 2018-09-13 2019-08-30 Information processing device, moving apparatus, method, and program
US17/888,200 Continuation US11738757B2 (en) 2018-09-13 2022-08-15 Information processing device, moving apparatus, method, and program

Publications (1)

Publication Number Publication Date
WO2020054458A1 true WO2020054458A1 (ja) 2020-03-19

Family

ID=69778287

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/034078 Ceased WO2020054458A1 (ja) 2018-09-13 2019-08-30 情報処理装置、移動装置、および方法、並びにプログラム

Country Status (5)

Country Link
US (3) US11420636B2 (ja)
JP (1) JP7288911B2 (ja)
CN (1) CN112672943B (ja)
DE (1) DE112019004597T5 (ja)
WO (1) WO2020054458A1 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112428952A (zh) * 2020-11-04 2021-03-02 守门狗(杭州)科技服务有限公司 一种基于物联网的车辆安全预警系统
JP2021194976A (ja) * 2020-06-11 2021-12-27 日野自動車株式会社 車両制御装置
JPWO2022050200A1 (ja) * 2020-09-07 2022-03-10
JP2022042239A (ja) * 2020-09-02 2022-03-14 株式会社Ｊｖｃケンウッド オブジェクト認識制御装置およびオブジェクト認識制御方法
CN114312800A (zh) * 2022-02-14 2022-04-12 深圳市发掘科技有限公司 车辆安全驾驶方法、装置、计算机设备及存储介质
KR20220076583A (ko) * 2020-11-30 2022-06-08 재단법인대구경북과학기술원 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치 및 방법
AT524515A1 (de) * 2020-12-03 2022-06-15 Intellic Traffic Systems Ag Vorrichtung und Verfahren zur Überwachung eines Fahrzeuges
US20230057848A1 (en) * 2021-08-23 2023-02-23 Toyota Jidosha Kabushiki Kaisha Remote operation device, remote driving system, remote operation method, and non-transitory computer-readable medium storing a remote operation program
WO2023074073A1 (ja) * 2021-10-29 2023-05-04 株式会社アドヴィックス 車両用制御装置
CN116824668A (zh) * 2023-06-21 2023-09-29 曲阜师范大学 一种学习情感识别及干预方法、系统、装置、存储介质
WO2023189578A1 (ja) * 2022-03-31 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 移動体制御装置、移動体制御方法、及び、移動体
WO2024166174A1 (ja) * 2023-02-06 2024-08-15 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、及び記録媒体
WO2025120869A1 (ja) * 2023-12-05 2025-06-12 三菱電機株式会社 モデル生成装置、生体データ推定装置、モデル生成システム、生体データ推定システム、および、モデル生成方法

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11941114B1 (en) * 2018-01-31 2024-03-26 Vivint, Inc. Deterrence techniques for security and automation systems
DE102018203287B4 (de) * 2018-03-06 2024-03-07 Audi Ag Verfahren und System zum Betreiben einer Spurhalteassistenzvorrichtung eines Kraftfahrzeugs
CN112672943B (zh) * 2018-09-13 2024-06-04 索尼半导体解决方案公司 信息处理设备、移动装置、方法和程序
KR102135256B1 (ko) * 2019-08-08 2020-07-17 엘지전자 주식회사 자율 주행 시스템에서 차량의 사용자 인증 위한 방법 및 장치
US20220348217A1 (en) * 2019-08-23 2022-11-03 Lg Electronics Inc. Electronic apparatus for vehicles and operation method thereof
EP3892512B1 (en) * 2020-04-08 2025-01-22 Zenuity AB Methods and systems for hand-over from and ads feature to a driver of a vehicle
WO2021235565A1 (ko) * 2020-05-19 2021-11-25 엘지전자 주식회사 사이드링크를 지원하는 무선통신시스템에서 제1 장치가 메시지를 전송하는 방법 및 이를 위한 장치
US11458983B2 (en) * 2020-07-28 2022-10-04 Huawei Technologies Co., Ltd. System and method for managing flexible control of vehicles by diverse agents in autonomous driving simulation
US20220032951A1 (en) * 2020-07-28 2022-02-03 Jun Luo System and method for managing flexible control of vehicles by diverse agents in autonomous driving simulation
JP7449811B2 (ja) * 2020-07-31 2024-03-14 株式会社Subaru 車両の緊急連絡装置
US20230022896A1 (en) * 2020-08-10 2023-01-26 Jun Luo System and method for managing flexible control of vehicles by diverse agents in autonomous driving simulation
US11511744B2 (en) * 2020-08-24 2022-11-29 Ford Global Technologies, Llc System and method for automated off-road speed control for a vehicle
JP7359112B2 (ja) * 2020-09-11 2023-10-11 トヨタ自動車株式会社 注意能力検査装置および注意能力検査方法
KR20220042886A (ko) * 2020-09-28 2022-04-05 현대자동차주식회사 스마트 운전 자세 제어 시스템 및 방법
DE102020214556A1 (de) 2020-11-19 2022-05-19 Volkswagen Aktiengesellschaft Kommunikationssystem für ein Fahrzeug zum Vorgehen bei einer Schlafstörung eines Insassen
US11912302B2 (en) 2020-12-21 2024-02-27 Zoox, Inc. Autonomous control engagement
US11738777B2 (en) * 2020-12-21 2023-08-29 Zoox, Inc. Dynamic autonomous control engagement
WO2022144984A1 (ja) * 2020-12-28 2022-07-07 本田技研工業株式会社 車両制御システム、および車両制御方法
US11760318B2 (en) * 2021-03-11 2023-09-19 GM Global Technology Operations LLC Predictive driver alertness assessment
JP7616799B2 (ja) * 2021-03-30 2025-01-17 株式会社Subaru 運転支援システム
JP7613981B2 (ja) * 2021-03-30 2025-01-15 株式会社Subaru 運転支援システム
DE102021110012A1 (de) * 2021-04-20 2022-10-20 Bayerische Motoren Werke Aktiengesellschaft System aus einem Kraftfahrzeug und einem mobilen elektronischen Gerät für einen bedingt automatisierten Fahrbetrieb und Betriebsverfahren
CN117356087A (zh) * 2021-05-26 2024-01-05 株式会社索思未来 图像处理装置、图像处理方法及图像处理程序
US12325453B2 (en) * 2021-08-23 2025-06-10 Intel Corporation Handover assistant for machine to driver transitions
DE102021210263A1 (de) 2021-09-16 2023-03-16 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren zur Aufmerksamkeitsunterstützung eines Fahrers eines Fahrzeugs
JP7487728B2 (ja) * 2021-12-10 2024-05-21 トヨタ自動車株式会社 監視装置、監視用コンピュータプログラム及び監視方法
US20230192100A1 (en) * 2021-12-22 2023-06-22 Arriver Software Llc Awareness checker for enhancing collaborative driving supervision
US20250067570A1 (en) * 2021-12-29 2025-02-27 Harman Becker Automotive Systems Gmbh Methods and systems for navigation guidance based on driver state events
CN116416755A (zh) * 2021-12-29 2023-07-11 华为技术有限公司 一种警觉程度获取方法以及装置
JP7722231B2 (ja) * 2022-03-17 2025-08-13 トヨタ自動車株式会社 情報処理装置、方法、及びプログラム
JP7402913B2 (ja) * 2022-03-18 2023-12-21 本田技研工業株式会社 運転支援装置、車両制御システム、運転支援方法、およびプログラム
JP7666377B2 (ja) * 2022-03-25 2025-04-22 株式会社デンソー 運転操作支援装置
JP7783130B2 (ja) * 2022-05-17 2025-12-09 トヨタ自動車株式会社 メッセージ通知装置、メッセージ通知方法およびメッセージ通知用コンピュータプログラム
US12030516B2 (en) * 2022-05-23 2024-07-09 Aptiv Technologies AG Driver alert system through algorithmic braking events for advanced driver-assistance system
DE102022120344A1 (de) 2022-08-11 2024-02-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum analysieren eines aufmerksamkeitsgrades eines fahrers
CN117636501A (zh) * 2022-08-19 2024-03-01 富联精密电子(天津)有限公司 行驶记录认证方法、电子设备、存储介质、交通工具
JP2024032272A (ja) * 2022-08-29 2024-03-12 トヨタ自動車株式会社 位置変位装置、位置変位用コンピュータプログラム及び位置変位方法
JP2024048298A (ja) * 2022-09-27 2024-04-08 株式会社Subaru 車両
DE102022130203A1 (de) 2022-11-15 2024-05-16 Bayerische Motoren Werke Aktiengesellschaft Insassenüberwachungssystem und Insassenüberwachungsverfahren für ein automatisiert fahrendes Fahrzeug
JP7704132B2 (ja) * 2022-11-30 2025-07-08 トヨタ自動車株式会社 車両用通知装置
DE102022213126A1 (de) * 2022-12-06 2024-06-06 Continental Automotive Technologies GmbH Verfahren, Computerprogramm und Vorrichtung zur Beeinflussung eines Zustands eines Nutzers einer Maschine
US20240190383A1 (en) * 2022-12-13 2024-06-13 Bendix Commercial Vehicle Systems Llc System and Method for Releasing a Parking Brake of a Vehicle After Assessing Driver Alertness
KR20240092689A (ko) * 2022-12-14 2024-06-24 현대자동차주식회사 자율 주행 제어 장치 및 그 방법
DE102023000461A1 (de) * 2023-02-13 2024-08-14 Mercedes-Benz Group AG Verfahren zur Übergabe der Kontrolle über die Steuerung eines zumindest teilautomatisiert gesteuerten Fahrzeugs an einen Fahrzeuginsassen und Fahrzeug mit einem Übergabeassistenten
DE102023104208A1 (de) 2023-02-21 2024-08-22 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Erkennen einer Disengagement-Situation und entsprechend eingerichtetes Kraftfahrzeug
DE102023202383A1 (de) 2023-03-16 2024-09-19 Robert Bosch Gesellschaft mit beschränkter Haftung Verfahren und Vorrichtung zur Ausführung einer Nothaltfunktion eines Kraftfahrzeugs
WO2024258547A1 (en) * 2023-06-13 2024-12-19 Caterpillar Inc. Fatigue detection and operator alert system
JP2025015075A (ja) * 2023-07-20 2025-01-30 株式会社Subaru 車両の運転支援装置
DE102023211591B4 (de) * 2023-11-21 2025-10-09 Volkswagen Aktiengesellschaft Verfahren und Assistenzsystem zum verhaltensabhängigen Warnen eines Fahrers vor Gefahren und entsprechend eingerichtetes Kraftfahrzeug
KR20250087158A (ko) * 2023-12-07 2025-06-16 한국전자통신연구원 운전자 인터렉션 기반 성장형 자율주행 차량의 실시간 운전 학습 방법
US20250242823A1 (en) * 2024-01-30 2025-07-31 Toyota Jidosha Kabushiki Kaisha Scope manager for autonomous vehicle
FR3164432A1 (fr) * 2024-07-09 2026-01-16 Ampere Sas Procédé et système d’activation et d’ajustement d’une ou plusieurs IHM d’un véhicule en fonction d’un environnement du véhicule et d’une attention d’un conducteur du véhicule.
CN118587961B (zh) * 2024-08-07 2024-11-08 徐州九鼎机电总厂 基于注意力检测的装甲车驾驶操作模拟训练系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014147828A1 (ja) * 2013-03-22 2014-09-25 トヨタ自動車株式会社 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法
JP2016038768A (ja) * 2014-08-08 2016-03-22 トヨタ自動車株式会社 車両制御装置
JP2017001563A (ja) * 2015-06-11 2017-01-05 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体
JP2017131445A (ja) * 2016-01-28 2017-08-03 株式会社デンソー 生体情報計測装置、車載器、及び生体情報計測システム
JP2018045451A (ja) * 2016-09-14 2018-03-22 いすゞ自動車株式会社 車両制御装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE535765C2 (sv) * 2011-04-20 2012-12-11 Scania Cv Ab Fordon med ett säkerhetssystem med prediktion av förartrötthet
JP6287728B2 (ja) * 2014-09-25 2018-03-07 株式会社デンソー 車載システム、車両制御装置、および車両制御装置用のプログラム
FR3046587B1 (fr) * 2016-01-07 2018-02-16 Psa Automobiles Sa. Procede de pilotage d’un systeme automatise d’assistance a la conduite d’un vehicule automobile.
US10620627B2 (en) * 2017-12-19 2020-04-14 PlusAI Corp Method and system for risk control in switching driving mode
US10635104B2 (en) * 2018-08-21 2020-04-28 International Business Machines Corporation Intelligent transitioning between autonomous and manual driving modes of a vehicle
CN112672943B (zh) 2018-09-13 2024-06-04 索尼半导体解决方案公司 信息处理设备、移动装置、方法和程序

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014147828A1 (ja) * 2013-03-22 2014-09-25 トヨタ自動車株式会社 運転支援装置、運転支援方法、情報提供装置、情報提供方法、ナビゲーション装置及びナビゲーション方法
JP2016038768A (ja) * 2014-08-08 2016-03-22 トヨタ自動車株式会社 車両制御装置
JP2017001563A (ja) * 2015-06-11 2017-01-05 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体
JP2017131445A (ja) * 2016-01-28 2017-08-03 株式会社デンソー 生体情報計測装置、車載器、及び生体情報計測システム
JP2018045451A (ja) * 2016-09-14 2018-03-22 いすゞ自動車株式会社 車両制御装置

Cited By (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021194976A (ja) * 2020-06-11 2021-12-27 日野自動車株式会社 車両制御装置
JP7410805B2 (ja) 2020-06-11 2024-01-10 日野自動車株式会社 車両制御装置
JP2022042239A (ja) * 2020-09-02 2022-03-14 株式会社Ｊｖｃケンウッド オブジェクト認識制御装置およびオブジェクト認識制御方法
JP7528649B2 (ja) 2020-09-02 2024-08-06 株式会社Ｊｖｃケンウッド オブジェクト認識制御装置およびオブジェクト認識制御方法
JPWO2022050200A1 (ja) * 2020-09-07 2022-03-10
WO2022050200A1 (ja) * 2020-09-07 2022-03-10 ソニーセミコンダクタソリューションズ株式会社 情報処理装置、情報処理方法および情報処理プログラム
CN112428952A (zh) * 2020-11-04 2021-03-02 守门狗(杭州)科技服务有限公司 一种基于物联网的车辆安全预警系统
KR102585149B1 (ko) * 2020-11-30 2023-10-10 재단법인대구경북과학기술원 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치 및 방법
KR20220076583A (ko) * 2020-11-30 2022-06-08 재단법인대구경북과학기술원 인지 특징을 활용한 딥러닝 기반 맞춤형 자율주행 장치 및 방법
AT524515A1 (de) * 2020-12-03 2022-06-15 Intellic Traffic Systems Ag Vorrichtung und Verfahren zur Überwachung eines Fahrzeuges
US12118802B2 (en) * 2021-08-23 2024-10-15 Toyota Jidosha Kabushiki Kaisha Remote operation device, remote driving system, remote operation method, and non-transitory computer-readable medium storing a remote operation program
US20230057848A1 (en) * 2021-08-23 2023-02-23 Toyota Jidosha Kabushiki Kaisha Remote operation device, remote driving system, remote operation method, and non-transitory computer-readable medium storing a remote operation program
JP2023066937A (ja) * 2021-10-29 2023-05-16 株式会社アドヴィックス 車両用制御装置
WO2023074073A1 (ja) * 2021-10-29 2023-05-04 株式会社アドヴィックス 車両用制御装置
CN114312800A (zh) * 2022-02-14 2022-04-12 深圳市发掘科技有限公司 车辆安全驾驶方法、装置、计算机设备及存储介质
WO2023189578A1 (ja) * 2022-03-31 2023-10-05 ソニーセミコンダクタソリューションズ株式会社 移動体制御装置、移動体制御方法、及び、移動体
WO2024166174A1 (ja) * 2023-02-06 2024-08-15 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、及び記録媒体
CN116824668A (zh) * 2023-06-21 2023-09-29 曲阜师范大学 一种学习情感识别及干预方法、系统、装置、存储介质
CN116824668B (zh) * 2023-06-21 2026-01-06 曲阜师范大学 一种学习情感识别及干预方法、系统、装置、存储介质
WO2025120869A1 (ja) * 2023-12-05 2025-06-12 三菱電機株式会社 モデル生成装置、生体データ推定装置、モデル生成システム、生体データ推定システム、および、モデル生成方法

Also Published As

Publication number Publication date
DE112019004597T5 (de) 2021-06-17
CN112672943A (zh) 2021-04-16
JP7288911B2 (ja) 2023-06-08
CN112672943B (zh) 2024-06-04
US20220388518A1 (en) 2022-12-08
US20230339476A1 (en) 2023-10-26
US11738757B2 (en) 2023-08-29
US11420636B2 (en) 2022-08-23
US20210188289A1 (en) 2021-06-24
US12202489B2 (en) 2025-01-21
JPWO2020054458A1 (ja) 2021-09-02

Similar Documents

Publication Publication Date Title
US12202489B2 (en) Information processing device, moving apparatus, method, and program
US20240294194A1 (en) Information processing apparatus, moving apparatus, and method, and program
JP7431223B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
JP7273031B2 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
JP7155122B2 (ja) 車両制御装置及び車両制御方法
JP7080598B2 (ja) 車両制御装置および車両制御方法
JP7560486B2 (ja) 情報処理装置、情報処理システム、情報処理方法及び情報処理プログラム
KR20200135799A (ko) 정보 처리 장치, 이동 장치, 및 방법, 그리고 프로그램
JP2021043571A (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
KR20220113947A (ko) 정보 처리 장치, 이동 장치, 정보 처리 시스템 및 방법, 그리고 프로그램
JP2021128349A (ja) 情報処理装置、情報処理システム、および情報処理方法、並びにプログラム
CN116685516A (zh) 信息处理装置、信息处理方法和信息处理程序
JP7238193B2 (ja) 車両制御装置および車両制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19860105

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020545911

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 19860105

Country of ref document: EP

Kind code of ref document: A1