[go: up one dir, main page]

WO2018230527A1 - 運転支援方法、運転支援プログラム及び車両制御装置 - Google Patents

運転支援方法、運転支援プログラム及び車両制御装置 Download PDF

Info

Publication number
WO2018230527A1
WO2018230527A1 PCT/JP2018/022306 JP2018022306W WO2018230527A1 WO 2018230527 A1 WO2018230527 A1 WO 2018230527A1 JP 2018022306 W JP2018022306 W JP 2018022306W WO 2018230527 A1 WO2018230527 A1 WO 2018230527A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
passenger
operation input
unit
touch panel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/022306
Other languages
English (en)
French (fr)
Inventor
中井　潤
隆 大河平
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to JP2019525432A priority Critical patent/JP7108814B2/ja
Priority to DE112018003002.4T priority patent/DE112018003002T5/de
Priority to CN201880038127.9A priority patent/CN110719865B/zh
Publication of WO2018230527A1 publication Critical patent/WO2018230527A1/ja
Priority to US16/699,938 priority patent/US11458978B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/10—Input arrangements, i.e. from user to vehicle, associated with vehicle functions or specially adapted therefor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/20—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor
    • B60K35/21—Output arrangements, i.e. from vehicle to user, associated with vehicle functions or specially adapted therefor using visual output, e.g. blinking lights or matrix displays
    • B60K35/22—Display screens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Instruments specially adapted for vehicles; Arrangement of instruments in or on vehicles
    • B60K35/60—Instruments characterised by their location or relative disposition in or on vehicles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • B60W60/0054—Selection of occupant to assume driving tasks
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/26—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 specially adapted for navigation in a road network
    • G01C21/34—Route searching; Route guidance
    • G01C21/36—Input/output arrangements for on-board computers
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0055—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements
    • G05D1/0061—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots with safety arrangements for transition from automatic pilot to manual pilot and vice versa
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/446—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering using Haar-like filters, e.g. using integral image techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0809—Driver authorisation; Driver identity check
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined

Definitions

  • the present disclosure relates to a driving support method, a driving support program, and a vehicle control device in a vehicle in which a plurality of operation input units are installed.
  • the driver can get in a free posture in a free position in the passenger compartment during the automatic driving mode in which the driver is not involved in the driving operation. If the spread of self-driving vehicles expands, the seat layout is expected to be flexible. In this case, there may be situations where the driver sits backwards. When such a flexible seat layout becomes possible, it is expected that displays will be installed at a plurality of locations in the passenger compartment.
  • This disclosure provides a technology that enables a passenger to promptly respond to a notification from a vehicle to the passenger.
  • the driving support method includes a step of detecting at least one of a position and a state of a passenger in the vehicle. Further, the driving support method includes a step of determining an operation input unit that is most easily operated by the passenger from a plurality of operation input units in the vehicle according to at least one of the detected position and state of the passenger. Furthermore, the driving support method includes a step of notifying the consent request for the processing content scheduled to be executed for the occurrence of the event in the vehicle. Furthermore, the driving support method includes a step of enabling the consent operation to the operation input unit that is the easiest to operate.
  • the passenger can promptly respond to the notification from the vehicle to the passenger.
  • FIG. 1A is a diagram for describing a first example of a layout in a vehicle.
  • FIG. 1B is a diagram for describing a first example of a layout in a vehicle.
  • FIG. 2A is a diagram for explaining a second example of the layout in the vehicle.
  • FIG. 2B is a diagram for explaining a second example of the layout in the vehicle.
  • FIG. 3A is a diagram for explaining a third example of the layout in the vehicle.
  • FIG. 3B is a diagram for explaining a third example of the layout in the vehicle.
  • FIG. 4 is a block diagram illustrating a configuration of the driving support system according to the embodiment of the present disclosure.
  • FIG. 5 is a diagram illustrating an installation example of a camera.
  • FIG. 5 is a diagram illustrating an installation example of a camera.
  • FIG. 6A is a diagram showing a state in which the layout in the vehicle shown in FIGS. 2A and 2B is changed.
  • FIG. 6B is a diagram showing a state in which the layout in the vehicle shown in FIGS. 2A and 2B is changed.
  • FIG. 7 is a flowchart illustrating an operation of the driving support system according to the embodiment of the present disclosure.
  • FIG. 8 is a diagram illustrating an example of the consent request screen displayed on the touch panel display.
  • FIG. 9A is a diagram for explaining another example of an event and a response process.
  • FIG. 9B is a diagram for explaining another example of the event and response processing.
  • FIG. 10 is a block diagram illustrating a configuration of the driving support system according to the first modification of the present disclosure.
  • FIG. 10 is a block diagram illustrating a configuration of the driving support system according to the first modification of the present disclosure.
  • FIG. 11A is a diagram illustrating a state in the vehicle in a state where the driver is using the mobile terminal device.
  • FIG. 11B is a diagram illustrating a state in the vehicle in a state where the driver is using the mobile terminal device.
  • FIG. 12 is a block diagram illustrating a configuration of a driving support system according to Modification 2 of the present disclosure.
  • Patent Document 1 The switching method of Patent Document 1 is based on the premise that the driver is sitting facing forward in the driver's seat, and for example, a state where the driver is sitting backward is not assumed. In a state where the driver is sitting backwards, a case may occur in which the driver cannot immediately recognize the handover notification from the vehicle side. Moreover, even when it can recognize immediately, the case where it cannot respond immediately to the vehicle side generate
  • the notification from the vehicle side is not limited to the handover notification, but also includes a permission request notification for sending a signal to the outside such as horn or passing. In response to these notifications from the vehicle, a quick response by the driver or passenger is required.
  • FIGS. 1A and 1B are diagrams for explaining a first example of a layout in the vehicle 1.
  • FIG. 1A is a schematic view of the vehicle 1 viewed from above
  • FIG. 1B is a schematic view of the vicinity of the driver's seat in the vehicle 1.
  • a vehicle 1 shown in FIGS. 1A and 1B is a four-seat specification vehicle, and a steering wheel 3 is installed on the right side.
  • a room mirror M1 is installed on the top of the windshield. The driver drives the vehicle 1 while sitting on the right front seat S1.
  • a touch panel type center display (hereinafter referred to as a first touch panel display 31a) is installed on the dashboard.
  • a touch panel type head unit display (hereinafter referred to as a second touch panel display 31b) is installed in the lower center of the dashboard.
  • a small touch panel display (hereinafter referred to as a third touch panel display 31c) is installed in the center console.
  • a physical button 32 is installed in an area between the first touch panel display 31a and the second touch panel display 31b.
  • FIG. 2A and 2B are diagrams for explaining a second example of the layout in the vehicle 1.
  • FIG. 2A is a schematic view of the vehicle 1 viewed from above
  • FIG. 2B is a schematic view of a front region in the vehicle 1.
  • the driving operation will be greatly simplified compared to the conventional case. For example, it is conceivable to perform a driving operation with a small console terminal such as a joystick. In this case, a conventional steering unit such as a steering wheel is not necessary.
  • a touch panel type display (hereinafter referred to as a fourth touch panel display 31d) is installed at a position where the steering wheel is installed.
  • the fourth touch panel display 31d can also be used to input commands (such as an overtaking command and a lane change command) in driving operations.
  • FIG. 3A and 3B are diagrams for explaining a third example of the layout in the vehicle 1.
  • FIG. 3A is a schematic view of the vehicle 1 viewed from above
  • FIG. 3B is a schematic diagram illustrating an example of a seat layout in the vehicle 1.
  • the third example has a configuration in which a control unit such as a conventional steering wheel is omitted.
  • the right front sheet S1 and the left front sheet S2 face rearward and face the right rear sheet S3 and the left rear sheet S4.
  • the right front sheet S1, the left front sheet S2, the right rear sheet S3, and the left rear sheet S4 may be fixed, or may be rotatable and movable. Further, only the right front seat S1 and the left front seat S2 may be configured to change the direction forward.
  • a table T1 is installed between the right front sheet S1 and the left front sheet S2, and the right rear sheet S3 and the left rear sheet S4.
  • a touch panel display (hereinafter referred to as a fifth touch panel display 31e) is formed on the surface of the table T1.
  • the fifth touch panel display 31e may be a physical display embedded in advance in the table T1, or may be realized by a combination of an ultra-short focus projector and a gesture detection sensor.
  • FIG. 4 is a block diagram illustrating a configuration of the driving support system 2 according to the embodiment of the present disclosure.
  • the driving support system 2 includes a vehicle control device 10, a vehicle interior condition detection unit 20, a UI (user interface) unit 30, an automatic driving control device 40, and a sensor 50.
  • the vehicle control device 10 is an HMI (Human Machine Interface) controller that executes an interface function between the vehicle 1 and a passenger
  • the automatic operation control device 40 is an automatic operation controller that executes an automatic operation function of the vehicle 1. Yes, both control the vehicle 1 in cooperation.
  • HMI Human Machine Interface
  • the sensor 50 is a general term for various sensors for grasping the state of the host vehicle and the situation around the host vehicle.
  • the sensor 50 includes a visible light camera, a LIDAR (Light Detection and Ranging), a millimeter wave radar, a vehicle speed sensor, and a GPS (global positioning system) sensor.
  • Visible light cameras are installed in at least four locations on the front, rear, and left and right of the vehicle 1 to shoot front, rear, and left and right images of the vehicle 1.
  • the LIDAR emits a light beam (for example, an infrared laser) around the vehicle 1 and receives the reflected signal. The distance from the surrounding object and the size of the object based on the received reflected signal. Measure the composition of the object.
  • the millimeter wave radar radiates a radio wave (millimeter wave) around the vehicle 1, receives the reflected signal, and measures the distance to an object existing in the surrounding based on the received reflected signal. The millimeter wave radar can also detect farther objects that are difficult to detect with LIDAR.
  • the vehicle speed sensor detects the speed of the vehicle 1.
  • the GPS sensor detects position information of the vehicle 1. Specifically, the transmission time is received from each of a plurality of GPS satellites, and the latitude and longitude of the reception point are calculated based on the received plurality of transmission times.
  • the automatic operation control device 40 includes a processing unit 41, an I / O (input / output) unit 42, and a recording unit 43.
  • the processing unit 41 can be realized by cooperation of hardware resources and software resources, or only by hardware resources.
  • a hardware resource a processor, ROM (read-only memory), RAM (random-access memory), and other LSI (large-scale integration) can be used.
  • a CPU central processing unit
  • GPU graphics processing unit
  • DSP digital signal processor
  • Programs such as operating system, application, firmware, etc. can be used as software resources.
  • the I / O unit 42 controls connection with various external devices.
  • the recording unit 43 is a non-volatile memory, and includes a recording medium such as a NAND flash memory chip, an SSD (solid-state drive), and an HDD (hard disk drive).
  • the recording unit 43 holds data necessary for autonomous traveling such as a three-dimensional map.
  • the processing unit 41 causes the vehicle 1 to autonomously travel based on a predetermined automatic driving algorithm. Specifically, the processing unit 41 recognizes the own vehicle and the situation around the own vehicle based on various detection data detected by the sensor 50 and various information collected by wireless communication from the outside. The processing unit 41 determines the behavior of the vehicle 1 by applying various parameters indicating the recognized situation to the automatic driving algorithm.
  • the automatic driving algorithm is generated by AI (Artificial Intelligence) based on deep learning, for example.
  • AI Artificial Intelligence
  • Various parameters of the automatic driving algorithm are initially set to values learned in advance by a high-spec computer, and updated values are appropriately downloaded from a data center on the cloud.
  • the processing unit 41 controls the operation target based on the determined action.
  • the operation objects are a steering wheel 3, an accelerator pedal 4, a brake pedal 5, a winker switch 6, a headlight switch 7, and a horn switch 8.
  • the processing unit 41 determines acceleration to a predetermined speed
  • the processing unit 41 transmits a control signal to an ECU (Electronic Control Unit) that controls the accelerator pedal 4 via an in-vehicle network.
  • ECU Electronic Control Unit
  • CAN Controller Area Network
  • the processing unit 41 determines the deceleration to a predetermined speed, determines the steering to the predetermined steering angle, When blinking is determined, headlight on / off is determined, or horn sounding is determined, a control signal is transmitted to each ECU.
  • the vehicle control device 10 includes a processing unit 11, an I / O unit 12, and a recording unit 13.
  • the processing unit 11 includes a detection information analysis unit 111, a UI (User Interface) control unit 112, and a cooperation unit 113.
  • the function of the processing unit 11 can be realized by cooperation of hardware resources and software resources.
  • a hardware resource a processor, ROM, RAM, or other LSI can be used as a hardware resource.
  • a CPU, GPU, DSP or the like can be used as the processor.
  • Programs such as operating system, application, firmware, etc. can be used as software resources.
  • the I / O unit 12 controls connection with various external devices.
  • the recording unit 13 is a non-volatile memory and includes a recording medium such as a NAND flash memory chip, an SSD, or an HDD.
  • the vehicle interior condition detection unit 20 is a sensor for detecting the position and state of the passenger in the vehicle 1, and can use a camera, for example.
  • the camera is installed at a position where a passenger in the vehicle can be photographed in consideration of the seat layout.
  • FIG. 5 is a diagram showing an installation example of the cameras 20a and 20b.
  • the camera 20a it is conceivable to install the camera 20a on a room mirror. This installation position is effective for detecting the position and state of the passenger in the front row seat. It is also conceivable to install the camera 20b at the center of the ceiling in the passenger compartment. In this case, it is preferable to use a wide-angle camera. This installation position can detect a passenger in the vehicle compartment over a wide range.
  • a seat position sensor can be used as the vehicle interior condition detection unit 20. For example, the position of the driver can be estimated from the position of the driving seat.
  • the UI unit 30 includes a plurality of touch panel displays 31, physical buttons 32, and speakers 33.
  • the touch panel display 31 is installed at a plurality of locations in the vehicle interior, and includes a liquid crystal display with a touch panel function and an organic EL (organic electro-luminescence: OEL) display with a touch panel function.
  • OEL organic electro-luminescence
  • the touch panel display 31 includes a display of an existing car navigation device and a display of a head unit such as display audio.
  • the touch panel display 31 reproduces and displays an image signal supplied from the vehicle control device 10, accepts a user operation, generates an operation signal corresponding to the accepted operation, and outputs the operation signal to the vehicle control device 10.
  • At least one physical button 32 is installed in the passenger compartment.
  • the physical button 32 is an example of a physical input unit, and may be a switch, a dial, a pad, or the like.
  • the physical button 32 receives a user operation, generates an operation signal corresponding to the received operation, and outputs the operation signal to the vehicle control device 10.
  • the speaker 33 reproduces the sound signal supplied from the vehicle control device 10 and outputs the sound.
  • the detection information analysis part 111 acquires the detection information which shows at least one of a passenger
  • the face discriminator can be generated by learning Haar-like feature quantities and the like from a plurality of sample images showing a face.
  • the detection information analysis unit 111 can estimate the position of the passenger in the passenger compartment based on the position and size of the face detected in the image. Further, the detection information analysis unit 111 can estimate the direction of the passenger's face by using a plurality of types of face discriminators such as a front face discriminator and a side face discriminator. Further, when estimating the position of the passenger, the position of the seat may be taken into consideration.
  • the UI control unit 112 determines the touch panel display 31 that is most easily operated by the passenger among the plurality of touch panel displays 31 according to at least one of the position and state of the passenger estimated by the detection information analysis unit 111. Specifically, it is determined as the touch panel display 31 closest to the passenger among the touch panel displays 31 existing within the field of view of the passenger.
  • the cooperation unit 113 transmits and receives commands to and from the automatic operation control device 40.
  • a scene is considered in which the processing unit 41 of the automatic driving control device 40 detects a predetermined event related to traveling of the vehicle 1 and determines the processing content to be executed for the detected event.
  • the processing unit 41 of the automatic driving control device 40 transmits a command requesting acquisition of consent to the determined processing content to the vehicle control device 10.
  • the UI control unit 112 When the cooperation unit 113 of the vehicle control device 10 receives the command, the UI control unit 112 displays a message of an agreement request for the processing content on the touch panel display 31 that is most easily operated by the driver determined above. At that time, the UI control unit 112 may output the message from the speaker 33 by voice. The UI control unit 112 accepts the consent operation for the consent request to the touch panel display 31 that is the easiest to operate as an effective one.
  • the UI control unit 112 uses the second touch panel display as the touch panel display 31 that is the easiest to operate. 31b is selected.
  • the UI control unit 112 selects the fifth touch panel display 31e as the touch panel display 31 that is the easiest to operate.
  • FIGS. 6A and 6B are views showing a state in which the layout in the vehicle 1 shown in FIGS. 2A and 2B is changed. Specifically, a state in which the position of the right front sheet S1 is shifted backward is shown. The center console is also shifted backward together with the right front seat S1. In this state, the UI control unit 112 selects the third touch panel display 31c installed in the center console as the touch panel display 31 that is the easiest to operate.
  • the UI control unit 112 may not only display the consent request message on the touch panel display 31 that is the easiest to operate, but may also display it on another touch panel display 31. For example, it may be displayed on the touch panel display 31 that is the second most easily operated, or may be displayed on all the touch panel displays 31 in the passenger compartment. Moreover, you may display only on the touchscreen display 31 which exists in a driver
  • the UI control unit 112 may determine the touch panel display 31 that is most easily operated by the driver based only on the position of the driver. That is, the touch panel display 31 that is physically closest to the driver is selected regardless of the driver's face orientation.
  • the UI control unit 112 may or may not limit the touch panel display 31 that accepts the driver's consent operation for the consent request as an effective one to the touch panel display 31 that is the easiest to operate. For example, when there is a physical button 32 for executing the processing content that is the subject of the consent request, the UI control unit 112 accepts the consent operation to the physical button 32 as being valid. Many drivers can operate the vehicle 1 with a sense of security by operating the existing physical buttons 32.
  • the UI control unit 112 may accept the consent operation for the consent request to the touch panel display 31 other than the touch panel display 31 that is the easiest to operate as an effective one.
  • the consent operation to the touch panel display 31 that is the easiest to operate may be switched between valid / invalid depending on the presence or absence of a passenger other than the driver.
  • the passenger may touch the nearby touch panel display 31 against the driver's intention. Therefore, when there is a passenger, the UI control unit 112 treats only an operation on the touch panel display 31 that is most easily operated by the driver as an effective operation.
  • the UI control unit 112 treats all operations on the touch panel display 31 in the vehicle interior as effective operations.
  • FIG. 7 is a flowchart showing the operation of the driving support system 2 according to the embodiment of the present disclosure.
  • the processing unit 41 of the automatic driving control device 40 detects an event related to the traveling of the vehicle 1 (Y in S40), it determines a response process for the detected event (S41).
  • S41 a response process for the detected event
  • an event detection it is assumed that an automatic driving mode is difficult to continue. For example, when it becomes impossible to detect the preceding vehicle and the white line on the road, it is difficult to continue the automatic driving.
  • the processing unit 41 determines switching to the manual operation mode as a response process for the event.
  • the manual operation mode includes a mode in which manual operation and automatic operation coexist.
  • the processing unit 41 transmits an agreement request command for the determined response process to the vehicle control device 10 (42).
  • the consent request command includes the contents of response processing and the response time for the consent request.
  • the cooperation unit 113 of the vehicle control device 10 receives the consent request command from the automatic driving control device 40 (S10).
  • the detection information analysis part 111 acquires and analyzes the detection information which shows a passenger's position and state from the vehicle interior condition detection part 20 (S11).
  • the detection information analysis unit 111 may execute detection information acquisition and analysis processing with the reception of the consent request command as a trigger, or may always be executed.
  • the UI control unit 112 identifies the touch panel display 31 that is most easily operated by the passenger based on the analysis result by the detection information analysis unit 111 (S12).
  • the UI control unit 112 causes the identified touch panel display 31 to display the contents of the response process and a consent request message (S13).
  • FIG. 8 is a diagram illustrating an example of the consent request screen 311 displayed on the touch panel display 31.
  • a message “Switch to manual operation. Are you ready?”, An OK (agreement) key 312, and an NG (disagreement) key 313 are displayed in the consent request screen 311.
  • the passenger (driver) presses the OK key 312 if ready, and presses the NG key 313 if not ready.
  • the UI control unit 112 acquires the operation details of the passenger from the identified touch panel display 31 (S14). If no operation is performed within the designated answer time, the NG key 313 is treated as being pressed. The cooperation part 113 transmits the operation command containing the acquired operation content to the automatic driving
  • the processing unit 41 of the automatic driving control device 40 receives an operation command from the vehicle control device 10 (S43).
  • the processing unit 41 executes processing according to the received operation command (S44). For example, when the operation content is agreement, the automatic operation mode is switched to the manual operation mode. When the operation content is rejected, the vehicle 1 is moved to the road shoulder and stopped.
  • FIGS. 9A and 9B are diagrams for explaining another example of the event and response processing.
  • the vehicle 1 has an external display 60 for transmitting a message outside the vehicle.
  • the external display 60 is installed in the lower part of a windshield as shown to FIG. 9A, for example.
  • the external display 60 may be installed on the upper part of the windshield or on the front grill.
  • the driver may want to communicate with nearby pedestrians and drivers of other vehicles. For example, a pedestrian waiting in front of a pedestrian crossing may wish to send a signal to cross the pedestrian crossing. There are also cases where it is desired to send a signal to the driver of another vehicle at an intersection where there is no signal. You may also want to send a thank-you signal to the driver of the other car who gave you the tip.
  • FIG. 9B is a diagram illustrating an example of the consent request screen 314 displayed on the touch panel display 31 when the pedestrian is detected.
  • an OK key 315 and an NG key 316 are displayed.
  • the communication method with the outside is not limited to the message display on the external display 60.
  • a transmission method of ringing a horn with a small volume or passing with a headlight is also conceivable.
  • the notification from the vehicle to the passenger is displayed on the touch panel display 31 that is most easily operated by the passenger, and the operation on the touch panel display 31 is validated.
  • this technique is effective for situations where a passenger is required to make a quick determination, such as switching to the manual operation mode described above or communication notification to the outside. If the passenger's decision making becomes quicker, the possibility of an emergency stop of the autonomous driving vehicle can be reduced.
  • FIG. 10 is a block diagram illustrating a configuration of the driving support system 2 according to Modification 1 of the present disclosure.
  • the driving support system 2 cooperates with the mobile terminal device 9 brought into the vehicle by the passenger.
  • the portable terminal device 9 may be any portable device having a communication function, and examples thereof include a smartphone, a feature phone, a tablet, a notebook PC (personal computer), a portable music player, and a portable game machine.
  • the mobile terminal device 9 has a touch panel display 93.
  • the vehicle control device 10 includes a communication unit 14 for short-range communication with the mobile terminal device 9.
  • the communication unit 14 executes communication processing conforming to a short-range wireless communication standard such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • a short-range wireless communication standard such as Wi-Fi (registered trademark) or Bluetooth (registered trademark).
  • the touch panel display 93 of the mobile terminal device 9 whose power is on is also included in the touch panel display 31 in the vehicle interior. Note that the touch panel display 93 of the mobile terminal device 9 in the power-off state is not included in the touch panel display 31 in the vehicle interior.
  • the detection information analysis unit 111 analyzes the video image taken by the camera in the vehicle interior, and detects the position of the mobile terminal device 9 and the orientation of the touch panel display 93.
  • the UI control unit 112 determines the touch panel display that is most easily operated by the passenger from a plurality of touch panel displays in the vehicle compartment including the touch panel display 93 of the mobile terminal device 9.
  • the UI control unit 112 boardes from the plurality of touch panel displays 31 in the vehicle interior that do not include the touch panel display 93 of the mobile terminal device 9.
  • the touch panel display 31 that is most easily operated by the person is determined.
  • the UI control unit 112 displays an agreement request message on both the determined touch panel display 31 and the touch panel display 93 of the mobile terminal device 9, and accepts an agreement operation for either one as an effective operation.
  • FIG. 11A and FIG. 11B are views showing a state in the vehicle 1 in a state where the driver is using the mobile terminal device 9. While driving in the automatic driving mode, the driver does not need to perform a driving operation, so that the driver can use the mobile terminal device 9 to browse a website, view a moving image, and the like.
  • the UI control unit 112 selects the touch panel display 93 of the mobile terminal device 9 as the touch panel display that is most easily operated.
  • the first modification it is possible to realize quick information transmission to the passenger watching the mobile terminal device 9 such as a smartphone and quick response operation by the passenger.
  • FIG. 12 is a block diagram illustrating a configuration of the driving support system 2 according to Modification 2 of the present disclosure.
  • the processing unit 11 of the vehicle control device 10 further includes a subject determination unit 114.
  • the subject determination unit 114 determines a passenger to be notified of the consent request message from the plurality of passengers based on the authority or attributes of the plurality of passengers in the passenger compartment.
  • the target person determination unit 114 basically determines a passenger who has driving authority as a passenger to be notified of the consent request message. For example, the face image of the owner of the vehicle 1 is registered in the vehicle control device 10 in advance. When a new person drives the vehicle 1, the face image of the person is taken and registered. When there are a plurality of passengers in the passenger compartment, the target person determining unit 114 determines that the registered passenger with the face is a passenger having driving authority. If there are a plurality of registered passengers, the passenger sitting on the driver's seat is determined as a passenger having driving authority.
  • the processing contents that are subject to consent requests can be given consent even by passengers without a driver's license.
  • the consent request required when the automatic driving control device 40 determines the parking position in the parking lot the consent request required when the automatic driving control device 40 determines to stop at the gas station or the charging station, avoiding traffic jams. Therefore, the consent request that is required when the automatic driving control device 40 determines the route change is an consent request that has no problem even if a passenger other than the driver having the driving authority agrees.
  • the target person determination unit 114 determines the passenger sitting on the predetermined seat as the passenger who notifies the consent request message even when there is no passenger having driving authority in the passenger compartment. .
  • Passengers who prioritize the seats in the passenger compartment for example, right front seat S1 ⁇ left front seat S2 ⁇ right rear seat S3 ⁇ left rear seat S4) and subject determination unit 114 notifies the consent request message according to the priority order. Select candidates.
  • the target person determination unit 114 considers the attributes of the passenger. For example, when it is estimated that the passenger is a child or a late elderly person, the passenger is excluded from the candidates. A passenger who is estimated to be sleeping is also excluded from the candidates.
  • the target person determining unit 114 The NG command is returned to the vehicle control device 10.
  • the touch panel display is described as an example of the device that displays the consent request message and accepts the consent operation.
  • the device is not necessarily limited to the touch panel display.
  • a combination of a display without a touch panel function and a physical key arranged in the vicinity of the display may be used. That is, any device may be used as long as the display function and the operation input function are integrated or close to each other.
  • the driving support method includes a step of detecting at least one of a position and a state of at least one passenger in the vehicle (1).
  • the driving support method includes a plurality of operation input units (31) in the vehicle (1) according to at least one of the detected position and state of the passenger, and an operation input unit (31 that is most easily operated by the passenger).
  • the driving support method has a step of notifying the consent request for the processing content scheduled to be executed for the occurrence of the event in the vehicle (1).
  • the driving support method includes a step of enabling the consent operation to the operation input unit (31) that is the easiest to operate.
  • the operation input unit (31) that is closest to the passenger is determined as the operation input unit that is easiest to operate. To do.
  • the operation input unit (31) that is the easiest to operate may be the operation input unit (31) that is closest to the occupant among the operation input units (31) that exist within the field of view of the occupant. Good.
  • the plurality of operation input units (31) are a plurality of touch panel displays (31), and the operation input unit (31) that is easiest to operate in the step of notifying the consent request. Display an agreement request for the processing content.
  • the plurality of operation input units (31, 93) include a passenger's portable terminal device (9).
  • the passenger can perform a response operation to the mobile terminal device (9).
  • the vehicle (1) is an autonomous driving vehicle
  • the occurrence of the event is an occurrence of an event that makes it difficult to continue the automatic driving during the automatic driving.
  • the processing content scheduled to be executed for occurrence is switching to manual operation.
  • the vehicle (1) is a vehicle in which the vehicle (1) autonomously performs at least a part of the driving operation, and the occurrence of the event is the vehicle (1). It is necessary to send a signal or message to the outside of the vehicle, and the processing content to be executed in response to the occurrence of the event is processing to send a signal or message to the outside of the vehicle (1).
  • the driving support program causes the computer to execute processing for detecting at least one of the position and state of the passenger in the vehicle (1). Further, the driving support program is configured to select an operation input unit (31 that is most easily operated by the passenger from a plurality of operation input units (31) in the vehicle (1) according to at least one of the detected position and state of the passenger. ) Is executed by the computer. Further, the driving support program causes the computer to execute a process of notifying the consent request for the processing content scheduled to be executed for the occurrence of the event in the vehicle (1). Further, the driving support program causes the computer to execute a process for validating the consent operation to the operation input unit (31) that is the easiest to operate.
  • the vehicle control device (10) includes a detection information acquisition unit (111) and a user interface control unit (112).
  • the detection information acquisition unit (111) detects at least one of the detected position and state of the passenger from the detection unit (20) for detecting at least one of the position and state of the passenger in the vehicle (1).
  • the user interface control unit (112) determines the operation input unit (31) that is most easily operated by the passenger from the plurality of operation input units (31) in the vehicle (1) according to the acquired detection information. . Further, the user interface control unit (112) informs the consent request for the processing content scheduled to be executed for the generated event in the vehicle (1), and the consent operation to the operation input unit (31) that is the easiest to operate. Is valid.
  • the passenger can quickly respond to the notification from the vehicle control device (10) to the passenger.
  • This disclosure is useful as a driving support method, a driving support program, and a vehicle control device in a vehicle in which a plurality of operation input units are installed.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Combustion & Propulsion (AREA)
  • Chemical & Material Sciences (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Business, Economics & Management (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Game Theory and Decision Science (AREA)
  • Medical Informatics (AREA)
  • Traffic Control Systems (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Navigation (AREA)

Abstract

車両制御装置は、検知情報取得部と、ユーザインタフェース制御部と、を有する。検知情報取得部は、車両内の搭乗者の位置および状態の少なくとも一方を検知するための検知部から、検知した搭乗者の位置および状態の少なくとも一方の検知情報を取得する。ユーザインタフェース制御部は、取得された検知情報に応じて、車両内の複数の操作入力部から、搭乗者が最も操作容易な操作入力部を決定する。また、ユーザインタフェース制御部は、イベントの発生に対して実行する予定の処理内容に対する同意要求を車両内において報知させ、最も操作容易な操作入力部への同意操作を有効とする。

Description

運転支援方法、運転支援プログラム及び車両制御装置
　本開示は、複数の操作入力部が設置されている車両における、運転支援方法、運転支援プログラム及び車両制御装置に関する。
　近年、自動運転車両の開発が進められている。自動運転車両では、運転者が運転操作に関与しない自動運転モード中、運転者は車室内の自由な位置に自由な姿勢で乗車することができる。自動運転車両の普及が拡大すれば、シートレイアウトの柔軟化が予想され、その場合、運転者が後ろ向きに座るシチュエーションも考えられる。そのような柔軟なシートレイアウトが可能になると、車室内の複数箇所にディスプレイが設置されることが予想される。
　近未来において、道路状況や周辺環境に関わらず常に自動運転モードで走行することは難しく、道路状況や周辺環境が厳しい状況では、運転者の関与が必要な手動運転モードに切り替える必要がある。その場合、車両側から運転者側に、自動運転モードから手動運転モードに切り替えるハンドオーバ通知が必要となる。ハンドオーバ通知を受けた運転者は、モード切替スイッチを操作したり、所定の運転操作を行うことにより手動運転モードに切り替える（例えば、特許文献１参照）。
特開平１０－３２９５７５号公報
　本開示は、車両から搭乗者への通知に対して、搭乗者による迅速な応答を可能とする技術を提供する。
　本開示の一態様の運転支援方法は、車両内の搭乗者の位置および状態の少なくとも一方を検知するステップを有する。また、運転支援方法は、検知した搭乗者の位置および状態の少なくとも一方に応じて、車両内の複数の操作入力部から、搭乗者が最も操作容易な操作入力部を決定するステップを有する。さらに、運転支援方法は、イベントの発生に対して実行する予定の処理内容に対する同意要求を、車両内において報知するステップを有する。さらに、運転支援方法は、最も操作容易な操作入力部への同意操作を有効とするステップを有する。
　なお、以上の構成要素の任意の組み合わせ、本開示の表現を装置、システム、方法、プログラム、プログラムを記録した記録媒体、それらを搭載した自動運転車両などの間で変換したものもまた、本開示の態様として有効である。
　本開示によれば、車両から搭乗者への通知に対して、搭乗者による迅速な応答が可能となる。
図１Ａは、車両内のレイアウトの第１例を説明するための図である。 図１Ｂは、車両内のレイアウトの第１例を説明するための図である。 図２Ａは、車両内のレイアウトの第２例を説明するための図である。 図２Ｂは、車両内のレイアウトの第２例を説明するための図である。 図３Ａは、車両内のレイアウトの第３例を説明するための図である。 図３Ｂは、車両内のレイアウトの第３例を説明するための図である。 図４は、本開示の実施の形態に係る運転支援システムの構成を示すブロック図である。 図５は、カメラの設置例を示す図である。 図６Ａは、図２Ａ、図２Ｂに示した車両内のレイアウトを変更した状態を示した図である。 図６Ｂは、図２Ａ、図２Ｂに示した車両内のレイアウトを変更した状態を示した図である。 図７は、本開示の実施の形態に係る運転支援システムの動作を示すフローチャートである。 図８は、タッチパネルディスプレイに表示される同意要求画面の一例を示す図である。 図９Ａは、イベントと応答処理の別の例を説明するための図である。 図９Ｂは、イベントと応答処理の別の例を説明するための図である。 図１０は、本開示の変形例１に係る運転支援システムの構成を示すブロック図である。 図１１Ａは、運転者が携帯端末装置を使用している状態における車両内の様子を示す図である。 図１１Ｂは、運転者が携帯端末装置を使用している状態における車両内の様子を示す図である。 図１２は、本開示の変形例２に係る運転支援システムの構成を示すブロック図である。
　本開示の実施の形態の説明に先立ち、従来の技術における問題点を簡単に説明する。特許文献１の切替方法は運転者が運転席に前を向いて座っていることを前提としており、例えば運転者が後ろ向きに座っているような状態は想定されていない。運転者が後ろ向きに座っているような状態では、車両側からのハンドオーバ通知を運転者が直ぐに認知できない場合が発生する。また直ぐに認知できた場合でも、車両側に直ぐに応答できない場合が発生する。なお、車両側からの通知はハンドオーバ通知に限らず、クラクションやパッシング等の外部への合図発信に対する許可要求通知などもある。これら車両側からの通知に対して、運転者または同乗者による迅速な応答が求められる。
　図１Ａおよび図１Ｂは、車両１内のレイアウトの第１例を説明するための図である。図１Ａは車両１を上方から俯瞰した模式図であり、図１Ｂは車両１内の運転席付近の模式図である。図１Ａおよび図１Ｂに示す車両１は４シート仕様の車両であり、ステアリングホイール３が右側に設置されている。またフロントガラスの上部にはルームミラーＭ１が設置されている。運転者は右前シートＳ１に座って車両１を運転する。
　図１Ｂに示すようにダッシュボードの上に、タッチパネル式のセンタディスプレイ（以下、第１タッチパネルディスプレイ３１ａという）が設置されている。また、ダッシュボードの中央下部にタッチパネル式のヘッドユニットディスプレイ（以下、第２タッチパネルディスプレイ３１ｂという）が設置されている。また、センタコンソールにタッチパネル式の小型ディスプレイ（以下、第３タッチパネルディスプレイ３１ｃという）が設置されている。また、第１タッチパネルディスプレイ３１ａと第２タッチパネルディスプレイ３１ｂの間の領域に物理ボタン３２が設置されている。
　図２Ａおよび図２Ｂは、車両１内のレイアウトの第２例を説明するための図である。図２Ａは車両１を上方から俯瞰した模式図であり、図２Ｂは車両１内の前方領域の模式図である。自動運転車両が普及すると、従来のステアリングホイール、アクセルペダル、ブレーキペダルを搭載しない車両が実用化されると予想されている。また手動運転が必要な状況になった場合でも、運転操作が従来と比較して大幅に簡素化することが予想されている。例えば、ジョイスティックのような小型のコンソール端末で運転操作を行うことが考えられる。その場合、従来のステアリングホイール等の操縦部は不要になる。
　図２Ｂに示す例では、従来、ステアリングホイールが設置された位置に、タッチパネル式のディスプレイ（以下、第４タッチパネルディスプレイ３１ｄという）が設置されている。第４タッチパネルディスプレイ３１ｄは、運転操作におけるコマンド（追越コマンド、車線変更コマンドなど）の入力にも使用することができる。
　図３Ａおよび図３Ｂは、車両１内のレイアウトの第３例を説明するための図である。図３Ａは車両１を上方から俯瞰した模式図であり、図３Ｂは車両１内のシートレイアウトの一例を示す模式図である。第３例も第２例と同様に、従来のステアリングホイール等の操縦部が省略された構成である。第３例では右前シートＳ１及び左前シートＳ２が後ろ向きになり、右後シートＳ３及び左後シートＳ４と対面している。右前シートＳ１、左前シートＳ２、右後シートＳ３及び左後シートＳ４は固定式であってもよいし、回転自在な可動式の構成であってもよい。また、右前シートＳ１及び左前シートＳ２のみが前方に向きを変更可能な構成であってもよい。
　図３Ａおよび図３Ｂでは、右前シートＳ１及び左前シートＳ２と右後シートＳ３及び左後シートＳ４の間にテーブルＴ１が設置されている。図３Ｂに示すようにテーブルＴ１の表面にはタッチパネル式のディスプレイ（以下、第５タッチパネルディスプレイ３１ｅという）が形成されている。第５タッチパネルディスプレイ３１ｅは、テーブルＴ１内に予め埋め込まれた物理的なディスプレイであってもよいし、超短焦点プロジェクタとジェスチャ検出センサの組み合わせて実現されてもよい。
　図４は、本開示の実施の形態に係る運転支援システム２の構成を示すブロック図である。運転支援システム２は、車両制御装置１０、車室内状況検知部２０、ＵＩ（user interface）部３０、自動運転制御装置４０及びセンサ５０を有する。車両制御装置１０は、車両１と搭乗者との間のインタフェース機能を実行するＨＭＩ(Human　Machine　Interface)コントローラであり、自動運転制御装置４０は、車両１の自動運転機能を実行する自動運転コントローラであり、両者が連携して車両１を制御する。
　センサ５０は、自車の状態および自車周辺の状況を把握するための種々のセンサの総称である。例えばセンサ５０として、可視光カメラ、ＬＩＤＡＲ（Light　Detection　and　Ranging）、ミリ波レーダ、車速センサ、及びＧＰＳ（global positioning system）センサを有する。
　可視光カメラは車両１の前方、後方、左右の少なくとも４箇所に設置され、車両１の前方、後方、左右の映像を撮影する。ＬＩＤＡＲは、車両１の周囲に光線（例えば、赤外線レーザ）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物との距離、対象物の大きさ、対象物の組成を測定する。ミリ波レーダは、車両１の周囲に電波（ミリ波）を放射して、その反射信号を受信し、受信した反射信号をもとに周囲に存在する対象物までの距離を測定する。ミリ波レーダは、ＬＩＤＡＲで検出困難な、より遠方の対象物も検出可能である。車速センサは車両１の速度を検出する。ＧＰＳセンサは車両１の位置情報を検出する。具体的には複数のＧＰＳ衛星からそれぞれ発信時刻を受信し、受信した複数の発信時刻をもとに受信地点の緯度経度を算出する。
　自動運転制御装置４０は処理部４１、Ｉ／Ｏ（input/output）部４２、及び記録部４３を有する。処理部４１はハードウェア資源とソフトウェア資源の協働、又はハードウェア資源のみにより実現できる。ハードウェア資源としてプロセッサ、ＲＯＭ（read-only memory）、ＲＡＭ（random-access memory）、その他のＬＳＩ（large-scale integration）を利用できる。プロセッサとしてＣＰＵ（central processing unit）、ＧＰＵ（graphics processing unit）、ＤＳＰ（digital signal processor）等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。Ｉ／Ｏ部４２は各種の外部機器との接続を制御する。記録部４３は不揮発性メモリであり、ＮＡＮＤ型フラッシュメモリチップ、ＳＳＤ（solid-state drive）、ＨＤＤ（hard disk drive）等の記録媒体を有する。記録部４３には、３次元マップ等の自律走行に必要なデータが保持される。
　処理部４１は所定の自動運転アルゴリズムに基づき、車両１を自律走行させる。具体的には処理部４１は、センサ５０により検知された各種検知データ、及び外部から無線通信により収集した各種の情報に基づき、自車および自車周辺の状況を認識する。処理部４１は、認識した状況を示す各種パラメータを自動運転アルゴリズムに適用して車両１の行動を決定する。
　自動運転アルゴリズムは、例えばディープラーニングをもとにした人工知能（ＡＩ:Artificial　Intelligence）により生成される。自動運転アルゴリズムの各種パラメータは、事前にハイスペックなコンピュータにより学習された値に初期設定されるとともに、クラウド上のデータセンタからアップデートされた値が適宜、ダウンロードされる。
　処理部４１は、決定した行動をもとに操作対象を制御する。図４に示す例では操作対象は、ステアリングホイール３、アクセルペダル４、ブレーキペダル５、ウインカスイッチ６、ヘッドライトスイッチ７、及びクラクションスイッチ８である。例えば処理部４１は、所定の速度への加速を決定したとき、アクセルペダル４を制御するＥＣＵ(Electronic　Control　Unit)に車載ネットワークを介して制御信号を送信する。車載ネットワークには例えば、ＣＡＮ（Controller　Area　Networkを使用することができる。同様に処理部４１は、所定の速度への減速を決定したとき、所定の操舵角への操舵を決定したとき、ウインカの点滅を決定したとき、ヘッドライトの点灯／消灯を決定したとき、クラクションの鳴動を決定したとき、それぞれのＥＣＵに制御信号を送信する。
　車両制御装置１０は処理部１１、Ｉ／Ｏ部１２、及び記録部１３を有する。処理部１１は、検知情報解析部１１１、ＵＩ（User　Interface）制御部１１２、及び連携部１１３を含む。処理部１１の機能はハードウェア資源とソフトウェア資源の協働により実現できる。ハードウェア資源としてハードウェア資源としてプロセッサ、ＲＯＭ、ＲＡＭ、その他のＬＳＩを利用できる。プロセッサとしてＣＰＵ、ＧＰＵ、ＤＳＰ等を利用できる。ソフトウェア資源としてオペレーティングシステム、アプリケーション、ファームウェア等のプログラムを利用できる。Ｉ／Ｏ部１２は各種の外部機器との接続を制御する。記録部１３は不揮発性メモリであり、ＮＡＮＤ型フラッシュメモリチップ、ＳＳＤ、ＨＤＤ等の記録媒体を有する。
　車室内状況検知部２０は、車両１内の搭乗者の位置および状態を検知するためのセンサであり、例えばカメラを使用することができる。カメラは、シートレイアウトを考慮し、車室内の搭乗者を撮影可能な位置に設置される。
　図５は、カメラ２０ａ、２０ｂの設置例を示す図である。例えば、ルームミラーの上にカメラ２０ａを設置することが考えられる。この設置位置は、前列シートの搭乗者の位置および状態を検知するのに有効である。また車室内の天井の中央部にカメラ２０ｂを設置することも考えられる。この場合、広角カメラを使用することが好ましい。この設置位置は、車室内の搭乗者を広範囲に検知することができる。
　なお車室内の複数の箇所にカメラを設置すれば、搭乗者に関するより正確な情報を得ることができる。また車室内状況検知部２０として、シート位置センサを使用することもできる。例えば、運転シートの位置から運転者の位置を推定することができる。
　図４に戻る。ＵＩ部３０は、複数のタッチパネルディスプレイ３１、物理ボタン３２、及びスピーカ３３を含む。タッチパネルディスプレイ３１は車室内の複数の箇所に設置され、タッチパネル機能付きの液晶ディスプレイ、タッチパネル機能付きの有機ＥＬ（organic electro-luminescence：OEL）ディスプレイで構成される。タッチパネルディスプレイ３１には、既存のカーナビゲーション装置のディスプレイ、ディスプレイオーディオ等のヘッドユニットのディスプレイも含まれる。
　タッチパネルディスプレイ３１は車両制御装置１０から供給される画像信号を再生して表示するとともに、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成して車両制御装置１０に出力する。
　物理ボタン３２は車室内に少なくとも１つ設置される。なお物理ボタン３２は物理的な入力部の一例であり、スイッチ、ダイヤル、パッド等でもよい。物理ボタン３２は、ユーザの操作を受け付け、受け付けた操作に応じた操作信号を生成して車両制御装置１０に出力する。スピーカ３３は、車両制御装置１０から供給される音声信号を再生して音声出力する。
　検知情報解析部１１１は、車室内状況検知部２０から搭乗者の位置および状態の少なくとも一方を示す検知情報を取得し、取得した検知情報を解析する。例えば、検知情報として車室内の画像データを取得した場合、検知情報解析部１１１は取得した画像データを解析する。検知情報解析部１１１は例えば、顔の識別器を用いて画像内から搭乗者の顔を検出する。顔の識別器は、顔が写った複数のサンプル画像から、Haar-like特徴量などを学習することにより生成することができる。
　検知情報解析部１１１は、画像内で検出された顔の位置および大きさをもとに、車室内における搭乗者の位置を推定することができる。また検知情報解析部１１１は識別器として、正面顔の識別器、側面顔の識別器など、複数種類の顔識別器を用いることにより、搭乗者の顔の向きを推定することができる。また搭乗者の位置を推定する際、シートの位置を考慮してもよい。
　ＵＩ制御部１１２は、検知情報解析部１１１により推定された搭乗者の位置および状態の少なくとも一方に応じて、複数のタッチパネルディスプレイ３１の内、搭乗者が最も操作容易なタッチパネルディスプレイ３１を決定する。具体的には、搭乗者の視野範囲内に存在するタッチパネルディスプレイ３１の内、搭乗者に最も近接しているタッチパネルディスプレイ３１に決定する。
　連携部１１３は、自動運転制御装置４０とコマンドを送受信する。本実施の形態では、自動運転制御装置４０の処理部４１が、車両１の走行に関連する所定のイベントを検出し、検出したイベントに対して実行する予定の処理内容を決定した場面を考える。決定した処理内容によっては搭乗者（以下、運転者を想定する）の同意を得ることが必要または好ましいものがある。運転者の同意を得ることが必要または好ましい処理内容の場合、自動運転制御装置４０の処理部４１は、決定した処理内容に対する同意の取得を要求するコマンドを車両制御装置１０に送信する。
　車両制御装置１０の連携部１１３が当該コマンドを受信すると、ＵＩ制御部１１２は当該処理内容に対する同意要求のメッセージを、上記で決定した運転者が最も操作容易なタッチパネルディスプレイ３１に表示させる。その際、ＵＩ制御部１１２は当該メッセージをスピーカ３３から音声出力させてもよい。ＵＩ制御部１１２は、当該最も操作容易なタッチパネルディスプレイ３１への、上記同意要求に対する同意操作を有効なものとして受け付ける。
　例えば図１Ａおよび図１Ｂに示したレイアウトにおいて、運転者がステアリングホイール３に近い位置でステアリングホイール３を操作している場合、ＵＩ制御部１１２は、最も操作容易なタッチパネルディスプレイ３１として第２タッチパネルディスプレイ３１ｂを選択する。
　また図３Ａおよび図３Ｂに示したレイアウトにおいて、運転者が後ろ向きに座っている場合、ＵＩ制御部１１２は、最も操作容易なタッチパネルディスプレイ３１として第５タッチパネルディスプレイ３１ｅを選択する。
　図６Ａおよび図６Ｂは、図２Ａおよび図２Ｂに示した車両１内のレイアウトを変更した状態を示した図である。具体的には、右前シートＳ１の位置を後ろにずらした状態を示している。右前シートＳ１とともにセンタコンソールも後ろにずれている。この状態では、ＵＩ制御部１１２は、最も操作容易なタッチパネルディスプレイ３１として、センタコンソールに設置された第３タッチパネルディスプレイ３１ｃを選択する。
　なおＵＩ制御部１１２は、同意要求のメッセージを最も操作容易なタッチパネルディスプレイ３１に表示させるだけでなく、他のタッチパネルディスプレイ３１に表示させてもよい。例えば、２番目に操作容易な操作容易なタッチパネルディスプレイ３１にも表示させてもよいし、車室内の全てのタッチパネルディスプレイ３１に表示させてもよい。また、運転者の視野範囲に存在するタッチパネルディスプレイ３１のみに表示させてもよい。
　またＵＩ制御部１１２は、同意要求のメッセージをスピーカ３３から音声出力させる場合、運転者が最も操作容易なタッチパネルディスプレイ３１を運転者の位置のみによって決定してもよい。即ち、運転者の顔向きに関係なく、運転者に物理的に最も近いタッチパネルディスプレイ３１を選択する。
　またＵＩ制御部１１２は、上記同意要求に対する運転者の同意操作を有効なものとして受け付けるタッチパネルディスプレイ３１を、最も操作容易なタッチパネルディスプレイ３１に限定してもよいし、限定しなくてもよい。例えば、同意要求の対象となっている処理内容を実行するための物理ボタン３２が存在する場合、ＵＩ制御部１１２は、物理ボタン３２への同意操作を有効なものとして受け付ける。車両１の操作は、従来から存在する物理ボタン３２を操作した方が安心感を持って操作できる運転者も多い。
　またＵＩ制御部１１２は、上記最も操作容易なタッチパネルディスプレイ３１以外のタッチパネルディスプレイ３１への、上記同意要求に対する同意操作を有効なものとして受け付けてもよい。なお運転者以外の同乗者の有無により、最も操作容易でないタッチパネルディスプレイ３１への同意操作の有効／無効を切り替えてもよい。同乗者がいる場合、運転者の意図に反して同乗者が近くのタッチパネルディスプレイ３１に触れてしまう可能性がある。そこで同乗者がいる場合、ＵＩ制御部１１２は、運転者が最も操作容易なタッチパネルディスプレイ３１への操作のみを有効な操作として扱う。一方、同乗者がいない場合、ＵＩ制御部１１２は、車室内の全てのタッチパネルディスプレイ３１への操作を有効な操作として扱う。
　図７は、本開示の実施の形態に係る運転支援システム２の動作を示すフローチャートである。自動運転制御装置４０の処理部４１は、車両１の走行に関するイベントを検出すると（Ｓ４０のＹ）、検出したイベントに対する応答処理を決定する（Ｓ４１）。以下、イベントの検出として、自動運転モードが継続困難となる事象の検出を想定する。例えば、先行車および道路上の白線を検出できなくなった場合、自動運転を継続することが困難になる。処理部４１は当該事象に対する応答処理として、手動運転モードへの切り替えを決定する。なお本実施の形態では当該手動運転モードに、手動運転と自動運転が併存するモードを含むものとする。
　処理部４１は、決定した応答処理に対する同意要求コマンドを車両制御装置１０に送信する（４２）。同意要求コマンドには、応答処理の内容と、同意要求に対する回答時間が含まれる。車両制御装置１０の連携部１１３は、自動運転制御装置４０から同意要求コマンドを受信する（Ｓ１０）。検知情報解析部１１１は、車室内状況検知部２０から搭乗者の位置および状態を示す検知情報を取得して解析する（Ｓ１１）。なお検知情報解析部１１１は、検知情報の取得および解析処理を、同意要求コマンドの受信をトリガとして実行してもよいし、常時実行していてもよい。
　ＵＩ制御部１１２は、検知情報解析部１１１による解析結果をもとに、搭乗者が最も操作しやすいタッチパネルディスプレイ３１を特定する（Ｓ１２）。ＵＩ制御部１１２は、特定したタッチパネルディスプレイ３１に、応答処理の内容と同意要求のメッセージを表示させる（Ｓ１３）。
　図８は、タッチパネルディスプレイ３１に表示される同意要求画面３１１の一例を示す図である。図８に示す例では、同意要求画面３１１内に「手動運転に切り替えます。準備ＯＫですか？」というメッセージと、ＯＫ（同意）キー３１２、ＮＧ（不同意）キー３１３が表示されている。搭乗者（運転者）は準備ＯＫの場合はＯＫキー３１２を押下し、準備できていない場合はＮＧキー３１３を押下する。
　図７に戻る。ＵＩ制御部１１２は、特定したタッチパネルディスプレイ３１から搭乗者の操作内容を取得する（Ｓ１４）。なお、指定された回答時間内に操作されなかった場合、ＮＧキー３１３が押下されたものとして取り扱う。連携部１１３は、取得された操作内容を含む操作コマンドを自動運転制御装置４０に送信する（Ｓ１５）。
　自動運転制御装置４０の処理部４１は、車両制御装置１０から操作コマンドを受信する（Ｓ４３）。処理部４１は、受信した操作コマンドに応じた処理を実行する（Ｓ４４）。例えば、操作内容が同意の場合、自動運転モードから手動運転モードへ切り替える。操作内容が拒否の場合、車両１を路肩に移動させて停車させる。
　図９Ａおよび図９Ｂは、イベントと応答処理の別の例を説明するための図である。この例では車両１は、車外にメッセージを伝達するための外部ディスプレイ６０を有する。外部ディスプレイ６０は例えば、図９Ａに示すようにフロントガラスの下部に設置される。なお、外部ディスプレイ６０はフロントガラスの上部やフロントグリルに設置されてもよい。
　車両１の走行中に運転者が、周辺の歩行者や他車の運転者とコミュニケーションを図りたい場合が発生する。例えば、横断歩道の前で待っている歩行者に、横断歩道を渡るように合図を送りたい場合がある。また信号のない交差点等で、他車の運転者に先に行くよう合図を送りたい場合がある。また先を譲ってくれた他車の運転者に感謝の合図を送りたい場合もある。
　このように外部とのコミュニケーションを図りたい場合のイベントの検出として、例えば、横断歩道の前で待っている歩行者の検出が挙げられる。図９Ｂは、当該歩行者を検出した場合にタッチパネルディスプレイ３１に表示される同意要求画面３１４の一例を示す図である。図９Ｂに示す例では、同意要求画面３１４内に「「おさきにどうぞ」を外部に表示しますか？」というメッセージと、ＯＫキー３１５、ＮＧキー３１６が表示されている。搭乗者（運転者）は、当該メッセージを表示する場合はＯＫキー３１５を押下し、表示しない場合はＮＧキー３１６を押下する。
　なお、外部とのコミュニケーション方法は外部ディスプレイ６０へのメッセージ表示に限るものではない。例えば、クラクションを小音量で鳴動させる、ヘッドライトでパッシングするといった伝達方法も考えられる。
　外部へのコミュニケーション通知は、歩行者、近隣住民、他車の搭乗者にとって迷惑な行為と受け取られる可能性をはらんでいる。従って、外部へのコミュニケーション通知を発動する前に運転者の確認をとることが好ましい。
　以上説明したように本実施の形態によれば、車両から搭乗者への通知を、当該搭乗者の最も操作しやすいタッチパネルディスプレイ３１に表示させ、タッチパネルディスプレイ３１への操作を有効とする。これにより、車室内のシートレイアウト、搭乗者の位置、搭乗者の顔向きに関係なく、搭乗者への素早い伝達と、搭乗者による素早い操作を実現することができる。特に、上述した手動運転モードへの切り替えや外部へのコミュニケーション通知など、搭乗者の迅速な判断が求められる状況に有効な技術である。搭乗者の意思決定が迅速になれば、自動運転車両が緊急停止する可能性を低減することもできる。
　以上、本開示を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本開示の範囲にあることは当業者に理解されるところである。
　図１０は、本開示の変形例１に係る運転支援システム２の構成を示すブロック図である。変形例１では、運転支援システム２は、搭乗者が車両内に持ち込んだ携帯端末装置９と連携する。携帯端末装置９は、通信機能を有する携帯可能な機器であればよく、例えば、スマートフォン、フィーチャーフォン、タブレット、ノート型ＰＣ（personal computer）、携帯型音楽プレーヤ、携帯型ゲーム機などが該当する。携帯端末装置９はタッチパネルディスプレイ９３を有する。
　変形例１の車両制御装置１０は、携帯端末装置９と短距離通信するための通信部１４を有する。通信部１４は、Ｗｉ－Ｆｉ（登録商標）、Ｂｌｕｅｔｏｏｔｈ（登録商標）等の短距離無線通信規格に準拠した通信処理を実行する。変形例１では、電源がオン状態の携帯端末装置９のタッチパネルディスプレイ９３も、車室内のタッチパネルディスプレイ３１に含めて考える。なお電源がオフ状態の携帯端末装置９のタッチパネルディスプレイ９３は、車室内のタッチパネルディスプレイ３１に含めない。
　検知情報解析部１１１は、車室内のカメラで撮影された映像を解析して、携帯端末装置９の位置とタッチパネルディスプレイ９３の向きを検出する。ＵＩ制御部１１２は、携帯端末装置９のタッチパネルディスプレイ９３を含む車室内の複数のタッチパネルディスプレイから、搭乗者が最も操作容易なタッチパネルディスプレイを決定する。
　なお、車室内における携帯端末装置９の位置とタッチパネルディスプレイ９３の向きを検出できない場合、ＵＩ制御部１１２は、携帯端末装置９のタッチパネルディスプレイ９３を含まない車室内の複数のタッチパネルディスプレイ３１から、搭乗者が最も操作容易なタッチパネルディスプレイ３１を決定する。ＵＩ制御部１１２は、決定したタッチパネルディスプレイ３１と、携帯端末装置９のタッチパネルディスプレイ９３の両方に同意要求メッセージを表示させ、いずれか一方に対する同意操作を有効な操作として受け付ける。
　図１１Ａおよび図１１Ｂは、運転者が携帯端末装置９を使用している状態における車両１内の様子を示す図である。自動運転モードで走行中は、運転者が運転操作をする必要がないため、運転者が携帯端末装置９を使用してウェブサイトの閲覧、動画の視聴などを行うことが可能である。図１１Ａおよび図１１Ｂに示す状態では、ＵＩ制御部１１２は、最も操作容易なタッチパネルディスプレイとして、携帯端末装置９のタッチパネルディスプレイ９３を選択する。
　以上説明したように変形例１によれば、スマートフォン等の携帯端末装置９を見ている搭乗者への素早い情報伝達と、搭乗者による素早い応答操作を実現することができる。
　図１２は、本開示の変形例２に係る運転支援システム２の構成を示すブロック図である。変形例２では、車室内に複数の搭乗者が存在することを前提とする。変形例２では車両制御装置１０の処理部１１は、対象者決定部１１４をさらに含む。対象者決定部１１４は、車室内の複数の搭乗者の権限または属性をもとに、複数の搭乗者の中から同意要求メッセージの報知対象とすべき搭乗者を決定する。
　対象者決定部１１４は基本的に、運転権限を持つ搭乗者を同意要求メッセージの報知対象とすべき搭乗者に決定する。例えば、車両１の所有者の顔画像を車両制御装置１０に予め登録する。また新たな人物が車両１を運転したとき、その人物の顔画像を撮影して登録する。対象者決定部１１４は、車室内に複数の搭乗者が存在する場合、登録されている顔の搭乗者を運転権限を持つ搭乗者と判断する。登録されている顔の搭乗者が複数存在する場合、運転シートに座っている搭乗者を運転権限を持つ搭乗者と判断する。
　なお、同意要求の対象となる処理内容には、運転免許を持たない搭乗者でも同意を与えることができる性質のものもある。例えば、駐車場で自動運転制御装置４０が駐車位置を決定したときに求められる同意要求、自動運転制御装置４０がガソリンスタンドまたは充電スタンドに寄ることを決定したときに求められる同意要求、渋滞回避のために自動運転制御装置４０がルート変更を決定したときに求められる同意要求などは、運転権限を持つ搭乗者以外が同意しても問題がない性質の同意要求である。
　この場合、対象者決定部１１４は、車室内に運転権限を持つ搭乗者が存在しない場合であっても、所定のシートに座っている搭乗者を、同意要求メッセージを報知する搭乗者に決定する。予め車室内のシートに優先順位（例えば、右前シートＳ１→左前シートＳ２→右後シートＳ３→左後シートＳ４）を付け、対象者決定部１１４は優先順位に従い、同意要求メッセージを報知する搭乗者の候補を選定する。その際、対象者決定部１１４は搭乗者の属性を考慮する。例えば、搭乗者が子供または後期高齢者であると推定される場合、その搭乗者は候補から除外する。また、寝ていると推定される搭乗者も候補から除外する。
　なお、同意要求の対象となる処理内容が、運転権限を持つ搭乗者の同意を必要とする性質のものであり、起きている運転権限を持つ搭乗者が存在しない場合、対象者決定部１１４は、ＮＧコマンドを車両制御装置１０に返信する。
　以上説明したように変形例２によれば、車室内の複数の搭乗者が存在する場合において、最適な操作見込者に同意要求メッセージを伝達することができる。
　以上の説明では、搭乗者が最も操作しやすいタッチパネルディスプレイ３１に同意要求メッセージを表示することを必須として説明した。この点、他のタッチパネルディスプレイ３１に同意要求メッセージを表示、またはスピーカ３３から音声出力した場合、最も操作しやすいタッチパネルディスプレイ３１への同意要求メッセージの表示は必須ではない。
　また以上の説明では、同意要求メッセージを表示し、同意操作を受け付けるデバイスとしてタッチパネルディスプレイを例に説明したが、必ずしもタッチパネルディスプレイに限定されるものではない。タッチパネル機能なしのディスプレイと、当該ディスプレイの近傍に配置された物理キーとの組み合わせであってもよい。即ち、表示機能と操作入力機能が一体または近接しているデバイスであればよい。
　なお、実施の形態は、以下の項目によって特定されてもよい。
　［項目１］
　運転支援方法は、車両（１）内の少なくとも１人の搭乗者の位置および状態の少なくとも一方を検知するステップを有する。また、運転支援方法は、検知した搭乗者の位置および状態の少なくとも一方に応じて、車両（１）内の複数の操作入力部（３１）から、搭乗者が最も操作容易な操作入力部（３１）を決定するステップを有する。さらに、運転支援方法は、イベントの発生に対して実行する予定の処理内容に対する同意要求を、車両（１）内において報知するステップを有する。さらに、運転支援方法は、最も操作容易な操作入力部（３１）への同意操作を有効とするステップを有する。
　これにより、車両（１）から搭乗者への通知に対して、搭乗者が迅速に応答することができる。
　［項目２］
　項目１に記載の運転支援方法において、最も操作容易な操作入力部（３１）を決定するステップでは、搭乗者に最も近接している操作入力部（３１）を最も操作容易な操作入力部として決定する。
　なお、最も操作容易な操作入力部（３１）は、搭乗者の視野範囲内に存在する操作入力部（３１）の内、搭乗者に最も近接している操作入力部（３１）であってもよい。
　これにより、搭乗者が、手を大きく移動させることなく、迅速に操作を行うことができる。
　［項目３］
　項目１または２に記載の運転支援方法において、複数の操作入力部（３１）は、複数のタッチパネルディスプレイ（３１）であり、同意要求を報知するステップでは、最も操作容易な操作入力部（３１）に、処理内容に対する同意要求を表示する。
　これにより、搭乗者の見やすい位置に同意要求を表示させることができる。
　［項目４］
　項目１から３のいずれかに記載の運転支援方法において、複数の操作入力部（３１、９３）には、搭乗者の携帯端末装置（９）が含まれる。
　これにより、搭乗者が携帯端末装置（９）に対して応答操作を行うことができる。
　［項目５］
　項目１から４のいずれかに記載の運転支援方法は、少なくとも１人の搭乗者が複数の搭乗者を含む場合、複数の搭乗者の権限または属性をもとに、複数の搭乗者の中から報知対象とすべき搭乗者を決定するステップをさらに有する。
　これにより、最適な搭乗者に同意要求を報知することができる。
　［項目６］
　項目１から５のいずれかに記載の運転支援方法において、車両（１）は自動運転車両であり、イベントの発生は、自動運転中に自動運転が継続困難になる事象の発生であり、イベントの発生に対して実行する予定の処理内容は、手動運転への切り替えである。
　これにより、自動運転から手動運転への切り替え要求に対して、搭乗者が迅速に応答することができる。
　［項目７］
　項目１から５のいずれかに記載の運転支援方法において、車両（１）は、少なくとも一部の運転操作を車両（１）が自律的に行う車両であり、イベントの発生は、車両（１）の外に合図またはメッセージを送る必要の発生であり、イベントの発生に対して実行する予定の処理内容は、車両（１）の外に合図またはメッセージを送る処理である。
　これにより、外部へのコミュニケーション通知に対する同意要求に対して、搭乗者が迅速に応答することができる。
　［項目８］
　運転支援プログラムは、車両（１）内の搭乗者の位置および状態の少なくとも一方を検知する処理をコンピュータに実行させる。また、運転支援プログラムは、検知した搭乗者の位置および状態の少なくとも一方に応じて、車両（１）内の複数の操作入力部（３１）から、搭乗者が最も操作容易な操作入力部（３１）を決定する処理をコンピュータに実行させる。さらに、運転支援プログラムは、イベントの発生に対して実行する予定の処理内容に対する同意要求を、車両（１）内において報知する処理をコンピュータに実行させる。さらに、運転支援プログラムは、最も操作容易な操作入力部（３１）への同意操作を有効とする処理をコンピュータに実行させる。
　これにより、車両（１）から搭乗者への通知に対して、搭乗者が迅速に応答することができる。
　［項目９］
　車両制御装置（１０）は、検知情報取得部（１１１）と、ユーザインタフェース制御部（１１２）と、を有する。検知情報取得部（１１１）は、車両（１）内の搭乗者の位置および状態の少なくとも一方を検知するための検知部（２０）から、検知した搭乗者の位置および状態の少なくとも一方の検知情報を取得する。ユーザインタフェース制御部（１１２）は、取得された検知情報に応じて、車両（１）内の複数の操作入力部（３１）から、搭乗者が最も操作容易な操作入力部（３１）を決定する。また、ユーザインタフェース制御部（１１２）は、発生したイベントに対して実行する予定の処理内容に対する同意要求を車両（１）内において報知させ、最も操作容易な操作入力部（３１）への同意操作を有効とする。
　これにより、車両制御装置（１０）から搭乗者への通知に対して、搭乗者が迅速に応答することができる。
　本開示は、複数の操作入力部が設置されている車両における、運転支援方法、運転支援プログラム及び車両制御装置として有用である。
　１　車両
　２　運転支援システム
　３　ステアリングホイール
　４　アクセルペダル
　５　ブレーキペダル
　６　ウインカスイッチ
　７　ヘッドライトスイッチ
　８　クラクションスイッチ
　９　携帯端末装置
　１０　車両制御装置
　１１　処理部
　１２　Ｉ／Ｏ部
　１３　記録部
　１４　通信部
　２０　車室内状況検知部
　２０ａ，２０ｂ　カメラ
　３０　ＵＩ部
　３１　タッチパネルディスプレイ
　３１ａ　第１タッチパネルディスプレイ
　３１ｂ　第２タッチパネルディスプレイ
　３１ｃ　第３タッチパネルディスプレイ
　３１ｄ　第４タッチパネルディスプレイ
　３１ｅ　第５タッチパネルディスプレイ
　３２　物理ボタン
　３３　スピーカ
　４０　自動運転制御装置
　４１　処理部
　４２　Ｉ／Ｏ部
　４３　記録部
　５０　センサ
　６０　外部ディスプレイ
　９３　タッチパネルディスプレイ
　１１１　検知情報解析部
　１１２　ＵＩ制御部
　１１３　連携部
　１１４　対象者決定部
　３１１，３１４　同意要求画面
　３１２，３１５　ＯＫキー
　３１３，３１６　ＮＧキー
　Ｍ１　ルームミラー
　Ｓ１　右前シート
　Ｓ２　左前シート
　Ｓ３　右後シート
　Ｓ４　左後シート
　Ｔ１　テーブル

Claims (9)

  1. 　車両内の少なくとも１人の搭乗者の位置および状態の少なくとも一方を検知するステップと、
    　検知した前記搭乗者の位置および状態の少なくとも一方に応じて、前記車両内の複数の操作入力部から、前記搭乗者が最も操作容易な操作入力部を決定するステップと、
    　イベントの発生に対して実行する予定の処理内容に対する同意要求を、前記車両内において報知するステップと、
    　前記最も操作容易な操作入力部への同意操作を有効とするステップと、
    　を有する運転支援方法。
  2. 　前記最も操作容易な操作入力部を決定するステップでは、前記搭乗者に最も近接している操作入力部を前記最も操作容易な操作入力部として決定する、
    　請求項１に記載の運転支援方法。
  3. 　前記複数の操作入力部は、複数のタッチパネルディスプレイであり、
    　前記同意要求を報知するステップでは、前記最も操作容易な操作入力部に、前記処理内容に対する前記同意要求を表示する、
    　請求項１または２に記載の運転支援方法。
  4. 　前記複数の操作入力部には、前記搭乗者の携帯端末装置が含まれる、
    　請求項１から３のいずれかに記載の運転支援方法。
  5. 　前記少なくとも１人の搭乗者が複数の搭乗者を含む場合、前記複数の搭乗者の権限または属性をもとに、前記複数の搭乗者の中から報知対象とすべき搭乗者を決定するステップをさらに有する、
    　請求項１から４のいずれかに記載の運転支援方法。
  6. 　前記車両は自動運転車両であり、
    　前記イベントの発生は、自動運転中に自動運転が継続困難になる事象の発生であり、
    　前記イベントの発生に対して実行する予定の処理内容は、手動運転への切り替えである、
    　請求項１から５のいずれかに記載の運転支援方法。
  7. 　前記車両は、少なくとも一部の運転操作を車両が自律的に行う車両であり、
    　前記イベントの発生は、前記車両の外に合図またはメッセージを送る必要の発生であり、
    　前記イベントの発生に対して実行する予定の処理内容は、前記車両の外に合図またはメッセージを送る処理である、
    　請求項１から５のいずれかに記載の運転支援方法。
  8. 　車両内の搭乗者の位置および状態の少なくとも一方を検知する処理と、
    　検知した前記搭乗者の位置および状態の少なくとも一方に応じて、前記車両内の複数の操作入力部から、前記搭乗者が最も操作容易な操作入力部を決定する処理と、
    　イベントの発生に対して実行する予定の処理内容に対する同意要求を、前記車両内において報知する処理と、
    　前記最も操作容易な操作入力部への同意操作を有効とする処理と、
    　をコンピュータに実行させる運転支援プログラム。
  9. 　車両内の搭乗者の位置および状態の少なくとも一方を検知するための検知部から、検知した前記搭乗者の位置および状態の少なくとも一方の検知情報を取得する検知情報取得部と、
    　取得された検知情報に応じて、前記車両内の複数の操作入力部から、前記搭乗者が最も操作容易な操作入力部を決定するユーザインタフェース制御部と、を備え、
    　前記ユーザインタフェース制御部は、イベントの発生に対して実行する予定の処理内容に対する同意要求を前記車両内において報知させ、前記最も操作容易な操作入力部への同意操作を有効とする、
    　車両制御装置。
PCT/JP2018/022306 2017-06-13 2018-06-12 運転支援方法、運転支援プログラム及び車両制御装置 Ceased WO2018230527A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019525432A JP7108814B2 (ja) 2017-06-13 2018-06-12 運転支援方法、運転支援プログラム及び車両制御装置
DE112018003002.4T DE112018003002T5 (de) 2017-06-13 2018-06-12 Fahrassistenzverfahren, Fahrassistenzprogramm und Fahrzeugsteuervorrichtung
CN201880038127.9A CN110719865B (zh) 2017-06-13 2018-06-12 驾驶辅助方法、驾驶辅助程序以及车辆控制装置
US16/699,938 US11458978B2 (en) 2017-06-13 2019-12-02 Drive assist method, drive assist program, and vehicle control device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-116223 2017-06-13
JP2017116223 2017-06-13

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/699,938 Continuation US11458978B2 (en) 2017-06-13 2019-12-02 Drive assist method, drive assist program, and vehicle control device

Publications (1)

Publication Number Publication Date
WO2018230527A1 true WO2018230527A1 (ja) 2018-12-20

Family

ID=64658633

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/022306 Ceased WO2018230527A1 (ja) 2017-06-13 2018-06-12 運転支援方法、運転支援プログラム及び車両制御装置

Country Status (5)

Country Link
US (1) US11458978B2 (ja)
JP (1) JP7108814B2 (ja)
CN (1) CN110719865B (ja)
DE (1) DE112018003002T5 (ja)
WO (1) WO2018230527A1 (ja)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020126327A (ja) * 2019-02-01 2020-08-20 日産自動車株式会社 運転支援方法及び運転支援装置
JP2020171128A (ja) * 2019-04-03 2020-10-15 トヨタ自動車株式会社 電動車両
JP2020204875A (ja) * 2019-06-17 2020-12-24 株式会社ユピテル 電子機器、システムおよびプログラム等
JP2022029065A (ja) * 2020-08-04 2022-02-17 トヨタ自動車株式会社 車載インターフェース装置
EP4080439A4 (en) * 2019-12-16 2023-02-08 Panasonic Intellectual Property Management Co., Ltd. INFORMATION PROCESSING PROCEDURES AND INFORMATION PROCESSING SYSTEM
US11772517B2 (en) 2020-11-09 2023-10-03 Ford Global Technologies, Llc Vehicular system capable of adjusting a passenger compartment from a child seat arrangement to a second arrangement
JP2023140118A (ja) * 2022-03-22 2023-10-04 本田技研工業株式会社 制御装置および車両
US11904732B2 (en) 2020-11-09 2024-02-20 Ford Global Technologies, Llc Vehicular system capable of adjusting a passenger compartment from a first arrangement to a child care arrangement
US12077068B2 (en) 2020-11-09 2024-09-03 Ford Global Technologies, Llc Authorization-based adjustment of passenger compartment arrangement
US12257932B2 (en) 2020-11-09 2025-03-25 Ford Global Technologies, Llc Exterior imager utilized in adjusting a passenger compartment arrangement

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6753923B2 (ja) * 2016-03-15 2020-09-09 本田技研工業株式会社 車両制御システム、車両制御方法、および車両制御プログラム
GB2568695B (en) * 2017-11-23 2019-11-20 Ford Global Tech Llc Vehicle display system and method
US11485389B2 (en) * 2019-04-02 2022-11-01 Lg Electronics Inc. Vehicle control method
JP6907262B2 (ja) * 2019-04-22 2021-07-21 矢崎総業株式会社 通信システム、車両ユニット、及び、シートユニット
JP2022024511A (ja) * 2020-07-28 2022-02-09 日野自動車株式会社 引渡要求通知装置
US12509097B2 (en) 2023-10-19 2025-12-30 Toyota Motor North America, Inc. Vehicle occupant preference-based data delivery

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283531A (ja) * 2004-03-31 2005-10-13 Equos Research Co Ltd 車載装置及びデータ作成装置
JP2009210360A (ja) * 2008-03-03 2009-09-17 Toyota Motor Corp カーナビゲーション装置
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体

Family Cites Families (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2718033B2 (ja) 1987-08-13 1998-02-25 日産自動車株式会社 自律走行車両制御装置
JP3363283B2 (ja) 1995-03-23 2003-01-08 株式会社日立製作所 入力装置、入力方法、情報処理システムおよび入力情報の管理方法
JPH10329575A (ja) 1997-05-29 1998-12-15 Toyota Motor Corp 自動走行車両制御装置
WO2004091977A1 (ja) * 2003-04-14 2004-10-28 Fujitsu Limited 車両情報処理装置
JP4305318B2 (ja) 2003-12-17 2009-07-29 株式会社デンソー 車両情報表示システム
US7561966B2 (en) 2003-12-17 2009-07-14 Denso Corporation Vehicle information display system
JP4687521B2 (ja) * 2006-03-15 2011-05-25 オムロン株式会社 表示装置および方法、並びにプログラム
JP2010113601A (ja) 2008-11-07 2010-05-20 Toyota Motor Corp 車両用警告装置
JP5305250B2 (ja) * 2010-11-12 2013-10-02 株式会社デンソー 車両用操作入力装置
JP2014134897A (ja) 2013-01-08 2014-07-24 Denso Corp 車両用意思疎通装置、及びそれを用いた車両用コミュニケーションシステム
JP6394281B2 (ja) * 2014-10-29 2018-09-26 株式会社デンソー 車載注意喚起システム、報知制御装置
EP3040809B1 (en) * 2015-01-02 2018-12-12 Harman Becker Automotive Systems GmbH Method and system for controlling a human-machine interface having at least two displays
JP6455711B2 (ja) 2015-02-03 2019-01-23 日本精機株式会社 車両用情報提供装置
JP6524501B2 (ja) 2015-06-11 2019-06-05 パナソニックＩｐマネジメント株式会社 車両制御装置、車両制御方法および車両制御プログラム
JP6304162B2 (ja) * 2015-07-27 2018-04-04 トヨタ自動車株式会社 車両用シート制御装置
JP6237725B2 (ja) * 2015-07-27 2017-11-29 トヨタ自動車株式会社 乗員情報取得装置及び車両制御システム
US9513632B1 (en) * 2015-09-16 2016-12-06 International Business Machines Corporation Driving mode alerts from self-driving vehicles
US10261513B2 (en) * 2016-12-19 2019-04-16 drive.ai Inc. Methods for communicating state, intent, and context of an autonomous vehicle

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005283531A (ja) * 2004-03-31 2005-10-13 Equos Research Co Ltd 車載装置及びデータ作成装置
JP2009210360A (ja) * 2008-03-03 2009-09-17 Toyota Motor Corp カーナビゲーション装置
WO2017085981A1 (ja) * 2015-11-19 2017-05-26 ソニー株式会社 運転支援装置及び運転支援方法、並びに移動体

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7246195B2 (ja) 2019-02-01 2023-03-27 日産自動車株式会社 運転支援方法及び運転支援装置
JP2020126327A (ja) * 2019-02-01 2020-08-20 日産自動車株式会社 運転支援方法及び運転支援装置
JP2020171128A (ja) * 2019-04-03 2020-10-15 トヨタ自動車株式会社 電動車両
JP7310234B2 (ja) 2019-04-03 2023-07-19 トヨタ自動車株式会社 電動車両
JP2020204875A (ja) * 2019-06-17 2020-12-24 株式会社ユピテル 電子機器、システムおよびプログラム等
JP7378768B2 (ja) 2019-06-17 2023-11-14 株式会社ユピテル 電子機器、システムおよびプログラム等
EP4080439A4 (en) * 2019-12-16 2023-02-08 Panasonic Intellectual Property Management Co., Ltd. INFORMATION PROCESSING PROCEDURES AND INFORMATION PROCESSING SYSTEM
US12205469B2 (en) 2019-12-16 2025-01-21 Panasonic Intellectual Property Management Co., Ltd. Information processing method and information processing system
US12103388B2 (en) 2020-08-04 2024-10-01 Toyota Jidosha Kabushiki Kaisha On-vehicle interface apparatus
JP2022029065A (ja) * 2020-08-04 2022-02-17 トヨタ自動車株式会社 車載インターフェース装置
JP7226410B2 (ja) 2020-08-04 2023-02-21 トヨタ自動車株式会社 車載インターフェース装置
US11772517B2 (en) 2020-11-09 2023-10-03 Ford Global Technologies, Llc Vehicular system capable of adjusting a passenger compartment from a child seat arrangement to a second arrangement
US12077068B2 (en) 2020-11-09 2024-09-03 Ford Global Technologies, Llc Authorization-based adjustment of passenger compartment arrangement
US11904732B2 (en) 2020-11-09 2024-02-20 Ford Global Technologies, Llc Vehicular system capable of adjusting a passenger compartment from a first arrangement to a child care arrangement
US12257932B2 (en) 2020-11-09 2025-03-25 Ford Global Technologies, Llc Exterior imager utilized in adjusting a passenger compartment arrangement
JP2023140118A (ja) * 2022-03-22 2023-10-04 本田技研工業株式会社 制御装置および車両
JP7794670B2 (ja) 2022-03-22 2026-01-06 本田技研工業株式会社 制御装置および車両

Also Published As

Publication number Publication date
CN110719865A (zh) 2020-01-21
JP7108814B2 (ja) 2022-07-29
US20200101977A1 (en) 2020-04-02
US11458978B2 (en) 2022-10-04
CN110719865B (zh) 2023-02-24
JPWO2018230527A1 (ja) 2020-05-28
DE112018003002T5 (de) 2020-03-05

Similar Documents

Publication Publication Date Title
JP7108814B2 (ja) 運転支援方法、運転支援プログラム及び車両制御装置
US9977593B2 (en) Gesture recognition for on-board display
EP3072710B1 (en) Vehicle, mobile terminal and method for controlling the same
JP6773046B2 (ja) 運転支援装置及び運転支援方法、並びに移動体
US10489100B2 (en) Electronic device and method for sharing images
US10007264B2 (en) Autonomous vehicle human driver takeover mechanism using electrodes
US20180154903A1 (en) Attention monitoring method and system for autonomous vehicles
US20190041652A1 (en) Display system, display method, and program
JP2025000748A (ja) 自律車両の通知のシステムと方法
US9442647B2 (en) System and method for limiting interaction between a portable electronic device and a navigation system in a vehicle
US11181909B2 (en) Remote vehicle control device, remote vehicle control system, and remote vehicle control method
US12075183B2 (en) Display control device
JP6906175B2 (ja) 運転支援方法およびそれを利用した運転支援装置、自動運転制御装置、車両、プログラム、運転支援システム
US20190286118A1 (en) Remote vehicle control device and remote vehicle control method
KR101859043B1 (ko) 이동단말기, 차량과 이동 단말기의 연동 시스템
JPWO2020065892A1 (ja) 車両の走行制御方法及び走行制御装置
JP7647810B2 (ja) 提示制御装置及び提示制御プログラム
JP2022549752A (ja) 自動運転車インタラクションシステム
JP2023137942A (ja) 駐車動作通知装置、駐車動作通知方法及び駐車動作通知用コンピュータプログラム
WO2023229001A1 (ja) 投影システム
JP2024047112A (ja) 運転支援装置、運転支援方法、及びプログラム
CN114987520A (zh) 驾驶支援装置、驾驶支援方法及存储介质
JP2022129699A (ja) 運転支援装置、運転支援方法、およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18817672

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019525432

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 18817672

Country of ref document: EP

Kind code of ref document: A1