[go: up one dir, main page]

WO2018167997A1 - 運転者状態推定装置、及び運転者状態推定方法 - Google Patents

運転者状態推定装置、及び運転者状態推定方法 Download PDF

Info

Publication number
WO2018167997A1
WO2018167997A1 PCT/JP2017/027246 JP2017027246W WO2018167997A1 WO 2018167997 A1 WO2018167997 A1 WO 2018167997A1 JP 2017027246 W JP2017027246 W JP 2017027246W WO 2018167997 A1 WO2018167997 A1 WO 2018167997A1
Authority
WO
WIPO (PCT)
Prior art keywords
driver
face
unit
image
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/027246
Other languages
English (en)
French (fr)
Inventor
匡史 日向
正樹 諏訪
航一 木下
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Omron Corp
Original Assignee
Omron Corp
Omron Tateisi Electronics Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Omron Corp, Omron Tateisi Electronics Co filed Critical Omron Corp
Priority to DE112017007251.4T priority Critical patent/DE112017007251T5/de
Priority to US16/482,284 priority patent/US20200001880A1/en
Priority to CN201780083998.8A priority patent/CN110235178B/zh
Publication of WO2018167997A1 publication Critical patent/WO2018167997A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G06V10/14—Optical characteristics of the device performing the acquisition or on the illumination arrangements
    • G06V10/141—Control of illumination
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/223—Posture, e.g. hand, foot, or seat position, turned or inclined
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/227—Position in the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/005—Handover processes
    • B60W60/0053—Handover processes from vehicle to occupant
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Definitions

  • the present invention relates to a driver state estimation device and a driver state estimation method, and more specifically, a driver state estimation device and a driver state estimation that can estimate a driver's state using a captured image. Regarding the method.
  • Patent Document 1 discloses a technique for detecting a driver's face area in an image captured by a vehicle interior camera and estimating the driver's head position based on the detected face area.
  • the specific method for estimating the driver's head position first detects the angle of the head position relative to the vehicle interior camera.
  • the method of detecting the angle of the head position includes detecting a center position of the face area on the image, and using the detected center position of the face area as a head position, the head position straight line passing through the center position of the face area And the angle of the head position straight line (the angle of the head position with respect to the vehicle interior camera) is determined.
  • the method for detecting the head position on the head position straight line stores the standard size of the face area when it is at a predetermined distance from the in-vehicle camera, and the standard size and the size of the actually detected face area. And the distance from the vehicle interior camera to the head position is obtained. A position on the straight line of the head position that is away from the vehicle interior camera by the determined distance is estimated as the head position.
  • the head position on the image is detected with the center position of the face area as a reference, but the center position of the face area changes depending on the orientation of the face. Therefore, even if the head position is the same, the center position of the face area detected on the image is detected at a different position from the difference in face orientation. For this reason, the head position on the image is detected at a position different from the head position in the real world, and there is a problem that the distance to the head position in the real world cannot be accurately estimated.
  • the present invention has been made in view of the above problems, and can estimate the distance to the driver's head without detecting the center position of the driver's face area in the image, and the estimated distance It is an object of the present invention to provide a driver state estimating device and a driver state estimating method that can be used for determining the state of the driver.
  • a driver state estimating device (1) is a driver state estimating device that estimates a driver's state using a captured image, An imaging unit for imaging a driver seated in the driver's seat; An illumination unit that irradiates light to the driver's face; At least one hardware processor; The at least one hardware processor comprises: A driver based on a first image captured by the imaging unit when light is emitted from the illumination unit and a second image captured by the imaging unit when light is not emitted from the illumination unit.
  • a face detection unit for detecting the face of
  • a face brightness ratio calculation unit for calculating a brightness ratio between the driver's face in the first image and the driver's face in the second image detected by the face detection unit;
  • a distance estimation unit for estimating a distance from the head of the driver sitting in the driver seat to the imaging unit using the facial brightness ratio calculated by the facial brightness ratio calculation unit; It is characterized by having.
  • a driver's face is detected from the first image and the second image, and the driver's face in the detected first image is detected.
  • a brightness ratio with the driver's face in the second image is calculated, and the imaging is performed from the head of the driver seated in the driver's seat using the calculated brightness ratio of the face.
  • the distance to the part is estimated. Therefore, the distance is estimated from the brightness ratio between the driver's face in the first image and the driver's face in the second image without obtaining the center position of the face area in the image. be able to.
  • the estimated distance it is possible to estimate the state such as the position and orientation of the driver sitting on the driver seat.
  • the driver state estimation device (2) is the driver state estimation device (1), wherein the imaging is performed from the brightness ratio of the face and the head of the driver seated in the driver seat.
  • a table information storage unit that stores one or more distance estimation tables indicating a correlation with the distance to the unit,
  • the at least one hardware processor comprises: A table selection unit that selects a distance estimation table corresponding to the brightness of the driver's face in the second image from the one or more distance estimation tables stored in the table information storage unit; Prepared, The distance estimation unit is The brightness ratio of the face calculated by the brightness ratio calculation unit of the face is compared with the distance estimation table selected by the table selection unit, and the driver sitting on the driver seat It is characterized in that the distance from the head to the imaging unit is estimated.
  • the table information storage unit includes one or more correlations between the brightness ratio of the face and the distance from the driver's head to the imaging unit.
  • the distance estimation table is stored, the face brightness ratio calculated by the face brightness ratio calculation unit is collated with the distance estimation table selected by the table selection unit, and the driving is performed.
  • a distance from the head of the driver sitting on the seat to the imaging unit is estimated.
  • the reflection intensity of light emitted from the illumination unit varies depending on the brightness of the driver's face, but the distance estimation table indicating the relationship of the reflection intensity suitable for the brightness of the driver's face is selected.
  • the estimation accuracy of the distance from the driver's head to the imaging unit can be increased.
  • processing can be executed at high speed without imposing a load on the distance estimation processing.
  • the driver state estimating device (3) is the driver state estimating device (2), wherein the at least one hardware processor is: An attribute determination unit that determines an attribute of the driver from an image of the driver's face detected by the face detection unit;
  • the one or more distance estimation tables include a distance estimation table corresponding to the attribute of the driver,
  • the table selection unit is A distance estimation table corresponding to the driver attribute determined by the attribute determination unit is selected from the one or more distance estimation tables.
  • the driver attribute is determined from the driver's face image detected by the face detection unit, and the driver state estimation device (3) is selected from the one or more distance estimation tables.
  • the distance estimation table corresponding to the driver attribute determined by the attribute determination unit is selected. Therefore, it is possible to select and use the distance estimation table corresponding to not only the brightness of the driver's face in the second image but also the attribute of the driver, which is estimated by the distance estimation unit. The accuracy of the distance can be further increased.
  • the driver state estimating device (4) is the driver state estimating device (3), wherein the driver attributes include at least one of race, sex, presence / absence of makeup, and age. Is included.
  • the driver attributes include at least one of race, sex, presence / absence of makeup, and age.
  • the driver state estimating device (5) is the driver state estimating device (2), wherein the at least one hardware processor is: An illuminance data acquisition unit that acquires illuminance data from an illuminance detection unit that detects illuminance outside the vehicle,
  • the table selection unit is In consideration of the illuminance data acquired by the illuminance data acquisition unit, the distance estimation table corresponding to the brightness of the driver's face in the second image is selected.
  • the distance estimation table corresponding to the brightness of the driver's face in the second image is taken into account in consideration of the illuminance data acquired by the illuminance data acquisition unit. Selected. Therefore, it is possible to select an appropriate distance estimation table that takes into account the illuminance outside the vehicle when the second image is captured, and it is possible to suppress variations in accuracy of the distance estimated by the distance estimation unit.
  • the driver state estimating device (6) is the driver state estimating device (1) to (5), wherein the at least one hardware processor is: A driving operation availability determination unit that determines whether or not a driver seated in the driver's seat is capable of driving using the distance estimated by the distance estimation unit is provided. It is said.
  • the driver state estimation device (6) it is determined whether or not the driver seated in the driver's seat can perform a driving operation using the distance estimated by the distance estimation unit. The driver can be monitored appropriately.
  • the driver state estimation method includes an imaging unit that images a driver sitting in a driver's seat, an illumination unit that irradiates light to the driver's face, and at least one hardware processor.
  • a driver state estimation method for estimating a state of a driver seated in the driver's seat using a device provided, The at least one hardware processor comprises: The first image captured by the imaging unit when light is emitted from the illumination unit to the driver's face and the imaging unit when light is not emitted from the illumination unit to the driver's face A face detection step of detecting a driver's face from the second image captured in A face brightness ratio calculating step for calculating a brightness ratio between the driver's face in the first image and the driver's face in the second image detected by the face detecting step; A distance estimation step of estimating a distance from the head of the driver sitting in the driver seat to the imaging unit using the brightness ratio of the face calculated in the brightness ratio calculation step of the face; It is characterized by including.
  • a driver's face is detected from the first image and the second image, and the driver's face in the detected first image and the second image are detected.
  • a brightness ratio with the driver's face in the image is obtained, and the distance from the head of the driver sitting in the driver's seat to the imaging unit is estimated using the brightness ratio of the face. Therefore, the distance is estimated from the brightness ratio between the driver's face in the first image and the driver's face in the second image without obtaining the center position of the face area in the image. be able to.
  • the estimated distance it is possible to estimate the state such as the position and orientation of the driver sitting on the driver seat.
  • FIG. 1 is a block diagram schematically showing a main part of an automatic driving system including a driver state estimating device according to an embodiment (1).
  • FIG. 2 is a block diagram showing the configuration of the driver state estimation apparatus according to Embodiment (1).
  • the automatic driving system 1 is a system for automatically driving a vehicle along a road, and includes a driver state estimating device 10, an HMI (Human (Machine Interface) 40, and an automatic driving control device 50. Each device is connected via a communication bus 60.
  • the communication bus 60 is also connected with various sensors and control devices (not shown) necessary for controlling automatic driving and manual driving by the driver.
  • the driver state estimation device 10 captures a first image captured when light is emitted from the illumination unit 11c (hereinafter also referred to as an illumination-on image) and when light is not emitted from the illumination unit 11c.
  • the ratio of the brightness of the driver's face imaged in the second image (hereinafter also referred to as an “illumination-off image”) is calculated, and driving from the monocular camera 11 is performed using the calculated brightness ratio of the face.
  • a process for estimating the distance to the user's head, a process for determining whether or not the driver can drive the vehicle based on the distance estimation result, and a process for outputting the determination result are performed.
  • the driver state estimation device 10 includes a monocular camera 11, a CPU 12, a ROM 13, a RAM 14, a storage unit 15, and an input / output interface (I / F) 16, and these units are connected via a communication bus 17. Yes.
  • the monocular camera 11 may be configured as a separate camera unit from the apparatus main body.
  • the monocular camera 11 is a camera that can periodically capture an image including the head of the driver seated in the driver's seat (for example, 30 to 60 times per second), and one or more sheets constituting the imaging unit
  • a lens system 11a composed of the above lens, an image sensor 11b such as a CCD or CMOS that generates image data of a subject, an AD converter (not shown) that converts the image data into digital data, and a driver's face
  • the illumination part 11c comprised from 1 or more near-infrared light emitting elements etc. which irradiate light, for example, near-infrared light, is comprised.
  • the monocular camera 11 may be provided with a filter that cuts visible light, a bandpass filter that passes only the near infrared region, or the like.
  • the image sensor 11b one having sensitivity necessary for face photography in both the visible light region and the infrared region may be used. If it does so, the face photography by both visible light and infrared light will be attained. In addition, you may make it use not only an infrared light source but a visible light source as a light source of the illumination part 11c.
  • the CPU 12 is a hardware processor, reads a program stored in the ROM 13, and performs various processing of image data captured by the monocular camera 11 based on the program.
  • a plurality of CPUs 12 may be provided for each processing application such as image processing and control signal output processing.
  • the ROM 13 includes a storage instruction unit 21, a read instruction unit 22, a face detection unit 23, a face brightness ratio calculation unit 24, a distance estimation unit 25, a table selection unit 26, and a driving operation availability determination unit 27 shown in FIG.
  • a program for causing the CPU 12 to execute the process is stored. Note that all or part of the program executed by the CPU 12 may be stored in the storage unit 15 other than the ROM 13 or another storage medium (not shown).
  • the RAM 14 temporarily stores data necessary for various processes executed by the CPU 12, programs read from the ROM 13, and the like.
  • the storage unit 15 includes an image storage unit 15a and a table information storage unit 15b.
  • the image storage unit 15a stores data (images with illumination on and images with illumination off) captured by the monocular camera 11.
  • the table information storage unit 15b is seated in the driver's seat and the brightness ratio (face brightness ratio) between the driver's face in the illumination-on image and the driver's face in the illumination-off image.
  • One or more distance estimation tables indicating the correlation with the distance from the driver's head to the monocular camera 11 are stored.
  • the storage unit 15 stores parameter information including the focal length, aperture (F value), angle of view, number of pixels (width ⁇ length), and the like of the monocular camera 11. Further, the mounting position information of the monocular camera 11 may be stored. The mounting position information of the monocular camera 11 may be configured such that the setting menu of the monocular camera 11 can be read by the HMI 40 and can be input and set from the setting menu at the time of mounting.
  • the storage unit 15 is configured by one or more nonvolatile semiconductor memories such as an EEPROM and a flash memory, for example.
  • the input / output interface (I / F) 16 is for exchanging data with various external devices via the communication bus 60.
  • the HMI 40 informs the driver of the process of notifying the driver of the state such as the driving posture, the operation status of the automatic driving system 1, the automatic driving release information, and the like.
  • a process for notifying, a process for outputting an operation signal related to the automatic driving control to the automatic driving control device 50 and the like are performed.
  • the HMI 40 is configured to include, for example, an operation unit and a voice input unit (not shown) in addition to the display unit 41 and the voice output unit 42 provided at a position where the driver can easily see.
  • the automatic driving control device 50 is also connected to a power source control device, a steering control device, a braking control device, a peripheral monitoring sensor, a navigation system, a communication device that communicates with the outside, and the like (not shown), and is based on information acquired from these units. Then, a control signal for performing automatic driving is output to each control device to perform automatic traveling control (automatic steering control, automatic speed adjustment control, etc.) of the vehicle.
  • FIG. 3A is a plan view of the interior of the vehicle showing an installation example of the monocular camera 11
  • FIG. 3B is an illustration showing an example of an image captured by the monocular camera 11
  • FIG. 3C is an imaging timing of the monocular camera 11. It is a timing chart which shows an example of the ON / OFF switching timing of the illumination part 11c.
  • FIG. 4A is a diagram illustrating an example of a distance estimation table stored in the table information storage unit 15b.
  • FIG. 4B is a graph for explaining types of the distance estimation table. is there.
  • the driver 30 is seated in the driver's seat 31 as shown in FIG.
  • a handle 32 is installed in front of the driver's seat 31 in front of it.
  • the driver's seat 31 can be adjusted in position in the front-rear direction, and the movable range of the seat surface is set to S.
  • the monocular camera 11 is provided on the far side of the handle 32 (a steering column (not shown), or in front of the dashboard or instrument panel), and can capture an image 11d including the head (face) of the driver 30A. Is installed.
  • the installation position and orientation of the monocular camera 11 is not limited to this form.
  • FIG. 3A the distance from the monocular camera 11 to the driver 30 in the real world is A
  • the distance from the handle 32 to the driver 30 is B
  • the distance from the handle 32 to the monocular camera 11 is C
  • the center of the imaging surface is denoted by I.
  • FIG. 3B shows an example of an image of the driver 30 ⁇ / b> A captured when the driver's seat 31 is set approximately in the middle of the movable range S of the seat surface.
  • FIG. 3C is a timing chart showing an example of imaging (exposure) timing to the imaging device 11b of the monocular camera 11 and on / off switching timing of the illumination unit 11c.
  • lighting on and off by the lighting unit 11c is switched for each imaging timing (frame), and an illumination on image and an illumination off image are alternately captured.
  • the lighting on / off switching timing is not limited to this mode.
  • FIG. 4A is a diagram illustrating an example of a distance estimation table stored in the table information storage unit 15b
  • FIG. 4B is a graph for explaining types of the distance estimation table.
  • the distance estimation table shown in FIG. 4A is the brightness ratio (luminance ratio) between the driver's face in the illumination-on image and the driver's face in the illumination-off image, and the driver's seat 31 is seated.
  • operator 30 who is carrying out to the monocular camera 11 is shown.
  • the reflection characteristic of the light irradiated from the illumination part 11c changes with the reflectance in a driver
  • the table information storage unit 15b includes one or more distance estimation tables corresponding to differences in the brightness level of the driver's face in the image with the lights off.
  • I intensity of reflected light
  • k reflection coefficient of object
  • D distance to object
  • one or more distance estimation tables corresponding to differences in the brightness of a person's face are created by learning processing using measured data in advance, and the created one or more distances
  • the estimation table is stored in the table information storage unit 15b and used for the distance estimation process.
  • the distance estimation table people with different face (skin) reflectivities are selected as sampling models in consideration of the diversity of human face (skin) reflectivity. Then, under the same environment as the driver's seat of the vehicle, the distance from the monocular camera 11 to the head is set to 20, 40, 60, 80, 100 cm, for example, and the image is taken when the illumination is turned on / off at each distance. Get the image. After detecting the brightness (luminance) of the face (face area) in the acquired illumination-on image and illumination-off image, the luminance ratio is calculated. Using these data, a distance estimation table is created for each face brightness in the image taken when the illumination is off.
  • the graph indicated by the alternate long and short dash line indicates an example of the correlation when the brightness level of the face is high in the illumination-off image
  • the graph indicated by the broken line indicates the face in the illumination-off image.
  • An example of the correlation when the brightness level is low is shown.
  • the reflectance of the light from the face also increases when the illumination is on.On the other hand, when the brightness level of the face in the image with the illumination off decreases, The light reflectivity is also low.
  • the driver from the monocular camera 11 can use it. It is possible to improve the accuracy of estimating the distance A to 30 heads.
  • the driver state estimation device 10 reads out various programs stored in the ROM 13 into the RAM 14 and executes them on the CPU 12, whereby the storage instruction unit 21, the read instruction unit 22, the face detection unit 23, and the brightness of the face. It is established as a device that performs processing as the ratio calculation unit 24, the distance estimation unit 25, the table selection unit 26, and the driving operation availability determination unit 27.
  • Each of the face detection unit 23, the face brightness ratio calculation unit 24, the distance estimation unit 25, and the driving operation availability determination unit 27 may be configured with a dedicated chip.
  • the storage instruction unit 21 performs processing for storing image (lighting on image and lighting off image) data including the face of the driver 30 ⁇ / b> A captured by the monocular camera 11 in the image storage unit 15 a that is a part of the storage unit 15. .
  • the read instruction unit 22 performs a process of reading images (lighting on image and lighting off image) captured by the driver 30A from the image storage unit 15a.
  • the face detection unit 23 performs a process of detecting the face of the driver 30A from the images (illumination on image and illumination off image) read from the image storage unit 15a.
  • a method for detecting a face from an image is not particularly limited, and a known face detection technique can be used.
  • the face may be detected by template matching using a reference template corresponding to the contour of the entire face or template matching based on a facial organ (eyes, nose, mouth, eyebrows, etc.).
  • an area close to skin color or brightness may be detected, and the area may be detected as a face.
  • the contrast value (luminance difference) and edge strength of a local area of the face, and the relationship (co-occurrence) between these local areas are used as feature quantities.
  • the face brightness ratio calculation unit 24 detects the brightness of the driver's face in the illumination-on image detected by the face detection unit 23 and the brightness of the driver's face in the illumination-off image. Processing is performed to obtain a ratio between the brightness of the driver's face in the on-image and the brightness of the driver's face in the illumination-off image (facial brightness ratio: when illumination is on / when illumination is off). For example, the brightness (for example, average brightness) of the skin area of the face in the image is obtained as the brightness of the face.
  • the distance estimation unit 25 uses the face brightness ratio obtained by the face brightness ratio calculation unit 24 to use the distance A (from the head of the driver 30 seated in the driver seat 31 to the monocular camera 11 ( A process for estimating depth information) is performed.
  • the distance estimation table selected by the table selection unit 26 is used.
  • the table selection unit 26 selects a distance estimation table corresponding to the brightness of the driver's face in the illumination-off image from one or more distance estimation tables stored in the table information storage unit 15b. To do.
  • the distance estimation unit 25 collates the face brightness ratio calculated by the face brightness ratio calculation unit 24 with the distance estimation table selected by the table selection unit 26 and sits on the driver seat 31.
  • operator 30 who is carrying out to the monocular camera 11 is performed.
  • the driving operation possibility determination unit 27 uses the distance A estimated by the distance estimation unit 25 to determine whether or not the driver 30 is in a state where the driving operation is possible, for example, a handle stored in the ROM 13 or the storage unit 15. A range that can be reached by the driver is read into the RAM 14 and a comparison operation is performed to determine whether or not the driver 30 is within the range that the hand 30 can reach, and a signal indicating the determination result is sent to the HMI 40 or the automatic driving control device. Output to 50.
  • the above determination may be made by subtracting the distance C (the distance from the handle 32 to the monocular camera 11) from the distance A to obtain the distance B (the distance from the handle 32 to the driver 30). Information about the distance C may be registered in the storage unit 15 as attachment position information of the monocular camera 11.
  • FIG. 5 is a flowchart showing processing operations performed by the CPU 12 in the driver state estimation apparatus 10 according to the embodiment (1).
  • the monocular camera 11 captures an image of 30 to 60 frames per second, and the illumination unit 11c is switched on and off in accordance with the imaging timing of each frame. This process is performed for each frame or for each frame at a fixed interval.
  • step S1 the illumination-on image and the illumination-off image captured by the monocular camera 11 are read from the image storage unit 15a.
  • step S2 the readout illumination-on image and illumination-off image are read out.
  • a process of detecting the face of the driver 30A from the image is performed.
  • step S3 a process of detecting the brightness of the face area of the driver 30A in the image with the illumination off is performed. What is necessary is just to detect the brightness
  • step S4 it corresponds to the brightness of the face of the driver 30A in the illumination-off image detected in step S3 from one or more distance estimation tables stored in the table information storage unit 15b. A process for selecting a distance estimation table to be performed is performed.
  • step S5 a process of detecting the brightness of the face of the driver 30A in the image with the lighting on is performed. What is necessary is just to detect the brightness
  • step S6 a process of calculating a ratio (a face brightness ratio) between the brightness of the face of the driver 30A in the illumination-on image and the brightness of the driver 30A in the illumination-off image is performed.
  • step S7 the face brightness ratio calculated in step S6 is applied to the distance estimation table selected in step S4, and from the head of the driver 30 sitting on the driver's seat 31 to the monocular camera 11.
  • the distance A is extracted (distance estimation process).
  • step S8 the distance B (distance from the handle 32 to the monocular camera 11) is subtracted from the distance A estimated in step S7 to obtain the distance B (distance from the handle 32 to the driver 30).
  • step S9 the range in which proper handle operation is possible, which is stored in the RAM 13 or the storage unit 15, is read and a comparison operation is performed, so that the distance B is within the range in which proper handle operation is possible (distance E 1 ⁇ It is determined whether or not distance B ⁇ distance E 2 ).
  • step S9 If it is determined in step S9 that the distance B is within the range where the appropriate steering operation is possible, the process is thereafter terminated, whereas if it is determined that the distance B is not within the range where the appropriate steering operation is possible, the processing proceeds to step S10. move on.
  • step S10 a driving operation impossible signal is output to the HMI 40 or the automatic driving control device 50, and then the process ends.
  • a driving operation disabling signal for example, a display warning of a driving posture or a seat position is displayed on the display unit 41, or an announcement for warning of a driving posture or a seat position is executed from the audio output unit 42.
  • operation control apparatus 50 when a driving operation impossible signal is input, deceleration control etc. are performed, for example.
  • the face of the driver 30A is detected from the illumination-on image and the illumination-off image, and the driving in the detected illumination-on image is performed.
  • the brightness ratio between the face of the driver 30A and the face of the driver 30A in the image with the illumination off is calculated, and the calculated brightness ratio of the face is compared with the distance estimation table selected by the table selection unit 26
  • the distance A from the head of the driver 30 seated in the driver's seat 31 to the monocular camera 11 is estimated. Therefore, the distance A can be estimated from the brightness ratio between the driver's face in the illumination-on image and the driver's face in the illumination-off image without obtaining the center position of the face area in the image. .
  • the distance A to the driver described above can be estimated without providing another sensor in addition to the monocular camera 11, and the device configuration can be simplified.
  • additional processing associated therewith is not required, the load on the CPU 12 can be reduced, and the size and cost of the apparatus can be reduced.
  • the accuracy of estimating the distance from the head of the driver 30 to the monocular camera 11 can be increased. Further, by using the distance estimation table stored in advance, the processing can be executed at high speed without imposing a load on the estimation processing of the distance A. In addition, based on the distance B calculated using the distance A estimated by the distance estimating unit 25, it is determined whether or not the driver 30 seated in the driver's seat 31 is in a state where the driving operation is possible. The driver can be monitored appropriately.
  • the driver state estimation device 10A according to the embodiment (2) will be described.
  • the configuration of the driver state estimating device 10A according to the embodiment (2) is substantially the same as the driver state estimating device 10 shown in FIG. 1 except for the CPU 12A, the ROM 13A, and the storage unit 15A. Different symbols are assigned to the CPU 12A, the ROM 13A, and the table information storage unit 15c of the storage unit 15A, and description of other components is omitted here.
  • one or more distance estimation tables corresponding to the brightness level of the driver's face are stored in the table information storage unit 15b.
  • the selection unit 26 is configured to select a distance estimation table corresponding to the brightness of the face of the driver 30A in the image with the illumination off.
  • one or more distance estimation tables corresponding to the driver attributes are stored in the table information storage unit 15c, and the table selection unit 26A A distance estimation table corresponding to the attribute of the driver and the brightness of the face of the driver 30A in the illumination-off image is selected.
  • the driver state estimation apparatus 10A reads various programs stored in the ROM 13A into the RAM 14, and is executed by the CPU 12A, whereby the storage instruction unit 21, the read instruction unit 22, the face detection unit 23, and the brightness of the face. It is established as a device that performs processing as the ratio calculation unit 24, the distance estimation unit 25, the table selection unit 26A, the driving operation availability determination unit 27, and the attribute determination unit 28.
  • Each of the face detection unit 23, the face brightness ratio calculation unit 24, the distance estimation unit 25, the driving operation availability determination unit 27, and the attribute determination unit 28 may be configured with a dedicated chip.
  • the attribute determination unit 28 performs a process of determining the driver attribute from the face image of the driver 30 ⁇ / b> A detected by the face detection unit 23.
  • the table information storage unit 15c stores one or more distance estimation tables corresponding to driver attributes.
  • the driver attributes determined by the attribute determination unit 28 and the contents of the distance estimation table stored in the table information storage unit 15c will be described with reference to FIG.
  • the attributes of the driver determined by the attribute determination unit 28 include race (for example, Mongoloid, Caucasian, or Negroid), gender (male or female), face deposit (for example, presence or absence of makeup), age group ( For example, less than 30 years old, 30-50 years old, 50-70 years old, 70 years old or more) are included.
  • the driver attributes may include at least one of race, sex, presence / absence of makeup, and age.
  • the one or more distance estimation tables stored in the table information storage unit 15c include distance estimation tables corresponding to driver attributes. That is, as shown in FIG. 7, when the race is a Mongoloid, it includes four tables for men and eight tables for women. Similarly, when the race is Caucasian or Negroid, it includes 4 tables for men and 8 tables for women.
  • the attribute determination unit 28 includes a race determination unit that determines the race of the driver, a gender determination unit that determines the gender of the driver, a makeup presence / absence determination unit that determines whether the driver has makeup, and an age group of the driver
  • the process as an age group determination unit for determining
  • the attribute determination unit 28 detects a facial organ (for example, one or more of eyes, nose, mouth, ears, eyebrows, jaws, and forehead), and the facial organ detection unit detects the facial organ.
  • Processing is performed as a feature amount extraction unit that extracts feature amounts (such as Haar-like features including edge direction and intensity information of shading change) at feature points set in each organ.
  • Known image processing techniques can be applied to the above-described face organ detection unit, feature amount extraction unit, race determination unit, gender determination unit, makeup presence / absence determination unit, and age group determination unit.
  • the racial determination unit includes a discriminator for recognizing a racial pattern in which learning processing using a group of image data by race (Mongoloid, Caucasian, Negroid) is completed in advance.
  • the feature amount of each feature point extracted from the driver's face image is input, and the race of the driver is determined by performing an estimation calculation.
  • the gender determination unit includes a classifier for recognizing a gender pattern in which learning processing using image data groups for each gender (male and female) of each race has been completed in advance.
  • the feature amount of each feature point extracted from the face image is input, and the gender of the driver is determined by performing estimation calculation.
  • the makeup presence / absence determination unit includes a classifier for recognizing a makeup presence / absence pattern in which a learning process using the image data group of presence / absence of makeup for each woman of each race is completed, and a driver for the identifier The feature amount of each feature point extracted from the face image is input, and the estimation calculation is performed to determine whether or not the driver ( woman) has makeup.
  • the age group determination unit includes an identifier for age group pattern recognition in which learning processing using an image data group of an age group for each race is completed in advance, and a driver is provided for the identifier
  • the driver's age group is determined by inputting the feature amount of each feature point extracted from the face image and performing an estimation calculation.
  • the attribute information of the driver determined by the attribute determination unit 28 is given to the table selection unit 26A.
  • the table selection unit 26A is configured to select the driver attribute determined by the attribute determination unit 28 from one or more distance estimation tables stored in the table information storage unit 15c, and the driver in the image of lighting off. A process for selecting a distance estimation table corresponding to the brightness of the face of 30A is performed.
  • the distance estimation unit 25 collates the face brightness ratio calculated by the face brightness ratio calculation unit 24 with the distance estimation table selected by the table selection unit 26A, and sits on the driver's seat 31. A process for estimating the distance A from the head of the driver 30 to the monocular camera 11 is performed.
  • FIG. 8 is a flowchart showing processing operations performed by the CPU 12A in the driver state estimation device 10A according to the embodiment (2).
  • the same processes as those in the flowchart shown in FIG. 5 are denoted by the same step numbers and the description thereof is omitted.
  • step S1 the illumination-on image and the illumination-off image captured by the monocular camera 11 are read from the image storage unit 15a.
  • step S2 the illumination-on image and the illumination-off image are read out.
  • a process of detecting the face (face area) of the driver 30A is performed, and then the process proceeds to step S21.
  • step S21 image analysis processing of the face of the driver 30A detected in step S2 is performed in order to determine the attribute of the driver.
  • the position of each facial organ, skeleton shape, wrinkle, sagging, skin color, etc. are estimated and calculated by the process of detecting the facial organs, the process of extracting the feature values at the feature points set in each organ, etc. .
  • step S22 the feature amount of each feature point extracted from the face image of the driver 30A analyzed in step S21 is input to a race pattern recognition discriminator, and an estimation calculation is performed. A process for determining the race is performed. After the determination of the race, the process proceeds to step S23.
  • step S23 the feature quantity of each feature point extracted from the face image of the driver 30A analyzed in step S21 is input to a gender pattern recognition classifier, and an estimation calculation is performed to thereby determine the gender of the driver. Processing for determining (male or female) is performed, and after sex determination, the process proceeds to step S24.
  • step S24 the feature amount of each feature point extracted from the face image of the driver 30A analyzed in step S21 is input to the makeup presence / absence pattern recognition discriminator, and an estimation calculation is performed. Processing for determining whether or not makeup is applied to the face (whether or not makeup is present) is performed. After determining whether or not makeup is present, the process proceeds to step S25.
  • step S25 the feature amount of each feature point extracted from the face image of the driver 30A analyzed in step S21 is input to an age group pattern recognition discriminator, and an estimation calculation is performed, so that Processing for determining the age group is performed, and after determining the age group, the process proceeds to step S3.
  • step S3 the process of detecting the brightness of the face of the driver 30A in the image with the illumination off is performed, and then the process proceeds to step S26.
  • step S26 a corresponding distance estimation table is stored from the table information storage unit 15c based on the driver attributes determined in steps S22 to S25 and the brightness of the driver 30A face detected in step S3. The process to select is performed, and the process after S5 is performed after that.
  • the driver attribute is determined from the face image of the driver 30A detected by the face detection unit 23, and one or more distance estimation devices are used.
  • a distance estimation table corresponding to the driver attribute determined by the attribute determination unit 28 is selected from the table. Therefore, a distance estimation table corresponding to not only the brightness of the face of the driver 30A in the illumination-off image but also the attributes of the driver can be selected and used, and the distance estimated by the distance estimation unit 25 The accuracy of A can be further increased.
  • the driver attributes include at least one of race, gender, makeup presence, and age, so prepare and select a distance estimation table according to the driver's various attributes By making it possible, the accuracy of the distance A estimated by the distance estimation unit 25 can be further increased.
  • the driver state estimation device 10B according to the embodiment (3) will be described.
  • the configuration of the driver state estimation device 10B according to the embodiment (3) is the same as the driver state estimation device 10 shown in FIG. 1 except for the CPU 12B and the ROM 13B, and therefore the CPU 12B and the ROM 13B have different configurations. Are denoted by different reference numerals, and description of other components is omitted here.
  • FIG. 9 is a block diagram showing a configuration of the driver state estimation device 10B according to the embodiment (3).
  • symbol is attached
  • the driver state estimation device 10B reads out various programs stored in the ROM 13B into the RAM 14 and executes them on the CPU 12B, whereby the storage instruction unit 21, the read instruction unit 22, the face detection unit 23, and the brightness of the face. It is established as a device that performs processing as the ratio calculation unit 24, the distance estimation unit 25, the table selection unit 26B, the driving operation availability determination unit 27, and the illuminance data acquisition unit 29.
  • the main point that the driver state estimating device 10B according to the embodiment (3) differs from the driver state estimating device 10 according to the embodiment (1) is that the CPU 12B detects the illuminance sensor 51 that detects the illuminance outside the vehicle.
  • An illuminance data acquisition unit 29 that acquires illuminance data is provided, and the table selection unit 26B takes into account the illuminance data acquired by the illuminance data acquisition unit 29 and corresponds to the brightness of the driver's face in the image with the illumination off. The point is to select a distance estimation table.
  • the illuminance sensor 51 is a sensor that detects the illuminance outside the vehicle installed in a vehicle (vehicle body or vehicle interior), and includes, for example, a light receiving element such as a photodiode, an element that converts received light into an electric current, and the like. ing.
  • the illuminance data acquisition unit 29 acquires illuminance data detected by the illuminance sensor 51 via the communication bus 60.
  • the brightness of the driver's face and the surrounding brightness can be extremely different depending on the road conditions such as the direction of light from the sun and the entrance / exit of the tunnel.
  • the brightness of the driver's face in the image with the illumination off is affected. For example, the driver's face appears bright when illuminated in the West, while the driver's face appears dark when entering the tunnel.
  • the illuminance data acquired by the illuminance data acquisition unit 29 in step S3 of FIG. 5 is used as a change parameter of the brightness of the driver's face.
  • the brightness of the driver's face area in the illumination-off image is detected, and then the process proceeds to step S4 to perform a process of selecting a distance estimation table corresponding to the brightness of the driver's face in the illumination-off image.
  • the brightness value of the driver's face in the illumination-off image is corrected according to the acquired illuminance data value, and a distance estimation table corresponding to the corrected driver's face brightness is selected. .
  • the driver state estimation devices 10, 10A, 10B according to the above embodiments (1) to (3) are mounted on the automatic driving systems 1, 1A, 1B, the driver 30 is appropriately monitored for automatic driving. It can be executed, and even if it becomes difficult to control the driving in the automatic driving, the handing over to the manual driving can be performed quickly and safely, and the safety of the automatic driving systems 1, 1A, 1B can be improved. it can.
  • a driver state estimation device that estimates a driver's state using a captured image, An imaging unit for imaging a driver seated in the driver's seat; An illumination unit that irradiates light to the driver's face; At least one storage unit; At least one hardware processor; The at least one storage unit is An image storage unit that stores an image captured by the imaging unit; The at least one hardware processor comprises: A first image captured by the imaging unit when light is emitted from the illumination unit and a second image captured by the imaging unit when light is not emitted from the illumination unit.
  • a read instruction unit for reading out the first image and the second image from the image storage unit;
  • a face detection unit for detecting a driver's face from the first image and the second image read from the image storage unit;
  • a face brightness ratio calculation unit for calculating a brightness ratio between the driver's face in the first image and the driver's face in the second image detected by the face detection unit;
  • a distance estimation unit for estimating a distance from the head of the driver sitting in the driver seat to the imaging unit using the facial brightness ratio calculated by the facial brightness ratio calculation unit;
  • a driver state estimation device provided.
  • a driver state estimating method for estimating a state of a driver seated in the driver seat is An image storage unit that stores an image captured by the imaging unit;
  • the at least one hardware processor comprises: The first image captured by the imaging unit when light is emitted from the illumination unit to the driver's face and the imaging unit when light is not emitted from the illumination unit to the driver's face A storage instruction step of storing in the image storage unit the second image captured by A read instruction step of reading out the first image and the second image from the image storage unit; A face detection step of detecting a driver's face from the first image and the second image read from the image storage unit; A face brightness ratio calculating step for calculating a brightness ratio between the driver's face in the first image and the driver's face in the second image detected by
  • the present invention can be widely used mainly in the field of the automobile industry, such as an automatic driving system that needs to monitor a driver's condition.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Automation & Control Theory (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Traffic Control Systems (AREA)
  • Image Processing (AREA)
  • Control Of Driving Devices And Active Controlling Of Vehicle (AREA)
  • Image Analysis (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Abstract

画像中における運転者の顔領域の中心位置を検出することなく運転者の頭部位置までの距離を推定することができる運転者状態推定装置を提供することを目的としており、カメラ１１、照明部１１ｃ、画像記憶部１５、及びＣＰＵ１２を備え、ＣＰＵ１２が、照明部１１ｃから光が照射されたときに撮像された第１の画像と照明部１１ｃから光が照射されていないときに撮像された第２の画像とを画像記憶部１５ａに記憶させる記憶指示部２１と、画像記憶部１５ａから第１の画像と第２の画像とを読み出す読み出し指示部２２と、画像記憶部１５ａから読み出された第１の画像と第２の画像とから運転者の顔を検出する顔検出部２３と、第１の画像中の運転者の顔と第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出部２４と、算出された顔の明るさ比を用いて、運転者の頭部からカメラ１１までの距離を推定する距離推定部２５とを装備する。

Description

運転者状態推定装置、及び運転者状態推定方法
　本発明は運転者状態推定装置、及び運転者状態推定方法に関し、より詳細には、撮像された画像を用いて運転者の状態を推定することのできる運転者状態推定装置、及び運転者状態推定方法に関する。
　車室内カメラで撮影された運転者の画像から運転者の動作や視線などの状態を検知し、運転者に必要とされる情報の提示や警告などを行う技術が従来より開発されている。
　また、近年開発が進められている自動運転システムでは、自動運転中においても、自動運転から手動運転への引き継ぎがスムーズに行えるように、運転者が運転操作可能な状態であるかどうかを推定しておく技術が必要になると考えられており、車室内カメラで撮像した画像を解析して、運転者の状態を推定する技術の開発が進められている。
　運転者の状態を推定するためには、運転者の頭部位置を検出する技術が必要とされている。例えば、特許文献１には、車室内カメラで撮像された画像中における運転者の顔領域を検出し、検出した顔領域に基づいて、運転者の頭部位置を推定する技術が開示されている。
　上記運転者の頭部位置の具体的な推定方法は、まず、車室内カメラに対する頭部位置の角度を検出する。該頭部位置の角度の検出方法は、画像上での顔領域の中心位置を検出し、該検出した顔領域の中心位置を頭部位置として、該顔領域の中心位置を通る頭部位置直線を求め、該頭部位置直線の角度（頭部位置の車室内カメラに対する角度）を決定する。
　次に、頭部位置直線上の頭部位置を検出する。該頭部位置直線上の頭部位置の検出方法は、車室内カメラから所定距離に存在する場合の顔領域の標準大きさを記憶しておき、この標準大きさと実際に検出した顔領域の大きさとを比較して、車室内カメラから頭部位置までの距離を求める。そして、求めた距離だけ車室内カメラから離れた、頭部位置直線上の位置を頭部位置として推定するようになっている。
　［発明が解決しようとする課題］
　特許文献１記載の頭部位置の推定方法では、画像上での頭部位置を顔領域の中心位置を基準として検出しているが、顔領域の中心位置は顔の向きによって変わってしまう。そのため、頭の位置が同じ位置であっても、顔の向きの違いより、画像上で検出される顔領域の中心位置がそれぞれ異なる位置に検出される。そのため画像上における頭部位置が実世界の頭部位置とは異なる位置に検出されてしまい、実世界における頭部位置までの距離を精度よく推定できないという課題があった。
特開２０１４－２１８１４０号公報
課題を解決するための手段及びその効果
　本発明は上記課題に鑑みなされたものであって、画像中における運転者の顔領域の中心位置を検出することなく運転者の頭部までの距離を推定することができ、該推定された距離を前記運転者の状態判定に利用することができる運転者状態推定装置、及び運転者状態推定方法を提供することを目的としている。
　上記目的を達成するために本発明に係る運転者状態推定装置（１）は、撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
　運転席に着座している運転者を撮像する撮像部と、
　前記運転者の顔に光を照射する照明部と、
　少なくとも１つのハードウェアプロセッサとを備え、
　該少なくとも１つのハードウェアプロセッサが、
　前記照明部から光が照射されたときに前記撮像部で撮像された第１の画像と前記照明部から光が照射されていないときに前記撮像部で撮像された第２の画像とから運転者の顔を検出する顔検出部と、
　該顔検出部により検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出部と、
　該顔の明るさ比算出部により算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えていることを特徴としている。
　上記運転者状態推定装置（１）によれば、前記第１の画像と前記第２の画像とから運転者の顔が検出され、該検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比が算出され、該算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離が推定される。したがって、前記画像中の顔領域の中心位置を求めることなく、前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比から前記距離を推定することができる。該推定された距離を用いて、前記運転席に着座している運転者の位置姿勢などの状態を推定することが可能となる。
　また本発明に係る運転者状態推定装置（２）は、上記運転者状態推定装置（１）において、前記顔の明るさ比と、前記運転席に着座している運転者の頭部から前記撮像部までの距離との相関関係を示す１つ以上の距離推定用テーブルを記憶するテーブル情報記憶部を備え、
　前記少なくとも１つのハードウェアプロセッサが、
　前記テーブル情報記憶部に記憶された前記１つ以上の距離推定用テーブルの中から、前記第２の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するテーブル選択部を備え、
　前記距離推定部が、
　前記顔の明るさ比算出部で算出された前記顔の明るさ比と、前記テーブル選択部により選択された前記距離推定用テーブルとを照合して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定するものであることを特徴としている。
　上記運転者状態推定装置（２）によれば、前記テーブル情報記憶部に、前記顔の明るさ比と、前記運転者の頭部から前記撮像部までの距離との相関関係を示す１つ以上の距離推定用テーブルが記憶され、前記顔の明るさ比算出部で算出された前記顔の明るさ比と、前記テーブル選択部で選択された前記距離推定用テーブルとが照合されて、前記運転席に着座している運転者の頭部から前記撮像部までの距離が推定される。
　前記照明部から照射される光の反射強度は前記運転者の顔の明るさによって異なるが、前記運転者の顔の明るさに適した反射強度の関係を示す前記距離推定用テーブルを選択して用いることにより、前記運転者の頭部から前記撮像部までの距離の推定精度を高めることができる。しかも、前記距離推定用テーブルを用いることにより、前記距離の推定処理に負荷をかけることなく高速に処理を実行できる。
　また本発明に係る運転者状態推定装置（３）は、上記運転者状態推定装置（２）において、前記少なくとも１つのハードウェアプロセッサが、
　前記顔検出部で検出された前記運転者の顔の画像から該運転者の属性を判定する属性判定部を備え、
　前記１つ以上の距離推定用テーブルには、前記運転者の属性に対応した距離推定用テーブルが含まれ、
　前記テーブル選択部が、
　前記１つ以上の距離推定用テーブルの中から、前記属性判定部で判定された前記運転者の属性に対応した距離推定用テーブルを選択するものであることを特徴としている。
　上記運転者状態推定装置（３）によれば、前記顔検出部で検出された前記運転者の顔の画像から該運転者の属性が判定され、前記１つ以上の距離推定用テーブルの中から、前記属性判定部で判定された前記運転者の属性に対応した距離推定用テーブルが選択される。したがって、前記第２の画像中の運転者の顔の明るさだけでなく、前記運転者の属性にも対応した距離推定用テーブルを選択して用いることができ、前記距離推定部により推定される前記距離の精度を一層高めることができる。
　また本発明に係る運転者状態推定装置（４）は、上記運転者状態推定装置（３）において、前記運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも１つが含まれていることを特徴としている。
　上記運転者状態推定装置（４）によれば、前記運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも１つが含まれているので、前記運転者の多様な属性に応じた前記距離推定用テーブルを用意して選択可能とすることで、前記距離推定部により推定される前記距離の精度を一層高めることができる。
　また本発明に係る運転者状態推定装置（５）は、上記運転者状態推定装置（２）において、前記少なくとも１つのハードウェアプロセッサが、
　車外の照度を検出する照度検出部から照度データを取得する照度データ取得部を備え、
　前記テーブル選択部が、
　前記照度データ取得部により取得した照度データを考慮して、前記第２の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するものであることを特徴としている。
　車載環境では、太陽からの光の照射方向やトンネルの出入り口などの道路状況によって、運転者の顔の明るさと周囲の明るさとが極端に異なる状況が発生し得る。このような場合、前記第２の画像中の運転者の顔の明るさが影響を受ける。
　上記運転者状態推定装置（５）によれば、前記照度データ取得部で取得した照度データを考慮して、前記第２の画像中の運転者の顔の明るさに対応した距離推定用テーブルが選択される。したがって、前記第２の画像を撮像したときの車外の照度が考慮された適切な距離推定用テーブルを選択することができ、前記距離推定部により推定される前記距離の精度のバラツキを抑制できる。
　また本発明に係る運転者状態推定装置（６）は、上記運転者状態推定装置（１）～（５）のいずれかにおいて、前記少なくとも１つのハードウェアプロセッサが、
　前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定する運転操作可否判定部を備えていることを特徴としている。
　上記運転者状態推定装置（６）によれば、前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定することができ、前記運転者の監視を適切に行うことができる。
　また本発明に係る運転者状態推定方法は、運転席に着座している運転者を撮像する撮像部と、前記運転者の顔に光を照射する照明部と、少なくとも１つのハードウェアプロセッサとを備えた装置を用い、前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
　前記少なくとも１つのハードウェアプロセッサが、
　前記照明部から前記運転者の顔に光が照射されたときに前記撮像部で撮像された第１の画像と前記照明部から前記運転者の顔に光が照射されていないときに前記撮像部で撮像された第２の画像とから運転者の顔を検出する顔検出ステップと、
　該顔検出ステップにより検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出ステップと、
　該顔の明るさ比算出ステップにより算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいることを特徴としている。
　上記運転者状態推定方法によれば、前記第１の画像と前記第２の画像とから運転者の顔を検出し、該検出した前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を求め、該顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する。したがって、前記画像中の顔領域の中心位置を求めることなく、前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比から前記距離を推定することができる。該推定された距離を用いて、前記運転席に着座している運転者の位置姿勢などの状態を推定することが可能となる。
本発明の実施の形態（１）に係る運転者状態推定装置を含む自動運転システムの要部を概略的に示したブロック図である。 実施の形態（１）に係る運転者状態推定装置の構成を示すブロック図である。 （ａ）は単眼カメラの設置例を示す車室内平面図、（ｂ）は単眼カメラで撮像される画像例を示すイラスト図、（ｃ）は単眼カメラの撮像タイミングと照明部のオン・オフの切替タイミングの一例を示すタイミングチャートである。 （ａ）はテーブル情報記憶部に記憶されている距離推定用テーブルの一例を示す図であり、（ｂ）は距離推定用テーブルの種類を説明するためのグラフ図である。 実施の形態（１）に係る運転者状態推定装置におけるＣＰＵの行う処理動作を示したフローチャートである。 実施の形態（２）に係る運転者状態推定装置の構成を示すブロック図である。 属性判定部で判定する運転者の属性と、テーブル情報記憶部に記憶される距離推定用テーブルとを説明するための図である。 実施の形態（２）に係る運転者状態推定装置におけるＣＰＵの行う処理動作を示したフローチャートである。 実施の形態（３）に係る運転者状態推定装置の構成を示すブロック図である。
　以下、本発明に係る運転者状態推定装置、及び運転者状態推定方法の実施の形態を図面に基づいて説明する。なお、以下に述べる実施の形態は、本発明の好適な具体例であり、技術的に種々の限定が付されているが、本発明の範囲は、以下の説明において特に本発明を限定する旨の記載がない限り、これらの形態に限られるものではない。
　図１は、実施の形態（１）に係る運転者状態推定装置を含む自動運転システムの要部を概略的に示したブロック図である。図２は、実施の形態（１）に係る運転者状態推定装置の構成を示すブロック図である。
　自動運転システム１は、車両を道路に沿って自動で走行させるためのシステムであり、運転者状態推定装置１０、ＨＭＩ（Human Machine Interface）４０、及び自動運転制御装置５０を含んで構成され、これら各装置が通信バス６０を介して接続されている。なお、通信バス６０には、自動運転や運転者による手動運転の制御に必要な各種センサや制御装置（図示せず）も接続されている。
　運転者状態推定装置１０は、照明部１１ｃから光が照射されたときに撮像された第１の画像（以下、照明オンの画像ともいう）と照明部１１ｃから光が照射されていないときに撮像された第２の画像（以下、照明オフの画像ともいう）とに写された運転者の顔の明るさの比を算出し、算出した顔の明るさ比を用いて、単眼カメラ１１から運転者の頭部までの距離を推定する処理、距離の推定結果に基づいて運転者が運転操作可能な状態であるか否かを判定し、その判定結果を出力する処理などを行う。
　運転者状態推定装置１０は、単眼カメラ１１、ＣＰＵ１２、ＲＯＭ１３、ＲＡＭ１４、記憶部１５、及び入出力インターフェース（Ｉ／Ｆ）１６を含んで構成され、これら各部が通信バス１７を介して接続されている。なお、単眼カメラ１１は、装置本体とは別体のカメラユニットとして構成してもよい。
　単眼カメラ１１は、運転席に着座している運転者の頭部を含む画像を定期的（例えば、１秒間に３０～６０回）に撮像可能なカメラであり、撮像部を構成する１枚以上のレンズから構成されるレンズ系１１ａ、被写体の撮像データを生成するＣＣＤ又はＣＭＯＳなどの撮像素子１１ｂ、及び撮像データをデジタルデータに変換するＡＤ変換部（図示せず）と、運転者の顔に向けて光、例えば近赤外光を照射する１つ以上の近赤外発光素子などから構成される照明部１１ｃとを含んで構成されている。単眼カメラ１１に、可視光をカットするフィルタや、近赤外域のみを通過させるバンドパスフィルタなどを設けてもよい。
　また、撮像素子１１ｂには、可視光域と赤外域の双方に顔撮影に必要な感度を有したものを使用してもよい。そうすれば可視光と赤外光との双方による顔撮影が可能となる。なお、照明部１１ｃの光源として、赤外光光源だけでなく可視光光源を使用するようにしてもよい。
　ＣＰＵ１２は、ハードウェアプロセッサであり、ＲＯＭ１３に記憶されているプログラムを読み出し、該プログラムに基づいて単眼カメラ１１で撮像された画像データの各種処理などを行う。ＣＰＵ１２は、画像処理や制御信号出力処理などの処理用途毎に複数装備してもよい。
　ＲＯＭ１３には、図２に示す記憶指示部２１、読み出し指示部２２、顔検出部２３、顔の明るさ比算出部２４、距離推定部２５、テーブル選択部２６、及び運転操作可否判定部２７としての処理を、ＣＰＵ１２に実行させるためのプログラムなどが記憶されている。なお、ＣＰＵ１２で実行される前記プログラムの全部又は一部をＲＯＭ１３とは別の記憶部１５や他の記憶媒体（図示せず）に記憶してもよい。
　ＲＡＭ１４には、ＣＰＵ１２で実行される各種処理に必要なデータやＲＯＭ１３から読み出したプログラムなどが一時記憶される。
　記憶部１５は、画像記憶部１５ａとテーブル情報記憶部１５ｂとを含んでいる。画像記憶部１５ａには、単眼カメラ１１で撮像された画像（照明オンの画像及び照明オフの画像）データが記憶される。テーブル情報記憶部１５ｂには、照明オンの画像中の運転者の顔と照明オフの画像中の運転者の顔との明るさ比（顔の明るさ比）と、運転席に着座している運転者の頭部から単眼カメラ１１までの距離との相関関係を示す１つ以上の距離推定用テーブルが記憶されている。
　また、記憶部１５には、単眼カメラ１１の焦点距離や絞り（Ｆ値）、画角や画素数（幅×縦）などを含むパラメータ情報が記憶されている。また、単眼カメラ１１の取付位置情報も記憶できるようにしてもよい。単眼カメラ１１の取付位置情報は、例えば、単眼カメラ１１の設定メニューをＨＭＩ４０で読み出せるように構成しておき、取付時に、前記設定メニューから入力設定できるようにすればよい。記憶部１５は、例えば、ＥＥＰＲＯＭ、フラッシュメモリなどの１つ以上の不揮発性の半導体メモリで構成されている。入出力インターフェース（Ｉ／Ｆ）１６は、通信バス６０を介して各種外部装置とのデータのやり取りを行うためのものである。
　ＨＭＩ４０は、運転者状態推定装置１０から送信されてきた信号に基づいて、運転者に運転姿勢等の状態を報知する処理、自動運転システム１の作動状況や自動運転の解除情報などを運転者に報知する処理、自動運転制御に関連する操作信号を自動運転制御装置５０に出力する処理などを行う。ＨＭＩ４０は、例えば、運転者が視認しやすい位置に設けられた表示部４１や音声出力部４２の他、図示しない操作部や音声入力部などを含んで構成されている。
　自動運転制御装置５０は、図示しない動力源制御装置、操舵制御装置、制動制御装置、周辺監視センサ、ナビゲーションシステム、外部と通信を行う通信装置などにも接続され、これら各部から取得した情報に基づいて、自動運転を行うための制御信号を各制御装置へ出力して、車両の自動走行制御（自動操舵制御や自動速度調整制御など）を行う。
　図２に示した運転者状態推定装置１０の各部を説明する前に、図３、図４を用いて、運転者状態推定装置１０が行う運転者の頭部までの距離の推定方法について説明する。
　図３（ａ）は、単眼カメラ１１の設置例を示す車室内平面図、（ｂ）は、単眼カメラ１１で撮像される画像例を示すイラスト図、（ｃ）は、単眼カメラ１１の撮像タイミングと照明部１１ｃのオン・オフの切替タイミングの一例を示すタイミングチャートである。
　また、図４（ａ）は、テーブル情報記憶部１５ｂに記憶されている距離推定用テーブルの一例を示す図であり、（ｂ）は、距離推定用テーブルの種類を説明するためのグラフ図である。
　図３（ａ）に示すように、運転者３０が運転席３１に着座しているとする。運転席３１の正面前方にはハンドル３２が設置されている。運転席３１は、前後方向に位置調整可能となっており、座面の可動範囲がＳに設定されている。単眼カメラ１１は、ハンドル３２の奥側（図示しないステアリングコラム、又はダッシュボードやインストルメントパネルの手前）に設けられており、運転者３０Ａの頭部（顔）を含む画像１１ｄを撮像可能な箇所に設置されている。なお、単眼カメラ１１の設置位置姿勢はこの形態に限定されるものではない。
　図３（ａ）では、単眼カメラ１１から実世界における運転者３０までの距離をＡ、ハンドル３２から運転者３０までの距離をＢ、ハンドル３２から単眼カメラ１１までの距離をＣ、単眼カメラ１１の画角をα、撮像面の中心をＩで示している。図３（ｂ）は、運転席３１を座面の可動範囲Ｓの略中間にセットしたときに撮像された運転者３０Ａの画像例を示している。
　図３（ｃ）は、単眼カメラ１１の撮像素子１１ｂへの撮像（露光）タイミングと、照明部１１ｃのオン・オフの切替タイミングの一例を示すタイミングチャートである。図３（ｃ）に示す例では、照明部１１ｃによる照明のオンとオフが、撮像タイミング（フレーム）毎に切り替えられ、照明オンの画像と照明オフの画像とが交互に撮像されているが、照明のオン・オフの切替タイミングは、この形態に限定されるものではない。
　図４（ａ）はテーブル情報記憶部１５ｂに記憶されている距離推定用テーブルの一例を示す図であり、（ｂ）は距離推定用テーブルの種類を説明するためのグラフ図である。
　図４（ａ）に示す距離推定用テーブルは、照明オンの画像中の運転者の顔と照明オフの画像中の運転者の顔との明るさ比（輝度比）と、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離との相関関係を示している。
　照明部１１ｃから照射される光の反射特性は、運転者の顔での反射率によって変化する。テーブル情報記憶部１５ｂには、照明オフの画像中の運転者の顔の明るさのレベルの違いに対応した１つ以上の距離推定用テーブルが含まれている。
　一般的に反射光の強さは、距離の２乗に反比例するという性質（Ｉ＝ｋ／Ｄ２、Ｉ：反射光の強さ、ｋ：物体の反射係数、Ｄ：物体との距離）を有している。この性質を利用すれば、反射光によって構成される反射光画像を用いることで、運転者までの距離を推定することが可能である。しかしながら、反射光の強さは、運転者までの距離以外に、運転者の顔の色（反射係数）の違いや運転者の肌特性（反射特性）の違いなどにより影響を受ける。したがって、反射光画像における反射光の強さを参照しただけでは、運転者との距離を正確に推定することが難しい。
　そこで、本実施の形態では、予め実測データを用いた学習処理等により、人の顔の明るさの違いに対応した１つ以上の距離推定用テーブルを作成し、該作成した１つ以上の距離推定用テーブルをテーブル情報記憶部１５ｂに記憶しておき、距離推定処理に利用する構成となっている。運転者によって異なる顔の色（反射係数）や肌特性（反射特性）に対応した距離推定用テーブルを用いることで、運転者までの距離の推定精度を高めることが可能となっている。
　距離推定用テーブルの作成にあたっては、人の顔（肌）の反射率の多様性を考慮して、顔（肌）の反射率が異なる人をサンプリングモデルに選定する。そして、車両の運転席と同様の環境下で、単眼カメラ１１から頭部までの距離を例えば、２０、４０、６０、８０、１００ｃｍに設定し、各距離において照明がオン・オフされた時に撮像された画像を取得する。取得した照明オンの画像と照明オフの画像中での顔（顔領域）の明るさ（輝度）をそれぞれ検出した後、輝度比を算出する。これらデータを用いて、照明オフ時に撮像された画像中の顔の明るさ別に距離推定用テーブルを作成する。
　図４（ｂ）において、一点鎖線で示すグラフは、照明オフの画像中で顔の明るさレベルが高い場合の相関関係の一例を示し、破線で示すグラフは、照明オフの画像中で顔の明るさレベルが低い場合の相関関係の一例を示している。
　照明オフの画像中の顔の明るさレベルが高くなると、照明オン時に顔からの光の反射率も高くなる一方、照明オフの画像中の顔の明るさレベルが低くなると、照明オン時に顔からの光の反射率も低くなる。照明オフの画像中の運転者の顔の明るさ（換言すれば、運転者の顔からの光の反射率）に対応した距離推定用テーブルを選択して用いることで、単眼カメラ１１から運転者３０の頭部までの距離Ａを推定する精度を高めることが可能となっている。
　次に、実施の形態（１）に係る運転者状態推定装置１０の具体的構成について図２に示したブロック図に基づいて説明する。
　運転者状態推定装置１０は、ＲＯＭ１３に記憶された各種のプログラムがＲＡＭ１４に読み出され、ＣＰＵ１２で実行されることによって、記憶指示部２１、読み出し指示部２２、顔検出部２３、顔の明るさ比算出部２４、距離推定部２５、テーブル選択部２６、及び運転操作可否判定部２７としての処理を行う装置として成立する。顔検出部２３、顔の明るさ比算出部２４、距離推定部２５、及び運転操作可否判定部２７は、それぞれが専用のチップで構成されていてもよい。
　記憶指示部２１は、単眼カメラ１１で撮像された運転者３０Ａの顔を含む画像（照明オン画像及び照明オフ画像）データを記憶部１５の一部である画像記憶部１５ａに記憶させる処理を行う。読み出し指示部２２は画像記憶部１５ａから運転者３０Ａが撮像された画像（照明オン画像と照明オフ画像）を読み出す処理を行う。
　顔検出部２３は、画像記憶部１５ａから読み出された画像（照明オン画像と照明オフ画像）から運転者３０Ａの顔を検出する処理を行う。画像から顔を検出する手法は特に限定されず、公知の顔検出技術を用いることができる。
　例えば、顔全体の輪郭に対応した基準テンプレートを用いたテンプレートマッチング、又は顔の器官（目、鼻、口、眉など）に基づくテンプレートマッチングなどによって顔を検出するように構成してもよい。また、肌の色や明るさに近い領域を検出し、その領域を顔として検出するように構成してもよい。また、高速で高精度に顔を検出する手法として、例えば、顔の局所的な領域の明暗差（輝度差）やエッジ強度、これら局所的領域間の関連性（共起性）を特徴量として捉え、これら多数の特徴量を組み合わせて学習することで検出器を作成し、階層的な構造（顔をおおまかにとらえる階層から顔の細部をとらえる階層構造）の検出器を用いる画像処理方法により、顔の領域検出を行うように構成してもよい。また、顔の向きや傾きに対応するために、顔の向きや傾きごとに別々に学習させた複数の検出器を備えるようにしてもよい。
　顔の明るさ比算出部２４は、顔検出部２３により検出された照明オンの画像中の運転者の顔の明るさと、照明オフの画像中の運転者の顔の明るさとを検出し、照明オンの画像中の運転者の顔の明るさと照明オフの画像中の運転者の顔の明るさとの比（顔の明るさ比：照明オン時／照明オフ時）を求める処理を行う。例えば、顔の明るさとして、画像中の顔の肌領域の輝度（例えば、平均輝度）を求めるようになっている。
　距離推定部２５は、顔の明るさ比算出部２４により求められた顔の明るさ比を用いて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ａ（奥行きに関する情報）を推定する処理を行う。
　距離Ａを推定する処理には、テーブル選択部２６により選択された距離推定用テーブルを使用する。テーブル選択部２６は、テーブル情報記憶部１５ｂに記憶されている１つ以上の距離推定用テーブルの中から、照明オフの画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択する。
　すなわち、距離推定部２５は、顔の明るさ比算出部２４で算出された顔の明るさ比と、テーブル選択部２６により選択された距離推定用テーブルとを照合して、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ａを推定する処理を行う。
　運転操作可否判定部２７は、距離推定部２５で推定された距離Ａを用いて、運転者３０が運転操作可能な状態であるか否か、例えば、ＲＯＭ１３又は記憶部１５に記憶された、ハンドルに手が届く範囲をＲＡＭ１４に読み出し、比較演算を行うことにより、運転者３０がハンドル３２に手が届く範囲内にいるか否かを判定し、該判定結果を示す信号をＨＭＩ４０や自動運転制御装置５０へ出力する。また、距離Ａから距離Ｃ（ハンドル３２から単眼カメラ１１までの距離）を引き、距離Ｂ（ハンドル３２から運転者３０までの距離）を求めて、上記判定を行うようにしてもよい。なお、距離Ｃの情報は、記憶部１５に、単眼カメラ１１の取付位置情報として登録すればよい。
　図５は、実施の形態（１）に係る運転者状態推定装置１０におけるＣＰＵ１２の行う処理動作を示したフローチャートである。単眼カメラ１１では、例えば、毎秒３０～６０フレームの画像が撮像され、各フレームの撮像タイミングに合わせて照明部１１ｃのオンとオフが切り替えられる。各フレーム、又は一定間隔のフレーム毎に本処理が行われる。
　まず、ステップＳ１では、単眼カメラ１１で撮像された、照明オンの画像と照明オフの画像とを画像記憶部１５ａから読み出し、次のステップＳ２では、読み出された照明オンの画像及び照明オフの画像から運転者３０Ａの顔を検出する処理を行う。
　ステップＳ３では、照明オフの画像中の運転者３０Ａの顔領域の明るさを検出する処理を行う。顔領域の明るさとして、例えば、顔の肌領域又は顔器官の輝度を検出すればよい。
　次のステップＳ４では、テーブル情報記憶部１５ｂに記憶されている１つ以上の距離推定用テーブルの中から、ステップＳ３で検出された照明オフの画像中の運転者３０Ａの顔の明るさに対応する距離推定用テーブルを選択する処理を行う。
　ステップＳ５では、照明オンの画像中の運転者３０Ａの顔の明るさを検出する処理を行う。顔領域の明るさとして、例えば、顔の肌領域又は顔器官の輝度を検出すればよい。
　次のステップＳ６では、照明オンの画像中の運転者３０Ａの顔の明るさと照明オフの画像中の運転者３０Ａの顔の明るさとの比（顔の明るさ比）を算出する処理を行う。
　ステップＳ７では、ステップＳ６で算出された顔の明るさ比を、ステップＳ４で選択された距離推定用テーブルに当てはめて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ａを抽出する処理（距離推定処理）を行う。
　次のステップＳ８では、ステップＳ７で推定した距離Ａから距離Ｃ（ハンドル３２から単眼カメラ１１までの距離）を引いて距離Ｂ（ハンドル３２から運転者３０までの距離）を求める処理を行う。
　ステップＳ９では、ＲＡＭ１３又は記憶部１５に記憶された、適切なハンドル操作が可能な範囲を読み出し、比較演算を行うことにより、距離Ｂが、適切なハンドル操作が可能な範囲内（距離Ｅ１＜距離Ｂ＜距離Ｅ２）であるか否かを判定する。距離Ｅ１から距離Ｅ２の距離範囲は、運転者３０が運転席３１に着座した状態で、ハンドル３２の操作が可能と推定される距離範囲、例えば、距離Ｅ１は４０ｃｍ、距離Ｅ２は８０ｃｍ程度の値に設定することができる。
　ステップＳ９において、距離Ｂが適切なハンドル操作が可能な範囲内であると判断すれば、その後処理を終える一方、距離Ｂが適切なハンドル操作が可能な範囲内ではないと判断すればステップＳ１０に進む。
　ステップＳ１０では、ＨＭＩ４０や自動運転制御装置５０に運転操作不可信号を出力し、その後処理を終える。ＨＭＩ４０では、運転操作不可信号を入力した場合、例えば、表示部４１に運転姿勢や座席位置を警告する表示や、音声出力部４２より運転姿勢や座席位置を警告するアナウンスを実行する。また、自動運転制御装置５０では、運転操作不可信号を入力した場合、例えば、減速制御などを実行する。
　上記実施の形態（１）に係る運転者状態推定装置１０によれば、照明オンの画像と照明オフの画像とから運転者３０Ａの顔が検出され、該検出された照明オンの画像中の運転者３０Ａの顔と照明オフの画像中の運転者３０Ａの顔との明るさ比が算出され、算出された顔の明るさ比と、テーブル選択部２６で選択された距離推定用テーブルとが照合されて、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ａが推定される。したがって、画像中の顔領域の中心位置を求めることなく、照明オンの画像中の運転者の顔と照明オフの画像中の運転者の顔との明るさ比から距離Ａを推定することができる。
　また、運転者状態推定装置１０によれば、単眼カメラ１１に加えて別のセンサを設けることなく、上記した運転者までの距離Ａを推定することができ、装置構成の簡素化を図ることができ、また、前記別のセンサを設ける必要がないため、それに伴う追加の処理も不要となり、ＣＰＵ１２にかかる負荷を低減させることができ、装置の小型化や低コスト化を図ることができる。
　また、運転者の顔の明るさ（反射特性）に対応した距離推定用テーブルを選択して用いることにより、運転者３０の頭部から単眼カメラ１１までの距離の推定精度を高めることができる。また、予め記憶されている距離推定用テーブルを用いることにより、距離Ａの推定処理に負荷をかけることなく高速に処理を実行できる。
　また、距離推定部２５で推定された距離Ａを用いて算出した距離Ｂに基づいて、運転席３１に着座している運転者３０が運転操作可能な状態であるか否かを判定することができ、運転者の監視を適切に行うことができる。
　次に実施の形態（２）に係る運転者状態推定装置１０Ａについて説明する。但し実施の形態（２）に係る運転者状態推定装置１０Ａの構成については、ＣＰＵ１２Ａ、ＲＯＭ１３Ａ、及び記憶部１５Ａを除いて図１に示した運転者状態推定装置１０と略同様であるため、異なる構成のＣＰＵ１２Ａ、ＲＯＭ１３Ａ、及び記憶部１５Ａのテーブル情報記憶部１５ｃには異なる符号を付し、その他の構成部品の説明をここでは省略する。
　実施の形態（１）に係る運転者状態推定装置１０では、テーブル情報記憶部１５ｂに、運転者の顔の明るさのレベルに応じた１つ以上の距離推定用テーブルが記憶されており、テーブル選択部２６が、照明オフの画像中の運転者３０Ａの顔の明るさに対応する距離推定用テーブルを選択するように構成されている。
　実施の形態（２）に係る運転者状態推定装置１０Ａでは、テーブル情報記憶部１５ｃに、運転者の属性に対応した１つ以上の距離推定用テーブルが記憶されており、テーブル選択部２６Ａが、運転者の属性と照明オフの画像中の運転者３０Ａの顔の明るさに対応する距離推定用テーブルを選択するように構成されている。
　次に、実施の形態（２）に係る運転者状態推定装置１０Ａの具体的構成について図６に示したブロック図に基づいて説明する。但し、図２に示した運転者状態推定装置１０と略同様の構成部分については、同一符号を付し、その説明を省略する。
　運転者状態推定装置１０Ａは、ＲＯＭ１３Ａに記憶された各種のプログラムがＲＡＭ１４に読み出され、ＣＰＵ１２Ａで実行されることによって、記憶指示部２１、読み出し指示部２２、顔検出部２３、顔の明るさ比算出部２４、距離推定部２５、テーブル選択部２６Ａ、運転操作可否判定部２７、及び属性判定部２８としての処理を行う装置として成立する。顔検出部２３、顔の明るさ比算出部２４、距離推定部２５、運転操作可否判定部２７、及び属性判定部２８は、それぞれが専用のチップで構成されていてもよい。
　属性判定部２８は、顔検出部２３で検出された運転者３０Ａの顔の画像から運転者の属性を判定する処理を行う。
　テーブル情報記憶部１５ｃには、運転者の属性に対応した１つ以上の距離推定用テーブルが記憶されている。
　属性判定部２８で判定される運転者の属性と、テーブル情報記憶部１５ｃに記憶される距離推定用テーブルの内容について図７を参照して説明する。
　属性判定部２８で判定される運転者の属性には、人種（例えば、モンゴロイド、コーカソイド、又はネグロイド）、性別（男性、又は女性）、顔付着物（例えば、化粧の有無）、年齢層（例えば、３０歳未満、３０～５０歳未満、５０～７０歳未満、７０歳以上）が含まれている。なお、運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも１つが含まれるようにしてもよい。
　テーブル情報記憶部１５ｃに記憶されている１つ以上距離推定用テーブルには、運転者の属性に対応する距離推定用テーブルが含まれている。
　すなわち、図７に示すように、人種がモンゴロイドの場合、男性で４つのテーブル、女性で８つのテーブルを含んでいる。人種がコーカソイド、ネグロイドの場合も同様に、男性で４つのテーブル、女性で８つのテーブルを含んでいる。
　属性判定部２８は、運転者の人種を判定する人種判定部、運転者の性別を判定する性別判定部、運転者の化粧の有無を判定する化粧有無判定部、及び運転者の年齢層を判定する年齢層判定部としての処理を行う。
　また、属性判定部２８は、顔の器官（例えば、目、鼻、口、耳、眉、顎、額の１つ以上）を検出する顔器官検出部と、該顔器官検出部で検出された各器官に設定した特徴点における特徴量（濃淡変化のエッジ方向や強さの情報を含むHaar-like特徴など）を抽出する特徴量抽出部としての処理を行う。上記した顔器官検出部、特徴量抽出部、人種判定部、性別判定部、化粧有無判定部、年齢層判定部には、公知の画像処理技術を適用できる。
　例えば、人種判定部は、予め人種（モンゴロイド、コーカソイド、ネグロイド）別の画像データ群を用いた学習処理が完了している人種パターン認識用の識別器を備え、該識別器に対して、運転者の顔画像から抽出された各特徴点の特徴量を入力し、推定演算を行うことにより、運転者の人種を判定する。
　性別判定部は、予め各人種の性別（男性、女性）毎の画像データ群を用いた学習処理が完了している性別パターン認識用の識別器を備え、該識別器に対して、運転者の顔画像から抽出された各特徴点の特徴量を入力し、推定演算を行うことにより、運転者の性別を判定する。
　化粧有無判定部は、予め各人種の女性毎の化粧有無の画像データ群を用いた学習処理が完了している化粧有無パターン認識用の識別器を備え、該識別器に対して、運転者の顔画像から抽出された各特徴点の特徴量を入力し、推定演算を行うことにより、運転者（女性）の化粧の有無を判定する。
　年齢層判定部は、予め各人種の性別毎の年齢層の画像データ群を用いた学習処理が完了している年齢層パターン認識用の識別器を備え、該識別器に対して、運転者の顔画像から抽出された各特徴点の特徴量を入力し、推定演算を行うことにより、運転者の年齢層を判定する。
　属性判定部２８で判定された運転者の属性情報がテーブル選択部２６Ａに与えられる。
　テーブル選択部２６Ａは、テーブル情報記憶部１５ｃに記憶されている１つ以上の距離推定用テーブルの中から、属性判定部２８で判定された運転者の属性と、照明オフの画像中の運転者３０Ａの顔の明るさとに対応した距離推定用テーブルを選択する処理を行う。
　距離推定部２５は、顔の明るさ比算出部２４で算出された顔の明るさ比と、テーブル選択部２６Ａにより選択された距離推定用テーブルとを照合して、運転席３１に着座している運転者３０の頭部から単眼カメラ１１までの距離Ａを推定する処理を行う。
　図８は、実施の形態（２）に係る運転者状態推定装置１０ＡにおけるＣＰＵ１２Ａの行う処理動作を示したフローチャートである。なお、図５に示したフローチャートの処理と同一の処理については、同一ステップ番号を付し、その説明を省略する。
　まず、ステップＳ１では、単眼カメラ１１で撮像された、照明オンの画像と照明オフの画像とを画像記憶部１５ａから読み出し、ステップＳ２では、読み出された照明オンの画像及び照明オフの画像から運転者３０Ａの顔（顔領域）を検出する処理を行い、その後ステップＳ２１に進む。
　ステップＳ２１では、運転者の属性を判定するために、ステップＳ２で検出された運転者３０Ａの顔の画像解析処理を行う。すなわち、顔の器官を検出する処理、各器官に設定された特徴点における特徴量を抽出する処理などにより、顔の各器官の位置、骨格形状、しわ、たるみ、肌の色などを推定演算する。
　ステップＳ２２では、ステップＳ２１で解析された運転者３０Ａの顔画像から抽出された各特徴点の特徴量を、人種パターン認識用の識別器を入力し、推定演算を行うことにより、運転者の人種を判定する処理を行い、人種判定後、ステップＳ２３に進む。
　ステップＳ２３では、ステップＳ２１で解析された運転者３０Ａの顔画像から抽出された各特徴点の特徴量を、性別パターン認識用の識別器を入力し、推定演算を行うことにより、運転者の性別（男性又は女性）を判定する処理を行い、性別判定後、ステップＳ２４に進む。
　ステップＳ２４では、ステップＳ２１で解析された運転者３０Ａの顔画像から抽出された各特徴点の特徴量を、化粧有無パターン認識用の識別器を入力し、推定演算を行うことにより、運転者の顔に化粧がされているか否か（化粧の有無）を判定する処理を行い、化粧の有無の判定後、ステップＳ２５に進む。
　ステップＳ２５では、ステップＳ２１で解析された運転者３０Ａの顔画像から抽出された各特徴点の特徴量を、年齢層パターン認識用の識別器を入力し、推定演算を行うことにより、運転者の年齢層を判定する処理を行い、年齢層の判定後、ステップＳ３に進む。
　ステップＳ３では、照明オフの画像中の運転者３０Ａの顔の明るさを検出する処理を行い、その後ステップＳ２６に進む。
　ステップＳ２６では、ステップＳ２２～Ｓ２５の処理で判定された運転者の属性とステップＳ３で検出された運転者３０Ａの顔の明るさとに基づいて、テーブル情報記憶部１５ｃから対応する距離推定用テーブルを選択する処理を行い、その後Ｓ５以降の処理を行う。
　上記実施の形態（２）に係る運転者状態推定装置１０Ａによれば、顔検出部２３で検出された運転者３０Ａの顔の画像から運転者の属性が判定され、１つ以上の距離推定用テーブルの中から、属性判定部２８で判定された運転者の属性に対応した距離推定用テーブルが選択される。したがって、照明オフの画像中の運転者３０Ａの顔の明るさだけでなく、運転者の属性にも対応した距離推定用テーブルを選択して用いることができ、距離推定部２５により推定される距離Ａの精度を一層高めることができる。
　また、運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも１つが含まれているので、運転者の多様な属性に応じた距離推定用テーブルを用意して選択可能とすることで、距離推定部２５により推定される距離Ａの精度を一層高めることができる。
　次に実施の形態（３）に係る運転者状態推定装置１０Ｂについて説明する。但し実施の形態（３）に係る運転者状態推定装置１０Ｂの構成については、ＣＰＵ１２ＢとＲＯＭ１３Ｂとを除いて図１に示した運転者状態推定装置１０と同様であるため、異なる構成のＣＰＵ１２ＢとＲＯＭ１３Ｂとには異なる符号を付し、その他の構成部品の説明をここでは省略する。
　図９は、実施の形態（３）に係る運転者状態推定装置１０Ｂの構成を示すブロック図である。但し、図２に示した運転者状態推定装置１０と略同様の構成部分については、同一符号を付し、その説明を省略する。
　運転者状態推定装置１０Ｂは、ＲＯＭ１３Ｂに記憶された各種のプログラムがＲＡＭ１４に読み出され、ＣＰＵ１２Ｂで実行されることによって、記憶指示部２１、読み出し指示部２２、顔検出部２３、顔の明るさ比算出部２４、距離推定部２５、テーブル選択部２６Ｂ、運転操作可否判定部２７、及び照度データ取得部２９としての処理を行う装置として成立する。
　実施の形態（３）に係る運転者状態推定装置１０Ｂが実施の形態（１）に係る運転者状態推定装置１０と相違する主な点は、ＣＰＵ１２Ｂが、車外の照度を検出する照度センサ５１から照度データを取得する照度データ取得部２９を備え、テーブル選択部２６Ｂが、照度データ取得部２９で取得した照度データを考慮して、照明オフの画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択する点にある。
　照度センサ５１は、車両（車体や車室内）に設置された車外の照度を検出するセンサであり、例えば、フォトダイオードなどの受光素子、受光した光を電流に変換する素子などを含んで構成されている。照度データ取得部２９が、通信バス６０を介して照度センサ５１で検出された照度データを取得するようになっている。
　車載環境では、太陽からの光の照射方向やトンネルの出入り口などの道路状況によって、運転者の顔の明るさと周囲の明るさとが極端に異なる状況が発生し得る。このような場合、照明オフの画像中の運転者の顔の明るさが影響を受ける。例えば、西日に照らされた場合は、運転者の顔が明るく写る一方、トンネルに入った場合は、運転者の顔が暗く写る。
　実施の形態（３）に係る運転者状態推定装置１０Ｂでは、図５のステップＳ３において、照度データ取得部２９で取得した照度データを、運転者の顔の明るさの変化パラメータとして使用して、照明オフの画像中の運転者の顔領域の明るさを検出し、その後ステップＳ４に進み、照明オフ画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択する処理を行う。
　例えば、取得した照度データの値に応じて、照明オフ画像中の運転者の顔の明るさの値を補正し、該補正した運転者の顔の明るさに対応する距離推定用テーブルを選択する。
　具体的には、照度データの値が基準範囲より高い（明るい）場合は、照明オフの画像中の運転者の顔の明るさの値を小さくする補正を行い、照度データの値が、基準範囲より低い（暗い）場合は、運転者の顔の明るさの値を大きくする補正を行い、該補正した運転者の顔の明るさに対応する距離推定用テーブルを選択する。
　上記実施の形態（３）に係る運転者状態推定装置１０Ｂによれば、照明オフの画像を撮像したときの車外の照度が考慮された適切な距離推定用テーブルを選択することができ、距離推定部２５により推定される距離Ａの精度のバラツキを抑制できる。また、上記実施の形態（２）に係る運転者状態推定装置１０Ａに照度データ取得部２９を装備させることにより、同様の効果を得ることができる。
　上記実施の形態（１）～（３）に係る運転者状態推定装置１０、１０Ａ、１０Ｂが自動運転システム１、１Ａ、１Ｂに搭載されることにより、運転者３０に自動運転の監視を適切に実行させることができ、自動運転での走行制御が困難状況になっても、手動運転への引き継ぎを迅速かつ安全に行うことができ、自動運転システム１、１Ａ、１Ｂの安全性を高めることができる。
（付記１）
　撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
　運転席に着座している運転者を撮像する撮像部と、
　前記運転者の顔に光を照射する照明部と、
　少なくとも１つの記憶部と、
　少なくとも１つのハードウェアプロセッサとを備え、
　前記少なくとも１つの記憶部が、
　前記撮像部で撮像された画像を記憶する画像記憶部を備え、
　前記少なくとも１つのハードウェアプロセッサが、
　前記照明部から光が照射されたときに前記撮像部で撮像された第１の画像と前記照明部から光が照射されていないときに前記撮像部で撮像された第２の画像とを前記画像記憶部に記憶させる記憶指示部と、
　前記画像記憶部から前記第１の画像と前記第２の画像とを読み出す読み出し指示部と、
　前記画像記憶部から読み出された前記第１の画像と前記第２の画像とから運転者の顔を検出する顔検出部と、
　該顔検出部により検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出部と、
　該顔の明るさ比算出部により算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えている運転者状態推定装置。
（付記２）
　運転席に着座している運転者を撮像する撮像部と、
　前記運転者の顔に光を照射する照明部と、
　少なくとも１つの記憶部と、
　少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
　前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
　前記少なくとも１つの記憶部が、
　前記撮像部で撮像された画像を記憶する画像記憶部を備え、
　前記少なくとも１つのハードウェアプロセッサが、
　前記照明部から前記運転者の顔に光が照射されたときに前記撮像部で撮像された第１の画像と前記照明部から前記運転者の顔に光が照射されていないときに前記撮像部で撮像された第２の画像とを前記画像記憶部に記憶させる記憶指示ステップと、
　前記画像記憶部から前記第１の画像と前記第２の画像とを読み出す読み出し指示ステップと、
　前記画像記憶部から読み出された前記第１の画像と前記第２の画像とから運転者の顔を検出する顔検出ステップと、
　該顔検出ステップにより検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出ステップと、
　該顔の明るさ比算出ステップにより算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいる運転者状態推定方法。
　本発明は、運転者の状態を監視する必要がある自動運転システムなど、主に自動車産業の分野において広く利用することができる。
１、１Ａ、１Ｂ　自動運転システム
１０、１０Ａ、１０Ｂ　運転者状態推定装置
１１　単眼カメラ
１１ａ　レンズ系
１１ｂ　撮像素子
１１ｃ　照明部
１１ｄ　画像
１２、１２Ａ、１２Ｂ　ＣＰＵ
１３、１３Ａ、１３Ｂ　ＲＯＭ
１４　ＲＡＭ
１５、１５Ａ　記憶部
１５ａ　画像記憶部
１５ｂ、１５ｃ　テーブル情報記憶部
１６　Ｉ／Ｆ
１７　通信バス
２１　記憶指示部
２２　読み出し指示部
２３　顔検出部
２４　顔の明るさ比算出部
２５　距離推定部
２６　テーブル選択部
２７　運転操作可否判定部
２８　属性判定部
２９　照度データ取得部
３０、３０Ａ　運転者
３１　運転席
３２　ハンドル
４０　ＨＭＩ
５０　自動運転制御装置
５１　照度センサ
６０　通信バス

Claims (7)

  1. 　撮像された画像を用いて運転者の状態を推定する運転者状態推定装置であって、
    　運転席に着座している運転者を撮像する撮像部と、
    　前記運転者の顔に光を照射する照明部と、
    　少なくとも１つのハードウェアプロセッサとを備え、
    　該少なくとも１つのハードウェアプロセッサが、
    　前記照明部から光が照射されたときに前記撮像部で撮像された第１の画像と前記照明部から光が照射されていないときに前記撮像部で撮像された第２の画像とから運転者の顔を検出する顔検出部と、
    　該顔検出部により検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出部と、
    　該顔の明るさ比算出部により算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定部とを備えていることを特徴とする運転者状態推定装置。
  2. 　前記顔の明るさ比と、前記運転席に着座している運転者の頭部から前記撮像部までの距離との相関関係を示す１つ以上の距離推定用テーブルを記憶するテーブル情報記憶部を備え、
    　前記少なくとも１つのハードウェアプロセッサが、
    　前記テーブル情報記憶部に記憶された前記１つ以上の距離推定用テーブルの中から、前記第２の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するテーブル選択部を備え、
    　前記距離推定部が、
    　前記顔の明るさ比算出部で算出された前記顔の明るさ比と、前記テーブル選択部により選択された前記距離推定用テーブルとを照合して、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定するものであることを特徴とする請求項１記載の運転者状態推定装置。
  3. 　前記少なくとも１つのハードウェアプロセッサが、
    　前記顔検出部で検出された前記運転者の顔の画像から該運転者の属性を判定する属性判定部を備え、
    　前記１つ以上の距離推定用テーブルには、前記運転者の属性に対応した距離推定用テーブルが含まれ、
    　前記テーブル選択部が、
    　前記１つ以上の距離推定用テーブルの中から、前記属性判定部で判定された前記運転者の属性に対応した距離推定用テーブルを選択するものであることを特徴とする請求項２記載の運転者状態推定装置。
  4. 　前記運転者の属性には、人種、性別、化粧の有無、及び年齢のうちの少なくとも１つが含まれていることを特徴とする請求項３記載の運転者状態推定装置。
  5. 　前記少なくとも１つのハードウェアプロセッサが、
    　車外の照度を検出する照度検出部から照度データを取得する照度データ取得部を備え、
    　前記テーブル選択部が、
    　前記照度データ取得部により取得した照度データを考慮して、前記第２の画像中の運転者の顔の明るさに対応した距離推定用テーブルを選択するものであることを特徴とする請求項２記載の運転者状態推定装置。
  6. 　前記少なくとも１つのハードウェアプロセッサが、
    　前記距離推定部で推定された前記距離を用いて、前記運転席に着座している運転者が運転操作可能な状態であるか否かを判定する運転操作可否判定部を備えていることを特徴とする請求項１～５のいずれかの項に記載の運転者状態推定装置。
  7. 　運転席に着座している運転者を撮像する撮像部と、
    　前記運転者の顔に光を照射する照明部と、
    　少なくとも１つのハードウェアプロセッサとを備えた装置を用い、
    　前記運転席に着座している運転者の状態を推定する運転者状態推定方法であって、
    　前記少なくとも１つのハードウェアプロセッサが、
    　前記照明部から前記運転者の顔に光が照射されたときに前記撮像部で撮像された第１の画像と前記照明部から前記運転者の顔に光が照射されていないときに前記撮像部で撮像された第２の画像とから運転者の顔を検出する顔検出ステップと、
    　該顔検出ステップにより検出された前記第１の画像中の運転者の顔と前記第２の画像中の運転者の顔との明るさ比を算出する顔の明るさ比算出ステップと、
    　該顔の明るさ比算出ステップにより算出された前記顔の明るさ比を用いて、前記運転席に着座している運転者の頭部から前記撮像部までの距離を推定する距離推定ステップとを含んでいることを特徴とする運転者状態推定方法。
PCT/JP2017/027246 2017-03-14 2017-07-27 運転者状態推定装置、及び運転者状態推定方法 Ceased WO2018167997A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
DE112017007251.4T DE112017007251T5 (de) 2017-03-14 2017-07-27 Fahrerzustandsabschätzungsvorrichtung und fahrerzustandsabschätzungsverfahren
US16/482,284 US20200001880A1 (en) 2017-03-14 2017-07-27 Driver state estimation device and driver state estimation method
CN201780083998.8A CN110235178B (zh) 2017-03-14 2017-07-27 驾驶员状态推定装置以及驾驶员状态推定方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017048504A JP6737213B2 (ja) 2017-03-14 2017-03-14 運転者状態推定装置、及び運転者状態推定方法
JP2017-048504 2017-03-14

Publications (1)

Publication Number Publication Date
WO2018167997A1 true WO2018167997A1 (ja) 2018-09-20

Family

ID=63522894

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/027246 Ceased WO2018167997A1 (ja) 2017-03-14 2017-07-27 運転者状態推定装置、及び運転者状態推定方法

Country Status (5)

Country Link
US (1) US20200001880A1 (ja)
JP (1) JP6737213B2 (ja)
CN (1) CN110235178B (ja)
DE (1) DE112017007251T5 (ja)
WO (1) WO2018167997A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6945775B2 (ja) 2019-07-02 2021-10-06 三菱電機株式会社 車載用画像処理装置、および、車載用画像処理方法
EP3838703A1 (en) * 2019-12-18 2021-06-23 Hyundai Motor Company Autonomous controller, vehicle system including the same, and method thereof
JP7731959B2 (ja) * 2023-11-30 2025-09-01 財団法人車輌研究測試中心 自動運転引継ぎ判定方法及びそのシステム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006031171A (ja) * 2004-07-13 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 擬似的３次元データ生成方法、装置、プログラム、および記録媒体
JP2007518970A (ja) * 2003-11-21 2007-07-12 シーメンス　コーポレイト　リサーチ　インコーポレイテツド ステレオ検出器を使用して乗員および頭部ポーズを検出するためのシステムおよび方法
JP2016045713A (ja) * 2014-08-22 2016-04-04 株式会社デンソー 車載制御装置
JP2016110374A (ja) * 2014-12-05 2016-06-20 富士通テン株式会社 情報処理装置、情報処理方法、および、情報処理システム

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4397415B2 (ja) * 2005-02-18 2010-01-13 富士通株式会社 画像処理方法、画像処理システム、画像処理装置及びコンピュータプログラム
JP2007240387A (ja) * 2006-03-09 2007-09-20 Fujitsu Ten Ltd 画像認識装置および画像認識方法
JP2014218140A (ja) * 2013-05-07 2014-11-20 株式会社デンソー 運転者状態監視装置、および運転者状態監視方法
JP2015194884A (ja) * 2014-03-31 2015-11-05 パナソニックＩｐマネジメント株式会社 運転者監視システム
DE112015002948B4 (de) * 2014-06-23 2024-07-11 Denso Corporation Vorrichtung zum erfassen eines fahrunvermögenzustands eines fahrers
JP2016032257A (ja) * 2014-07-30 2016-03-07 株式会社デンソー ドライバ監視装置
JP6269380B2 (ja) * 2014-08-06 2018-01-31 マツダ株式会社 車両の距離計測装置
CN105701445A (zh) * 2014-12-15 2016-06-22 爱信精机株式会社 判定装置及判定方法
JP2016157457A (ja) * 2016-03-31 2016-09-01 パイオニア株式会社 操作入力装置、操作入力方法及び操作入力プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007518970A (ja) * 2003-11-21 2007-07-12 シーメンス　コーポレイト　リサーチ　インコーポレイテツド ステレオ検出器を使用して乗員および頭部ポーズを検出するためのシステムおよび方法
JP2006031171A (ja) * 2004-07-13 2006-02-02 Nippon Telegr & Teleph Corp <Ntt> 擬似的３次元データ生成方法、装置、プログラム、および記録媒体
JP2016045713A (ja) * 2014-08-22 2016-04-04 株式会社デンソー 車載制御装置
JP2016110374A (ja) * 2014-12-05 2016-06-20 富士通テン株式会社 情報処理装置、情報処理方法、および、情報処理システム

Also Published As

Publication number Publication date
US20200001880A1 (en) 2020-01-02
JP2018151932A (ja) 2018-09-27
JP6737213B2 (ja) 2020-08-05
CN110235178B (zh) 2023-05-23
DE112017007251T5 (de) 2019-12-12
CN110235178A (zh) 2019-09-13

Similar Documents

Publication Publication Date Title
CN101951828B (zh) 驾驶员成像装置以及驾驶员成像方法
JP6303297B2 (ja) 端末装置、視線検出プログラムおよび視線検出方法
US8345922B2 (en) Apparatus for detecting a pupil, program for the same, and method for detecting a pupil
EP2074550B1 (en) Eye opening detection system and method of detecting eye opening
US10482347B2 (en) Inspection of the contoured surface of the undercarriage of a motor vehicle
JP2010191793A (ja) 警告表示装置及び警告表示方法
JPWO2016113983A1 (ja) 画像処理装置、画像処理方法、プログラム及びシステム
JP2014006243A (ja) 異常診断装置、異常診断方法、撮像装置、移動体制御システム及び移動体
CN110199318B (zh) 驾驶员状态推定装置以及驾驶员状态推定方法
JP2010113506A (ja) 乗員位置検出装置、乗員位置検出方法及び乗員位置検出プログラム
JP2010211705A (ja) 乗員姿勢推定装置
KR20120074820A (ko) 얼굴 인식 기능을 이용한 차량 제어 시스템
JP2021527980A (ja) 高フレームレート画像前処理システム及び方法
JP6737213B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP6708152B2 (ja) 運転者状態推定装置、及び運転者状態推定方法
JP2013257637A (ja) 人検出装置
JP2008183933A (ja) 赤外線暗視装置
KR101484170B1 (ko) Hud 영상 평가시스템 및 그 평가방법
KR20150067679A (ko) 차량용 제스처 인식 시스템 및 그 방법
JP2010008101A (ja) 顔面の覆体及び顔面部位特定方法
US20240205551A1 (en) Signal processing device and method, and program
JP6597467B2 (ja) 顔向き計測装置
JP2010108167A (ja) 顔認識装置
JP2017161405A (ja) 距離計測装置
JP2010205076A (ja) 眼検出装置、及び当該装置において用いられる方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17901112

Country of ref document: EP

Kind code of ref document: A1

122 Ep: pct application non-entry in european phase

Ref document number: 17901112

Country of ref document: EP

Kind code of ref document: A1