[go: up one dir, main page]

WO2014087607A1 - 相互認識通知システム、および相互認識通知装置 - Google Patents

相互認識通知システム、および相互認識通知装置 Download PDF

Info

Publication number
WO2014087607A1
WO2014087607A1 PCT/JP2013/006960 JP2013006960W WO2014087607A1 WO 2014087607 A1 WO2014087607 A1 WO 2014087607A1 JP 2013006960 W JP2013006960 W JP 2013006960W WO 2014087607 A1 WO2014087607 A1 WO 2014087607A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
driver
unit
mutual recognition
notification
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/006960
Other languages
English (en)
French (fr)
Inventor
敏裕 山方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to DE112013005834.0T priority Critical patent/DE112013005834B4/de
Publication of WO2014087607A1 publication Critical patent/WO2014087607A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/161Decentralised systems, e.g. inter-vehicle communication
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q1/00Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor
    • B60Q1/26Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic
    • B60Q1/50Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking
    • B60Q1/547Arrangement of optical signalling or lighting devices, the mounting or supporting thereof or circuits therefor the devices being primarily intended to indicate the vehicle, or parts thereof, or to give signals, to other traffic for indicating other intentions or conditions, e.g. request for waiting or overtaking for issuing requests to other traffic participants; for confirming to other traffic participants they can proceed, e.g. they can overtake
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60QARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B60Q9/008Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling for anti-collision purposes
    • GPHYSICS
    • G08SIGNALLING
    • G08GTRAFFIC CONTROL SYSTEMS
    • G08G1/00Traffic control systems for road vehicles
    • G08G1/16Anti-collision systems
    • G08G1/167Driving aids for lane monitoring, lane changing, e.g. blind spot detection

Definitions

  • the present disclosure relates to an apparatus that detects an obstacle to the host vehicle and notifies the driver.
  • Patent Document 1 a light emitting device of the own vehicle is attached at a position that can be visually recognized by both the driver of the own vehicle and the driver of the opponent vehicle, and when the opponent vehicle is detected, the light emitting device is caused to emit light. This alerts the driver of the host vehicle and the driver of the other vehicle.
  • the present disclosure has been made in view of the above circumstances, and the purpose of the present disclosure is mutual recognition that allows the driver of the own vehicle to recognize that the driver of the opponent vehicle recognizes the own vehicle.
  • the mutual recognition notification is provided for each of the first and second vehicles, and includes a mutual recognition notification device for notifying that the driver of each vehicle has recognized the mutual existence.
  • a mutual recognition notification system comprising a first mutual recognition notification device mounted on a first vehicle and a second mutual recognition notification device mounted on the second vehicle is provided.
  • the first mutual recognition notification device mounted on the first vehicle includes a vehicle detection unit that detects a second vehicle existing in a blind spot that is not visible to a first driver who drives the first vehicle; A vehicle notification unit for notifying the first driver that the second vehicle is detected by the vehicle detection unit; and the first driver based on the notification from the vehicle notification unit.
  • the second mutual recognition notification device mounted on the second vehicle indicates that the second driver recognizes the light emission when the second driver recognizes the light emission of the light emitting device.
  • a response unit that outputs a response signal to the first vehicle to the first vehicle.
  • the first mutual recognition notifying device further includes a response signal detecting unit that detects the response signal, and the second driver detects the response signal when the response signal is detected by the response signal detecting unit.
  • a response reception notification unit that notifies the first driver that the vehicle is recognized.
  • the mutual recognition notification device may have both functions of the first and second mutual recognition notification devices used in the mutual recognition notification system.
  • the driver of the host vehicle can recognize that the driver of the partner vehicle recognizes the host vehicle.
  • a mutual recognition notification device mounted on the host vehicle, wherein the other vehicle is detected by the vehicle detection unit that detects the other vehicle existing in the blind spot of the host vehicle, and the vehicle detection unit.
  • the vehicle notification unit detects that there is another vehicle in the blind spot of the host vehicle, and the driver of the host vehicle recognizes the other vehicle based on the notification of the vehicle notification unit.
  • a first input unit operated by a driver of the own vehicle a light emitting device that emits light to a blind spot of the own vehicle when the first input unit is operated, and light emitted from the light emitting device Is a response signal indicating that the driver of the other vehicle has recognized, and a response signal detecting unit for detecting a response signal notified from the other vehicle, and when the response signal is detected by the response signal detecting unit,
  • the driver of the vehicle knows that the driver of the vehicle is aware of the vehicle.
  • Mutual recognition notification device is provided comprising, a response reception notification unit that knowledge.
  • Such a mutual recognition notification device may be provided as a mutual recognition notification device constituting the above-described mutual recognition notification system.
  • FIG. 1 is a block diagram illustrating a configuration of a mutual recognition notification apparatus according to an embodiment.
  • FIG. 2 is a schematic diagram around the driver's seat of a vehicle equipped with a mutual recognition notification device.
  • FIG. 3 is a front view of a vehicle equipped with a mutual recognition notification device.
  • FIG. 4 is a conceptual diagram for explaining a blind spot monitored by the mutual recognition notification device.
  • FIG. 5 is a conceptual diagram for explaining the flow of processing of the mutual recognition notification system.
  • FIG. 6 is a flowchart for explaining the flow of processing performed by the mutual recognition notifying device mounted on the host vehicle.
  • FIG. 7 is a flowchart for explaining the flow of the obstacle detection process.
  • FIG. 8 is a flowchart for explaining the flow of the notification control process.
  • FIG. 9 is a flowchart for explaining the flow of the response control process.
  • FIG. 10 is a flowchart for explaining the flow of the response recognition process.
  • FIG. 11 is a schematic diagram for explaining the positional relationship between the vehicle A and the vehicle B.
  • the mutual recognition notification device 100 included in the mutual recognition notification system includes an image processing related unit 10, a notification processing related unit 20, and a storage unit 15.
  • the image processing related unit 10, the notification processing related unit 20, and the storage unit 15 are respectively connected by an in-vehicle LAN that conforms to a communication protocol such as CAN (Controller Area Network).
  • CAN Controller Area Network
  • the storage unit 15 a light emission pattern of notification light emission and response light emission, which will be described later, is registered.
  • the storage unit 15 corresponds to an example of a first storage unit and a second storage unit.
  • the image processing related unit 10 includes an image processing device 11, a face imaging camera 12, a blind spot monitoring camera 13, and a front camera 14. Is included.
  • the image processing apparatus 11, the face imaging camera 12, the blind spot monitoring camera 13, and the front camera 14 are connected to each other via a known wired or wireless network, and various image data captured by the cameras 12 to 14 are sequentially obtained. Input to the image processing apparatus 11.
  • the notification processing related unit 20 includes a mutual recognition notification ECU 21, a wheel speed sensor 22, a door mirror position sensor 23, an input device 24, a light emitting device 25, a door mirror motor 26, a headlight 27, a display device 28, and an audio output device 29. Contains.
  • the mutual recognition notification ECU 21, the wheel speed sensor 22, the door mirror position sensor 23, the input device 24, the light emitting device 25, the door mirror motor 26, the headlight 27, the display device 28, and the audio output device 29 are each known by wire or wireless. Connected via network.
  • the face imaging camera 12 is installed in a vehicle interior with the imaging surface directed toward the driver U, sequentially captures a range including the driver U's face (for example, every 100 msec), and the captured image Are sequentially output to the image processing apparatus 11.
  • the attachment position of the face imaging camera 12 shall be attached to a rear-view mirror part in this embodiment, you may attach it on a steering column cover.
  • the face imaging camera 12 is an infrared camera that can capture an image even in an environment with little visible light by detecting infrared rays.
  • the face imaging camera 12 may be an optical camera or the like that senses visible light in addition to the infrared camera.
  • the blind spot monitoring camera 13 is attached to each of the door mirrors 31 (31L, 31R) provided on the left and right sides of the host vehicle, and the blind spots existing obliquely rearward from the side of the host vehicle are sequentially ( Take a picture (for example, every 100 msec).
  • F ⁇ b> 1 indicates an area that can be visually recognized through the front window 32 when the face and line of sight of the driver U are in the vehicle traveling direction.
  • R1 and L1 indicate regions that the driver U can visually recognize through the side windows of the driver seat and the passenger seat, respectively, in a state where the driver U faces in the traveling direction.
  • R2 is a range that is visible to the driver U through the right door mirror 31R
  • L2 is the driver U through the left door mirror 31L. This is a visible area.
  • B1 has shown the area
  • the region (F1, R1, L1, R2, L2) that can be visually recognized by the driver varies depending on the driving posture and the physique of the driver U, but here, assuming a general driving posture
  • the blind spot photographed by the blind spot monitoring camera 13 here is sandwiched between R1 and R2 and is located diagonally right rearward from the right side of the host vehicle, and sandwiched between L1 and L2, and left from the left side of the host vehicle. It is assumed that LX is located obliquely rearward. That is, if the blind spot monitoring camera 13 attached to the right door mirror 31R is the blind spot monitoring camera 13R, the blind spot monitoring camera 13R is installed so as to include the blind spot RX in the imaging range. Further, if the blind spot monitoring camera 13 attached to the left door mirror 31L is a blind spot monitoring camera 13L, the blind spot monitoring camera 13L is installed so as to include the blind spot LX obliquely rearward to the left of the vehicle in the imaging range. Although the blind areas (RX, LX) change depending on the position of the door mirror, the shooting range of the blind spot monitoring camera 13 includes the changeable area.
  • the blind spot monitoring camera 13 does not take an image. Further, the blind spot due to the front pillar is not a target of the present embodiment between R1 and F1 and between L1 and F1. However, as another embodiment, a configuration in which a blind spot monitoring camera 13 that monitors the blind spots behind the host vehicle and obliquely ahead of the host vehicle may be additionally provided.
  • the blind spot monitoring camera 13 provided in the mutual recognition notification device 100 of the present embodiment is an optical camera, but may be an infrared camera. When an infrared camera is used, a response signal described later is assumed to be infrared.
  • the light emitting device 25 is visually recognized by the driver F of the other vehicle (the partner vehicle) and the driver U of the host vehicle that run on the side of the host vehicle or diagonally behind the host vehicle. It is attached where possible.
  • the light emitting device 25 includes one or a plurality of light emitting elements 25a (for example, light emitting diodes), and causes these light emitting elements 25a to emit light based on instructions from the mutual recognition notification ECU 21.
  • a light emitting lamp may be used in addition to the light emitting diode, and the light emitting element 25a may emit a plurality of different colors.
  • the light emitting device 25 emits light with a predetermined light emission pattern (a combination of blinking, color, and the like), so that the driver U of the own vehicle recognizes the other vehicle in the blind spot of the own vehicle. Notify that The light emission at this time is referred to as notification light emission. In addition, when notifying the driver of the host vehicle that the opponent vehicle is present in the blind spot of the host vehicle, light is emitted with a light emission pattern different from the notification light emission. The light emission at this time is referred to as warning light emission.
  • the light emitting device 25 attached to the right side door mirror 31R is referred to as a light emitting device 25R
  • the light emitting device 25 attached to the left side door mirror 31L is referred to as a light emitting device 25L.
  • the light emitting element 25a is disposed so as to surround the blind spot monitoring camera 13, and the light emitting device 25 and the blind spot monitoring camera 13 are integrated.
  • the present invention is not limited to this.
  • the blind spot monitoring camera 13 and the light emitting device 25 may be disposed separately.
  • the light emitting device 25 only needs to be attached at a position where each of the driver U of the host vehicle and the driver F of the partner vehicle described above can be visually recognized.
  • the light-emitting device 25 visually recognized by the driver U of the host vehicle and the light-emitting device 25 visually recognized by the driver F of the opponent vehicle are not the same light-emitting device 25 but are different from each other. It is good also as a structure provided with the apparatus 25.
  • the light emitting device 25 visually recognized by the driver U may be provided around the meter or may be displayed on the display device 28.
  • the light emitting device 25 visually recognized by the driver F of the partner vehicle is not limited to the door mirror, and may be any position that is visible from the driver of the partner vehicle in the host vehicle.
  • the front camera 14 is an optical camera that is used as a front imaging unit (front imaging means) that captures the front of the host vehicle, and sequentially (for example, every 100 msec) images of roads in front of the host vehicle and other vehicles existing on the road.
  • the front camera 14 may be arrange
  • the image processing apparatus 11 includes a processor that performs various types of arithmetic processing, a flash memory that stores programs used for the arithmetic processing, and a RAM that functions as a calculation work area.
  • the image processing apparatus 11 is connected to the blind spot monitoring camera 13, the face imaging camera 12, and the front camera 14, and has an interface for sequentially acquiring image data captured by each of the cameras 12-14. ing.
  • the line-of-sight direction detection unit 11a which is one of the functions of the image processing apparatus 11, sequentially acquires image data captured by the face imaging camera 12, and from the image data, a face region and An eye area and a black eye part in the face area are detected. Since the face imaging camera 12 of the present embodiment is fixedly installed on the host vehicle and the imaging direction is also fixed, the face of the driver U is determined according to the position and size of the face area in the image data. It is possible to calculate a position that is assumed to be located.
  • the gaze direction detection unit 11a calculates the face direction and gaze direction of the driver U from the size of the face area, the position of the eye area in the face area, and the position of the black eye.
  • the vehicle detection unit 11b which is one of the functions of the image processing apparatus 11, sequentially acquires image data captured by the blind spot monitoring camera 13, and makes known obstacles such as automobiles, motorcycles, bicycles, and people from the image data. Detection is performed using a pattern matching method. Data on the shape pattern of an automobile or the like used for the pattern matching method may be stored in, for example, a flash memory of the image processing apparatus 11.
  • the vehicle detection unit 11b corresponds to an example of a vehicle detection unit (vehicle detection unit).
  • the light emission detection unit 11c which is one of the functions of the image processing apparatus 11, sequentially acquires image data taken by the blind spot monitoring camera 13 and the front camera 14, extracts a light source from the image data, and is mounted on another vehicle.
  • the light emission pattern by the mutual recognition notifying device 100 is detected.
  • a portion having brightness (luminance) equal to or higher than a predetermined threshold value from the image data may be used as the light source.
  • the position of the detected light source is tracked by image processing using a Kalman filter or the like, and the light emission pattern of the light source is detected.
  • the light emission detection unit 11c checks whether the detected light emission pattern of the light source matches the light emission pattern stored in the storage unit 15.
  • the light emission detection unit 11c If the light emission pattern matches, the light emission detection unit 11c notifies the mutual recognition notification ECU 21 of the comparison result.
  • a light emission detection unit 11c that detects response light emission described later based on image data captured by the blind spot monitoring camera 13 corresponds to an example of a response signal detection unit (response signal detection means).
  • the light emission detection unit 11c that detects notification light emission based on image data captured by the front camera 14 corresponds to an example of a light emission detection unit (light emission detection unit).
  • the processing performed by the image processing apparatus 11 is not limited to the line-of-sight direction detection unit 11a, the vehicle detection unit 11b, and the light emission detection unit 11c described above, and performs other processing related to image processing.
  • Information data including detection results from the detection units 11a to 11c is sequentially output to the mutual recognition notification ECU 21.
  • the wheel speed sensor 22 is a sensor for detecting the speed of the host vehicle from the rotational speed of each wheel. The value detected by the wheel speed sensor 22 is output to the mutual recognition notification ECU 21.
  • the door mirror position sensor 23 is a sensor for detecting the positions of the left and right door mirrors provided in the host vehicle. The value detected by the door mirror position sensor 23 is output to the mutual recognition notification ECU 21.
  • the input device 24 includes at least one switch (not shown) operated by the driver U for input.
  • the driver U can input to the mutual recognition notification ECU 21 that he / she has recognized the opponent vehicle existing in the blind spot by pressing a switch provided in the input device 24. That is, when the driver U operates a switch provided in the input device 24, a partner vehicle recognition signal indicating that the driver U recognizes the partner vehicle is output to the mutual recognition notification ECU 21.
  • the mutual recognition notification ECU 21 determines that the driver U of the own vehicle recognizes the opponent vehicle when the opponent vehicle recognition signal is input.
  • the series of input operations described above is referred to as a recognition input operation.
  • the input device 24 may further include a switch for the driver U to instruct the mutual recognition notification ECU 21 to move the door mirror to a blind spot capturing position described later via the door mirror motor 26.
  • An input operation for moving the door mirror to the blind spot capturing position is referred to as a door mirror adjustment input operation.
  • the input device 24 may further include a switch for inputting to the mutual recognition notification ECU 21 that the driver U of the own vehicle has recognized the notification light emission performed by another vehicle (the partner vehicle). . That is, when the driver U operates this switch, a notification recognition signal indicating that the driver U has recognized the notification light emission from the opponent vehicle is output to the mutual recognition notification ECU 21.
  • the mutual recognition notification ECU 21 that has received the notification recognition signal determines that the driver U of the host vehicle recognizes the notification light emission from the partner vehicle. This series of input operations is referred to as a response input operation.
  • the input device 24 is preferably disposed at a position where it can be easily operated by the driver U during driving.
  • the input device 24 is a steering switch provided on the steering wheel.
  • the input device 24 corresponds to an example of a first input unit (first input unit), a second input unit (second input unit), and a third input unit (third input unit).
  • the input device 24 may not be configured to physically include a switch as described above.
  • a configuration may be adopted in which an option corresponding to the above-described switch is controlled to be displayed on the display device 28, and the driver U performs an input operation by touching the option on the display device 28.
  • the input device 24 is a known voice recognition device, and various instructions may be input by the voice of the driver U.
  • the mutual recognition notification ECU 21 is mainly composed of a microcomputer, and each includes a well-known CPU, a memory such as a ROM, a RAM, and an EEPROM, an I / O, and a bus connecting them.
  • the mutual recognition notification ECU 21 acquires various information data from the wheel speed sensor 22, the door mirror position sensor 23, the input device 24, and the image processing device 11. Then, various control programs stored in the ROM are executed based on the various information data, and the mutual recognition notification is performed between the driver U of the own vehicle and the driver F of the opponent vehicle existing in the blind spot of the own vehicle.
  • Various processes such as a process (hereinafter referred to as a mutual recognition notification related process) are executed.
  • the door mirror motor 26 moves (that is, rotates) the position (including the angle) of the door mirror 31 provided outside the vehicle.
  • the door mirror motor 26 moves the position of the door mirror from a predetermined rear view position to a blind spot supplementary position calculated by the mutual recognition notice ECU 21 according to a control signal (drive signal) from the mutual recognition notice ECU 21 and from the blind spot supplementary position. Rotate to a predetermined rear view position.
  • the predetermined rear view position is a position of the door mirror for visually checking the rear when the vehicle is traveling, and indicates the position of the door mirror according to the preference of the driver U.
  • the rear visual recognition position the door mirror position set by the driver at the start of traveling is stored as the rear visual recognition position.
  • the driver U has previously registered a favorite driving environment such as a door mirror position and a seat position in the storage unit 15 including a nonvolatile memory such as an EEPROM, the registered door mirror position is used. Also good.
  • the blind spot capturing position is a door mirror position for the driver to visually recognize the partner vehicle existing in the blind spot through the door mirror 31, and the relative position of the partner vehicle detected by the blind spot monitoring camera 13. It is determined from the position of the face of the driver U and the position of the door mirror 31R.
  • the amount of rotation of the door mirror motor 26 for rotating from a predetermined rear view position to the blind spot supplementary position is set according to the blind spot supplementary position.
  • the mutual recognition notification ECU 21 calculates a value indicating the amount of rotation from a predetermined backward viewing position and blind spot capturing position by a program stored in advance in a memory (not shown), and rotates the door mirror motor 26.
  • the headlight 27 irradiates visible light ahead of the host vehicle based on an operation from the driver U or a control from the mutual recognition notification ECU 21.
  • the display device 28 displays text and an image on a display unit (not shown) according to the instruction of the mutual recognition notification ECU 21.
  • the display device 28 is capable of full-color display and can be configured using a liquid crystal display, an organic EL display, or the like.
  • a configuration using a display provided in the in-vehicle navigation device may be used, or a configuration using a display provided in an instrument panel or the like separately from the display of the in-vehicle navigation device. Good.
  • the voice output device 29 is composed of a speaker or the like, and outputs a voice according to instructions of the mutual recognition notification ECU 21.
  • voice output apparatus 29 it is set as the structure which utilizes the audio
  • the own vehicle and the opponent vehicle both have the mutual recognition notification device 100 having the same function, and the own vehicle can correspond to the first vehicle and the opponent vehicle can correspond to the second vehicle, respectively. Further, the mutual recognition notification device 100 mounted on the host vehicle functions as a first mutual recognition notification device, and the mutual recognition notification device 100 mounted on the counterpart vehicle functions as a second mutual recognition notification device. Therefore, a system including the mutual recognition notification device 100 mounted on each of the own vehicle and the partner vehicle corresponds to an example of a mutual recognition notification system.
  • the obstacle detection process for detecting whether there is an obstacle in the blind spot of the host vehicle is sequentially performed. Then, when a vehicle (partner vehicle) exists in the blind spot of the host vehicle (step S50) and this partner vehicle is detected by the obstacle detection process, the host vehicle starts a notification control process (step S200).
  • the mutual recognition notification device 100 mounted on the host vehicle determines whether the driver U of the host vehicle recognizes the opponent vehicle. Then, when the input device 24 has an input operation for instructing that the driver U of the own vehicle recognizes the opponent vehicle and that the driver U of the own vehicle recognizes the other vehicle.
  • the light emitting device 25 emits notification light.
  • the response control process is started (step S300).
  • the switch of the input device 24 is pressed.
  • the partner vehicle mutual recognition notification device causes the headlight 27 to emit light (response light emission) in a predetermined pattern.
  • the self-vehicle mutual recognition notifying device 100 detects the response light emission from the opponent vehicle by the blind spot monitoring camera 13 in the response recognition process (step S400)
  • the driver recognizes that the opponent vehicle recognizes the notification light emission of the own vehicle. Notify U.
  • Step S100 of this flow is performed sequentially (for example, every 100 ms) during traveling, for example.
  • an obstacle detection process is performed, and the process proceeds to step S190.
  • This obstacle detection process will be described separately using a flowchart shown in FIG.
  • the obstacle detection process S100 corresponds to an example of an obstacle detection unit (obstacle detection means).
  • step S110 the image processing apparatus 11 performs a blind spot monitoring process and proceeds to step S120.
  • image data taken by the blind spot monitoring camera 13 is sequentially acquired, and obstacles such as automobiles, motorcycles, bicycles, and people are detected from the image data using a known pattern matching method.
  • Step S120 becomes Yes and the process proceeds to Step S130. If no blind spot matches any obstacle, step S120 is NO and the process returns to step S110.
  • step S130 the side where the obstacle exists is specified from the acquisition source of the image data that detected the obstacle.
  • an obstacle is detected in the image data acquired from the blind spot monitoring camera 13R, an obstacle is present on the right side of the host vehicle.
  • an obstacle is detected in the image data acquired from the blind spot monitoring camera 13L, the host vehicle is detected. Suppose that there is an obstacle on the left side.
  • step S140 After identifying the side on which the obstacle exists in step S130, the shape of the obstacle is compared with the shape pattern of the person stored in the flash memory of the image processing apparatus 11 to determine whether the obstacle is a person. Determination is made (step S140). If the shape of the obstacle matches the human shape pattern, step S140 becomes Yes and the process proceeds to step S185. If the shape of the obstacle does not match the human shape pattern, step S140 is No and the process proceeds to step S150.
  • step S150 the shape of the obstacle is compared with the shape pattern of the vehicle to determine whether the obstacle is a vehicle.
  • a vehicle shape pattern a vehicle shape corresponding to each type, such as a large vehicle, a small vehicle, a transportation vehicle, a sports car, a motorcycle, or a bicycle, may be registered in the flash memory of the image processing apparatus 11. If the shape of the obstacle matches the shape pattern of any vehicle, step S150 is Yes and the process proceeds to step S160. If the shape of the obstacle does not match the shape pattern of any vehicle, step S150 is No and the process proceeds to step S185.
  • step S160 a relative speed calculation process is performed, and the process proceeds to step S170.
  • the relative speed calculation process in step S160 first, the relative position of the obstacle with respect to the own vehicle is obtained from the position and size of the obstacle in the image data acquired by the blind spot monitoring camera 13. Then, the obstacle is tracked by a known image processing technique between successive frames, and the relative speed and moving direction of the obstacle with respect to the own vehicle are calculated from the displacement amount of the position and size of the obstacle. If it is determined that the obstacle is approaching, step S170 is Yes and the process proceeds to step S180. If the obstacle is not approaching, step S170 is No and the process returns to step S110.
  • step S180 the obstacle detected by the above processing is determined as an obstacle to be notified (an opponent vehicle). Then, the fact that the obstacle to be notified is detected is held as an internal state, and the obstacle detection process is exited (return to step S190 in FIG. 6).
  • Step S185 is a process performed when it is determined in steps S140 and S150 that the detected obstacle is not a vehicle.
  • a non-vehicle handling process is performed, and it is retained as an internal state that an obstacle to be notified is not detected, and the obstacle detection process is exited.
  • the non-vehicle handling process may be appropriately designed to perform a process according to the type of the detected obstacle, and is not mentioned because it is not a target of the present embodiment.
  • step S190 of FIG. 6 it is determined whether or not an obstacle to be notified is detected by the obstacle detection process of step S100. If an obstacle to be notified is detected, step S190 is Yes and the process proceeds to step S200. If no obstacle to be notified is detected, step S190 is No and the process returns to step S100.
  • step S200 a notification control process is performed, and the process proceeds to step S290.
  • This notification control process will be described separately using a flowchart shown in FIG.
  • step S 8 is started when the process proceeds to step S200 in FIG. 6, and the process proceeds to step S205.
  • the operation flag W is a mere processing flag for controlling the operation of the mutual recognition notifying device 100 in the present embodiment when the driver U presses the input device 24.
  • step S210 the mutual recognition notification ECU 21 outputs an instruction signal for causing the light emitting device 25 to emit light, and causes the light emitting device 25 to emit light for a predetermined time (warning light emitting time T1).
  • This warning light emission time may be designed as appropriate, for example, 2 seconds.
  • the display device 28 also displays a warning to notify the driver U that the opponent vehicle is present in the blind spot, so that the driver's line of sight can be displayed on the door mirror or the opponent vehicle on the side where the opponent vehicle exists. Guide in the direction.
  • This step S210 corresponds to an example of a vehicle notification unit (vehicle notification means).
  • step S215 the line-of-sight detection process is performed, and the process proceeds to step S220.
  • the line-of-sight detection process in step S215 the line-of-sight direction of the driver U is calculated from image data captured by the face imaging camera 12 by a known image processing technique.
  • This line-of-sight detection process is carried out continuously for a predetermined time (line-of-sight detection time T2), starting from the time when the warning light emission of the light emitting device 25 starts.
  • the line-of-sight detection time T2 is, for example, 2 seconds.
  • This step S215 corresponds to an example of a first gaze direction detection unit (first gaze direction detection means).
  • step S220 it is determined whether or not the driver U has directly visually recognized the direction in which the opponent vehicle exists (the opponent vehicle direction) within the line-of-sight detection time T2. It is determined as follows whether or not it has been directly visually recognized. First, as a premise, the driver U cannot visually recognize the opponent vehicle existing in the blind spot through the door mirror. In order for the driver U to directly view the opponent vehicle, it is necessary to turn around not only the line of sight but also the face. Therefore, when the face turns around in the direction of the opponent vehicle, it is determined that the opponent vehicle direction is directly visually recognized. Whether the face of the opponent vehicle is turned around with the face may be detected by a known image processing technique based on the movement of feature points such as a face area and eyes in the image data acquired by the face imaging camera 12.
  • step S220 If the movement of the driver U turning toward the opponent vehicle is detected from the image data captured by the face imaging camera 12 within the line-of-sight detection time T2, step S220 is Yes at that point, and the process proceeds to step S225. On the other hand, if the driver U does not detect an action of turning in the direction of the opponent vehicle within the line-of-sight detection time T2, step S220 is No and the process proceeds to step S235. In addition, this step S220 corresponds to an example of a direct visual recognition determination unit (direct visual recognition determination unit).
  • the driver U of the host vehicle operates the switch within the input time T3 when he / she wants to notify the driver U of the partner vehicle that he / she recognizes the partner vehicle existing in the blind spot.
  • T2 and T3 are individually set, a time limit (for example, 2 seconds) may be provided in which the warning light emission in step S210 to S230 become Yes.
  • step S230 is Yes and the process proceeds to step S265. If the input device 24 is not operated even after the input time T3 has elapsed, step S230 is No and the process proceeds to step S270.
  • step S235 it is determined whether or not the driver U has seen the door mirror on the side where the opponent vehicle is present (for the sake of explanation, it is assumed to be the right door mirror 31R) within the above-described line-of-sight detection time T2. Whether or not the driver U has seen the door mirror 31R may be determined based on the detection result of the line-of-sight direction detection unit 11a. That is, if the line-of-sight direction of the driver U detected by the line-of-sight direction detection unit 11a matches the direction of the door mirror 31R (the direction from the position of the face of the driver U to the position where the door mirror is attached), the driver U Suppose you look at the door mirror 31R.
  • Step S235 is Yes and the process proceeds to Step S240. If the driver U does not see the door mirror 31R even after the sight line detection time T2 has elapsed, step S235 is No and the process proceeds to step S270.
  • the position of the door mirror 31R is rotated from the rear viewing position set at the normal time to the blind spot capturing position.
  • the blind spot capturing position is determined from the relative position of the opponent vehicle detected by the blind spot monitoring camera 13, the face position of the driver U, and the position of the door mirror 31R.
  • the angle formed by the position of the face of the driver U and the opponent vehicle is obtained with the center position of the mirror surface portion of the door mirror 31R as the apex.
  • the position of the opponent vehicle may be the center position of the vehicle shape detected by the vehicle detection unit 11b.
  • the position of the door mirror 31R is determined so that the normal passing through the center of the mirror surface portion of the door mirror 31R becomes a bisector of the angle formed by the driver U's face position and the opponent vehicle.
  • the door mirror 31R, the position of the driver U's face, and the position of the opponent vehicle in this processing may be handled on a coordinate system parallel to the road surface.
  • the rotation amount of the door mirror motor 26 for rotating the current door mirror 31R from the rear viewing position to the blind spot capturing position is calculated, and the door mirror motor 26 is rotated by the rotation amount. It is assumed that the door mirror 31R automatically returns from the blind spot capturing position to the backward visible position when a predetermined time (for example, 4 seconds) elapses after moving from the backward visible position to the blind spot capturing position.
  • step S255 it is determined whether or not the driver U has seen the door mirror 31R within the line-of-sight detection time T2 from the starting time, with the time when the door mirror 31R has reached the blind spot capturing position as the starting time. If the driver U sees the door mirror 31R within the line-of-sight detection time T2, step S255 is Yes and the process proceeds to step S260. If the driver U does not see the door mirror 31R even after the line-of-sight detection time T2 has elapsed, step S255 is No and the process proceeds to step S270. Note that step S255 corresponds to an example of an indirect visual recognition determination unit (indirect visual determination means).
  • step S260 it is determined whether or not the input device 24 has been operated by the driver U within the input time T3 from the starting time, using the time when the door mirror 31R is viewed in step S255 as the starting time.
  • step S260 becomes Yes at that time, and the process proceeds to step S265. If the input device 24 is not operated even after the input time T3 has elapsed, step S260 is No and the process proceeds to step S270.
  • step S265 a notification light emission process for the opponent vehicle is performed, and the notification control process is exited.
  • the mutual recognition notification ECU 21 first outputs a signal instructing the light emitting device 25 to emit light (notification light emission) with a predetermined light emission pattern.
  • the light emitting device 25 emits light with a predetermined light emission pattern in accordance with a signal from the mutual recognition notification ECU 21.
  • the predetermined light emission pattern is a light emission pattern that is difficult to observe normally on the road so that it can be distinguished from a blinking light source such as a lamp of another vehicle (for example, blinking is repeated in a short time). That's fine.
  • the mutual recognition notification ECU 21 holds that the notification light emission has been performed as an internal state, and returns to step S290 in FIG.
  • step S270 the notification control process is terminated, and the mutual recognition notification ECU 21 retains that the notification light emission has not been performed as an internal state, and returns to step S290 in FIG.
  • step S290 of FIG. 6 when the notification light emission is performed in the notification control process of step S200, the determination becomes Yes and the process proceeds to step S400. If the notification light emission is not performed, step S290 is No and the process returns to step S100. In step S400, a response recognition process is performed.
  • the response control process (FIG. 9) in an other party vehicle is implemented between step S290 and step S400 in the mutual recognition notification related process of the own vehicle. Therefore, before describing the response recognition processing in step S400, the response control processing in the opponent vehicle will be described using FIG.
  • the relationship between the host vehicle and the partner vehicle is relatively determined by the travel position of each vehicle, and one vehicle can be the host vehicle in some cases, and can be the partner vehicle in other cases. Is. That is, the response control processing described below is control that can be performed in the host vehicle.
  • step S310 the light emission detection unit 11c performs light emission detection processing, and the process proceeds to step S320.
  • notification light emission by the mutual recognition notification device 100 mounted on another vehicle is detected from image data captured by the front camera 14. That is, the light source detected in the image data is tracked over a plurality of frames by a known image processing technique, and the light emission pattern of the light source is detected.
  • step S320 If they match, step S320 is Yes and the process proceeds to step S330. If no light emission matching the notification light emission pattern stored in the storage unit 15 is detected from the image data acquired from the front camera 14, step S320 returns No and returns to step S305. That is, step S305 to step S320 are repeated until light emission that matches the notification light emission pattern stored in the storage unit 15 is detected.
  • step S330 a light emission direction calculation process is performed, and the process proceeds to step S340.
  • the direction of the light source is calculated from the position in the image data of the light source that has emitted the notification light, the shooting direction of the front camera 14, and the mounting position of the front camera 14.
  • This step S330 corresponds to an example of a light emission direction calculation unit (light emission direction calculation means).
  • step S340 the line-of-sight detection process is performed, and the process proceeds to step S350.
  • the line-of-sight detection process as described above, the line-of-sight direction of the driver F is calculated from the image data captured by the face imaging camera 12 by a known image processing technique. Note that this line-of-sight detection process is continuously performed during the line-of-sight detection time T2, with the point in time when the light source matching the light emission pattern stored in the storage unit 15 is detected in the light emission detection process.
  • This step S340 corresponds to an example of a second gaze direction detection unit (second gaze direction detection means).
  • step S350 is Yes at that time, and the process proceeds to step S355. If the light emission direction does not coincide with the line-of-sight direction even after the line-of-sight detection time T2 has elapsed, step S350 is No and the process returns to step S305.
  • Step S350 corresponds to an example of a light emission visual recognition determination unit (light emission visual recognition determination unit).
  • step S360 it is determined whether or not the input device 24 is operated by the driver F within the input time T3 from the starting time, with the time when the direction of the light source emitting the notification light coincides with the line-of-sight direction of the driver F.
  • Step S360 is Yes at that time, and the process proceeds to Step S370.
  • step S360 is No and the process returns to step S305.
  • step S370 a response signal output process is performed on the vehicle that has emitted the notification light (that is, the host vehicle), and the response control process ends.
  • the mutual recognition notification ECU 21 causes the headlight 27 to emit light (response light emission) with a predetermined light emission pattern.
  • the response light emission pattern is a light emission pattern that is hardly observed on the road as described in step S265, and is different from the notification light emission pattern.
  • a light source for response light emission other light sources such as a fog lamp (not shown) may be used instead of the headlight 27.
  • This step 370 corresponds to an example of a response unit (response means).
  • the above series of processing is referred to as response control processing.
  • step S400 in FIG. 6 will be described with reference to FIG.
  • the flowchart of FIG. 10 is started when the process proceeds to step S400 in FIG. 6, and the process proceeds to step S410.
  • step S410 a response signal detection process is performed by the light emission detector 11c, and the process proceeds to step S420.
  • response light emission from the opponent vehicle is detected from the image data captured by the blind spot monitoring camera 13. Whether or not it is the response light emission of the opponent vehicle is extracted from the image data as in the light emission detection process described in step S310, and the light emission pattern of this light source is the response light emission pattern stored in the storage unit 15 It may be determined depending on whether or not.
  • This response signal detection process is performed for a predetermined time (response detection time T4, for example, 4 seconds) from the start time, with the time when the notification light emission is performed as the start time.
  • the light emission detection part 11c which implements this step S410 corresponds to an example of a response signal detection part (response signal detection means).
  • step S420 is Yes and the process proceeds to step S430. If no light emission matching the light emission pattern stored in the storage unit 15 is detected even after the response detection time T4 has elapsed, step S420 is No, and the response recognition process is terminated with no response. .
  • step S430 it is held as an internal state that the opponent vehicle has emitted a response light, and the process proceeds to step S440.
  • step S440 the driver U of the host vehicle is notified that the driver F of the partner vehicle recognizes the notification light emission of the host vehicle.
  • a display indicating that mutual recognition is established may be output on the display device 28.
  • a mutual recognition establishment lamp (not shown) may be provided around a part of the rearview mirror (not shown) or around the meter, and the driver U of the host vehicle may be notified by lighting it.
  • step S440 corresponds to an example of a response reception notification unit (response reception notification unit).
  • the medium of the response signal output by the opponent vehicle is the light of the headlight, that is, visible light, so that not only the light emission detection unit 11c but also the driver U of the own vehicle outputs the response signal. It can be visually recognized, and smoother communication can be achieved.
  • FIG. 11 is the host vehicle, which is a notification-side vehicle that performs notification light emission and the like.
  • RX indicates a blind spot existing on the right side of the vehicle A
  • B is a responding vehicle (partner vehicle) that exists in the blind spot RX and that performs response light emission or the like with respect to notification light emission.
  • Both the vehicle A and the vehicle B are traveling forward in the direction of the arrow (upward) in the figure, and the traveling speed of the vehicle B is higher than the traveling speed of the vehicle A.
  • the driver of the vehicle A is the driver U, and the driver of the vehicle B is the driver F.
  • the mutual recognition notification device 100 mounted on the vehicle A is distinguished from 100A
  • the mutual recognition notification device 100 mounted on the vehicle B is distinguished from 100B.
  • these are the mutual recognition notification apparatus 100 having the same function.
  • obstacle detection processing S100 is sequentially performed. That is, the image data captured by the blind spot monitoring cameras 13 (13L, 13R) provided on the left and right door mirrors are sequentially input to the vehicle detection unit 11b of the image processing device 11 (S110).
  • the vehicle detection unit 11b detects an obstacle
  • the vehicle B is specified whether the detected obstacle exists on the left or right side of the host vehicle (S130).
  • the vehicle B is detected from the image data captured by the blind spot monitoring camera 13R provided in the right door mirror 31R. Therefore, the side on which the obstacle (that is, vehicle B) exists is the right side.
  • the vehicle detection unit 11c calculates a relative position and a relative speed of the vehicle B with respect to the vehicle A based on the image data captured by the blind spot monitoring camera 13R (S160). More specifically, the traveling speed of the vehicle B is greater than the speed of the vehicle A and travels diagonally right behind the vehicle A. For this reason, the size of the vehicle B gradually increases in the image data captured by the blind spot monitoring camera 13R. The relative speed is calculated from the amount of displacement of the size of the vehicle B between the frames at this time. And since vehicle B is approaching vehicle A, S170 becomes Yes and it determines with the obstacle which should notify an obstacle (S180).
  • the mutual recognition notification device 100A of the vehicle A starts the notification control process.
  • the driver U receives the light emission of the light emitting device 25 or a warning display on the display device, and turns directly to the right and visually recognizes it.
  • the line-of-sight direction detection unit 11a detects the operation of the driver U, and outputs information data indicating that the driver U has directly viewed the vehicle B to the mutual recognition notification ECU 21 (Yes in S220). Further, when the driver U turns around and visually recognizes the vehicle B, the driver U returns the line of sight to the front of the vehicle and operates the input device 24 provided on the handle.
  • the mutual recognition notification ECU 21 causes the light emitting device 25 to emit notification light (S265) because the input device 24 has been operated in a state where the information data indicating that the vehicle B is directly visually recognized has been acquired (S230 Yes).
  • the mutual recognition notification device 100A of the vehicle A performs notification light emission (S290, Yes), and starts the response recognition process (S400). That is, based on the image data sequentially acquired by the blind spot monitoring camera 13R, the response light emission from the vehicle B is waited while the response signal detection process is performed.
  • the light emission detection unit 11c of the mutual recognition notification device 100B of the vehicle B detects the notification light emission from the vehicle A based on the image data acquired by the front camera (S320: Yes), and calculates the light emission direction (S330). Then, the line-of-sight detection unit 11a starts the line-of-sight detection process of the driver F (S340).
  • the driver F visually recognizes the notification light emission from the vehicle A and operates the input device 24.
  • the mutual recognition notification ECU 21 causes the headlight 27 to emit light in response to the operation of the input device 24 (YES in S360) in a state where the light emission direction and the line-of-sight direction of the driver F match (S350 Yes). S370).
  • the light emission detection unit 11c of the mutual recognition notifying device 100A of the vehicle A detects the response light emission from the vehicle B (Yes in S420), and the internal state is that the response light emission that matches the response light emission pattern has been made by the vehicle B. Obtain (S430). Then, the mutual recognition notification ECU 21 displays a text indicating that mutual recognition is established on the display device 28, and informs the driver U of the host vehicle by lighting a mutual recognition establishment lamp (not shown) around the meter. (S440).
  • the input device 24 is operated. By doing so, the headlight 27 is caused to respond to the host vehicle in a predetermined light emission pattern. And the mutual recognition notification apparatus 100 of the vehicle A will notify the driver
  • the present embodiment if an obstacle is approaching, it is determined that the obstacle should be notified regardless of the distance, but the obstacle that should be notified only of the obstacle located within the predetermined distance L from the own vehicle It is good also as a structure to determine. That is, compared with the case where only the latest obstacle is warned to the driver U, if the driver U is warned to an obstacle that is still far from the host vehicle, the warning frequency increases, and instead the driver U May be distracting. As described above, by notifying only the approaching obstacle within the predetermined distance L range, information with higher importance for the driver U is warned.
  • the predetermined distance L may be a constant distance such as 15 meters.
  • a distance determined by multiplying a relative speed between the host vehicle and the opponent vehicle by a certain time for example, 2 seconds
  • the determination condition for determining whether or not to notify is a fixed distance
  • the time taken to reach the side of the host vehicle differs depending on whether the relative speed is relatively large or small.
  • the relative speed is large, the time given for the driver U to recognize the approaching partner vehicle or to execute the notification process is shortened, and there is no room. Therefore, by setting adaptively the condition for determining whether or not an obstacle should be notified to the driver U according to the relative speed between the host vehicle and the partner vehicle, a sufficient time for the driver U to recognize the obstacle is given. Can be provided.
  • the response signal medium is visible light (response light emission by a headlight), but is not limited thereto.
  • the response signal may be other media such as light other than visible light, radio waves, infrared rays, and ultrasonic waves. Moreover, you may combine these. That is, since the surroundings are bright during the day, the light from the headlight may not be easily detected. Therefore, in addition to the visible light of the headlight, the accuracy of detecting the response signal can be further increased regardless of the ambient brightness by using infrared rays or the like together.
  • the response signal detection unit that detects the response signal is a device that can detect the medium (such as an antenna or an infrared camera).
  • a plurality of types of signal patterns may be stored in the storage unit 15 as response signals (hereinafter, modified example 1).
  • the input device 24 may be provided with switches corresponding to the number of signal patterns.
  • the signal pattern corresponding to “I give up”, “Hurry up”, “Enter in the back”, “Enter in the front”, etc. is memorized. The driver selects and inputs from among them according to the situation. If the preceding vehicle (notifying vehicle) has turned the blinker and changes the hatched line, a response is emitted, such as “I will yield” or “I am in a hurry”.
  • the responding vehicle when it wants to change lanes, it emits a response light such as “enter back” or “enter front”. These signal patterns may be applied to notification light emission.
  • a re-response such as “I understand” from the notifying vehicle may be performed by the light emission of the light emitting device 25 in response to the response signal.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)
  • Rear-View Mirror Devices That Are Mounted On The Exterior Of The Vehicle (AREA)

Abstract

 相手車両の運転者が自車両を認識していることを、自車両の運転者が認識可能な相互認識通知システムおよび相互認識通知装置を提供する。自車両(第1の車両)の運転者Uが自車両の死角に存在する相手車両(第2の車両)を認識した場合には、自車両に備えられているスイッチ24を操作し、発光装置25を発光させる。そして、相手車両の運転者Fが自車両の発光を認識した場合には、相手車両に備えられているスイッチ24を操作し、自車両に対して応答信号を出力させる。そして自車両の相互認識通知装置100はこの応答信号を検出すると、自車両の運転者Uに応答があったことを通知する。

Description

相互認識通知システム、および相互認識通知装置 関連出願の相互参照
 本出願は、2012年12月6日に出願された日本国特許出願2012-267579号に基づくものであり、ここにその開示を参照により援用する。
 本開示は、自車両に対する障害物を検出して運転者に通知する装置に関する。
 従来、車両運転時に運転者にとって死角となる領域を監視し、死角に他の車両(以降、相手車両)を検出した場合には、自車両の運転者に相手車両の存在を通知する装置がある(例えば特許文献1)。特許文献1では、自車両の運転者と相手車両の運転者の両方から視認することができる位置に自車両の発光装置を取付け、相手車両を検出した場合には、その発光装置を発光させることで自車両の運転者および相手車両の運転者に注意を促している。
日本国公開特許公報2005-18235号
 しかしながら、本願発明者の検討によれば、特許文献1に記載の技術では、相手車両の運転者が自車両の発光を認識しているかどうか、すなわち、相手車両の運転者が自車両を認識しているかは、自車両の運転者にとって不明であるという問題があった。
 本開示は、以上の事情を鑑みて成されたものであり、その目的とするところは、相手車両の運転者が自車両を認識していることを、自車両の運転者が認識可能な相互認識通知システムおよび相互認識通知装置を提供することにある。
 本開示の第1の例によれば、第1、第2の車両でそれぞれ用いられ、各車両の運転者が相互の存在を認識したことを通知するための相互認識通知装置を備える相互認識通知システムであって、第1の車両に搭載される第1の相互認識通知装置と、前記第2の車両に搭載される第2の相互認識通知装置と、を備える相互認識通知システムが提供される。第1の車両に搭載される第1の相互認識通知装置は、前記第1の車両を運転する第1の運転者からは視認できない死角に存在する第2の車両を検出する車両検出部と、前記車両検出部で前記第2の車両を検出したことを前記第1の運転者に通知する車両通知部と、前記車両通知部の通知に基づいて前記第1の運転者が前記第2の車両を認識したことを入力するための第1の入力部と、前記第1の車両の、前記第2の車両を運転する第2の運転者から直接視認可能な位置に取り付けられてあって、かつ、前記第1の入力部に入力があった場合に発光する発光装置と、を備える。前記第2の車両に搭載される第2の相互認識通知装置は、前記発光装置の発光を前記第2の運転者が認識した場合に、前記第2の運転者が前記発光を認識したことを入力するための第2の入力部と、前記第2の入力部に入力があった場合に、前記第2の運転者が前記第1の車両を認識していることを前記第1の運転者に報知する応答信号を前記第1の車両に出力する応答部と、を備える。前記第1の相互認識通知装置は、さらに、前記応答信号を検出する応答信号検出部と、前記応答信号検出部で前記応答信号を検出した場合に、前記第2の運転者が前記第1の車両を認識していることを前記第1の運転者に通知する応答受信通知部と、を備える。
 また、相互認識通知装置は、上記相互認識通知システムにおいて用いられる第1、第2の相互認識通知装置の両方の機能を備えてもよい。
 このような構成では、相手車両(第2の車両)の運転者が自車両(第1の車両)の発光を認識している場合には、第2の入力部に入力操作をすることで自車両に対して応答信号を出力する。そして自車両の相互認識通知装置はこの応答信号を検出すると、自車両の運転者に応答があったことを通知する。
 したがって、自車両の発光に対して相手車両から応答信号が返ってきた場合には、相手車両の運転者が自車両を認識していることを自車両の運転者は認識することができる。
 本開示の第2の例によれば、自車両に搭載される相互認識通知装置であって、自車両の死角に存在する他車両を検出する車両検出部と、前記車両検出部により他車両が検出されると自車両の死角に他車両が存在する旨を自車両の運転者に通知する車両通知部と、前記車両通知部の通知に基づいて自車両の運転手が他車両を認識した場合に当該自車両の運転手により操作される第1の入力部と、前記第1の入力部が操作されると自車両の死角へ光を射出する発光装置と、前記発光装置から射出された光を他車両の運転者が認識した旨を表す応答信号であって当該他車両から報知される応答信号を検出する応答信号検出部と、前記応答信号検出部により前記応答信号が検出されると他車両の運転者は自車両を認識している旨を自車両の運転者に通知する応答受信通知部と、を備える相互認識通知装置が提供される。
 このような相互認識通知装置を、上述の相互認識通知システムを構成する相互認識通知装置として提供してもよい。
 本開示についての上記および他の目的、特徴や利点は、添付の図面を参照した下記の詳細な説明から、より明確になる。添付図面において
図1は、一実施形態における相互認識通知装置の構成を表すブロック図である。 図2は、相互認識通知装置を搭載している車両の運転席周りの模式図である。 図3は、相互認識通知装置を搭載している車両の正面図である。 図4は、相互認識通知装置が監視する死角を説明するための概念図である。 図5は、相互認識通知システムの処理の流れを説明するための概念図である。 図6は、自車両に搭載された相互認識通知装置が実施する処理の流れを説明するためのフローチャートである。 図7は、障害物検出処理の流れを説明するためのフローチャートである。 図8は、通知制御処理の流れを説明するためのフローチャートである。 図9は、応答制御処理の流れを説明するためのフローチャートである。 図10は、応答認識処理の流れを説明するためのフローチャートである。 図11は、車両Aと車両Bの位置関係を説明するための模式図である。
 以下、本開示の実施形態について、図面に基づいて説明する。図1に示すように、本実施形態における相互認識通知システムが備える相互認識通知装置100は、画像処理関連部10、通知処理関連部20、および記憶部15を含んでいる。ここで、画像処理関連部10、通知処理関連部20、および記憶部15は、例えばCAN(Controller Area Network)などの通信プロトコルに準拠した車内LANでそれぞれ接続されている。記憶部15は、後述する通知発光や応答発光の発光パターンが登録されている。記憶部15は、第1の記憶部および第2の記憶部の一例に相当する
 また、画像処理関連部10は、画像処理装置11、顔部撮像カメラ12、死角監視カメラ13、および前方カメラ14を含んでいる。画像処理装置11と顔部撮像カメラ12、死角監視カメラ13、および前方カメラ14とは、それぞれ有線または無線による公知のネットワークで接続されており、各カメラ12~14が撮像した各種画像データは逐次画像処理装置11に入力される。
 また、通知処理関連部20は、相互認識通知ECU21、車輪速センサ22、ドアミラー位置センサ23、入力装置24、発光装置25、ドアミラーモータ26、ヘッドライト27、表示装置28、および音声出力装置29を含んでいる。相互認識通知ECU21と、車輪速センサ22、ドアミラー位置センサ23、入力装置24、発光装置25、ドアミラーモータ26、ヘッドライト27、表示装置28、および音声出力装置29とはそれぞれ有線または無線による公知のネットワークで接続されている。
 顔部撮像カメラ12は、撮像面を運転者Uに向けた姿勢にて、車両の室内に設置されており、運転者Uの顔を含む範囲を逐次(例えば100msecごと)撮像し、その撮影画像の画像データを、画像処理装置11に逐次出力する。なお、顔部撮像カメラ12の取り付け位置は、本実施形態ではバックミラー部分に取り付けるものとするが、ステアリングコラムカバーの上などに取付けてもよい。また、顔部撮像カメラ12は、赤外線を検出することにより、可視光の少ない環境下においても撮像可能な赤外線カメラとする。なお、顔部撮像カメラ12は、赤外線カメラのほかに、可視光を感知する光学式のカメラ等であってもよい。
 死角監視カメラ13は、図2に示すように自車左右に備えられているドアミラー31(31L、31R)にそれぞれ1つずつ取付けられ、自車側方から斜め後方に存在する死角をそれぞれ逐次(例えば100msecごとに)撮影する。ここで死角の一例について、図4を用いて説明する。図4において、F1は運転者Uの顔および視線が車両進行方向を向いているときにフロントウインドウ32越しに視認可能な領域を示している。R1・L1は、運転者Uが顔を進行方向に向けている状態において、それぞれ運転席および助手席のサイドウインドウ越しに運転者Uが視認可能な領域を示している。また、左右のドアミラーが、後述する後方視認位置にそれぞれ位置するときにおいて、R2は右ドアミラー31Rを介して運転者Uが視認可能な範囲であり、L2は左ドアミラー31Lを介して運転者Uが視認可能な領域である。B1は、自車後方の領域を示している。
 運転者の視認可能な領域(F1、R1、L1、R2、L2)は運転時の姿勢や運転者Uの体格によって変動するものであるが、ここでは一般的な運転時の姿勢を想定したときに決定される領域とする。なお、顔部撮像カメラ12が撮影する画像データから、運転者Uの姿勢や顔の向きを検出し、その検出結果から運転者の視認可能な領域を適応的に決定する構成としても良い。
 ここでの死角監視カメラ13が撮影する死角とは、R1とR2に挟まれ、自車の右側方から右斜め後方に位置するRXと、L1とL2に挟まれ、自車の左側方から左斜め後方に位置するLXとする。すなわち、右ドアミラー31Rに取付けられている死角監視カメラ13を死角監視カメラ13Rとすると、死角監視カメラ13Rは、死角RXを撮影範囲に含むように設置されている。また、左ドアミラー31Lに取付けられている死角監視カメラ13を死角監視カメラ13Lとすると、死角監視カメラ13Lは、自車左斜め後方の死角LXを撮影範囲に含むように設置されている。死角となる領域(RX、LX)はドアミラーの位置によって変化するが、死角監視カメラ13の撮影範囲は、その変化しうる領域も含むものとする。
 なお、一般的に自車後方の領域においても運転者Uから見えない領域が存在するが、本実施形態では死角監視カメラ13が撮影する対象とはしない。また、R1とF1の間、およびL1とF1の間にはフロントピラーによる死角に関しても本実施形態の対象としない。ただし、他の実施形態として、これらの自車後方や自車斜め前方の死角も監視するような死角監視カメラ13を別途備える構成としてもよい。本実施形態の相互認識通知装置100が備える死角監視カメラ13は光学式カメラとするが、赤外線カメラであってもよい。なお、赤外線カメラとする場合は、後述する応答信号は赤外線によるものとする。
 発光装置25は、図2示すように左右のドアミラー31において、自車側方または自車斜め後方を走行する他の車両(相手車両)の運転者F、および自車両の運転者Uによって視認が可能な位置に取り付けられている。発光装置25は、単数または複数の発光素子25a(たとえば発光ダイオード)を備えており、相互認識通知ECU21の指示に基づいてこれらの発光素子25aを発光させる。発光素子25aとしては、発光ダイオードのほかに発光ランプを用いてもよく、さらに発光素子25aは、複数の異なる色を発光可能なものであってもよい。
 発光装置25は、所定の発光パターン(点滅、色などの組み合わせ)で発光することによって、自車両の死角に存在する相手車両の運転者Fに、自車両の運転者Uが相手車両を認識していることを通知する。このときの発光を通知発光とする。また、自車両の運転者に、自車両の死角に相手車両が存在することを通知するときには、通知発光とは異なる発光パターンで発光する。このときの発光を警告発光とする。自車右側のドアミラー31Rに取付けられた発光装置25を発光装置25R、自車左側のドアミラー31Lに取付けられた発光装置25を発光装置25Lとする。
 なお、本実施形態では、図2の30(30L、30R)に示すように、発光素子25aを死角監視カメラ13の周囲を取り囲むように配設し、発光装置25と死角監視カメラ13とを一体化した構成とするが、これに限らない。死角監視カメラ13と発光装置25は分離して配設されてもよい。
 また、発光装置25は、自車両の運転者Uおよび上述した相手車両の運転者Fのそれぞれが視認可能な位置に取り付けられていればよい。このとき、コストの観点を別にすれば、自車両の運転者Uが視認する発光装置25と、相手車両の運転者Fが視認する発光装置25は同一の発光装置25ではなく、それぞれ別の発光装置25を備える構成としてもよい。たとえば、運転者Uが視認する発光装置25はメーター周りに設けてよいし、表示装置28に表示させてもよい。相手車両の運転者Fが視認する発光装置25は、ドアミラーに限定せず、自車両において相手車両の運転者から視認可能な位置であればどこでもよい。
 前方カメラ14は、自車両前方を撮影する前方撮像部(前方撮像手段)として用いられる光学式カメラであり、自車両前方の道路や道路上に存在する他車両等の画像を逐次(例えば100msecごとに)撮影する。なお、前方カメラ14は、自車両の車室外に配置されるものであってもよいし、自車両の乗員の視界を妨げることのない車室内に配置されるものであってもよい。
 画像処理装置11は、各種の演算処理を行うプロセッサ、当該演算処理に用いられるプログラム等が格納されたフラッシュメモリ、及び演算の作業領域として機能するRAM等を備えている。加えて画像処理装置11は、死角監視カメラ13、顔部撮像カメラ12、および前方カメラ14と接続されており、各カメラ12~14より、それぞれが撮影した画像データを逐次取得するインタフェースを有している。
 画像処理装置11が備える機能の1つである視線方向検出部11aは、顔部撮像カメラ12が撮影した画像データを逐次取得し、その画像データから、公知の画像処理技術によって、顔領域と、顔領域における目領域と、黒目部分などを検出する。本実施形態の顔部撮像カメラ12は自車両に固定して設置されているとともに、撮像方向も固定されているため、画像データにおける顔領域の位置や大きさに応じて、運転者Uの顔が位置すると想定される位置を算出できる。そして、視線方向検出部11aは顔領域の大きさと顔領域における目領域の位置および黒目の位置から、運転者Uの顔の向きや視線方向を算出する。
 画像処理装置11が備える機能の1つである車両検出部11bは、死角監視カメラ13が撮影した画像データを逐次取得し、その画像データから自動車、オートバイ、自転車、人などの障害物を公知のパターンマッチング法を用いて検出する。パターンマッチング法に用いる自動車などの形状パターンのデータは、たとえば画像処理装置11のフラッシュメモリ等に記憶させておけばよい。
 車両検出部11bで画像データから障害物を検出した場合には、画像データにおける障害物の位置と大きさから、その障害物の自車に対する相対位置を求める。また、連続したフレーム間における障害物の位置および大きさの変位量から、その障害物の移動速度や自車両に対する角度変化を算出する。そして、自車両に接近している障害物を、運転者Uに通知すべき障害物として検出する。なお、この車両検出部11bが車両検出部(車両検出手段)の一例に相当する。
 画像処理装置11が備える機能の1つである発光検出部11cは、死角監視カメラ13および前方カメラ14が撮影した画像データを逐次取得し、その画像データから光源を抽出し、他の車両が搭載する相互認識通知装置100による発光パターンを検出する。光源を抽出する方法としては、画像データの中から所定の閾値以上の明るさ(輝度)を有する部分を光源とすればよい。そして、カルマンフィルタなどを利用した画像処理によって、検出した光源の位置を追尾し、その光源の発光パターンを検出する。発光検出部11cは、検出した光源の発光パターンが記憶部15に記憶されている発光パターンと一致するか照合し、一致した場合にはその照合結果を相互認識通知ECU21に通知する。なお、死角監視カメラ13が撮影した画像データに基づいて、後述する応答発光を検出する発光検出部11cが応答信号検出部(応答信号検出手段)の一例に相当する。また、前方カメラ14が撮影した画像データに基づいて通知発光を検出する発光検出部11cが発光検出部(発光検出手段)の一例に相当する。
 なお、画像処理装置11が実施する処理は、以上で述べた視線方向検出部11a、車両検出部11b、発光検出部11cに限らず、その他の画像処理に関する処理も実施する。また、各検出部11a~cからの検出結果などを含む情報データは、逐次相互認識通知ECU21に出力される。
 車輪速センサ22は、各車輪の回転速度から自車両の速度を検出するためのセンサである。車輪速センサ22で検出した値は、相互認識通知ECU21に出力される。ドアミラー位置センサ23は、自車両に備えられた左右のドアミラーの位置を検出するためのセンサである。ドアミラー位置センサ23で検出した値は、相互認識通知ECU21に出力される。
 入力装置24は、入力のために運転者Uにより操作される少なくとも1つのスイッチ(図示せず)を備えている。運転者Uは、入力装置24に備えられているスイッチを押すことで、死角に存在する相手車両を認識したことを相互認識通知ECU21に入力することができる。すなわち、運転者Uが入力装置24に備えられたスイッチを操作すると、運転者Uが相手車両を認識していることを示す相手車両認識信号が相互認識通知ECU21に出力される。相互認識通知ECU21は、相手車両認識信号が入力されることで自車両の運転者Uが相手車両を認識している状態であると判定する。なお、以上の一連の入力操作を認識入力操作と称する。
 また、入力装置24は、ドアミラーモータ26を介してドアミラーを後述する死角捕捉位置まで動かすように運転者Uが相互認識通知ECU21に指示するためのスイッチを、さらに備えていても良い。このドアミラーを死角捕捉位置まで動かす入力操作をドアミラー調整入力操作と称する。
 さらに、入力装置24は、自車両の運転者Uが、他の車両(相手車両)が実施した通知発光を認識したことを相互認識通知ECU21に入力するためのスイッチを、さらに備えていてもよい。すなわち、運転者Uがこのスイッチを操作すると、運転者Uが相手車両からの通知発光を認識したことを示す通知認識信号が、相互認識通知ECU21に出力される。通知認識信号を受信した相互認識通知ECU21は、自車両の運転者Uが相手車両からの通知発光を認識している状態であると判定する。この一連の入力操作を応答入力操作と称する。
 なお、これらの入力操作は、必ずしもそれぞれ異なるスイッチによって実行されるものではなく、同一のスイッチによって実現されても良い。すなわち、異なる条件において同一のスイッチを操作された場合、その条件によって異なる処理を実行するように予めプログラムされることで実現されてもよい。入力装置24に備えられているスイッチの数を1つとすることで、部品点数を削減するとともに、運転者Uの操作間違えを低減することができる。
 本実施形態では、以上で述べたことを踏まえ、入力装置24は1つのスイッチを備えた構成とする。そして、運転者Uが入力装置24を操作したときの相互認識通知装置100の作動を制御するための処理上のフラグとして、動作フラグWを導入する。すなわち、動作フラグW=0の状態で入力装置24が押された場合には認識入力操作とし、W=1の状態で入力装置24が押された場合にはドアミラー調整入力操作とする。W=2のときに入力装置24が押された場合には応答入力操作とする。
 また、この入力装置24は、運転中の運転者Uにとって操作しやすい位置に配設されることが好ましく、本実施形態では、ハンドルに設けられたステアリングスイッチとする。この入力装置24が第1の入力部(第1の入力手段)、第2の入力部(第2の入力手段)、第3の入力部(第3の入力手段)の一例に相当する。
 また、入力装置24としては上記のような物理的にスイッチを備える構成でなくてもよい。例えば、上述したスイッチに相当する選択肢が表示装置28に表示されるように制御し、その表示装置28上の選択肢に運転者Uがタッチ操作することで入力操作する構成としても良い。あるいは、入力装置24は公知の音声認識装置であって、運転者Uの音声によって各種指示が入力される構成としてもよい。
 相互認識通知ECU21は、マイクロコンピュータを主として構成され、いずれも周知のCPU、ROM・RAM・EEPROM等のメモリ、I/O、及びこれらを接続するバスによって構成される。相互認識通知ECU21は、車輪速センサ22、ドアミラー位置センサ23、入力装置24および画像処理装置11より各種情報データを取得する。そして、これら各種情報データに基づいてROMに記憶された各種の制御プログラムを実行し、自車両の運転者Uおよび自車両の死角に存在する相手車両の運転者F間で相互認識通知に関連する処理(以下、相互認識通知関連処理)等の各種の処理を実行する。
 ドアミラーモータ26は、車両の外部に設けられたドアミラー31の位置(角度を含む)を移動(すなわち回転)させるものである。このドアミラーモータ26は、相互認識通知ECU21からの制御信号(駆動信号)に応じてドアミラーの位置を、所定の後方視認位置から相互認識通知ECU21が算出する死角補足位置へ、また、死角補足位置から所定の後方視認位置へ回転させる。
 ここで、所定の後方視認位置とは、車両走行時に後方を視認するためのドアミラーの位置であり、運転者Uの好みに応じたドアミラーの位置を示すものである。後方視認位置は、走行開始時にドライバが設定したドアミラー位置を後方視認位置として記憶しておく。また、運転者Uが予めドアミラー位置や座席位置など、好みの運転環境をEEPROM等の不揮発性メモリを含む記憶部15に登録している場合には、その登録されているドアミラー位置を用いる構成としてもよい。
 また、死角捕捉位置とは、死角に存在する相手車両を運転者がドアミラー31を介して視認するためのドアミラー位置であって、死角監視カメラ13が検出している相手車両の相対的な位置と、運転者Uの顔の位置と、ドアミラー31Rの位置とから決定される。
 所定の後方視認位置から死角補足位置に回転させるためのドアミラーモータ26の回転量は、死角補足位置に応じて設定される。相互認識通知ECU21は、この回転量を示す値を、所定の後方視認位置、死角捕捉位置から、メモリ(図示省略)に予め記憶しておいたプログラムで算出し、ドアミラーモータ26を回転させる。
 ヘッドライト27は、運転者Uからの操作、または、相互認識通知ECU21からの制御に基づいて自車前方に可視光を照射する。
 表示装置28は、相互認識通知ECU21の指示に従って、図示しない表示部にテキストや画像を表示する。例えば表示装置28は、フルカラー表示が可能なものであり、液晶ディスプレイ、有機ELディスプレイ等を用いて構成することができる。また、表示装置28としては、例えば、車載ナビゲーション装置に設けられたディスプレイを利用する構成としてもよいし、車載ナビゲーション装置のディスプレイとは別に、インストゥルメントパネル等に設けたディスプレイを用いる構成としてもよい。
 音声出力装置29は、スピーカ等から構成され、相互認識通知ECU21の指示に従って音声を出力する。なお、音声出力装置29としては、例えば、車載ナビゲーション装置に設けられた音声出力装置29を利用する構成とする。
 次に、図5を用いて自車両および相手車両において実施される相互認識通知関連処理の概略を説明する。自車両、相手車両は、ともに同一の機能を有する相互認識通知装置100を搭載しており、自車両が第1の車両、相手車両が第2の車両にそれぞれ相当できる。また、自車両の搭載する相互認識通知装置100が第1の相互認識通知装置、相手車両の搭載する相互認識通知装置100が第2の相互認識通知装置としてそれぞれ機能する。よって、この自車両と相手車両のそれぞれに搭載される相互認識通知装置100を備えるシステムが相互認識通知システムの一例に相当する。
 自車両では、自車両の死角に障害物が存在するかどうかを検出する障害物検出処理(ステップS100)は逐次実施している。そして、自車両の死角に車両(相手車両)が存在し(ステップS50)、この相手車両を障害物検出処理で検出した場合、自車両では通知制御処理(ステップS200)を開始する。自車両に搭載された相互認識通知装置100は、自車両の運転者Uが相手車両を認識しているかを判定する。そして、自車両の運転者Uが相手車両を認識しており、かつ、自車両の運転者Uより認識している旨の通知を行うように指示する入力操作が入力装置24にあった場合に、発光装置25を通知発光させる。相手車両に搭載される相互認識通知装置100では、応答制御処理が開始され(ステップS300)、相手車両の運転者Fは自車両への通知発光を認識すると、入力装置24のスイッチを押す。相手車両の相互認識通知装置は、運転者Fによる入力装置24への入力操作を受けて、ヘッドライト27を所定のパターンで発光(応答発光)させる。自車両の相互認識通知装置100は、応答認識処理(ステップS400)で相手車両からの応答発光を死角監視カメラ13で検出すると、相手車両が自車両の通知発光を認識していることを運転者Uに通知する。以上の手順によって、自車両の運転者Uおよび相手車両の運転者Fは、お互いに認識していることを共有することができる。以降では各処理について、より詳細に説明する。
 まず、図6のフローチャートを用いて自車両の相互認識通知装置100において実施される一連の処理について説明する。本フローのステップS100は、たとえば走行中において逐次(たとえば100msごとに)実施されている。ステップS100では、障害物検出処理を実施し、ステップS190に進む。この障害物検出処理は別途図7に示すフローチャートを用いて説明する。障害物検出処理S100は、障害物検出部(障害物検出手段)の一例に相当する。
 図7のフローチャートは図6のステップS100に移ったときに開始され、ステップS110に進む。ステップS110では、画像処理装置11が死角監視処理を実施してステップS120に進む。ステップS110の死角監視処理では、死角監視カメラ13が撮影する画像データを逐次取得し、その画像データから自動車、オートバイ、自転車、人などの障害物を公知のパターンマッチング法を用いて検出する。ここで、死角にいずれかの障害物が存在することを検出した場合は、ステップS120がYesとなってステップS130に進む。また、死角にいずれの障害物とも一致するものがなかった場合は、ステップS120がNOとなってステップS110に戻る。
 ステップS130では、障害物を検出した画像データの取得元から、障害物が存在する側を特定する。ここでは、死角監視カメラ13Rから取得した画像データにおいて障害物を検出した場合は自車右側に障害物が存在するとし、死角監視カメラ13Lから取得した画像データにおいて障害物を検出した場合は自車左側に障害物が存在するとする。
 ステップS130で障害物が存在する側を特定した後は、障害物の形状と、画像処理装置11のフラッシュメモリに記憶されている人の形状パターンとを照合し、障害物が人であるかを判定する(ステップS140)。障害物の形状が人の形状パターンと一致した場合は、ステップS140がYesとなってステップS185に進む。障害物の形状が人の形状パターンと一致しなかった場合は、ステップS140がNoとなってステップS150に進む。
 ステップS150では、障害物の形状と、車両の形状パターンとを照合し、障害物が車両であるかを判定する。車両の形状パターンとしては、大型車両、小型車両、輸送用車両、スポーツカー、オートバイ、自転車など、各種類に応じた車両形状をそれぞれ画像処理装置11のフラッシュメモリなどに登録しておけばよい。障害物の形状がいずれかの車両の形状パターンと一致した場合は、ステップS150がYesとなってステップS160に進む。障害物の形状がいずれの車両の形状パターンとも一致しなかった場合は、ステップS150がNoとなってステップS185に進む。
 ステップS160では、相対速度算出処理を実施してステップS170に進む。ステップS160の相対速度算出処理では、まず死角監視カメラ13が取得した画像データにおける障害物の位置と大きさから、その障害物の自車に対する相対位置を求める。そして、連続するフレーム間において公知の画像処理技術によってその障害物を追尾し、その障害物の位置および大きさの変位量から、その障害物の自車に対する相対速度や移動方向を算出する。ここで、障害物が接近中であると判定された場合には、ステップS170がYesとなってステップS180に進む。また、障害物が接近中ではない場合にはステップS170がNoとなってステップS110に戻る。
 ステップS180では、以上の処理で検出した障害物を、通知すべき障害物(相手車両)と判定する。そして、通知すべき障害物を検出していることを内部状態として保持して障害物検出処理を抜ける(図6のステップS190に戻る)。
 ステップS185は、ステップS140およびステップS150において、検出した障害物が車両ではないと判定した場合の処理である。ステップS185では、非車両対応処理を実施し、通知すべき障害物を検出していないことを内部状態として保持して障害物検出処理を抜ける。ここで、非車両対応処理とは、検出した障害物の種類に応じた処理を実施するように適宜設計されればよく、本実施形態の対象としないため言及しない。
 図6のステップS190では、ステップS100の障害物検出処理によって、通知すべき障害物を検出しているか否かを判定する。通知すべき障害物を検出している場合はステップS190がYesとなってステップS200に進む。通知すべき障害物を検出していない場合はステップS190がNoとなってステップS100に戻る。
 ステップS200では、通知制御処理を実施し、ステップS290に進む。この通知制御処理は別途図8に示すフローチャートを用いて説明する。
 図8のフローチャートは図6のステップS200に移ったときに開始され、ステップS205に進む。ステップS205では、動作フラグWをW=0として初期化し、ステップS210に進む。動作フラグWは、運転者Uが入力装置24を押したときの本実施形態における相互認識通知装置100の作動を制御するための、単なる処理上のフラグである。
 ステップS210では、相互認識通知ECU21は発光装置25を発光させるための指示信号を出力し、発光装置25を所定時間(警告発光時間T1)発光させる。この警告発光時間は適宜設計されればよく、たとえば2秒とする。また、発光とともに、表示装置28にも、死角に相手車両が存在する旨を運転者Uに通知する警告表示をすることで運転者Uの視線を、相手車両が存在する側のドアミラーまたは相手車両方向に誘導する。ステップS210で運転者Uに警告表示を実施した後、ステップS215に進む。なお、このステップS210が車両通知部(車両通知手段)の一例に相当する。
 ステップS215では、視線検出処理を実施してステップS220に進む。ステップS215の視線検出処理では、顔部撮像カメラ12が撮影した画像データから、公知の画像処理技術によって、運転者Uの視線方向を算出する。この視線検出処理は、発光装置25の警告発光が開始した時点を起算時刻として、所定時間(視線検出時間T2)継続して実施する。視線検出時間T2は、たとえば2秒とする。なお、このステップS215が第1の視線方向検出部(第1の視線方向検出手段)の一例に相当する。
 ステップS220では、この視線検出時間T2内に、運転者Uが相手車両が存在する方向(相手車両方向)を直接視認したか否かを判定する。直接視認したか否かは次のように判定する。まず前提として、運転者Uは、死角に存在する相手車両を、ドアミラーを介して視認することはできない。運転者Uが相手車両を直接視認するためには、視線の移動だけではなく顔ごと振り向く必要がある。そこで、顔ごと相手車両方向へ振り向いた場合に、相手車両方向を直接視認したと判定する。なお、顔ごと相手車両方向を振り向いたかどうかは、顔部撮像カメラ12の取得する画像データ内の顔領域や目などの特徴点の動きを公知の画像処理技術によって検出すればよい。
 そして視線検出時間T2内に、顔部撮像カメラ12の撮影した画像データより運転者Uが相手車両方向へ振り向く動作を検出した場合はその時点でステップS220がYesとなって、ステップS225に進む。また、視線検出時間T2内に、運転者Uが相手車両方向へ振り向く動作を検出しなかった場合は、ステップS220がNoとなってステップS235に進む。なお、このステップS220が直接視認判定部(直接視認判定手段)の一例に相当する。
 ステップS225では、動作フラグW=0とし、ステップS230に進む。ステップS230では、ステップS220において相手車両を直接目視したと判定した時点を起算時刻として、所定時間(入力時間T3=2秒)内に、運転者Uによって入力装置24が操作されたかを判定する。自車両の運転者Uは、自分が死角に存在する相手車両を認識していることを、相手車両の運転者Uへ通知したい場合に、入力時間T3内にスイッチを操作する。なお、T2とT3をそれぞれ個別に設定したが、ステップS210の警告発光からS230がYesとなるまでを合わせた時間制限(たとえば2秒)を設けてもよい。
 入力時間T3内に入力装置24が操作された場合には、ステップS230がYesとなってステップS265に進む。また、入力時間T3経過しても、入力装置24が操作されなかった場合には、ステップS230がNoとなってステップS270に進む。
 ステップS235では、上述した視線検出時間T2内において、運転者Uが相手車両の存在する側のドアミラー(説明のため、仮に右側のドアミラー31Rとする)を見たか否かを判定する。運転者Uがドアミラー31Rを見たかどうかは、視線方向検出部11aの検出結果に基づいて判定すればよい。すなわち、視線方向検出部11aが検出した運転者Uの視線方向がドアミラー31Rの方向(運転者Uの顔部の位置からドアミラーが取り付けられている位置への方向)と一致すれば、運転者Uがドアミラー31Rを見たとする。視線検出時間T2内に運転者Uがドアミラー31Rを見た場合にはステップS235がYesとなってステップS240に進む。また、視線検出時間T2を経過しても運転者Uがドアミラー31Rを見なかった場合にはステップS235がNoとなって、ステップS270に進む。
 ステップS240では、動作フラグW=1とし、ステップS245に進む。ステップS245では、動作フラグW=1となった時点(≒ドアミラー31Rを見た時点)を起算時刻として、起算時刻より入力時間T3内に、運転者Uによって入力装置24が操作されたかを判定する。起算時刻より入力時間T3内に入力装置24が操作された場合は、その時点でステップS245がYesとなってステップS250に進む。また、入力時間T3経過しても入力装置24が操作されなかった場合は、ステップS245がNoとなって、ステップS270に進む。
 ステップS250では、死角捕捉処理を実施した後、動作フラグW=0としてステップS255に進む。このステップS250の死角捕捉処理では、ドアミラー31Rの位置を、通常時設定されている後方視認位置から、死角捕捉位置へと回転させる。ここで、死角捕捉位置は、死角監視カメラ13が検出している相手車両の相対的な位置と、運転者Uの顔の位置と、ドアミラー31Rの位置とから決定される。
 より具体的には、ドアミラー31Rの鏡面部の中心位置を頂点として、運転者Uの顔の位置と相手車両とが為す角を求める。相手車両の位置は、車両検出部11bで検出した車両形状の中心位置とすればよい。そして、ドアミラー31Rの鏡面部の中心を通る法線が、前述した運転者Uの顔の位置と相手車両とが為す角の二等分線となるように、ドアミラー31Rの位置を決定する。なお、これの処理におけるドアミラー31R、運転者Uの顔の位置、相手車両の位置は、それぞれ路面に平行な座標系上で扱えばよい。
 死角捕捉位置を決定した後は、現在のドアミラー31Rを後方視認位置から死角捕捉位置まで回転させるためのドアミラーモータ26の回転量を計算し、その回転量だけドアミラーモータ26を回転させる。なお、ドアミラー31Rは後方視認位置から死角捕捉位置に移ってから所定の時間(たとえば4秒)経過すると、自動的に死角捕捉位置から後方視認位置に戻るものとする。
 ステップS255では、ドアミラー31Rが死角捕捉位置に到達した時点を起算時刻として、起算時刻より視線検出時間T2内において、運転者Uがドアミラー31Rを見たか否かを判定する。運転者Uが視線検出時間T2内にドアミラー31Rを見た場合にはステップS255がYesとなってステップS260に進む。また、視線検出時間T2を経過しても運転者Uがドアミラー31Rを見る動作をしなかった場合にはステップS255がNoとなって、ステップS270に進む。なお、このステップS255が間接視認判定部(間接視認判定手段)の一例に相当する。
 ステップS260では、ステップS255でドアミラー31Rを見た時点を起算時刻として、起算時刻より入力時間T3内に、運転者Uによって入力装置24が操作されたかを判定する。入力装置24が操作された場合は、その時点でステップS260がYesとなってステップS265に進む。また、入力時間T3経過しても入力装置24が操作されなかった場合は、ステップS260がNoとなって、ステップS270に進む。
 ステップS265では、相手車両への通知発光処理を実施して、通知制御処理を抜ける。通知発光処理では、まず相互認識通知ECU21が発光装置25に所定の発光パターンで発光(通知発光)するように指示する信号を出力する。発光装置25は、相互認識通知ECU21からの信号にしたがって、所定の発光パターンで発光する。ここで、所定の発光パターンとは、他の車両のランプなどの光源の明滅とは識別可能なように、道路上で通常観測されにくい発光パターン(たとえば、点滅を短時間に繰り返すなど)とすればよい。そして、相互認識通知ECU21は通知発光を実施したことを内部状態として保持して、図6のステップS290に戻る。
 ステップS270では、通知制御処理を終了し、相互認識通知ECU21は通知発光を実施しなかったことを内部状態として保持して図6のステップS290に戻る。
 図6のステップS290では、ステップS200の通知制御処理で通知発光をした場合には、YesとなってステップS400に進む。また、通知発光をしなかった場合には、ステップS290がNoとなってステップS100に戻る。ステップS400では、応答認識処理を実施する。
 なお、自車両の相互認識通知関連処理におけるステップS290とステップS400の間には、相手車両での応答制御処理(図9)が実施される。そこで、ステップS400の応答認識処理について説明する前に、図9を用いて、相手車両における応答制御処理について説明する。なお、自車両と相手車両という関係は、それぞれの車両の走行位置によって相対的に定まるものであり、ひとつの車両が、ある場合には自車両となり、また別の場合には、相手車両となりうるものである。すなわち、以降で示す応答制御処理も自車両で実施されうる制御である。
 図9のフローチャートは、たとえば走行中において逐次(たとえば100msごとに)実施されており、ステップS305より開始する。ステップS305では、動作フラグWをW=0として初期化し、ステップS310に進む。ステップS310では、発光検出部11cで発光検出処理を実施してステップS320に進む。この発光検出処理では、前方カメラ14で撮影した画像データから、他の車両が搭載する相互認識通知装置100による通知発光を検出する。すなわち、画像データ内で検出した光源を公知の画像処理技術で複数のフレームに渡って追尾し、光源の発光パターンを検出する。そして、発光検出部11cで検出した光源の発光パターンと、記憶部15が記憶している通知発光パターンとを照合し、一致した場合には、ステップS320がYesとなって、ステップS330に進む。また、前方カメラ14から取得する画像データから、記憶部15に記憶している通知発光パターンに一致する発光を検出していない場合は、ステップS320がNoとステップS305に戻る。すなわち、記憶部15に記憶している通知発光パターンに合致する発光を検出するまで、ステップS305からステップS320を繰り返す。
 ステップS330では、発光方向算出処理を実施してステップS340に進む。発光方向算出処理では、通知発光をした光源の画像データ内の位置と、前方カメラ14の撮影方向、および前方カメラ14の取り付け位置から、その光源の方向を算出する。このステップS330が発光方向算出部(発光方向算出手段)の一例に相当する。
 ステップS340では、視線検出処理を実施してステップS350に進む。視線検出処理では、上述したように、顔部撮像カメラ12が撮影した画像データから、公知の画像処理技術によって、運転者Fの視線方向を算出する。なお、この視線検出処理は、発光検出処理で記憶部15が記憶する発光パターンと合致する光源を検出した時点を起算時刻として、視線検出時間T2の間、継続して実施する。このステップS340が第2の視線方向検出部(第2の視線方向検出手段)の一例に相当する。
 そして、起算時刻より視線検出時間T2内に、通知発光をした光源の方向と運転者Uの視線方向とが一致すると、その時点でステップS350がYesとなって、ステップS355に進む。また、視線検出時間T2経過しても、発光方向と視線方向が一致しなかった場合には、ステップS350がNoとなってステップS305に戻る。このステップS350が発光視認判定部(発光視認判定手段)の一例に相当する。
 ステップS355では、動作フラグW=2として、ステップS360に進む。ステップS360では、通知発光をした光源の方向と運転者Fの視線方向が一致した時点を起算時刻として、起算時刻より入力時間T3内に運転者Fによって入力装置24が操作されたかを判定する。起算時刻より入力時間T3内に運転者Fによって入力装置24が操作された場合は、その時点でステップS360がYesとなってステップS370に進む。一方、起算時刻より入力時間T3経過しても、入力装置24が操作されなかった場合はステップS360がNoとなってステップS305に戻る。
 ステップS370では、通知発光をしてきた車両(すなわち、自車両)へ、応答信号出力処理を実施し、応答制御処理を終了する。応答信号出力処理では、相互認識通知ECU21がヘッドライト27に所定の発光パターンで発光(応答発光)させる。なお、応答発光の発光パターンは、ステップS265で述べたように道路上で通常観測されにくい発光パターンであって、さらに、通知発光の発光パターンとは異なるものである。また、応答発光の光源として、ヘッドライト27にかわってフォグランプ(図示略)などその他の光源を用いてもよい。このステップ370が応答部(応答手段)の一例に相当する。以上の一連の処理を、応答制御処理とする。
 ここで、自車両における相互認識通知関連処理に戻り、図6のステップS400について図10を用いて説明する。図10のフローチャートは図6のステップS400に移ったときに開始され、ステップS410に進む。ステップS410では、発光検出部11cで応答信号検出処理を実施してステップS420に進む。この応答信号検出処理では、死角監視カメラ13で撮影した画像データから、相手車両からの応答発光を検出する。相手車両の応答発光であるか否かは、ステップS310で述べた発光検出処理と同様に、画像データから光源を抽出し、この光源の発光パターンが、記憶部15が記憶している応答発光パターンと一致しているかによって判定すればよい。なお、この応答信号検出処理は、通知発光を実施した時点を起算時刻として、起算時刻より所定の時間(応答検出時間T4、たとえば4秒)実施される。このステップS410を実施する発光検出部11cが応答信号検出部(応答信号検出手段)の一例に相当する。
 そして、応答検出時間T4内に、記憶部15が記憶している応答発光パターンと一致する発光を検出した場合には、ステップS420がYesとなって、ステップS430に進む。また、応答検出時間T4経過しても、記憶部15に記憶している発光パターンと一致する発光を検出していない場合は、ステップS420がNoとなって、応答なしとして応答認識処理を終了する。
 ステップS430では、相手車両が応答発光したことを内部状態として保持し、ステップS440に進む。ステップS440では、自車両の通知発光を相手車両の運転者Fが認識していることを、自車両の運転者Uに報知する。報知方法としては、表示装置28に相互認識が成立した旨を示す表示を出力すればよい。あるいは、図示しないバックミラーの一部やメーター周りに相互認識成立灯(図示略)を設け、これを点灯することで自車両の運転者Uに報知しても良い。なお、このステップS440が応答受信通知部(応答受信通知手段)の一例に相当する。
 また、本実施形態のように、相手車両が出力する応答信号の媒体をヘッドライトの光、すなわち可視光とすることで、発光検出部11cだけでなく、自車両の運転者Uも応答信号を視認することができ、よりスムーズな意思疎通を図ることができる。
 ここで、以上で述べた本実施形態における一連の制御の一例を、図11を用いて説明する。図11中のAが自車両であり、通知発光などを実施する通知側の車両である。また、RXが車両Aの右側に存在する死角を示しており、Bは、その死角RXに存在し、通知発光に対して応答発光などを実施する応答側の車両(相手車両)である。車両A、車両Bともに図の矢印の方向(上方向)に前進走行しており、車両Bの走行速度は車両Aの走行速度よりも大きい。なお、車両Aの運転者を運転者U、車両Bの運転者を運転者Fとする。また、車両Aに搭載された相互認識通知装置100を100A、車両Bに搭載された相互認識通知装置100を100Bと区別する。ただし、これらは同じ機能を有する相互認識通知装置100とする。
 車両Aの相互認識通知装置100Aでは、逐次障害物検出処理(S100)を実施している。すなわち、左右のドアミラーに設けた死角監視カメラ13(13L、13R)が撮影した画像データが逐次画像処理装置11の車両検出部11bに入力されている(S110)。そして、車両検出部11bで障害物を検出した場合、まず、検出した障害物が自車両の左右どちら側に存在するかを特定する(S130)。図11では、右ドアミラー31Rに備えられている死角監視カメラ13Rが撮影した画像データより、車両Bを検出する。そのため、障害物(すなわち車両B)が存在する側は右側となる。
 そして、検出した障害物の形状パターンに対してパターンマッチングを実施することで、障害物が車両であると判定する(S150 Yes)。さらに、車両検出部11cにおいて、死角監視カメラ13Rで撮影する画像データに基づいて車両Bの車両Aに対する相対位置および相対速度を算出する(S160)。より具体的には、車両Bの走行速度は車両Aの速度より大きく、かつ、車両Aの右斜め後方を走行している。このため、死角監視カメラ13Rが撮影する画像データ内において、車両Bの大きさは徐々に大きくなる。このときのフレーム間における車両Bの大きさの変位量から相対速度を算出する。そして、車両Bは車両Aに接近中であることからS170がYesとなって、障害物を通知すべき障害物と判定される(S180)。
 以上より、S190がYesとなって、車両Aの相互認識通知装置100Aは通知制御処理を開始する。相互認識通知ECU21はW=0(S205)とした後に、発光装置25を発光させるとともに、表示装置上に警告表示をすることで運転者Uに車両Bが右後方より接近中であることを警告する(S210)。そして、顔部撮像カメラ12の撮影した画像データに基づいて視線方向検出部11aで運転者Uの視線検出処理を開始する(S215)。
 運転者Uは、発光装置25の発光または表示装置上の警告表示を受けて、右斜め後方を振り向いて直接視認する。視線方向検出部11aは、運転者Uの動作を検出し、運転者Uが車両Bを直接視認したことを示す情報データを相互認識通知ECU21に出力する(S220 Yes)。また、運転者Uは、振り向いて車両Bを視認すると、車両正面に視線を戻すとともに、ハンドルに設けられている入力装置24を操作する。相互認識通知ECU21は、車両Bを直接視認している旨の情報データを取得している状態において、入力装置24が操作されたため(S230 Yes)、発光装置25に通知発光させる(S265)。
 以上によって車両Aの相互認識通知装置100Aは通知発光を実施し(S290 Yes)、応答認識処理(S400)を開始する。すなわち、死角監視カメラ13Rで逐次取得する画像データに基づいて、応答信号検出処理を実施しながら、車両Bからの応答発光を待つ。
 車両Bの相互認識通知装置100Bの発光検出部11cでは、前方カメラの取得する画像データに基づいて、車両Aからの通知発光を検出し(S320 Yes)、発光方向を算出する(S330)。そして視線方向検出部11aは、運転者Fの視線検出処理を開始する(S340)。
 運転者Fは車両Aからの通知発光を視認し、入力装置24を操作する。相互認識通知ECU21は、発光方向と運転者Fの視線方向が一致したと判定した状態に(S350 Yes)において、入力装置24が操作されたため(S360 YES)、ヘッドライト27に応答発光をさせる(S370)。
 車両Aの相互認識通知装置100Aの発光検出部11cは、この車両Bからの応答発光を検出し(S420 Yes)、応答発光パターンに一致する応答発光が車両Bより為されたことを内部状態として取得する(S430)。そして、相互認識通知ECU21は、表示装置28に相互認識が成立した旨を示すテキストを表示するとともに、メーター周りに相互認識成立灯(図示略)を点灯することで自車両の運転者Uに報知する(S440)。
 以上で述べたように、このような構成では、車両B(第2の車両)の運転者Fが車両A(第1の車両)の発光を認識している場合には、入力装置24を操作することで自車両に対してヘッドライト27を所定の発光パターンで応答発光させる。そして車両Aの相互認識通知装置100はこの応答発光を検出すると、車両Aの運転者Uに応答があったことを通知する。したがって、車両Aの発光に対して車両Bから応答発光が返ってきた場合には、車両Bの運転者Fが車両Aを認識していることを運転者Uは認識することができる。
 なお、本実施形態では、障害物が接近中であれば距離によらず通知すべき障害物と判定したが、さらに自車両から所定距離L以内に位置する障害物のみを通知すべき障害物と判定する構成としてもよい。すなわち、直近の障害物のみを運転者Uに警告する場合に比べて、自車両からまだ離れている障害物まで運転者Uに警告してしまうと、警告の頻度が多くなり、かえって運転者Uの注意が散漫になってしまうおそれがある。上述したように、所定距離L圏内の接近中の障害物のみを通知することで、運転者Uにとってより重要度が高い情報が警告されるようになる。
 ここで所定距離Lは、例えば15メートルなどの一定の距離とすればよい。また、より好ましい形態としては、自車両と相手車両の相対速度に一定の時間(例えば2秒)を乗算して定まる距離とすればよい。すなわち、通知すべきか否かの判定条件を一定距離としてしまうと、相対速度が比較的大きい場合と、小さい場合とでは、自車両の側方に到達するまでにかかる時間は異なる。相対速度が大きい場合には、運転者Uが接近中の相手車両を認識したり、通知処理を実行したりするために与えられている時間が短くなり、余裕がなくなってしまう。そこで、障害物を運転者Uに通知すべきか否かの判定条件を自車両と相手車両の相対速度によって適応的に設定することで、運転者Uが障害物を認識するために十分な時間を提供することができる。
 また、本実施形態では応答信号の媒体は可視光(ヘッドライトによる応答発光)としたが、これに限らない。応答信号は、可視光以外の光、電波、赤外線、超音波など、その他の媒体であってもよい。また、これらを組み合わせてもよい。すなわち、昼間は、周囲も明るいため、ヘッドライトの光が検出されにくい可能性がある。そこで、ヘッドライトの可視光に加えて、赤外線などを併用することで周囲の明るさに関係なく応答信号を検出する精度をより高めることができる。また、夜間など、ヘッドライトを短期間で点滅させることで他の車両への影響が懸念される場合においても、赤外線等によって応答信号を出力することで、そのような懸念を低減することができる。なお、電波など可視光以外の媒体を応答信号に用いる場合には、応答信号を検出する応答信号検出部(応答信号検出手段)は、その媒体を検出可能な装置(たとえばアンテナや赤外線カメラなど)とする。
 また、応答信号として、複数種類の信号パターン(可視光の場合は、発光パターンに相当する)を記憶部15に記憶させておいてもよい(以降、変形例1)。その場合、入力装置24はそれら信号パターンの数に対応したスイッチをそれぞれ備えておけばよい。たとえば、信号パターンとしては、通常の「認識しました」のほかに、「譲ります」「急いでいます」「後ろに入ります」「前に入ります」などに対応する信号パターンを記憶させておき、運転者は状況に応じて、それらのうちから選択して、入力する。先行車両(通知側の車両)がウインカーを出しており、斜線変更をしたそうにしている場合は、「譲ります」「急いでいます」などの応答発光をする。また、応答側の車両が車線変更したい場合には、「後ろに入ります」「前に入ります」などの応答発光をする。また、これらの信号パターンは通知発光に適用してもよい。また、応答信号に対して、通知側の車両から「了解しました」などの再応答を発光装置25の発光などによって実施しても良い。
 以上、本開示に係る実施の形態および構成を例示したが、本開示に係る実施の形態および構成は、上述した各実施の形態および各構成に限定されるものではない。異なる実施の形態および構成にそれぞれ開示された技術的要素を適宜組み合わせて得られる実施の形態および構成並びに実施の形態の一部の構成についても本開示に係る実施の形態および構成の範囲に含まれる。

Claims (19)

  1.  第1、第2の車両でそれぞれ用いられ、各車両の運転者が相互の存在を認識したことを通知するための相互認識通知装置を備える相互認識通知システムであって、
     第1の車両に搭載される第1の相互認識通知装置(100)は、
     前記第1の車両を運転する第1の運転者からは視認できない死角に存在する第2の車両を検出する車両検出部(11b)と、
     前記車両検出部(11b)で前記第2の車両を検出したことを前記第1の運転者に通知する車両通知部(21、S210)と、
     前記車両通知部(21、S210)の通知に基づいて前記第1の運転者が前記第2の車両を認識したことを入力するための第1の入力部(24)と、
     前記第1の車両の、前記第2の車両を運転する第2の運転者から直接視認可能な位置に取り付けられてあって、かつ、前記第1の入力部(24)に入力があった場合に発光する発光装置(25)と、を備え、
     前記第2の車両に搭載される第2の相互認識通知装置(100)は、
     前記発光装置(25)の発光を前記第2の運転者が認識した場合に、前記第2の運転者が前記発光を認識したことを入力するための第2の入力部(24)と、
     前記第2の入力部(24)に入力があった場合に、前記第2の運転者が前記第1の車両を認識していることを前記第1の運転者に報知する応答信号を前記第1の車両に出力する応答部(21、S370)と、を備え、
     前記第1の相互認識通知装置(100)は、さらに、
     前記応答信号を検出する応答信号検出部(11c)と、
     前記応答信号検出部(11c)で前記応答信号を検出した場合に、前記第2の運転者が前記第1の車両を認識していることを前記第1の運転者に通知する応答受信通知部(21、S440)と、を備える相互認識通知システム。
  2. 請求項1において、
     前記応答信号は、可視光によって実施される相互認識通知システム。
  3. 請求項1または2において、
     前記第2の相互認識通知装置(100)は、前記応答信号として、前記第2の運転者の意図を伝達するための信号パターンが複数種類登録されている第1の記憶部(15)を備え、
     前記第2の入力部(24)は、前記第1の記憶部(15)の記憶する複数の信号パターンから前記第2の運転者が所望する信号パターンを応答信号として出力するように指示入力可能なものであって、
     前記応答部(21、S370)は、前記第2の入力部(24)の入力に基づいて、前記第2の運転者の意図に対応した信号パターンの応答信号を出力し、
     前記第1の相互認識通知装置(100)は、前記複数種類の信号パターンが登録されている第2の記憶部(15)を備え、
     前記応答信号検出部(11c)は前記応答信号を検出する際に、前記応答信号の信号パターンと前記第2の記憶部(15)に登録されている信号パターンと一致するものを検索し、一致する信号パターンがあった場合に、
     前記応答受信通知部(21、S440)は、前記応答信号の信号パターンに対応する前記第2の運転者の意図を前記第1の運転者に通知する相互認識通知システム。
  4. 請求項1から3のいずれか1項において、
     前記第1の相互認識通知装置(100)は、前記第2の車両が存在する側のドアミラーの位置を、前記第1の運転者が前記ドアミラーを介して前記第2の車両を視認できる位置である死角捕捉位置まで動かすように運転者が指示するための第3の入力部(24)を備え、
     前記第3の入力部(24)に運転者からの入力があった場合に、前記ドアミラーの位置を前記死角捕捉位置に動かす相互認識通知システム。
  5. 請求項1~4のいずれか1項において、
     前記第1の相互認識通知装置(100)は、前記第1の運転者の視線方向を検出する第1の視線方向検出部(11a)と、
     前記車両検出部(11b)で前記第2の車両を検出しているときに、前記第2の車両が存在する方向と前記第1の視線方向検出部(11a)で検出する前記視線方向とが同方向となった場合に、前記第1の運転者が前記第2の車両をドアミラーを介さずに視認したと判定する直接視認判定部(21、S220)と、を備え、
     前記直接視認判定部(21、S220)で前記第1の運転者が前記第2の車両を視認したと判定された後に前記第1の入力部(24)への入力があった場合に、前記第1の相互認識通知装置(100)は前記発光装置(25)を発光させ、
     前記直接視認判定部(21、S220)で前記第1の運転者が前記第2の車両を視認したと判定されていない場合には、前記第1の入力部(24)に前記第1の運転者の入力があった場合でも、前記第1の相互認識通知装置(100)は前記発光装置(25)を発光させない相互認識通知システム。
  6. 請求項4において、
     前記第1の相互認識通知装置(100)は、前記第1の運転者の視線方向を検出する第1の視線方向検出部(11a)と、
     前記車両検出部(11b)で前記第2の車両を検出しているときに、前記第2の車両が存在する方向と前記第1の視線方向検出部(11a)で検出する前記視線方向とが同方向となった場合に、前記第1の運転者が前記第2の車両をドアミラーを介さずに視認した判定する直接視認判定部(21、S220)と、
     前記ドアミラーが前記死角捕捉位置となった後に前記ドアミラーの方向と前記第1の視線方向検出部(11a)で検出する前記視線方向が同方向となった場合に、前記第1の運転者が前記ドアミラーを介して前記第2の車両を視認したと判定する間接視認判定部(21、S255)と、を備え、
     前記直接視認判定部(21、S220)で前記第1の運転者が前記第2の車両を視認したと判定された後に前記第1の入力部(24)への入力があった場合、または、前記間接視認判定部(21、S255)で前記第1の運転者が前記ドアミラーを介して前記第2の車両を視認したと判定された後に前記第1の入力部(24)に入力があった場合に、前記第1の相互認識通知装置(100)は前記発光装置(25)を発光させ、
     前記間接視認判定部(21、S255)で前記第1の運転者が前記ドアミラーを介して前記第2の車両を視認したと判定されておらず、かつ、前記直接視認判定部(21、S220)で前記第2の車両を視認したと判定されていない場合には、前記第1の入力部(24)に前記第1の運転者の入力があった場合でも前記第1の相互認識通知装置(100)は前記発光装置(25)を発光させない相互認識通知システム。
  7. 請求項1~6のいずれか1項において、
     前記第2の相互認識通知装置(100)は、前記発光装置(25)による発光を検出する発光検出部(11c)を備え、
     前記発光検出部(11c)が前記発光を検出した場合には、前記第2の相互認識通知装置(100)は前記発光がされていることを前記第2の運転者に通知する相互認識通知システム。
  8. 請求項1~6のいずれか1項において、
     前記第2の相互認識通知装置(100)は、前記発光装置(25)による発光を検出する発光検出部(11c)と、
     前記発光検出部(11c)で前記発光を検出した場合には、前記発光をしている光源が存在する方向である発光方向を算出する発光方向算出部(11、S330)と、
     前記第2の運転者の視線方向を検出する第2の視線方向検出部(11a)と、
     前記第2の相互認識通知装置(100)は、前記発光を検出した後に前記発光方向算出部(11、S330)で算出した前記発光方向と、前記第2の視線方向検出部(11a)で検出した前記第2の運転者の視線方向が同方向となった場合に、前記第2の運転者が前記発光を視認したと判定する発光視認判定部(21、S350)と、を備え、
     前記発光視認判定部(21、S350)で前記第2の運転者が前記発光を視認したと判定された後に前記第2の入力部(24)に入力があった場合に、前記応答部(21、S370)より前記第1の車両に向けて前記応答信号を出力し、
     前記発光視認判定部(21、S350)で前記第2の運転者が前記発光を視認したと判定されていない場合には、前記第2の入力部(24)に入力があっても前記応答部(21、S370)より前記応答信号を出力しない相互認識通知システム。
  9. 請求項6において、
     前記第1の入力部(24)と前記第3の入力部(24)は同一のスイッチ(24)によりなり、
     前記直接視認判定部(21、S220)で前記第2の車両を視認したと判定された後に前記第1の運転者が前記スイッチを操作した場合には、前記発光装置(25)を発光させ、
     前記車両検出部(11b)で前記第2の車両を検出しているときに、前記直接視認判定部(21、S220)で前記第2の車両を視認したと判定されておらず、かつ、前記第1の視線方向検出部(11a)で検出する前記視線方向と前記ドアミラーの方向が同方向となった後に前記第1の運転者が前記スイッチを操作した場合には、前記ドアミラーの位置を前記死角捕捉位置に動かす相互認識通知システム。
  10. 請求項1において
     前記発光装置(25)は、前記第1の車両において、前記第1の運転者および前記第2の運転者の両者にとって直接視認可能な位置に取り付けられてあって、前記車両通知部(21、S210)による通知は前記発光装置(25)によって実施される相互認識通知システム。
  11.  請求項1~10のいずれか1項に記載の相互認識通知システムで用いられる前記第1の相互認識通知装置(100)および前記第2の相互認識通知装置(100)の両方の機能を備える相互認識通知装置。
  12.  自車両に搭載される相互認識通知装置であって、
     自車両の死角に存在する他車両を検出する車両検出部(11b)と、
     前記車両検出部(11b)により他車両が検出されると、自車両の死角に他車両が存在する旨を自車両の運転者に通知する車両通知部(21、S210)と、
     前記車両通知部(21、S210)の通知に基づいて自車両の運転手が他車両を認識した場合に当該自車両の運転手により操作されるための第1の入力部(24)と、
     前記第1の入力部(24)が操作されると、自車両の死角へ光を射出する発光装置(25)と、
     前記発光装置(25)から射出された光を他車両の運転者が認識した旨を表す応答信号であって、当該他車両から報知される応答信号を検出する応答信号検出部(11c)と、
     前記応答信号検出部(11c)により前記応答信号が検出されると、他車両の運転者は自車両を認識している旨を自車両の運転者に通知する応答受信通知部(21、S440)と、
     を備える相互認識通知装置。
  13.  前記応答信号は、可視光からなる請求項12に記載の相互認識通知装置。
  14.  前記応答信号の複数の信号パターンが、所定の複数の運転意図と関連付けられて、予め登録されている記憶部(15)を備え、
     前記応答信号検出部(11c)は、前記他車両から通知された応答信号を検出すると、前記記憶部(15)に登録されている複数の信号パターンのうちどの信号パターンが当該他車両からの応答信号の信号パターンと一致するかを判定し、
     前記応答受信通知部(21、S440)は、前記応答信号検出部(11c)の判定結果に基づいて、他車両の運転者の運転意図を自車両の運転者に通知する
     請求項12または13に記載の相互認識通知装置。
  15.  前記自車両の運転者によって操作されると、当該自車両の運転者がドアミラーを介して他車両を視認できる死角捕捉位置へ当該ドアミラーを動かす旨の指令を発するための第2の入力部(24)を備える
     請求項12ないし14のいずれか1項に記載の相互認識通知装置。
  16.  自車両の運転者の視線方向を検出する視線方向検出部(11a)と、
     前記視線方向検出部(11a)により検出された自車両の運転者の視線方向と前記車両検出部(11b)により検出された他車両の方向とが同方向であるか否かに基づいて、自車両の運転者が他車両をドアミラーを介さずに直接視認したか否かを判定する直接視認判定部(21、S220)と、
     を備え、
     前記直接視認判定部(21、S220)により自車両の運転者が他車両をドアミラーを介さずに直接視認したと判定された後に前記第1の入力部(24)が操作された場合に、前記発光装置(25)は光を射出し、
     前記直接視認判定部(21、S220)により自車両の運転者が他車両をドアミラーを介さずに直接視認したと判定されていない場合には、前記第1の入力部(24)が操作されても、前記発光装置(25)は光を射出しない
     請求項14に記載の相互認識通知装置。
  17.  自車両の運転者の視線方向を検出する視線方向検出部(11a)と、
     前記視線方向検出部(11a)により検出された自車両の運転者の視線方向と前記車両検出部(11b)により検出された車両の方向とが同方向であるか否かに基づいて、自車両の運転者が他車両をドアミラーを介さずに直接視認したか否かを判定する直接視認判定部(21、S220)と、
     前記視線方向検出部(11a)により検出された自車両の運転者の視線方向と前記死角捕捉位置のドアミラーの方向とが同方向であるか否かに基づいて、前記車両の運転者が前記ドアミラーを介して前記他車両を間接的に視認したか否かを判定する間接視認判定部(21、S255)と、を備え、
     前記直接視認判定部(21、S220)により自車両の運転者が他車両をドアミラーを介さずに直接視認したと判定された後に前記第1の入力部(24)が操作された場合、または、前記間接視認判定部(21、S255)により自車両の運転者が他車両をドアミラーを介して間接的に視認したと判定された後に前記第1の入力部(24)が操作された場合、前記発光装置(25)は光を射出し、
     前記直接視認判定部(21、S220)により自車両の運転者が他車両をドアミラーを介さずに直接視認したと判定されておらず、かつ、前記間接視認判定部(21、S255)により自車両の運転者が他車両をドアミラーを介して間接的に視認したと判定されていない場合は、前記第1の入力部(24)が操作されても、前記発光装置(25)は光を射出しない
     請求項15に記載の相互認識通知装置。
  18.  請求項17に記載の相互認識通知装置において、
     前記第1の入力部(24)と前記第2の入力部(24)は、同一のスイッチからなり、
     前記直接視認判定部(21、S220)により自車両の運転者が他車両をドアミラーを介さずに直接視認したと判定された後に前記スイッチが自車両の運転者により操作された場合には、前記発光装置(25)は光を射出し、
     前記車両検出部(11b)により他車両が検出されている場合において、前記直接視認判定部(21、S220)により自車両の運転者が他車両をドアミラーを介さずに直接視認したと判定されておらず、かつ、前記視線方向検出部(11a)により検出された自車両の運転者の視線方向と前記ドアミラーの方向が同方向となった後に自車両の運転者により前記スイッチが操作されたときには、前記ドアミラーの位置を前記死角捕捉位置に動かす相互認識通知装置。
  19.  請求項12に記載の相互認識通知装置において、
     前記発光装置(25)は、自車両の運転者および自車両の死角の両方から直接視認可能な位置に取り付けられ、
     前記車両通知部(21、S210)による通知は、前記発光装置(25)により実施される相互認識通知装置。
PCT/JP2013/006960 2012-12-06 2013-11-27 相互認識通知システム、および相互認識通知装置 Ceased WO2014087607A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
DE112013005834.0T DE112013005834B4 (de) 2012-12-06 2013-11-27 Unterrichtungssystem für gegenseitige Erkennung und Unterrichtungsvorrichtung für gegenseitige Erkennung

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012-267579 2012-12-06
JP2012267579A JP5949509B2 (ja) 2012-12-06 2012-12-06 相互認識通知システム、および相互認識通知装置

Publications (1)

Publication Number Publication Date
WO2014087607A1 true WO2014087607A1 (ja) 2014-06-12

Family

ID=50883049

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/006960 Ceased WO2014087607A1 (ja) 2012-12-06 2013-11-27 相互認識通知システム、および相互認識通知装置

Country Status (3)

Country Link
JP (1) JP5949509B2 (ja)
DE (1) DE112013005834B4 (ja)
WO (1) WO2014087607A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111699109A (zh) * 2018-01-11 2020-09-22 印象深刻创意有限公司 用于与驾驶员保护设备一起使用的显示系统
CN113135217A (zh) * 2020-01-17 2021-07-20 丰田合成株式会社 方向盘
CN113753064A (zh) * 2020-06-03 2021-12-07 丰田自动车株式会社 移动体检测系统

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6477135B2 (ja) * 2015-03-27 2019-03-06 株式会社デンソー 車載通信装置及び意思伝達システム
FR3099116B1 (fr) 2019-07-26 2021-07-09 Faurecia Interieur Ind Système et procédé de détection d’un deuxième véhicule dans une zone de détection d’un premier véhicule
JP2022123301A (ja) * 2021-02-12 2022-08-24 マツダ株式会社 車両用電子ミラー装置

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018235A (ja) * 2003-06-24 2005-01-20 Aisin Seiki Co Ltd 車両用警報装置
JP2008181315A (ja) * 2007-01-24 2008-08-07 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2008293099A (ja) * 2007-05-22 2008-12-04 Mazda Motor Corp 車両の運転支援装置
JP2009157499A (ja) * 2007-12-25 2009-07-16 Toyota Motor Corp 運転支援装置及び運転支援システム
JP2010238053A (ja) * 2009-03-31 2010-10-21 Hino Motors Ltd 並走警報装置、車両およびプログラム
JP2012177997A (ja) * 2011-02-25 2012-09-13 Panasonic Corp パッシング内容判定装置

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE10303578B4 (de) 2003-01-30 2015-08-13 SMR Patents S.à.r.l. Gefahrenerkennungssystem für Fahrzeuge mit mindestens einer seitlichen und rückwärtigen Umgebungserfassung
SE535786C2 (sv) 2010-01-19 2012-12-18 Volvo Technology Corp System för döda vinkeln-varning
DE102012201046A1 (de) 2012-01-25 2013-07-25 Robert Bosch Gmbh Verfahren und Vorrichtung zur Unterstützung eines Fahrers

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005018235A (ja) * 2003-06-24 2005-01-20 Aisin Seiki Co Ltd 車両用警報装置
JP2008181315A (ja) * 2007-01-24 2008-08-07 Aisin Aw Co Ltd 運転支援方法及び運転支援装置
JP2008293099A (ja) * 2007-05-22 2008-12-04 Mazda Motor Corp 車両の運転支援装置
JP2009157499A (ja) * 2007-12-25 2009-07-16 Toyota Motor Corp 運転支援装置及び運転支援システム
JP2010238053A (ja) * 2009-03-31 2010-10-21 Hino Motors Ltd 並走警報装置、車両およびプログラム
JP2012177997A (ja) * 2011-02-25 2012-09-13 Panasonic Corp パッシング内容判定装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111699109A (zh) * 2018-01-11 2020-09-22 印象深刻创意有限公司 用于与驾驶员保护设备一起使用的显示系统
CN113135217A (zh) * 2020-01-17 2021-07-20 丰田合成株式会社 方向盘
CN113135217B (zh) * 2020-01-17 2023-01-06 丰田合成株式会社 方向盘
CN113753064A (zh) * 2020-06-03 2021-12-07 丰田自动车株式会社 移动体检测系统
CN113753064B (zh) * 2020-06-03 2023-07-18 丰田自动车株式会社 移动体检测系统

Also Published As

Publication number Publication date
JP2014115732A (ja) 2014-06-26
JP5949509B2 (ja) 2016-07-06
DE112013005834B4 (de) 2019-07-11
DE112013005834T5 (de) 2015-08-20

Similar Documents

Publication Publication Date Title
JP6523561B1 (ja) 照射装置および照射方法
EP3093192B1 (en) Rear combination lamp for vehicle comprising a display
US9744901B2 (en) Vehicle-mounted apparatus
CN107499307B (zh) 自动停车辅助装置以及包括该自动停车辅助装置的车辆
US10296083B2 (en) Driver assistance apparatus and method for controlling the same
CN106448260B (zh) 驾驶员辅助设备和包括该驾驶员辅助设备的车辆
US11884216B2 (en) Vehicular full mirror display system with auxiliary forward and rearward views
JP5949509B2 (ja) 相互認識通知システム、および相互認識通知装置
US12503043B2 (en) Vehicle communication system using projected light
CN106515579A (zh) 车辆的盲点区域监控
JP2008193339A (ja) 後方監視装置
JP7606894B2 (ja) 画像処理装置、画像処理方法およびプログラム
US11858414B2 (en) Attention calling device, attention calling method, and computer-readable medium
KR20200013521A (ko) 차량 및 차량의 제어방법
KR102168041B1 (ko) 차량 제어장치 및 차량 제어방법
US10538203B2 (en) Interior rearview mirror assembly with indicator
JP4066892B2 (ja) 車両用警報装置
WO2018235192A1 (ja) 後輪位置表示器
JP6914730B2 (ja) 運転支援装置および運転支援方法
KR20200066584A (ko) 차량 제어장치 및 차량 제어방법
US20230084498A1 (en) Driving assistance apparatus, driving assistance method, and storage medium
JP2010042732A (ja) 車両用周囲状況提示装置
JP2008195330A (ja) サイドミラーおよび注意喚起装置
US12403821B2 (en) Illumination device for vehicle and illumination device
US20250332988A1 (en) Lamp control system, lamp control method, and vehicle

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13859817

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 1120130058340

Country of ref document: DE

Ref document number: 112013005834

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13859817

Country of ref document: EP

Kind code of ref document: A1