[go: up one dir, main page]

WO2011058856A1 - 多機能カメラシステム - Google Patents

多機能カメラシステム Download PDF

Info

Publication number
WO2011058856A1
WO2011058856A1 PCT/JP2010/068507 JP2010068507W WO2011058856A1 WO 2011058856 A1 WO2011058856 A1 WO 2011058856A1 JP 2010068507 W JP2010068507 W JP 2010068507W WO 2011058856 A1 WO2011058856 A1 WO 2011058856A1
Authority
WO
WIPO (PCT)
Prior art keywords
vehicle
door
unit
camera
determination unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2010/068507
Other languages
English (en)
French (fr)
Inventor
石黒博
村上裕一
廣田功一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd filed Critical Aisin Seiki Co Ltd
Priority to EP20100829816 priority Critical patent/EP2500218B1/en
Priority to US13/509,186 priority patent/US20120217764A1/en
Priority to CN201080051506.5A priority patent/CN102596656B/zh
Priority to KR1020127014779A priority patent/KR101369866B1/ko
Publication of WO2011058856A1 publication Critical patent/WO2011058856A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/06—Rear-view mirror arrangements mounted on vehicle exterior
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05B—LOCKS; ACCESSORIES THEREFOR; HANDCUFFS
    • E05B81/00—Power-actuated vehicle locks
    • E05B81/54—Electrical circuits
    • E05B81/64—Monitoring or sensing, e.g. by using switches or sensors
    • E05B81/76—Detection of handle operation; Detection of a user approaching a handle; Electrical switching actions performed by door handles
    • E05B81/78—Detection of handle operation; Detection of a user approaching a handle; Electrical switching actions performed by door handles as part of a hands-free locking or unlocking operation
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B60R1/25—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view to the sides of the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/20—Means to switch the anti-theft system on or off
    • B60R25/25—Means to switch the anti-theft system on or off using biometry
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/30—Detection related to theft or to other events relevant to anti-theft systems
    • B60R25/305—Detection related to theft or to other events relevant to anti-theft systems using a camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/34—Protecting non-occupants of a vehicle, e.g. pedestrians
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2201/00—Constructional elements; Accessories therefor
    • E05Y2201/60—Suspension or transmission members; Accessories therefor
    • E05Y2201/622—Suspension or transmission members elements
    • E05Y2201/676—Transmission of human force
    • E05Y2201/68—Handles, cranks
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2400/00—Electronic control; Electrical power; Power supply; Power or signal transmission; User interfaces
    • E05Y2400/80—User interfaces
    • E05Y2400/85—User input means
    • E05Y2400/8505—User authentication, e.g. biometric
    • E—FIXED CONSTRUCTIONS
    • E05—LOCKS; KEYS; WINDOW OR DOOR FITTINGS; SAFES
    • E05Y—INDEXING SCHEME ASSOCIATED WITH SUBCLASSES E05D AND E05F, RELATING TO CONSTRUCTION ELEMENTS, ELECTRIC CONTROL, POWER SUPPLY, POWER SIGNAL OR TRANSMISSION, USER INTERFACES, MOUNTING OR COUPLING, DETAILS, ACCESSORIES, AUXILIARY OPERATIONS NOT OTHERWISE PROVIDED FOR, APPLICATION THEREOF
    • E05Y2600/00—Mounting or coupling arrangements for elements provided for in this subclass
    • E05Y2600/40—Mounting location; Visibility of the elements
    • E05Y2600/46—Mounting location; Visibility of the elements in or on the wing

Definitions

  • the present invention relates to a multi-function camera system that applies a vehicle-mounted camera to a plurality of uses.
  • Patent Document 1 discloses an authentication system that captures an image of a person's face standing outside a driver's seat door from the inside of the vehicle and biometrically authenticates the face.
  • Patent Document 2 describes whether there is an obstacle around the vehicle when the front door is opened based on an image taken by a camera installed on a side mirror, A technique for detecting whether or not an obstacle is approaching from behind is disclosed.
  • Patent Document 3 discloses a technique of installing a camera on a door mirror and using the camera for different purposes depending on the scene. It is disclosed.
  • patent document 3 uses for the use which image
  • the camera of Patent Document 4 functions as a side blind camera by photographing a scene in front of the vehicle that becomes a blind spot of the driver when the vehicle is used, and rotates 180 degrees in the door mirror housing when the vehicle is not used. Then, it captures the scene inside the vehicle and functions as a vehicle monitoring camera.
  • JP 2006-168553 A (23rd, 31st to 33rd paragraphs, etc.) JP 2007-153193 A (9th, 15th paragraphs, etc.) Japanese Patent Laying-Open No. 2005-88759 (paragraphs 21, 24 to 28, etc.) JP 2006-182234 A (11th to 14th, 17th paragraph, etc.)
  • the characteristic configuration of the multifunction camera system is as follows: A camera fixed to a vehicle part on the side of the vehicle and photographing the side of the vehicle; A condition determination unit that determines execution conditions of a plurality of functional units; An obstacle as the functional unit that is executed based on a determination result of the condition determination unit and detects an obstacle existing around the vehicle or approaching the vehicle by image recognition based on a captured image of the camera A detection unit; The process is executed based on a determination result of the condition determination unit, and authenticates by image recognition whether or not a person who has reached the vehicle is a user registered in advance in the vehicle based on a captured image of the camera. And a personal authentication unit as a functional unit.
  • the multi-function camera system includes a plurality of function units including an obstacle detection unit and a personal authentication unit, but each function unit is not always executed, and is based on the determination result of the execution condition by the condition determination unit. Is executed as appropriate. Therefore, even if it has a plurality of functional units, an increase in calculation load is suppressed, and a multi-function camera system can be constructed at low cost without using a high-performance arithmetic device. Needless to say, this does not prevent the plurality of functional units from being executed at the same timing according to the execution conditions.
  • condition determination unit of the multi-function camera system is configured such that the execution condition of the obstacle detection unit is satisfied when the vehicle is running including temporary stop or is not locked. It is preferable to determine that the execution condition of the personal authentication unit is satisfied when the vehicle is not running and is locked and stopped.
  • Each function unit can be effectively executed under an appropriate execution condition according to the use state of the vehicle.
  • the multi-function camera system is further executed based on a determination result of the condition determination unit, and includes a captured image captured by the camera including a blind spot scene from a driver of the vehicle.
  • a blind monitor unit serving as the functional unit for outputting to an indoor display device, wherein the condition determining unit is instructed to display the photographed image by a passenger of the vehicle including the driver, or the obstacle It is preferable to determine that the execution condition of the blind monitor unit is satisfied when an obstacle is recognized by the detection unit. Even if the multi-function camera system includes more functional units, each functional unit is appropriately executed based on a determination result of an appropriate execution condition according to the use state of the vehicle by the condition determining unit.
  • blind monitor unit and the other functional units may be executed at the same timing according to the execution conditions.
  • the condition determination unit preferentially executes image recognition on a front side of the vehicle or image recognition on a rear side.
  • the priority condition is determined
  • the obstacle detection unit preferentially executes image recognition on either the front side or the rear side based on the determination result of the condition determination unit.
  • the camera is preferably a wide-angle camera in which a blind spot from the driver is included in the imaging range.
  • the wide-angle camera takes an image of a wide area. Therefore, it is more efficient in terms of time and computational load to perform image recognition with a narrowed area than to perform obstacle recognition by performing image recognition over the entire captured image. According to the above configuration, since a wide area captured image is divided into two areas on the front side and the rear side of the vehicle and an area where image recognition is preferentially executed is set, efficient obstacle detection can be executed. .
  • the condition determination unit is responsive to the degree of opening of the swing door.
  • the priority condition is determined, and when the opening degree of the swing door is smaller than a predetermined opening degree, priority is given to image recognition on the front side, and when the opening degree of the swing door is higher than the predetermined opening degree, the rear side It is preferable to determine to prioritize the image recognition on the side.
  • the swing door that rotates with the front side as a fulcrum is opened, the end of the door moves to the front side.
  • the multi-function camera system includes an opening calculation unit that calculates an opening degree of the swing door based on a captured image of the camera, and the camera is installed in the swing door or the swing door. It is preferable that it is installed in a vehicle part. According to this configuration, the camera moves together with the swing door. On the other hand, since the vehicle body is not moving, the positions of vehicle parts and vehicle bodies other than the swing door move (change) in the captured image. The degree of opening of the swing door can be calculated from this movement amount (change amount). Therefore, it is possible to acquire the degree of opening of the swing door with high accuracy without providing a separate sensor or the like on the swing door.
  • the camera, the condition determination unit, and the plurality of function units of the multi-function camera system according to the present invention function when the main power of the vehicle is turned on. Further, the camera functions regardless of whether or not the main power of the vehicle is turned on, and even when the main power of the vehicle is not turned on, according to the operation to the door of the vehicle, the camera, It is preferable that a power supply control unit that causes at least one of the condition determination unit and the functional units to function is provided.
  • the multi-function camera system should be executed when the main power of the vehicle is not turned on, for example, when getting on a parked vehicle, or after turning off the main power, for example, when the vehicle is parked and alighted. It has a functional part.
  • the power control unit functions when the main power of the vehicle is not turned on, and supplies power to the necessary functional units according to the operation to the door of the vehicle. Therefore, a multifunctional camera system that is power-saving and highly convenient is constructed.
  • the operation on the door of the vehicle may be that a person who has reached the vehicle touches a door handle provided outside the vehicle compartment of the vehicle. Further, the operation on the door of the vehicle may be that a passenger of the vehicle including a driver of the vehicle touches a door handle provided in a passenger compartment of the vehicle.
  • operation to the vehicle door can be detected more quickly, and power can be supplied to each functional unit including the camera and condition determination unit at an early stage via the power supply control unit. It is possible to start and have them run.
  • In-vehicle cameras can be applied to multiple applications at low cost without providing a mechanism that increases vehicle weight.
  • the multi-function camera system 10 includes a camera 1 that is fixed to a door handle 61 on the side surface of the vehicle 100 and photographs the side of the vehicle 100.
  • the vehicle part to which the camera 1 is fixed is the door handle 61, but other parts may of course be used.
  • the vehicle part may be a door panel of the door 60, a side mirror, or a fender.
  • the camera 1 when the camera 1 is fixed to the door handle 61, it may be installed on the handle main body 61a or on the handle cap 61b.
  • the vehicle 100 has four doors 60 on the side surface.
  • the vehicle 100 includes a driver seat door 60A, a passenger seat door 60B, a driver seat side rear door 60C, and a passenger seat side rear door 60D.
  • the driver's seat door 60A and the passenger seat door 60B are swing doors that rotate about the front side of the vehicle 100 as a fulcrum. is there.
  • the driver seat side rear door 60C and the passenger seat side rear door 60D are slide doors.
  • One camera 1 is installed in each of the driver's seat door 60A and the passenger seat door 60B. Needless to say, the number of cameras is not limited to two, and a total of three or more cameras may be installed in the vehicle 100 by being installed in the rear doors 60C and 60D.
  • the camera 1A is installed with the optical axis fixed to the door handle 61A of the driver seat door 60A
  • the camera 1B is installed with the optical axis fixed to the door handle 61B of the passenger seat door 60B.
  • the camera 1 is a wide-angle camera having a viewing angle of about 180 degrees, and is preferably installed with a depression angle of about 5 to 10 degrees.
  • the imaging range includes a height of about 2 m from the ground in the vicinity of the door 60, and can capture the head of a person standing beside the door 60.
  • the camera 1 is a digital camera capable of digitally capturing a moving image of 15 to 60 frames per second.
  • the shooting range E of the camera 1 includes a side surface of the vehicle 100, a front end and a rear end on the side surface side. Although details will be described later, in the photographing range E, the front side is F and the rear side is R.
  • the shooting range of the camera 1A is denoted by E1
  • the front side of E1 is denoted by F1
  • the rear side of E1 is denoted by R1.
  • the photographing range of the camera 1B is denoted as E2
  • the front side of E2 is denoted as F2
  • the rear side of E2 is denoted as R2.
  • the multi-function camera system 10 has a plurality of functional units such as a condition determination unit 3, a blind monitor unit 4, an obstacle detection unit 5, and a personal authentication unit 6.
  • the function unit of the present invention is each unit constituting the multi-function camera system 10 and includes the camera 1 in a broad sense.
  • the blind monitor unit 4, the obstacle detection unit 5, and the personal authentication unit 6 are functional units that realize “each application” when the camera 1 is applied to a plurality of applications. This is referred to as an application function unit.
  • the blind monitor unit 4, the obstacle detection unit 5, and the personal authentication unit 6 are illustrated, but of course, an application function unit that realizes other applications is included in the multi-function camera system 10. May be.
  • the multifunction camera system 10 may include a parking support unit that guides the driver when the vehicle 100 is parked. Conversely, the multi-function camera system 10 that applies the camera 1 to a plurality of uses only needs to include at least two use function units. For example, only the obstacle detection unit 5 and the personal authentication unit 6 are used as the use function units. It may be a system having
  • the blind monitor unit 4 is a functional unit that outputs a photographed image including a scene in the photographing range E photographed by the camera 1 to the display device 20 in the vehicle interior.
  • This captured image includes a blind spot scene from the driver of the vehicle 100.
  • the blind spot from the driver means the side of the fender, the lower side of the fender or the door 60, and the like.
  • the display device 20 is a monitor device such as a liquid crystal display installed in the vehicle interior.
  • the display device 20 may be installed exclusively for the blind monitor unit 4, but may also be used as an information display unit for an audio device or a display unit for a navigation system.
  • the obstacle detection unit 5 is a functional unit that detects an object existing around the vehicle 100 or a moving body approaching the vehicle 100 as an obstacle by image recognition based on the captured image.
  • the object is, for example, a curb or a pole
  • the moving body is, for example, a pedestrian, a bicycle, a motorcycle, an automobile, or the like.
  • Image recognition of a stationary object and a moving object is performed by a known image processing method.
  • the personal authentication unit 6 is a functional unit that authenticates whether or not a person who has reached the vehicle 100 is a user registered in advance in the vehicle 100 by image recognition based on the captured image. This authentication is performed by known methods such as face recognition, eye iris recognition, fingerprint recognition, vein recognition, and the like.
  • the blind monitor unit 4, the obstacle detection unit 5, and the personal authentication unit 6 execute their functions based on the determination result of the condition determination unit 3 that determines the execution condition for each function unit.
  • the condition determination unit 3 determines that the execution condition of the blind monitor unit 4 is satisfied when the passenger of the vehicle 100 including the driver is instructed to display the captured image.
  • the instruction by the passenger is, for example, operating the display switch 21 (see FIG. 1) provided in the passenger compartment.
  • the display switch 21 may be a dedicated switch, or may be set to the touch panel when the display device 20 has a touch panel.
  • the instruction via the display switch 21 includes an instruction to select one of the captured images of the camera 1A or the camera 1B, an instruction to display both, and an instruction to partially enlarge the image.
  • condition determination unit 3 determines that the execution condition of the blind monitor unit 4 is satisfied when the obstacle detection unit 5 recognizes the obstacle.
  • the obstacle detection unit 5 detects an obstacle, it issues a display request for a captured image.
  • the condition determination unit 3 determines that the execution condition of the blind monitor unit 4 is satisfied based on the display request.
  • the driver can confirm the detection result of the obstacle detection unit 5 at an early stage including the authenticity by looking at the captured image.
  • the condition determination unit 3 determines that the execution condition of the obstacle detection unit 5 is satisfied when the vehicle 100 is traveling including a temporary stop. Specifically, when the main power supply of the vehicle 100 is turned on, such as when the ignition switch is on, the condition determination unit 3 determines that the execution condition of the obstacle detection unit 5 is satisfied based on the ignition signal or the like. judge. In a hybrid vehicle using an internal combustion engine and a motor as drive sources and an electric vehicle using a motor as a drive source, there may be no ignition switch for starting a so-called internal combustion engine. However, even in these vehicles, a main power source (main switch) exists in order to make the drive source of the vehicle effective.
  • main switch main switch
  • the condition determination unit 3 determines that the vehicle 100 is traveling including a temporary stop. It is determined that the execution condition of the detection unit 5 is satisfied. In addition, the condition determination unit 3 executes the obstacle detection unit 5 when the vehicle 100 is stopped without being locked even when the main power is turned off and the vehicle 100 is not in a state where it can travel. It is determined that the condition is met. This corresponds to, for example, when the main power is cut off and the passenger is about to get off.
  • condition determination unit 3 determines that the execution condition of the personal authentication unit 6 is satisfied when the vehicle 100 is not running but is locked and stopped.
  • the main power is not turned on, and the vehicle 100 cannot travel even by operating the accelerator or releasing the brake.
  • condition determination unit 3 preferentially executes either image recognition on the front side corresponding to the shooting range F of the vehicle 100 or image recognition on the rear side corresponding to the shooting range R.
  • the priority condition is determined.
  • the obstacle detection unit 5 preferentially executes image recognition for either the front side (F) or the rear side (R) based on the determination result of the priority condition by the condition determination unit 3.
  • the vehicle 100 has the swing doors (doors 60A and 60B) that rotate about the front side of the vehicle 100 as a fulcrum.
  • the condition determination unit 3 determines the priority condition according to the degree of opening of the swing doors 60A and 60B.
  • a predetermined opening degree (priority threshold value)
  • the cameras 1A and 1B are installed on the swing doors 60A and 60B, respectively. Specifically, it is installed on door handles 61A and 61B which are vehicle parts installed on swing doors 60A and 60B. Therefore, the camera 1 (1A and 1B) installed with the optical axis fixed also moves according to the rotation of the swing door 60 (60A and 60B), and the captured image also changes accordingly. On the other hand, since the vehicle body is not moving, positions of vehicle parts and vehicle bodies other than the swing door 60 and the door handle 61 (61A and 61B) move in the captured image. Therefore, in the present embodiment, the multi-function camera system 10 further includes an opening degree calculation unit 7 that calculates the degree of opening of the swing door 60 by image processing based on the captured image.
  • the opening calculation unit 7 swings according to the relative movement amount (change amount) of the position of the vehicle part or the vehicle body that moves in the captured image by the movement of the camera 1, which is different from the door 60 and the door handle 61. Calculate the degree of door opening.
  • a bumper, a tire, a wheel, a gap or an end portion of a vehicle body outer plate, and the like correspond to other vehicle parts or a vehicle body.
  • a separate sensor or the like can be installed on the swing door 60 to detect the degree of opening.
  • the opening degree calculation unit 7 calculates the degree of opening of the swing door 60 by image processing, it is not necessary to provide the sensor, and the production cost can be reduced.
  • Each functional unit of the above-described multi-function camera system 10 specifically, the camera 1, the condition determination unit 3, the blind monitor unit 4, the obstacle detection unit 5, the personal authentication unit 6, and the opening calculation unit 7
  • the personal authentication unit 6 satisfies the execution condition when the vehicle 100 is not running and is locked and stopped, but cannot receive power supply when the main power is not turned on.
  • the function cannot be executed.
  • the obstacle detection unit 5 satisfies the execution condition when the vehicle 100 is stopped without being locked even when the main power supply is cut off and the vehicle 100 is not in a state where it can travel.
  • the power supply cannot be received and the function cannot be executed.
  • the condition determination unit 3 that determines the execution condition cannot receive power supply when the main power supply is not turned on, and thus cannot be determined.
  • the multi-function camera system 10 further includes a power control unit 8 that supplies power to a predetermined function unit under a predetermined condition even when the main power of the vehicle 100 is not turned on. .
  • the power control unit 8 functions regardless of whether the main power of the vehicle 100 is turned on.
  • the power supply control part 8 makes at least 1 of each function part function according to operation to the door 60, even when the main power supply of the vehicle 100 is not turned on.
  • the power supply control unit 8 causes at least one of the camera 1, the condition determination unit 3, and each application function unit to function.
  • the power control unit 8 causes at least one of the camera 1, the condition determination unit 3, the blind monitor unit 4, the obstacle detection unit 5, and the personal authentication unit 6 to function.
  • the “operation on the door 60” may be that a person who has reached the vehicle 100 touches the door handle 61 provided outside the passenger compartment. Further, the “operation on the door 60” may be that a passenger including the driver of the vehicle 100 touches a door handle provided in the passenger compartment. These “operations on the door 60” will be described later using specific examples.
  • each functional unit of the multi-function camera system 10 may be configured as individual devices.
  • an ECU (electronic control unit) 12 having a microcomputer (CPU) 12c is used as a core. That is, each functional unit is realized by cooperation between hardware having a microcomputer (CPU) 12c as a core and software stored in the program memory 12p.
  • a photographed image photographed by the camera 1 is input to the ECU 12 via the image interface unit 11.
  • the ECU 12 has a work memory 12w, and appropriately stores photographed images and other temporary data to perform arithmetic processing such as image processing.
  • the CPU 12c, the program memory 12p, and the work memory 12w may be integrated as one processor.
  • the ECU 12 also cooperates with an alarm device 30 such as a buzzer and the display device 20.
  • the ECU 12 cooperates with other ECUs by an in-vehicle network 50 such as a CAN (controller area network).
  • the ECU 12 is linked to a door control system 40 that controls each of the four doors 60 via the in-vehicle network 50.
  • the four door control systems 40 are a driver's seat door control system 40A, a passenger seat door control system 40B, a driver seat side rear door control system 40C, and a passenger seat side rear door control system 40D, respectively.
  • Each of the four door control systems 40 includes a door ECU 41 (41A, 41B, 41C, 41D) that is the core of the system, and a door sensor 42 (42A, 42B, 42C, 42D) that detects whether the door is open or not. , A lock actuator 43 (43A, 43B, 43C, 43D) for electrically locking and unlocking the door, and an opening / closing actuator 44 (44A, 44B, 44C, 44D) for opening and closing the door electrically.
  • the ECU 12 and the door control system 40 may be connected by a dedicated line.
  • the door ECU 41 is configured with a microcomputer or the like as a core, like the ECU 12 of the multi-function camera system 10.
  • the door sensor 42 may be a door switch that simply detects whether the door 60 is fastened to the vehicle body or is not fastened. Moreover, the sensor which detects the opening degree of swing door 60A or 60B may be sufficient, and the presence or absence of operation to the door handle (door knob) provided in the vehicle interior may be a detection sensor.
  • the lock actuator 43 is a solenoid, for example, and locks and unlocks the door 60 under the control of the door ECU 41.
  • the opening / closing actuator 44 is, for example, a motor.
  • the opening / closing actuator 44 opens and closes the doors 60C and 60D between fully open and fully closed under the control of the door ECU 41.
  • the opening / closing actuator 44 does not open / close the door 60 between the fully open and fully closed state, for example, from the fully closed state to the slightly opened state, etc. It may open and close a limited range.
  • the opening and closing actuator 44 may be used to suppress manual opening and closing.
  • the driver's seat door control system 40A and the passenger seat door control system 40B are further configured to include touch sensors 45 (45A, 45B) outside the vehicle.
  • the touch sensor 45 is, for example, a capacitance sensor, and is built in the side of the door handle 61 facing the door 60 as shown in FIG. Although FIG. 2 illustrates the driver's seat door 60A, the same applies to the passenger seat door 60B.
  • the touch sensor 45 detects that a user's hand who is trying to operate the door handle 61 to open the door 60 has touched the door handle 61. Regardless of whether or not the main power supply of the vehicle 100 is turned on, it is preferable that the touch sensor 45 is always supplied with weak electric power or intermittently supplied with electric power.
  • the touch sensor 45 is not limited to this embodiment, and is provided with a switch on the side opposite to the side where the door handle 60 faces the door 60, and detects that the user operates this switch. Also good.
  • the multi-function camera system 10 exhibits various functions in various scenes in cooperation with the respective equipment of the vehicle 100 as described above.
  • the operation of the multi-function camera system 10 in each scene will be described below using the flowcharts shown in FIGS. 4 to 7 and the explanatory diagrams shown in FIGS.
  • the touch sensor 45 is always supplied with weak power or intermittently. Therefore, it is possible to detect an operation on the door handle 61 by the user regardless of whether or not the main power supply of the vehicle 100 is turned on.
  • the detection result of the touch sensor 45 is transmitted to the ECU 12 via the in-vehicle network 50.
  • the CPU 12c of the ECU 12 receives the detection result of the touch sensor 45 as an interrupt.
  • the CPU 12c is restarted (waked up) by receiving the detection result of the touch sensor 45 even when the CPU 12c is in a power saving mode or the like.
  • the acceptance of such an interrupt and the restart of the CPU 12c are executed mainly by the power supply control unit 8.
  • the power supply control unit 8 instructs the camera 1, the condition determination unit 3, and the personal authentication unit 6 to execute for a certain period (# 11, # 12).
  • the power supply control unit 8 activates only the camera 1A when receiving the detection result from the touch sensor 45A of the driver's seat door 60A, and only the camera 1B when receiving the detection result from the touch sensor 45B of the passenger's seat door 60B. It is power saving when starting up. In addition, since the touch sensor 45 does not execute personal authentication on the side where the user's operation is not detected, it is possible to prevent erroneous authentication from being established, which is preferable in terms of security.
  • the activated condition determination unit 3 determines that the execution condition of the personal authentication unit 6 is satisfied because the vehicle 100 is not running but is locked and stopped. When the execution condition is satisfied, the personal authentication unit 3 recognizes the captured image and authenticates whether the person in the captured image is a user registered in the vehicle 100 in advance. If the authentication result is acceptable, an unlock instruction is transmitted from the ECU 12 to the door control system 40 (40A to 40D) (# 13, # 14). ECU12 will complete
  • the lock actuators 43 (43A to 43D) are controlled by the door ECUs 41 (41A to 41D) of the door control system 40, and the vehicle 100 is unlocked. If the authentication result is unacceptable, the ECU 12 ends the process.
  • the camera 1, the condition determination unit 3, and the personal authentication unit 6 are executed for a certain period by the power supply control unit 8, and when the certain period elapses, the camera 1, the condition determination unit 3, and the personal authentication unit 6 are again in a sleep state. If personal authentication is unacceptable, power may be wasted if power is supplied to the camera 1 or the like. Further, even if the personal authentication is successful and the user gets on the door 60 by opening the door 60, the vehicle 100 is not always started by turning on the main power supply immediately. Therefore, it is preferable that the personal computer enters the hibernation state again in the power saving mode or the like after the personal authentication is completed, regardless of whether it has passed or failed. In the present embodiment, the “certain period” is set, but the present invention is not limited to this. The normal operation may be continued as it is, and the personal computer may be returned to the sleep state by using another event as a trigger when the personal authentication is failed or when the personal authentication is successful and the door 60 is opened.
  • the condition determination unit 3 determines whether or not there is a display request (# 21). If there is a display request, the condition determination unit 3 instructs the blind monitor unit 4 to display a captured image (# 22).
  • the blind monitor unit 4 instructs the image interface unit 11 and the display device 20 to display a captured image, and the captured image is displayed on the display device 20.
  • the captured image display instruction includes an instruction to select one of the captured images of the camera 1A or the camera 1B, an instruction to display both, and an instruction to partially enlarge the image.
  • the condition determination unit 3 determines that the execution condition of the blind monitor unit 4 is satisfied when the obstacle detection unit 5 recognizes the obstacle. In addition, the condition determination unit 3 determines that the execution condition of the blind monitor unit 4 is satisfied when the display switch 21 is instructed by a passenger of the vehicle 100 including the driver, for example, when an instruction to display a captured image is given. . For example, if the power control unit 8 is configured to restart the ECU 12 when the display switch 21 is operated, the main power is not turned on to the vehicle 100 as in the procedure shown in FIG. Even at times, the blind monitor unit 4 can be executed.
  • the condition determination unit 3 determines that the execution condition of the obstacle detection unit 5 is satisfied when the vehicle 100 is traveling including a temporary stop.
  • the obstacle detection unit 5 detects the presence or absence of an obstacle in the photographed image and the approach thereof by a known image recognition technique such as a difference between the frames (captured images) or pattern matching within one frame.
  • the obstacle detection unit 5 instructs the alarm device 30 such as a buzzer to issue an alarm (# 32).
  • a request for displaying a captured image is sent to the blind monitor unit 4 (# 33).
  • an instruction for enlarging the front side F or the rear side R may be added according to the position of the detected obstacle.
  • the blind monitor unit 4 can display an enlarged captured image on the display device 20 in cooperation with the image interface unit 11. The operation of the blind monitor unit 4 that has received the display request for the captured image is as described above with reference to FIG.
  • condition determination unit 3 is an obstacle when the vehicle 100 is stopped without being locked, even when the main power is not turned on and the vehicle 100 is not in a travelable state. It is determined that the execution condition of the detection unit 5 is satisfied. This corresponds to, for example, when the main power is cut off and the passenger is about to get off.
  • an operation example of the multi-function camera system when getting off will be described with reference to FIG.
  • the power supply control unit 8 determines whether or not the door sensor 42 is detected (# 41).
  • the door sensor 42 may be a door switch that simply detects whether the door 60 is fastened or released from the vehicle body, or a door handle (door knob provided in the vehicle interior).
  • a door handle door knob provided in the vehicle interior.
  • the presence / absence of an operation can be detected by detecting that a passenger including a driver touches a door handle (door knob) provided in the room.
  • any detection means that can detect that the passenger is going out of the vehicle, preferably before the door 60 starts to open, may be used. If it is detected by the door sensor 42 that the passenger is about to get off, the power supply control unit 8 next determines whether or not the main power supply is turned on (# 42). If the main power is not turned on, at least the camera 1, the condition determination unit 3, the blind monitor unit 4, and the obstacle detection unit 5 are instructed to execute for a certain period (# 43). That is, the CPU 12c in the dormant state is activated in the same manner as described for the personal authentication unit 6. This fixed period may be the same period as when the personal authentication unit 6 functions or may be a different period.
  • the “certain period” is set, but the present invention is not limited to this. After the CPU 12c is activated, the normal operation may be performed as it is, and another event such as the door 60 being closed or the door 60 being locked may be used as a trigger to return to the sleep state.
  • the camera on the side where the door sensor 42 that detects that the passenger is about to get off is activated to be activated from the hibernation state without wasteful power consumption.
  • the camera 1A installed on the driver seat door 60A is activated.
  • the camera 1B installed on the passenger seat door 60B is activated.
  • determination # 41 regarding whether or not the door sensor 42 is detected may be executed by the condition determination unit 3 or the obstacle detection unit 5 instead of the power supply control unit 8. This is because the condition determination unit 3 determines that the execution condition of the obstacle detection unit 5 is satisfied when the main power is turned on, and thus the condition determination unit 3 and the obstacle detection unit 5 are already operating. Substantially, it is sufficient that the interrupt reception function of the CPU 12c receives the detection result of the door sensor 42. Therefore, it is not necessary to strictly limit the functional unit that executes the determination process # 41 to any one functional unit. Depending on the progress of the program, it may be configured to be executable by a plurality of functional units as appropriate.
  • the condition determination unit 3 determines whether the degree of opening of the door 60 is less than the priority threshold value (# 44). That is, it is determined whether the opening degree of the door 60A (or 60B) is smaller than a priority threshold value that is a predetermined opening degree. Since the passenger gets off when the opening degree of the door 60A is small, the door 60A is further opened in the direction of the arrow Y in FIG. At this time, if there is an obstacle such as a curb near the door 60A, the door 60A may come into contact with the obstacle. Accordingly, the condition determination unit 3 determines the priority condition according to the degree of opening of the door 60A (or 60B) so as to prioritize the image recognition of the front side F within the photographing range E (# 44, # 46). .
  • the condition determination unit 3 gives priority to image recognition on the rear side R in the shooting range E.
  • the priority condition is determined according to the degree of opening of the door 60A (or 60B) (# 44, # 47).
  • a moving body such as a pedestrian, a bicycle, or another vehicle approaching from the direction of the arrow Z in FIG. 8 (rear of the vehicle 100) may come into contact with the opened door 60A (60B). This is because it is necessary to detect a moving body.
  • the opening degree of the door 60A (60B) is equal to or greater than a predetermined opening threshold value, the significance of obstacle detection decreases as shown in FIG. That is, the moving body approaching from the rear of the vehicle 100 does not enter the imaging range E, and the front side F of the imaging range E images the vehicle 100. Therefore, when the opening degree of the door 60A (60B) exceeds a predetermined opening threshold value, the obstacle detection process is ended (# 45).
  • the obstacle detection unit 5 issues a door opening suppression instruction to the door control system 40 when an obstacle is detected (# 48, # 49).
  • the door ECU 41 controls the opening / closing actuator 44 to suppress the opening / closing of the door 60.
  • the obstacle detection unit 5 instructs the alarm device 30 such as a buzzer to issue an alarm (# 50), and requests the blind monitor unit 4 to display a captured image. Is output (# 51).
  • the display device 20 to display the captured image.
  • the detection unit 5 detects an obstacle.
  • the processing may proceed to processing # 45 and # 47 without executing processing # 44, and the rear side R may be prioritized. Since the door sensor 42 that has output the detection result is clear as to which door 60 is the target, obstacle detection according to the door 60 is possible.
  • the case where the camera 1 is installed on the door handle 61 has been described as an example so that the configuration of the multi-function camera system 10 and its utility can be easily understood.
  • a person skilled in the art will be able to construct a similar multi-function camera system 10 by installing the camera 1 on a door mirror with reference to the embodiment. Such modifications are also within the technical scope of the present invention. Belongs to.
  • the shooting range E differs depending on whether the side mirror is in use or in the retracted state.
  • it is possible to configure the multi-function camera system 10 that exhibits a plurality of functions by detecting the state of the side mirror and executing image processing using a captured image corresponding to the state of the side mirror.
  • the detection of the state of the side mirror may be performed by recognizing the existence position of the part of the vehicle 100 in the photographed image by image processing in the same manner as the opening degree calculation unit 7.
  • the camera 1 is installed on the most side of the side mirror in use and the viewing angle is about 180 to 190 degrees, a shooting range E that is almost equivalent to that when the camera 1 is installed on the door handle 61 is secured. Is done. Even when the side mirror is in the retracted state, an imaging range E (rear side R) that is substantially the same as that when the camera 1 is installed on the door handle 61 is secured on the rear side of the vehicle 100 relative to the side mirror. Therefore, although the partial function of the embodiment described above is limited by the attitude of the door mirror, the multifunction camera system 10 using the camera 1 that is fixed to the vehicle part and does not change the attitude of the camera itself is sufficient. Is feasible.
  • a technique capable of applying a vehicle-mounted camera to a plurality of uses at low cost without providing a mechanism for increasing the vehicle weight is realized.
  • the present invention can be used for a multi-function camera system in which a camera mounted on a vehicle can be used for a plurality of purposes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Lock And Its Accessories (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

　多機能カメラシステムは、車両の側面において車両部品に固定され、車両の側方を撮影するカメラと、複数の機能部の実行条件を判定する条件判定部と、条件判定部の判定結果に基づいて実行され、カメラの撮影画像に基づいて、車両の周辺に存在する又は車両に接近する障害物を画像認識により検出する障害物検出部と、条件判定部の判定結果に基づいて実行され、カメラの撮影画像に基づいて、車両に到達した人物が車両に予め登録された利用者であるか否かを画像認識により認証する個人認証部とを有する。

Description

多機能カメラシステム
　本発明は、車載のカメラを複数の用途に適用する多機能カメラシステムに関する。
　ＣＣＤ（charge coupled device）やＣＩＳ（CMOS image sensor）などの撮像素子の普及により、車両にカメラが搭載される事例が増加している。特開２００６－１６８５５３号公報（特許文献１）には、車内から運転席ドアの外側に立つ人の顔を撮像し、その顔を生体認証する認証システムが開示されている。特開２００７－１５３１９３号公報（特許文献２）には、サイドミラーに設置されたカメラにより撮影された画像に基づき、フロントドアを開ける際の障害物が車両周辺に存在するか否か、あるいは車両後方から障害物が接近しつつあるか否かを検知する技術が開示されている。また、特開２００５－８８７５９号公報（特許文献３）、特開２００６－１８２２３４号公報（特許文献４）には、ドアミラーにカメラを設置し、場面に応じて異なる用途に当該カメラを用いる技術が開示されている。特許文献３では、幅寄せ時の側方確認と搭乗者の顔とを撮影する用途に用いられる。このカメラは、車両走行中にはドアミラーから下方を撮影し、車両が停車しドアミラーが閉じられた際には、カメラの撮影方向を切り換えて車内を撮影する。特許文献４のカメラは、車両の使用時には運転者の死角となる車両の前側方の情景を撮影してサイドブラインド用カメラとして機能すると共に、車両の未使用時にはドアミラーの筐体中で１８０度回転されて車室内の情景を撮影して車室監視用カメラとして機能する。
特開２００６－１６８５５３号公報（第２３、３１～３３段落等） 特開２００７－１５３１９３号公報（第９、１５段落等） 特開２００５－８８７５９号公報（第２１、２４～２８段落等） 特開２００６－１８２２３４号公報（第１１～１４、１７段落等）
　カメラを用いることにより、種々の機能が車両に搭載されることが期待されるが、多くの機能を搭載するためにはカメラを多く設置しなければならない。多くのカメラを設置すると、製品原価が高くなり、また、車両重量の増加により燃料消費率や運動性能を低下させる可能性もある。従って、できるだけ少ない数のカメラにより多くの機能を実現することが好ましい。上述した特許文献３や特許文献４のカメラは、２つの用途に用いられており、カメラの総数を抑制する上で好ましい形態である。しかし、１つのカメラを複数の用途に用いるために、カメラの撮影方向を変更する必要があり、撮影方向を変更するための別の機構を必要としている。このため、カメラの数が抑制できても、別の機構を搭載するための原価が必要となり、また、その機構の分だけ車両重量も増加する可能性がある。
　従って、車両重量を増加させるような機構を備えることなく、低コストで車載のカメラを複数の用途に適用できる技術が求められる。
　上記課題を解決するための本発明に係る多機能カメラシステムの特徴構成は、
　車両の側面において車両部品に固定され、当該車両の側方を撮影するカメラと、
　複数の機能部の実行条件を判定する条件判定部と、
　前記条件判定部の判定結果に基づいて実行され、前記カメラの撮影画像に基づいて、前記車両の周辺に存在する又は前記車両に接近する障害物を画像認識により検出する前記機能部としての障害物検出部と、
　前記条件判定部の判定結果に基づいて実行され、前記カメラの撮影画像に基づいて、前記車両に到達した人物が前記車両に予め登録された利用者であるか否かを画像認識により認証する前記機能部としての個人認証部と、を有する点にある。
　この特徴構成によれば、カメラは車両部品に固定されているので、カメラの撮影方向を変更するための別の機構は不要である。従って、別の機構を搭載するための原価が必要となることもなく、また、その機構の分だけ車両重量が増加することもない。多機能カメラシステムは、障害物検出部と個人認証部との複数の機能部を備えているが、それぞれの機能部は常に実行されるものではなく、条件判定部による実行条件の判定結果に基づいて適宜実行される。従って、複数の機能部を有していても演算負荷の増大は抑制され、高機能の演算装置を利用することなく低コストで多機能カメラシステムを構築することができる。尚、当然ながら、実行条件に応じて複数の機能部が同じタイミングで実行されることを妨げるものではない。
　また、本発明に係る多機能カメラシステムの前記条件判定部は、前記車両が一時停車を含む走行中、又は施錠されずに停車している際には前記障害物検出部の実行条件が成立すると判定し、前記車両が前記走行中ではなく、施錠されて停車している際には前記個人認証部の実行条件が成立すると判定すると好適である。車両の使用状態に応じた適切な実行条件により、各機能部を有効に実行させることが可能となる。
　また、本発明に係る多機能カメラシステムは、さらに、前記条件判定部の判定結果に基づいて実行され、前記車両の運転者からの死角の情景を含む、前記カメラにより撮影された撮影画像を車室内の表示装置へ出力する前記機能部としてのブラインドモニタ部を備え、前記条件判定部は、前記運転者を含む前記車両の搭乗者により前記撮影画像の表示を指示された際、又は前記障害物検出部により障害物が認識された際に前記ブラインドモニタ部の実行条件が成立すると判定すると好適である。多機能カメラシステムが、さらに多くの機能部を備えていても、それぞれの機能部は、条件判定部による車両の使用状態に応じた適切な実行条件の判定結果に基づいて適宜実行される。利便性の高いブラインドモニタ部を有していても、演算負荷の増大は抑制され、高機能の演算装置を利用することなく低コストで多機能カメラシステムを構築することができる。尚、当然ながら、実行条件に応じてブラインドモニタ部と他の機能部とが同じタイミングで実行されてもよい。
　また、本発明に係る多機能カメラシステムは、前記条件判定部が、前記車両の前方側の側方に対する画像認識と、後方側の側方に対する画像認識との何れを優先的に実行するかの優先条件を判定し、前記障害物検出部は、前記条件判定部の判定結果に基づいて、前方側と後方側との何れかに対する画像認識を優先的に実行すると好適である。車載のカメラを複数の用途に適用するためには、当該カメラは、運転者からの死角が撮影範囲に含まれるような広角カメラであることが好ましい。当然ながら、広角カメラの撮影画像は、広い領域を撮影対象としている。従って、撮影画像の全体に亘って画像認識を実施して障害物を検出するよりも、領域を絞って画像認識を実施する方が時間的にも演算負荷的にも効率的である。上記構成によれば、広域の撮影画像を車両の前方側と後方側との２つの領域に分けて画像認識を優先的に実行させる領域が設定されるので、効率的な障害物検出が実行できる。
　また、前記車両が、前記車両の前方側を支点として回動するスイングドアを有するものであるとき、本発明に係る多機能カメラシステムでは、前記条件判定部は、前記スイングドアの開き度合いに応じて前記優先条件を判定するものであり、前記スイングドアの開き度合いが所定の開き度合いよりも小さい時には前方側の画像認識を優先させ、前記スイングドアの開き度合いが所定の開き度合い以上の時には後方側の画像認識を優先させると判定すると好適である。前方側を支点として回動するスイングドアが開く際には、ドアの端部は前方側へと移動する。開き始めなど、スイングドアの開き度合いが所定の開き度合いよりも小さい時に前方側の画像認識が優先されると、ドアの端部に接触する可能性のある障害物が確実且つ早期に検出される可能性が高くなる。このような障害物は、縁石など低い位置にあって、搭乗者の死角となっていることもあるので画像認識により検出されると好適である。一方、スイングドアが所定の開き度合い以上開いた場合には、車両の後方から接近して車両の側方を通り過ぎようとする移動体（障害物）が、車両の側方に突出するスイングドアに接触することを防止する必要がある。搭乗者は前方を向いているため、前方から接近する移動体に比べて後方から接近する移動体には気が付きにくい。従って、画像認識により移動体の接近が検出されると好適である。
　また、本発明に係る多機能カメラシステムは、前記カメラの撮影画像に基づいて、前記スイングドアの開き度合いを演算する開度演算部を有し、前記カメラは前記スイングドア又は前記スイングドアに設置される車両部品に設置されると好適である。この構成によれば、カメラは、スイングドアと共に動くことになる。一方、車体は動いていないので、スイングドアとは別の車両部品や車体などの位置は撮影画像の中で移動（変化）することとなる。この移動量（変化量）により、スイングドアの開き度合いを演算することができる。従って、スイングドアに別途センサ等を設ける必要なく、高い精度でスイングドアの開き度合いを取得することが可能となる。
　また、本発明に係る多機能カメラシステムの前記カメラ、前記条件判定部、前記複数の機能部は、前記車両の主電源が投入されている際に機能するものであり、当該多機能カメラシステムは、さらに、前記車両の主電源が投入されているか否かに拘わらず機能し、前記車両の主電源が投入されていない時であっても前記車両のドアへの操作に応じて、前記カメラ、前記条件判定部、前記各機能部の少なくとも１つを機能させる電源制御部を備えると好適である。多機能カメラシステムは、車両の主電源が投入されていないとき、例えば駐車されている車両に乗車する際や、主電源を切った後、例えば車両を駐車して下車する際にも実行させたい機能部を有している。しかし、駐車中も含めて常に全ての機能部に電力を供給しておくと、車両のバッテリを消耗し、好ましくない。上記構成によれば、車両の主電源が投入されていないときは電源制御部が機能し、車両のドアへの操作に応じて必要な機能部に電力を供給することになる。従って、省電力で利便性の高い多機能カメラシステムが構築される。
　ここで、前記車両のドアへの操作は、前記車両に到達した人物が前記車両の車室外に設けられたドアハンドルに触れたこととすることができる。また、前記車両のドアへの操作は、前記車両の運転者を含む前記車両の搭乗者が前記車両の車室内に設けられたドアハンドルに触れたこととすることができる。ドアハンドルへの接触を検出することにより、より早く車両のドアへの操作を検出することができ、電源制御部を介して、カメラや条件判定部を含む各機能部へ早期に電力の供給を開始し、それらを実行させることが可能となる。
　車両重量を増加させるような機構を備えることなく、低コストで車載のカメラを複数の用途に適用できる。
多機能カメラシステムの一例を模試的に示すブロック図である。 カメラの設置箇所の一例を示す斜視図である。 カメラの撮影範囲の一例を示す説明図である。 乗車時の多機能カメラシステムの動作例を示すフローチャートである。 ブラインドモニタ部の動作例を示すフローチャートである。 障害物検出部の動作例を示すフローチャートである。 下車時の多機能カメラシステムの動作例を示すフローチャートである。 多機能カメラシステムの動作と撮影範囲との関係を示す説明図である。 多機能カメラシステムの動作と撮影範囲との関係を示す説明図である。
　以下、本発明の実施形態を図面に基づいて説明する。多機能カメラシステム１０は、図１、図２、図３に示すように、車両１００の側面においてドアハンドル６１に固定され、車両１００の側方を撮影するカメラ１を有している。本実施形態においては、カメラ１が固定される車両部品はドアハンドル６１であるが、当然ながら他の部品であってもよい。例えば、当該車両部品は、ドア６０のドアパネルであってもよいし、サイドミラーやフェンダーであってもよい。また、カメラ１がドアハンドル６１に固定される場合においても、ハンドル本体６１ａに設置されてもよいし、ハンドルキャップ６１ｂに設置されてもよい。
　本実施形態では、車両１００は、側面に４つのドア６０を有している。具体的には、車両１００は、運転席ドア６０Ａ、助手席ドア６０Ｂ、運転席側後部ドア６０Ｃ、助手席側後部ドア６０Ｄを有している。各ドア６０の形態は本実施形態に限定されるものではないが、本実施形態においては、運転席ドア６０Ａと助手席ドア６０Ｂとは、車両１００の前方側を支点として回動するスイングドアである。一方、運転席側後部ドア６０Ｃと助手席側後部ドア６０Ｄとは、スライドドアである。
　カメラ１は、運転席ドア６０Ａと助手席ドア６０Ｂとに１つずつ設置される。当然ながら、２つに限定されることなく、後部ドア６０Ｃ及び６０Ｄにも設置されて、合計３つ以上のカメラが車両１００に設置されてもよい。本実施形態においては、カメラ１Ａは、運転席ドア６０Ａのドアハンドル６１Ａに光軸を固定して設置され、カメラ１Ｂは、助手席ドア６０Ｂのドアハンドル６１Ｂに光軸を固定して設置される。カメラ１は、視野角がおよそ１８０度の広角カメラであり、５～１０度程度の俯角を有して設置されると好適である。カメラ１は、俯角を有していても、ドア６０の近傍において地上から２ｍ程度の高さまでを撮影範囲に含み、ドア６０の脇に立つ人物の頭部を撮影可能である。また、カメラ１は、１秒間に１５～６０フレームの動画像をデジタル撮影可能なデジタルカメラである。図３に示すように、カメラ１の撮影範囲Ｅは、車両１００の側面、側面側の前端及び後端を含む。詳細は後述するが、撮影範囲Ｅの内、前方側をＦ、後方側をＲとする。カメラ１Ａと１Ｂの撮影範囲Ｅを区別する場合、カメラ１Ａの撮影範囲をＥ１、Ｅ１の前方側をＦ１、Ｅ１の後方側をＲ１と表記する。一方、カメラ１Ｂの撮影範囲をＥ２、Ｅ２の前方側をＦ２、Ｅ２の後方側をＲ２と表記する。
　図１に示すように、多機能カメラシステム１０は、条件判定部３、ブラインドモニタ部４、障害物検出部５、個人認証部６、などの複数の機能部を有している。本発明の機能部とは、多機能カメラシステム１０を構成する各部であり、広義には、カメラ１も含んでいる。ブラインドモニタ部４と、障害物検出部５と、個人認証部６とは、カメラ１を複数の用途に適用する際の「各用途」を実現する機能部であり、特に区別する場合には、用途機能部と称する。本実施形態においては、ブラインドモニタ部４と、障害物検出部５と、個人認証部６とを例示しているが、当然他の用途を実現する用途機能部が、多機能カメラシステム１０に含まれてもよい。例えば、車両１００の駐車時に運転者を案内する駐車支援部が多機能カメラシステム１０に含まれてもよい。逆に、カメラ１を複数の用途に適用する多機能カメラシステム１０には少なくとも２つの用途機能部が含まれていればよく、例えば、用途機能部として障害物検出部５及び個人認証部６のみを有したシステムであってもよい。
　ブラインドモニタ部４は、カメラ１により撮影された撮影範囲Ｅの情景を含む撮影画像を車室内の表示装置２０へ出力する機能部である。この撮影画像には、車両１００の運転者からの死角の情景が含まれている。運転者からの死角とは、フェンダーの横や、フェンダーやドア６０の下方などである。また、表示装置２０は、車室内に設置された液晶ディスプレイなどのモニタ装置である。表示装置２０は、ブラインドモニタ部４専用のものが設置されてもよいが、オーディオ装置の情報表示部や、ナビゲーションシステムの表示部が兼用されてもよい。
　障害物検出部５は、撮影画像に基づいて、車両１００の周辺に存在する物体、又は車両１００に接近する移動体を画像認識により障害物として検出する機能部である。ここで、物体とは、例えば縁石やポールなどであり、移動体とは、例えば歩行者や自転車、オートバイ、自動車などである。静止物体及び移動体の画像認識は、公知の画像処理手法によって実行される。
　個人認証部６は、撮影画像に基づく画像認識により、車両１００に到達した人物が車両１００に予め登録された利用者であるか否かを認証する機能部である。この認証は、顔認識、目の虹彩認識、指紋認識、静脈認識などの公知の手法によって実行される。
　ブラインドモニタ部４と、障害物検出部５と、個人認証部６とは、機能部ごとの実行条件を判定する条件判定部３の判定結果に基づいて、それぞれの機能を実行する。条件判定部３は、運転者を含む車両１００の搭乗者により撮影画像の表示を指示された際に、ブラインドモニタ部４の実行条件が成立すると判定する。ここで、搭乗者による指示とは、例えば、車室内に設けられた表示スイッチ２１（図１参照）を操作することである。表示スイッチ２１は、専用のスイッチでもよいし、表示装置２０がタッチパネルを有する際には当該タッチパネルに設定されてもよい。表示スイッチ２１を介した指示には、カメラ１Ａ又はカメラ１Ｂの撮影画像の何れかを選択する指示や、双方を表示させる指示、また、部分拡大などの指示も含む。
　また、条件判定部３は、障害物検出部５により障害物が認識された際にブラインドモニタ部４の実行条件が成立すると判定する。障害物検出部５は、障害物を検出すると撮影画像の表示要求を発する。条件判定部３は、この表示要求に基づき、ブラインドモニタ部４の実行条件が成立すると判定する。運転者は、撮影画像を見ることによって、障害物検出部５の検出結果をその真偽も含めて早期に確認することができる。
　また、条件判定部３は、車両１００が一時停車を含む走行中であるとき、障害物検出部５の実行条件が成立すると判定する。具体的には、イグニッションスイッチがオン状態であるなど、車両１００の主電源が投入されているとき、条件判定部３は、イグニッション信号などに基づいて、障害物検出部５の実行条件が成立すると判定する。内燃機関とモータとを駆動源とするハイブリッド自動車や、モータを駆動源とする電気自動車では、いわゆる内燃機関を始動させるためのイグニッションスイッチが無い場合がある。しかし、これらの車両においても、車両の駆動源を有効にするために主電源（メインスイッチ）は存在する。従って、主電源が投入され、アクセルの操作、ブレーキの解除などによって、車両１００が走行可能な状態であるとき、条件判定部３は、車両１００が一時停車を含む走行中であるとして、障害物検出部５の実行条件が成立すると判定する。また、条件判定部３は、主電源が切断され、車両１００が走行可能な状態ではないときであっても、車両１００が施錠されずに停車している際には障害物検出部５の実行条件が成立すると判定する。これは、例えば、主電源を切断して、搭乗者が下車しようとしている時などに相当する。
　また、条件判定部３は、車両１００が走行中ではなく、施錠されて停車している際には個人認証部６の実行条件が成立すると判定する。車両１００が走行中ではない時は、上述したように、主電源が投入されておらず、アクセルの操作、ブレーキの解除などによっても、車両１００が走行できない状態である。この状態において、車両１００が施錠されて停車しているとき、つまり、駐車されているときに個人認証部６の実行条件が成立すると判定する。
　さらに、条件判定部３は、車両１００の撮影範囲Ｆに相当する前方側の側方に対する画像認識と、撮影範囲Ｒに相当する後方側の側方に対する画像認識との何れを優先的に実行するかの優先条件を判定する。詳細は後述するが、障害物検出部５は、条件判定部３による優先条件の判定結果に基づいて、前方側（Ｆ）と後方側（Ｒ）との何れかに対する画像認識を優先的に実行する。上述したように、本実施形態においては、車両１００は、車両１００の前方側を支点として回動するスイングドア（ドア６０Ａ、６０Ｂ）を有している。条件判定部３は、スイングドア６０Ａ、６０Ｂの開き度合いに応じて優先条件を判定する。具体的には、スイングドア６０Ａ、６０Ｂの開き度合いが所定の開き度合い（優先しきい値）よりも小さい時には前方側（Ｆ）の画像認識を優先させる判定を行う。スイングドア６０Ａ、６０Ｂの開き度合いが所定の開き度合い（優先しきい値）以上の時には後方側（Ｒ）の画像認識を優先させる判定を行う。
　上述したように、カメラ１Ａ及び１Ｂは、それぞれスイングドア６０Ａ及び６０Ｂに設置される。具体的には、スイングドア６０Ａ及び６０Ｂに設置される車両部品であるドアハンドル６１Ａ及び６１Ｂに設置される。従って、光軸を固定して設置されるカメラ１（１Ａ及び１Ｂ）も、スイングドア６０（６０Ａ及び６０Ｂ）の回動に応じて移動することになり、撮影画像もそれに伴って変化する。一方、車体は動いていないので、スイングドア６０やドアハンドル６１（６１Ａ及び６１Ｂ）とは別の車両部品や車体などの位置は撮影画像の中で移動することとなる。そこで、本実施形態では、多機能カメラシステム１０は、さらに、撮影画像に基づいて、画像処理によってスイングドア６０の開き度合いを演算する開度演算部７を有する。
　開度演算部７は、ドア６０やドアハンドル６１とは別の、カメラ１の移動によって撮影画像の中で移動する車両部品や車体などの位置の相対的な移動量（変化量）により、スイングドアの開き度合いを演算する。ここで、別の車両部品や車体などには、例えば、バンパーやタイヤ、ホイール、車体外板の隙間や端部などが相当する。勿論、スイングドア６０に別途センサ等を設置して開き度合いを検出することも可能である。しかし、開度演算部７は、画像処理によってスイングドア６０の開き度合いを演算するので、当該センサを設ける必要がなくなり、生産コストを低減することができる。
　上述した多機能カメラシステム１０の各機能部、具体的には、カメラ１、条件判定部３、ブラインドモニタ部４、障害物検出部５、個人認証部６、開度演算部７は、車両１００の主電源が投入されている際に、電力の供給を受けて機能するものである。しかし、例えば、個人認証部６は、車両１００が走行中ではなく、施錠されて停車している際に実行条件が成立するが、主電源が未投入では電力の供給を受けることができず、その機能が実行できないことになる。また、障害物検出部５は、主電源が切断され、車両１００が走行可能な状態ではないときであっても、車両１００が施錠されずに停車している際には実行条件が成立するが、電力の供給を受けることができず、その機能が実行できないことになる。また、実行条件を判定する条件判定部３も、主電源が未投入では電力の供給を受けることができず、判定ができないことになる。
　そこで、多機能カメラシステム１０は、さらに、車両１００の主電源が投入されていない時であっても、所定の条件の元で所定の機能部へ電力を供給する電源制御部８を備えている。電源制御部８は、車両１００の主電源が投入されているか否かに拘わらず機能する。そして、電源制御部８は、車両１００の主電源が投入されていない時であってもドア６０への操作に応じて、各機能部の少なくとも１つを機能させる。具体的には、電源制御部８は、カメラ１、条件判定部３、及び各用途機能部の少なくとも１つを機能させる。本実施形態では、電源制御部８は、カメラ１、条件判定部３、ブラインドモニタ部４、障害物検出部５、個人認証部６の少なくとも１つを機能させる。ここで、「ドア６０への操作」は、車両１００に到達した人物が車室外に設けられたドアハンドル６１に触れたこととすることができる。また、「ドア６０への操作」は、車両１００の運転者を含む搭乗者が車室内に設けられたドアハンドルに触れたこととすることができる。これら、「ドア６０への操作」については、具体的な例を用いて後述する。 
　さて、多機能カメラシステム１０の各機能部、特に、用途機能部であるブラインドモニタ部４、障害物検出部５、個人認証部６は、個別の装置として構成されてもよいが、本実施形態では、マイクロコンピュータ（ＣＰＵ）１２ｃを有するＥＣＵ（electronic control unit）１２を中核として構成される。つまり、各機能部は、マイクロコンピュータ（ＣＰＵ）１２ｃを中核とするハードウェアと、プログラムメモリ１２ｐに格納されたソフトウェアとの協働により実現される。カメラ１により撮影された撮影画像は、画像インターフェースユニット１１を介してＥＣＵ１２に入力される。ＥＣＵ１２は、ワークメモリ１２ｗを有しており、適宜、撮影画像やその他の一時データを記憶して画像処理などの演算処理を実施する。尚、ＣＰＵ１２ｃとプログラムメモリ１２ｐとワークメモリ１２ｗとは、当然ながら１つのプロセッサとして集積されていてもよい。ＥＣＵ１２は、ブザーなどの警報装置３０や表示装置２０とも連携する。
　また、ＥＣＵ１２は、ＣＡＮ（controller area network）などの車内ネットワーク５０により、他のＥＣＵとも連携する。本実施形態においては、ＥＣＵ１２は、車内ネットワーク５０を介して４つの各ドア６０を制御するドア制御システム４０と連携している。４つのドア制御システム４０は、それぞれ、運転席ドア制御システム４０Ａ、助手席ドア制御システム４０Ｂ、運転席側後部ドア制御システム４０Ｃ、助手席側後部ドア制御システム４０Ｄである。４つのドア制御システム４０は、それぞれ、システムの中核となるドアＥＣＵ４１（４１Ａ、４１Ｂ、４１Ｃ、４１Ｄ）、ドアが開いているかどうかなどの状態を検出するドアセンサ４２（４２Ａ、４２Ｂ、４２Ｃ、４２Ｄ）、電動によりドアの施解錠を行うロックアクチュエータ４３（４３Ａ、４３Ｂ、４３Ｃ、４３Ｄ）、電動によりドアの開閉を行う開閉アクチュエータ４４（４４Ａ、４４Ｂ、４４Ｃ、４４Ｄ）を備えている。本実施形態では、車内ネットワーク５０を介してＥＣＵ１２とドア制御システム４０とが連携する例を示したが、当然ながら、ＥＣＵ１２とドア制御システム４０とが専用線で接続されてもよい。
　ドアＥＣＵ４１は、多機能カメラシステム１０のＥＣＵ１２と同様に、マイクロコンピュータなどを中核として構成される。ドアセンサ４２は、単純にドア６０が車体に締結された状態か、締結が解除された状態かを検出するドアスイッチであってもよい。また、スイングドア６０Ａや６０Ｂの開き度合いを検出するセンサでもよく、また、車室内に設けられたドアハンドル（ドアノブ）への操作の有無を検出センサであってもよい。ロックアクチュエータ４３は、例えばソレノイドであり、ドアＥＣＵ４１の制御によりドア６０を施解錠する。開閉アクチュエータ４４は、例えばモータである。後部ドアであるドア６０Ｃ及び６０Ｄがスライドドアである場合には、開閉アクチュエータ４４は、ドアＥＣＵ４１の制御によりドア６０Ｃ及び６０Ｄを全開から全閉の間で開閉する。運転席ドア６０Ａ、助手席ドア６０Ｂのようにスイングドアである場合には、開閉アクチュエータ４４は、全開から全閉の間でドア６０を開閉させることなく、全閉から少し開くまでの間など、限られた範囲を開閉するものであってよい。また、自動的に開閉させることに限定されることはなく、開閉アクチュエータ４４は、手動による開閉を抑制するために用いられてもよい。
　運転席ドア制御システム４０Ａ及び助手席ドア制御システム４０Ｂは、さらに、車外にタッチセンサ４５（４５Ａ、４５Ｂ）を有して構成される。タッチセンサ４５は、例えば静電容量センサであり、図２に示すようにドアハンドル６１のドア６０と対面する側に内蔵される。図２は運転席ドア６０Ａを例示しているが、助手席ドア６０Ｂも同様である。タッチセンサ４５は、ドア６０を開けるためにドアハンドル６１を操作しようとする利用者の手がドアハンドル６１に触れたことを検出する。タッチセンサ４５には、車両１００の主電源が投入されているか否かに拘わらず常時、微弱な電力を供給しり、間欠的に電力を供給したりすると好適である。タッチセンサ４５は、この実施形態に限定されることなく、ドアハンドル６０がドア６０と対面する側とは反対側にスイッチを設け、利用者がこのスイッチを操作することを検出するものであってもよい。
　多機能カメラシステム１０は、上述したような車両１００の各装備と連携して、種々の場面において種々の機能を発揮する。以下、図４～図７に示すフローチャート、図８及び図９に示す説明図も利用して、各場面における多機能カメラシステム１０の動作を説明する。
　はじめに、図４を利用して、乗車時の多機能カメラシステム１０の動作例を説明する。車両１００は、走行中ではなく、施錠されて停車しているものとする。上述したように、タッチセンサ４５には、常時、微弱な電力が供給されたり、間欠的に電力が供給されたりしている。そのため、車両１００の主電源が投入されているか否かに拘わらず利用者によるドアハンドル６１への操作を検出可能である。タッチセンサ４５の検出結果は、車内ネットワーク５０を介してＥＣＵ１２へ伝達される。
　ここで、ＥＣＵ１２のＣＰＵ１２ｃは、タッチセンサ４５の検出結果を割り込みとして受け付けると好適である。ＣＰＵ１２ｃは、省電力モードなどで休止していても、タッチセンサ４５の検出結果を受け付けることによって、再起動（ウェイクアップ）される。このような割り込みの受け付けや、ＣＰＵ１２ｃの再起動は、電源制御部８が主体となって実行する。電源制御部８は、タッチセンサ４５による検出が有ったと判定すると、カメラ１、条件判定部３、個人認証部６へ一定期間の実行を指示する（＃１１、＃１２）。電源制御部８は、運転席ドア６０Ａのタッチセンサ４５Ａから検出結果を受け取った場合にはカメラ１Ａのみを起動し、助手席ドア６０Ｂのタッチセンサ４５Ｂから検出結果を受け取った場合にはカメラ１Ｂのみを起動すると省電力である。また、タッチセンサ４５が利用者の操作を検出していない側において個人認証を実行しないことにより、誤って認証が成立してしまうことを抑制できるので、セキュリティ上も好適である。
　起動された条件判定部３は、車両１００が走行中ではなく、施錠されて停車していることから、個人認証部６の実行条件が成立すると判定する。個人認証部３は、実行条件が成立したことにより、撮影画像を画像認識して撮影画像中の人物が予め当該車両１００に登録された利用者であるか否かを認証する。認証結果が合格であった場合には、ＥＣＵ１２からドア制御システム４０（４０Ａ～４０Ｄ）へロック解除指示が伝達される（＃１３、＃１４）。ＥＣＵ１２はロック解除指示を伝達すると処理を終了する。ドア制御システム４０の各ドアＥＣＵ４１（４１Ａ～４１Ｄ）により各ロックアクチュエータ４３（４３Ａ～４３Ｄ）が制御されて車両１００が解錠される。認証結果が不合格であった場合には、ＥＣＵ１２は処理を終了する。
　カメラ１、条件判定部３、個人認証部６は、電源制御部８により一定期間実行し、一定期間を経過すると再び省電力モードなどで休止状態となる。個人認証が不合格である場合に、カメラ１などに電力を供給すると電力が無駄になる可能性がある。また、個人認証が成功し、ドア６０を開けて利用者が乗車した場合でも、直ぐに主電源を投入して車両１００を発進させるとは限らない。従って、合格・不合格によらず、個人認証が終わった後は、再び省電力モードなどで休止状態となると好適である。尚、本実施形態では、「一定期間」としたが、これに限定されるものではない。そのまま通常動作をさせておき、個人認証が不合格となった時や、個人認証が成功してドア６０が開いた時、などの別の事象をトリガとして休止状態に戻ってもよい。
　次に、図５を利用して、ブラインドモニタ部４の動作例を説明する。ここでは、車両１００の主電源が投入されているものとして説明する。つまり、車両１００が一時停車を含む走行中であるものとして説明する。カメラ１、ＥＣＵ１２など、多機能カメラシステム１０の各部は、休止状態ではなく通常実行状態である。条件判定部３は、表示要求があるか否かを判定し（＃２１）、表示要求がある場合には、ブラインドモニタ部４に撮影画像の表示を指示する（＃２２）。ブラインドモニタ部４は、画像インターフェースユニット１１及び表示装置２０に撮影画像表示の指示を出し、表示装置２０に撮影画像が表示される。尚、撮影画像表示の指示には、カメラ１Ａ又はカメラ１Ｂの撮影画像の何れかを選択する指示や、双方を表示させる指示、また、部分拡大などの指示も含む。
　条件判定部３は、障害物検出部５により障害物が認識された際にブラインドモニタ部４の実行条件が成立すると判定する。また、条件判定部３は、運転者を含む車両１００の搭乗者により表示スイッチ２１が操作されたなど、撮影画像の表示を指示された際に、ブラインドモニタ部４の実行条件が成立すると判定する。例えば、表示スイッチ２１が操作された際に、電源制御部８がＥＣＵ１２を再起動するように構成されていれば、図４に示した手順と同様に、車両１００に主電源が投入されていない時でもブラインドモニタ部４を実行させることが可能である。
　次に、図６を利用して、障害物検出部５の動作例を説明する。ここでは、車両１００の主電源が投入されているものとして、又は上述したように主電源が未投入で一定期間、電力の供給を受けて動作しているものとして説明する。条件判定部３は、車両１００が一時停車を含む走行中であるとき、障害物検出部５の実行条件が成立すると判定する。障害物検出部５は、各フレーム（撮影画像）間の差分や、１枚のフレーム内のパターンマッチング等の公知の画像認識技術により、撮影画像中の障害物の有無や接近を検出する。障害物検出部５は、障害物を検出すると、ブザーなどの警報装置３０に警報の発信を指示する（＃３２）。また、ブラインドモニタ部４に対して撮影画像の表示要求を行う（＃３３）。この際、検出された障害物の位置に応じて、前方側Ｆ又は後方側Ｒを拡大するような指示を付加してもよい。ブラインドモニタ部４は画像インターフェースユニット１１と連携して拡大された撮影画像を表示装置２０に表示させることができる。撮影画像の表示要求を受けたブラインドモニタ部４の動作については、図５に基づいて上述した通りである。
　尚、上述したように、条件判定部３は、主電源が未投入で車両１００が走行可能な状態ではないときであっても、車両１００が施錠されずに停車している際には障害物検出部５の実行条件が成立すると判定する。これは、例えば、主電源を切断して、搭乗者が下車しようとしている時などに相当する。以下、図７を利用して、下車時の多機能カメラシステムの動作例について説明する。
　はじめに、ドアセンサ４２の検出があるか否かが、電源制御部８により判定される（＃４１）。上述したように、ドアセンサ４２は、単純にドア６０が車体に締結された状態か締結が解除された状態かを検出するドアスイッチであってもよいし、車室内に設けられたドアハンドル（ドアノブ）への操作の有無を検出するセンサであってもよい。例えば、操作の有無の検出は、運転者を含む搭乗者が室内に設けられたドアハンドル（ドアノブ）に触れたことの検出とすることができる。
　つまり、搭乗者が、車外に出ようとしていることを、好ましくはドア６０が開き始める前に検出可能な検出手段であればよい。ドアセンサ４２により搭乗者が下車しようとしていることの検出が有った場合には、次に電源制御部８は、主電源が投入されているか否かを判定する（＃４２）。そして、主電源が投入されていない場合には、少なくとも、カメラ１、条件判定部３、ブラインドモニタ部４、障害物検出部５に対して一定期間の実行を指示する（＃４３）。つまり、個人認証部６について説明したものと同様に、休止状態のＣＰＵ１２ｃを起動させる。この一定期間は、個人認証部６が機能する際と同じ期間でもよいし、異なる期間であってもよい。尚、本実施形態では、「一定期間」としたが、これに限定されるものではない。ＣＰＵ１２ｃが起動された後、そのまま通常動作をさせておき、ドア６０が閉まる、ドア６０が施錠されるなどの別の事象をトリガとして休止状態に戻ってもよい。
　また、搭乗者が下車しようとしていることを検出したドアセンサ４２が配置されている側のカメラを休止状態から起動するように構成すると、電力を無駄に消費することがなく好適である。例えば、運転席ドア６０Ａのドアセンサ４２Ａ、又は運転席側後部ドア６０Ｃのドアセンサ４２Ｃにより検出された場合には、運転席ドア６０Ａに設置されたカメラ１Ａが起動される。助手席ドア６０Ｂのドアセンサ４２Ｂ、又は助手席側後部ドア６０Ｄのドアセンサ４２Ｄにより検出された場合には、助手席ドア６０Ｂに設置されたカメラ１Ｂが起動される。
　上記では、主電源を切断して、搭乗者が下車しようとしている時を想定して説明したが、主電源が投入状態で、即ち車両１００が一時停車している時に搭乗者が一時的に下車することもある。この場合には、ドアセンサ４２の検出があるか無いかの判定＃４１を電源制御部８ではなく、条件判定部３や障害物検出部５が実行してもよい。主電源が投入されているとき、条件判定部３は、障害物検出部５の実行条件が成立すると判定するので、既に条件判定部３や障害物検出部５も動作しているからである。実質的に、ＣＰＵ１２ｃが有する割り込み受け付け機能がドアセンサ４２の検出結果を受け付ければ足りるので、厳密に判定処理＃４１を実行する機能部を何れか１つの機能部に限定する必要はない。プログラムの進行に応じて、適宜複数の機能部により実行可能に構成されていてもよい。
　ここでは、搭乗者が下車しようとしているドア６０が、スイングドアである運転席ドア６０Ａ又は助手席ドア６０Ｂであるとして以下説明を続ける。条件判定部３は、ドア６０の開き度が優先しきい値未満か否かを判定する（＃４４）。つまり、ドア６０Ａ（又は６０Ｂ）の開き度合いが所定の開き度合いである優先しきい値よりも小さいか否かを判定する。ドア６０Ａの開き度合いが小さい時には搭乗者が下車するために、ドア６０Ａは図８における矢印Ｙの方向へさらに開かれていく。この時、ドア６０Ａの近傍に、縁石などの障害物が存在すると、ドア６０Ａがこの障害物に接触する可能性がある。従って、撮影範囲Ｅの内、前方側Ｆの画像認識を優先させるように、条件判定部３は、ドア６０Ａ（又は６０Ｂ）の開き度合いに応じて優先条件を判定する（＃４４、＃４６）。
　一方、ドア６０Ａ（又は６０Ｂ）の開き度合いが所定の開き度合いである優先しきい値以上の場合には、条件判定部３は、撮影範囲Ｅの内、後方側Ｒの画像認識を優先させるように、ドア６０Ａ（又は６０Ｂ）の開き度合いに応じて優先条件を判定する（＃４４、＃４７）。この時には、図８における矢印Ｚの方向（車両１００の後方）から接近する歩行者や自転車、他の車両などの移動体が、開いたドア６０Ａ（６０Ｂ）に接触する可能性があり、このような移動体を検出する必要があるからである。尚、ドア６０Ａ（６０Ｂ）の開き度が所定の開放しきい値以上となると、図９に示すように障害物検出の意義が低下する。つまり、車両１００の後方から接近する移動体は撮影範囲Ｅに入らず、撮影範囲Ｅの前方側Ｆは車両１００を撮影することになる。従って、ドア６０Ａ（６０Ｂ）の開き度が所定の開放しきい値以上となると障害物検出処理が終了される（＃４５）。
　障害物検出部５は、障害物を検出するとドア制御システム４０に対してドア開放抑制指示を発する（＃４８、＃４９）。ドアＥＣＵ４１は、開閉アクチュエータ４４を制御して、ドア６０の開閉を抑制する。さらに、障害物検出部５は、図６に基づいて上述したように、ブザーなどの警報装置３０に警報を発するように指示し（＃５０）、ブラインドモニタ部４に対して撮影画像の表示要求を出力する（＃５１）。尚、搭乗者は、下車に際して、車両１００の側方に、溝などが存在するか否かを確認するために、図５に基づいて上述したしたように、自発的にブラインドモニタ部４に対して表示装置２０への撮影画像の表示を指示することもできる。
　上記説明においては、搭乗者がスイングドアである運転席ドア６０Ａ及び助手席ドア６０Ｂから下車する例を用いたが、搭乗者がスライドドアである後部ドア６０Ｃ及び６０Ｄから下車する際にも障害物検出部５が障害物を検出すると好適である。但し、後部ドア６０Ｃ及び６０Ｄの可動部及び乗降口は、カメラ１よりも後方に存在するので、ドアの開き度による判定は必要なく、撮影範囲Ｅの全体を検出範囲としてよい。又は、処理＃４４を実行することなく、処理＃４５、＃４７に進み、後方側Ｒを優先してもよい。対象となるドア６０が何れであるかについては、検出結果を出力したドアセンサ４２により明らかであるから、ドア６０に応じた障害物検出が可能である。
　上述した実施形態においては、多機能カメラシステム１０の構成と、その効用を理解しやすいようにカメラ１がドアハンドル６１に設置された場合を例として説明した。当業者であれば、その実施形態を参考に、カメラ１をドアミラーに設置して同様の多機能カメラシステム１０を構築することが可能であろうが、そのような改変も本発明の技術的範囲に属するものである。サイドミラーにカメラ１が設置される場合にはサイドミラーが使用状態にある時と、格納状態にある時とによって、撮影範囲Ｅが異なることになる。しかし、サイドミラーの状態を検出し、サイドミラーの状態に応じた撮影画像を用いて画像処理を実行することで複数の機能を発揮する多機能カメラシステム１０が構成可能である。サイドミラーの状態の検出は、開度演算部７と同様に撮影画像中における車両１００の部位の存在位置を画像処理により認識することによって行われてもよい。
　例えば、使用状態のサイドミラーの最も側方側にカメラ１が設置され、視野角が１８０～１９０度程度あれば、ドアハンドル６１にカメラ１が設置された場合とほぼ同等の撮影範囲Ｅが確保される。また、サイドミラーが格納状態においても、サイドミラーよりも車両１００の後方側については、ドアハンドル６１にカメラ１が設置された場合とほぼ同等の撮影範囲Ｅ（後方側Ｒ）が確保される。従って、ドアミラーの姿勢によって上記において説明した実施形態の一部機能が限定されることにはなるが、車両部品に固定され、カメラ自身は姿勢変更しないカメラ１を用いた多機能カメラシステム１０は充分に実現可能である。
　以上、説明したように、本発明によれば、車両重量を増加させるような機構を備えることなく、低コストで車載のカメラを複数の用途に適用できる技術が実現される。
　本発明は、車両に搭載されたカメラを複数の用途に使用できる多機能カメラシステムに利用することができる。
１、１Ａ、１Ｂ：カメラ
３：条件判定部
４：ブラインドモニタ部
５：障害物検出部
６：個人認証部
７：開度演算部
８：電源制御部
１０：多機能カメラシステム
２０：表示装置
６０、６０Ａ、６０Ｂ、６０Ｃ、６０Ｄ：ドア（車両部品）
６０Ａ、６０Ｂ：スイングドア
６１：ドアハンドル（車両部品）
１００：車両
Ｅ、Ｅ１、Ｅ２：撮影範囲
Ｆ、Ｆ１、Ｆ２：前方側
Ｒ、Ｒ１、Ｒ２：後方側 

Claims (9)

  1. 　車両の側面において車両部品に固定され、当該車両の側方を撮影するカメラと、
    　複数の機能部の実行条件を判定する条件判定部と、
    　前記条件判定部の判定結果に基づいて実行され、前記カメラの撮影画像に基づいて、前記車両の周辺に存在する又は前記車両に接近する障害物を画像認識により検出する前記機能部としての障害物検出部と、
    　前記条件判定部の判定結果に基づいて実行され、前記カメラの撮影画像に基づいて、前記車両に到達した人物が前記車両に予め登録された利用者であるか否かを画像認識により認証する前記機能部としての個人認証部と、を有する多機能カメラシステム。
  2. 　前記条件判定部は、
    　前記車両が一時停車を含む走行中、又は施錠されずに停車している際には前記障害物検出部の実行条件が成立すると判定し、
    　前記車両が前記走行中ではなく、施錠されて停車している際には前記個人認証部の実行条件が成立すると判定する、請求項１に記載の多機能カメラシステム。
  3. 　前記条件判定部の判定結果に基づいて実行され、前記車両の運転者からの死角の情景を含む、前記カメラにより撮影された撮影画像を車室内の表示装置へ出力する前記機能部としてのブラインドモニタ部を備え、
    　前記条件判定部は、前記運転者を含む前記車両の搭乗者により前記撮影画像の表示を指示された際、又は前記障害物検出部により障害物が認識された際に前記ブラインドモニタ部の実行条件が成立すると判定する請求項１又は２に記載の多機能カメラシステム。
  4. 　前記条件判定部は、前記車両の前方側の側方に対する画像認識と、後方側の側方に対する画像認識との何れを優先的に実行するかの優先条件を判定し、
    　前記障害物検出部は、前記条件判定部の判定結果に基づいて、前方側と後方側との何れかに対する画像認識を優先的に実行する請求項１～３の何れか一項に記載の多機能カメラシステム。
  5. 　前記車両は、前記車両の前方側を支点として回動するスイングドアを有し、
    　前記条件判定部は、前記スイングドアの開き度合いに応じて前記優先条件を判定するものであり、前記スイングドアの開き度合いが所定の開き度合いよりも小さい時には前方側の画像認識を優先させ、前記スイングドアの開き度合いが所定の開き度合い以上の時には後方側の画像認識を優先させると判定する請求項４に記載の多機能カメラシステム。
  6. 　前記カメラの撮影画像に基づいて、前記スイングドアの開き度合いを演算する開度演算部を有し、
    　前記カメラは前記スイングドア又は前記スイングドアに設置される車両部品に設置される請求項５に記載の多機能カメラシステム。
  7. 　前記カメラ、前記条件判定部、前記複数の機能部は、前記車両の主電源が投入されている際に機能するものであり、
    　当該多機能カメラシステムは、さらに、前記車両の主電源が投入されているか否かに拘わらず機能し、前記車両の主電源が投入されていない時であっても前記車両のドアへの操作に応じて、前記カメラ、前記条件判定部、前記各機能部の少なくとも１つを機能させる電源制御部を備える請求項１～６の何れか一項に記載の多機能カメラシステム。
  8. 　前記車両のドアへの操作は、前記車両に到達した人物が前記車両の車室外に設けられたドアハンドルに触れたことである請求項７に記載の多機能カメラシステム。
  9. 　前記車両のドアへの操作は、前記車両の運転者を含む前記車両の搭乗者が前記車両の車室内に設けられたドアハンドルに触れたことである請求項７に記載の多機能カメラシステム。
PCT/JP2010/068507 2009-11-13 2010-10-20 多機能カメラシステム Ceased WO2011058856A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
EP20100829816 EP2500218B1 (en) 2009-11-13 2010-10-20 Multi-function camera system
US13/509,186 US20120217764A1 (en) 2009-11-13 2010-10-20 Multi-function camera system
CN201080051506.5A CN102596656B (zh) 2009-11-13 2010-10-20 多功能摄像机系统
KR1020127014779A KR101369866B1 (ko) 2009-11-13 2010-10-20 다기능 카메라 시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2009-259767 2009-11-13
JP2009259767A JP5360491B2 (ja) 2009-11-13 2009-11-13 多機能カメラシステム

Publications (1)

Publication Number Publication Date
WO2011058856A1 true WO2011058856A1 (ja) 2011-05-19

Family

ID=43991516

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2010/068507 Ceased WO2011058856A1 (ja) 2009-11-13 2010-10-20 多機能カメラシステム

Country Status (6)

Country Link
US (1) US20120217764A1 (ja)
EP (1) EP2500218B1 (ja)
JP (1) JP5360491B2 (ja)
KR (1) KR101369866B1 (ja)
CN (1) CN102596656B (ja)
WO (1) WO2011058856A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2738337A4 (en) * 2011-07-29 2014-12-31 Panasonic Corp DEVICE FOR CONTROLLING AN OPENING / LOCKING ELEMENT OF A VALVE
US11613196B2 (en) * 2020-02-12 2023-03-28 Toyota Jidosha Kabushiki Kaisha Ramp system for vehicle

Families Citing this family (56)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5619873B2 (ja) * 2010-03-26 2014-11-05 本田技研工業株式会社 車両の運転を支援するための装置
JP5270779B1 (ja) * 2012-05-24 2013-08-21 スキルネット株式会社 車両用バックミラー及び車両
DE102013200777A1 (de) * 2013-01-18 2014-07-24 Ford Global Technologies, Llc Verfahren und Vorrichtung für Fahrzeugzugangskontrolle
US9451062B2 (en) * 2013-09-30 2016-09-20 Verizon Patent And Licensing Inc. Mobile device edge view display insert
KR102092625B1 (ko) 2013-10-15 2020-04-14 현대모비스 주식회사 차량 상태 경보 방법 및 이를 위한 장치
US9499125B2 (en) 2013-10-29 2016-11-22 Volkswagen Aktiengesellschaft Vehicle system for activating a vehicle component to provide vehicle access
CN103552506B (zh) * 2013-11-06 2017-09-29 武汉双微电气股份有限公司 汽车太阳能环景监视安全预警系统
CN103711414A (zh) * 2013-12-04 2014-04-09 阿格柏格内诺·迪塞尔·阿格波佐豪 窗户着色垫
CN104063991B (zh) * 2014-06-28 2017-06-30 宁波吉利汽车研究开发有限公司 一种下车安全提醒装置及其检测方法
US20160026881A1 (en) * 2014-07-22 2016-01-28 Vislab S.R.L. Lateral obstacle detection apparatus for a motor vehicle, motor vehicle comprising that apparatus and process for detecting lateral obstacles during the travel of a motor vehicle
DE102014220646A1 (de) * 2014-10-13 2016-04-14 Bayerische Motoren Werke Aktiengesellschaft Nutzung einer Bus-Leitung zur Übertragung alternativer Signalcodierungen
JP6211506B2 (ja) * 2014-12-03 2017-10-11 アイシン精機株式会社 車両用開閉体の開閉検知装置
US9815385B2 (en) * 2015-03-27 2017-11-14 Ford Global Technologies, Llc Vehicle front seat adjustment based on anthropometric characteristics of a rear passenger
US20160300410A1 (en) * 2015-04-10 2016-10-13 Jaguar Land Rover Limited Door Access System for a Vehicle
DE102015206453A1 (de) * 2015-04-10 2016-10-13 Conti Temic Microelectronic Gmbh Überwachungsvorrichtung und verfahren zum überwachen eines bereichs vor einer fahrzeugtür
WO2016186255A1 (ko) * 2015-05-18 2016-11-24 엘지전자 주식회사 자동차의 알림 시스템 및 제어 방법
US20170036599A1 (en) * 2015-08-06 2017-02-09 Ford Global Technologies, Llc Vehicle display and mirror
JP6672744B2 (ja) * 2015-11-27 2020-03-25 アイシン精機株式会社 車両ドアロックシステム
KR102503945B1 (ko) * 2015-12-01 2023-02-27 엘지전자 주식회사 워치 타입의 이동 단말기 및 그 제어 방법
DE202016000477U1 (de) * 2016-01-27 2017-04-28 Gm Global Technology Operations, Llc Seitentür eines Kraftfahrzeugs mit integrierter Kamera
EP3442829B1 (en) * 2016-04-15 2021-03-03 Volvo Truck Corporation Camera used as a vehicle size reference and vehicle equipped with the same
CN105966357A (zh) * 2016-05-10 2016-09-28 北京新能源汽车股份有限公司 车辆的控制方法、装置和车辆
JP6583688B2 (ja) 2016-05-27 2019-10-02 三井金属アクト株式会社 画像情報認証システム
EP3957504B1 (en) 2016-08-23 2024-06-12 Alpha Corporation Vehicle door outside handle device, vehicle door, and vehicle
DE102016224746A1 (de) * 2016-12-12 2018-06-14 Continental Automotive Gmbh Zugangs- und/oder Startvorrichtung für ein Fahrzeug
JP6807771B2 (ja) 2017-02-20 2021-01-06 株式会社アルファ 車両用監視装置
JP6760867B2 (ja) * 2017-02-20 2020-09-23 株式会社アルファ 車両用周辺監視装置
US10173643B2 (en) 2017-02-20 2019-01-08 Ford Global Technologies, Llc Object detection for vehicles
JP2018144686A (ja) * 2017-03-07 2018-09-20 オムロン株式会社 搭乗者支援装置、方法及びプログラム
US10752192B2 (en) 2017-03-16 2020-08-25 Robert Bosch Gmbh Intelligent event system and method for a vehicle
CN108874116B (zh) * 2017-05-12 2022-11-08 宝马股份公司 用于特定于用户的功能的系统、方法、设备以及车辆
JP6534711B2 (ja) * 2017-09-07 2019-06-26 本田技研工業株式会社 車体構造体及び車両
DE102017129787A1 (de) * 2017-12-13 2019-06-13 HELLA GmbH & Co. KGaA Fahrzeug mit einer Kamera zur Erfassung eines Körperteils eines Benutzers und Verfahren für den Betrieb des Fahrzeugs
DE102017223160B4 (de) 2017-12-19 2019-10-24 Volkswagen Aktiengesellschaft Verfahren zum Erkennen von zumindest einem an einem Kraftfahrzeug anliegenden Objekt sowie Steuervorrichtung und Kraftfahrzeug
JP7091798B2 (ja) * 2018-04-13 2022-06-28 トヨタ自動車株式会社 車両充電システム、及び車両充電システムの認証方法
CN108846924A (zh) * 2018-05-31 2018-11-20 上海商汤智能科技有限公司 车辆及车门解锁控制方法、装置和车门解锁系统
US11383676B2 (en) 2018-05-31 2022-07-12 Shanghai Sensetime Intelligent Technology Co., Ltd Vehicles, vehicle door unlocking control methods and apparatuses, and vehicle door unlocking systems
CN108983620B (zh) * 2018-06-22 2021-10-22 联想(北京)有限公司 一种控制方法、装置及电子设备
JP7103146B2 (ja) * 2018-10-12 2022-07-20 トヨタ自動車株式会社 携帯端末装置および車両制御システム
KR102570058B1 (ko) * 2018-12-17 2023-08-23 현대자동차주식회사 차량 및 그 제어방법
JP7237684B2 (ja) * 2019-03-27 2023-03-13 本田技研工業株式会社 車両制御装置、車両制御方法、およびプログラム
JP7100604B2 (ja) * 2019-03-29 2022-07-13 本田技研工業株式会社 車両制御システム
WO2020261368A1 (ja) * 2019-06-25 2020-12-30 日本電気株式会社 虹彩認証装置、虹彩認証方法、コンピュータプログラム及び記録媒体
JP7151643B2 (ja) * 2019-06-28 2022-10-12 株式会社デンソー 車両用装置
JP7411420B2 (ja) * 2020-01-15 2024-01-11 本田技研工業株式会社 車両制御装置及び開閉体動作方法
JP7358263B2 (ja) * 2020-02-12 2023-10-10 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム
JP7419122B2 (ja) * 2020-03-18 2024-01-22 本田技研工業株式会社 車両制御装置、車両制御方法、及び車両制御用プログラム
JP7354056B2 (ja) * 2020-05-27 2023-10-02 本田技研工業株式会社 車両制御システム、及び車両制御方法
JP7399790B2 (ja) * 2020-05-27 2023-12-18 本田技研工業株式会社 エントリー支援システム、エントリー支援方法、及びエントリー支援プログラム
US12252095B2 (en) * 2020-08-25 2025-03-18 Deere & Company Work vehicle, door state determination system, and method of determining state of work vehicle door
JP6999761B2 (ja) * 2020-09-03 2022-01-19 株式会社アルファ 車両用周辺監視装置
JP2022133769A (ja) * 2021-03-02 2022-09-14 本田技研工業株式会社 車両制御装置、及び車両制御方法
JP7604949B2 (ja) * 2021-03-03 2024-12-24 富士通株式会社 表示制御プログラム、表示制御方法及び表示制御装置
CN116201439B (zh) * 2021-11-30 2025-04-08 比亚迪股份有限公司 车门开启的控制方法及控制装置、车辆控制器
CN115891912A (zh) * 2022-10-09 2023-04-04 广州汽车集团股份有限公司 车辆的控制方法、装置、电子设备及存储介质
EP4629204A1 (en) * 2024-04-04 2025-10-08 Valeo Comfort and Driving Assistance Unlocking system, method implemented in an electronic system, computer program product and non-transitory information storage medium

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003301639A (ja) * 2002-04-12 2003-10-24 Kenwood Corp 車両用使用者認証装置及び車両盗難防止方法
JP2005088759A (ja) 2003-09-17 2005-04-07 Calsonic Kansei Corp 幅寄せカメラ
JP2006117198A (ja) * 2004-10-25 2006-05-11 Toyota Motor Corp 車両の制御装置
JP2006168553A (ja) 2004-12-16 2006-06-29 Toyota Motor Corp 画像情報認証システム
JP2006182234A (ja) 2004-12-28 2006-07-13 Nissan Motor Co Ltd 車載カメラシステム、撮影方法及びドアミラー
JP2007153193A (ja) 2005-12-07 2007-06-21 Nissan Motor Co Ltd 車両用ドア開閉制御装置
JP2008195268A (ja) * 2007-02-14 2008-08-28 Denso Corp 車両周辺監視装置
JP2008207627A (ja) * 2007-02-23 2008-09-11 Auto Network Gijutsu Kenkyusho:Kk 車載撮像システム、撮像装置及び表示制御装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3298851B2 (ja) * 1999-08-18 2002-07-08 松下電器産業株式会社 多機能車載カメラシステムと多機能車載カメラの画像表示方法
US6323761B1 (en) * 2000-06-03 2001-11-27 Sam Mog Son Vehicular security access system
US6498970B2 (en) * 2001-04-17 2002-12-24 Koninklijke Phillips Electronics N.V. Automatic access to an automobile via biometrics
WO2003034738A1 (en) * 2001-10-10 2003-04-24 Matsushita Electric Industrial Co., Ltd. Image processor
DE10229033A1 (de) * 2002-06-28 2004-01-22 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen einer Unfallgefahr
JP4385871B2 (ja) * 2004-06-30 2009-12-16 トヨタ自動車株式会社 車両盗難防止装置
DE102004049054A1 (de) * 2004-10-08 2006-04-20 Conti Temic Microelectronic Gmbh Unfallwarnvorrichtung für ein Fahrzeug
US7493202B2 (en) * 2004-11-12 2009-02-17 Takata Corporation Vehicle safety control system by image processing
US8924078B2 (en) * 2004-11-18 2014-12-30 Gentex Corporation Image acquisition and processing system for vehicle equipment control
JP2006224873A (ja) * 2005-02-18 2006-08-31 Denso Corp 車両周辺監視装置
DE102005014581A1 (de) * 2005-03-24 2006-09-28 Valeo Schalter Und Sensoren Gmbh Verfahren und Vorrichtung zur Vermeidung von Kollisionen beim Öffnen von Fahrzeugtüren
JP4929869B2 (ja) * 2006-06-21 2012-05-09 三菱電機株式会社 車載運転支援カメラ装置
US8694195B2 (en) * 2007-12-04 2014-04-08 Volkswagen Ag Motor vehicle having a wheel-view camera and method for controlling a wheel-view camera system
JP2009190463A (ja) * 2008-02-12 2009-08-27 Toyota Motor Corp 駐車支援装置
JP2009208741A (ja) * 2008-03-06 2009-09-17 Aisin Seiki Co Ltd 支援システム

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003301639A (ja) * 2002-04-12 2003-10-24 Kenwood Corp 車両用使用者認証装置及び車両盗難防止方法
JP2005088759A (ja) 2003-09-17 2005-04-07 Calsonic Kansei Corp 幅寄せカメラ
JP2006117198A (ja) * 2004-10-25 2006-05-11 Toyota Motor Corp 車両の制御装置
JP2006168553A (ja) 2004-12-16 2006-06-29 Toyota Motor Corp 画像情報認証システム
JP2006182234A (ja) 2004-12-28 2006-07-13 Nissan Motor Co Ltd 車載カメラシステム、撮影方法及びドアミラー
JP2007153193A (ja) 2005-12-07 2007-06-21 Nissan Motor Co Ltd 車両用ドア開閉制御装置
JP2008195268A (ja) * 2007-02-14 2008-08-28 Denso Corp 車両周辺監視装置
JP2008207627A (ja) * 2007-02-23 2008-09-11 Auto Network Gijutsu Kenkyusho:Kk 車載撮像システム、撮像装置及び表示制御装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2500218A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2738337A4 (en) * 2011-07-29 2014-12-31 Panasonic Corp DEVICE FOR CONTROLLING AN OPENING / LOCKING ELEMENT OF A VALVE
US9030291B2 (en) 2011-07-29 2015-05-12 Panasonic Intellectual Property Management Co., Ltd. Apparatus for controlling vehicle opening/closing element
US11613196B2 (en) * 2020-02-12 2023-03-28 Toyota Jidosha Kabushiki Kaisha Ramp system for vehicle

Also Published As

Publication number Publication date
JP2011105058A (ja) 2011-06-02
US20120217764A1 (en) 2012-08-30
CN102596656A (zh) 2012-07-18
KR20120091330A (ko) 2012-08-17
EP2500218A1 (en) 2012-09-19
EP2500218A4 (en) 2013-05-08
JP5360491B2 (ja) 2013-12-04
CN102596656B (zh) 2014-05-07
EP2500218B1 (en) 2014-04-23
KR101369866B1 (ko) 2014-03-05

Similar Documents

Publication Publication Date Title
JP5360491B2 (ja) 多機能カメラシステム
US9731714B2 (en) Vehicle apparatus
US9845048B1 (en) Car door opening pre-detection system
US10787168B2 (en) Automated parking device and automated parking method
US20160208537A1 (en) Door protection system
JP7410764B2 (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
CN108016353B (zh) 车用开门预先检测系统
US10815704B2 (en) Vehicle door outside handle device, vehicle door, and vehicle
KR20090035822A (ko) 차량 카메라 제어 시스템
JP2010013824A (ja) ドア制御装置および方法、並びに、プログラム
JP2006248364A (ja) 移動体のドライバー認証装置
CN105927066A (zh) 车辆发动机盖的解锁方法及系统
US20220306090A1 (en) Stop assist system
JP2009114783A (ja) 車両ドア開閉角度制御装置
JP7377747B2 (ja) 車両制御装置、車両制御方法、及び車両制御用プログラム
JP2008074296A (ja) 駐車支援機能付き車両
CN110884430B (zh) 车辆控制装置和车辆控制方法
KR20220123159A (ko) 사이드 카메라를 이용한 차량 제어 장치 및 방법
JP7161986B2 (ja) 車両起動制御装置、車両起動制御方法およびプログラム
US12420706B2 (en) Control device
JP7020077B2 (ja) 盗難防止装置
CN118457435A (zh) 后视镜控制方法、装置及车辆
JP2025085280A (ja) 認証システム
JP2025177403A (ja) 降車支援装置及びプログラム
JP2024124663A (ja) 車両制御装置、車両制御方法、及び、プログラム

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201080051506.5

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 10829816

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2010829816

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13509186

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 20127014779

Country of ref document: KR

Kind code of ref document: A