[go: up one dir, main page]

WO2020235670A1 - カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム - Google Patents

カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム Download PDF

Info

Publication number
WO2020235670A1
WO2020235670A1 PCT/JP2020/020270 JP2020020270W WO2020235670A1 WO 2020235670 A1 WO2020235670 A1 WO 2020235670A1 JP 2020020270 W JP2020020270 W JP 2020020270W WO 2020235670 A1 WO2020235670 A1 WO 2020235670A1
Authority
WO
WIPO (PCT)
Prior art keywords
camera
acceleration
information
vehicle
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2020/020270
Other languages
English (en)
French (fr)
Inventor
拓海 鈴木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
JVCKenwood Corp
Original Assignee
JVCKenwood Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by JVCKenwood Corp filed Critical JVCKenwood Corp
Priority to CN202080032473.3A priority Critical patent/CN113784875B/zh
Priority to EP20809832.7A priority patent/EP3958555B1/en
Publication of WO2020235670A1 publication Critical patent/WO2020235670A1/ja
Priority to US17/515,586 priority patent/US11783505B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D41/00—Fittings for identifying vehicles in case of collision; Fittings for marking or recording collision areas
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01C—MEASURING DISTANCES, LEVELS OR BEARINGS; SURVEYING; NAVIGATION; GYROSCOPIC INSTRUMENTS; PHOTOGRAMMETRY OR VIDEOGRAMMETRY
    • G01C21/00—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00
    • G01C21/10—Navigation; Navigational instruments not provided for in groups G01C1/00 - G01C19/00 by using measurements of speed or acceleration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • H04N17/002—Diagnosis, testing or measuring for television systems or their details for television cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/40—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the details of the power supply or the coupling to vehicle components
    • B60R2300/402—Image calibration
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30252—Vehicle exterior; Vicinity of vehicle
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30248—Vehicle exterior or interior
    • G06T2207/30268—Vehicle interior

Definitions

  • the present invention relates to a camera position detection device, a camera unit, a camera position detection method, and a program.
  • a camera may be attached to the vehicle to take an image of the surroundings of the vehicle. Further, as shown in Patent Document 1, for example, in a drive recorder that records an image captured by a camera in the event of a collision or the like, a plurality of cameras may be attached in order to image the surroundings of the vehicle.
  • each camera When a plurality of cameras are provided, it is necessary to specify the position of each camera, that is, which position the camera is capturing with respect to the vehicle, and input it to the control device of the camera. If this is not done, it may not be possible to identify which position the image of each camera captured with respect to the vehicle. However, for example, depending on the operator, it may be difficult to specify and input the image pickup position of the camera in advance, and it takes time and effort to specify the image pickup position for each of the plurality of cameras. Therefore, when a plurality of cameras are attached to a vehicle, it is required to appropriately and easily detect the imaging position of each camera.
  • the present embodiment is a camera position detecting device, a camera unit, and a camera position detecting method capable of appropriately and easily detecting the imaging position of each camera when a plurality of cameras are attached to the vehicle. , And the purpose of providing the program.
  • the camera position detection device is a camera position detection that detects an imaging position indicating which position the plurality of cameras mounted on the vehicle and equipped with an acceleration sensor are imaging with respect to the vehicle.
  • a plurality of reference camera information acquisition units for acquiring information on the imaging position and acceleration information detected by the acceleration sensor for a reference camera which is a device and is a part of the plurality of cameras.
  • the acceleration acquisition unit acquired for each of the cameras, the information on the imaging position of the reference camera, the information on the acceleration of the reference camera, and the acceleration of the set camera which is the camera other than the reference camera. It includes an imaging position detection unit that detects the imaging position of the set camera based on the information.
  • the camera unit includes the camera position detecting device and a plurality of the cameras.
  • the camera position detection method is a camera position detection method for detecting an imaging position indicating which position the plurality of cameras mounted on the vehicle and equipped with an acceleration sensor are imaging with respect to the vehicle.
  • a plurality of reference imaging position acquisition steps for acquiring reference imaging position information and acceleration information detected by the acceleration sensor for a reference camera which is a part of the plurality of cameras.
  • the acceleration acquisition step acquired for each of the cameras, the information on the imaging position of the reference camera, the information on the acceleration of the reference camera, and the acceleration of the set camera which is the camera other than the reference camera. It includes an imaging position detection step for detecting the imaging position of the set camera based on the information.
  • the program according to one aspect of the present embodiment is a program for causing a computer to detect an imaging position indicating which position the plurality of cameras mounted on the vehicle and equipped with an acceleration sensor are imaging with respect to the vehicle.
  • the reference imaging position acquisition step for acquiring the imaging position information of the reference camera, which is a part of the plurality of cameras, and the acceleration information detected by the acceleration sensor of the plurality of cameras. Based on the acceleration acquisition step acquired for each, the information on the imaging position of the reference camera, the information on the acceleration of the reference camera, and the information on the acceleration of the set camera which is the camera other than the reference camera.
  • the computer is made to execute the imaging position detection step of detecting the imaging position of the set camera.
  • the imaging position of the camera can be set appropriately and easily.
  • FIG. 1 is a schematic view of a camera unit according to the present embodiment.
  • FIG. 2 is a schematic block diagram of the camera unit according to the present embodiment.
  • FIG. 3 is a schematic diagram illustrating an imaging direction of the camera and an acceleration reference direction.
  • FIG. 4 is a diagram showing an example of a method of inputting information on the imaging position of the reference camera.
  • FIG. 5 is a diagram showing an example of a method of inputting information on the imaging position of the reference camera.
  • FIG. 6 is a schematic diagram for explaining the detection of the imaging direction.
  • FIG. 7 is a schematic diagram for explaining the detection of the imaging direction.
  • FIG. 8 is a flowchart illustrating a detection flow of an imaging position of a camera according to the present embodiment.
  • FIG. 9 is a flowchart illustrating a detection flow of an imaging position of a camera according to the present embodiment.
  • FIG. 10 is a schematic block diagram of a camera unit according to another example of the present embodiment.
  • FIG. 1 is a schematic view of a camera unit according to this embodiment.
  • the camera unit 1 according to the present embodiment has a camera position detecting device 10 and a plurality of cameras 12, and is mounted on the vehicle V.
  • the traveling direction of the vehicle V that is, the front direction seen from the vehicle V
  • the direction opposite to the traveling direction (direction Y1) of the vehicle V that is, the rear direction seen from the vehicle V
  • the direction Y2 the direction orthogonal to the direction X1 and the right direction seen from the vehicle V
  • the direction X1 and the right direction seen from the vehicle V is defined as the direction X1.
  • the direction opposite to the direction X1, that is, the left direction as seen from the vehicle V is defined as the direction X2.
  • the inside of the vehicle and the inside of the vehicle V refer to the space where the seat of the vehicle V is provided.
  • the outside of the vehicle refers to the space outside the vehicle V.
  • the camera position detection device 10 is a device provided in the vehicle V to detect the imaging position of the camera 12.
  • the camera 12 is mounted on the vehicle V and images the inside and outside of the vehicle V.
  • the cameras 12a, 12b, 12c, 12d, and 12e are provided as the camera 12.
  • the number of cameras 12 is not limited to five, and any number of cameras 12 is arbitrary.
  • the camera 12a is mounted on the direction Y1 side of the vehicle V.
  • the camera 12a is mounted on the vehicle V so that the imaging direction Aa faces the direction Y1.
  • the imaging direction refers to the direction in which the camera 12 images, and can be said to be the direction in which the lens faces. Therefore, the camera 12a images the direction Y1 side of the vehicle V. Furthermore, the camera 12a images the outside of the vehicle on the direction Y1 side of the vehicle V.
  • the camera 12a is provided on the inside of the windshield V1 of the vehicle V, that is, on the surface of the inside of the windshield V1, and the lens is directed in the direction Y1.
  • the camera 12a is not limited to being provided on the windshield V1.
  • the camera 12b is mounted on the direction Y2 side of the vehicle V.
  • the camera 12b is mounted on the vehicle V so that the imaging direction Ab faces the direction Y2. Therefore, the camera 12b images the direction Y2 side of the vehicle V. Furthermore, the camera 12b images the outside of the vehicle on the direction Y2 side of the vehicle V.
  • the camera 12b is provided on the inside of the rear glass V2 of the vehicle V, that is, on the surface of the inside of the rear glass V2, and the lens is directed in the direction Y2.
  • the camera 12b is not limited to being provided on the rear glass V2.
  • the camera 12c is mounted on the direction X1 side of the vehicle V.
  • the camera 12c is mounted on the vehicle V so that the imaging direction Ac faces the direction X1. Therefore, the camera 12c images the direction X1 side of the vehicle V. Furthermore, the camera 12c images the outside of the vehicle on the direction X1 side of the vehicle V.
  • the camera 12c is provided on the inside of the side glass V3 of the vehicle V, that is, on the surface of the inside of the side glass V3, and the lens is directed to the direction X1.
  • the camera 12c is not limited to being provided on the side glass V3.
  • the camera 12d is mounted on the direction X2 side of the vehicle V.
  • the camera 12d is mounted on the vehicle V so that the imaging direction Ad faces the direction X2. Therefore, the camera 12d images the direction X2 side of the vehicle V. Furthermore, the camera 12d images the outside of the vehicle on the direction X2 side of the vehicle V.
  • the camera 12d is provided on the inside of the side glass V4 of the vehicle V, that is, on the surface of the inside of the side glass V4, and the lens is directed to the direction X2.
  • the camera 12d is not limited to being provided on the side glass V4.
  • the camera 12e is mounted on the direction Y1 side of the vehicle V.
  • the camera 12e is mounted on the vehicle V so that the imaging direction Ae faces the direction Y2. Therefore, the camera 12e takes an image of the inside of the vehicle V from the Y1 side to the Y2 side of the vehicle V.
  • the camera 12e is provided on the inside of the windshield V1 of the vehicle V, that is, on the surface of the inside of the windshield V1, and the lens is directed in the direction Y2.
  • the camera 12e is not limited to being provided on the windshield V1.
  • the cameras 12a, 12b, 12c, and 12d have different imaging directions A. Further, the camera 12b and the camera 12e have the same imaging direction A in the direction Y2, but the objects to be imaged are different between the outside of the vehicle and the inside of the vehicle. That is, it can be said that the plurality of cameras 12 are attached to the vehicle A so that at least one of the imaging direction A and whether to image the inside of the vehicle or the outside of the vehicle is different from each other. It can be said that the image pickup direction A and the vehicle interior / exterior information indicating whether to image the inside of the vehicle or the outside of the vehicle are information indicating which position is being imaged with respect to the vehicle V. Describe. In other words, the imaging position refers to at least one of the imaging direction A and the information inside and outside the vehicle.
  • the imaging position of each camera 12, that is, which direction is imaged with respect to the vehicle V is determined by the vehicle V. It is necessary to identify whether the image was taken outside the vehicle or inside the vehicle.
  • the imaging position is not specified, it is not possible to specify where the image captured by the camera 12 is captured, the captured image cannot be displayed properly, or the obtained image is appropriately externalized. It may not be possible to send to. For example, even though the image is an image of the outside of the vehicle on the direction Y1 side, it may be displayed as an image of the outside of the vehicle on the direction Y2 side.
  • the user may specify the imaging position for each camera 12 and input the imaging position for each camera 12 to the device that manages the image. In this case, it is necessary to specify and input the imaging position for each camera 12, which is troublesome.
  • the camera position detecting device 10 identifies the imaging position for each camera 12 and sets the imaging position by executing the calibration process described later.
  • FIG. 2 is a schematic block diagram of the camera unit according to the present embodiment.
  • the camera 12 has an imaging unit 20 and an acceleration sensor 22.
  • the image pickup unit 20 is an image pickup apparatus including a lens and an image pickup element, and images the image pickup direction A.
  • the acceleration sensor 22 is a sensor that detects the acceleration of the camera 12.
  • the acceleration sensor 22 detects the magnitude of the acceleration acting on the camera 12 and the acceleration direction acting on the camera 12 as acceleration.
  • the acceleration direction is the direction of acceleration acting on the camera 12.
  • the camera 12 Since the position of the camera 12 is fixed with respect to the vehicle V, the camera 12 moves integrally with the vehicle V when the vehicle V travels. It can be said that the acceleration sensor 22 detects the acceleration between the camera 12 and the vehicle V.
  • the camera 12a is described as having an imaging unit 20 and an acceleration sensor 22, but in reality, all the cameras 12 have an imaging unit 20 and an acceleration sensor 22. And have.
  • FIG. 3 is a schematic diagram illustrating the imaging direction of the camera and the acceleration reference direction.
  • the acceleration reference direction B shown in FIG. 3 is a direction to be used as a reference for the acceleration direction.
  • the acceleration reference direction B is a direction that serves as a reference for the direction of acceleration acting on the camera 12 detected by the acceleration sensor 22. That is, the acceleration sensor 22 detects the direction of the acceleration acting on the camera 12 with respect to the acceleration reference direction B as the acceleration direction. Since the acceleration reference direction B is a direction fixed with respect to the acceleration sensor 22, the direction is also fixed with respect to the camera 12. Furthermore, the position of the camera 12 with respect to the imaging unit 20 of the acceleration sensor 22 is fixed.
  • the direction of the acceleration reference direction B is fixed with respect to the imaging direction A (the direction in which the imaging unit 20 faces).
  • the acceleration reference direction B is the same direction as the imaging direction A.
  • the acceleration reference direction B may be set to be inclined with respect to the imaging direction A.
  • the camera position detection device 10 is a device that acquires an captured image captured by the camera 12.
  • the camera position detection device 10 is a drive recorder that records an image captured by the camera 12, but is not limited to the drive recorder.
  • the camera position detection device 10 includes a connector unit C, an input unit 30, a display unit 32, a storage unit 34, a power supply unit 36, and a control unit 38.
  • the connector portion C is a connection terminal connected to the camera 12.
  • Each camera 12 is connected to the wiring L, and is connected to the camera position detecting device 10 by connecting the wiring L to the connector portion C. That is, the camera position detecting device 10 transmits / receives information to / from the camera 12 via the connector portion C and the wiring L.
  • the camera position detection device 10 is not limited to transmitting and receiving information to and from the camera 12 by wire in this way, and may transmit and receive information wirelessly, for example.
  • the input unit 30 is an input device that accepts user operations.
  • the input unit 30 may be a plurality of buttons, a touch panel, or the like.
  • the display unit 32 is a display device that displays an image captured by the camera 12.
  • the storage unit 34 is a memory that stores the calculation contents of the control unit 38, program information, and the like.
  • an external device such as a RAM (Random Access Memory), a ROM (Read Only Memory), and an HDD (Hard Disk Drive) Includes at least one of the storage devices.
  • the power supply unit 36 is a power supply that supplies electric power to each unit of the camera position detection device 10.
  • the control unit 38 is an arithmetic unit, that is, a CPU (Central Processing Unit).
  • the control unit 38 includes a reference camera information acquisition unit 50, an acceleration acquisition unit 52, an image acquisition unit 54, an image pickup position detection unit 56, and an image pickup position setting unit 58.
  • the reference camera information acquisition unit 50, the acceleration acquisition unit 52, the image acquisition unit 54, the image pickup position detection unit 56, and the image pickup position setting unit 58 are software (programs) in which the control unit 38 is stored in the storage unit 34. Is realized by reading, and the processing described later is executed.
  • the control unit 38 specifies and sets the imaging position of each camera 12 in the process described later, that is, the calibration process. That is, although the camera 12 is mounted on the vehicle V as shown in FIG. 1, for example, the camera position detecting device 10 does not specify the imaging position of the camera 12 at the time of executing the calibration process. In other words, it does not recognize where the camera 12 is mounted on the vehicle V. That is, for example, the camera 12b is mounted on the vehicle V so as to image the outside of the vehicle on the direction Y2 side of the vehicle V, but the camera position detecting device 10 is equipped with the imaging position of the camera 12b (the imaging direction is on the direction Y2 side). And image the outside of the vehicle), but it is not set.
  • the camera position detection device 10 identifies the imaging positions of all the cameras 12 by executing the subsequent processing.
  • the reference camera information acquisition unit 50 acquires information on the imaging position of the reference camera.
  • the information on the imaging position of the reference camera is the information input to the camera position detection device 10, and the reference camera information acquisition unit 50 acquires the input information on the imaging position of the reference camera.
  • the reference camera is a part of the cameras 12 among the plurality of cameras 12, and here, one camera. In the present embodiment, information on which camera the camera 12 serving as the reference imaging position is is input to the camera position detecting device 10.
  • the reference camera information acquisition unit 50 sets the camera 12, which is the reference imaging position, as the reference camera, and sets the reference imaging position as the imaging position of the reference camera.
  • the reference camera information acquisition unit 50 extracts the camera 12 that is the reference imaging position from the plurality of cameras 12 as the reference camera based on the input information.
  • the reference imaging position may be any imaging position, but in the present embodiment, the imaging direction is the direction Y1 side and the outside of the vehicle is imaged. Therefore, in this case, the information indicating the camera whose imaging direction is the direction Y1 side and images the outside of the vehicle is input to the camera position detecting device 10.
  • information that the camera 12a is the reference imaging position is input to the camera position detection device 10.
  • the reference camera information acquisition unit 50 sets the image pickup position of the camera 12a with the camera 12a as the reference camera, assuming that the image pickup direction is the direction Y1 side and the outside of the vehicle is imaged.
  • the reference camera information acquisition unit 50 acquires information indicating the camera 12 that is the reference imaging position.
  • the reference camera information acquisition unit 50 acquires information indicating the imaging position of any camera 12. There may be. That is, the reference camera information acquisition unit 50 may acquire a part of the cameras 12 among the plurality of cameras 12 in association with the imaging position of the cameras 12. In other words, the reference camera information acquisition unit 50 acquires information on the imaging position of the reference camera, and images the imaging direction A of the reference camera and the inside / outside information of the reference camera (either inside or outside the vehicle). It can be said that the information indicating whether or not the camera is acquired).
  • the information on the imaging position of the reference camera may be input, for example, by connecting the camera 12 to the connection portion C1 of the connector portion C.
  • the reference camera information acquisition unit 50 recognizes that the camera 12 is connected to the connection unit C1 because the camera 12 is connected to the connection unit C1 to enable communication with the camera 12.
  • the connection portion C1 is set to connect the camera 12 at the reference imaging position (here, the outside of the vehicle on the direction Y1 side is imaged). Therefore, the reference camera information acquisition unit 50 sets the camera 12 connected to the connection unit C1 as the camera (reference camera) at the reference imaging position. Further, as shown in FIG.
  • the image acquisition unit 54 may acquire the captured image of each camera 12 and display it on the display unit 32.
  • the captured image P for each camera 12 is displayed.
  • display Pa is performed to prompt the user to select the captured image P of the reference camera (front external camera in the example of FIG. 5) which is the reference imaging position.
  • the reference camera information acquisition unit 50 uses the camera 12 that has captured the captured image P selected by the user as the reference camera that serves as the reference imaging position. Set.
  • the method of inputting the information on the imaging position of the reference camera is not limited to these, and is arbitrary.
  • the camera 12 other than the reference camera among the cameras 12 will be appropriately referred to as a set camera. That is, the reference camera is the camera 12 to which the imaging position is input, and the set camera is a camera in which the imaging position is not input and the imaging position is specified by the camera position detecting device 10. It is preferable that the number of reference cameras into which the imaging position is input is one.
  • the acceleration acquisition unit 52 acquires the acceleration information of the vehicle V detected by the acceleration sensor 22 for each of the plurality of cameras 12. That is, the acceleration acquisition unit 52 acquires the acceleration detected by the acceleration sensor 22 of the reference camera and the acceleration detected by the acceleration sensor 22 of the set camera.
  • the user drives the vehicle V after the acquisition of the imaging position of the reference camera is completed.
  • the acceleration sensor 22 detects the acceleration when the vehicle V travels.
  • the acceleration acquisition unit 52 acquires information on the acceleration when the vehicle V travels from the acceleration sensors 22 of the respective cameras 12. As described above, the acceleration acquisition unit 52 acquires acceleration direction information from the acceleration sensor 22 of each camera 12 as acceleration information.
  • the image acquisition unit 54 acquires the captured image captured by each camera 12.
  • the captured image of the camera 12 acquired by the image acquisition unit 54 is used, for example, for inputting information on the imaging position of the reference camera as shown in FIG. 5 and for detecting information on the inside and outside of the vehicle of the set camera, which will be described later.
  • the captured image when used to detect the inside / outside information of the set camera is the image captured when the acceleration sensor 22 detects the acceleration direction, that is, the vehicle V travels after the acquisition of the imaging position of the reference camera is completed. It is preferable that the image is taken when the image is taken.
  • the imaging position detection unit 56 detects the imaging position of the set camera based on the imaging position information of the reference camera, the acceleration information of the reference camera, and the acceleration information of the set camera.
  • the image pickup position detection unit 56 includes a vehicle interior / outside information detection unit 60 and an image pickup direction detection unit 62.
  • the vehicle interior / exterior information detection unit 60 detects vehicle interior / exterior information among the imaging positions of the set camera.
  • the vehicle interior / exterior information detection unit 60 detects the vehicle interior / exterior information of the set camera based on the captured image of the camera 12 acquired by the image acquisition unit 54.
  • the vehicle interior / external information detection unit 60 analyzes the captured image of the camera 12 and calculates the brightness of the captured image.
  • the brightness of the captured image refers to the brightness of the captured image, for example, the average value of the brightness of the entire region of the captured image.
  • the vehicle interior / exterior information detection unit 60 detects vehicle interior / exterior information of the set camera based on the brightness of the image captured by the reference camera and the brightness of the image captured by the set camera.
  • the vehicle interior / external information detection unit 60 compares the brightness of the image captured by the set camera with the reference brightness, and if the brightness of the image captured by the set camera is equal to or higher than the reference brightness (reference brightness), the setting is made. It is determined that the camera is capturing the outside of the vehicle. On the other hand, if the brightness of the image captured by the set camera is less than the reference brightness, the vehicle interior / external information detection unit 60 determines that the set camera is capturing the inside of the vehicle.
  • the reference brightness is a value based on the brightness of the image captured by the reference camera.
  • the reference brightness is calculated by the vehicle interior / exterior information detection unit 60 based on the brightness of the image captured by the reference camera.
  • the vehicle interior / external information detection unit 60 calculates a value obtained by adding a predetermined value to the brightness of the image captured by the reference camera as the reference brightness.
  • the reference brightness is not limited to the calculation in this way and can be set arbitrarily.
  • the vehicle interior / outside information detection unit 60 determines that the set camera is capturing the outside of the vehicle. Therefore, the vehicle interior / outside information, that is, the inside and outside of the vehicle. It is possible to appropriately detect which of the two is being imaged.
  • the method of detecting the inside / outside information of the vehicle by the inside / outside information detection unit 60 is not limited to the above description.
  • the method of detecting the information inside and outside the vehicle will be described.
  • the vehicle interior / outside information detection unit 60 performs acceleration detection and imaging in the time zone during which the calibration process is performed, that is, from the brightness of the image captured by the reference camera. You may determine whether the time zone is the daylight hours or the sunset hours. In the example of the present embodiment, since the reference camera captures the outside of the vehicle, the vehicle interior / outside information detection unit 60 can determine whether it is the sunshine hours or the sunset hours based on the brightness of the image captured by the reference camera. ..
  • the vehicle interior / external information detection unit 60 determines that the brightness of the image captured by the reference camera is equal to or higher than a predetermined threshold brightness (threshold brightness) in the sunshine hours, and if it is smaller than the threshold brightness, the day is set. Judge that it is the time of death. Then, when the vehicle interior / external information detection unit 60 determines that it is in the sunshine hours, if the brightness of the image captured by the set camera is equal to or higher than the reference brightness, it determines that the vehicle exterior is being imaged. If the brightness is less than the standard brightness, it is judged that the inside of the vehicle is being imaged.
  • a predetermined threshold brightness threshold brightness
  • the vehicle interior / external information detection unit 60 determines that it is in the sunset time zone, if the brightness of the image captured by the set camera is equal to or higher than the reference brightness, it determines that the vehicle interior is being imaged and the reference. If it is less than the brightness, it is judged that the image is taken outside the vehicle. It is possible that the inside of the car is darker during the daylight hours and brighter inside the car during the sunset hours, so by changing the judgment method according to the time of day, the information inside and outside the car is appropriate. Can be detected.
  • the inside / outside information detection unit 60 detects whether there is an image of the light reflected by the glass of the vehicle V in the image captured by the set camera, and detects the image. Based on the result, the vehicle interior / external information of the set camera may be detected.
  • the camera 12 since the camera 12 is provided inside the vehicle V, when the outside of the vehicle is imaged, the outside of the vehicle is imaged through the glass (windshield V1 or the like) of the vehicle V. In this case, the light reflected by the glass of the vehicle V may enter the camera 12, and the camera 12 may capture an image of the light reflected by the glass of the vehicle V.
  • the vehicle interior / external information detection unit 60 analyzes the captured image of the set camera to determine whether the image of the light reflected by the glass of the vehicle V is captured, and the light reflected by the glass of the vehicle V. If there is an image of, it is determined that the camera to be set is capturing the outside of the vehicle, and if there is no image of the light reflected by the glass of the vehicle V, it is determined that the camera to be set is imaging the inside of the vehicle. ..
  • the image of the light reflected by the glass of the vehicle V may be an arbitrary image, but may be, for example, an image of its own camera 12 captured.
  • the vehicle interior / exterior information detection unit 60 detects vehicle interior / exterior information for all the cameras to be set by the above method.
  • the vehicle interior / exterior information detection unit 60 detects the vehicle interior / exterior information of the cameras 12b, 12c, 12d, and 12e to be set as being outside the vehicle, outside the vehicle, outside the vehicle, and inside the vehicle, respectively.
  • the imaging direction detection unit 62 detects the imaging direction A of the imaging positions of the set camera based on the acceleration direction information acquired by the acceleration acquisition unit 52.
  • 6 and 7 are schematic views for explaining the detection of the imaging direction.
  • the acceleration sensor 22 of each camera 12 detects the direction in which the vehicle V travels as the acceleration direction. That is, as shown in the example of FIG. 6, when the vehicle V is driven in the direction Y1, the acceleration direction Da detected by the camera 12a, the acceleration direction Db detected by the camera 12b, and the acceleration direction Dc detected by the camera 12c.
  • the acceleration direction Dd detected by the camera 12d and the acceleration direction De detected by the camera 12e are directions along the traveling direction Y1 when viewed from the vehicle V, respectively.
  • the acceleration direction D when the acceleration direction of each camera 12 is not distinguished, it is described as the acceleration direction D.
  • the acceleration reference direction B of the camera 12 shown in FIG. 3 is a fixed direction with respect to the mounting position of the acceleration sensor 22, that is, the direction of the image pickup direction A of the camera 12. Since the imaging direction A of the camera 12 is different for each camera 12, the acceleration reference direction B is also different for each camera 12.
  • the acceleration reference direction Ba of the camera 12a is the direction Y1 side
  • the acceleration reference direction Bb of the camera 12b is the direction Y2 side
  • the acceleration reference direction Bc of the camera 12c is the direction X1 side.
  • the acceleration reference direction Bd of the camera 12d is on the direction X2 side
  • the acceleration reference direction Be of the camera 12e is on the direction Y2 side.
  • the camera position detecting device 10 does not recognize which direction the acceleration reference direction B is facing.
  • the acceleration sensor 22 detects the acceleration direction D as a relative direction with respect to the acceleration reference direction B.
  • the acceleration direction D is the same for all cameras 12 as the direction Y1 when viewed from the vehicle V, but is different for each camera 12 when viewed as a relative direction with respect to the acceleration reference direction B.
  • the imaging direction detection unit 62 acquires the direction of the acceleration direction D when the acceleration direction D is viewed as a relative direction to the acceleration reference direction B for the set camera.
  • the acceleration direction Da of the camera 12a is on the front side with respect to the acceleration reference direction Ba, that is, the acceleration direction Da is in the same direction as the acceleration reference direction Ba.
  • the acceleration direction Db of the camera 12b is on the rear side with respect to the acceleration reference direction Bb, that is, the acceleration direction Db is opposite to the acceleration reference direction Bb.
  • the acceleration direction Dc of the camera 12c is on the left side with respect to the acceleration reference direction Bc.
  • the acceleration direction Dd of the camera 12d is on the right side with respect to the acceleration reference direction Bd.
  • the acceleration direction Dd of the camera 12e is on the rear side with respect to the acceleration reference direction Be.
  • the imaging direction detection unit 62 detects the relative orientation of the set camera based on the acceleration direction D of the reference camera and the acceleration direction D of the set camera.
  • the relative orientation of the set camera is the direction of the acceleration direction D of the set camera when viewed from the acceleration reference direction B with respect to the acceleration direction D of the reference camera when viewed from the acceleration reference direction B.
  • the acceleration direction Da of the camera 12a is the front direction when viewed from the acceleration reference direction Ba
  • the acceleration direction Db of the camera 12b is the rear direction when viewed from the acceleration reference direction Bb. Therefore, the relative orientation of the camera 12b is backward with respect to the camera 12a.
  • the relative direction of the camera 12c is the left direction with respect to the camera 12a.
  • the relative orientation of the camera 12d is to the right with respect to the camera 12a, and the relative orientation of the camera 12e is to the rear with respect to the camera 12a.
  • the relative orientation of the set camera coincides with the orientation of the acceleration direction D when the acceleration direction D is viewed as the relative direction with respect to the acceleration reference direction B.
  • the imaging direction detection unit 62 detects the imaging direction A of the set camera based on the relative orientation of the set camera detected in this way and the imaging direction A of the reference camera.
  • the image pickup direction detection unit 62 is on the side relative to the image pickup direction A of the reference camera.
  • the facing direction is defined as the imaging direction A of the set camera.
  • the relative orientations of the cameras 12b and 12e are backwards. Therefore, as shown in FIG.
  • the image pickup direction detection unit 62 sets the direction Y2, which is the rear direction (relative direction) with respect to the direction Y1 (the image pickup direction Aa of the camera 12a), as the image pickup directions Ab, Ae of the cameras 12b, 12e. To do. Further, when the relative direction of the camera 12 is not the front-rear direction, that is, when the acceleration directions of the reference camera and the set camera are not parallel (for example, when they are orthogonal to each other), the image pickup direction detection unit 62 refers to the image pickup direction A of the reference camera. The direction facing the opposite side to the relative direction is defined as the imaging direction A of the set camera. For example, the relative orientation of the camera 12c is to the left.
  • the image pickup direction detection unit 62 sets the direction X1 which is the right direction (the direction opposite to the relative direction) with respect to the direction Y1 (the image pickup direction Aa of the camera 12a) as the image pickup direction Ac of the camera 12c. Further, the image pickup direction detection unit 62 sets the direction X2, which is the left direction (opposite direction to the relative direction) with respect to the direction Y1 (the image pickup direction Aa of the camera 12a), as the image pickup direction Ad of the camera 12d.
  • the imaging direction detection unit 62 detects the imaging direction A for all the cameras to be set by the above method.
  • the image pickup position setting unit 58 sets the image pickup position detected by the image pickup position detection unit 56 for the set camera as the image pickup position of each set camera, and stores it in the storage unit 34. That is, the imaging position setting unit 58 sets the vehicle interior / external information detected by the vehicle interior / exterior information detection unit 60 for the set camera as the vehicle interior / outside information of each set camera, and stores the information in the storage unit 34. Further, the image pickup position setting unit 58 sets the image pickup direction A detected by the image pickup direction detection unit 62 for the set camera as the image pickup direction A of each set camera, and stores it in the storage unit 34. Since the reference camera information acquisition unit 50 has already acquired the imaging position of the reference camera, it is set according to the content acquired by the reference camera information acquisition unit 50 and stored in the storage unit 34.
  • FIG. 8 is a flowchart illustrating a detection flow of an imaging position of a camera according to the present embodiment.
  • the camera position detecting device 10 performs the calibration process in the case of the calibration mode (step S10; Yes). If it is not in the calibration mode (step S10; No), it returns to step S10 and waits.
  • the calibration mode is set by the user, for example, and is set to the calibration mode when the user inputs to the camera position detection device 10 to perform the calibration process.
  • each camera 12 is mounted on the vehicle V and connected to the camera position detecting device 10.
  • the camera position detection device 10 acquires information on the imaging position of the reference camera (step S12).
  • the camera position detection device 10 identifies the camera 12 as the reference imaging position based on, for example, the input of the user, and extracts it as the reference camera.
  • the camera position detecting device 10 may display an image prompting the vehicle V to travel on the display unit 32 in order to perform calibration.
  • the user drives the vehicle V.
  • the camera position detection device 10 causes the camera 12 to perform imaging and acceleration detection while the vehicle V is traveling.
  • the camera position detection device 10 acquires the acceleration information of the reference camera when the vehicle V travels by the acceleration acquisition unit 52, and the image acquisition unit 54 acquires the acceleration information of the vehicle V. Acquires an image captured by the reference camera when the vehicle travels (step S16). Then, the camera position detecting device 10 determines whether or not there is a camera to be set (step S18). That is, the camera position detecting device 10 determines whether or not there is a camera 12 whose imaging position has not been detected.
  • the camera position detection device 10 acquires the acceleration information of the camera to be set when the vehicle V travels by the acceleration acquisition unit 52, and the image acquisition unit 54 acquires the acceleration information of the vehicle.
  • the captured image of the set camera when V travels is acquired (step S20).
  • the camera position detection device 10 detects the inside / outside information of the set camera by the vehicle inside / outside information detection unit 60 (step S22), and detects the image pickup direction A of the set camera by the image pickup direction detection unit 62 (step S22). S24), the imaging position of the set camera is detected.
  • step S18 When the detection of the imaging position of the set camera is completed, the process returns to step S18, and continues to determine whether the set camera remains, that is, the camera 12 whose imaging position has not been detected remains.
  • step S18 When there is no camera to be set in step S18 (step S18), that is, when the detection of the imaging positions of all the cameras 12 is completed, this process ends.
  • FIG. 9 is a flowchart illustrating a detection flow of the imaging position of the camera according to the present embodiment.
  • FIG. 9 is a flowchart illustrating details of detection of the imaging position in steps S20 and S22 of FIG.
  • the vehicle interior / external information detection unit 60 calculates the brightness of the captured image based on the captured image of the camera 12 (step S30), and the brightness of the captured image of the set camera is equal to or higher than the reference brightness. It is determined whether or not (step S32). When the brightness of the image captured by the set camera is equal to or higher than the reference brightness (step S32; Yes), the vehicle interior / outside information detection unit 60 determines that the set camera is imaging the outside of the vehicle (step S34).
  • the vehicle interior / exterior information detection unit 60 determines that the set camera is imaging the inside of the vehicle (step S36). .. As a result, the information inside and outside the vehicle of the set camera is detected. Then, the imaging direction detection unit 62 detects the relative orientation of the set camera (step S37).
  • the relative direction refers to the direction of the acceleration direction D of the set camera when viewed from the acceleration reference direction B with respect to the acceleration direction D of the reference camera when viewed from the acceleration reference direction B.
  • the imaging direction detection unit 62 is set when the relative direction of the set camera is forward (step S38; Yes), that is, when the acceleration direction D of the set camera when viewed from the acceleration reference direction B is forward.
  • the imaging direction A of the camera is set to the direction Y1 (step S40).
  • the imaging direction detection unit 62 sets the imaging direction A of the set camera to the direction Y2 (step).
  • the image pickup direction detection unit 62 sets the image pickup direction A of the set camera to the direction X1 (step S48) when the relative direction of the set camera is not backward (step S42; No) but to the left (step S46). ).
  • the image pickup direction detection unit 62 sets the image pickup direction A of the set camera to the direction X2 (step S50).
  • the camera position detection device 10 is an image indicating which position the plurality of cameras 12 mounted on the vehicle V and equipped with the acceleration sensor 22 are imaging with respect to the vehicle V. Detect the position.
  • the camera position detection device 10 includes a reference camera information acquisition unit 50, an acceleration acquisition unit 52, and an imaging position detection unit 56.
  • the reference camera information acquisition unit 50 acquires information on the imaging position of the reference camera, which is a part of the plurality of cameras 12.
  • the acceleration acquisition unit 52 acquires the acceleration information detected by the acceleration sensor 22 for each of the plurality of cameras 12.
  • the imaging position detection unit 56 detects the imaging position of the set camera based on the imaging position information of the reference camera, the acceleration information of the reference camera, and the acceleration information of the set camera.
  • the camera position detection device 10 When displaying an image captured by the camera 12 or transmitting an image, it is necessary to specify the imaging position of each camera 12.
  • the camera position detection device 10 appropriately sets the image pickup position of the camera 12 in order to detect the image pickup position of the camera 12 based on the image pickup position of the reference camera and the acceleration information of each camera. Can be done. Further, when there are a plurality of cameras 12, for example, it is troublesome for the user to specify and set the imaging position of each camera 12.
  • the camera position detecting device 10 according to the present embodiment for example, the user simply inputs the imaging position of the reference camera and drives the vehicle V, and the imaging positions of all the cameras 12 are detected. Therefore, even when there are a plurality of cameras 12, the imaging position of each camera 12 can be easily set.
  • the reference camera information acquisition unit 50 acquires information on the imaging direction A of the reference camera as the imaging position.
  • the acceleration acquisition unit 52 acquires information on the acceleration direction D as acceleration information.
  • the image pickup position detection unit 56 detects the relative orientation of the set camera based on the acceleration direction D of the reference camera and the acceleration direction of the set camera by the image pickup direction detection unit 62.
  • the relative orientation is the orientation of the set camera in the acceleration direction D with respect to the acceleration direction D of the reference camera.
  • the imaging position detection unit 56 detects the imaging direction of the set camera as the imaging position based on the imaging direction A of the reference camera and the relative orientation of the set camera.
  • the camera position detecting device 10 detects the relative direction of the set camera in the acceleration direction D with respect to the acceleration direction D of the reference camera, so that the imaging direction of the set camera is the imaging direction of the reference camera. Detects which direction the camera is facing. As a result, the camera position detection device 10 can appropriately and easily set the imaging direction of the camera 12.
  • the imaging position detection unit 56 detects inside / outside information indicating whether the set camera is capturing the inside of the vehicle or the outside of the vehicle as the imaging position of the set camera.
  • the imaging position of the camera 12 can be appropriately set.
  • the camera position detection device 10 further has an image acquisition unit 54 that acquires an image captured by the camera 12.
  • the imaging position detection unit 56 detects the inside / outside information of the set camera based on the image captured by the camera 12. Since the camera position detecting device 10 according to the present embodiment detects the inside / outside information of the vehicle based on the image captured by the camera 12, it is possible to appropriately detect whether to image the inside of the vehicle or the outside of the vehicle.
  • the imaging position detection unit 56 detects the inside / outside information of the set camera based on the brightness of the image captured by the reference camera and the brightness of the image captured by the set camera. Since the camera position detecting device 10 according to the present embodiment detects the inside / outside information of the vehicle based on the brightness of the image captured by the camera 12, it is possible to appropriately detect whether to image the inside of the vehicle or the outside of the vehicle.
  • the imaging position detection unit 56 detects whether or not there is an image of light reflected by the glass of the vehicle V in the image captured by the set camera, and detects inside / outside information of the set camera based on the detection result. To do. Reflected light may be reflected in the camera 12. Since the information inside and outside the vehicle is detected based on the reflected light, it is possible to appropriately detect whether to image the inside of the vehicle or the outside of the vehicle.
  • the camera unit 1 includes a camera position detecting device 10 and a plurality of cameras 12.
  • the imaging position of each camera 12 can be easily and appropriately set.
  • FIG. 10 is a schematic block diagram of a camera unit according to another example of the present embodiment.
  • the camera position detecting device 10A may include a camera 12a. Even in this case, it is preferable that the other camera 12 is separate from the camera position detecting device 10A.
  • the embodiments of the present embodiment have been described above, the embodiments are not limited by the contents of these embodiments. Further, the above-mentioned components include those that can be easily assumed by those skilled in the art, those that are substantially the same, that is, those having a so-called equal range. Further, the components described above can be combined as appropriate, and the configurations of the respective embodiments can be combined. Further, various omissions, replacements or changes of components can be made without departing from the gist of the above-described embodiment.
  • the camera position detection device, camera unit, camera position detection method, and program of the present embodiment can be used, for example, in a camera unit for a vehicle.
  • Camera unit 10 Camera position detection device 12
  • Camera 20 Imaging unit 22
  • Reference camera information acquisition unit 52 Acceleration acquisition unit 54
  • Image acquisition unit 56 Imaging position detection unit 58
  • Imaging position setting unit 60 Vehicle interior / external information detection unit 62 Imaging direction detector A Imaging direction B Acceleration reference direction D Acceleration direction

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Combustion & Propulsion (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

カメラ位置検出装置（１０）は、車両に搭載されて加速度センサ（２２）を備える複数のカメラ（１２）が、車両に対してどの位置を撮像しているかを示す撮像位置を検出する。カメラ位置検出装置（１０）は、複数のカメラ（１２）のうちの一部のカメラ（１２）である基準カメラについての、撮像位置の情報を取得する基準カメラ情報取得部（５０）と、加速度センサ（２２）が検出した加速度の情報を、複数のカメラ（１２）のそれぞれについて取得する加速度取得部（５２）と、基準カメラの撮像位置の情報と、基準カメラの加速度の情報と、基準カメラ以外のカメラ（１２）である被設定カメラの加速度の情報と、に基づき、被設定カメラの撮像位置を検出する撮像位置検出部（５６）と、を備える。

Description

カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
　本発明は、カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラムに関する。
　車両にカメラを取り付け、車両の周囲を撮像する場合がある。また、例えば特許文献１に示すように、衝突事故などが起こった場合にカメラの撮像画像を記録するドライブレコーダにおいては、車両の周囲を撮像するために、複数のカメラを取り付ける場合がある。
特開２０１１－２５０１９３号公報
　複数のカメラを設ける場合、それぞれのカメラの位置、すなわちカメラが車両に対しどの位置を撮像しているかを特定して、カメラの制御装置に入力しておく必要がある。これが行われない場合、それぞれのカメラの画像が、車両に対してどの位置を撮像した画像であるかを特定できなくなるおそれがある。しかし、例えば作業者によっては、カメラの撮像位置を事前に特定して入力することが困難となる場合があり、また、複数のカメラのそれぞれについて撮像位置を特定することは手間を要する。従って、車両に複数のカメラを取り付ける場合に、それぞれのカメラの撮像位置を、適切にかつ容易に検出することが求められる。
　本実施形態は、上記課題に鑑み、車両に複数のカメラを取り付ける場合に、それぞれのカメラの撮像位置を、適切にかつ容易に検出することができるカメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラムを提供することを目的とする。
　本実施形態の一態様にかかるカメラ位置検出装置は、車両に搭載されて加速度センサを備える複数のカメラが、前記車両に対してどの位置を撮像しているかを示す撮像位置を検出するカメラ位置検出装置であって、複数の前記カメラのうちの一部のカメラである基準カメラについての、前記撮像位置の情報を取得する基準カメラ情報取得部と、前記加速度センサが検出した加速度の情報を、複数の前記カメラのそれぞれについて取得する加速度取得部と、前記基準カメラの前記撮像位置の情報と、前記基準カメラの前記加速度の情報と、前記基準カメラ以外の前記カメラである被設定カメラの前記加速度の情報と、に基づき、前記被設定カメラの撮像位置を検出する撮像位置検出部と、を備える。
　本実施形態の一態様にかかるカメラユニットは、前記カメラ位置検出装置と、複数の前記カメラと、を有する。
　本実施形態の一態様にかかるカメラ位置検出方法は、車両に搭載されて加速度センサを備える複数のカメラが、前記車両に対してどの位置を撮像しているかを示す撮像位置を検出するカメラ位置検出方法であって、複数の前記カメラのうちの一部のカメラである基準カメラについての、前記撮像位置の情報を取得する基準撮像位置取得ステップと、前記加速度センサが検出した加速度の情報を、複数の前記カメラのそれぞれについて取得する加速度取得ステップと、前記基準カメラの前記撮像位置の情報と、前記基準カメラの前記加速度の情報と、前記基準カメラ以外の前記カメラである被設定カメラの前記加速度の情報とに基づき、前記被設定カメラの撮像位置を検出する撮像位置検出ステップと、を備える。
　本実施形態の一態様にかかるプログラムは、車両に搭載されて加速度センサを備える複数のカメラが、前記車両に対してどの位置を撮像しているかを示す撮像位置をコンピュータに検出させるプログラムであって、複数の前記カメラのうちの一部のカメラである基準カメラについての、前記撮像位置の情報を取得する基準撮像位置取得ステップと、前記加速度センサが検出した加速度の情報を、複数の前記カメラのそれぞれについて取得する加速度取得ステップと、前記基準カメラの前記撮像位置の情報と、前記基準カメラの前記加速度の情報と、前記基準カメラ以外の前記カメラである被設定カメラの前記加速度の情報とに基づき、前記被設定カメラの撮像位置を検出する撮像位置検出ステップと、を前記コンピュータに実行させる。
　本実施形態によれば、カメラの撮像位置を、適切にかつ容易に設定することができる。
図１は、本実施形態に係るカメラユニットの模式図である。 図２は、本実施形態に係るカメラユニットの模式的なブロック図である。 図３は、カメラの撮像方向と加速度基準方向とを説明する模式図である。 図４は、基準カメラの撮像位置の情報の入力方法の例を示す図である。 図５は、基準カメラの撮像位置の情報の入力方法の例を示す図である。 図６は、撮像方向の検出を説明するための模式図である。 図７は、撮像方向の検出を説明するための模式図である。 図８は、本実施形態に係るカメラの撮像位置の検出フローを説明するフローチャートである。 図９は、本実施形態に係るカメラの撮像位置の検出フローを説明するフローチャートである。 図１０は、本実施形態の他の例に係るカメラユニットの模式的なブロック図である。
　以下に、本実施形態の実施形態を図面に基づいて詳細に説明する。なお、以下に説明する実施形態により本実施形態が限定されるものではない。
　図１は、本実施形態に係るカメラユニットの模式図である。図１に示すように、本実施形態に係るカメラユニット１は、カメラ位置検出装置１０と、複数のカメラ１２とを有し、車両Ｖに搭載される。以下、車両Ｖの進行方向、すなわち車両Ｖから見た前方向を、方向Ｙ１とする。また、車両Ｖの進行方向（方向Ｙ１）と反対方向、すなわち車両Ｖから見た後方向を、方向Ｙ２とする。また、方向Ｘ１に直交する方向であって、車両Ｖから見た右方向を、方向Ｘ１とする。また、方向Ｘ１と反対方向、すなわち車両Ｖから見た左方向を、方向Ｘ２とする。また、以下、車内とは、車両Ｖの内部とは、車両Ｖの座席が設けられる空間を指す。また、車外とは、車両Ｖの外部の空間を指す。
　カメラ位置検出装置１０は、車両Ｖ内に設けられ、カメラ１２の撮像位置を検出する装置である。カメラ１２は、車両Ｖに搭載され、車両Ｖの車内や車外を撮像する。本実施形態では、カメラ１２として、カメラ１２ａ、１２ｂ、１２ｃ、１２ｄ、１２ｅが設けられている。ただし、カメラ１２の数は、５つに限られず、複数であれば任意である。
　本実施形態において、カメラ１２ａは、車両Ｖの方向Ｙ１側に搭載される。カメラ１２ａは、撮像方向Ａａが、方向Ｙ１を向くように、車両Ｖに搭載される。撮像方向とは、カメラ１２が撮像する方向を指し、レンズが向く方向であるともいえる。従って、カメラ１２ａは、車両Ｖの方向Ｙ１側を撮像する。さらに言えば、カメラ１２ａは、車両Ｖの方向Ｙ１側における車外を撮像する。図１の例では、カメラ１２ａは、車両ＶのフロントガラスＶ１の内側、すなわちフロントガラスＶ１の車内側の表面に設けられ、レンズが方向Ｙ１に向けられている。ただし、カメラ１２ａは、フロントガラスＶ１に設けることに限られない。
　カメラ１２ｂは、車両Ｖの方向Ｙ２側に搭載される。カメラ１２ｂは、撮像方向Ａｂが、方向Ｙ２を向くように、車両Ｖに搭載される。従って、カメラ１２ｂは、車両Ｖの方向Ｙ２側を撮像する。さらに言えば、カメラ１２ｂは、車両Ｖの方向Ｙ２側における車外を撮像する。図１の例では、カメラ１２ｂは、車両ＶのリアガラスＶ２の内側、すなわちリアガラスＶ２の車内側の表面に設けられ、レンズが方向Ｙ２に向けられている。ただし、カメラ１２ｂは、リアガラスＶ２に設けることに限られない。
　カメラ１２ｃは、車両Ｖの方向Ｘ１側に搭載される。カメラ１２ｃは、撮像方向Ａｃが、方向Ｘ１を向くように、車両Ｖに搭載される。従って、カメラ１２ｃは、車両Ｖの方向Ｘ１側を撮像する。さらに言えば、カメラ１２ｃは、車両Ｖの方向Ｘ１側における車外を撮像する。図１の例では、カメラ１２ｃは、車両ＶのサイドガラスＶ３の内側、すなわちサイドガラスＶ３の車内側の表面に設けられ、レンズが方向Ｘ１に向けられている。ただし、カメラ１２ｃは、サイドガラスＶ３に設けることに限られない。
　カメラ１２ｄは、車両Ｖの方向Ｘ２側に搭載される。カメラ１２ｄは、撮像方向Ａｄが、方向Ｘ２を向くように、車両Ｖに搭載される。従って、カメラ１２ｄは、車両Ｖの方向Ｘ２側を撮像する。さらに言えば、カメラ１２ｄは、車両Ｖの方向Ｘ２側における車外を撮像する。図１の例では、カメラ１２ｄは、車両ＶのサイドガラスＶ４の内側、すなわちサイドガラスＶ４の車内側の表面に設けられ、レンズが方向Ｘ２に向けられている。ただし、カメラ１２ｄは、サイドガラスＶ４に設けることに限られない。
　カメラ１２ｅは、車両Ｖの方向Ｙ１側に搭載される。カメラ１２ｅは、撮像方向Ａｅが、方向Ｙ２を向くように、車両Ｖに搭載される。従って、カメラ１２ｅは、車両ＶのＹ１側からＹ２側に向けて、車両Ｖの車内を撮像する。図１の例では、カメラ１２ｅは、車両ＶのフロントガラスＶ１の内側、すなわちフロントガラスＶ１の車内側の表面に設けられ、レンズが方向Ｙ２に向けられている。ただし、カメラ１２ｅは、フロントガラスＶ１に設けることに限られない。
　このように、カメラ１２ａ、１２ｂ、１２ｃ、１２ｄは、撮像方向Ａの向きが互いに異なる。また、カメラ１２ｂとカメラ１２ｅとは、撮像方向Ａの向きが方向Ｙ２で同じであるが、撮像する対象が、車外と車内とで異なる。すなわち、複数のカメラ１２は、撮像方向Ａと、車内を撮像するか車外を撮像するかとの、少なくとも１つが互いに異なるように、車両Ａに取付けられているといえる。撮像方向Ａと、車内を撮像するか車外を撮像するかを示す車内外情報とは、車両Ｖに対してどの位置を撮像しているかを示す情報であると言えるので、以下適宜、撮像位置と記載する。言い換えれば、撮像位置は、撮像方向Ａと、車内外情報との、少なくとも１つを指す。
　ここで、カメラ１２が撮像した画像を表示したり、画像を送信したりする場合、それぞれのカメラ１２の撮像位置、すなわち、車両Ｖに対しどの方向を撮像したか（撮像方向）、車両Ｖの車外と車内とのどちらを撮像したかを、特定する必要がある。撮像位置を特定していない場合、カメラ１２の撮像画像が、どこを撮像した画像であるかを特定することができず、撮像画像を適切に表示できなかったり、求められた画像を適切に外部に送信できなくなったりするおそれがある。例えば、方向Ｙ１側の車外を撮像した画像であるのにかかわらず、方向Ｙ２側の車外を撮像した画像として表示されるおそれがある。また例えば、ユーザが、カメラ１２毎に撮像位置を特定して、画像を管理する装置に、カメラ１２毎の撮像位置を入力する場合がある。この場合においては、カメラ１２毎に撮像位置の特定と入力とが必要になり、手間を要する。それに対し、本実施形態に係るカメラ位置検出装置１０は、後述するキャリブレーション処理を実行することにより、カメラ１２毎に撮像位置を特定して、撮像位置を設定する。
　図２は、本実施形態に係るカメラユニットの模式的なブロック図である。図２に示すように、カメラ１２は、撮像部２０と加速度センサ２２とを有する。撮像部２０は、レンズ及び撮像素子を備える撮像装置であり、撮像方向Ａを撮像する。本実施形態では、撮像部２０は、所定のフレームレート毎に撮像を行うため、動画像を撮像しているといえる。加速度センサ２２は、カメラ１２の加速度を検出するセンサである。加速度センサ２２は、加速度として、カメラ１２に作用する加速度の大きさと、カメラ１２に作用する加速度方向とを、検出する。加速度方向とは、カメラ１２に作用する加速度の方向である。カメラ１２は、車両Ｖに対して位置が固定されているため、車両Ｖが走行した際に、車両Ｖと一体で移動する。加速度センサ２２は、カメラ１２と車両Ｖとの加速度を検出しているといえる。なお、図２の例では、便宜的に、カメラ１２ａが撮像部２０と加速度センサ２２とを有するように記載されているが、実際には、全てのカメラ１２が、撮像部２０と加速度センサ２２とを有する。
　図３は、カメラの撮像方向と加速度基準方向とを説明する模式図である。図３に示す加速度基準方向Ｂは、加速度方向の基準とする方向である。さらに言えば、加速度基準方向Ｂは、加速度センサ２２が検出するカメラ１２に作用する加速度の方向の基準となる方向である。すなわち、加速度センサ２２は、カメラ１２に作用する加速度の方向の加速度基準方向Ｂに対する向きを、加速度方向として検出する。加速度基準方向Ｂは、加速度センサ２２に対して固定される方向となるため、カメラ１２に対しても方向が固定される。さらに言えば、カメラ１２は、加速度センサ２２の撮像部２０に対する位置が固定される。従って、加速度基準方向Ｂは、撮像方向Ａ（撮像部２０の向く方向）に対して、向きが固定されているといえる。本実施形態においては、加速度基準方向Ｂは、撮像方向Ａと同じ方向となっている。ただし、加速度基準方向Ｂは、撮像方向Ａに対して傾斜して設定されていてもよい。
　図２に戻り、カメラ位置検出装置１０は、カメラ１２が撮像した撮像画像を取得する装置である。本実施形態では、カメラ位置検出装置１０は、カメラ１２が撮像した撮像画像を記録するドライブレコーダであるが、ドライブレコーダであることに限られない。カメラ位置検出装置１０は、コネクタ部Ｃと、入力部３０と、表示部３２と、記憶部３４と、電源部３６と、制御部３８とを有する。コネクタ部Ｃは、カメラ１２に接続される接続端子である。それぞれのカメラ１２は、配線Ｌに接続されており、配線Ｌがコネクタ部Ｃに接続されることで、カメラ位置検出装置１０に接続される。すなわち、カメラ位置検出装置１０は、コネクタ部Ｃ及び配線Ｌを介して、カメラ１２と情報の送受信を行う。ただし、カメラ位置検出装置１０は、このように有線でカメラ１２と情報の送受信を行う事に限られず、例えば無線で情報の送受信を行ってもよい。
　入力部３０は、ユーザの操作を受け付ける入力装置である。入力部３０は、複数のボタンや、タッチパネルなどであってよい。表示部３２は、カメラ１２の撮像画像などを表示する表示装置である。記憶部３４は、制御部３８の演算内容やプログラムの情報などを記憶するメモリであり、例えば、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）と、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）と、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）などの外部記憶装置とのうち、少なくとも１つ含む。電源部３６は、カメラ位置検出装置１０の各部に電力を供給する電源である。
　制御部３８は、演算装置、すなわちＣＰＵ（Ｃｅｎｔｒａｌ　Ｐｒｏｃｅｓｓｉｎｇ　Ｕｎｉｔ）である。制御部３８は、基準カメラ情報取得部５０と、加速度取得部５２と、画像取得部５４と、撮像位置検出部５６と、撮像位置設定部５８とを有する。基準カメラ情報取得部５０と、加速度取得部５２と、画像取得部５４と、撮像位置検出部５６と、撮像位置設定部５８とは、制御部３８が記憶部３４に記憶されたソフトウェア（プログラム）を読み出すことで実現されて、後述する処理を実行する。
　制御部３８は、後述する処理、すなわちキャリブレーション処理において、それぞれのカメラ１２の撮像位置を特定して設定する。すなわち、カメラ１２は、例えば図１に示したように車両Ｖに搭載されているが、カメラ位置検出装置１０は、キャリブレーション処理を実行する時点では、カメラ１２の撮像位置を特定しておらず、言い換えれば、カメラ１２が車両Ｖのどの位置に搭載されたかを認識していない。すなわち例えば、カメラ１２ｂは、車両Ｖの方向Ｙ２側における車外を撮像するように、車両Ｖに搭載されているが、カメラ位置検出装置１０には、カメラ１２ｂの撮像位置（撮像方向が方向Ｙ２側であり車外を撮像する）が、設定されていない。カメラ位置検出装置１０は、以降の処理を実行することで、全てのカメラ１２の撮像位置を特定する。
　基準カメラ情報取得部５０は、基準カメラの撮像位置の情報を取得する。基準カメラの撮像位置の情報は、カメラ位置検出装置１０に入力される情報であり、基準カメラ情報取得部５０は、その入力された基準カメラの撮像位置の情報を取得する。基準カメラとは、複数のカメラ１２のうちの一部のカメラ１２、ここでは１つのカメラである。本実施形態においては、基準撮像位置となるカメラ１２がどのカメラであるかの情報が、カメラ位置検出装置１０に入力される。基準カメラ情報取得部５０は、基準撮像位置となるカメラ１２を、基準カメラとして設定し、基準撮像位置をその基準カメラの撮像位置として設定する。言い換えれば、基準カメラ情報取得部５０は、入力された情報に基づき、複数のカメラ１２から、基準撮像位置となるカメラ１２を、基準カメラとして抽出する。なお、基準撮像位置は、任意の撮像位置であってよいが、本実施形態では、撮像方向が方向Ｙ１側であり車外を撮像するものである。従ってこの場合、撮像方向が方向Ｙ１側であり車外を撮像するカメラを示す情報が、カメラ位置検出装置１０に入力される。本実施形態の例では、基準撮像位置となるのがカメラ１２ａであるという情報が、カメラ位置検出装置１０に入力される。基準カメラ情報取得部５０は、カメラ１２ａを基準カメラとして、カメラ１２ａの撮像位置を、撮像方向が方向Ｙ１側であり車外を撮像するものとして設定する。
　このように、基準カメラ情報取得部５０は、基準撮像位置となるカメラ１２を示す情報を取得するものであるが、例えば、任意のカメラ１２に対し、その撮像位置を示す情報を取得するものであってもよい。すなわち、基準カメラ情報取得部５０は、複数のカメラ１２のうちの一部のカメラ１２と、そのカメラ１２の撮像位置とを、関連付けて取得するものであればよい。言い換えれば、基準カメラ情報取得部５０は、基準カメラの撮像位置の情報を取得するものであり、基準カメラの撮像方向Ａと、基準カメラの車内外情報（車内と車外とのどちらを撮像しているかを示す情報）とを取得するといえる。
　図４及び図５は、基準カメラの撮像位置の情報の入力方法の例を示す図である。図４に示すように、基準カメラの撮像位置の情報は、例えば、コネクタ部Ｃの接続部Ｃ１にカメラ１２を接続することによって入力されてもよい。基準カメラ情報取得部５０は、接続部Ｃ１にカメラ１２が接続されることでカメラ１２と通信可能な状態になるため、接続部Ｃ１にカメラ１２が接続されたことを認知する。接続部Ｃ１は、基準撮像位置（ここでは方向Ｙ１側の車外を撮像）のカメラ１２を接続するものとして設定されている。従って、基準カメラ情報取得部５０は、接続部Ｃ１に接続されたカメラ１２を、基準撮像位置のカメラ（基準カメラ）であると設定する。また、図５に示すように、画像取得部５４がそれぞれのカメラ１２の撮像画像を取得して、表示部３２に表示させてもよい。図５では、カメラ１２毎の撮像画像Ｐが表示されている。この場合、例えば基準撮像位置となる基準カメラ（図５の例では前方外部カメラ）の撮像画像Ｐをユーザが選択することを促す表示Ｐａを行う。そして、ユーザが入力部３０に入力して撮像画像Ｐを選択することで、基準カメラ情報取得部５０は、ユーザが選択した撮像画像Ｐを撮像したカメラ１２を、基準撮像位置となる基準カメラとして設定する。ただし、基準カメラの撮像位置の情報の入力方法は、これらに限られず任意である。
　以下、カメラ１２のうちの基準カメラ以外のカメラ１２を、適宜、被設定カメラと記載する。すなわち、基準カメラは、撮像位置が入力されているカメラ１２であり、被設定カメラは、撮像位置が入力されず、カメラ位置検出装置１０により撮像位置が特定されるカメラである。なお、撮像位置が入力される基準カメラは、１つであることが好ましい。
　図２に戻り、加速度取得部５２は、加速度センサ２２が検出した車両Ｖの加速度の情報を、複数のカメラ１２のそれぞれについて取得する。すなわち、加速度取得部５２は、基準カメラの加速度センサ２２が検出した加速度と、被設定カメラの加速度センサ２２が検出した加速度とを、取得する。キャリブレーション処理を行う場合、基準カメラの撮像位置の取得が終了したら、例えばユーザが車両Ｖを走行させる。加速度センサ２２は、車両Ｖが走行した際の加速度を検出する。加速度取得部５２は、この車両Ｖが走行した際の加速度の情報を、それぞれのカメラ１２の加速度センサ２２から取得する。上述のように、加速度取得部５２は、加速度の情報として、加速度方向の情報を、それぞれのカメラ１２の加速度センサ２２から取得する。
　画像取得部５４は、それぞれのカメラ１２が撮像した撮像画像を取得する。画像取得部５４が取得したカメラ１２の撮像画像は、例えば、図５に示したような基準カメラの撮像位置の情報の入力や、後述する被設定カメラの車内外情報の検出に用いられる。被設定カメラの車内外情報の検出に用いる場合の撮像画像は、加速度センサ２２が加速度方向を検出した際に撮像された画像、すなわち、基準カメラの撮像位置の取得が終了して車両Ｖが走行した際に撮像された画像であることが好ましい。
　撮像位置検出部５６は、基準カメラの撮像位置の情報と、基準カメラの加速度の情報と、被設定カメラの加速度の情報とに基づき、被設定カメラの撮像位置を検出する。撮像位置検出部５６は、車内外情報検出部６０と、撮像方向検出部６２とを有する。
　車内外情報検出部６０は、被設定カメラの撮像位置のうちの、車内外情報を検出する。本実施形態では、車内外情報検出部６０は、画像取得部５４が取得したカメラ１２の撮像画像に基づき、被設定カメラの車内外情報を検出する。車内外情報検出部６０は、カメラ１２の撮像画像を解析して、撮像画像の明るさを算出する。撮像画像の明るさとは、撮像画像の輝度を指し、例えば撮像画像の領域全体の輝度の平均値である。車内外情報検出部６０は、基準カメラの撮像画像の明るさと、被設定カメラの撮像画像の明るさとに基づき、被設定カメラの車内外情報を検出する。車内外情報検出部６０は、被設定カメラの撮像画像の明るさを基準明るさと比較し、被設定カメラの撮像画像の明るさが、基準明るさ（基準輝度）以上であれば、その被設定カメラが車外を撮像していると判断する。一方、車内外情報検出部６０は、被設定カメラの撮像画像の明るさが、基準明るさ未満であれば、その被設定カメラが車内を撮像していると判断する。基準明るさは、基準カメラの撮像画像の明るさに基づく値である。基準明るさは、車内外情報検出部６０によって、基準カメラの撮像画像の明るさに基づき算出される。車内外情報検出部６０は、基準カメラの撮像画像の明るさに所定値を加えた値を、基準明るさとして算出する。ただし、基準明るさは、このように算出されることに限られず、任意に設定できる。
　通常、車外は車内より明るいため、車外を撮像した画像は、車内を撮像した画像より明るい傾向にある。車内外情報検出部６０は、被設定カメラの撮像画像の明るさが基準明るさ以上であれば、その被設定カメラが車外を撮像していると判断するため、車内外情報、すなわち車内と車外とのどちらを撮像しているかを、適切に検出できる。
　ただし、車内外情報検出部６０による車内外情報の検出方法は、以上の説明に限られない。以下、車内外情報の検出方法の他の例について説明する。
　車内外情報の検出方法の他の例として、車内外情報検出部６０は、基準カメラの撮像画像の明るさから、キャリブレーション処理を行っている時間帯が、すなわち加速度検出と撮像とを行った時間帯が、日照時間帯か日没時間帯かを判断してよい。本実施形態の例では、基準カメラは、車外を撮像しているため、車内外情報検出部６０は、基準カメラの撮像画像の明るさに基づき、日照時間帯か日没時間帯かを判断できる。例えば、車内外情報検出部６０は、基準カメラの撮像画像の明るさが、所定の閾値明るさ（閾値輝度）以上である場合、日照時間帯であると判断し、閾値明るさより小さければ、日没時間帯であると判断する。そして、車内外情報検出部６０は、日照時間帯であると判断した場合には、被設定カメラの撮像画像の明るさが基準明るさ以上であれば、車外を撮像していると判断し、基準明るさ未満であれば、車内を撮像していると判断する。一方、車内外情報検出部６０は、日没時間帯であると判断した場合、被設定カメラの撮像画像の明るさが基準明るさ以上であれば、車内を撮像していると判断し、基準明るさ未満であれば、車外を撮像していると判断する。日照時間帯であれば車内の方が暗く、日没時間帯であれば車内の方が明るい可能性があるため、このように時間帯に応じて判断方法を変えることで、車内外情報を適切に検出できる。
　また、車内外情報の検出方法の他の例として、車内外情報検出部６０は、被設定カメラの撮像画像において、車両Ｖのガラスで反射された光の像があるかを検出し、その検出結果に基づき、被設定カメラの車内外情報を検出してよい。本実施形態において、カメラ１２は、車両Ｖの車内に設けられるため、車外を撮像している場合、車両Ｖのガラス（フロントガラスＶ１など）を介して車外を撮像することとなる。この場合、車両Ｖのガラスで反射された光が、カメラ１２に入射して、カメラ１２は、車両Ｖのガラスで反射された光の像を撮像する場合がある。従って、車内外情報検出部６０は、被設定カメラの撮像画像を解析して、車両Ｖのガラスで反射された光の像が撮像されているかを判断し、車両Ｖのガラスで反射された光の像がある場合、その被設定カメラが車外を撮像していると判断し、車両Ｖのガラスで反射された光の像が無い場合、その被設定カメラが車内を撮像していると判断する。車両Ｖのガラスで反射された光の像は、任意の像であってよいが、例えば、撮像した自身のカメラ１２の像などであってよい。
　車内外情報検出部６０は、以上の方法で、全ての被設定カメラについて、車内外情報を検出する。本実施形態の例では、車内外情報検出部６０は、被設定カメラであるカメラ１２ｂ、１２ｃ、１２ｄ、１２ｅについて、車内外情報を、それぞれ、車外、車外、車外、車内であると検出する。
　撮像方向検出部６２は、加速度取得部５２が取得した加速度方向の情報に基づき、被設定カメラの撮像位置のうちの、撮像方向Ａを検出する。図６及び図７は、撮像方向の検出を説明するための模式図である。車両Ｖが走行した場合、それぞれのカメラ１２の加速度センサ２２は、車両Ｖが走行する方向を、加速度方向として検出する。すなわち、図６の例に示すように、車両Ｖを方向Ｙ１に走行させた場合、カメラ１２ａが検出する加速度方向Ｄａと、カメラ１２ｂが検出する加速度方向Ｄｂと、カメラ１２ｃが検出する加速度方向Ｄｃと、カメラ１２ｄが検出する加速度方向Ｄｄと、カメラ１２ｅが検出する加速度方向Ｄｅとは、車両Ｖから見た場合、それぞれ、車両Ｖが走行する方向Ｙ１に沿った方向となる。以下、カメラ１２毎の加速度方向を区別しない場合、加速度方向Ｄと記載する。
　一方、図３に示したカメラ１２の加速度基準方向Ｂは、加速度センサ２２の取付位置、すなわちカメラ１２の撮像方向Ａの向きに対して固定された方向となる。カメラ１２の撮像方向Ａはカメラ１２毎に異なるため、加速度基準方向Ｂも、カメラ１２毎に異なる。図６の例では、カメラ１２ａの加速度基準方向Ｂａは、方向Ｙ１側であり、カメラ１２ｂの加速度基準方向Ｂｂは、方向Ｙ２側であり、カメラ１２ｃの加速度基準方向Ｂｃは、方向Ｘ１側であり、カメラ１２ｄの加速度基準方向Ｂｄは、方向Ｘ２側であり、カメラ１２ｅの加速度基準方向Ｂｅは、方向Ｙ２側である。ただし、カメラ位置検出装置１０は、被設定カメラの位置が未知なので、加速度基準方向Ｂがどの方向に向いているかを認識していない。
　ここで、加速度センサ２２は、加速度基準方向Ｂに対する相対方向として、加速度方向Ｄを検出する。この場合、加速度方向Ｄは、車両Ｖから見た場合、方向Ｙ１として全てのカメラ１２で同じであるが、加速度基準方向Ｂに対する相対方向として見た場合、カメラ１２毎に異なる。撮像方向検出部６２は、被設定カメラについての、加速度基準方向Ｂに対する相対方向として加速度方向Ｄを見た場合の、加速度方向Ｄの向きを取得する。例えば、図７に示すように、カメラ１２ａの加速度方向Ｄａは、加速度基準方向Ｂａに対し前方側、すなわち加速度方向Ｄａが加速度基準方向Ｂａと同じ方向となる。また、カメラ１２ｂの加速度方向Ｄｂは、加速度基準方向Ｂｂに対し後方側、すなわち加速度方向Ｄｂが加速度基準方向Ｂｂと反対方向となる。また、カメラ１２ｃの加速度方向Ｄｃは、加速度基準方向Ｂｃに対し左方向側となる。また、カメラ１２ｄの加速度方向Ｄｄは、加速度基準方向Ｂｄに対し右方向側となる。また、カメラ１２ｅの加速度方向Ｄｄは、加速度基準方向Ｂｅに対し後方側となる。
　撮像方向検出部６２は、基準カメラの加速度方向Ｄと被設定カメラの加速度方向Ｄとに基づき、被設定カメラの相対向きを検出する。被設定カメラの相対向きとは、加速度基準方向Ｂから見た場合の基準カメラの加速度方向Ｄに対する、加速度基準方向Ｂから見た場合の被設定カメラの加速度方向Ｄの向きである。例えば、図７に示すように、カメラ１２ａの加速度方向Ｄａは、加速度基準方向Ｂａから見て前方向であり、カメラ１２ｂの加速度方向Ｄｂは、加速度基準方向Ｂｂから見て後方向である。従って、カメラ１２ｂの相対向きは、カメラ１２ａに対して後方向となる。また、カメラ１２ｃの加速度方向Ｄｃは、加速度基準方向Ｂｃから見て左方向であるため、カメラ１２ｃの相対向きは、カメラ１２ａに対して左方向となる。また、カメラ１２ｄの相対向きは、カメラ１２ａに対して右方向となり、カメラ１２ｅの相対向きは、カメラ１２ａに対して後方向となる。なお、本実施形態では、被設定カメラの相対向きは、加速度基準方向Ｂに対する相対方向として加速度方向Ｄを見た場合の、加速度方向Ｄの向きに一致する。
　撮像方向検出部６２は、このように検出した被設定カメラの相対向きと、基準カメラの撮像方向Ａとに基づき、被設定カメラの撮像方向Ａを検出する。撮像方向検出部６２は、被設定カメラの相対向きが前後方向である場合、すなわち基準カメラと被設定カメラとの加速度方向が平行である場合、基準カメラの撮像方向Ａに対し、相対向き側に向いた方向を、被設定カメラの撮像方向Ａとする。例えば、カメラ１２ｂ、１２ｅの相対向きは、後方向である。従って、図６に示すように、撮像方向検出部６２は、方向Ｙ１（カメラ１２ａの撮像方向Ａａ）に対する後方向（相対向き）である方向Ｙ２を、カメラ１２ｂ、１２ｅの撮像方向Ａｂ、Ａｅとする。また、撮像方向検出部６２は、カメラ１２の相対向きが前後方向でない場合、すなわち基準カメラと被設定カメラとの加速度方向が平行でない場合（例えば直交する場合）、基準カメラの撮像方向Ａに対し、相対向きと反対側に向いた方向を、被設定カメラの撮像方向Ａとする。例えば、カメラ１２ｃの相対向きは、左方向である。従って、撮像方向検出部６２は、方向Ｙ１（カメラ１２ａの撮像方向Ａａ）に対する右方向（相対向きと反対方向）である方向Ｘ１を、カメラ１２ｃの撮像方向Ａｃとする。また、撮像方向検出部６２は、方向Ｙ１（カメラ１２ａの撮像方向Ａａ）に対する左方向（相対向きと反対方向）である方向Ｘ２を、カメラ１２ｄの撮像方向Ａｄとする。
　撮像方向検出部６２は、以上の方法で、全ての被設定カメラについて、撮像方向Ａを検出する。図２に戻り、撮像位置設定部５８は、撮像位置検出部５６が被設定カメラについて検出した撮像位置を、それぞれの被設定カメラの撮像位置として設定し、記憶部３４に記憶させる。すなわち、撮像位置設定部５８は、車内外情報検出部６０が被設定カメラについて検出した車内外情報を、それぞれの被設定カメラの車内外情報として設定し、記憶部３４に記憶させる。また、撮像位置設定部５８は、撮像方向検出部６２が被設定カメラについて検出した撮像方向Ａを、それぞれの被設定カメラの撮像方向Ａとして設定し、記憶部３４に記憶させる。なお、基準カメラの撮像位置は、基準カメラ情報取得部５０が取得済みであるため、基準カメラ情報取得部５０が取得した内容で設定され、記憶部３４に記憶されている。
　カメラ位置検出装置１０は、以上のようにして、カメラ１２の撮像位置を設定する。次に、カメラ位置検出装置１０によるカメラ１２の撮像位置を検出するキャリブレーション処理のフローを説明する。図８は、本実施形態に係るカメラの撮像位置の検出フローを説明するフローチャートである。図８に示すように、カメラ位置検出装置１０は、キャリブレーションモードである場合（ステップＳ１０；Ｙｅｓ）に、キャリブレーション処理を行う。キャリブレーションモードでない場合（ステップＳ１０；Ｎｏ）、ステップＳ１０に戻り待機する。キャリブレーションモードは、例えばユーザが設定するものであり、ユーザがカメラ位置検出装置１０にキャリブレーション処理を行う旨の入力を行った場合に、キャリブレーションモードとなる。
　キャリブレーション処理を行う場合、それぞれのカメラ１２は、車両Ｖに搭載されて、カメラ位置検出装置１０に接続される。最初に、カメラ位置検出装置１０は、基準カメラの撮像位置の情報を取得する（ステップＳ１２）。カメラ位置検出装置１０は、例えばユーザの入力に基づき、基準撮像位置となるカメラ１２を特定して、基準カメラとして抽出する。基準カメラの撮像位置の情報を取得したら、例えば、カメラ位置検出装置１０は、キャリブレーションを行うために車両Ｖの走行を促す画像を表示部３２に表示させてよい。これにより、ユーザは車両Ｖを走行させる。カメラ位置検出装置１０は、車両Ｖの走行中に、カメラ１２に、撮像と加速度検出とを行わせる。車両Ｖが走行した場合（ステップＳ１４；Ｙｅｓ）、カメラ位置検出装置１０は、加速度取得部５２により、車両Ｖが走行した際の基準カメラの加速度情報を取得し、画像取得部５４により、車両Ｖが走行した際の基準カメラの撮像画像を取得する（ステップＳ１６）。そして、カメラ位置検出装置１０は、被設定カメラがあるかを判断する（ステップＳ１８）。すなわち、カメラ位置検出装置１０は、撮像位置が検出されていないカメラ１２があるかを判断する。被設定カメラがある場合（ステップＳ１８；Ｙｅｓ）、カメラ位置検出装置１０は、加速度取得部５２により、車両Ｖが走行した際の被設定カメラの加速度情報を取得し、画像取得部５４により、車両Ｖが走行した際の被設定カメラの撮像画像を取得する（ステップＳ２０）。そして、カメラ位置検出装置１０は、車内外情報検出部６０により被設定カメラの車内外情報を検出し（ステップＳ２２）、撮像方向検出部６２により被設定カメラの撮像方向Ａを検出して（ステップＳ２４）、被設定カメラの撮像位置を検出する。被設定カメラの撮像位置の検出が終了したら、ステップＳ１８に戻り、他に被設定カメラが残っているか、すなわち撮像位置が検出されていないカメラ１２が残っているかの判断を続ける。ステップＳ１８で被設定カメラがない場合（ステップＳ１８）、すなわち全てのカメラ１２の撮像位置の検出が終了した場合、本処理を終了する。
　図９は、本実施形態に係るカメラの撮像位置の検出フローを説明するフローチャートである。図９は、図８のステップＳ２０、Ｓ２２の撮像位置の検出の詳細を説明するフローチャートである。図９に示すように、車内外情報検出部６０は、カメラ１２の撮像画像に基づき、撮像画像の明るさを算出し（ステップＳ３０）、被設定カメラの撮像画像の明るさが基準明るさ以上であるかを判断する（ステップＳ３２）。被設定カメラの撮像画像の明るさが基準明るさ以上である場合（ステップＳ３２；Ｙｅｓ）、車内外情報検出部６０は、その被設定カメラが車外を撮像していると判断し（ステップＳ３４）、被設定カメラの撮像画像の明るさが基準明るさ以上でない場合（ステップＳ３２；Ｎｏ）、車内外情報検出部６０は、その被設定カメラが車内を撮像していると判断する（ステップＳ３６）。これにより、被設定カメラの車内外情報が検出される。そして、撮像方向検出部６２は、被設定カメラの相対向きを検出する（ステップＳ３７）。相対向きとは、加速度基準方向Ｂから見た場合の基準カメラの加速度方向Ｄに対する、加速度基準方向Ｂから見た場合の被設定カメラの加速度方向Ｄの向きを指す。撮像方向検出部６２は、被設定カメラの相対向きが前方である場合（ステップＳ３８；Ｙｅｓ）、すなわち加速度基準方向Ｂから見た場合の被設定カメラの加速度方向Ｄが前方である場合、被設定カメラの撮像方向Ａを方向Ｙ１に設定する（ステップＳ４０）。撮像方向検出部６２は、被設定カメラの相対向きが前方でなく（ステップＳ３８；Ｎｏ）、後方である場合（ステップＳ４２；Ｙｅｓ）、被設定カメラの撮像方向Ａを方向Ｙ２に設定する（ステップＳ４４）。撮像方向検出部６２は、被設定カメラの相対向きが後方でなく（ステップＳ４２；Ｎｏ）、左方向である場合（ステップＳ４６）、被設定カメラの撮像方向Ａを方向Ｘ１に設定する（ステップＳ４８）。撮像方向検出部６２は、被設定カメラの相対向きが左方向でない場合（ステップＳ４６；Ｎｏ）、被設定カメラの撮像方向Ａを方向Ｘ２に設定する（ステップＳ５０）。
　以上説明したように、本実施形態に係るカメラ位置検出装置１０は、車両Ｖに搭載されて加速度センサ２２を備える複数のカメラ１２が、車両Ｖに対してどの位置を撮像しているかを示す撮像位置を検出する。カメラ位置検出装置１０は、基準カメラ情報取得部５０と、加速度取得部５２と、撮像位置検出部５６とを有する。基準カメラ情報取得部５０は、複数のカメラ１２のうちの一部のカメラである基準カメラについての、撮像位置の情報を取得する。加速度取得部５２は、加速度センサ２２が検出した加速度の情報を、複数のカメラ１２のそれぞれについて取得する。撮像位置検出部５６は、基準カメラの撮像位置の情報と、基準カメラの加速度の情報と、被設定カメラの加速度の情報とに基づき、被設定カメラの撮像位置を検出する。
　カメラ１２が撮像した画像を表示したり、画像を送信したりする場合、それぞれのカメラ１２の撮像位置を特定する必要がある。本実施形態に係るカメラ位置検出装置１０は、基準カメラの撮像位置と、それぞれのカメラの加速度情報とに基づき、カメラ１２の撮像位置を検出するため、カメラ１２の撮像位置を適切に設定することができる。さらに、カメラ１２が複数ある場合、例えばユーザがそれぞれのカメラ１２の撮像位置を特定して設定することは、手間を要する。それに対し、本実施形態に係るカメラ位置検出装置１０によると、例えばユーザが基準カメラの撮像位置を入力し、車両Ｖを走行させるだけで、全てのカメラ１２の撮像位置が検出される。従って、複数のカメラ１２がある場合にも、それぞれのカメラ１２の撮像位置を容易に設定することができる。
　また、基準カメラ情報取得部５０は、撮像位置として、基準カメラの撮像方向Ａの情報を取得する。加速度取得部５２は、加速度の情報として、加速度方向Ｄの情報を取得する。撮像位置検出部５６は、撮像方向検出部６２により、基準カメラの加速度方向Ｄと被設定カメラの加速度方向とに基づき、被設定カメラの相対向きを検出する。相対向きとは、基準カメラの加速度方向Ｄに対する被設定カメラの加速度方向Ｄの向きである。そして、撮像位置検出部５６は、基準カメラの撮像方向Ａと被設定カメラの相対向きとに基づき、撮像位置として、被設定カメラの撮像方向を検出する。本実施形態に係るカメラ位置検出装置１０は、基準カメラの加速度方向Ｄに対する被設定カメラの加速度方向Ｄの向きである相対向きを検出することで、被設定カメラの撮像方向が基準カメラの撮像方向に対しどの向きを向いているかを検出する。これにより、カメラ位置検出装置１０は、カメラ１２の撮像方向を、適切にかつ容易に設定することができる。
　また、撮像位置検出部５６は、被設定カメラが車両内を撮像しているか、車両外を撮像しているかを示す車内外情報を、被設定カメラの撮像位置として検出する。車内を撮像するカメラ１２と車外を撮像するカメラがある場合、撮像方向の検出だけでは、撮像位置を適切に検出できない可能性がある。それに対し、本実施形態に係るカメラ位置検出装置１０は、車内を撮像するか車外を撮像するかについても検出するため、カメラ１２の撮像位置を適切に設定することができる。
　また、カメラ位置検出装置１０は、カメラ１２の撮像画像を取得する画像取得部５４をさらに有する。撮像位置検出部５６は、カメラ１２の撮像画像に基づき、被設定カメラの車内外情報を検出する。本実施形態に係るカメラ位置検出装置１０は、カメラ１２の撮像画像に基づき車内外情報を検出するため、車内を撮像するか車外を撮像するかを、適切に検出することができる。
　また、撮像位置検出部５６は、基準カメラの撮像画像の明るさと、被設定カメラの撮像画像の明るさとに基づき、被設定カメラの車内外情報を検出する。本実施形態に係るカメラ位置検出装置１０は、カメラ１２の撮像画像の明るさに基づき車内外情報を検出するため、車内を撮像するか車外を撮像するかを、適切に検出することができる。
　また、撮像位置検出部５６は、被設定カメラの撮像画像において、車両Ｖのガラスで反射された光の像があるかを検出し、その検出結果に基づき、被設定カメラの車内外情報を検出する。カメラ１２は、反射光が写り込む場合がある。その反射光に基づき車内外情報を検出するため、車内を撮像するか車外を撮像するかを、適切に検出することができる。
　また、本実施形態に係るカメラユニット１は、カメラ位置検出装置１０と、複数のカメラ１２とを有する。このカメラユニット１は、カメラ位置検出装置１０を備えることで、それぞれのカメラ１２の撮像位置を容易にかつ適切に設定することができる。
　なお、以上の説明では、カメラ位置検出装置１０とカメラ１２とが別体であったが、図１０に示すように、カメラ位置検出装置１０Ａが１つのカメラ１２を有していてもよい。図１０は、本実施形態の他の例に係るカメラユニットの模式的なブロック図である。図１０に示すように、カメラ位置検出装置１０Ａは、カメラ１２ａを備えていてよい。この場合でも、他のカメラ１２は、カメラ位置検出装置１０Ａと別体であることが好ましい。このように、カメラ位置検出装置１０Ａが１つのカメラ１２ａを備えることで、例えばユーザが入力を行わなくても、カメラ１２ａを基準カメラに設定すること可能となる。
　以上、本実施形態の実施形態を説明したが、これら実施形態の内容により実施形態が限定されるものではない。また、前述した構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。さらに、前述した構成要素は適宜組み合わせることが可能であり、各実施形態の構成を組み合わせることも可能である。さらに、前述した実施形態の要旨を逸脱しない範囲で構成要素の種々の省略、置換又は変更を行うことができる。
　本実施形態のカメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラムは、例えば車両用のカメラユニットに利用することができる。
　１　カメラユニット
　１０　カメラ位置検出装置
　１２　カメラ
　２０　撮像部
　２２　加速度センサ
　３８　制御部
　５０　基準カメラ情報取得部
　５２　加速度取得部
　５４　画像取得部
　５６　撮像位置検出部
　５８　撮像位置設定部
　６０　車内外情報検出部
　６２　撮像方向検出部
　Ａ　撮像方向
　Ｂ　加速度基準方向
　Ｄ　加速度方向

Claims (9)

  1. 　車両に搭載されて加速度センサを備える複数のカメラが、前記車両に対してどの位置を撮像しているかを示す撮像位置を検出するカメラ位置検出装置であって、
    　複数の前記カメラのうちの一部のカメラである基準カメラについての、前記撮像位置の情報を取得する基準カメラ情報取得部と、
    　前記加速度センサが検出した加速度の情報を、複数の前記カメラのそれぞれについて取得する加速度取得部と、
    　前記基準カメラの前記撮像位置の情報と、前記基準カメラの前記加速度の情報と、前記基準カメラ以外の前記カメラである被設定カメラの前記加速度の情報とに基づき、前記被設定カメラの撮像位置を検出する撮像位置検出部と、
    　を備える、カメラ位置検出装置。
  2. 　前記基準カメラ情報取得部は、前記撮像位置として、前記基準カメラの撮像方向の情報を取得し、
    　前記加速度取得部は、前記加速度の情報として、加速度方向の情報を取得し、
    　前記撮像位置検出部は、
    　前記基準カメラの加速度方向と前記被設定カメラの加速度方向とに基づき、前記基準カメラの加速度方向に対する、前記被設定カメラの加速度方向の向きである相対向きを検出し、
    　前記基準カメラの撮像方向と前記相対向きとに基づき、前記撮像位置として、前記被設定カメラの撮像方向を検出する、請求項１に記載のカメラ位置検出装置。
  3. 　前記撮像位置検出部は、前記被設定カメラが前記車両内を撮像しているか、前記車両外を撮像しているかを示す車内外情報を、前記被設定カメラの撮像位置として検出する、請求項１又は請求項２に記載のカメラ位置検出装置。
  4. 　前記カメラの撮像画像を取得する画像取得部をさらに有し、
    　前記撮像位置検出部は、前記カメラの撮像画像に基づき、前記被設定カメラの車内外情報を検出する、請求項３に記載のカメラ位置検出装置。
  5. 　前記撮像位置検出部は、前記基準カメラの撮像画像の明るさと、前記被設定カメラの撮像画像の明るさとに基づき、前記被設定カメラの車内外情報を検出する、請求項４に記載のカメラ位置検出装置。
  6. 　前記撮像位置検出部は、前記被設定カメラの撮像画像において、前記車両のガラスで反射された光の像があるかを検出し、その検出結果に基づき、前記被設定カメラの車内外情報を検出する、請求項４に記載のカメラ位置検出装置。
  7. 　請求項１から請求項６のいずれか１項に記載のカメラ位置検出装置と、
    　複数の前記カメラと、を有する、カメラユニット。
  8. 　車両に搭載されて加速度センサを備える複数のカメラが、前記車両に対してどの位置を撮像しているかを示す撮像位置を検出するカメラ位置検出方法であって、
    　複数の前記カメラのうちの一部のカメラである基準カメラについての、前記撮像位置の情報を取得する基準撮像位置取得ステップと、
    　前記加速度センサが検出した加速度の情報を、複数の前記カメラのそれぞれについて取得する加速度取得ステップと、
    　前記基準カメラの前記撮像位置の情報と、前記基準カメラの前記加速度の情報と、前記基準カメラ以外の前記カメラである被設定カメラの前記加速度の情報とに基づき、前記被設定カメラの撮像位置を検出する撮像位置検出ステップと、
    　を備える、カメラ位置検出方法。
  9. 　車両に搭載されて加速度センサを備える複数のカメラが、前記車両に対してどの位置を撮像しているかを示す撮像位置をコンピュータに検出させるプログラムであって、
    　複数の前記カメラのうちの一部のカメラである基準カメラについての、前記撮像位置の情報を取得する基準撮像位置取得ステップと、
    　前記加速度センサが検出した加速度の情報を、複数の前記カメラのそれぞれについて取得する加速度取得ステップと、
    　前記基準カメラの前記撮像位置の情報と、前記基準カメラの前記加速度の情報と、前記基準カメラ以外の前記カメラである被設定カメラの前記加速度の情報とに基づき、前記被設定カメラの撮像位置を検出する撮像位置検出ステップと、
    　を前記コンピュータに実行させる、プログラム。
PCT/JP2020/020270 2019-05-22 2020-05-22 カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム Ceased WO2020235670A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
CN202080032473.3A CN113784875B (zh) 2019-05-22 2020-05-22 相机位置检测装置和方法、相机单元以及存储介质
EP20809832.7A EP3958555B1 (en) 2019-05-22 2020-05-22 Camera position detecting device, camera unit, camera position detecting method, and program
US17/515,586 US11783505B2 (en) 2019-05-22 2021-11-01 Camera position detection apparatus, camera unit, camera position detection method, and medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-096015 2019-05-22
JP2019096015A JP7251310B2 (ja) 2019-05-22 2019-05-22 カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/515,586 Continuation US11783505B2 (en) 2019-05-22 2021-11-01 Camera position detection apparatus, camera unit, camera position detection method, and medium

Publications (1)

Publication Number Publication Date
WO2020235670A1 true WO2020235670A1 (ja) 2020-11-26

Family

ID=73454753

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/020270 Ceased WO2020235670A1 (ja) 2019-05-22 2020-05-22 カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム

Country Status (5)

Country Link
US (1) US11783505B2 (ja)
EP (1) EP3958555B1 (ja)
JP (1) JP7251310B2 (ja)
CN (1) CN113784875B (ja)
WO (1) WO2020235670A1 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN118369692A (zh) * 2021-12-23 2024-07-19 石通瑞吉电子公司 包括自动校准摄像机的用于车辆的摄像机监控系统
KR20240030098A (ko) * 2022-08-29 2024-03-07 현대자동차주식회사 차량 및 차량의 제어 방법
CN115580777B (zh) * 2022-10-14 2025-10-03 北京瞰瞰智能科技有限公司 智能动态防抖摄像方法和系统
EP4401415A1 (en) * 2023-01-16 2024-07-17 Mission Embedded GmbH Method for generating an overall digital image
TWI879689B (zh) * 2024-04-24 2025-04-01 光寶科技股份有限公司 套件裝置、標定系統及其操作方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008087974A1 (ja) * 2007-01-16 2008-07-24 Panasonic Corporation データ処理装置、方法、記録媒体
JP2009301280A (ja) * 2008-06-12 2009-12-24 Fujitsu Ten Ltd ドライブレコーダ
JP2011250193A (ja) 2010-05-27 2011-12-08 Yazaki Corp ドライブレコーダー
WO2016129704A1 (ja) * 2015-02-13 2016-08-18 株式会社デンソー 取り付け姿勢を特定する車載カメラ校正装置
WO2018149323A1 (zh) * 2017-02-16 2018-08-23 腾讯科技（深圳）有限公司 拍摄方向偏移检测方法、装置、设备及存储介质

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4329525B2 (ja) * 2003-12-16 2009-09-09 株式会社エクォス・リサーチ 車外情報表示装置
JP2010068069A (ja) * 2008-09-09 2010-03-25 Denso Corp 車両周辺撮影システム
KR100966288B1 (ko) * 2009-01-06 2010-06-28 주식회사 이미지넥스트 주변 영상 생성 방법 및 장치
KR100958127B1 (ko) * 2009-01-12 2010-05-18 유한회사 유지피디자인 블랙박스 기능을 갖는 자동차용 ｄｖｒ
JP2015079299A (ja) * 2013-10-15 2015-04-23 株式会社デンソー 運転支援装置
JP2015182646A (ja) * 2014-03-25 2015-10-22 パイオニア株式会社 撮影装置
KR101579100B1 (ko) * 2014-06-10 2015-12-22 엘지전자 주식회사 차량용 어라운드뷰 제공 장치 및 이를 구비한 차량
JP6371185B2 (ja) * 2014-09-30 2018-08-08 クラリオン株式会社 カメラキャリブレーション装置及びカメラキャリブレーションシステム
JP6458439B2 (ja) * 2014-10-09 2019-01-30 株式会社デンソー 車載カメラ較正装置、画像生成装置、車載カメラ較正方法、画像生成方法
JP6413974B2 (ja) * 2015-08-05 2018-10-31 株式会社デンソー キャリブレーション装置、キャリブレーション方法、及びプログラム
GB2549259B (en) * 2016-04-05 2019-10-23 Continental Automotive Gmbh Determining mounting positions and/or orientations of multiple cameras of a camera system of a vehicle
US10371530B2 (en) * 2017-01-04 2019-08-06 Qualcomm Incorporated Systems and methods for using a global positioning system velocity in visual-inertial odometry
JP7162200B2 (ja) * 2018-02-09 2022-10-28 パナソニックＩｐマネジメント株式会社 カメラシステム、及び車両走行制御システム
US10440271B2 (en) * 2018-03-01 2019-10-08 Sony Corporation On-chip compensation of rolling shutter effect in imaging sensor for vehicles

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2008087974A1 (ja) * 2007-01-16 2008-07-24 Panasonic Corporation データ処理装置、方法、記録媒体
JP2009301280A (ja) * 2008-06-12 2009-12-24 Fujitsu Ten Ltd ドライブレコーダ
JP2011250193A (ja) 2010-05-27 2011-12-08 Yazaki Corp ドライブレコーダー
WO2016129704A1 (ja) * 2015-02-13 2016-08-18 株式会社デンソー 取り付け姿勢を特定する車載カメラ校正装置
WO2018149323A1 (zh) * 2017-02-16 2018-08-23 腾讯科技（深圳）有限公司 拍摄方向偏移检测方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US11783505B2 (en) 2023-10-10
JP7251310B2 (ja) 2023-04-04
EP3958555A4 (en) 2022-05-18
EP3958555A1 (en) 2022-02-23
EP3958555B1 (en) 2023-05-17
US20220051434A1 (en) 2022-02-17
CN113784875A (zh) 2021-12-10
CN113784875B (zh) 2023-10-27
JP2020191549A (ja) 2020-11-26

Similar Documents

Publication Publication Date Title
WO2020235670A1 (ja) カメラ位置検出装置、カメラユニット、カメラ位置検出方法、及びプログラム
JP5615441B2 (ja) 画像処理装置及び画像処理方法
US11736792B2 (en) Electronic device including plurality of cameras, and operation method therefor
WO2018051809A1 (ja) 撮像装置、及び、電子機器
JP6196444B2 (ja) 周辺車の位置追跡装置及び方法
US10984550B2 (en) Image processing device, image processing method, recording medium storing image processing program and image pickup apparatus
US20110181752A1 (en) Imaging element and imaging device
JP6265602B2 (ja) 監視カメラシステム、撮像装置及び撮像方法
US20170347024A1 (en) Image processing apparatus, image processing method and storage medium
US20190135197A1 (en) Image generation device, image generation method, recording medium, and image display system
JP4611899B2 (ja) カメラのレンズ汚れ検出装置及び画像表示システム
JP2014187496A (ja) 故障検出装置
US9884589B2 (en) System and method for assisting vehicle driving for using smart phone
US20170364765A1 (en) Image processing apparatus, image processing system, vehicle, imaging apparatus and image processing method
JP6751144B2 (ja) 撮像装置、撮像システム及び撮像処理方法
JP6485296B2 (ja) 映像記録装置
CN105009561A (zh) 摄像装置的异物信息检测装置以及异物信息检测方法
US9827906B2 (en) Image processing apparatus
WO2020003764A1 (ja) 画像処理装置、移動装置、および方法、並びにプログラム
CN114097216A (zh) 图像处理装置和图像处理程序
US20180069998A1 (en) Imaging apparatus, imaging system, and vehicle
JP4797441B2 (ja) 車両用画像処理装置
KR102151163B1 (ko) 영상 처리 장치 및 그 동작 방법
JP2007314023A (ja) 運転支援システム
US20250024145A1 (en) Information processing device, information processing method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20809832

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020809832

Country of ref document: EP

Effective date: 20211119