[go: up one dir, main page]

WO2022244069A1 - 撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体 - Google Patents

撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体 Download PDF

Info

Publication number
WO2022244069A1
WO2022244069A1 PCT/JP2021/018636 JP2021018636W WO2022244069A1 WO 2022244069 A1 WO2022244069 A1 WO 2022244069A1 JP 2021018636 W JP2021018636 W JP 2021018636W WO 2022244069 A1 WO2022244069 A1 WO 2022244069A1
Authority
WO
WIPO (PCT)
Prior art keywords
imaging
shooting
condition determination
reference data
determining
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/018636
Other languages
English (en)
French (fr)
Inventor
次朗 安倍
善将 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2023522017A priority Critical patent/JP7582460B2/ja
Priority to PCT/JP2021/018636 priority patent/WO2022244069A1/ja
Priority to US18/289,913 priority patent/US12505574B2/en
Publication of WO2022244069A1 publication Critical patent/WO2022244069A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497—Means for monitoring or calibrating
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/74—Determining position or orientation of objects or cameras using feature-based methods involving reference images or patches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30244—Camera pose

Definitions

  • the present disclosure relates to an imaging condition determination method, an imaging condition determination system, an imaging condition determination device, and a computer-readable medium.
  • LiDAR Light Detection And Ranging
  • ToF Time of Flight
  • LiDAR measures the distance to the object and the shape of the object by irradiating light on the object existing in the filming scene when the filming scene is filmed. At this time, the LiDAR acquires point cloud data, which is a set of three-dimensional coordinates of measurement points on the object measured by the LiDAR.
  • a related technique for inspecting facilities using point cloud data is, for example, the technique disclosed in Patent Document 1.
  • point cloud data is used in order to detect changed parts that have been changed from among the parts in the facility.
  • sparse point cloud data is acquired by a three-dimensional measuring device such as a laser scanner.
  • the three-dimensional detailed data stored in advance and the acquired sparse point cloud data are aligned.
  • the space in which the sparse point cloud data exists in the target space area is set as the determination target space, and the amount of difference between the three-dimensional detailed data and the sparse point cloud data in the determination target space is calculated.
  • a changed part that has been changed is detected from the three-dimensional detailed data. After that, the three-dimensional measuring device is moved within the determination target space, and sparse point cloud data is acquired and changed parts are detected in the same manner as described above.
  • the point cloud data acquired by LiDAR includes, in addition to the data of the three-dimensional coordinates of the measurement points on the object, the data of the reflection brightness of the measurement points (the intensity of the reflected light at the measurement points).
  • point cloud data acquired by LiDAR depends on LiDAR imaging conditions (eg, imaging position, imaging posture, etc.).
  • reflected luminance data included in point cloud data acquired by LiDAR depends on the positional relationship (for example, distance, incident angle, etc.) between LiDAR and an object.
  • the range in which the LiDAR can acquire point cloud data depends on the positional relationship between the LiDAR and the shield due to the linearity of light.
  • the content included in the fixed angle of view of the point cloud data acquired by LiDAR depends on the imaging position and imaging posture of LiDAR.
  • Patent Literature 1 is a technique of moving a three-dimensional measuring device within a determination target space in order to detect a changed part within a facility. Therefore, Patent Literature 1 does not disclose any method of determining appropriate imaging conditions for appropriately imaging an object.
  • an object of the present disclosure is to solve the above problems and provide an imaging condition determination method, an imaging condition determination system, an imaging condition determination device, and a computer-readable medium that can determine appropriate imaging conditions for LiDAR. be.
  • An imaging condition determination method includes: An imaging condition determination method performed by an imaging condition determination device, a first step of retaining reference data representing the position of the object; a second step of holding a pointing object representing a position of an object on said reference data; a third step of determining imaging conditions for LiDAR (Light Detection And Ranging) for imaging the target based on the reference data and the pointing object; and a fourth step of outputting the imaging conditions.
  • An imaging condition determination method performed by an imaging condition determination device, a first step of retaining reference data representing the position of the object; a second step of holding a pointing object representing a position of an object on said reference data; a third step of determining imaging conditions for LiDAR (Light Detection And Ranging) for imaging the target based on the reference data and the pointing object; and a fourth step of outputting the imaging conditions.
  • LiDAR Light Detection And Ranging
  • An imaging condition determination system includes: a reference data holding unit that holds reference data representing the position of an object; a pointing object holding unit holding a pointing object representing the position of the target on the reference data; an imaging condition determination unit that determines imaging conditions for LiDAR (Light Detection And Ranging) for imaging the target based on the reference data and the pointing object; and a shooting condition output unit that outputs the shooting conditions.
  • a reference data holding unit that holds reference data representing the position of an object
  • a pointing object holding unit holding a pointing object representing the position of the target on the reference data
  • an imaging condition determination unit that determines imaging conditions for LiDAR (Light Detection And Ranging) for imaging the target based on the reference data and the pointing object
  • a shooting condition output unit that outputs the shooting conditions.
  • An apparatus for determining imaging conditions includes: a reference data holding unit that holds reference data representing the position of an object; a pointing object holding unit holding a pointing object representing the position of the target on the reference data; an imaging condition determination unit that determines imaging conditions for LiDAR (Light Detection And Ranging) for imaging the target based on the reference data and the pointing object; and a shooting condition output unit that outputs the shooting conditions.
  • a reference data holding unit that holds reference data representing the position of an object
  • a pointing object holding unit holding a pointing object representing the position of the target on the reference data
  • an imaging condition determination unit that determines imaging conditions for LiDAR (Light Detection And Ranging) for imaging the target based on the reference data and the pointing object
  • a shooting condition output unit that outputs the shooting conditions.
  • a computer-readable medium comprises: to the computer, a first step of maintaining reference data representing the position of the object; a second step of holding a pointing object representing a position of an object on the reference data; a third step of determining imaging conditions for LiDAR (Light Detection And Ranging) for imaging the target based on the reference data and the pointing object; a fourth step of outputting the imaging conditions; Stores a program for executing
  • an imaging condition determination method an imaging condition determination system, an imaging condition determination device, and a computer-readable medium capable of determining appropriate imaging conditions for LiDAR.
  • FIG. 1 is a diagram showing a configuration example of an imaging condition determination system according to Embodiment 1;
  • FIG. FIG. 7 is a diagram showing an example of a method A1 for determining imaging conditions by an imaging condition determination unit according to Embodiment 1;
  • FIG. 7 is a diagram showing an example of a method A2 for determining imaging conditions by an imaging condition determination unit according to Embodiment 1;
  • 4 is a flow chart showing an example of the overall operation flow of the imaging condition determination system according to Embodiment 1;
  • FIG. FIG. 10 is a diagram showing a configuration example of an imaging condition determination system according to Embodiment 2;
  • FIG. 11 is a diagram showing an example of a method B1 for determining imaging conditions by an imaging condition determination unit according to Embodiment 2;
  • FIG. 11 is a diagram showing an example of a method B2 for determining imaging conditions by an imaging condition determination unit according to Embodiment 2;
  • FIG. 10 is a diagram showing an example of a method B3 for determining imaging conditions by an imaging condition determination unit according to Embodiment 2;
  • 9 is a diagram showing an example of image data of FIG. 8;
  • FIG. 9 is a diagram showing an example of point cloud data of FIG. 8;
  • FIG. 10 is a flow chart showing an example of the overall operation flow of the imaging condition determination system according to Embodiment 2;
  • FIG. 11 is a diagram showing a configuration example of an imaging condition determining device according to another embodiment.
  • FIG. 11 is a block diagram showing a hardware configuration example of a computer that implements an imaging condition determining apparatus according to another embodiment;
  • the imaging condition determination system 100 includes a reference data storage unit 101, a pointing object storage unit 102, an imaging condition determination unit 103, and an imaging condition output unit 104. It is a system for determining appropriate imaging conditions for LiDAR (not shown).
  • the reference data holding unit 101 holds reference data.
  • Reference data is data that expresses the position of an object in the shooting scene.
  • the reference data is point cloud data acquired by the LiDAR, image data acquired by a camera (not shown), or a design drawing.
  • the pointing object holding unit 102 holds pointing objects.
  • a pointing object is information representing the position of an object to be photographed by LiDAR on the reference data.
  • the pointing object is a point included in the object on the reference data, an area having a common area with the object on the reference data, or the like.
  • the instruction object can be specified by the user. However, if the target exhibits unique properties on the reference data, the pointing object can be determined by automatic processing rather than by user specification.
  • the pointing object holding unit 102 may hold in advance a setting condition such that a portion whose color or shape feature amount (curvature) is within a predetermined range is set as the pointing object. Then, the pointing object holding unit 102 may search for a portion defined by the setting condition from among the portions on the reference data, and determine and hold the found portion as the pointing object.
  • the pointing object holding unit 102 may hold in advance a setting condition that a certain object is set as the pointing object. Then, using an object search technique such as pattern matching, the pointing object holding unit 102 searches objects on the reference data for an object specified by the setting conditions, and determines the found object as the pointing object. You can keep it.
  • the shooting condition determination unit 103 determines the shooting conditions of the LiDAR for shooting the target indicated by the pointing object.
  • the shooting condition is a condition under which the LiDAR shoots an object.
  • the shooting conditions include the shooting position, shooting attitude, shooting viewing angle, shooting resolution, and the like. A specific example of the method of determining the imaging conditions by the imaging condition determination unit 103 will be described later.
  • the imaging condition output unit 104 outputs the imaging conditions determined by the imaging condition determination unit 103 to the user or external means.
  • the method of outputting the imaging conditions is not particularly limited, but any method that assists the user or external means in efficiently capturing LiDAR images is suitable.
  • the imaging condition output unit 104 may emphasize and display a part of the reference data based on the imaging conditions. For example, if the imaging condition is the imaging position, the imaging condition output unit 104 may highlight the position corresponding to the imaging position on the reference data by marking or the like. Alternatively, the imaging condition output unit 104 may display an image diagram at the time of imaging based on the imaging conditions on the reference data. Alternatively, the imaging condition output unit 104 may display the imaging result estimated from the imaging conditions on the screen.
  • Embodiment 1 a specific example of the method of determining the imaging condition by the imaging condition determining unit 103 according to Embodiment 1 will be described.
  • the example described below is an example in which the shooting position and shooting attitude are determined as the shooting conditions.
  • FIG. 2 shows a plan view of the shooting site viewed from above (the same applies to FIG. 3 described later).
  • the shooting condition determination unit 103 calculates a shooting area in which the object represented by the pointing object can be shot.
  • the imaging region in which the object can be photographed is a region in which the object is not blocked by an object and in which the object can be physically photographed.
  • the area excluding the area above the object is a physical imaging area.
  • the imaging condition determining unit 103 determines the imaging position from within the imaging area calculated above. After that, the shooting condition determination unit 103 determines the shooting posture based on the direction vector from the shooting position determined above to the pointing object.
  • the shooting condition determination unit 103 calculates an appropriate shooting area based on the distance or incident angle to the pointing object. After that, the imaging condition determination unit 103 determines the imaging position and the imaging posture in the same manner as in the determination method A1 described above. That is, the shooting condition determination unit 103 determines the shooting position from the shooting area calculated above, and determines the shooting attitude based on the direction vector from the determined shooting position to the pointing object.
  • the reference data holding unit 101 holds the reference data
  • the pointing object holding unit 102 holds the pointing object (step S101).
  • the reference data holding unit 101 holds the reference data designated by the user.
  • the instruction object holding unit 102 holds an instruction object designated by the user or an instruction object determined by automatic processing.
  • the shooting condition determination unit 103 determines the LiDAR shooting conditions for shooting the target indicated by the pointing object (step S102). After that, the imaging condition output unit 104 outputs the imaging conditions determined by the imaging condition determination unit 103 to the user or external means (step S103).
  • the reference data holding unit 101 holds reference data expressing the position of an object
  • the pointing object holding unit 102 expresses the position of the target object on the reference data. Holds an instruction object to
  • the imaging condition determining unit 103 determines imaging conditions of the LiDAR for imaging the target represented by the pointing object based on the reference data and the pointing object
  • the imaging condition output unit 104 outputs the determined shooting conditions. do. This makes it possible to determine appropriate imaging conditions for LiDAR.
  • the imaging condition determination system 100A according to the second embodiment differs from the configuration of the first embodiment in that an imaging control unit 105 is added.
  • the shooting control unit 105 is arranged at the shooting site together with the shooting device (not shown), and acquires reference data using the shooting device at the shooting site.
  • the imaging device is a device including at least LiDAR among LiDAR and a camera, or an autonomous mobile robot equipped with the device. Therefore, in the second embodiment, the reference data is the data acquired by the photographing device, and as a result, the blueprints and the like are excluded.
  • the imaging condition determination unit 103 determines LiDAR imaging conditions in the same manner as in the first embodiment.
  • determining the imaging conditions of the LiDAR means determining the imaging conditions of the imaging device. Therefore, the imaging condition determination unit 103 will be described below as determining the imaging conditions of the imaging apparatus.
  • the imaging condition output unit 104 outputs imaging conditions to the imaging control unit 105 via communication with the imaging control unit 105 .
  • the imaging condition may be a route from the current position to the imaging position, which is applied to the imaging device.
  • the imaging condition may be a displacement (elevation angle and azimuth angle) from the current attitude to the imaging attitude, which is applied to the imaging device.
  • the imaging control unit 105 changes the state of the imaging device, that is, the state of the LiDAR, based on the imaging conditions output from the imaging condition output unit 104 .
  • the imaging device further includes a camera
  • changing the state of the imaging device will also change the state of the camera.
  • the determination method B1 is an example of determining the displacement from the current posture to the shooting posture as the shooting condition. Note that the determination method B1 is based on the premise that the shooting position is fixed.
  • the imaging condition determination unit 103 sets the imaging posture so that the pointing object on the reference data is changed to a specific position (for example, the center) by changing the imaging posture. Determine the displacement of
  • the shooting condition determination unit 103 calculates a direction vector from the center of the reference data to the center of the pointing object, and based on the calculated direction vector, changes the shooting posture applied to the shooting apparatus. (elevation and azimuth).
  • the determination method B2 is an example of determining a route from the current position to the shooting position as the shooting condition. It should be noted that FIG. 7 shows a plan view of the shooting site viewed from above.
  • the imaging condition determination unit 103 calculates an appropriate imaging region by the same method as the determination method A2 (FIG. 3) of the first embodiment.
  • the imaging condition determining unit 103 identifies the current position of the imaging device on the reference data.
  • the imaging condition determination unit 103 selects from the imaging region calculated above based on the positional relationship (for example, path length to reach) with the current position of the imaging device. Determine the shooting position. After that, the imaging condition determining unit 103 determines a route from the current position to the determined imaging position. Further, the imaging condition determination unit 103 may determine the imaging posture by a method similar to the determination method A2 (FIG. 3) of the first embodiment.
  • the imaging condition determination unit 103 uses the same method as the determination method A2 (FIG. 3) of the first embodiment when calculating the imaging region, but is not limited to this.
  • the imaging condition determination unit 103 may calculate the imaging region using a method similar to the determination method A1 (FIG. 2) of the first embodiment.
  • the reference data is the image data acquired by the camera (see FIG. 9) and the point cloud data acquired by the LiDAR (see FIG. 10). It is assumed that the data is Therefore, in the determination method B3, it is assumed that the imaging device is also a device including both the LiDAR and the camera, or an autonomous mobile robot equipped with the device.
  • the imaging condition determination unit 103 determines the imaging attitude using, for example, a method similar to the above determination method B1 (FIG. 6).
  • the photographing condition determination unit 103 may determine the route from the current position to the photographing position and also the photographing attitude using a method similar to the above method B2 (FIG. 7), for example. .
  • the imaging condition determining unit 103 uses the following method to determine the path and imaging posture from the current position to the imaging position. be able to. That is, the imaging condition determining unit 103 identifies objects including the pointing object on the image data by clustering, and acquires points representing the identified objects on the point cloud data. Then, the photographing condition determination unit 103 regards the acquired point as a pointing object, and determines the route and the photographing posture.
  • the imaging condition output unit 104 may display only the image data even when the reference data is data in which the image data and the point cloud data are superimposed. Then, the photographing condition determination unit 103 may determine the touched position on the image data as the instruction object, and perform the above operation.
  • the imaging control unit 105 acquires reference data using the imaging device, and the reference data holding unit 101 holds the reference data acquired by the imaging control unit 105 (step S201). ). Also, the instruction object holding unit 102 holds the instruction object (step S202). At this time, the instruction object holding unit 102 holds the instruction object specified by the user or the instruction object determined by automatic processing.
  • the shooting condition determination unit 103 determines the shooting conditions of the shooting device for shooting the target indicated by the pointing object (step S203).
  • the imaging condition output unit 104 outputs the imaging conditions determined by the imaging condition determination unit 103 to the imaging control unit 105 (step S204). After that, the imaging control unit 105 changes the state of the imaging apparatus based on the imaging conditions output from the imaging condition output unit 104 (step S205).
  • the imaging condition output unit 104 outputs imaging conditions to the imaging control unit 105 that acquires reference data using an imaging device that includes at least LiDAR.
  • the imaging control unit 105 changes the state of the imaging device based on imaging conditions. Thereby, for example, even if the imaging device is located at a remote location, the state of the imaging device can be corrected.
  • Other effects are the same as those of the first embodiment.
  • the reference data storage unit 101, the pointing object storage unit 102, the imaging condition determination unit 103, and the imaging condition output unit 104 are illustrated as being provided separately. However, these components may be collectively provided inside one device (imaging condition determination device).
  • an imaging condition determination apparatus 200 includes a reference data holding unit 101, a pointing object holding unit 102, an imaging condition determination unit 103, and an imaging condition output unit 104.
  • a reference data holding unit 101 a reference data holding unit 101
  • a pointing object holding unit 102 a pointing object holding unit 102
  • an imaging condition determination unit 103 an imaging condition output unit 104.
  • the computer 300 includes a processor 301, a memory 302, a storage 303, an input/output interface (input/output I/F) 304, a communication interface (communication I/F) 305, and the like.
  • the processor 301, the memory 302, the storage 303, the input/output interface 304, and the communication interface 305 are connected by a data transmission line for mutual data transmission/reception.
  • the processor 301 is an arithmetic processing device such as a CPU (Central Processing Unit) or a GPU (Graphics Processing Unit).
  • the memory 302 is, for example, RAM (Random Access Memory) or ROM (Read Only Memory).
  • the storage 303 is, for example, a storage device such as a HDD (Hard Disk Drive), an SSD (Solid State Drive), or a memory card. Also, the storage 303 may be a memory such as a RAM or a ROM.
  • a program is stored in the storage 303 .
  • This program includes instructions (or software code) that, when read into a computer, cause the computer to perform one or more of the functions described in the embodiments above.
  • the imaging condition determination unit 103 and the imaging condition output unit 104 in the imaging condition determination apparatus 200 may be implemented by the processor 301 reading and executing a program stored in the storage 303 . Further, the reference data holding unit 101 and the pointing object holding unit 102 in the photographing condition determining apparatus 200 may be realized by the memory 302 or the storage 303 .
  • the above program may be stored in a non-transitory computer-readable medium or a tangible storage medium.
  • computer readable media or tangible storage media may include RAM, ROM, flash memory, SSD or other memory technology, CD (Compact Disc)-ROM, DVD (Digital Versatile Disc), Blu-ray ( (registered trademark) discs or other optical disc storage, magnetic cassettes, magnetic tapes, magnetic disk storage or other magnetic storage devices.
  • the program may also be transmitted on a transitory computer-readable medium or communication medium.
  • transitory computer readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
  • the input/output interface 304 is connected to a display device 3041, an input device 3042, a sound output device 3043, and the like.
  • the display device 3041 is a device that displays a screen corresponding to drawing data processed by the processor 301, such as an LCD (Liquid Crystal Display), a CRT (Cathode Ray Tube) display, or a monitor.
  • the input device 3042 is a device that receives an operator's operation input, and is, for example, a keyboard, a mouse, a touch sensor, or the like.
  • the display device 3041 and the input device 3042 may be integrated and implemented as a touch panel.
  • the sound output device 3043 is a device, such as a speaker, that outputs sound corresponding to the sound data processed by the processor 301 .
  • the communication interface 305 transmits and receives data to and from an external device.
  • the communication interface 305 communicates with external devices via wired or wireless communication paths.
  • An imaging condition determination method performed by an imaging condition determination device, a first step of retaining reference data representing the position of the object; a second step of holding a pointing object representing a position of an object on said reference data; a third step of determining imaging conditions for LiDAR (Light Detection And Ranging) for imaging the target based on the reference data and the pointing object; a fourth step of outputting the imaging conditions; How to determine shooting conditions.
  • LiDAR Light Detection And Ranging
  • (Appendix 2) In the third step, calculating a shooting area, which is an area where the object is not blocked by an object and is a physically shootable area; determining an imaging position as the imaging condition from within the imaging area; determining a shooting posture as the shooting condition based on a direction vector from the shooting position to the pointing object; The imaging condition determination method according to appendix 1. (Appendix 3) In the third step, calculating a shooting area based on the distance or incident angle to the pointing object; determining an imaging position as the imaging condition from within the imaging area; determining a shooting posture as the shooting condition based on a direction vector from the shooting position to the pointing object; The imaging condition determination method according to appendix 1.
  • (Appendix 6) In the third step, calculating a shooting area that is an area where the object is not blocked by an object and is physically shootable, or calculating the shooting area based on the distance or incident angle to the pointing object; , determining a shooting position from within the shooting area based on a positional relationship with the current position of the shooting device; determining a route from the current position of the imaging device to the imaging position as the imaging condition; The imaging condition determination method according to appendix 4. (Appendix 7) In the third step, determining a shooting posture as the shooting condition based on a direction vector from the shooting position to the pointing object; The imaging condition determination method according to appendix 6.
  • the imaging device includes both the LiDAR and the camera;
  • the reference data is data in which point cloud data acquired by the LiDAR and image data acquired by the camera are superimposed,
  • the third step if the pointing object is not on the point cloud data but on the image data, determining the displacement from the current attitude of the imaging device to the imaging attitude as the imaging condition;
  • the pointing object is located on any one point of the point cloud data, determining a path from the current position of the imaging device to the imaging position and the imaging posture as the imaging conditions;
  • the imaging condition determination method according to appendix 4.
  • the imaging device includes both the LiDAR and the camera;
  • the reference data is data in which point cloud data acquired by the LiDAR and image data acquired by the camera are superimposed,
  • identifying an object including the pointing object on the image data by clustering; Obtaining a point representing the identified object on the point cloud data; Considering the obtained point as the pointing object, Determining a route and a shooting posture from the current position of the shooting device to the shooting position as the shooting conditions;
  • the imaging condition determination method according to appendix 4.
  • (Appendix 12) a reference data holding unit that holds reference data representing the position of an object; a pointing object holding unit holding a pointing object representing the position of the target on the reference data; an imaging condition determination unit that determines imaging conditions for LiDAR (Light Detection And Ranging) for imaging the target based on the reference data and the pointing object; A shooting condition output unit that outputs the shooting conditions, Shooting condition determination system.
  • (Appendix 13) further comprising an imaging control unit that acquires the reference data using an imaging device including at least the LiDAR among the LiDAR and a camera; The imaging condition output unit outputs the imaging conditions to the imaging control unit, The imaging control unit changes the state of the imaging device based on the imaging conditions, The imaging condition determination system according to appendix 12.
  • the shooting condition output unit outputs the shooting conditions to a shooting control unit that acquires the reference data using a shooting device including at least the LiDAR among the LiDAR and the camera, The imaging control unit changes the state of the imaging device based on the imaging conditions, 15.
  • the imaging condition determination device according to appendix 14.
  • imaging condition determination system 101 reference data storage unit 102 instruction object storage unit 103 imaging condition determination unit 104 imaging condition output unit 105 imaging control unit 200 imaging condition determination device 300 computer 301 processor 302 memory 303 storage 304 input/output interface 3041 display Device 3042 Input device 3043 Sound output device 305 Communication interface

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Studio Devices (AREA)

Abstract

本開示に係る撮影条件決定システムは、物体の位置を表現する基準データを保持する基準データ保持部（１０１）と、基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部（１０２）と、基準データ及び指示オブジェクトに基づいて、対象物を撮影するＬｉＤＡＲの撮影条件を決定する撮影条件決定部（１０３）と、撮影条件を出力する撮影条件出力部（１０４）と、を備える。

Description

撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体
　本開示は、撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体に関する。
　ＬｉＤＡＲ（Light Detection And Ranging）は、撮影現場を撮影し、撮影現場に存在する対象物までの距離を測定することで、その対象物の形状を測定することが可能な技術である。ＬｉＤＡＲによる対象物までの距離を測定する方式としては、例えば、ＴｏＦ（Time of Flight）方式が挙げられる。ＬｉＤＡＲは、広範囲にわたって、対象物の形状を測定できるため、施設の点検等に利用されている。
　詳細には、ＬｉＤＡＲは、撮影現場の撮影時に、撮影現場に存在する対象物に対して光を照射することにより、対象物までの距離及び対象物の形状を測定する。このとき、ＬｉＤＡＲは、ＬｉＤＡＲにより測定された対象物上の測定点の３次元座標の集合である点群データ（Point Cloud Data）を取得する。
　点群データを用いて、施設の点検を行う関連技術としては、例えば、特許文献１に開示された技術が挙げられる。特許文献１に開示された技術においては、施設内の部位のうち、変更された変更部位を検出するために、点群データを用いる。詳細には、まず、レーザスキャナ等である３次元計測器により疎点群データを取得する。次に、予め記憶されている３次元詳細データと、取得された疎点群データと、を位置合わせする。次に、対象空間領域のうち、疎点群データが存在する空間を判定対象空間とし、判定対象空間での３次元詳細データと疎点群データの相違量を算出する。次に、相違量の算出結果に基づいて、３次元詳細データから変更された変更部位を検出する。その後、３次元計測器を判定対象空間内で移動させて、上記と同様に、疎点群データの取得及び変更部位の検出を行う。
特開２０１６－２１７９４１号公報
　ところで、ＬｉＤＡＲにより取得される点群データには、対象物上の測定点の３次元座標のデータの他に、測定点の反射輝度（測定点での反射光の強度）のデータも含まれる。しかし、ＬｉＤＡＲにより取得される点群データは、ＬｉＤＡＲの撮影条件（例えば、撮影位置、撮影姿勢等）に依存する。
　例えば、ＬｉＤＡＲにより取得される点群データに含まれる反射輝度のデータは、ＬｉＤＡＲと対象物との位置関係（例えば、距離、入射角度等）に依存する。
　また、ＬｉＤＡＲが点群データを取得できる範囲は、光の直線性に起因して、ＬｉＤＡＲと遮蔽物との位置関係に依存する。
　また、ＬｉＤＡＲにより取得される点群データの一定画角に含まれる内容は、ＬｉＤＡＲの撮影位置や撮影姿勢に依存する。
　そのため、ＬｉＤＡＲにより対象物を適切に撮影するためには、ＬｉＤＡＲの適切な撮影条件を決定する必要がある。
　しかし、特許文献１に開示された技術は、施設内の変更部位を検出するために、３次元計測器を判定対象空間内で移動させる技術である。そのため、特許文献１には、対象物を適切に撮影するための適切な撮影条件の決定方法については何ら開示されていない。
　そこで本開示の目的は、上記の課題を解決し、ＬｉＤＡＲの適切な撮影条件を決定することができる撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体を提供することにある。
　一態様による撮影条件決定方法は、
　撮影条件決定装置が行う撮影条件決定方法であって、
　物体の位置を表現する基準データを保持する第１ステップと、
　前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する第２ステップと、
　前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するＬｉＤＡＲ（Light Detection And Ranging）の撮影条件を決定する第３ステップと、
　前記撮影条件を出力する第４ステップと、を含む。
　一態様による撮影条件決定システムは、
　物体の位置を表現する基準データを保持する基準データ保持部と、
　前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部と、
　前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するＬｉＤＡＲ（Light Detection And Ranging）の撮影条件を決定する撮影条件決定部と、
　前記撮影条件を出力する撮影条件出力部と、を備える。
　一態様による撮影条件決定装置は、
　物体の位置を表現する基準データを保持する基準データ保持部と、
　前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部と、
　前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するＬｉＤＡＲ（Light Detection And Ranging）の撮影条件を決定する撮影条件決定部と、
　前記撮影条件を出力する撮影条件出力部と、を備える。
　一態様によるコンピュータ可読媒体は、
　コンピュータに、
　物体の位置を表現する基準データを保持する第１手順と、
　前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する第２手順と、
　前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するＬｉＤＡＲ（Light Detection And Ranging）の撮影条件を決定する第３手順と、
　前記撮影条件を出力する第４手順と、
　を実行させるためのプログラムが格納される。
　上記の態様によれば、ＬｉＤＡＲの適切な撮影条件を決定することができる撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体を提供することができるという効果が得られる。
実施の形態１に係る撮影条件決定システムの構成例を示す図である。 実施の形態１に係る撮影条件決定部による撮影条件の決定方法Ａ１の例を示す図である。 実施の形態１に係る撮影条件決定部による撮影条件の決定方法Ａ２の例を示す図である。 実施の形態１に係る撮影条件決定システムの全体動作の流れの例を示すフロー図である。 実施の形態２に係る撮影条件決定システムの構成例を示す図である。 実施の形態２に係る撮影条件決定部による撮影条件の決定方法Ｂ１の例を示す図である。 実施の形態２に係る撮影条件決定部による撮影条件の決定方法Ｂ２の例を示す図である。 実施の形態２に係る撮影条件決定部による撮影条件の決定方法Ｂ３の例を示す図である。 図８の画像データの例を示す図である。 図８の点群データの例を示す図である。 実施の形態２に係る撮影条件決定システムの全体動作の流れの例を示すフロー図である。 他の実施の形態に係る撮影条件決定装置の構成例を示す図である。 他の実施の形態に係る撮影条件決定装置を実現するコンピュータのハードウェア構成例を示すブロック図である。
　以下、図面を参照して本開示の実施の形態について説明する。なお、以下の記載及び図面は、説明の明確化のため、適宜、省略及び簡略化がなされている。また、以下の各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
＜実施の形態１＞
　まず、図１を参照して、本実施の形態１に係る撮影条件決定システム１００の構成例について説明する。
　図１に示されるように、本実施の形態１に係る撮影条件決定システム１００は、基準データ保持部１０１、指示オブジェクト保持部１０２、撮影条件決定部１０３、及び、撮影条件出力部１０４を備えており、ＬｉＤＡＲ（不図示）の適切な撮影条件を決定するためのシステムである。
　基準データ保持部１０１は、基準データを保持する。
　基準データは、撮影現場における物体の位置を表現するデータである。例えば、基準データは、上記のＬｉＤＡＲにより取得された点群データ、カメラ（不図示）により取得された画像データ、又は、設計図等である。
　指示オブジェクト保持部１０２は、指示オブジェクトを保持する。
　指示オブジェクトは、基準データ上でのＬｉＤＡＲによる撮影の対象物の位置を表現する情報である。例えば、指示オブジェクトは、基準データ上の対象物に含まれる点、基準データ上の対象物と共通領域を持つ領域等である。
　また、指示オブジェクトは、ユーザが指定することが可能である。ただし、対象物が基準データ上で特有の性質を表している場合には、指示オブジェクトを、ユーザ指定ではなく、自動的な処理によって決定することが可能である。例えば、指示オブジェクト保持部１０２は、色や形状特徴量（曲率）が所定の範囲内である部分を指示オブジェクトに設定する、という設定条件を予め保持していても良い。そして、指示オブジェクト保持部１０２は、基準データ上の部分の中から、設定条件に定められた部分を検索し、発見された部分を指示オブジェクトに決定し保持しても良い。又は、指示オブジェクト保持部１０２は、ある物体を指示オブジェクトに設定する、という設定条件を予め保持していても良い。そして、指示オブジェクト保持部１０２は、パターンマッチング等の物体検索技術を用いて、基準データ上の物体の中から、設定条件に定められた物体を検索し、発見された物体を指示オブジェクトに決定し保持しても良い。
　撮影条件決定部１０３は、基準データ及び指示オブジェクトに基づいて、指示オブジェクトが表す対象物を撮影するための、ＬｉＤＡＲの撮影条件を決定する。
　撮影条件は、ＬｉＤＡＲが対象物を撮影する条件である。例えば、撮影条件は、撮影位置、撮影姿勢、撮影視野角、撮影解像度等である。
　なお、撮影条件決定部１０３による撮影条件の決定方法の具体例については後述する。
　撮影条件出力部１０４は、撮影条件決定部１０３により決定された撮影条件を、ユーザ又は外部手段に出力する。
　撮影条件の出力方法は、特に限定は無いが、ユーザ又は外部手段による効率的なＬｉＤＡＲの撮影を補助するものであれば好適である。
　例えば、撮影条件出力部１０４は、撮影条件に基づいて、基準データの一部を強調して表示しても良い。例えば、撮影条件が撮影位置であれば、撮影条件出力部１０４は、基準データ上の撮影位置に相当する位置を、マーキング等により強調表示しても良い。
　又は、撮影条件出力部１０４は、基準データ上に撮影条件に基づく撮影時のイメージ図を表示しても良い。
　又は、撮影条件出力部１０４は、撮影条件から推測される撮影結果を画面表示しても良い。
　ここで、本実施の形態１に係る撮影条件決定部１０３による撮影条件の決定方法の具体例について説明する。以下で説明する例は、撮影条件として、撮影位置及び撮影姿勢を決定する例である。
（Ａ１）決定方法Ａ１
　まず、図２を参照して、本実施の形態１に係る撮影条件決定部１０３による撮影条件の決定方法Ａ１について説明する。なお、図２は、撮影現場を上方から見た平面図を示している（後述する図３も同様）。
　図２に示されるように、決定方法Ａ１では、まず、撮影条件決定部１０３は、指示オブジェクトが表現する対象物を撮影可能な撮影領域を算出する。対象物を撮影可能な撮影領域とは、対象物が物体で遮られない領域で、かつ、物理的に撮影可能な領域等である。例えば、ＬｉＤＡＲが、物体の上に設置された状態では、撮影が不可能である場合には、物体の上を除いた領域が、物理的に撮影可能な領域となる。
　次に、撮影条件決定部１０３は、上記で算出された撮影領域の中から撮影位置を決定する。
　その後、撮影条件決定部１０３は、上記で決定された撮影位置から指示オブジェクトまでの方向ベクトルに基づいて、撮影姿勢を決定する。
（Ａ２）決定方法Ａ２
　続いて、図３を参照して、本実施の形態１に係る撮影条件決定部１０３による撮影条件の決定方法Ａ２について説明する。
　図３に示されるように、決定方法Ａ２では、まず、撮影条件決定部１０３は、指示オブジェクトまでの距離又は入射角度に基づいて、適切な撮影領域を算出する。
　以降は、撮影条件決定部１０３は、上記の決定方法Ａ１と同様に、撮影位置及び撮影姿勢を決定する。
　すなわち、撮影条件決定部１０３は、上記で算出された撮影領域の中から撮影位置を決定し、決定された撮影位置から指示オブジェクトまでの方向ベクトルに基づいて、撮影姿勢を決定する。
　続いて、図４を参照して、本実施の形態１に係る撮影条件決定システム１００の全体動作の流れの例について説明する。
　図４に示されるように、まず、基準データ保持部１０１は、基準データを保持し、指示オブジェクト保持部１０２は、指示オブジェクトを保持する（ステップＳ１０１）。このとき、基準データ保持部１０１は、ユーザに指定された基準データを保持する。一方、指示オブジェクト保持部１０２は、ユーザに指定された指示オブジェクトを保持するか、又は、自動的な処理によって決定された指示オブジェクトを保持する。
　次に、撮影条件決定部１０３は、基準データ及び指示オブジェクトに基づいて、指示オブジェクトが表す対象物を撮影するための、ＬｉＤＡＲの撮影条件を決定する（ステップＳ１０２）。
　その後、撮影条件出力部１０４は、撮影条件決定部１０３により決定された撮影条件を、ユーザ又は外部手段に出力する（ステップＳ１０３）。
　上述したように本実施の形態１によれば、基準データ保持部１０１は、物体の位置を表現する基準データを保持し、指示オブジェクト保持部１０２は、基準データ上での対象物の位置を表現する指示オブジェクトを保持する。また、撮影条件決定部１０３は、基準データ及び指示オブジェクトに基づいて、指示オブジェクトが表現する対象物を撮影するＬｉＤＡＲの撮影条件を決定し、撮影条件出力部１０４は、決定された撮影条件を出力する。これにより、ＬｉＤＡＲの適切な撮影条件を決定することができる。
＜実施の形態２＞
　続いて、図５を参照して、本実施の形態２に係る撮影条件決定システム１００Ａの構成例について説明する。
　図５に示されるように、本実施の形態２に係る撮影条件決定システム１００Ａは、上記の実施の形態１の構成と比較して、撮影制御部１０５が追加されている点が異なる。
　撮影制御部１０５は、撮影装置（不図示）と共に撮影現場に配置され、撮影現場において、撮影装置を用いて基準データを取得する。撮影装置は、ＬｉＤＡＲ及びカメラのうち少なくともＬｉＤＡＲを含む装置、又は、その装置を搭載した自律移動ロボットである。そのため、本実施の形態２においては、基準データは、撮影装置により取得されたデータとなり、その結果、設計図等は除外される。
　撮影条件決定部１０３は、上記の実施の形態１と同様に、ＬｉＤＡＲの撮影条件を決定する。ここで、ＬｉＤＡＲの撮影条件を決定することは、撮影装置の撮影条件を決定することを意味する。そのため、以下では、撮影条件決定部１０３は、撮影装置の撮影条件を決定するものとして説明する。
　撮影条件出力部１０４は、撮影制御部１０５との通信を介して、撮影制御部１０５に対して撮影条件を出力する。この場合、撮影条件は、撮影装置に作用させる、現在の位置から撮影位置までの経路であっても良い。又は、撮影条件は、撮影装置に作用させる、現在の姿勢から撮影姿勢までの変位（仰角及び方位角）であっても良い。
　撮影制御部１０５は、撮影条件出力部１０４から出力された撮影条件に基づいて、撮影装置の状態、すなわち、ＬｉＤＡＲの状態を変える。例えば、撮影装置がカメラをさらに含む場合には、撮影装置の状態を変えることにより、カメラの状態も変わることになる。
　ここで、本実施の形態２に係る撮影条件決定部１０３による撮影条件の決定方法の具体例について説明する。
（Ｂ１）決定方法Ｂ１
　まず、図６を参照して、本実施の形態２に係る撮影条件決定部１０３による撮影条件の決定方法Ｂ１について説明する。決定方法Ｂ１は、撮影条件として、現在の姿勢から撮影姿勢までの変位を決定する例である。なお、決定方法Ｂ１は、撮影位置は固定されていることを前提とする。
　図６に示されるように、決定方法Ｂ１では、撮影条件決定部１０３は、基準データ上での指示オブジェクトが、撮影姿勢の変更によって特定の位置（例えば、中心）に変更されるよう、撮影姿勢の変位を決定する。
　図６の例では、撮影条件決定部１０３は、基準データの中心から、指示オブジェクトの中心への、方向ベクトルを算出し、算出された方向ベクトルに基づいて、撮影装置に作用させる撮影姿勢の変位（仰角及び方位角）を決定する。
（Ｂ２）決定方法Ｂ２
　次に、図７を参照して、本実施の形態２に係る撮影条件決定部１０３による撮影条件の決定方法Ｂ２について説明する。決定方法Ｂ２は、撮影条件として、現在の位置から撮影位置までの経路を決定する例である。なお、図７は、撮影現場を上方から見た平面図を示している。
　図７に示されるように、決定方法Ｂ１では、まず、撮影条件決定部１０３は、上記の実施の形態１の決定方法Ａ２（図３）と同様の方法で、適切な撮影領域を算出する。
　次に、撮影条件決定部１０３は、基準データ上での撮影装置の現在位置を特定する。
　次に、撮影条件決定部１０３は、撮影条件決定部１０３は、上記で算出された撮影領域の中から、撮影装置の現在位置との位置関係（例えば、到達までの経路長）に基づいて、撮影位置を決定する。
　その後、撮影条件決定部１０３は、現在位置から、決定された撮影位置までの経路を、決定する。また、撮影条件決定部１０３は、上記の実施の形態１の決定方法Ａ２（図３）と同様の方法で、撮影姿勢を決定しても良い。
　なお、図７では、撮影条件決定部１０３は、撮影領域を算出するに際して、上記の実施の形態１の決定方法Ａ２（図３）と同様の方法を用いているが、これには限定されない。撮影条件決定部１０３は、上記の実施の形態１の決定方法Ａ１（図２）と同様の方法を用いて、撮影領域を算出しても良い。
（Ｂ３）決定方法Ｂ３
　次に、図８～図１０を参照して、本実施の形態２に係る撮影条件決定部１０３による撮影条件の決定方法Ｂ３について説明する。
　図８に示されるように、決定方法Ｂ３では、基準データが、カメラにより取得された画像データ（図９を参照）と、ＬｉＤＡＲにより取得された点群データ（図１０を参照）と、が重畳されたデータであることを前提とする。そのため、決定方法Ｂ３では、撮影装置も、ＬｉＤＡＲ及びカメラの双方を含む装置、又は、その装置を搭載した自律移動ロボットであることが前提となる。
　図８の例では、指示オブジェクトが、点群データ上にはなく、画像データ上にある。この場合、撮影条件決定部１０３は、例えば、上記の決定方法Ｂ１（図６）と同様の方法を用いて、撮影姿勢を決定する。
　一方、図示していないが、指示オブジェクトが、点群データのいずれかの１点上にあったとする。この場合、撮影条件決定部１０３は、例えば、上記の決定方法Ｂ２（図７）と同様の方法を用いて、現在位置から撮影位置までの経路を決定すると共に、撮影姿勢を決定しても良い。
　ただし、指示オブジェクトが、点群データ上にはなく、画像データ上にある場合でも、撮影条件決定部１０３は、以下の方法を用いて、現在位置から撮影位置までの経路及び撮影姿勢を決定することができる。すなわち、撮影条件決定部１０３は、画像データ上で指示オブジェクトを含む物体をクラスタリングにより特定し、特定された物体を点群データ上で表す点を取得する。そして、撮影条件決定部１０３は、取得された点を指示オブジェクトと見做して、経路及び撮影姿勢を決定する。
　また、指示オブジェクトが、点群データ上にはなく、画像データ上にある場合でも、指示オブジェクトと見做すことが可能な点を取得できるため、必ずしも点群データを表示する必要は無い。そのため、撮影条件出力部１０４は、基準データが画像データと点群データとが重畳されたデータである場合でも、画像データのみを表示しても良い。そして、撮影条件決定部１０３は、画像データ上でタッチされた位置を指示オブジェクトと判断して、上記の動作を行えば良い。
　続いて、図１１を参照して、本実施の形態２に係る撮影条件決定システム１００Ａの全体動作の流れの例について説明する。
　図１１に示されるように、まず、撮影制御部１０５は、撮影装置を用いて基準データを取得し、基準データ保持部１０１は、撮影制御部１０５により取得された基準データを保持する（ステップＳ２０１）。また、指示オブジェクト保持部１０２は、指示オブジェクトを保持する（ステップＳ２０２）。このとき、指示オブジェクト保持部１０２は、ユーザに指定された指示オブジェクトを保持するか、又は、自動的な処理によって決定された指示オブジェクトを保持する。
　次に、撮影条件決定部１０３は、基準データ及び指示オブジェクトに基づいて、指示オブジェクトが表す対象物を撮影するための、撮影装置の撮影条件を決定する（ステップＳ２０３）。
　次に、撮影条件出力部１０４は、撮影条件決定部１０３により決定された撮影条件を、撮影制御部１０５に出力する（ステップＳ２０４）。
　その後、撮影制御部１０５は、撮影条件出力部１０４から出力された撮影条件に基づいて、撮影装置の状態を変える（ステップＳ２０５）。
　上述したように本実施の形態２によれば、撮影条件出力部１０４は、ＬｉＤＡＲを少なくとも含む撮影装置を用いて、基準データを取得する撮影制御部１０５に対し、撮影条件を出力する。撮影制御部１０５は、撮影条件に基づいて、撮影装置の状態を変える。これにより、例えば、撮影装置が遠隔地にあっても、撮影装置の状態を補正することができる。その他の効果は、上記の実施の形態１と同様である。
＜他の実施の形態＞
　上記の実施の形態１，２では、基準データ保持部１０１、指示オブジェクト保持部１０２、撮影条件決定部１０３、及び、撮影条件出力部１０４は、それぞれ別々に設けられているように図示されているが、これらの構成要素は、１つの装置（撮影条件決定装置）の内部に集約して設けられても良い。
　そこで続いて、図１２を参照して、他の実施の形態に係る撮影条件決定装置２００の構成について説明する。
　図１２に示されるように、他の実施の形態に係る撮影条件決定装置２００は、基準データ保持部１０１、指示オブジェクト保持部１０２、撮影条件決定部１０３、及び、撮影条件出力部１０４を備えている。なお、これらの構成要素の動作については、上記の実施の形態１，２で説明した動作と同様であるため、説明を省略する。
＜他の実施の形態に係る撮影条件決定装置のハードウェア構成＞
　続いて、図１３を参照して、上記の他の実施の形態に係る撮影条件決定装置２００を実現するコンピュータ３００のハードウェア構成について説明する。
　図１３に示されるように、コンピュータ３００は、プロセッサ３０１、メモリ３０２、ストレージ３０３、入出力インタフェース（入出力Ｉ／Ｆ）３０４、及び通信インタフェース（通信Ｉ／Ｆ）３０５等を備える。プロセッサ３０１、メモリ３０２、ストレージ３０３、入出力インタフェース３０４、及び通信インタフェース３０５は、相互にデータを送受信するためのデータ伝送路で接続されている。
　プロセッサ３０１は、例えばＣＰＵ（Central Processing Unit）やＧＰＵ（Graphics Processing Unit）等の演算処理装置である。メモリ３０２は、例えばＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）等のメモリである。ストレージ３０３は、例えばＨＤＤ（Hard Disk Drive）、ＳＳＤ（Solid State Drive）、またはメモリカード等の記憶装置である。また、ストレージ３０３は、ＲＡＭやＲＯＭ等のメモリであっても良い。
　ストレージ３０３には、プログラムが記憶される。このプログラムは、コンピュータに読み込まれた場合に、上記の実施の形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。上記の撮影条件決定装置２００における撮影条件決定部１０３及び撮影条件出力部１０４は、プロセッサ３０１がストレージ３０３に記憶されたプログラムを読み込んで実行することにより実現されても良い。また、上記の撮影条件決定装置２００における基準データ保持部１０１及び指示オブジェクト保持部１０２は、メモリ３０２又はストレージ３０３により実現されても良い。
　また、上記のプログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されても良い。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＳＳＤ又はその他のメモリ技術、ＣＤ（Compact Disc）－ＲＯＭ、ＤＶＤ（Digital Versatile Disc）、Ｂｌｕ－ｒａｙ（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されても良い。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、又はその他の形式の伝搬信号を含む。
　入出力インタフェース３０４は、表示装置３０４１、入力装置３０４２、音出力装置３０４３等と接続される。表示装置３０４１は、ＬＣＤ（Liquid Crystal Display）、ＣＲＴ（Cathode Ray Tube）ディスプレイ、モニターのような、プロセッサ３０１により処理された描画データに対応する画面を表示する装置である。入力装置３０４２は、オペレータの操作入力を受け付ける装置であり、例えば、キーボード、マウス、及びタッチセンサ等である。表示装置３０４１及び入力装置３０４２は一体化され、タッチパネルとして実現されていても良い。音出力装置３０４３は、スピーカのような、プロセッサ３０１により処理された音響データに対応する音を音響出力する装置である。
　通信インタフェース３０５は、外部の装置との間でデータを送受信する。例えば、通信インタフェース３０５は、有線通信路または無線通信路を介して外部装置と通信する。
　以上、実施の形態を参照して本開示を説明したが、本開示は上記の実施の形態に限定されるものではない。本開示の構成や詳細には、本開示のスコープ内で当業者が理解し得る様々な変更をすることができる。
　また、上記の実施の形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　　　（付記１）
　撮影条件決定装置が行う撮影条件決定方法であって、
　物体の位置を表現する基準データを保持する第１ステップと、
　前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する第２ステップと、
　前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するＬｉＤＡＲ（Light Detection And Ranging）の撮影条件を決定する第３ステップと、
　前記撮影条件を出力する第４ステップと、を含む、
　撮影条件決定方法。
　　　（付記２）
　前記第３ステップでは、
　前記対象物が物体で遮られない領域で、かつ、物理的に撮影可能な領域である撮影領域を算出し、
　前記撮影領域の中から、前記撮影条件として、撮影位置を決定し、
　前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
　付記１に記載の撮影条件決定方法。
　　　（付記３）
　前記第３ステップでは、
　前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
　前記撮影領域の中から、前記撮影条件として、撮影位置を決定し、
　前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
　付記１に記載の撮影条件決定方法。
　　　（付記４）
　前記第４ステップでは、前記ＬｉＤＡＲ及びカメラのうち少なくとも前記ＬｉＤＡＲを含む撮影装置を用いて前記基準データを取得する撮影制御部に対し、前記撮影条件を出力し、
　前記撮影制御部は、前記撮影条件に基づいて、前記撮影装置の状態を変える、
　付記１に記載の撮影条件決定方法。
　　　（付記５）
　前記第３ステップでは、
　前記基準データの特定の位置から、前記指示オブジェクトの中心への、方向ベクトルを算出し、
　前記方向ベクトルに基づいて、前記撮影条件として、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定する、
　付記４に記載の撮影条件決定方法。
　　　（付記６）
　前記第３ステップでは、
　前記対象物が物体で遮られない領域で、かつ、物理的に撮影可能な領域である撮影領域を算出するか、又は、前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
　前記撮影領域の中から、前記撮影装置の現在位置との位置関係に基づいて、撮影位置を決定し、
　前記撮影条件として、前記撮影装置の現在位置から前記撮影位置までの経路を決定する、
　付記４に記載の撮影条件決定方法。
　　　（付記７）
　前記第３ステップでは、
　前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
　付記６に記載の撮影条件決定方法。
　　　（付記８）
　前記撮影装置は、前記ＬｉＤＡＲ及び前記カメラの双方を含み、
　前記基準データは、前記ＬｉＤＡＲにより取得された点群データと、前記カメラにより取得された画像データと、が重畳されたデータであり、
　前記第３ステップでは、
　前記指示オブジェクトが、前記点群データ上にはなく、前記画像データ上にある場合、前記撮影条件として、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定し、
　前記指示オブジェクトが、前記点群データのいずれかの１点上にある場合、前記撮影条件として、前記撮影装置の現在位置から撮影位置までの経路及び撮影姿勢を決定する、
　付記４に記載の撮影条件決定方法。
　　　（付記９）
　前記撮影装置は、前記ＬｉＤＡＲ及び前記カメラの双方を含み、
　前記基準データは、前記ＬｉＤＡＲにより取得された点群データと、前記カメラにより取得された画像データと、が重畳されたデータであり、
　前記第３ステップでは、
　前記指示オブジェクトが、前記点群データ上にはなく、前記画像データ上にある場合、
　前記画像データ上で前記指示オブジェクトを含む物体をクラスタリングにより特定し、
　特定された物体を前記点群データ上で表す点を取得し、
　取得された点を前記指示オブジェクトと見做し、
　前記撮影条件として、前記撮影装置の現在位置から撮影位置までの経路及び撮影姿勢を決定する、
　付記４に記載の撮影条件決定方法。
　　　（付記１０）
　前記第３ステップでは、
　前記撮影条件として、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定する場合、
　前記基準データの特定の位置から、前記指示オブジェクトの中心への、方向ベクトルを算出し、
　前記方向ベクトルに基づいて、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定する、
　付記８又は９に記載の撮影条件決定方法。
　　　（付記１１）
　前記第３ステップでは、
　前記撮影条件として、前記撮影装置の現在位置から撮影位置までの経路及び撮影姿勢を決定する場合、
　前記対象物が物体で遮られない領域で、かつ、物理的に撮影可能な領域である撮影領域を算出するか、又は、前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
　前記撮影領域の中から、前記撮影装置の現在位置との位置関係に基づいて、撮影位置を決定し、
　前記撮影装置の現在位置から前記撮影位置までの経路を決定し、
　前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、撮影姿勢を決定する、
　付記８又は９に記載の撮影条件決定方法。
　　　（付記１２）
　物体の位置を表現する基準データを保持する基準データ保持部と、
　前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部と、
　前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するＬｉＤＡＲ（Light Detection And Ranging）の撮影条件を決定する撮影条件決定部と、
　前記撮影条件を出力する撮影条件出力部と、を備える、
　撮影条件決定システム。
　　　（付記１３）
　前記ＬｉＤＡＲ及びカメラのうち少なくとも前記ＬｉＤＡＲを含む撮影装置を用いて前記基準データを取得する撮影制御部をさらに備え、
　前記撮影条件出力部は、前記撮影制御部に対し、前記撮影条件を出力し、
　前記撮影制御部は、前記撮影条件に基づいて、前記撮影装置の状態を変える、
　付記１２に記載の撮影条件決定システム。
　　　（付記１４）
　物体の位置を表現する基準データを保持する基準データ保持部と、
　前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部と、
　前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するＬｉＤＡＲ（Light Detection And Ranging）の撮影条件を決定する撮影条件決定部と、
　前記撮影条件を出力する撮影条件出力部と、を備える、
　撮影条件決定装置。
　　　（付記１５）
　前記撮影条件出力部は、前記ＬｉＤＡＲ及びカメラのうち少なくとも前記ＬｉＤＡＲを含む撮影装置を用いて前記基準データを取得する撮影制御部に対し、前記撮影条件を出力し、
　前記撮影制御部は、前記撮影条件に基づいて、前記撮影装置の状態を変える、
　付記１４に記載の撮影条件決定装置。
　　　（付記１６）
　コンピュータに、
　物体の位置を表現する基準データを保持する第１手順と、
　前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する第２手順と、
　前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するＬｉＤＡＲ（Light Detection And Ranging）の撮影条件を決定する第３手順と、
　前記撮影条件を出力する第４手順と、
　を実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。
　１００，１００Ａ　撮影条件決定システム
　１０１　基準データ保持部
　１０２　指示オブジェクト保持部
　１０３　撮影条件決定部
　１０４　撮影条件出力部
　１０５　撮影制御部
　２００　撮影条件決定装置
　３００　コンピュータ
　３０１　プロセッサ
　３０２　メモリ
　３０３　ストレージ
　３０４　入出力インタフェース
　３０４１　表示装置
　３０４２　入力装置
　３０４３　音出力装置
　３０５　通信インタフェース

Claims (16)

  1. 　撮影条件決定装置が行う撮影条件決定方法であって、
    　物体の位置を表現する基準データを保持する第１ステップと、
    　前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する第２ステップと、
    　前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するＬｉＤＡＲ（Light Detection And Ranging）の撮影条件を決定する第３ステップと、
    　前記撮影条件を出力する第４ステップと、を含む、
    　撮影条件決定方法。
  2. 　前記第３ステップでは、
    　前記対象物が物体で遮られない領域で、かつ、物理的に撮影可能な領域である撮影領域を算出し、
    　前記撮影領域の中から、前記撮影条件として、撮影位置を決定し、
    　前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
    　請求項１に記載の撮影条件決定方法。
  3. 　前記第３ステップでは、
    　前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
    　前記撮影領域の中から、前記撮影条件として、撮影位置を決定し、
    　前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
    　請求項１に記載の撮影条件決定方法。
  4. 　前記第４ステップでは、前記ＬｉＤＡＲ及びカメラのうち少なくとも前記ＬｉＤＡＲを含む撮影装置を用いて前記基準データを取得する撮影制御部に対し、前記撮影条件を出力し、
    　前記撮影制御部は、前記撮影条件に基づいて、前記撮影装置の状態を変える、
    　請求項１に記載の撮影条件決定方法。
  5. 　前記第３ステップでは、
    　前記基準データの特定の位置から、前記指示オブジェクトの中心への、方向ベクトルを算出し、
    　前記方向ベクトルに基づいて、前記撮影条件として、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定する、
    　請求項４に記載の撮影条件決定方法。
  6. 　前記第３ステップでは、
    　前記対象物が物体で遮られない領域で、かつ、物理的に撮影可能な領域である撮影領域を算出するか、又は、前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
    　前記撮影領域の中から、前記撮影装置の現在位置との位置関係に基づいて、撮影位置を決定し、
    　前記撮影条件として、前記撮影装置の現在位置から前記撮影位置までの経路を決定する、
    　請求項４に記載の撮影条件決定方法。
  7. 　前記第３ステップでは、
    　前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、前記撮影条件として、撮影姿勢を決定する、
    　請求項６に記載の撮影条件決定方法。
  8. 　前記撮影装置は、前記ＬｉＤＡＲ及び前記カメラの双方を含み、
    　前記基準データは、前記ＬｉＤＡＲにより取得された点群データと、前記カメラにより取得された画像データと、が重畳されたデータであり、
    　前記第３ステップでは、
    　前記指示オブジェクトが、前記点群データ上にはなく、前記画像データ上にある場合、前記撮影条件として、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定し、
    　前記指示オブジェクトが、前記点群データのいずれかの１点上にある場合、前記撮影条件として、前記撮影装置の現在位置から撮影位置までの経路及び撮影姿勢を決定する、
    　請求項４に記載の撮影条件決定方法。
  9. 　前記撮影装置は、前記ＬｉＤＡＲ及び前記カメラの双方を含み、
    　前記基準データは、前記ＬｉＤＡＲにより取得された点群データと、前記カメラにより取得された画像データと、が重畳されたデータであり、
    　前記第３ステップでは、
    　前記指示オブジェクトが、前記点群データ上にはなく、前記画像データ上にある場合、
    　前記画像データ上で前記指示オブジェクトを含む物体をクラスタリングにより特定し、
    　特定された物体を前記点群データ上で表す点を取得し、
    　取得された点を前記指示オブジェクトと見做し、
    　前記撮影条件として、前記撮影装置の現在位置から撮影位置までの経路及び撮影姿勢を決定する、
    　請求項４に記載の撮影条件決定方法。
  10. 　前記第３ステップでは、
    　前記撮影条件として、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定する場合、
    　前記基準データの特定の位置から、前記指示オブジェクトの中心への、方向ベクトルを算出し、
    　前記方向ベクトルに基づいて、前記撮影装置の現在の姿勢から撮影姿勢までの変位を決定する、
    　請求項８又は９に記載の撮影条件決定方法。
  11. 　前記第３ステップでは、
    　前記撮影条件として、前記撮影装置の現在位置から撮影位置までの経路及び撮影姿勢を決定する場合、
    　前記対象物が物体で遮られない領域で、かつ、物理的に撮影可能な領域である撮影領域を算出するか、又は、前記指示オブジェクトまでの距離又は入射角度に基づいて、撮影領域を算出し、
    　前記撮影領域の中から、前記撮影装置の現在位置との位置関係に基づいて、撮影位置を決定し、
    　前記撮影装置の現在位置から前記撮影位置までの経路を決定し、
    　前記撮影位置から前記指示オブジェクトまでの方向ベクトルに基づいて、撮影姿勢を決定する、
    　請求項８又は９に記載の撮影条件決定方法。
  12. 　物体の位置を表現する基準データを保持する基準データ保持部と、
    　前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部と、
    　前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するＬｉＤＡＲ（Light Detection And Ranging）の撮影条件を決定する撮影条件決定部と、
    　前記撮影条件を出力する撮影条件出力部と、を備える、
    　撮影条件決定システム。
  13. 　前記ＬｉＤＡＲ及びカメラのうち少なくとも前記ＬｉＤＡＲを含む撮影装置を用いて前記基準データを取得する撮影制御部をさらに備え、
    　前記撮影条件出力部は、前記撮影制御部に対し、前記撮影条件を出力し、
    　前記撮影制御部は、前記撮影条件に基づいて、前記撮影装置の状態を変える、
    　請求項１２に記載の撮影条件決定システム。
  14. 　物体の位置を表現する基準データを保持する基準データ保持部と、
    　前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する指示オブジェクト保持部と、
    　前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するＬｉＤＡＲ（Light Detection And Ranging）の撮影条件を決定する撮影条件決定部と、
    　前記撮影条件を出力する撮影条件出力部と、を備える、
    　撮影条件決定装置。
  15. 　前記撮影条件出力部は、前記ＬｉＤＡＲ及びカメラのうち少なくとも前記ＬｉＤＡＲを含む撮影装置を用いて前記基準データを取得する撮影制御部に対し、前記撮影条件を出力し、
    　前記撮影制御部は、前記撮影条件に基づいて、前記撮影装置の状態を変える、
    　請求項１４に記載の撮影条件決定装置。
  16. 　コンピュータに、
    　物体の位置を表現する基準データを保持する第１手順と、
    　前記基準データ上での対象物の位置を表現する指示オブジェクトを保持する第２手順と、
    　前記基準データ及び前記指示オブジェクトに基づいて、前記対象物を撮影するＬｉＤＡＲ（Light Detection And Ranging）の撮影条件を決定する第３手順と、
    　前記撮影条件を出力する第４手順と、
    　を実行させるためのプログラムが格納された非一時的なコンピュータ可読媒体。
PCT/JP2021/018636 2021-05-17 2021-05-17 撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体 Ceased WO2022244069A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2023522017A JP7582460B2 (ja) 2021-05-17 2021-05-17 撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びプログラム
PCT/JP2021/018636 WO2022244069A1 (ja) 2021-05-17 2021-05-17 撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体
US18/289,913 US12505574B2 (en) 2021-05-17 2021-05-17 Imaging condition determination method, imaging condition determination system, imaging condition determination device, and computer readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018636 WO2022244069A1 (ja) 2021-05-17 2021-05-17 撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体

Publications (1)

Publication Number Publication Date
WO2022244069A1 true WO2022244069A1 (ja) 2022-11-24

Family

ID=84141323

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018636 Ceased WO2022244069A1 (ja) 2021-05-17 2021-05-17 撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びコンピュータ可読媒体

Country Status (3)

Country Link
US (1) US12505574B2 (ja)
JP (1) JP7582460B2 (ja)
WO (1) WO2022244069A1 (ja)

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242943A (ja) * 2005-02-04 2006-09-14 Canon Inc 位置姿勢計測方法及び装置
JP2010175423A (ja) * 2009-01-30 2010-08-12 Mitsubishi Electric Corp 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム
JP2010540933A (ja) * 2007-09-28 2010-12-24 ザ・ボーイング・カンパニー 局所的位置決定システムとその方法
JP2011180022A (ja) * 2010-03-02 2011-09-15 Suzuki Motor Corp ステレオカメラの診断方法、およびステレオカメラの診断装置
WO2013111229A1 (ja) * 2012-01-23 2013-08-01 日本電気株式会社 カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
JP2017032280A (ja) * 2015-07-28 2017-02-09 株式会社リコー 角度算出システム、角度算出装置、プログラム、および角度算出方法
JP2019078746A (ja) * 2017-09-25 2019-05-23 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ ケーブル懸架式プラットフォームを用いた構造体を測定及び検査するための方法
JP2019100856A (ja) * 2017-12-01 2019-06-24 パイオニア株式会社 制御装置、検知装置、制御方法、プログラム及び記憶媒体
JP2020193820A (ja) * 2019-05-24 2020-12-03 キヤノン株式会社 計測装置、撮像装置、制御方法及びプログラム

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016217941A (ja) 2015-05-22 2016-12-22 株式会社東芝 ３次元データ評価装置、３次元データ測定システム、および３次元計測方法
US10445928B2 (en) * 2017-02-11 2019-10-15 Vayavision Ltd. Method and system for generating multidimensional maps of a scene using a plurality of sensors of various types
US11615628B2 (en) * 2018-02-02 2023-03-28 Sony Corporation Information processing apparatus, information processing method, and mobile object
US10726567B2 (en) * 2018-05-03 2020-07-28 Zoox, Inc. Associating LIDAR data and image data
EP3671261A1 (en) * 2018-12-21 2020-06-24 Leica Geosystems AG 3d surveillance system comprising lidar and multispectral imaging for object classification
DE112019006484T5 (de) * 2018-12-28 2021-10-21 Nvidia Corporation Detektion von abständen zu hindernissen in autonomen maschinenanwendungen
JP7221897B2 (ja) * 2020-03-03 2023-02-14 株式会社東芝 推定装置、移動体、推定方法及びプログラム
US12423987B2 (en) * 2020-10-23 2025-09-23 Deka Products Limited Partnership System and method for determining object characteristics in real-time
CN116803074A (zh) * 2020-11-11 2023-09-22 华为技术有限公司 用于验证估计深度信息的设备和方法
US11741618B2 (en) * 2021-03-22 2023-08-29 Everypoint, Inc. Performing object modeling by combining visual data from images with motion data of the image acquisition device

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006242943A (ja) * 2005-02-04 2006-09-14 Canon Inc 位置姿勢計測方法及び装置
JP2010540933A (ja) * 2007-09-28 2010-12-24 ザ・ボーイング・カンパニー 局所的位置決定システムとその方法
JP2010175423A (ja) * 2009-01-30 2010-08-12 Mitsubishi Electric Corp 計測装置、計測装置のレーザー位置姿勢値補正方法およびレーザー位置姿勢値補正プログラム
JP2011180022A (ja) * 2010-03-02 2011-09-15 Suzuki Motor Corp ステレオカメラの診断方法、およびステレオカメラの診断装置
WO2013111229A1 (ja) * 2012-01-23 2013-08-01 日本電気株式会社 カメラ校正装置、カメラ校正方法およびカメラ校正用プログラム
JP2017032280A (ja) * 2015-07-28 2017-02-09 株式会社リコー 角度算出システム、角度算出装置、プログラム、および角度算出方法
JP2019078746A (ja) * 2017-09-25 2019-05-23 ザ・ボーイング・カンパニーＴｈｅ Ｂｏｅｉｎｇ Ｃｏｍｐａｎｙ ケーブル懸架式プラットフォームを用いた構造体を測定及び検査するための方法
JP2019100856A (ja) * 2017-12-01 2019-06-24 パイオニア株式会社 制御装置、検知装置、制御方法、プログラム及び記憶媒体
JP2020193820A (ja) * 2019-05-24 2020-12-03 キヤノン株式会社 計測装置、撮像装置、制御方法及びプログラム

Also Published As

Publication number Publication date
US20240249433A1 (en) 2024-07-25
JPWO2022244069A1 (ja) 2022-11-24
JP7582460B2 (ja) 2024-11-13
US12505574B2 (en) 2025-12-23

Similar Documents

Publication Publication Date Title
JP5961945B2 (ja) 画像処理装置、その画像処理装置を有するプロジェクタ及びプロジェクタシステム、並びに、画像処理方法、そのプログラム、及び、そのプログラムを記録した記録媒体
CN114578329A (zh) 多传感器联合标定方法、设备、存储介质及程序产品
CN114600162A (zh) 用于捕捉摄像机图像的场景锁定模式
JP2019215811A (ja) 投影システム、画像処理装置および投影方法
WO2015068470A1 (ja) ３次元形状計測装置、３次元形状計測方法及び３次元形状計測プログラム
US12067741B2 (en) Systems and methods of measuring an object in a scene of a captured image
US9921054B2 (en) Shooting method for three dimensional modeling and electronic device supporting the same
US10432916B2 (en) Measurement apparatus and operation method of measurement apparatus
WO2021016051A1 (en) Joint environmental reconstruction and camera calibration
CN106341593B (zh) 拍照控制方法及终端
JP2019219248A (ja) 点群処理装置、点群処理方法およびプログラム
JP2023525066A (ja) 被写体下端位置に基づいた深度推定
WO2018154634A1 (ja) 投写型表示装置、投写型表示装置の制御方法、及びプログラム
JP6444981B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
CN116990830A (zh) 基于双目和tof的距离定位方法、装置、电子设备及介质
JP2017090420A (ja) ３次元情報復元装置及び３次元情報復元方法
JP6065670B2 (ja) ３次元計測システム、プログラム及び方法。
JP5996233B2 (ja) 画像撮像装置
JP7582460B2 (ja) 撮影条件決定方法、撮影条件決定システム、撮影条件決定装置、及びプログラム
CN116156132B (zh) 投影图像校正方法、装置、电子设备及可读存储介质
US20250063150A1 (en) Projector system and method for projecting images
KR20240071170A (ko) 멀티뷰 위상 이동 프로파일로메트리를 위한 3차원 캘리브레이션 방법 및 장치
JP7599767B1 (ja) 検査装置、及び、検査方法
US11754833B2 (en) Image processing apparatus and control method for image processing apparatus
WO2023247015A1 (en) Determining a scale factor

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21940689

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 18289913

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 2023522017

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21940689

Country of ref document: EP

Kind code of ref document: A1