[go: up one dir, main page]

WO2025052609A1 - 移動体制御装置及び移動体制御方法 - Google Patents

移動体制御装置及び移動体制御方法 Download PDF

Info

Publication number
WO2025052609A1
WO2025052609A1 PCT/JP2023/032594 JP2023032594W WO2025052609A1 WO 2025052609 A1 WO2025052609 A1 WO 2025052609A1 JP 2023032594 W JP2023032594 W JP 2023032594W WO 2025052609 A1 WO2025052609 A1 WO 2025052609A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
imaging
control signal
mobile body
imaging information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
PCT/JP2023/032594
Other languages
English (en)
French (fr)
Inventor
大輝 黒瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2023575506A priority Critical patent/JPWO2025052609A1/ja
Priority to PCT/JP2023/032594 priority patent/WO2025052609A1/ja
Publication of WO2025052609A1 publication Critical patent/WO2025052609A1/ja
Pending legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment

Definitions

  • This disclosure relates to a mobile object control device and a mobile object control method.
  • an inspection system that inspects an object by photographing the object using a multicopter equipped with a camera and transmitting the captured image to a ground station (see Patent Document 1).
  • the inspection system described in Patent Document 1 requires the flight path of the multicopter to be set in advance before flying the multicopter to photograph the inspection target. For example, when the flight path of the multicopter is set manually after determining the exact position of the target, the inspection system described in Patent Document 1 has an issue in that the workload of the worker involved in setting the flight path is heavy.
  • the present disclosure aims to solve the above problem by providing a mobile object control device and a mobile object control method that can reduce the workload of workers when capturing images of an object using a mobile object.
  • the mobile body control device is characterized by including an imaging information acquisition unit that acquires imaging information of an object captured by an imaging unit from a mobile body having an imaging unit that captures an image of the object, an object detection unit that detects an object contained in the imaging information based on the imaging information acquired by the imaging information acquisition unit, a distance calculation unit that calculates the distance between the mobile body and the object based on the difference between the size of the object detected by the object detection unit and the actual size of the object, and a control signal generation unit that generates a control signal for controlling the mobile body based on the calculation result by the distance calculation unit.
  • the position of a moving body is controlled based on image information of an object captured by the moving body, thereby reducing the workload of workers.
  • FIG. 1 is a block diagram showing a configuration of a target imaging system according to a first embodiment
  • FIG. 2 is a block diagram showing an example of a hardware configuration of the information processing device according to the first embodiment.
  • FIG. 2 is a block diagram showing an example of a hardware configuration of the information processing device according to the first embodiment.
  • 4 is a flowchart showing processing performed by each component of the information processing device according to the first embodiment.
  • 5 is a schematic diagram showing a result of capturing an image of a white line as a target by the optical camera according to the first embodiment;
  • FIG. 5 is a schematic diagram showing a result of capturing an image of a rectangular parallelepiped as a target by the optical camera according to the first embodiment.
  • FIG. FIG. 11 is a block diagram showing a configuration of a target imaging system according to a second embodiment.
  • FIG. 11 is a block diagram showing a configuration of a target imaging system according to a third embodiment.
  • Fig. 1 is a block diagram showing the configuration of the target imaging system according to the first embodiment.
  • the target imaging system 1 includes an unmanned aerial vehicle 100 as a mobile body, and an information processing device 200 as a mobile body control device for controlling the unmanned aerial vehicle 100.
  • the unmanned aerial vehicle 100 is connected to the information processing device 200 wirelessly or via a wire so as to be able to communicate with each other bidirectionally.
  • the unmanned aerial vehicle 100 includes a control signal receiver 110, a flight controller 120, an optical camera controller 130, an optical camera 140, a control signal transmitter 150, an optical camera image capture result transmitter 160, a propulsion mechanism (not shown) that generates thrust for the unmanned aerial vehicle 100, and various sensors (not shown).
  • the control signal receiving unit 110 receives control signals for controlling the unmanned aerial vehicle 100 from the information processing device 200, including a control signal for controlling the propulsion mechanism and a control signal for controlling the optical camera 140. Specifically, the control signal receiving unit 110 receives a control signal from the information processing device 200 that corresponds to the velocity vector of the unmanned aerial vehicle 100. Details of the signals that the control signal receiving unit 110 receives from the information processing device 200 will be described later.
  • the flight control unit 120 outputs a control signal for controlling the propulsion mechanism to the propulsion mechanism and control signal transmission unit 150 based on the control signal for controlling the propulsion mechanism received by the control signal receiving unit 110.
  • the optical camera control unit 130 generates a control signal for controlling the operation of the optical camera 140 based on a signal from the control signal receiving unit 110.
  • the optical camera control unit 130 also outputs a control signal for controlling the operation of the optical camera 140 to the optical camera 140 and the control signal transmitting unit 150.
  • the optical camera control unit 130 outputs a control signal indicating the attitude angle of the camera, the focal length of the camera, etc., when controlling the operation of the optical camera 140 to the optical camera 140 and the control signal transmitting unit 150.
  • the optical camera control unit 130 may be configured to be controlled independently of the flight control unit 120, or may be configured to be controlled in conjunction with the flight control unit 120.
  • the control signal transmission unit 150 outputs a signal related to the control of the propulsion mechanism by the flight control unit 120 to the information processing device 200.
  • the control signal transmission unit 150 outputs a signal indicating the movement speed (speed, direction) of the unmanned aerial vehicle 100 when the flight control unit 120 controls the propulsion mechanism to the information processing device 200.
  • the control signal transmission unit 150 also outputs a signal related to the control of the optical camera 140 by the optical camera control unit 130 to the information processing device 200.
  • the control signal transmission unit 150 outputs a signal indicating the attitude angle of the optical camera 140 and a signal indicating the focal length of the optical camera 140 to the information processing device 200 when the optical camera control unit 130 controls the optical camera 140.
  • the optical camera imaging result transmission unit 160 outputs the imaging information acquired by imaging with the optical camera 140 to the information processing device 200 as the imaging result.
  • the propulsion mechanism moves the unmanned aerial vehicle 100 by generating thrust in the unmanned aerial vehicle 100 in response to control signals from the flight control unit 120.
  • the propulsion mechanism has one or more rotors and a drive source that drives the rotors, and generates thrust in the unmanned aerial vehicle 100 as the rotors rotate due to the drive force from the drive source.
  • the propulsion mechanism also causes the unmanned aerial vehicle 100 to navigate in three dimensions in the air by changing the direction of thrust based on control signals from the flight control unit 120 and signals from various sensors.
  • the various sensors equipped in the unmanned aerial vehicle 100 acquire various information from the unmanned aerial vehicle 100.
  • the various sensors equipped in the unmanned aerial vehicle 100 include a sensor that detects the rotation speed of the rotor blades, a sensor that detects the inclination of the unmanned aerial vehicle 100 relative to the horizontal direction, a sensor that detects the acceleration experienced by the unmanned aerial vehicle 100, and the like.
  • the information processing device 200 includes a control signal receiving unit 210, a tracking processing unit 220, a target detection unit 230, a control signal generating unit 240, and a known parameter storage unit 250.
  • the tracking processing unit 220 which serves as an imaging prediction unit, includes a target state prediction unit 221, a correlation determination unit 222, and a target state estimation unit 223.
  • the target detection unit 230 includes an optical camera imaging result receiving unit 231 and a target detection processing unit 232.
  • the control signal generating unit 240 includes a camera imaging range calculation unit 241, a target distance calculation unit 242, and an unmanned aerial vehicle control signal generating processing unit 243.
  • the information processing device 200 thus configured outputs a control signal for controlling the unmanned aerial vehicle 100 to the unmanned aerial vehicle 100 based on the signal and imaging information acquired from the unmanned aerial vehicle 100. Details of the information processing device 200 will be described later.
  • Fig. 2 is a block diagram showing an example of the hardware configuration of the information processing device 200 according to the first embodiment
  • Fig. 3 is a block diagram showing an example of a hardware configuration of the information processing device 200 according to the first embodiment, which is different from that shown in Fig. 2.
  • the information processing device 200 has a processor 200a, a memory 200b, and an I/O port 200c, and is configured so that the processor 200a reads and executes a program stored in the memory 200b.
  • the memory 200b may be, for example, a non-volatile or volatile semiconductor memory such as a RAM, a ROM, a flash memory, an EPROM, or an EEPROM.
  • the memory 200b may also be a magnetic disk, a flexible disk, an optical disk, a compact disk, a mini disk, a DVD, or the like.
  • the memory 200b may also be an HDD or SSD.
  • the information processing device 200 has a processing circuit 200d and an I/O port 200c, which are dedicated hardware.
  • the processing circuit 200d is configured, for example, by a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, a system LSI (Large-Scale Integration), an ASIC (Application Specific Integrated Circuit), an FPGA (Field Programmable Gate Array), or a combination of these.
  • Each function of the information processing device 200 is realized by the processor 200a or the processing circuit 200d, which is dedicated hardware, executing a program that is software, firmware, or a combination of software and firmware.
  • FIG. 4 is a flowchart showing the processing performed by each component of the information processing device 200 according to embodiment 1.
  • the control signal receiving unit 210 acquires a control signal for the unmanned aerial vehicle 100 from the control signal transmitting unit 150 of the unmanned aerial vehicle 100 (step ST1).
  • the control signal receiving unit 210 receives from the control signal transmitting unit 150 a signal indicating the movement speed of the unmanned aerial vehicle 100, a signal indicating the attitude angle of the optical camera 140, and a signal indicating the focal length of the optical camera 140.
  • the control signal receiving unit 210 outputs the signal received from the unmanned aerial vehicle 100 to the tracking processing unit 220.
  • the optical camera image capturing result receiving unit 231 acquires the image information acquired by the optical camera 140 from the optical camera image capturing result transmitting unit 160 of the unmanned aerial vehicle 100 (step ST2).
  • the target state prediction unit 221 predicts the state of the target as an imaging subject to be imaged by the optical camera 140 at the next time t+1, which is a predetermined time after the current time t, based on the signal acquired by the control signal receiving unit 210 (step ST3), and generates a predicted state vector and a prediction error matrix (step ST4).
  • the state of the target represents the position of the center of gravity of the target, the size of the target (apparent size of the target in the image), and the inclination of the target in the image as imaging information acquired by imaging with the optical camera 140.
  • the target state prediction unit 221 constitutes an imaging prediction unit that predicts changes in the imaging information at times after the predetermined time.
  • FIG. 5 is a schematic diagram showing the result of capturing an image of a white line as a target by the optical camera 140 according to the first embodiment.
  • the target state prediction unit 221 predicts, as the state of the target, the size of the target, which is the length of the short side and the length of the long side of the white line, the target's center coordinates (center of gravity position) which are the center coordinates of the white line area in a specific coordinate system, and the target's inclination, which is the angle of the short side with respect to the horizontal plane of the image.
  • the target state prediction unit 221 predicts, as the state of the target, the size of the target, which is the length of the short side and the length of the long side of the white line included in the imaging information, the center of gravity position of the white line included in the imaging information, and the target's inclination, which is the inclination of the white line with respect to the optical camera 140 included in the imaging information.
  • the state of the target predicted by the target state prediction unit is not limited to the above, and may be set appropriately according to the shape of the target.
  • f in formulas (1) and (3) is a prediction function vector.
  • f is composed of a polynomial whose elements are the flight speed of the unmanned aerial vehicle 100 and the attitude angle of the optical camera 140, and a polynomial whose elements are the flight speed of the unmanned aerial vehicle 100, the focal length of the optical camera 140, and the parameters stored in the known parameter storage unit 250.
  • the target detection processing unit 232 performs a target detection process based on the imaging information (imaging result) acquired by the optical camera imaging result receiving unit 231 (step ST5).
  • This detection process may be a process that obtains the center of gravity position of the target in the image, the size of the target, and the inclination of the target, and various processing contents are possible.
  • the detection process may be a process that detects the average of the vertex coordinates (corresponding to the center of gravity position), the length of the short side (corresponding to the size), and the inclination of the long side when the horizontal plane of the image is set to 0 degrees.
  • the correlation determination unit 222 determines whether there is a correlation between the result of the prediction by the target state prediction unit 221 and the result of the detection by the target detection processing unit 232, based on the result of the prediction by the target state prediction unit 221 and the result of the detection by the target detection processing unit 232 (step ST6). For example, the correlation determination unit 222 generates a predicted observation vector from the predicted state vector, and determines whether there is a correlation with the result of the detection process. Specifically, the correlation determination unit 222 sets an area where the result of the detection process is likely to be obtained, based on the predicted observation vector and the residual covariance matrix.
  • the correlation determination unit 222 determines that there is a correlation between them, and if not, determines that there is no correlation between them.
  • the above area is, for example, represented by the following formula (4).
  • H is an observation matrix, for example, a unit matrix
  • Rt is the observation error covariance matrix.
  • the target state estimation unit 223 calculates an estimated value of the target based on the determination result by the correlation determination unit 222 (step ST7). If the correlation determination unit 222 determines that there is a correlation, the target state estimation unit 223 calculates an estimated value by the following formulas (6), (7), and (8). Note that I in formula (8) represents a unit matrix.
  • the target state estimating unit 223 calculates an estimated value by the following equations (9) and (10).
  • the camera shooting range calculation unit 241 acquires the size of the sensor of the optical camera 140 and the size of the target from the known parameter storage unit 250 (step ST8).
  • the size of the target acquired by the camera shooting range calculation unit 241 here refers to the actual size of the target in the area detected by the target detection unit 230.
  • the camera shooting range calculation unit 241 sets either the vertical or horizontal size (length) of the rectangular parallelepiped as the size of the target.
  • FIG. 6 is a schematic diagram showing the result of capturing an image of a rectangular parallelepiped as a target by the optical camera 140 according to the first embodiment.
  • the control signal generation process can be applied by using the size of the short side (the bold line area in the capture result of the optical camera 140 in FIG. 6) in the image of the area detected by the target detection unit 230.
  • the camera shooting range calculation unit 241 calculates the imaging range captured by the optical camera 140 based on the estimation result by the target state estimation unit 223 and information on the size of the sensor of the optical camera 140.
  • the following formula (11) is an example of a method for calculating the imaging range.
  • the target distance calculation unit 242 calculates the actual distance from the optical camera 140 to the target (step ST10).
  • the following formula (12) is an example of a method for calculating the actual distance from the optical camera 140 to the target.
  • f t indicates the current focal length of the optical camera 140
  • S sensor indicates the size of the sensor of the optical camera 140 in the direction in which the size of the target is set.
  • the target distance calculation unit 242 calculates the distance between the optical camera 140 (unmanned aerial vehicle 100) and the target based on the size of the target detected by the target detection processing unit 232, i.e., the difference between the apparent size in the image captured by the optical camera 140, and the actual size of the target.
  • the unmanned aerial vehicle control signal generation processing unit 243 When the target distance calculation unit 242 performs the process of step ST10, the unmanned aerial vehicle control signal generation processing unit 243 generates a three-dimensional velocity vector of the unmanned aerial vehicle 100 for controlling the unmanned aerial vehicle 100 (step ST11).
  • the imaging range is calculated based on the calculated distance from the optical camera 140 to the target. For example, the imaging range in the vertical and horizontal directions of the image is calculated by the following formulas (13) and (14).
  • H represents the vertical direction
  • W represents the horizontal direction.
  • the horizontal imaging range is obtained in equation (11), so this may be replaced with the result of equation (14).
  • the unmanned aerial vehicle control signal generation processing unit 243 calculates the distance from an arbitrary position of the target in the image of the optical camera 140 based on the obtained imaging range and the distance from the optical camera 140 to the target. For example, the unmanned aerial vehicle control signal generation processing unit 243 calculates the distance using the following formulas (15), (16), and (17).
  • the D D , D H , and D W obtained as above are velocity vectors in the line of sight direction of the optical camera 140. Therefore, the unmanned aerial vehicle control signal generation processing unit 243 can generate a control velocity vector of the unmanned aerial vehicle 100 by converting these D D , D H , and D W into the coordinate system of the unmanned aerial vehicle 100 based on the attitude angle of the optical camera 140 that has already been obtained.
  • the unmanned aerial vehicle control signal generation processing unit 243 outputs a control signal corresponding to the generated control velocity vector of the unmanned aerial vehicle 100 to the unmanned aerial vehicle 100 (step ST12).
  • the information processing device 200 controls the position of the unmanned aerial vehicle 100 based on the imaging information of the target captured by the unmanned aerial vehicle 100, thereby reducing the workload of the worker who inspects the target using the unmanned aerial vehicle 100. Furthermore, the information processing device 200 according to the first embodiment is capable of controlling the unmanned aerial vehicle 100 including in the depth direction by the unmanned aerial vehicle control signal generation processing unit 243 controlling the unmanned aerial vehicle using a velocity vector. Note that if the velocity vector calculated by the unmanned aerial vehicle control signal generation processing unit 243 is used as the control value for the unmanned aerial vehicle 100 as is, overshooting may occur due to errors or control accuracy problems. For this reason, the information processing device may be configured to stabilize the control of the unmanned aerial vehicle by combining the velocity vector information with a commonly known control method such as PID control.
  • PID control a commonly known control method
  • the information processing device 200 is configured to generate a control signal for controlling the unmanned aerial vehicle 100, the present invention is not limited to this.
  • the information processing device only needs to be configured to generate a control signal for controlling a moving object having an imaging unit that images an object, and such a moving object may be something other than an aircraft, such as a vehicle or ship, or may be a manned vehicle.
  • the information processing device is not limited to one that controls the position of the unmanned aerial vehicle relative to the target using a control signal.
  • the information processing device may be configured to be able to control the position and tilt of the optical camera relative to the body of the unmanned aerial vehicle using a control signal, or may be configured to be able to control both the position of the unmanned aerial vehicle relative to the target and the position and tilt of the optical camera relative to the body of the unmanned aerial vehicle.
  • the optical camera that captures the target is not limited to a camera that captures images using visible light, but may be an optical camera such as an IR camera or an event camera (Event Based Camera).
  • the information processing device 200 according to the first embodiment is capable of controlling the moving body so as to maintain a state in which the target is being captured based on the prediction result by the target state prediction unit 221 and the imaging information captured at a time after a specified time, but there are various methods that can be considered for changing from a state in which the target is not being captured by the optical camera 140 to a state in which the target is first being captured by the optical camera 140.
  • the unmanned aerial vehicle 100 may be manually operated by an operator or the like to change from a state in which an image of the target object is not being captured to a state in which an image is being captured, or when flying the unmanned aerial vehicle 100 outdoors, the unmanned aerial vehicle 100 may be flown to a specified coordinate by automatic piloting using flight based on a GNSS reception signal received by a receiving device of the unmanned aerial vehicle 100 (not shown) (waypoint flight), and then the optical camera 140 may be automatically or manually adjusted to capture an image of the target object.
  • Embodiment 2 Next, a target imaging system 1A according to a second embodiment will be described with reference to Fig. 7.
  • the target imaging system 1A according to the second embodiment is different from the target imaging system 1 according to the first embodiment in the configuration of the control signal generating unit of the information processing device, but the other configurations are the same, and the same reference numerals are used to designate the same configurations as those according to the first embodiment, and the description thereof will be omitted.
  • FIG. 7 is a block diagram showing the configuration of a target imaging system 1A according to embodiment 2.
  • the target imaging system 1A includes an unmanned aerial vehicle 100 and an information processing device 200A for controlling the unmanned aerial vehicle 100.
  • the information processing device 200A includes a control signal receiving unit 210, a tracking processing unit 220, a target detection unit 230, a control signal generating unit 240A, and a known parameter storage unit 250.
  • the control signal generating unit 240A includes a camera shooting range calculation unit 241, a target distance calculation unit 242, and a camera control signal generation processing unit 244.
  • the information processing device 200A captures an image of the target by controlling the optical camera 140.
  • the information processing device 200A calculates the control amount of the attitude angle of the optical camera 140 and the focal length f t+1 in the camera control signal generation processing unit 244.
  • the following formulas (18), (19), and (20) are examples of methods for calculating the focal length f t+1 .
  • xthick represents the ideal size of the target to be imaged in the image.
  • the information processing device 200A can control the optical camera 140 by setting C pitch as the control amount in the pitch direction of the optical camera 140, C yaw as the control amount in the yaw direction of the optical camera 140, f t+1 as the focal length, and D as the focus distance.
  • the information processing device may be configured to control the optical camera 140 by combining PID control (Proportional-Integral-Differential Controller) or the like.
  • the control signal for controlling the optical camera 140 may be set to always capture the target at a constant angle by controlling the attitude angle in the roll direction using the tilt element of the estimated result.
  • the hardware configuration of the information processing device 200A according to embodiment 2 is similar to the hardware configuration of the information processing device 200 according to embodiment 1, so a description thereof will be omitted.
  • Embodiment 3 Next, a target imaging system 1B according to a third embodiment will be described with reference to Fig. 8.
  • the target imaging system 1B according to the third embodiment is different from the target imaging system 1 according to the first embodiment in the configuration of the control signal generating unit of the information processing device, but the other configurations are the same, and the same reference numerals are used for the configurations similar to those of the first embodiment, and the description thereof will be omitted.
  • FIG. 8 is a block diagram showing the configuration of a target imaging system 1B according to the third embodiment.
  • the target imaging system 1B includes an unmanned aerial vehicle 100 and an information processing device 200B for controlling the unmanned aerial vehicle 100.
  • the information processing device 200B includes a control signal receiving unit 210, a tracking processing unit 220, a target detection unit 230, a control signal generating unit 240A, and a known parameter storage unit 250.
  • the control signal generating unit 240A includes a camera imaging range calculating unit 241, a target distance calculating unit 242, and a camera control signal generating processing unit 244.
  • the camera imaging range calculating unit 241 acquires a prediction result from the target state predicting unit 221, and generates a control signal for controlling the optical camera 140 based on the acquired prediction result.
  • the information processing device 200B controls the optical camera 140 to capture an image of the target.
  • the hardware configuration of the information processing device 200B according to embodiment 3 is similar to the hardware configuration of the information processing device 200 according to embodiment 1, so a description thereof will be omitted.
  • the imaging device disclosed herein can be used, for example, in a system that inspects the appearance of a target based on imaging information obtained by imaging the target.
  • an imaging information acquisition unit that acquires imaging information of an object captured by an imaging unit from a moving body that has the imaging unit capturing an image of the object
  • an object detection unit that detects the object included in the imaging information based on the imaging information acquired by the imaging information acquisition unit
  • a distance calculation unit that calculates a distance between the moving body and the object based on a difference between a size of the object detected by the object detection unit and an actual size of the object
  • a control signal generating unit that generates a control signal for controlling the moving object based on a result of the calculation by the distance calculating unit.
  • (Appendix 2) an imaging prediction unit that predicts the imaging information at a time after a predetermined time; the control signal generation unit generates a control signal for controlling the moving body so as to maintain a state in which the target object is being imaged, based on a prediction result by the imaging prediction unit and the imaging information imaged at a time after the predetermined time.
  • (Appendix 3) The imaging prediction unit predicts a center of gravity position of the object included in the imaging information at a time after a predetermined time, 3.
  • control signal generation unit generates a control signal for controlling the mobile body so as to maintain a state in which the imaging unit is imaging the object, based on a prediction result of a center of gravity position of the object by the imaging prediction unit and a center of gravity position of the object included in the imaging information imaged at a time after the specified time.
  • control signal generation unit generates a control signal for controlling a position of the moving body relative to the object so as to maintain a state in which the imaging unit is imaging the object, based on a prediction result of the center of gravity position of the object by the imaging prediction unit and a center of gravity position of the object included in the imaging information imaged at a time after the specified time.
  • control signal generation unit generates a control signal for controlling the imaging unit to maintain a state in which the imaging unit is imaging the object, based on a prediction result of a center of gravity position of the object by the imaging prediction unit and a center of gravity position of the object included in the imaging information imaged at a time after the specified time.
  • the imaging prediction unit predicts a size of the object included in the imaging information at a time after a predetermined time
  • the mobile body control device according to any one of appendix 1 to 5, characterized in that the control signal generation unit generates a control signal for controlling the mobile body so as to suppress a change in the size of the object included in the imaging information, based on a prediction result of the size of the object by the imaging prediction unit and the size of the object included in the imaging information captured at a time after the specified time.
  • control signal generation unit generates a control signal for controlling a position of the mobile body relative to the object so as to suppress a change in the size of the object included in the imaging information, based on a prediction result of the size of the object by the imaging prediction unit and the size of the object included in the imaging information captured at a time after the specified time.
  • the control signal generation unit generates a control signal for controlling the imaging unit so as to suppress a change in the size of the object included in the imaging information, based on a prediction result of the size of the object by the imaging prediction unit and the size of the object included in the imaging information captured at a time after the specified time.
  • the imaging prediction unit predicts a tilt of the object with respect to the imaging unit at a time after a predetermined time
  • the mobile body control device according to any one of appendix 1 to 8, characterized in that the control signal generation unit generates a control signal for controlling the mobile body so as to suppress a change in the inclination of the object included in the imaging information, based on a prediction result of the inclination of the object by the imaging prediction unit and an inclination of the object included in the imaging information captured at a time after the specified time.
  • control signal generation unit generates a control signal for controlling a position of the mobile body relative to the object so as to suppress a change in the inclination of the object included in the imaging information, based on a prediction result of the inclination of the object by the imaging prediction unit and an inclination of the object included in the imaging information captured at a time after the specified time.
  • the control signal generation unit generates a control signal for controlling the imaging unit so as to suppress a change in the inclination of the object included in the imaging information, based on a prediction result of the inclination of the object by the imaging prediction unit and the inclination of the object included in the imaging information captured at a time after the specified time.
  • a moving object control method performed by an apparatus including an image capture information acquisition unit, an object detection unit, a distance calculation unit, and a control signal generation unit comprising: The imaging information acquisition unit acquires imaging information of an object captured by an imaging unit from a moving body having the imaging unit for capturing an image of the object; a step of detecting the object included in the imaging information based on the imaging information acquired by the imaging information acquisition unit by the object detection unit; a step of the distance calculation unit calculating a distance between the moving body and the object based on a difference between a size of the object detected by the object detection unit and an actual size of the object; a step of generating a control signal for controlling the moving object based on a result of the calculation by the distance calculation unit, by the control signal generation unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)

Abstract

移動体制御装置（２００、２００Ａ、２００Ｂ）は、対象物を撮像する撮像部を有する移動体から、撮像部が対象物を撮像した撮像情報を取得する撮像情報取得部（２３１）と、撮像情報取得部によって取得された撮像情報に基づいて、撮像情報に含まれる対象物を検出する対象物検出部（２３２）と、対象物の対象物検出部によって検出された大きさと、対象物の実際の大きさと、の差に基づいて、移動体と対象物との距離を算出する距離算出部（２４２）と、距離算出部による算出結果に基づいて移動体を制御するための制御信号を生成する制御信号生成部（２４３）と、を備えた。

Description

移動体制御装置及び移動体制御方法
　本開示は、移動体制御装置及び移動体制御方法に関する。
　従来、カメラを搭載したマルチコプタにより検査対象を撮影して撮影した映像を地上局に送信することで、検査対象の検査を行う検査システムが開示されている（特許文献１参照）。
特開２０２０－１９６３５５号公報
　特許文献１に記載された検査システムは、マルチコプタを飛行させて検査対象を撮影する前に、予めマルチコプタの飛行経路を設定する必要がある。特許文献１に記載された検査システムは、例えば、目標の正確な位置を把握した上でマルチコプタの飛行経路を手入力で設定する場合、飛行経路の設定に係る作業員の作業負担が大きいという課題がある。
　本開示は、上記課題を解決するものであって、移動体によって対象物を撮像する際の作業員の作業負担を軽減することができる移動体制御装置及び移動体制御方法を提供することを目的とする。
　本開示に係る移動体制御装置は、対象物を撮像する撮像部を有する移動体から、撮像部が対象物を撮像した撮像情報を取得する撮像情報取得部と、撮像情報取得部によって取得された撮像情報に基づいて、撮像情報に含まれる対象物を検出する対象物検出部と、対象物の対象物検出部によって検出された大きさと、対象物の実際の大きさと、の差に基づいて、移動体と対象物との距離を算出する距離算出部と、距離算出部による算出結果に基づいて移動体を制御するための制御信号を生成する制御信号生成部と、を備えたことを特徴とする。
　本開示によれば、移動体が撮像した対象物の撮像情報に基づいて移動体の位置を制御するので、作業員の作業負担を軽減することができる。
実施の形態１に係る目標撮像システムの構成を示すブロック図。 実施の形態１に係る情報処理装置のハードウェア構成の一例を示すブロック図。 実施の形態１に係る情報処理装置のハードウェア構成の一例を示すブロック図。 実施の形態１に係る情報処理装置の各構成が行う処理を示すフローチャート。 実施の形態１に係る光学カメラによって目標としての白線を撮像した結果を示す模式図。 実施の形態１に係る光学カメラによって目標としての直方体を撮像した結果を示す模式図。 実施の形態２に係る目標撮像システムの構成を示すブロック図。 実施の形態３に係る目標撮像システムの構成を示すブロック図。
　以下、本開示に係る実施の形態について図面を参照しながら詳細に説明する。
実施の形態１．
　まず、図１及び図２を参照して、実施の形態１に係る目標撮像システム１の構成について説明する。図１は、実施の形態１に係る目標撮像システムの構成を示すブロック図である。図１に示すように、目標撮像システム１は、移動体としての無人航空機１００と、無人航空機１００を制御するための移動体制御装置としての情報処理装置２００と、を備えている。無人航空機１００は、情報処理装置２００と互いに無線または有線で双方向の通信が可能に接続されている。
　無人航空機１００は、制御信号受信部１１０と、飛行制御部１２０と、光学カメラ制御部１３０と、光学カメラ１４０と、制御信号送信部１５０と、光学カメラ撮像結果送信部１６０と、無人航空機１００に推力を発生させる図示しない推進機構と、図示しない各種センサと、を備えている。
　制御信号受信部１１０は、情報処理装置２００から、推進機構を制御するための制御信号、及び光学カメラ１４０を制御するための制御信号を含む、無人航空機１００を制御するための制御信号を受信する。具体的には、制御信号受信部１１０は、情報処理装置２００から無人航空機１００の速度ベクトルに応じた制御信号を受信する。制御信号受信部１１０が情報処理装置２００から受信する信号の詳細については、後述する。
　飛行制御部１２０は、制御信号受信部１１０が受信した推進機構を制御するための制御信号に基づいて、推進機構を制御する制御信号を、推進機構及び制御信号送信部１５０に出力する。
　光学カメラ制御部１３０は、制御信号受信部１１０からの信号に基づいて、光学カメラ１４０の動作を制御するための制御信号を生成する。また、光学カメラ制御部１３０は、光学カメラ１４０の動作を制御する制御信号を、光学カメラ１４０及び制御信号送信部１５０に出力する。例えば、光学カメラ制御部１３０は、光学カメラ１４０の動作を制御する際の、カメラの姿勢角、カメラの焦点距離等を示す制御信号を、光学カメラ１４０及び制御信号送信部１５０に出力する。なお、光学カメラ制御部１３０は、飛行制御部１２０に対して独立して制御されるように構成されていてもよいし、飛行制御部１２０と連動して制御されるように構成されていてもよい。
　光学カメラ１４０は、光学カメラ制御部１３０からの制御信号に基づいて動作する。例えば、光学カメラ１４０は、光学カメラ制御部１３０からの制御信号に基づいて、焦点距離、フォーカス距離、無人航空機１００の本体に対する傾きを変化させる。また、光学カメラ１４０は、特定の撮像範囲を撮像することによって撮像情報を取得する。光学カメラ１４０は、取得した撮像情報を光学カメラ撮像結果送信部１６０に出力する。
　制御信号送信部１５０は、飛行制御部１２０による推進機構の制御内容に係る信号を情報処理装置２００に出力する。例えば、制御信号送信部１５０は、飛行制御部１２０によって推進機構を制御する際の、無人航空機１００の移動速度（速さ、方向）を示す信号を情報処理装置２００に出力する。また、制御信号送信部１５０は、光学カメラ制御部１３０による光学カメラ１４０の制御内容に係る信号を情報処理装置２００に出力する。例えば、制御信号送信部１５０は、光学カメラ制御部１３０によって光学カメラ１４０を制御する際の、光学カメラ１４０の姿勢角を示す信号、及び光学カメラ１４０の焦点距離を示す信号を情報処理装置２００に出力する。
　光学カメラ撮像結果送信部１６０は、光学カメラ１４０の撮像によって取得された撮像情報を、撮像結果として情報処理装置２００に出力する。
　推進機構は、飛行制御部１２０からの制御信号に応じて無人航空機１００に推力を発生させることにより、無人航空機１００を移動させる。例えば、推進機構は、１つまたは複数の回転翼と、回転翼を駆動させる駆動源と、を有しており、駆動源からの駆動力によって回転翼が回転することにより、無人航空機１００に推力を発生させる。また、推進機構は、飛行制御部１２０からの制御信号および各種センサからの信号に基づいて推力の方向を変化させることにより、無人航空機１００を空中で三次元航行させる。
　無人航空機１００が備える各種センサは、無人航空機１００から各種情報を取得する。例えば、無人航空機１００が備える各種センサは、回転翼の回転数を検知するセンサ、水平方向に対する無人航空機１００の傾きを検知するセンサ、無人航空機１００が受ける加速度を検知するセンサ等のセンサが含まれる。
　情報処理装置２００は、制御信号受信部２１０と、追尾処理部２２０と、目標検出部２３０と、制御信号生成部２４０と、既知パラメータ記憶部２５０と、を備えている。撮像予測部としての追尾処理部２２０は、目標状態予測部２２１と、相関判定部２２２と、目標状態推定部２２３と、を有している。目標検出部２３０は、光学カメラ撮像結果受信部２３１と、目標検出処理部２３２と、を有している。制御信号生成部２４０は、カメラ撮影範囲算出部２４１と、目標間距離算出部２４２と、無人航空機制御信号生成処理部２４３と、を有している。このように構成されている情報処理装置２００は、無人航空機１００から取得した信号および撮像情報に基づいて、無人航空機１００を制御するための制御信号を、無人航空機１００に出力する。情報処理装置２００の詳細については、後述する。
　次に、図２及び図３を参照して、実施の形態１に係る情報処理装置２００のハードウェア構成について説明する。図２は、実施の形態１に係る情報処理装置２００のハードウェア構成の一例を示すブロック図であり、図３は、実施の形態１に係る情報処理装置２００の図２とは異なるハードウェア構成の一例を示すブロック図である。例えば、図２に示すように、情報処理装置２００は、プロセッサ２００ａ、メモリ２００ｂ及びＩ／Ｏポート２００ｃを有し、メモリ２００ｂに格納されているプログラムをプロセッサ２００ａが読み出して実行するように構成されている。メモリ２００ｂは、例えば、ＲＡＭ、ＲＯＭ、フラッシュメモリ、ＥＰＲＯＭ、ＥＥＰＲＯＭ等の、不揮発性又は揮発性の半導体メモリであってもよい。また、メモリ２００ｂは、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ等であってもよい。さらにメモリ２００ｂは、ＨＤＤ又はＳＳＤであってもよい。
　また、例えば、図３に示すように、情報処理装置２００は、専用のハードウェアである処理回路２００ｄ及びＩ／Ｏポート２００ｃを有している。処理回路２００ｄは、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、システムＬＳＩ（Ｌａｒｇｅ－Ｓｃａｌｅ　Ｉｎｔｅｇｒａｔｉｏｎ）、ＡＳＩＣ（Ａｐｐｌｉｃａｔｉｏｎ　Ｓｐｅｃｉｆｉｃ　Ｉｎｔｅｇｒａｔｅｄ　Ｃｉｒｃｕｉｔ）、ＦＰＧＡ（Ｆｉｅｌｄ　Ｐｒｏｇｒａｍｍａｂｌｅ　Ｇａｔｅ　Ａｒｒａｙ）、又はこれらの組み合わせによって構成される。情報処理装置２００の各機能は、これらプロセッサ２００ａ又は専用のハードウェアである処理回路２００ｄがソフトウェア、ファームウェアまたはソフトウェアとファームウェアとの組合せであるプログラムを実行することによって実現される。
　次に、図１、図４乃至６を参照して、情報処理装置２００の詳細について説明する。図４は、実施の形態１に係る情報処理装置２００の各構成が行う処理を示すフローチャートである。まず、処理を開始すると、制御信号受信部２１０は、無人航空機１００の制御信号送信部１５０から無人航空機１００の制御信号を取得する（ステップＳＴ１）。例えば、制御信号受信部２１０は、制御信号送信部１５０から無人航空機１００の移動速度を示す信号、光学カメラ１４０の姿勢角を示す信号、及び光学カメラ１４０の焦点距離を示す信号を受信する。制御信号受信部２１０は、無人航空機１００から受信した信号を、追尾処理部２２０に出力する。
　制御信号受信部２１０がステップＳＴ１の処理を行うと、光学カメラ撮像結果受信部２３１は、無人航空機１００の光学カメラ撮像結果送信部１６０から光学カメラ１４０によって取得された画像情報を取得する（ステップＳＴ２）。
　光学カメラ撮像結果受信部２３１がステップＳＴ２の処理を行うと、目標状態予測部２２１は、制御信号受信部２１０によって取得した信号に基づいて、現在時刻ｔよりも所定時間後の時刻である次時刻ｔ＋１における、光学カメラ１４０が撮像する撮像対象としての目標の状態を予測し（ステップＳＴ３）、予測状態ベクトルおよび予測誤差行列を生成する（ステップＳＴ４）。ここで目標の状態とは、光学カメラ１４０の撮像によって取得された撮像情報としての画像中の、目標の重心位置、目標の大きさ（画像における目標の見かけの大きさ）および目標の傾きを表す。なお、実施の形態１において、目標状態予測部２２１は、所定時刻よりも後の時刻における撮像情報の変化を予測する撮像予測部を構成する。
　ここで、光学カメラ１４０が撮像する目標として、道路に示されている白線を例に説明する。図５は、実施の形態１に係る光学カメラ１４０によって目標としての白線を撮像した結果を示す模式図である。図５に示すように、例えば、目標状態予測部２２１は、目標の状態として、白線の短辺の長さ及び長辺の長さである目標の大きさと、特定の座標系における白線領域の中心座標である目標の重心座標（重心位置）と、画像水平面に対する短辺の角度である目標の傾きと、を予測する。言い換えると、目標状態予測部２２１は、目標の状態として、撮像情報に含まれる白線の短辺の長さ及び長辺の長さである目標の大きさと、撮像情報に含まれる白線の重心位置と、撮像情報に含まれる光学カメラ１４０に対する白線の傾きである目標の傾きと、を予測する。なお、目標状態予測部が予測する目標の状態は、上述したものに限らず、目標の形状に応じて適宜設定されるものであってもよい。

Figure JPOXMLDOC01-appb-I000001

Figure JPOXMLDOC01-appb-I000002
　なお、数式（１）及び（３）におけるｆは、予測関数ベクトルである。例えば、ｆは、無人航空機１００の飛行速度および光学カメラ１４０の姿勢角を要素とした多項式と、無人航空機１００の飛行速度、光学カメラ１４０の焦点距離、および既知パラメータ記憶部２５０に記載されているパラメータを要素とした多項式で構成される。
　目標状態予測部２２１がステップＳＴ４の処理を行うと、目標検出処理部２３２は、光学カメラ撮像結果受信部２３１によって取得した撮像情報（撮像結果）に基づいて、目標の検出処理を行う（ステップＳＴ５）。この検出処理は、画像中の目標の重心位置、目標の大きさ、目標の傾きが得られる処理であればよく、多様な処理の内容が考えられる。例えば、検出処理は、検出結果として矩形の頂点座標が得られる場合、頂点座標の平均（重心位置相当）、短辺の長さ（大きさ相当）、及び画像水平面を０度した長辺の傾きを検出する処理であってもよい。
　目標検出処理部２３２がステップＳＴ５の処理を行うと、相関判定部２２２は、目標状態予測部２２１による予測の結果と、目標検出処理部２３２による検出結果と、に基づいて、目標状態予測部２２１による予測の結果と、目標検出処理部２３２による検出結果と、の間の相関の有無を判定する（ステップＳＴ６）。例えば、相関判定部２２２は、予測状態ベクトルから予測観測ベクトルを生成し、検出処理結果との相関の有無の判定を行う。具体的には、相関判定部２２２は、予測観測ベクトルと残差共分散行列とに基づいて、検出処理の結果が得られる可能性が高い領域を設定する。その後、相関判定部２２２は、設定された領域内に検出処理の結果が存在する場合、これらの間に相関があると判定し、存在しない場合、これらの間に相関がないと判定する。上記領域は、例えば、次の数式（４）で示される。

Figure JPOXMLDOC01-appb-I000003

Figure JPOXMLDOC01-appb-I000004
　ここで、Hは、観測行列であり、例えば、単位行列で構成される。また、残差共分散行列Ｓは、以下のように示される。

　　Ｓ＝ＨＰｔ＋１｜ｔＨＴ＋Ｒｔ
　ここで、Ｒｔは観測誤差共分散行列である。これにより、例えば、検出処理によって複数の検出結果が得られた場合でも、検出結果の数だけ上記数式による算出を繰り返し、その中から、上記数式を満たしかつ左項が最小値となる検出結果を選択することで、検出結果を１つに絞ることができる。
　相関判定部２２２がステップＳＴ６の処理を行うと、目標状態推定部２２３は、相関判定部２２２による判定結果に基づいて、目標の推定値の算出を行う（ステップＳＴ７）。相関判定部２２２によって相関があると判定された場合、目標状態推定部２２３は、以下の数式（６）、（７）及び（８）によって、推定値の算出を行う。なお、数式（８）におけるＩは、単位行列を示す。

Figure JPOXMLDOC01-appb-I000005
　また、相関判定部２２２によって相関がないと判定された場合、目標状態推定部２２３は、以下の数式（９）及び（１０）によって、推定値の算出を行う。

Figure JPOXMLDOC01-appb-I000006
　目標状態推定部２２３がステップＳＴ７の処理を行うと、カメラ撮影範囲算出部２４１は、既知パラメータ記憶部２５０から、光学カメラ１４０のセンサのサイズおよび、目標の大きさを取得する（ステップＳＴ８）。ここでカメラ撮影範囲算出部２４１が取得する目標の大きさは、目標検出部２３０において検出される領域における、目標の実際の大きさのことを指す。例えば、光学カメラ１４０が、目標として縦長の直方体を正面から撮像する場合、カメラ撮影範囲算出部２４１は、当該直方体の縦または横の大きさ（長さ）のどちらか一方を目標の大きさとして設定する。
　図６は、実施の形態１に係る光学カメラ１４０によって目標としての直方体を撮像した結果を示す模式図である。図６に示すように、例えば、カメラ撮影範囲算出部２４１が、直方体の横の大きさ（図６の撮像環境における太線箇所）を設定した場合、目標検出部２３０において検出された領域のうち、短辺（図６の光学カメラ１４０の撮像結果における太線箇所）の画像中の大きさを利用することで、制御信号生成処理を適用できる。

Figure JPOXMLDOC01-appb-I000007
　言い換えると、カメラ撮影範囲算出部２４１は、目標状態推定部２２３による推定結果と、光学カメラ１４０のセンサのサイズの情報と、に基づいて、光学カメラ１４０が撮像している撮像範囲を算出する。以下の数式（１１）は、撮像範囲の算出方法の一例である。

Figure JPOXMLDOC01-appb-I000008
　カメラ撮影範囲算出部２４１がステップＳＴ８の処理を行うと、目標間距離算出部２４２は、光学カメラ１４０から目標までの実際の距離を算出する（ステップＳＴ１０）。以下の数式（１２）は、光学カメラ１４０から目標までの実際の距離の算出方法の一例である。

Figure JPOXMLDOC01-appb-I000009
　なお、ｆｔは、光学カメラ１４０の現在の焦点距離、Ｓｓｅｎｓｏｒは、目標の大きさを設定した方向における光学カメラ１４０のセンサのサイズを示す。このように、目標間距離算出部２４２は、目標の目標検出処理部２３２によって検出された大きさ、すなわち、光学カメラ１４０によって撮像された画像中の見かけの大きさと、目標の実際の大きさと、の差に基づいて、光学カメラ１４０（無人航空機１００）と目標との距離を算出している。

Figure JPOXMLDOC01-appb-I000010
　目標間距離算出部２４２がステップＳＴ１０の処理を行うと、無人航空機制御信号生成処理部２４３は、無人航空機１００を制御するための、無人航空機１００の３次元速度ベクトルの生成を行う（ステップＳＴ１１）。まず、算出した光学カメラ１４０から目標までの距離に基づいて、撮像範囲を算出する。例えば、以下の数式（１３）及び（１４）によって、画像の縦方向および横方向における撮像範囲を算出する。

Figure JPOXMLDOC01-appb-I000011
　ここで、Ｈは縦方向、Ｗは横方向を表している。また、図５に示す状況の場合、式（１１）において、横方向の撮像範囲が得られているため、これを数式（１４）の結果として置き換えてもよい。
　無人航空機制御信号生成処理部２４３は、得られた撮像範囲、および光学カメラ１４０から目標までの距離に基づいて、光学カメラ１４０の画像中における目標の任意の位置からの距離を算出する。例えば、無人航空機制御信号生成処理部２４３は、以下の数式（１５）、（１６）及び（１７）によって、当該距離の算出を行う。

Figure JPOXMLDOC01-appb-I000012
　以上により得られたＤＤ、ＤＨ、ＤＷは、光学カメラ１４０の視線方向における速度ベクトルである。このため、無人航空機制御信号生成処理部２４３は、既に得られている光学カメラ１４０の姿勢角に基づいて、これらＤＤ、ＤＨ、ＤＷを無人航空機１００の座標系に変換することで、無人航空機１００の制御速度ベクトルを生成することができる。無人航空機制御信号生成処理部２４３は、生成した無人航空機１００の制御速度ベクトルに応じた制御信号を、無人航空機１００へ出力する（ステップＳＴ１２）。
　以上、実施の形態１に係る情報処理装置２００は、無人航空機１００が撮像した目標の撮像情報に基づいて無人航空機１００の位置を制御するので、無人航空機１００によって目標の検査等を行う作業員の作業負担を軽減することができる。また、実施の形態１に係る情報処理装置２００は、無人航空機制御信号生成処理部２４３が速度ベクトルを用いて無人航空機を制御することで、奥行方向も含めた無人航空機１００の制御が可能となる。なお、無人航空機制御信号生成処理部２４３が算出した速度ベクトルをそのまま無人航空機１００の制御値として利用すると、誤差や制御精度の問題でオーバーシュートが発生する場合が考えられる。このため、情報処理装置は、速度ベクトルの情報とＰＩＤ制御等の一般的によく知られている制御方法とを組み合わせることで、無人航空機の制御を安定させるように構成されていてもよい。
　なお、実施の形態１に係る情報処理装置２００は、無人航空機１００を制御するための制御信号を生成するように構成されているが、これに限定されない。情報処理装置は、対象物を撮像する撮像部を有する移動体を制御するための制御信号を生成するように構成されていればよく、このような移動体は、車両、船舶等、航空機以外であってもよいし、有人の乗り物であってもよい。
　また、情報処理装置は、制御信号によって目標に対する無人航空機の位置を制御するものに限らず、例えば、光学カメラが無人航空機の本体に対して移動及び回動可能に支持されている場合、制御信号によって無人航空機の本体に対する光学カメラの位置及び傾きを制御可能に構成されていてもよいし、目標に対する無人航空機の位置と、無人航空機の本体に対する光学カメラの位置及び傾きと、を共に制御可能に構成されていてもよい。
　また、目標を撮像する光学カメラは、可視光によって撮像をするカメラに限らず、ＩＲカメラ、イベントカメラ（Ｅｖｅｎｔ　Ｂａｓｅｄ　Ｃａｍｅｒａ）等の光学カメラであってもよい。また、実施の形態１に係る情報処理装置２００は、上述した構成により、目標状態予測部２２１による予測結果と、所定時刻よりも後の時刻において撮像された撮像情報と、に基づいて、対象物を撮像している状態を維持するように移動体を制御することを可能にしているが、光学カメラ１４０によって対象物を撮像していない状態から、最初に光学カメラ１４０によって対象物を撮像している状態にする手法は、多様な手法が考えられる。例えば、オペレータ等による無人航空機１００の手動操作によって、対象物を撮像していない状態から撮像している状態にしてもよいし、屋外で無人航空機１００を飛行させる場合、図示しない無人航空機１００の受信装置によって受信したＧＮＳＳ受信信号に基づいた飛行（ｗａｙｐｏｉｎｔ飛行）等を利用した自動操縦によって所定の座標まで無人航空機１００を飛行させ、その後光学カメラ１４０を自動又は手動で調整することで、対象物を撮影している状態にしてもよい。
実施の形態２．
　次に、図７を参照して、実施の形態２に係る目標撮像システム１Ａについて説明する。実施の形態２に係る目標撮像システム１Ａは、実施の形態１に係る目標撮像システム１と比較して、情報処理装置の制御信号生成部の構成が異なるが、他の構成については同様であり、実施の形態１と同様の構成については、同一の符号を付して説明を省略する。
　図７は、実施の形態２に係る目標撮像システム１Ａの構成を示すブロック図である。図７に示すように、目標撮像システム１Ａは、無人航空機１００と、無人航空機１００を制御するための情報処理装置２００Ａと、を備えている。情報処理装置２００Ａは、制御信号受信部２１０と、追尾処理部２２０と、目標検出部２３０と、制御信号生成部２４０Ａと、既知パラメータ記憶部２５０と、を備えている。制御信号生成部２４０Ａは、カメラ撮影範囲算出部２４１と、目標間距離算出部２４２と、カメラ制御信号生成処理部２４４と、を有している。このように構成されて、情報処理装置２００Ａは、光学カメラ１４０を制御することによって、目標の撮像を行う。
　例えば、情報処理装置２００Ａは、カメラ制御信号生成処理部２４４において、光学カメラ１４０の姿勢角の制御量および、焦点距離ｆｔ＋１の算出を行う。以下の数式（１８）、（１９）および（２０）は、焦点距離ｆｔ＋１の算出方法の一例である。

Figure JPOXMLDOC01-appb-I000013
　ここで、ｘｔｈｉｃｋは、撮像したい目標の理想的な画像中の大きさを示す。
　以上、実施の形態２に係る情報処理装置２００Ａは、Ｃｐｉｔｃｈを光学カメラ１４０のピッチ方向における制御量、Ｃｙａｗを光学カメラ１４０のヨー方向における制御量、ｆｔ＋１を焦点距離、Ｄをフォーカス距離とすることで、光学カメラ１４０の制御が可能となる。また、光学カメラ１４０の制御においても、無人航空機１００の制御と同様にオーバーシュートすることが考えられるため、情報処理装置は、ＰＩＤ制御（Ｐｒｏｐｏｒｔｉｏｎａｌ－Ｉｎｔｅｇｒａｌ－Ｄｉｆｆｅｒｅｎｔｉａｌ　Ｃｏｎｔｒｏｌｌｅｒ）等を組み合わせて光学カメラ１４０の制御を行うように構成されていてもよい。なお、光学カメラ１４０を制御する制御信号では、推定結果の傾き要素を用いてロール方向の姿勢角の制御を行うことで、目標を常に一定の角度で撮影するように設定してもよい。
　なお、実施の形態２に係る情報処理装置２００Ａのハードウェア構成は、実施の形態１に係る情報処理装置２００のハードウェア構成と同様であるため、説明を省略する。
実施の形態３．
　次に、図８を参照して、実施の形態３に係る目標撮像システム１Ｂについて説明する。実施の形態３に係る目標撮像システム１Ｂは、実施の形態１に係る目標撮像システム１と比較して、情報処理装置の制御信号生成部の構成が異なるが、他の構成については同様であり、実施の形態１と同様の構成については、同一の符号を付して説明を省略する。
　図８は、実施の形態３に係る目標撮像システム１Ｂの構成を示すブロック図である。図８に示すように、目標撮像システム１Ｂは、無人航空機１００と、無人航空機１００を制御するための情報処理装置２００Ｂと、を備えている。情報処理装置２００Ｂは、制御信号受信部２１０と、追尾処理部２２０と、目標検出部２３０と、制御信号生成部２４０Ａと、既知パラメータ記憶部２５０と、を備えている。制御信号生成部２４０Ａは、カメラ撮影範囲算出部２４１と、目標間距離算出部２４２と、カメラ制御信号生成処理部２４４と、を有している。実施の形態３に係るカメラ撮影範囲算出部２４１は、目標状態予測部２２１から予測結果を取得し、取得した予測結果に基づいて、光学カメラ１４０を制御するための制御信号を生成する。このように構成されて、情報処理装置２００Ｂは、光学カメラ１４０を制御することによって、目標の撮像を行う。
　なお、実施の形態３に係る情報処理装置２００Ｂのハードウェア構成は、実施の形態１に係る情報処理装置２００のハードウェア構成と同様であるため、説明を省略する。
　なお、本開示は、各実施の形態の自由な組合せ、あるいは各実施の形態の任意の構成要素の変形、若しくは各実施の形態において任意の構成要素の省略が可能である。
　本開示に係る撮像装置は、例えば、目標を撮像することによって得られた撮像情報に基づいて、目標の外観に係る検査を行うシステムに利用することができる。
　以下、本開示の諸態様を付記としてまとめて記載する。
　　（付記１）
　対象物を撮像する撮像部を有する移動体から、前記撮像部が前記対象物を撮像した撮像情報を取得する撮像情報取得部と、
　前記撮像情報取得部によって取得された前記撮像情報に基づいて、前記撮像情報に含まれる前記対象物を検出する対象物検出部と、
　前記対象物の前記対象物検出部によって検出された大きさと、前記対象物の実際の大きさと、の差に基づいて、前記移動体と前記対象物との距離を算出する距離算出部と、
　前記距離算出部による算出結果に基づいて前記移動体を制御するための制御信号を生成する制御信号生成部と、を備えた
　ことを特徴とする移動体制御装置。
　　（付記２）
　所定時刻よりも後の時刻における前記撮像情報を予測する撮像予測部を備え、
　前記制御信号生成部は、前記撮像予測部による予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報と、に基づいて、前記対象物を撮像している状態を維持するように前記移動体を制御するための制御信号を生成する
　ことを特徴とする付記１記載の移動体制御装置。
　　（付記３）
　前記撮像予測部は、所定時刻よりも後の時刻における前記撮像情報に含まれる前記対象物の重心位置を予測し、
　前記制御信号生成部は、前記撮像予測部による前記対象物の重心位置の予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の重心位置と、に基づいて、前記撮像部が前記対象物を撮像している状態を維持するように前記移動体を制御するための制御信号を生成する
　ことを特徴とする付記１または２記載の移動体制御装置。
　　（付記４）
　前記制御信号生成部は、前記撮像予測部による前記対象物の重心位置の予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の重心位置と、に基づいて、前記撮像部が前記対象物を撮像している状態を維持するように前記対象物に対する前記移動体の位置を制御するための制御信号を生成する
　ことを特徴とする付記１乃至３のいずれか１項記載の移動体制御装置。
　　（付記５）
　前記制御信号生成部は、前記撮像予測部による前記対象物の重心位置の予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の重心位置と、に基づいて、前記撮像部が前記対象物を撮像している状態を維持するように前記撮像部を制御するための制御信号を生成する
　ことを特徴とする付記１乃至４のいずれか１項記載の移動体制御装置。
　　（付記６）
　前記撮像予測部は、所定時刻よりも後の時刻における前記撮像情報に含まれる前記対象物の大きさを予測し、
　前記制御信号生成部は、前記撮像予測部による前記対象物の大きさの予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の大きさと、に基づいて、撮像情報に含まれる前記対象物の大きさの変化を抑制するように前記移動体を制御するための制御信号を生成する
　ことを特徴とする付記１乃至５のいずれか１項記載の移動体制御装置。
　　（付記７）
　前記制御信号生成部は、前記撮像予測部による前記対象物の大きさの予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の大きさと、に基づいて、撮像情報に含まれる前記対象物の大きさの変化を抑制するように前記対象物に対する前記移動体の位置を制御するための制御信号を生成する
　ことを特徴とする付記１乃至６のいずれか１項記載の移動体制御装置。
　　（付記８）
　前記制御信号生成部は、前記撮像予測部による前記対象物の大きさの予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の大きさと、に基づいて、撮像情報に含まれる前記対象物の大きさの変化を抑制するように前記撮像部を制御するための制御信号を生成する
　ことを特徴とする付記１乃至７のいずれか１項記載の移動体制御装置。
　　（付記９）
　前記撮像予測部は、所定時刻よりも後の時刻における前記撮像部に対する前記対象物の傾きを予測し、
　前記制御信号生成部は、前記撮像予測部による前記対象物の傾きの予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の傾きと、に基づいて、撮像情報に含まれる前記対象物の傾きの変化を抑制するように前記移動体を制御するための制御信号を生成する
　ことを特徴とする付記１乃至８のいずれか１項記載の移動体制御装置。
　　（付記１０）
　前記制御信号生成部は、前記撮像予測部による前記対象物の傾きの予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の傾きと、に基づいて、撮像情報に含まれる前記対象物の傾きの変化を抑制するように前記対象物に対する前記移動体の位置を制御するための制御信号を生成する
　ことを特徴とする付記１乃至９のいずれか１項記載の移動体制御装置。
　　（付記１１）
　前記制御信号生成部は、前記撮像予測部による前記対象物の傾きの予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の傾きと、に基づいて、撮像情報に含まれる前記対象物の傾きの変化を抑制するように前記撮像部を制御するための制御信号を生成する
　ことを特徴とする付記１乃至１０のいずれか１項記載の移動体制御装置。
　　（付記１２）
　撮像情報取得部と、対象物検出部と、距離算出部と、制御信号生成部と、を備えた装置が行う移動体制御方法であって、
　前記撮像情報取得部が、対象物を撮像する撮像部を有する移動体から、前記撮像部が前記対象物を撮像した撮像情報を取得するステップと、
　前記対象物検出部が、前記撮像情報取得部によって取得された前記撮像情報に基づいて、前記撮像情報に含まれる前記対象物を検出するステップと、
　前記距離算出部が、前記対象物の前記対象物検出部によって検出された大きさと、前記対象物の実際の大きさと、の差に基づいて、前記移動体と前記対象物との距離を算出するステップと、
　前記制御信号生成部が、前記距離算出部による算出結果に基づいて前記移動体を制御するための制御信号を生成するステップと、を備えた
　ことを特徴とする移動体制御方法。
　１　目標撮像システム、１Ａ　目標撮像システム、１Ｂ　目標撮像システム、１００　無人航空機（移動体）、１１０　制御信号受信部、１２０　飛行制御部、１３０　光学カメラ制御部、１４０　光学カメラ（撮像部）、１５０　制御信号送信部、１６０　光学カメラ撮像結果送信部、２００　情報処理装置（移動体制御装置）、２００Ａ　情報処理装置（移動体制御装置）、２００Ｂ　情報処理装置（移動体制御装置）、２１０　制御信号受信部、２２０　追尾処理部（撮像予測部）、２２１　目標状態予測部（撮像予測部）、２２２　相関判定部、２２３　目標状態推定部、２３０　目標検出部、２３１　光学カメラ撮像結果受信部（撮像情報取得部）、２３２　目標検出処理部（対象物検出部）、２４０　制御信号生成部、２４０Ａ　制御信号生成部、２４１　カメラ撮影範囲算出部、２４２　目標間距離算出部（距離算出部）、２４３　無人航空機制御信号生成処理部（制御信号生成部）、２４４　カメラ制御信号生成処理部、２５０　既知パラメータ記憶部。

Claims (12)

  1. 　対象物を撮像する撮像部を有する移動体から、前記撮像部が前記対象物を撮像した撮像情報を取得する撮像情報取得部と、
    　前記撮像情報取得部によって取得された前記撮像情報に基づいて、前記撮像情報に含まれる前記対象物を検出する対象物検出部と、
    　前記対象物の前記対象物検出部によって検出された大きさと、前記対象物の実際の大きさと、の差に基づいて、前記移動体と前記対象物との距離を算出する距離算出部と、
    　前記距離算出部による算出結果に基づいて前記移動体を制御するための制御信号を生成する制御信号生成部と、を備えた
    　ことを特徴とする移動体制御装置。
  2. 　所定時刻よりも後の時刻における前記撮像情報を予測する撮像予測部を備え、
    　前記制御信号生成部は、前記撮像予測部による予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報と、に基づいて、前記対象物を撮像している状態を維持するように前記移動体を制御するための制御信号を生成する
    　ことを特徴とする請求項１記載の移動体制御装置。
  3. 　前記撮像予測部は、所定時刻よりも後の時刻における前記撮像情報に含まれる前記対象物の重心位置を予測し、
    　前記制御信号生成部は、前記撮像予測部による前記対象物の重心位置の予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の重心位置と、に基づいて、前記撮像部が前記対象物を撮像している状態を維持するように前記移動体を制御するための制御信号を生成する
    　ことを特徴とする請求項２記載の移動体制御装置。
  4. 　前記制御信号生成部は、前記撮像予測部による前記対象物の重心位置の予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の重心位置と、に基づいて、前記撮像部が前記対象物を撮像している状態を維持するように前記対象物に対する前記移動体の位置を制御するための制御信号を生成する
    　ことを特徴とする請求項３記載の移動体制御装置。
  5. 　前記制御信号生成部は、前記撮像予測部による前記対象物の重心位置の予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の重心位置と、に基づいて、前記撮像部が前記対象物を撮像している状態を維持するように前記撮像部を制御するための制御信号を生成する
    　ことを特徴とする請求項３または４記載の移動体制御装置。
  6. 　前記撮像予測部は、所定時刻よりも後の時刻における前記撮像情報に含まれる前記対象物の大きさを予測し、
    　前記制御信号生成部は、前記撮像予測部による前記対象物の大きさの予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の大きさと、に基づいて、撮像情報に含まれる前記対象物の大きさの変化を抑制するように前記移動体を制御するための制御信号を生成する
    　ことを特徴とする請求項２記載の移動体制御装置。
  7. 　前記制御信号生成部は、前記撮像予測部による前記対象物の大きさの予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の大きさと、に基づいて、撮像情報に含まれる前記対象物の大きさの変化を抑制するように前記対象物に対する前記移動体の位置を制御するための制御信号を生成する
    　ことを特徴とする請求項６記載の移動体制御装置。
  8. 　前記制御信号生成部は、前記撮像予測部による前記対象物の大きさの予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の大きさと、に基づいて、撮像情報に含まれる前記対象物の大きさの変化を抑制するように前記撮像部を制御するための制御信号を生成する
    　ことを特徴とする請求項６または７記載の移動体制御装置。
  9. 　前記撮像予測部は、所定時刻よりも後の時刻における前記撮像部に対する前記対象物の傾きを予測し、
    　前記制御信号生成部は、前記撮像予測部による前記対象物の傾きの予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の傾きと、に基づいて、撮像情報に含まれる前記対象物の傾きの変化を抑制するように前記移動体を制御するための制御信号を生成する
    　ことを特徴とする請求項２記載の移動体制御装置。
  10. 　前記制御信号生成部は、前記撮像予測部による前記対象物の傾きの予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の傾きと、に基づいて、撮像情報に含まれる前記対象物の傾きの変化を抑制するように前記対象物に対する前記移動体の位置を制御するための制御信号を生成する
    　ことを特徴とする請求項９記載の移動体制御装置。
  11. 　前記制御信号生成部は、前記撮像予測部による前記対象物の傾きの予測結果と、前記所定時刻よりも後の時刻において撮像された前記撮像情報に含まれる前記対象物の傾きと、に基づいて、撮像情報に含まれる前記対象物の傾きの変化を抑制するように前記撮像部を制御するための制御信号を生成する
    　ことを特徴とする請求項９または１０記載の移動体制御装置。
  12. 　撮像情報取得部と、対象物検出部と、距離算出部と、制御信号生成部と、を備えた装置が行う移動体制御方法であって、
    　前記撮像情報取得部が、対象物を撮像する撮像部を有する移動体から、前記撮像部が前記対象物を撮像した撮像情報を取得するステップと、
    　前記対象物検出部が、前記撮像情報取得部によって取得された前記撮像情報に基づいて、前記撮像情報に含まれる前記対象物を検出するステップと、
    　前記距離算出部が、前記対象物の前記対象物検出部によって検出された大きさと、前記対象物の実際の大きさと、の差に基づいて、前記移動体と前記対象物との距離を算出するステップと、
    　前記制御信号生成部が、前記距離算出部による算出結果に基づいて前記移動体を制御するための制御信号を生成するステップと、を備えた
    　ことを特徴とする移動体制御方法。
PCT/JP2023/032594 2023-09-07 2023-09-07 移動体制御装置及び移動体制御方法 Pending WO2025052609A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023575506A JPWO2025052609A1 (ja) 2023-09-07 2023-09-07
PCT/JP2023/032594 WO2025052609A1 (ja) 2023-09-07 2023-09-07 移動体制御装置及び移動体制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2023/032594 WO2025052609A1 (ja) 2023-09-07 2023-09-07 移動体制御装置及び移動体制御方法

Publications (1)

Publication Number Publication Date
WO2025052609A1 true WO2025052609A1 (ja) 2025-03-13

Family

ID=94923865

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/032594 Pending WO2025052609A1 (ja) 2023-09-07 2023-09-07 移動体制御装置及び移動体制御方法

Country Status (2)

Country Link
JP (1) JPWO2025052609A1 (ja)
WO (1) WO2025052609A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005914A (ja) * 2016-06-30 2018-01-11 シャープ株式会社 自律移動制御システム、走行装置、無人航空機及び自律移動制御方法
JP2019073182A (ja) * 2017-10-17 2019-05-16 株式会社トプコン 無人航空機の制御装置、無人航空機、測量装置、無人航空機の制御方法および無人航空機の制御用プログラム
WO2019186713A1 (ja) * 2018-03-27 2019-10-03 株式会社自律制御システム研究所 無人航空機
JP2021113005A (ja) * 2020-01-21 2021-08-05 アルパイン株式会社 無人航空機システムおよび飛行制御方法
JP2022157761A (ja) * 2021-03-31 2022-10-14 綜合警備保障株式会社 飛行体ユニットおよび点検システム
JP2023052342A (ja) * 2018-07-11 2023-04-11 メトロウェザー株式会社 飛行経路算出システム、飛行経路算出プログラム、および無人航空機経路制御方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS63213005A (ja) * 1987-03-02 1988-09-05 Hitachi Ltd 移動体誘導方法
EP3081902B1 (en) * 2014-03-24 2019-04-17 SZ DJI Technology Co., Ltd. Method and apparatus for correcting aircraft state in real time

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018005914A (ja) * 2016-06-30 2018-01-11 シャープ株式会社 自律移動制御システム、走行装置、無人航空機及び自律移動制御方法
JP2019073182A (ja) * 2017-10-17 2019-05-16 株式会社トプコン 無人航空機の制御装置、無人航空機、測量装置、無人航空機の制御方法および無人航空機の制御用プログラム
WO2019186713A1 (ja) * 2018-03-27 2019-10-03 株式会社自律制御システム研究所 無人航空機
JP2023052342A (ja) * 2018-07-11 2023-04-11 メトロウェザー株式会社 飛行経路算出システム、飛行経路算出プログラム、および無人航空機経路制御方法
JP2021113005A (ja) * 2020-01-21 2021-08-05 アルパイン株式会社 無人航空機システムおよび飛行制御方法
JP2022157761A (ja) * 2021-03-31 2022-10-14 綜合警備保障株式会社 飛行体ユニットおよび点検システム

Also Published As

Publication number Publication date
JPWO2025052609A1 (ja) 2025-03-13

Similar Documents

Publication Publication Date Title
US10860039B2 (en) Obstacle avoidance method and apparatus and unmanned aerial vehicle
EP1898230B1 (en) Tracking a moving object from a camera on a moving platform
CN111226154B (zh) 自动对焦相机和系统
JP5618840B2 (ja) 飛行体の飛行制御システム
JP5775632B2 (ja) 飛行体の飛行制御システム
JP2019511044A (ja) 飛行デバイスの動き制御のための方法およびシステム
EP3972235B1 (en) Focusing method and apparatus, aerial photography camera, and unmanned aerial vehicle
JP6957304B2 (ja) 架線撮影システム及び架線撮影方法
US20200092455A1 (en) Control device, photographing device, photographing system, and movable object
CN111356954B (zh) 控制装置、移动体、控制方法以及程序
US20210014427A1 (en) Control device, imaging device, mobile object, control method and program
WO2019238044A1 (zh) 确定装置、移动体、确定方法以及程序
WO2020042159A1 (zh) 一种云台的转动控制方法、装置及控制设备、移动平台
JP2019219874A (ja) 自律移動撮影制御システムおよび自律移動体
WO2021217372A1 (zh) 可移动平台的控制方法和设备
CN110800023A (zh) 图像处理方法和设备、摄像装置以及无人机
CN109844634B (zh) 控制装置、摄像装置、飞行体、控制方法以及程序
JP2021096865A (ja) 情報処理装置、飛行制御指示方法、プログラム、及び記録媒体
JP6515423B2 (ja) 制御装置、移動体、制御方法、及びプログラム
JP2009118375A (ja) 航空写真撮影装置、航空写真撮影システムおよび航空写真の画像補正方法
WO2025052609A1 (ja) 移動体制御装置及び移動体制御方法
CN114078142A (zh) 主动式万向支架稳定的航空视觉惯性导航系统
US20200410219A1 (en) Moving object detection device, control device, movable body, moving object detection method and program
JP2021142819A (ja) 飛行体、車両監視システム、飛行体の制御方法、及び、飛行制御プログラム
JP6974290B2 (ja) 位置推定装置、位置推定方法、プログラム、及び記録媒体

Legal Events

Date Code Title Description
ENP Entry into the national phase

Ref document number: 2023575506

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2023575506

Country of ref document: JP