[go: up one dir, main page]

WO2018180454A1 - 移動体 - Google Patents

移動体 Download PDF

Info

Publication number
WO2018180454A1
WO2018180454A1 PCT/JP2018/009676 JP2018009676W WO2018180454A1 WO 2018180454 A1 WO2018180454 A1 WO 2018180454A1 JP 2018009676 W JP2018009676 W JP 2018009676W WO 2018180454 A1 WO2018180454 A1 WO 2018180454A1
Authority
WO
WIPO (PCT)
Prior art keywords
target
processor
search
agv
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/009676
Other languages
English (en)
French (fr)
Inventor
光宏 天羽
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nidec Corp
Original Assignee
Nidec Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nidec Corp filed Critical Nidec Corp
Priority to US16/477,266 priority Critical patent/US11256917B2/en
Priority to CN201880021381.8A priority patent/CN110462546A/zh
Priority to JP2019509202A priority patent/JPWO2018180454A1/ja
Publication of WO2018180454A1 publication Critical patent/WO2018180454A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/66—Tracking systems using electromagnetic waves other than radio waves
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02—Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/06—Systems determining position data of a target
    • G01S17/42—Simultaneous measurement of distance and other co-ordinates
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/86—Combinations of lidar systems with systems other than lidar, radar or sonar, e.g. with direction finders
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0094—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots involving pointing a payload, e.g. camera, weapon, sensor, towards a fixed or moving target
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0246—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means
    • G05D1/0248—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using a video camera in combination with image processing means in combination with a laser
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking

Definitions

  • This disclosure relates to a mobile object.
  • a technique is known in which a moving body tracks an object such as a person.
  • An example of the moving body is a robot such as an automated guided vehicle (AGV (Automated Guided Vehicle)).
  • AGV Automated Guided Vehicle
  • Japanese Patent Laid-Open Nos. 2005-199377 and 2006-344075 always communicate between a plurality of sensors or robots, share sensor information, position information of each robot, etc., and discover the target again.
  • a target is normally tracked using a ground monitoring camera. If the target is lost, a flying device equipped with the camera is caused to fly, and the target is detected from an image captured by the camera. A technique for detection is disclosed.
  • the target In addition to requiring an introduction cost when introducing a flying device, the target cannot be rediscovered in a place where the flying device cannot fly.
  • the embodiment of the present disclosure provides a moving body that can reduce costs for communication, processing, and / or equipment purchase, and a moving body system including the moving body.
  • the moving body is a moving body that tracks a target in cooperation with at least one of the plurality of sensing devices, indoors and / or outdoors where a plurality of sensing devices exist.
  • a sensor that senses the target, a communication device, a processor, and a memory that stores a computer program, the processor executing the computer program to analyze the output of the sensor and When the target position is calculated and the target is lost, the last calculated target position or the position obtained by analyzing the sensor output after losing the target and the target are lost.
  • the target exists by using the movement history of the target or the own device. Estimating a region, instructing the at least one sensing device selected according to the region via the communication device to search for the target, and performing the search by the sensing device via the communication device. Receive the result.
  • the mobile unit when the mobile unit loses sight of the target to be tracked, the mobile unit transmits a search request to another sensing device, and searches for the lost target using some sensing devices.
  • the mobile unit By tracking the target in cooperation with other sensing devices, communication load and processing load can be suppressed. Further, since it is not necessary to introduce a dedicated flight device for searching for a lost target, it is possible to reduce costs necessary for such equipment purchase.
  • FIG. 1 is a diagram illustrating an AGV 10 that tracks a person 2 walking in a passage 1.
  • FIG. 2 is an external view of an exemplary AGV 10 of the present disclosure.
  • FIG. 3 is a diagram illustrating a hardware configuration of the AGV 10.
  • FIG. 4 is a diagram showing the relationship between the search range R, the AGV 10, and the positions of the other AGVs 20a to 20c.
  • FIG. 5 is a diagram illustrating a moving direction D of the target person 2.
  • FIG. 6 is a diagram showing a partial area Sp of the shootable area S determined in consideration of the moving direction D of the person 2.
  • FIG. 7 is a diagram illustrating an example of an AGV 10, a search region R, and a partial region Sp that have lost sight of a person 2 moving through the passage 1 according to an exemplary embodiment.
  • FIG. 8A is a flowchart showing a processing procedure of the microcomputer 14a.
  • FIG. 8B is a flowchart showing a processing procedure of the microcomputer 14a.
  • FIG. 9 is a flowchart illustrating a processing procedure of the microcomputer of the sensing device that has received the search request.
  • an automatic guided vehicle is mentioned as an example of a moving body.
  • the automatic guided vehicle is also called AGV, and is described as “AGV” in this specification. Note that it is not essential for the AGV to have an object transport function. Mobile robots that do not carry anything are also within the scope of AGV herein.
  • AGV automatic guided vehicle
  • a cart type AGV having four wheels is illustrated, but the number and shape of the wheels are arbitrary.
  • the AGV may be, for example, a motorcycle type having two wheels or a circular shape having three or more wheels.
  • FIG. 1 shows an AGV 10 that tracks a person 2 walking in a passage 1.
  • the purpose of the AGV 10 tracking the person 2 is, for example, to carry the luggage of the person 2 or to monitor the person 2 determined to be a suspicious person.
  • AGV10 drives a plurality of built-in motors respectively, and moves by rotating wheels.
  • the AGV 10 includes a depth camera described later.
  • the AGV 10 measures the distance from the AGV 10 to the person 2 while putting the person 2 in the field of view F of the depth camera. Further, the AGV 10 tracks the person 2 by calculating the position, traveling direction, and moving speed of the person 2 from the distance and the image of the person 2 acquired by the depth camera.
  • the AGV 10 has the feature amount of the person 2 in order to recognize the person 2 in the image.
  • the feature amount is, for example, a three-dimensional shape based on a plurality of feature points representing the contour (edge) of the person 2 on the image, the color of the clothes of the person 2, and the distance to each part of the body of the person 2.
  • a plurality of cameras 3a and 3b are installed in the passage 1, a plurality of cameras 3a and 3b are installed.
  • the cameras 3a and 3b are fixedly installed on the ceiling of the passage 1, but may be wall surfaces.
  • Other AGVs (not shown) having the same configuration and functions as the AGV 10 are also traveling in the passage 1.
  • a camera mounted on the other AGV can operate as a movable camera, unlike a camera that is fixedly installed.
  • FIG. 2 is an external view of an exemplary AGV 10 according to the present embodiment.
  • FIG. 3 shows the hardware configuration of the AGV 10.
  • the AGV 10 includes four wheels 11a to 11d, a frame 12, a transport table 13, a travel control device 14, and a depth camera 15.
  • the front wheel 11 a, the rear wheel 11 b, and the rear wheel 11 c are shown, but the front wheel 11 d is not clearly shown because it is hidden behind the frame 12.
  • the traveling control device 14 is a device that controls the operation of the AGV 10.
  • the traveling control device 14 mainly includes a plurality of integrated circuits including a microcomputer (described later), a plurality of electronic components, and a substrate on which the plurality of integrated circuits and the plurality of electronic components are mounted.
  • the depth camera 15 has a function of measuring a distance (depth) to an object in addition to a general function of capturing a moving image and / or a still image.
  • the depth camera 15 has an image sensor (not shown), and can receive a still image by receiving light in the field of view F with the image sensor.
  • a set of still images acquired continuously at a predetermined time interval is a moving image. Since techniques for acquiring moving images and still images are well known, further detailed description is omitted.
  • moving images and still images are collectively referred to as “images”. Examples of objects that can be detected by the depth camera 15 are people, luggage, shelves, and walls.
  • the depth camera 15 measures the depth by, for example, the TOF (Time Of Flight) method.
  • the TOF method is a method of measuring the distance from the depth camera 15 to the object from the time when the light travels back and forth between the depth camera 15 and the object.
  • the TOF type depth camera 15 emits, for example, pulsed infrared light, and the infrared light reflected by the object is received by a sensor.
  • the depth camera 15 detects the difference (phase difference) between the phase of the emitted infrared light and the phase of the received reflected light, converts the phase difference into a time difference, and further calculates the product of the time difference and the speed of light. Calculate.
  • the calculation result represents the reciprocal distance between the depth camera 15 and the object.
  • the depth camera 15 can measure the one-way distance from the camera to the object in real time. Since the structure and operating principle of the depth camera 15 are known, further detailed description is omitted in this specification.
  • the AGV 10 can obtain the arrangement of objects around its own device.
  • the position and posture of a moving object are called poses.
  • the position and orientation of the moving body in the two-dimensional plane are expressed by position coordinates (x, y) in the XY orthogonal coordinate system and an angle ⁇ with respect to the X axis.
  • the position and posture of the AGV 10, that is, the pose (x, y, ⁇ ) may be simply referred to as “position” hereinafter.
  • the positioning device to be described later compares the local map data created from the image and distance data acquired by using the depth camera 15 with a wider range of environmental map data, so that it can The position (x, y, ⁇ ) can be identified.
  • “A wider range of environmental map data” is prepared in advance and stored in the storage device 14c as map data.
  • the depth camera 15 is an example of an external sensor for sensing the surrounding space and acquiring sensor data. Laser range finders and ultrasonic sensors are also examples of such external sensors. In the present embodiment, the depth camera 15 is only an example of an apparatus used for measuring the distance from the AGV 10 to the person 2. Instead of the depth camera 15, a twin-lens camera may be used.
  • the AGV 10 can operate in combination with the various sensors described above.
  • the AGV 10 may scan the surrounding space with a laser range finder and measure the presence of a surrounding object and the distance to the object.
  • AGV10 may acquire an image with the camera which does not acquire depth information.
  • the AGV 10 can estimate the self-position by combining the data output from the laser range finder and the image data output from the camera.
  • the AGV 10 may have a depth camera 15 separately for tracking a “target” described later.
  • the depth camera 15 and the twin-lens camera can be omitted by using the distance information output from the laser range finder and the image data output from the camera.
  • an external sensor may be referred to as “sensing device”, and data output from the external sensor may be referred to as “sensor data”.
  • the field of view F is depicted as if it were parallel to the floor surface on which the AGV 10 travels, but actually the field of view F also extends in a direction perpendicular to the floor surface. Please note that.
  • the “sensor data” output from the depth camera 15 includes image and distance data.
  • the distance can be measured for each pixel of the image.
  • the distance to the person 2 can be obtained, for example, as an average value of the distances of the pixels forming the image of the person 2 in the image.
  • FIG. 3 also shows a specific configuration of the traveling control device 14 of the AGV 10.
  • the AGV 10 includes a travel control device 14, a depth camera 15, two motors 16 a and 16 b, and a drive device 17.
  • the traveling control device 14 includes a microcomputer 14a, a memory 14b, a storage device 14c, a communication circuit 14d, and a positioning device 14e.
  • the microcomputer 14a, the memory 14b, the storage device 14c, the communication circuit 14d, and the positioning device 14e are connected by a communication bus 14f and can exchange data with each other.
  • the depth camera 15 is also connected to the communication bus 14f via a communication interface (not shown), and transmits measurement data as a measurement result to the microcomputer 14a, the positioning device 14e, and / or the memory 14b.
  • the microcomputer 14a is a processor or a control circuit (computer) that performs calculations for controlling the entire AGV 10 including the travel control device 14.
  • the microcomputer 14a is a semiconductor integrated circuit.
  • the microcomputer 14a transmits a PWM (Pulse Width Modulation) signal to the driving device 17 to control the driving device 17 and adjust the current flowing through the motor. As a result, each of the motors 16a and 16b rotates at a desired rotation speed.
  • PWM Pulse Width Modulation
  • the memory 14b is a volatile storage device that stores a computer program executed by the microcomputer 14a.
  • the memory 14b can also be used as a work memory when the microcomputer 14a and the positioning device 14e perform calculations.
  • the storage device 14c is a non-volatile semiconductor memory device that stores map data.
  • the storage device 14c may be a magnetic recording medium typified by a hard disk or an optical recording medium typified by an optical disk.
  • the storage device 14c may include a head device for writing and / or reading data on any recording medium and a control device for the head device.
  • the communication circuit 14d is a wireless communication circuit that performs wireless communication based on, for example, Bluetooth (registered trademark) and / or Wi-Fi (registered trademark) standards. Each standard includes a wireless communication standard using a frequency of 2.4 GHz band.
  • the positioning device 14e receives sensor data from the depth camera 15 and reads map data stored in the storage device 14c.
  • the positioning device 14e can perform processing for identifying the self position by comparing the sensor data with the map data. The specific operation of the positioning device 14e will be described later.
  • the microcomputer 14a and the positioning device 14e are separate components, but this is an example. It may be a single chip circuit or a semiconductor integrated circuit capable of independently performing the operations of the microcomputer 14a and the positioning device 14e.
  • FIG. 3 shows a chip circuit 14g including the microcomputer 14a and the positioning device 14e.
  • the microcomputer 14a, the positioning device 14e, and / or the chip circuit 14g may be referred to as a computer or a processing circuit.
  • an example in which the microcomputer 14a and the positioning device 14e are separately provided will be described.
  • the two motors 16a and 16b are attached to the two wheels 11b and 11c, respectively, and rotate each wheel.
  • the drive device 17 has motor drive circuits 17a and 17b for adjusting the current flowing through each of the two motors 16a and 16b.
  • Each of the motor drive circuits 17a and 17b is a so-called inverter circuit, and the current flowing to each motor is turned on or off by the PWM signal transmitted from the microcomputer 14a, thereby adjusting the current flowing to the motor.
  • the AGV 10 is instructed by an administrator or a travel management device (not shown) to track the person 2.
  • an administrator or a travel management device not shown
  • the operation of the AGV 10 when the AGV 10 loses sight of the person 2 while tracking the person 2 will be described, and the operation of other AGVs or cameras existing around the AGV 10 will also be described. .
  • camera when simply called “camera”, it refers to a camera fixedly installed indoors and / or outdoors where the AGV 10 travels.
  • a camera mounted on another AGV is expressed as “another AGV camera” or the like.
  • the camera and other AGV cameras are both examples of the “sensing device”.
  • target In this embodiment, the target is the person 2. However, any object that can move, such as an animal or other AGV, can be a target.
  • “losing sight of a target” mainly includes two meanings. One is a case where the target image no longer exists on the acquired image. The other is a case where the microcomputer 14a cannot determine a single target candidate due to the presence of a plurality of images including the target image on the acquired image.
  • the microcomputer 14a of the AGV 10 determines an area (search area) including a position where the target is estimated to exist.
  • the microcomputer 14a instructs the target search to at least one other AGV or camera selected according to the search area, using the communication circuit 14d.
  • the other AGV or the like senses the surrounding space, searches for the target, and transmits the search result to the AGV 10.
  • the microcomputer 14a receives the search result, and when the result indicates the presence of the target, the microcomputer 14a moves itself to a position where the target exists, and resumes tracking of the target from the position.
  • the microcomputer 14a changes the search area and performs the above-described operation again.
  • FIG. 4 shows the relationship between the search range R, the AGV 10, and the positions of the other AGVs 20a to 20c.
  • a part or all of “other AGVs 20a to 20c” may be replaced with “camera”.
  • the configuration of each AGV 20a to 20c is the same as that of AGV10. Therefore, each AGV 20a to 20c has a depth camera 15.
  • Each depth camera of AGVs 20a to 20c has a visual field Fa to Fc.
  • the depth of each visual field Fa to Fc is, for example, 1 m to 5 m.
  • the reason why the depth is relatively short is that the range of infrared light emitted from the depth camera and the resolution are considered in order to identify the target image in the captured image.
  • the depth of field of view is not limited to being represented by an integer value, and may be represented by a decimal value.
  • the position of the target person 2 is indicated by a “+” symbol.
  • the AGV 10 identifies the position of the person 2 from the image acquired from the depth camera 15 until the position of the symbol “+”, the distance to the person 2 in the image, and the pose of the AGV 10. ing. Now, it is assumed that the AGV 10 loses sight of the person 2 at the position of the sign “+”.
  • the AGV 10 can obtain the speed V using, for example, the rotational speeds of the motors 16a and 16b and the radius value of the wheels.
  • AGV10 may acquire speed V using the output value of the speedometer.
  • the AGV 10 may obtain the speed at which the target moves from a plurality of images taken by the depth camera 15 and the amount of change in distance.
  • the AGV 10 analyzes a plurality of images shot before losing sight of the person 2, and uses the difference in shooting time and the amount of change in position that can be determined from the image and / or distance to speed the person 2 moves. You may ask for. However, when the AGV 10 is traveling, it is necessary to consider the speed at which the AGV 10 moves.
  • the AGV 10 when the AGV 10 loses sight of the person 2, the AGV 10 is the movement history of the AGV 10 or the target acquired until the person 2 is lost. Use.
  • T be the time elapsed since losing sight of the target.
  • the AGV 10 sets an area in the circle as a “search area R”.
  • the AGV that can acquire the image of the search region R is an AGV that exists in the imageable region S shown in FIG. 4 among the other AGVs 20a to 20c.
  • the imageable area S is set wider than the search area R.
  • the imageable area S can be defined as a circle having a radius Ls (> L R ) centered on the position of the symbol “+”.
  • the difference in radius (Ls ⁇ L R ) corresponds to the depth of the field of view of another AGV depth camera.
  • Other AGVs present in the imageable area S can image at least a part of the search area R using a depth camera.
  • the ability to capture the entire search region R is not essential for the depth cameras of other AGVs.
  • the search area R may not actually be imaged.
  • the AGV 10 that tracks the target instructs another AGV existing in the imageable area S to search for the search area R.
  • the other AGVs can capture the search area R by moving as necessary.
  • other AGVs 20a and 20b are selected according to the estimated search region R.
  • the AGVs 20a and 20b sense the search area R and search for the target.
  • the AGV 20c located outside the imageable area S is not selected as an AGV that searches for a target in the search area R.
  • the AGV 10 transmits a search request via the communication circuit 14d.
  • the search request is sent to all other AGVs and cameras.
  • the AGV 10 also adds area data specifying the search area R and the imageable area S to the search request.
  • the area data is a set of the coordinates of the position where the person 2 is lost and the values of the radii L R and Ls.
  • the “coordinates” can be specified by “absolute coordinates” set in advance in the space in which the AGV 10 travels.
  • Each AGV and camera that have received the search request and the area data determine whether or not their position is within the imageable area S.
  • the positioning device 14e described above with respect to the AGV 10 may be used for the process for the determination.
  • Each AGV that has received the search request receives image data from its own depth camera, and reads out map data stored in the storage device 14c.
  • the positioning device 14e can perform processing for identifying the self-position by comparing the image data with the map data.
  • the microcomputer of each AGV has only to determine whether or not the identified self-position is included in the above-described shootable area S.
  • a sensor such as LiDAR, a gyro, a wheel encoder, or the like may be used.
  • the microcomputer of each camera may determine whether or not its own position is included in the above-described shootable area S.
  • the imageable area S is determined, and the other AGVs 20a and 20b in the imageable area S are selected.
  • the other AGV20a and 20b captures the search region R indicated by the coordinates and the radius L R position lost sight of the person 2, it is determined whether the target is present in the image, search result to AGV10 Send.
  • the AGV 10 may transmit in advance the characteristic data of the target person 2 to the AGVs 20a and 20b.
  • the feature data indicates the feature amount used by the AGV 10 to recognize the person 2 in the image.
  • the timing of transmission is arbitrary. For example, each AGV 20a and 20b notifies the AGV 10 when it determines that its own position is included in the above-described shootable area S.
  • the AGV 10 may transmit the feature data in response to receiving the notification.
  • Each of the other AGVs 20a and 20b performs image processing to determine whether or not the acquired image completely matches the feature data.
  • “matching” includes the presence of an image that matches the feature data at a predetermined ratio or more, for example, 60% or more, in the acquired image.
  • the communication load can be kept low. Further, since the search area R and the imageable area S can be determined by a relatively simple calculation, the calculation load of the microcomputer is sufficiently low. Further, since the sensing device selected directly according to the imageable region S or indirectly according to the search region R performs a search, all the sensing devices are not always used. As a result, the entire resource is not wasted in every search. Furthermore, since it is not necessary to introduce a new device for the above-described processing, there is no need to introduce a device such as a flying device described in JP-A-2016-119626.
  • FIG. 5 shows the moving direction D of the target person 2.
  • the microcomputer 14a can determine the moving direction D by using a plurality of images acquired by the depth camera 15 before losing sight of the person 2. For example, the microcomputer 14a detects the “change” of the image of the person 2 in the two images acquired immediately before the person 2 is lost. If the position of the image of the person 2 changes from the left to the right across the image, it is estimated that the person 2 has headed in the right direction. On the other hand, when the “change” of the image of the person 2 does not occur in the direction across the image, it is estimated that the person 2 is moving straight or stopped.
  • the moving direction of the person 2 can be a powerful clue for effectively limiting the area in which the person 2 is searched after losing sight of the person 2.
  • the microcomputer 14a limits the shootable area S in consideration of the moving direction of the person 2.
  • FIG. 6 shows a partial area Sp of the shootable area S determined in consideration of the movement direction D of the person 2.
  • the microcomputer 14a determines an area having a certain width including the moving direction D of the person 2 in the imageable area S as the partial area Sp.
  • the microcomputer 14a generates data for specifying the partial area Sp as area data.
  • the area data is a set of a predetermined angle range including, for example, the coordinates of the position where the person 2 is lost and the value of the radius Ls and the moving direction D.
  • Each AGV and camera that have received the search request and the area data can determine whether or not their position is within the partial area Sp.
  • the AGV 20a captures the search area R within a range that can be captured by its own depth camera, and determines whether or not a target exists in the image. And AGV20a transmits a search result to AGV10.
  • the microcomputer 14a may change the partial area Sp and send a new search request and area data. Good.
  • an AGV or camera different from the AGV 20a may newly perform a search.
  • another part of the search area R is searched.
  • the range of the AGV and / or the camera to be searched by determining the partial region Sp that is considered to be more likely to have the person 2 and having other AGVs and / or cameras in the partial region Sp search for the person 2 Can be further limited. As a result, more efficient utilization of the sensing device is realized.
  • the search area R and the imageable area S are given as an example of a circle centered on the position where the person 2 is lost.
  • FIG. 6 a more specific example of FIG. 6 will be described.
  • FIG. 7 shows an example of an AGV 10, a search area R, and a partial area Sp that have lost sight of a person 2 moving through the passage 1, according to an exemplary embodiment.
  • Each symbol and symbol is the same as the previous examples.
  • the microcomputer 14a of the AGV 10 that lost sight of the person 2 determines the search area R from the speed at which the person 2 was moving immediately before losing sight.
  • the search area R can be defined as an area surrounded by a two-dot chain line and the wall of the passage 1.
  • the microcomputer 14a determines the partial region Sp in consideration of the movement direction D of the person 2.
  • the partial region Sp can be defined as a region surrounded by a broken line and the wall of the passage 1.
  • the microcomputer 14a transmits area data for specifying the partial area Sp to other AGVs and cameras together with the search request of the person 2 via the communication circuit 14d.
  • the partial region Sp may be specified by a set of a predetermined angle range including the coordinates of the position where the person 2 has lost sight and the value of the radius Ls, and the moving direction D. It may be specified by a preset section (zone).
  • AGVs and cameras that have received the search request and the area data determine whether or not their own apparatus is located in the partial area Sp by the method described above.
  • the AGV 20 d and the camera 20 e determine that their own devices are located in the partial area Sp, sense the search area R, and search for the target.
  • the camera 20f located outside the partial region Sp does not search for a target in the search region R.
  • the search area R, the imageable area S, and the partial area Sp can be appropriately set according to the passage 1 or the like on which the AGV 10 travels.
  • 8A and 8B are flowcharts showing the processing procedure of the microcomputer 14a.
  • step S10 the microcomputer 14a analyzes the image and distance data output from the depth camera 15 that is a sensor, and calculates the position of the target.
  • step S11 the microcomputer 14a determines whether the target is lost. If the target is not lost, the process proceeds to step S12. If the target is lost, the process proceeds to step S13.
  • step S12 the microcomputer 14a outputs a PWM signal to the driving device 17, and causes the machine to travel toward the calculated position.
  • step S13 the microcomputer 14a estimates the search area R including the current position of the target by using the target position obtained by the last calculation and the movement history of the target or the own device until the target is lost. To do.
  • step S14 the microcomputer 14a outputs a target search request and area data via the communication circuit 14d.
  • another AGV or camera is selected according to the estimated search region R and the imageable region S or the partial region Sp.
  • step S15 the microcomputer 14a transmits the target feature data to the other selected AGV or camera. Thereby, the microcomputer 14a can make another AGV or camera which selected the presence or absence of the object which has the characteristic which corresponds to characteristic data determine.
  • step S16 the microcomputer 14a receives the search result transmitted from another AGV or camera.
  • step S17 the microcomputer 14a refers to the search result and determines whether a target has been found. If the search result indicates the absence of the target, the process proceeds to step S18. If the search result indicates the presence, the process proceeds to step S19.
  • step S18 the microcomputer 14a changes the search area R and the imageable area S or the partial area Sp.
  • the change of the search area R is a change that has become necessary as the elapsed time since losing sight of the person 2 increases.
  • the change of the shootable area S or the partial area Sp is a change accompanying selection of a new different shootable area S or partial area Sp. Thereafter, the process returns to “B” in FIG. 8A, and the processes after step S14 are performed again.
  • step S19 the microcomputer 14a moves itself to a position where the target is found, and resumes tracking of the target from the position. Since there is a possibility that the target is moving while moving the own device to the position where the target is found, other AGVs or cameras may continue to search for the target.
  • FIG. 9 is a flowchart showing a processing procedure of the microcomputer of the sensing device that has received the search request. It is assumed that the sensing device is an AGV.
  • the AGV has the hardware shown in FIG. Therefore, in the following description, it will be described as an AGV process having the configuration shown in FIG.
  • step S31 the microcomputer 14a receives the search request and the area data via the communication circuit 14d.
  • step S32 the microcomputer 14a determines whether or not the self position is within the shootable area S. As a result of the determination, when it is determined that the self position is within the shootable area S, the process proceeds to step S33, and when it is determined that the position is outside the shootable area S, the process ends. If the data specifying the partial area Sp is included as the area data, it may be determined whether or not the self position is within the partial area Sp.
  • step S33 the microcomputer 14a performs photographing with the installed depth camera 15. Further, in step S34, the microcomputer 14a determines whether or not there is an image that matches the feature data in the captured image.
  • step S35 the microcomputer 14a transmits the presence of the target and its own position information as a search result to the AGV 10 that has transmitted the search request via the communication circuit 14d.
  • the estimated moving distance of the target that has been lost is obtained as the product of the moving speed of the target or the AGV 10 and the elapsed time since the loss.
  • the calculation result is not used as it is, but the search area R, the imageable area S, or the imageable area is calculated by using an approximate value obtained by rounding up the obtained estimated moving distance in units of 1 m, 5 m, or 10 m, for example. S may be determined.
  • another AGV or camera that has received the search request determines whether an image having feature data matching the person 2 exists in the image.
  • the processing load of the AGV 10 can be distributed by making a determination not by the AGV 10 but by another AGV or camera.
  • the microcomputer 14a of the AGV 10 may make the determination instead of the other AGV or the camera. In that case, the other AGV or camera transmits the data of the captured image to the AGV 10. Since the microcomputer 14a of the AGV 10 receives image data from all the AGVs or cameras existing in the shootable area S or the partial area Sp, the processing load temporarily increases. However, since other AGVs or cameras need only shoot and transmit image data, their computer resources can be allocated to their processing.
  • the present disclosure can be widely used for a moving body having a function of tracking a target.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Optics & Photonics (AREA)
  • Image Analysis (AREA)
  • Control Of Position, Course, Altitude, Or Attitude Of Moving Bodies (AREA)
  • Burglar Alarm Systems (AREA)
  • Signal Processing (AREA)

Abstract

移動体（１０）は、複数のセンシング機器が存在する屋内および／または屋外で、少なくとも１台のセンシング機器と連携してターゲット（２）を追尾する。移動体は、センサ（１５）と、通信装置（１４ｄ）と、プロセッサ（１４ａ）と、コンピュータプログラムを格納したメモリ（１４ｂ）とを有する。コンピュータプログラムの実行により、プロセッサは、センサの出力を解析してターゲットの位置を計算し、ターゲットを見失ったときは、最後に計算したターゲットの位置またはターゲットを見失った後のセンサの出力を解析して得られた位置とターゲットを見失うまでのターゲットまたは自機の移動履歴とを利用してターゲットが存在する領域（Ｒ）を推定し、領域に応じて選択された少なくとも１台のセンシング機器（２０ａ、２０ｂ）にターゲットの捜索を指示し、当該センシング機器から捜索の結果を受信する。

Description

移動体
　本開示は移動体に関する。
　移動体が人などの対象を追跡する技術が知られている。移動体の一例は、無人搬送車（ＡＧＶ（Ａｕｔｏｍａｔｅｄ　Ｇｕｉｄｅｄ　Ｖｅｈｉｃｌｅ））等のロボットである。
　移動体が対象を追跡している間に当該対象を見失った場合、当該対象を探索して再度発見し、追跡を再開することが求められる。たとえば、特開２００５－１９９３７７号公報および特開２００６－３４４０７５号公報は、複数のセンサまたはロボット間で常に通信を行って、センサ情報、各ロボットの位置情報等を共有し、対象を再度発見する技術を開示する。特開２０１６－１１９６２６号公報は、通常は地上の監視カメラを用いて対象を追跡するが、対象を見失った場合はカメラを搭載した飛行装置を飛行させ、カメラで撮影された画像から当該対象を検出する技術を開示する。さらに、揚長輝他、「複数のアクティブカメラを用いた指定人物のリアルタイム追跡」（大阪大学大学院工学研究科）は、複数のカメラを設け、対象を見失った場合には、カメラ間で情報交換を行って、対象が存在する領域を予測する技術を開示する。
特開２００５－１９９３７７号公報 特開２００６－３４４０７５号公報 特開２０１６－１１９６２６号公報
揚長輝他、「複数のアクティブカメラを用いた指定人物のリアルタイム追跡」、大阪大学大学院工学研究科
　上述した技術は、追跡する対象を見失った場合には移動体間またはカメラ間で常に通信を行う必要があるため、通信負荷および通信によって取得した情報の処理負荷が増加する。特に、上述の特開２００６－３４４０７５号公報の技術、および、「複数のアクティブカメラを用いた指定人物のリアルタイム追跡」の技術では、カメラまたはセンサの連携台数が増加するほどシステムにかかる負荷が大きくなる。これでは、処理が追いつかなくなるおそれがある。
　飛行装置を導入する場合には導入コストが必要になることに加え、飛行装置が飛行できない場所では対象を再発見することができない。
　工場でＡＧＶに人等を追跡させることを想定すると、他の機器と共通したインフラを用いる都合から、上述した通信負荷および処理負荷の増加を見越したシステムの設計・開発が要求される。導入および維持・管理のためのコストが増加し得る。
　本開示の実施形態は、通信、処理および／または機材購入等のコストを低減することが可能な移動体および当該移動体を含む移動体システムを提供する。
　本発明の例示的な実施形態によれば、移動体は、複数のセンシング機器が存在する屋内および／または屋外で、前記複数のセンシング機器の少なくとも１台と連携してターゲットを追尾する移動体であって、前記ターゲットをセンシングするセンサと、通信装置と、プロセッサと、コンピュータプログラムを格納したメモリとを備え、前記プロセッサは、前記コンピュータプログラムを実行することにより、前記センサの出力を解析して前記ターゲットの位置を計算し、前記ターゲットを見失ったとき、最後に計算した前記ターゲットの位置または前記ターゲットを見失った後の前記センサの出力を解析して得られた位置と、前記ターゲットを見失うまでの前記ターゲットまたは自機の移動履歴と、を利用して、前記ターゲットが存在する領域を推定し、前記通信装置を介して、前記領域に応じて選択された前記少なくとも１台のセンシング機器に前記ターゲットの捜索を指示し、前記通信装置を介して、前記センシング機器による前記捜索の結果を受信する。
　本開示の実施形態によると、移動体は、追跡対象であるターゲットを見失った場合に、他のセンシング機器に捜索要求を送信し、一部のセンシング機器を用いて見失ったターゲットを捜索させる。他のセンシング機器と連携してターゲットを追尾することにより、通信負荷および処理負荷を抑制できる。また、見失ったターゲットを捜索するための専用の飛行装置等の導入は不要であるため、そのような機材購入等に必要なコストを削減できる。
図１は、通路１を歩く人２を追跡するＡＧＶ１０を示す図である。 図２は、本開示の例示的なＡＧＶ１０の外観図である。 図３は、ＡＧＶ１０のハードウェアの構成を示す図である。 図４は、捜索範囲Ｒと、ＡＧＶ１０と、他のＡＧＶ２０ａ～２０ｃの各位置との関係を示す図である。 図５は、ターゲットである人２の移動方向Ｄを示す図である。 図６は、人２の移動方向Ｄを考慮して決定された、撮影可能領域Ｓの部分領域Ｓｐを示す図である。 図７は、例示的な実施形態による、通路１を移動する人２を見失ったＡＧＶ１０、捜索領域Ｒおよび部分領域Ｓｐの一例を示す図である。 図８Ａは、マイコン１４ａの処理の手順を示すフローチャートである。 図８Ｂは、マイコン１４ａの処理の手順を示すフローチャートである。 図９は、捜索要求を受信したセンシング機器のマイコンの処理の手順を示すフローチャートである。
　以下、添付の図面を参照しながら、本開示による移動体の一例を説明する。本明細書では、移動体の一例として無人搬送車を挙げる。上述のように無人搬送車はＡＧＶとも呼ばれており、本明細書でも「ＡＧＶ」と記述する。なお、ＡＧＶが物の搬送機能を有することは必須ではない。何も搬送しない移動可能ロボット（mobile robot）もまた、本明細書におけるＡＧＶの範疇である。また本明細書では、４つの車輪を有する台車型のＡＧＶを例示するが、車輪の数および形状は任意である。ＡＧＶは、たとえば、２つの車輪を有するバイク型であってもよいし、３つ以上の車輪を有する円形状であってもよい。
　図１は、通路１を歩く人２を追跡するＡＧＶ１０を示す。ＡＧＶ１０が人２を追跡する目的は、たとえば人２の荷物を搬送するため、または、不審者であると判断された人２を監視するためである。
　ＡＧＶ１０は内蔵された複数のモータをそれぞれ駆動し、車輪を回転させて移動する。ＡＧＶ１０は後述するデプスカメラを備えている。ＡＧＶ１０は、人２をデプスカメラの視野Ｆに入れながら、ＡＧＶ１０から人２までの距離を計測する。またＡＧＶ１０は、当該距離およびデプスカメラによって取得された人２の画像から、人２の位置、進行方向および移動速度を演算し、人２を追跡する。
　ＡＧＶ１０は、画像内の人２を認識するために、人２の特徴量を有している。特徴量は、たとえば、画像上の人２の輪郭（エッジ）を表す複数の特徴点、人２の服装の色、人２の身体の各部位までの距離に基づく三次元形状である。
　通路１には、複数のカメラ３ａおよび３ｂが設置されている。図１では、カメラ３ａおよび３ｂは通路１の天井に固定的に設置されているが、壁面でもよい。通路１には、ＡＧＶ１０と同等の構成および機能を有する不図示の他のＡＧＶも走行している。当該他のＡＧＶに搭載されたカメラは、固定的に設置されたカメラとは異なり、可動式のカメラとして動作し得る。
　図２は、本実施形態にかかる例示的なＡＧＶ１０の外観図である。また図３は、ＡＧＶ１０のハードウェアの構成を示す。
　ＡＧＶ１０は、４つの車輪１１ａ～１１ｄと、フレーム１２と、搬送テーブル１３と、走行制御装置１４と、デプスカメラ１５とを有する。なお、図５には、前輪１１ａ、後輪１１ｂおよび後輪１１ｃは示されているが、前輪１１ｄはフレーム１２の蔭に隠れているため明示されていない。
　走行制御装置１４は、ＡＧＶ１０の動作を制御する装置である。走行制御装置１４は、主としてマイコン（後述）を含む複数の集積回路、複数の電子部品および、当該複数の集積回路および当該複数の電子部品が搭載された基板を含む。
　デプスカメラ１５は、動画像および／または静止画像を撮影する一般的な機能に加え、物体までの距離（深度）を計測する機能を有する。デプスカメラ１５は、不図示のイメージセンサを有しており、視野Ｆの光をイメージセンサで受けることにより、静止画像を取得することができる。所定の時間間隔で連続して取得された静止画像の集合が動画像である。動画像および静止画像を取得する技術は公知であるため、これ以上の詳細な説明は省略する。以下では、動画像および静止画像を総称して「画像」と呼ぶ。デプスカメラ１５によって検出され得る物体の例は、人、荷物、棚、壁である。
　デプスカメラ１５は、たとえばＴＯＦ（Time Of Flight）方式により、深度を計測する。ＴＯＦ方式とは、光がデプスカメラ１５と物体との間を往復する時間から、デプスカメラ１５から物体までの距離を計測する方式である。ＴＯＦ方式のデプスカメラ１５は、たとえばパルス状赤外光を放射し、物体で反射した当該赤外光をセンサで受光する。デプスカメラ１５は、放射した赤外光の位相と受光した反射光の位相との差（位相差）を検出して当該位相差を時間差に変換し、さらに当該時間差と光の速度との積を演算する。演算結果は、デプスカメラ１５と物体との往復の距離を表す。これにより、デプスカメラ１５は、カメラから物体までの片道の距離をリアルタイムで計測することができる。デプスカメラ１５の構造および動作原理は公知であるため、本明細書ではこれ以上の詳細な説明は省略する。
　ＡＧＶ１０の位置および姿勢と、デプスカメラ１５によって取得された画像とにより、ＡＧＶ１０は、自機の周囲の物体の配置を得ることができる。一般に、移動体の位置および姿勢は、ポーズ（ｐｏｓｅ）と呼ばれる。２次元面内における移動体の位置および姿勢は、ＸＹ直交座標系における位置座標（ｘ, ｙ）と、Ｘ軸に対する角度θによって表現される。ＡＧＶ１０の位置および姿勢、すなわちポーズ（ｘ, ｙ, θ）を、以下、単に「位置」と呼ぶことがある。
　後述する測位装置は、デプスカメラ１５を用いて取得された画像および距離のデータから作成された局所的地図データを、より広範囲の環境地図データと照合(マッチング)することにより、環境地図上における自己位置（ｘ, ｙ, θ）を同定することが可能になる。「より広範囲の環境地図データ」は予め用意され、マップデータとして記憶装置１４ｃに格納されている。
　デプスカメラ１５は、周囲の空間をセンシングしてセンサデータを取得するための外界センサの一例である。レーザレンジファインダおよび超音波センサもまたそのような外界センサの一例である。本実施形態では、デプスカメラ１５は、ＡＧＶ１０から人２までの距離を計測するために用いられる装置の一例に過ぎない。デプスカメラ１５に代えて、二眼カメラを利用してもよい。
　ＡＧＶ１０は、上述の種々のセンサを組み合わせて動作することができる。たとえば、ＡＧＶ１０は、レーザレンジファインダによって周囲の空間を走査し、周囲の物体の存在および当該物体までの距離を計測してもよい。また、ＡＧＶ１０は、奥行き情報を取得しないカメラによって画像を取得してもよい。ＡＧＶ１０は、レーザレンジファインダから出力されたデータと、カメラから出力された画像データとを組み合わせて自己位置を推定し得る。ＡＧＶ１０は、後述する「ターゲット」を追跡するために別途デプスカメラ１５を有していてもよい。または、レーザレンジファインダから出力された距離の情報とカメラから出力された画像データとを利用すれば、デプスカメラ１５および二眼カメラを省略することもできる。本明細書では、外界センサを「センシング機器」と呼び、外界センサから出力されたデータを「センサデータ」と呼ぶことがある。
　なお、図１および図２では、視野ＦはＡＧＶ１０が走行する床面に平行であるかのように描かれているが、実際には視野Ｆは床面に垂直な方向にも拡がっていることに留意されたい。
　デプスカメラ１５から出力された「センサデータ」は、画像および距離のデータを含む。距離は画像の画素毎に計測され得る。人２までの距離は、たとえば、画像内の人２の像を形成する各画素の距離の平均値として求められ得る。
　図３を参照する。図３には、ＡＧＶ１０の走行制御装置１４の具体的な構成も示されている。
　ＡＧＶ１０は、走行制御装置１４と、デプスカメラ１５と、２台のモータ１６ａおよび１６ｂと、駆動装置１７とを備えている。
　走行制御装置１４は、マイコン１４ａと、メモリ１４ｂと、記憶装置１４ｃと、通信回路１４ｄと、測位装置１４ｅとを有している。マイコン１４ａ、メモリ１４ｂ、記憶装置１４ｃ、通信回路１４ｄおよび測位装置１４ｅは通信バス１４ｆで接続されており、相互にデータを授受することが可能である。またデプスカメラ１５もまた通信インタフェース（図示せず）を介して通信バス１４ｆに接続されており、計測結果である計測データを、マイコン１４ａ、測位装置１４ｅおよび／またはメモリ１４ｂに送信する。
　マイコン１４ａは、走行制御装置１４を含むＡＧＶ１０の全体を制御するための演算を行うプロセッサまたは制御回路（コンピュータ）である。典型的にはマイコン１４ａは半導体集積回路である。マイコン１４ａは、ＰＷＭ（Ｐｕｌｓｅ　Ｗｉｄｔｈ　Ｍｏｄｕｌａｔｉｏｎ）信号を駆動装置１７に送信して駆動装置１７を制御し、モータに流れる電流を調整させる。これによりモータ１６ａおよび１６ｂの各々が所望の回転速度で回転する。
　メモリ１４ｂは、マイコン１４ａが実行するコンピュータプログラムを記憶する、揮発性の記憶装置である。メモリ１４ｂは、マイコン１４ａおよび測位装置１４ｅが演算を行う際のワークメモリとしても利用され得る。
　記憶装置１４ｃは、マップデータを記憶する不揮発性の半導体メモリ装置である。ただし、記憶装置１４ｃは、ハードディスクに代表される磁気記録媒体、または、光ディスクに代表される光学式記録媒体であってもよい。さらに、記憶装置１４ｃは、いずれかの記録媒体にデータを書き込みおよび／または読み出すためのヘッド装置および当該ヘッド装置の制御装置を含んでもよい。
　通信回路１４ｄは、たとえば、Ｂｌｕｅｔｏｏｔｈ（登録商標）および／またはＷｉ－Ｆｉ（登録商標）規格に準拠した無線通信を行う無線通信回路である。いずれの規格も、２．４ＧＨｚ帯の周波数を利用した無線通信規格を含む。
　測位装置１４ｅは、デプスカメラ１５からセンサデータを受け取り、また、記憶装置１４ｃに記憶されたマップデータを読み出す。測位装置１４ｅは、センサデータとマップデータとを照合して自己位置を同定する処理を行うことができる。測位装置１４ｅの具体的な動作は後述する。
　なお、本実施形態では、マイコン１４ａと測位装置１４ｅとは別個の構成要素であるとしているが、これは一例である。マイコン１４ａおよび測位装置１４ｅの各動作を独立して行うことが可能な１つのチップ回路または半導体集積回路であってもよい。図３には、マイコン１４ａおよび測位装置１４ｅを包括するチップ回路１４ｇが示されている。本明細書では、マイコン１４ａ、測位装置１４ｅおよび／またはチップ回路１４ｇは、コンピュータ、または、処理回路と呼ぶことがある。なお、以下では、マイコン１４ａおよび測位装置１４ｅが別個独立に設けられている例で説明する。
　２台のモータ１６ａおよび１６ｂは、それぞれ２つの車輪１１ｂおよび１１ｃに取り付けられ、各車輪を回転させる。
　駆動装置１７は、２台のモータ１６ａおよび１６ｂの各々に流れる電流を調整するためのモータ駆動回路１７ａおよび１７ｂを有する。モータ駆動回路１７ａおよび１７ｂの各々はいわゆるインバータ回路であり、マイコン１４ａから送信されたＰＷＭ信号によって各モータに流れる電流をオンまたはオフし、それによりモータに流れる電流を調整する。
　ＡＧＶ１０は人２を追跡するよう、管理者または走行管理装置（図示せず）から指示される。本実施形態では、人２を追跡している間に、ＡＧＶ１０が人２を見失ったときのＡＧＶ１０の動作を説明し、併せて、ＡＧＶ１０の周囲に存在する他のＡＧＶまたはカメラの動作を説明する。
　以下の説明では、単に「カメラ」と呼ぶときは、ＡＧＶ１０が走行する屋内および／または屋外に固定的に設置されたカメラを指す。一方、他のＡＧＶに搭載されたカメラは、「他のＡＧＶのカメラ」などと表現する。なお、カメラ、および、他のＡＧＶのカメラは、いずれも「センシング機器」の一例である。
　また、追跡する対象を「ターゲット」と呼ぶ。本実施形態では、ターゲットは人２である。しかしながら、動物、他のＡＧＶ等などの、移動が可能な物体であればターゲットになり得る。
　本明細書では、ターゲットを「見失う」とは、主として２つの意味を含む。１つは、取得した画像上にターゲットの像が存在しなくなった場合である。他の１つは、取得した画像上にターゲットの像を含む複数の像が存在することにより、マイコン１４ａがターゲットの候補を１つに決定できなくなった場合である。
　ターゲットを見失ったとき、ＡＧＶ１０のマイコン１４ａは、ターゲットが存在すると推定される位置を含む領域（捜索領域）を決定する。マイコン１４ａは、通信回路１４ｄを利用して、当該捜索領域に応じて選択された少なくとも１台の他のＡＧＶまたはカメラにターゲットの捜索を指示する。指示を受けた他のＡＧＶ等は、周囲の空間をセンシングしてターゲットを捜索し、捜索の結果をＡＧＶ１０に送信する。マイコン１４ａは、捜索の結果を受信し、結果がターゲットの存在を示している場合にはターゲットが存在している位置まで自機を移動させ、当該位置からターゲットの追跡を再開する。一方、捜索の結果がターゲットの不存在を示す場合には、マイコン１４ａは捜索領域を変更して上述の動作を再度行う。
　以下の説明では、マイコン１４ａによる捜索領域を決定する処理、捜索領域に応じて少なくとも１台の他のＡＧＶまたはカメラが選択される処理、および、ターゲットの捜索処理を説明する。
　図４は、捜索範囲Ｒと、ＡＧＶ１０と、他のＡＧＶ２０ａ～２０ｃの各位置との関係を示す。なお「他のＡＧＶ２０ａ～２０ｃ」の一部または全部は「カメラ」に置き換えられ得る。説明の便宜上、各ＡＧＶ２０ａ～２０ｃの構成はＡＧＶ１０と同等とする。したがって各ＡＧＶ２０ａ～２０ｃはデプスカメラ１５を有している。
　ＡＧＶ２０ａ～２０ｃの各デプスカメラは視野Ｆａ～Ｆｃを有している。各視野Ｆａ～Ｆｃの奥行きは、たとえば１ｍ～５ｍである。奥行きが比較的短い理由は、デプスカメラから放射される赤外光の到達範囲、および、撮影された画像内のターゲットの像を識別するため解像度を考慮したからである。なお、視野の奥行きは整数値で表されるとは限られず、小数値で表され得る。
　図４には、ターゲットである人２の位置が「＋」の記号で示されている。ＡＧＶ１０は、「＋」の記号の位置に到達するまでは、デプスカメラ１５から取得されていた画像、当該画像内の人２までの距離、および、ＡＧＶ１０のポーズから、人２の位置を同定している。いま、ＡＧＶ１０は「＋」の記号の位置で人２を見失ったとする。
　人２を見失った時点でターゲットが移動する速さは、追跡していたＡＧＶ１０が移動する速さＶに等しいと仮定し得る。ＡＧＶ１０は、たとえばモータ１６ａおよび１６ｂの回転速度と車輪の半径値を利用して速さＶを求めることができる。ＡＧＶ１０が速度計を有している場合には、ＡＧＶ１０は当該速度計の出力値を利用して速さＶを取得してもよい。
　または、ＡＧＶ１０は、デプスカメラ１５が撮影した複数枚の画像および距離の変化量からターゲットが移動する速さを求めてもよい。ＡＧＶ１０は、人２を見失うまでに撮影された複数枚の画像を分析し、撮影時刻の差と、画像および／または距離から決定され得る位置の変化量とを用いて人２が移動する速さを求めてもよい。ただしＡＧＶ１０が走行している場合には、ＡＧＶ１０が移動する速さを考慮する必要がある。
　上述の説明から明らかなように、ＡＧＶ１０が人２を見失った場合、ＡＧＶ１０は人２を見失うまでに取得していたＡＧＶ１０またはターゲットの移動履歴である、それまで移動していた速さの情報を利用する。
　ターゲットを見失ってからの経過時間をＴとする。ターゲットを見失ってからターゲットが移動したと推定される距離、すなわち推定移動距離ＬRは、ＬR＝Ｖ・Ｔによって得られる。つまりターゲットが移動し得る範囲は、図４の「＋」の記号の位置を中心とする半径ＬRの円内であると推定される。ＡＧＶ１０は、当該円内の領域を「捜索領域Ｒ」として設定する。
　捜索領域Ｒの画像を取得することが可能なＡＧＶは、他のＡＧＶ２０ａ～２０ｃのうち、図４に示す撮影可能領域Ｓ内に存在するＡＧＶである。撮影可能領域Ｓは、捜索領域Ｒよりも広く設定される。たとえば撮影可能領域Ｓは、「＋」の記号の位置を中心とする、半径Ｌｓ（＞ＬR）の円として規定され得る。半径の差（Ｌｓ―ＬR）は、他のＡＧＶのデプスカメラの視野の奥行きに相当する。撮影可能領域Ｓに存在する他のＡＧＶは、デプスカメラを用いて捜索領域Ｒの少なくとも一部を撮影することが可能である。本実施形態では、他のＡＧＶのデプスカメラには、捜索領域Ｒの全体を撮影できる性能は必須ではない。
　なお、撮影可能領域Ｓに存在していたとしても、他のＡＧＶのデプスカメラの視野が捜索領域Ｒの方向を向いていないため、実際には捜索領域Ｒを撮影できない場合はあり得る。しかしながら本実施形態では、ターゲットを追跡するＡＧＶ１０は、撮影可能領域Ｓ内に存在する他のＡＧＶに捜索領域Ｒの捜索を指示することとした。なお、後述のように、他のＡＧＶには捜索領域Ｒを特定するデータも送信されるため、他のＡＧＶは必要に応じて移動することにより、捜索領域Ｒを撮影することができる。
　図４に示す例では、推定された捜索領域Ｒに応じて他のＡＧＶ２０ａおよび２０ｂが選択される。ＡＧＶ２０ａおよび２０ｂは捜索領域Ｒをセンシングし、ターゲットを捜索する。一方、撮影可能領域Ｓの外部に位置するＡＧＶ２０ｃは、捜索領域Ｒ内のターゲットを捜索するＡＧＶとして選択されない。
　ＡＧＶ１０は、通信回路１４ｄを介して捜索要求を送信する。本実施形態では、捜索要求は全ての他のＡＧＶおよびカメラに送信される。このとき、ＡＧＶ１０は、捜索要求に、捜索領域Ｒおよび撮影可能領域Ｓを特定する領域データも付加する。領域データは、人２を見失った位置の座標および半径ＬRおよびＬｓの値の組である。「座標」は、ＡＧＶ１０が走行する空間に予め設定された「絶対座標」によって指定され得る。
　捜索要求および領域データを受信した各ＡＧＶおよびカメラは、自身の位置が撮影可能領域Ｓ内であるか否かを判定する。
　ＡＧＶの場合、当該判定のための処理には、ＡＧＶ１０に関して上述した測位装置１４ｅを利用すればよい。捜索要求を受信した各ＡＧＶは、自身のデプスカメラから画像データを受け取り、また、記憶装置１４ｃに記憶されたマップデータを読み出す。測位装置１４ｅは、画像データとマップデータとを照合して自己位置を同定する処理を行うことができる。各ＡＧＶのマイコンは、同定した自己位置が上述の撮影可能領域Ｓに含まれているか否かを判定すればよい。なお、自己位置を同定するために、たとえばＬｉＤＡＲ等のセンサ、ジャイロ、ホイールエンコーダ等が利用されてもよい。
　一方、カメラは固定的に設置されているため、位置の情報を予め記憶させておくことができる。各カメラのマイコンは、自身の位置が上述の撮影可能領域Ｓに含まれているか否かを判定すればよい。
　上述の処理により、捜索領域Ｒが推定されると、撮影可能領域Ｓが決定され、さらに撮影可能領域Ｓ内の他のＡＧＶ２０ａおよび２０ｂが選択されることになる。当該他のＡＧＶ２０ａおよび２０ｂは、人２を見失った位置の座標および半径ＬRによって示される捜索領域Ｒを撮影し、画像内にターゲットが存在するか否かを判定して、捜索結果をＡＧＶ１０に送信する。
　画像内にターゲットが存在するか否かの判定に当たっては、ＡＧＶ１０は、ＡＧＶ２０ａおよび２０ｂに、ターゲットである人２の特徴データを予め送信しておけばよい。特徴データは、ＡＧＶ１０が画像内の人２を認識するために利用する特徴量を示している。送信のタイミングは任意である。たとえば、各ＡＧＶ２０ａおよび２０ｂは、自身の位置が上述の撮影可能領域Ｓに含まれていると判定したときに、ＡＧＶ１０に通知する。ＡＧＶ１０は当該通知の受信に応答して特徴データを送信すればよい。
　当該他のＡＧＶ２０ａおよび２０ｂの各々は、画像処理を行って、取得した画像内に、特徴データに完全に合致するか否かを判定する。なお、「合致する」ことには、取得した画像内に、所定以上の割合、たとえば６０％以上の割合、で特徴データに一致する像が存在することも含まれる。
　上述の処理によれば、ターゲットを見失ったときに通信を行って捜索要求を送信するため、通信負荷を低く抑えることができる。また、比較的簡単な演算により、捜索領域Ｒおよび撮影可能領域Ｓを決定できるため、マイコンの演算負荷は十分低い。さらに、直接的には撮影可能領域Ｓに応じて選択され、または間接的には捜索領域Ｒに応じて選択されたセンシング機器が捜索を行うため、全てのセンシング機器を常に利用することもない。これにより、捜索の度に全体のリソースを無駄に利用することもない。さらに、上述の処理のために新たな機器を導入することも不要であるため、たとえば特開２０１６－１１９６２６号公報に記載の飛行装置のような、機器の導入コストも不要である。
　次に、捜索領域Ｒをさらに絞り込むための処理を説明する。
　図５は、ターゲットである人２の移動方向Ｄを示す。マイコン１４ａは、人２を見失うまでにデプスカメラ１５によって取得された複数枚の画像を利用して移動方向Ｄを決定し得る。たとえば、マイコン１４ａは、人２を見失う直前に取得されていた２枚の画像中の人２の像の「変化」を検出する。画像を、左から右に横切る方向に人２の像の位置が変化していれば、人２は右の方向に向かった、と推定される。一方、人２の像の「変化」が画像を横切る方向に生じていない場合には、人２は直進している、または停止していると推定される。
　人２の移動方向は、人２を見失った後に人２を捜索する領域を効果的に限定するための有力な手がかりとなり得る。マイコン１４ａは、人２の移動方向をさらに考慮して、撮影可能領域Ｓを限定する。
　図６は、人２の移動方向Ｄを考慮して決定された、撮影可能領域Ｓの部分領域Ｓｐを示す。マイコン１４ａは、撮影可能領域Ｓのうち、人２の移動方向Ｄを含む一定の幅を有する領域を部分領域Ｓｐとして決定する。
　マイコン１４ａは、部分領域Ｓｐを特定するデータを領域データとして生成する。領域データは、たとえば人２を見失った位置の座標および半径Ｌｓの値、および、移動方向Ｄを含む所定の角度範囲の組である。捜索要求および領域データを受信した各ＡＧＶおよびカメラは、自身の位置が部分領域Ｓｐ内であるか否かを判定することができる。
　上述の処理によれば、ＡＧＶ２０ａは、自機のデプスカメラによって撮影可能な範囲内で捜索領域Ｒを撮影し、画像内にターゲットが存在するか否かを判定する。そして、ＡＧＶ２０ａは、捜索結果をＡＧＶ１０に送信する。
　一方、他のＡＧＶ２０ｂは部分領域Ｓｐ内には存在しないため、人２を捜索するためのＡＧＶとして動作することはない。
　なお、仮に、部分領域Ｓｐに存在する他のＡＧＶ２０ａによる捜索結果が、ターゲットの不存在を示す場合には、マイコン１４ａは部分領域Ｓｐを変更し、新たな捜索要求および領域データを送信してもよい。変更の結果、ＡＧＶ２０ａとは異なるＡＧＶまたはカメラが新たに捜索を行うことがあり得る。その結果、捜索領域Ｒ内の他の一部が捜索される。
　人２が存在する蓋然性がより高いと考えられる部分領域Ｓｐを決定し、部分領域Ｓｐ内の他のＡＧＶおよび／またはカメラに人２を捜索させることにより、捜索を行うＡＧＶおよび／またはカメラの範囲をさらに限定できる。これにより、センシング機器のより効率的な活用が実現される。
　上述の説明では、本発明者が見出した処理を分かりやすくするため、捜索領域Ｒおよび撮影可能領域Ｓは、人２を見失った位置を中心とする円である例を挙げた。次に、図６のより具体的な例を説明する。
　図７は、例示的な実施形態による、通路１を移動する人２を見失ったＡＧＶ１０、捜索領域Ｒおよび部分領域Ｓｐの一例を示す。各符号および記号はこれまでの例と同じである。
　人２を見失ったＡＧＶ１０のマイコン１４ａは、見失う直前に人２が移動していた速さから、捜索領域Ｒを決定する。捜索領域Ｒは、二点鎖線および通路１の壁で囲まれた領域として定義され得る。さらにマイコン１４ａは、人２の移動方向Ｄを考慮して、部分領域Ｓｐを決定する。部分領域Ｓｐは、破線および通路１の壁で囲まれた領域として定義され得る。
　マイコン１４ａは通信回路１４ｄを介して、人２の捜索要求とともに、部分領域Ｓｐを特定する領域データを他のＡＧＶおよびカメラに送信する。なお、部分領域Ｓｐは、上述したように、人２を見失った位置の座標および半径Ｌｓの値、および、移動方向Ｄを含む所定の角度範囲の組によって特定されてもよいし、通路１に予め設定された区画（ゾーン）によって特定されてもよい。
　捜索要求および領域データを受信した他のＡＧＶおよびカメラは、上述した方法で、自機が部分領域Ｓｐに位置しているか否かを判定する。図７の例では、ＡＧＶ２０ｄおよびカメラ２０ｅは、それぞれ自機が部分領域Ｓｐに位置していると判定し、捜索領域Ｒをセンシングし、ターゲットを捜索する。一方、部分領域Ｓｐの外部に位置するカメラ２０ｆは、捜索領域Ｒ内のターゲットを捜索しない。
　上述の例示的な実施形態の説明から明らかなように、ＡＧＶ１０が走行する通路１等に応じて、捜索領域Ｒ、撮影可能領域Ｓおよび部分領域Ｓｐを適切に設定することができる。
　次に、図８Ａおよび図８Ｂを参照しながら、上述処理を行うＡＧＶ１０のマイコン１４ａの動作を説明する。
　図８Ａおよび図８Ｂは、マイコン１４ａの処理の手順を示すフローチャートである。
　ステップＳ１０において、マイコン１４ａは、センサであるデプスカメラ１５から出力された画像および距離のデータを解析してターゲットの位置を計算する。
　ステップＳ１１において、マイコン１４ａは、ターゲットを見失ったか否かを判定する。ターゲットを見失っていない場合には処理はステップＳ１２に進み、見失った場合には処理はステップＳ１３に進む。
　ステップＳ１２において、マイコン１４ａは、駆動装置１７にＰＷＭ信号を出力して、計算した位置に向かって自機を走行させる。
　ステップＳ１３において、マイコン１４ａは、最後に計算して得られたターゲットの位置と、ターゲットを見失うまでのターゲットまたは自装置の移動履歴とを利用して、ターゲットの現在位置を含む捜索領域Ｒを推定する。
　ステップＳ１４において、マイコン１４ａは、通信回路１４ｄを介して、ターゲットの捜索要求および領域データを出力する。これにより、推定した捜索領域Ｒおよび撮影可能領域Ｓまたは部分領域Ｓｐに応じて、他のＡＧＶまたはカメラが選択される。
　ステップＳ１５において、マイコン１４ａは、選択された他のＡＧＶまたはカメラにターゲットの特徴データを送信する。これにより、マイコン１４ａは、特徴データに合致する特徴を有する物体の存否を選択した他のＡＧＶまたはカメラに判定させることができる。
　処理は図８ＢのＡに続く。
　ステップＳ１６において、マイコン１４ａは、他のＡＧＶまたはカメラから送信された捜索結果を受信する。
　ステップＳ１７において、マイコン１４ａは、捜索結果を参照してターゲットが発見されたか否かを判定する。捜索結果がターゲットの不存在を示すときは処理はステップＳ１８に進み、存在を示すときは処理はステップＳ１９に進む。
　ステップＳ１８において、マイコン１４ａは捜索領域Ｒと、撮影可能領域Ｓまたは部分領域Ｓｐを変更する。捜索領域Ｒの変更は、人２を見失ってからの経過時間の増加に伴って必要となった変更である。撮影可能領域Ｓまたは部分領域Ｓｐの変更は、新たに異なる撮影可能領域Ｓまたは部分領域Ｓｐを選択することに伴う変更である。その後、処理は図８Ａの「Ｂ」に戻り、ステップＳ１４以降の処理が再度行われる。
　ステップＳ１９において、マイコン１４ａは、ターゲットが発見された位置まで自機を移動させ、当該位置からターゲットの追尾を再開する。なお、ターゲットが発見された位置まで自機を移動させている間もターゲットが移動している可能性があるため、他のＡＧＶまたはカメラに継続してターゲットの捜索を行わせてもよい。
　次に、図９を参照しながら、捜索要求を受信した他のＡＧＶのマイコンまたはカメラ（センシング機器）に搭載されたマイコンの処理を説明する。
　図９は、捜索要求を受信したセンシング機器のマイコンの処理の手順を示すフローチャートである。当該センシング機器はＡＧＶであるとする。当該ＡＧＶは図３に示すハードウェアを有している。よって、以下の説明では図３に示す構成を有するＡＧＶの処理として説明する。
　ステップＳ３１において、マイコン１４ａは通信回路１４ｄを介して捜索要求および領域データを受信する。
　ステップＳ３２において、マイコン１４ａは、自己位置は撮影可能領域Ｓ内か否かを判定する。判定の結果、自己位置が撮影可能領域Ｓ内であると判定された場合は、処理はステップＳ３３に進み、撮影可能領域Ｓ外であると判定された場合は、処理は終了する。なお、領域データとして部分領域Ｓｐを特定するデータが含まれている場合には、自己位置が部分領域Ｓｐ内か否かを判定すればよい。
　ステップＳ３３において、マイコン１４ａは、搭載されたデプスカメラ１５で撮影を行う。さらにステップＳ３４において、マイコン１４ａは、撮影した画像内に特徴データに合致する像が存在するか否かを判定する。
　ステップＳ３５において、マイコン１４ａは通信回路１４ｄを介して、捜索要求を送信したＡＧＶ１０に、ターゲットの存在および自機の位置情報を捜索結果として送信する。
　以上、本開示の例示的な実施形態を説明した。
　上述の説明では、見失ったターゲットの推定移動距離を、ターゲットまたはＡＧＶ１０の移動速度と、見失ってからの経過時間との積として求めた。しかしながら、演算の結果をそのまま用いるのではなく、たとえば得られた推定移動距離を１ｍ単位、５ｍ単位、または１０ｍ単位で切り上げた概算値を用いて、捜索領域Ｒ、撮影可能領域Ｓまたは撮影可能領域Ｓを決定してもよい。
　上述の説明では、捜索要求を受信した他のＡＧＶまたはカメラが、画像内に人２に合致する特徴データを有する像が存在するか否かを判定した。ＡＧＶ１０ではなく、他のＡＧＶまたはカメラが判定を行うことにより、ＡＧＶ１０の処理負荷を分散することができる。
　しかしながら、他のＡＧＶまたはカメラが判定を行うのではなく、ＡＧＶ１０のマイコン１４ａが判定を行ってもよい。その場合、他のＡＧＶまたはカメラは撮影した画像のデータをＡＧＶ１０に送信する。ＡＧＶ１０のマイコン１４ａは、撮影可能領域Ｓまたは部分領域Ｓｐ内に存在する全てのＡＧＶまたはカメラから画像のデータを受信することになるため、処理負荷が一時的に増加する。しかしながら、他のＡＧＶまたはカメラは単に撮影して画像のデータを送信するだけでよいため、自身の計算機資源を自身の処理に割くことができる。
　本開示は、ターゲットを追跡する機能を有する移動体に広く用いられ得る。
　２　人（追跡対象、ターゲット）、　３ａ、３ｂ　カメラ、　１０　自動搬送車（ＡＧＶ）、　１４　走行制御装置、　１４ａ　マイコン、　１４ｂ　メモリ、　１４ｃ　記憶装置、　１４ｄ　通信回路、　１４ｅ　測位装置、　１５　デプスカメラ、　１６ａ、１６ｂ　モータ、　１７　駆動装置、　１７ａ、１７ｂ　モータ駆動回路

Claims (19)

  1. 　複数のセンシング機器が存在する屋内および／または屋外で、前記複数のセンシング機器の少なくとも１台と連携してターゲットを追尾する移動体であって、
    　前記ターゲットをセンシングするセンサと、
    　通信装置と、
    　プロセッサと、
    　コンピュータプログラムを格納したメモリと
    　を備え、
    　前記プロセッサは、前記コンピュータプログラムを実行することにより、
    　　前記センサの出力を解析して前記ターゲットの位置を計算し、
    　　前記ターゲットを見失ったとき、最後に計算した前記ターゲットの位置または前記ターゲットを見失った後の前記センサの出力を解析して得られた位置と、前記ターゲットを見失うまでの前記ターゲットまたは自機の移動履歴と、を利用して、前記ターゲットが存在する領域を推定し、
    　　前記通信装置を介して、前記領域に応じて選択された前記少なくとも１台のセンシング機器に前記ターゲットの捜索を指示し、
    　　前記通信装置を介して、前記センシング機器による前記捜索の結果を受信する、移動体。
  2. 　前記複数のセンシング機器の各々は、前記屋内および／または前記屋外に設置され、または、他の移動体に取り付けられている、請求項１に記載の移動体。
  3. 　前記複数のセンシング機器の各々は、前記屋内および／または前記屋外に固定的に設置されたカメラに内蔵され、または、前記他の移動体に搭載されており、
    　前記プロセッサは、前記カメラまたは前記他の移動体を介して前記センシング機器に前記ターゲットの捜索を指示し、前記カメラまたは前記他の移動体から、前記センシング機器による前記捜索の結果を受信する、請求項２に記載の移動体。
  4. 　前記ターゲットの特徴を示す特徴データを記憶する記憶装置をさらに備え、
    　前記プロセッサは、
    　　前記通信装置を介して、前記特徴データをさらに送信し、
    　　前記カメラまたは前記他の移動体から、前記特徴データを参照して行われた前記捜索の結果を受信する、請求項３に記載の移動体。
  5. 　前記捜索の結果は、検出された前記ターゲットの位置のデータ、または、前記ターゲットを検出した前記カメラまたは前記他の移動体の位置のデータを含む、請求項４に記載の移動体。
  6. 　前記ターゲットの特徴を示す特徴データを記憶する記憶装置をさらに備え、
    　前記捜索の結果は、前記カメラまたは前記他の移動体が周囲の空間をセンシングすることによって取得されたセンサデータ、および、前記カメラまたは前記他の移動体の位置のデータを含み、
    　前記プロセッサは、前記特徴データと前記センサデータとを照合する、請求項３に記載の移動体。
  7. 　前記プロセッサは、最後に計算した前記ターゲットの位置、および、前記ターゲットを見失った時の前記ターゲットまたは前記自機の速度を利用して、前記領域を推定する、請求項１から６のいずれかに記載の移動体。
  8. 　前記プロセッサは、さらに前記ターゲットを見失ってからの経過時間を利用して前記領域を推定する、請求項７に記載の移動体。
  9. 　前記プロセッサは、
    　　前記ターゲットまたは前記自機の移動履歴から推定される前記ターゲットの移動速度と、前記経過時間との積を、推定移動距離として計算し、
    　　最後に計算した前記ターゲットの位置から前記推定移動距離以内の範囲を、前記領域としえて推定する、請求項８に記載の移動体。
  10. 　前記プロセッサは、前記ターゲットを見失った後の前記カメラの出力を解析して得られた位置と、前記ターゲットを見失うまでの前記ターゲットまたは自機の移動履歴と、を利用して、前記ターゲットが存在する領域を推定する、請求項４から６のいずれかに記載の移動体。
  11. 　前記プロセッサは、前記ターゲットを見失うまでの前記ターゲットまたは前記自機の位置の変化を利用して前記領域を推定する、請求項１から６のいずれかに記載の移動体。
  12. 　前記プロセッサは、前記ターゲットを見失うまでの前記ターゲットまたは前記自機の位置の変化から前記ターゲットの移動方向を推定し、前記移動方向を含む所定の範囲を前記領域として推定する、請求項１１に記載の移動体。
  13. 　前記プロセッサは、前記通信装置を介して、前記領域を指定する領域データをさらに送信し、
    　前記カメラまたは前記他の移動体は、指定された前記領域と自己位置との関係に応じて前記ターゲットの捜索を行い、
    　前記プロセッサは、前記通信装置を介して、前記捜索の結果を受信する、請求項３から６のいずれかに記載の移動体。
  14. 　前記屋内および／または屋外の地図データを保持する記憶装置をさらに備え、
    　前記プロセッサは、前記地図データをさらに利用して前記ターゲットが存在する領域を推定する、請求項１から１３のいずれかに記載の移動体。
  15. 　前記センシング機器による前記捜索の結果が前記ターゲットの不存在を示す場合には、前記プロセッサは、前記領域を変更する、請求項１から１４のいずれかに記載の移動体。
  16. 　前記センシング機器による前記捜索の結果が前記ターゲットの存在を示す場合には、前記プロセッサは、前記ターゲットが存在していた位置まで自機を移動させ、前記位置から前記ターゲットの追尾を再開する、請求項１から１４のいずれかに記載の移動体。
  17. 　ターゲットを追尾する他の移動体と通信する通信装置と、
    　前記ターゲットをセンシングすることが可能なセンサと、
    　プロセッサと、
    　コンピュータプログラムを格納したメモリと
    　を備え、
    　前記プロセッサは、前記コンピュータプログラムを実行することにより、
    　前記通信装置を介して、前記他の移動体から、指定された領域の捜索を求める指示を受信し、
    　前記指定された領域と自己位置との関係に応じて、前記センサを用いて周囲の空間をセンシングして前記捜索を行い、
    　前記捜索の結果を前記他の移動体に送信する、移動体。
  18. 　前記プロセッサは、
    　　前記通信装置を介して、前記ターゲットの特徴を示す特徴データをさらに受信し、
    　　前記周囲の空間をセンシングして得られたセンサデータと前記特徴データとが合致するか否かを判定し、
    　　合致する場合には、前記ターゲットの位置を示すデータおよび前記自己位置を示すデータの少なくとも一方を前記捜索の結果として送信する、請求項１７に記載の移動体。
  19. 　前記通信装置は、２．４ＧＨｚ帯の周波数を利用して通信を行う、請求項１から１８のいずれかに記載の移動体。
PCT/JP2018/009676 2017-03-28 2018-03-13 移動体 Ceased WO2018180454A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US16/477,266 US11256917B2 (en) 2017-03-28 2018-03-13 Moving body for tracking and locating a target
CN201880021381.8A CN110462546A (zh) 2017-03-28 2018-03-13 移动体
JP2019509202A JPWO2018180454A1 (ja) 2017-03-28 2018-03-13 移動体

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017063176 2017-03-28
JP2017-063176 2017-03-28

Publications (1)

Publication Number Publication Date
WO2018180454A1 true WO2018180454A1 (ja) 2018-10-04

Family

ID=63675401

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/009676 Ceased WO2018180454A1 (ja) 2017-03-28 2018-03-13 移動体

Country Status (4)

Country Link
US (1) US11256917B2 (ja)
JP (1) JPWO2018180454A1 (ja)
CN (1) CN110462546A (ja)
WO (1) WO2018180454A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020155033A (ja) * 2019-03-22 2020-09-24 株式会社豊田自動織機 移動車両
WO2022208668A1 (ja) * 2021-03-30 2022-10-06 日本電気株式会社 情報処理装置、情報処理方法、情報処理システム、及びコンピュータ可読媒体
JP7618378B2 (ja) 2018-12-27 2025-01-21 株式会社豊田自動織機 自律移動体
US12462536B2 (en) 2022-10-24 2025-11-04 Samsung Electronics Co., Ltd. Method and electronic device for training neural network model by augmenting image representing object captured by multiple cameras

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7353747B2 (ja) * 2018-01-12 2023-10-02 キヤノン株式会社 情報処理装置、システム、方法、およびプログラム
US11990041B2 (en) * 2018-09-05 2024-05-21 Nec Corporation Moving body tracking system, moving body tracking method, and program
KR102740847B1 (ko) * 2019-02-19 2024-12-13 삼성전자주식회사 사용자 입력 처리 방법 및 이를 지원하는 전자 장치

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006520459A (ja) * 2002-05-10 2006-09-07 本田技研工業株式会社 未知の障害物の中の予測不可能な目標物の実時間追跡
JP2006344075A (ja) * 2005-06-09 2006-12-21 Sony Corp ネットワーク・システム、移動体装置及びその制御方法、並びにコンピュータ・プログラム
JP2009020749A (ja) * 2007-07-12 2009-01-29 Toshiba Corp ロボット制御装置及び方法
JP2009052940A (ja) * 2007-08-24 2009-03-12 Toshiba Corp 移動物体検出装置および自律移動物体
JP2012078950A (ja) * 2010-09-30 2012-04-19 Sogo Keibi Hosho Co Ltd 自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラム
JP2014516816A (ja) * 2011-06-13 2014-07-17 マイクロソフト コーポレーション モバイルロボットによる移動対象物のトラッキング及びフォローイング
US20150205301A1 (en) * 2013-03-15 2015-07-23 Ashley A. Gilmore Digital tethering for tracking with autonomous aerial robot
JP2016119626A (ja) * 2014-12-22 2016-06-30 セコム株式会社 監視システム
WO2017047688A1 (ja) * 2015-09-17 2017-03-23 株式会社日立国際電気 落下物検知追跡システム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS60210784A (ja) * 1984-04-04 1985-10-23 Hitachi Ltd 推定目標存在領域表示方法
JP2005199377A (ja) 2004-01-14 2005-07-28 Sharp Corp 追跡ロボットシステムおよびそれを用いた追跡ロボット
JP4257230B2 (ja) * 2004-02-26 2009-04-22 株式会社東芝 移動ロボット
CN104778358B (zh) * 2015-04-09 2017-11-10 西安工程大学 多传感器存在监测区域部分重叠的扩展目标跟踪方法
CN105447887A (zh) * 2015-11-06 2016-03-30 掌赢信息科技（上海）有限公司 一种基于历史轨迹的目标跟踪方法及电子设备
CN109416867B (zh) * 2016-07-04 2022-05-03 索尼公司 机器人、机器人系统和记录介质

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006520459A (ja) * 2002-05-10 2006-09-07 本田技研工業株式会社 未知の障害物の中の予測不可能な目標物の実時間追跡
JP2006344075A (ja) * 2005-06-09 2006-12-21 Sony Corp ネットワーク・システム、移動体装置及びその制御方法、並びにコンピュータ・プログラム
JP2009020749A (ja) * 2007-07-12 2009-01-29 Toshiba Corp ロボット制御装置及び方法
JP2009052940A (ja) * 2007-08-24 2009-03-12 Toshiba Corp 移動物体検出装置および自律移動物体
JP2012078950A (ja) * 2010-09-30 2012-04-19 Sogo Keibi Hosho Co Ltd 自律移動体を用いた監視システム、監視装置、自律移動体、監視方法、及び監視プログラム
JP2014516816A (ja) * 2011-06-13 2014-07-17 マイクロソフト コーポレーション モバイルロボットによる移動対象物のトラッキング及びフォローイング
US20150205301A1 (en) * 2013-03-15 2015-07-23 Ashley A. Gilmore Digital tethering for tracking with autonomous aerial robot
JP2016119626A (ja) * 2014-12-22 2016-06-30 セコム株式会社 監視システム
WO2017047688A1 (ja) * 2015-09-17 2017-03-23 株式会社日立国際電気 落下物検知追跡システム

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7618378B2 (ja) 2018-12-27 2025-01-21 株式会社豊田自動織機 自律移動体
JP2020155033A (ja) * 2019-03-22 2020-09-24 株式会社豊田自動織機 移動車両
JP7196711B2 (ja) 2019-03-22 2022-12-27 株式会社豊田自動織機 移動車両
WO2022208668A1 (ja) * 2021-03-30 2022-10-06 日本電気株式会社 情報処理装置、情報処理方法、情報処理システム、及びコンピュータ可読媒体
JP7556453B2 (ja) 2021-03-30 2024-09-26 日本電気株式会社 情報処理装置、情報処理方法、及びプログラム
US12462536B2 (en) 2022-10-24 2025-11-04 Samsung Electronics Co., Ltd. Method and electronic device for training neural network model by augmenting image representing object captured by multiple cameras

Also Published As

Publication number Publication date
JPWO2018180454A1 (ja) 2020-02-06
CN110462546A (zh) 2019-11-15
US20200380699A1 (en) 2020-12-03
US11256917B2 (en) 2022-02-22

Similar Documents

Publication Publication Date Title
WO2018180454A1 (ja) 移動体
TWI827649B (zh) 用於ｖｓｌａｍ比例估計的設備、系統和方法
US11407116B2 (en) Robot and operation method therefor
EP3283843B1 (en) Generating 3-dimensional maps of a scene using passive and active measurements
KR102608046B1 (ko) 공항용 안내 로봇 및 그의 동작 방법
CN106527426A (zh) 一种室内多目轨迹规划系统及其方法
WO2019187816A1 (ja) 移動体および移動体システム
JP2020194243A (ja) 作業分析システム、作業分析装置、および作業分析プログラム
JP2020166702A (ja) 移動体システム、地図作成システム、経路作成プログラムおよび地図作成プログラム
CN108445882B (zh) 具有跟踪功能的自动导引车
JP7273696B2 (ja) 位置推定装置及びシステム
CN111380535A (zh) 基于视觉标签的导航方法、装置、移动式机器及可读介质
Yasuda et al. Calibration-free localization for mobile robots using an external stereo camera
Tsukiyama Global navigation system with RFID tags
US20210149412A1 (en) Position estimating apparatus, method for determining position of movable apparatus, and non-transitory computer readable medium
WO2021246170A1 (ja) 情報処理装置、情報処理システム、および方法、並びにプログラム
McArthur et al. Pose-estimate-based target tracking for human-guided remote sensor mounting with a UAV
JP7199337B2 (ja) 位置推定装置、位置推定方法およびプログラム
Ghidary et al. Localization and approaching to the human by mobile home robot
Abukhalil et al. Robot navigation system using laser and monocular camera
JPWO2019069921A1 (ja) 移動体
Liang et al. Of-vo: Reliable navigation among pedestrians using commodity sensors
Zhang et al. A visual slam system with laser assisted optimization
JP7657689B2 (ja) 処理システム、制御システム、移動体、撮影位置決定方法及び撮影位置決定プログラム
JP2024106058A (ja) 移動体制御装置、移動体制御プログラム及び移動体制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18776782

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019509202

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18776782

Country of ref document: EP

Kind code of ref document: A1