[go: up one dir, main page]

WO2019187494A1 - 領域検出装置および領域検出方法 - Google Patents

領域検出装置および領域検出方法 Download PDF

Info

Publication number
WO2019187494A1
WO2019187494A1 PCT/JP2019/000619 JP2019000619W WO2019187494A1 WO 2019187494 A1 WO2019187494 A1 WO 2019187494A1 JP 2019000619 W JP2019000619 W JP 2019000619W WO 2019187494 A1 WO2019187494 A1 WO 2019187494A1
Authority
WO
WIPO (PCT)
Prior art keywords
category
region
feature
area
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/000619
Other languages
English (en)
French (fr)
Inventor
真佑 福場
裕貴 内山
卓哉 小山
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Heavy Industries Ltd
Original Assignee
Mitsubishi Heavy Industries Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Heavy Industries Ltd filed Critical Mitsubishi Heavy Industries Ltd
Priority to EP19775373.4A priority Critical patent/EP3745351B1/en
Priority to US16/966,605 priority patent/US11216952B2/en
Priority to AU2019244533A priority patent/AU2019244533B2/en
Publication of WO2019187494A1 publication Critical patent/WO2019187494A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/174—Segmentation; Edge detection involving the use of two or more images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/187—Segmentation; Edge detection involving region growing; involving region merging; involving connected component labelling
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images

Definitions

  • Non-Patent Document 1 discloses a method of classifying land cover information from a satellite image using machine learning.
  • Non-Patent Document 2 discloses a technique for detecting a feature using a discriminator obtained by machine learning.
  • Patent Document 1 discloses a method for detecting a region to be detected that has changed from aerial photographs taken at a first time point and a second time point.
  • learning data is generated from the aerial photograph at the first time point and the map information at the first time point.
  • the land cover photographed in the aerial photograph at the second time point is identified by using the detection target classifier learned from the generated learning data. Using this result, an area not including the detection target is excluded from areas different between the aerial photograph at the first time point and the aerial photograph at the second time point.
  • the change area detection device described in Patent Document 1 requires corresponding map information for the first time point out of the two time points to be compared. Since the update frequency of map information is very low compared to the update frequency of satellite images and the like, the images that can be used as the first time point are limited. Thereby, the time interval suitable for the detection target cannot be set, and the detection accuracy may be low.
  • an object of the present invention is to provide an apparatus for detecting a region where a feature is changing from feature images at two arbitrary time points.
  • the aforementioned predetermined condition may indicate that the first category is a predetermined first condition category and the second category is a predetermined second condition category.
  • the area extracting unit described above may include a shape determining unit.
  • the shape determination unit may calculate a shape feature of the separation region in which pixels adjacent to each other and included in the change region are connected.
  • the shape determination unit excludes the separation region of the shape feature from the change region. Also good.
  • the aforementioned predetermined condition may indicate that either the first category or the second category is a predetermined third condition category.
  • the area extracting unit described above may include a shape determining unit.
  • the shape determination unit may calculate a shape feature of the separation region in which pixels adjacent to each other and included in the change region are connected.
  • the shape determination unit may exclude the separation region of the shape feature from the change region.
  • the aforementioned predetermined condition may indicate that the first category and the second category are different.
  • the area extracting unit described above may include a shape determining unit.
  • the shape determination unit may calculate a shape feature of the separation region in which pixels adjacent to each other and included in the change region are connected.
  • the shape determination unit may exclude the separation region of the shape feature from the change region.
  • the area extraction unit described above may include a classification determination unit.
  • the classification determining unit integrates the first category areas based on the areas of the first areas formed by connecting the pixels of the same category adjacent to each other in the area corresponding to the changed area in the first classified image.
  • the first integrated area may be calculated.
  • the classification determination unit determines the second category region based on the area of the second region formed by connecting the pixels of the same category adjacent to each other in the region corresponding to the change region in the second classification image.
  • the integrated second integrated area may be calculated.
  • the region extraction unit described above extracts, from the change region, a region that satisfies a predetermined condition for the first category of the first integrated region and the second category of the second integrated region at the same position as the first category. May be.
  • the classification determination unit described above includes the first category including pixels adjacent to the first region when the area of the first region is smaller than a predetermined threshold.
  • the first area may be integrated into the area.
  • the classification determination unit when the area of the second area is smaller than a predetermined threshold in the area corresponding to the change area in the second classification image, the classification determination unit includes a second category including pixels adjacent to the second area. The second area may be integrated with the area.
  • the classification determining unit integrates the first region into the first category region having the longest boundary line between the first region and the first category region among the first category regions adjacent to the first region. May be.
  • the classification determination unit integrates the second region into the second category region having the longest boundary line between the second region and the second category region among the second category regions adjacent to the second region. May be.
  • the above-described region extraction unit may include a post-processing unit that connects the adjacent region to the extraction region based on the first category and the second category of the adjacent region adjacent to the extraction region.
  • the post-processing unit described above connects the adjacent area to the extracted area. May be.
  • the aforementioned adjacent area may be an area where pixels of the same category are connected to each other.
  • FIG. 1 is a schematic diagram of an area detection apparatus according to the first embodiment.
  • FIG. 2 is a diagram showing a functional configuration of the area detection apparatus of FIG.
  • FIG. 3 is a diagram illustrating a functional configuration of the candidate extraction unit in FIG.
  • FIG. 4 is a diagram illustrating a functional configuration of the classification unit in FIG. 2.
  • FIG. 5 is a diagram illustrating a functional configuration of the region extraction unit in FIG. 2.
  • FIG. 6 is a flowchart relating to the processing of the shape determination unit of FIG.
  • FIG. 7 is a diagram for explaining the shape feature of FIG. 6.
  • FIG. 8 is a flowchart related to the processing of the classification determining unit in FIG.
  • FIG. 9 is a diagram for explaining the smoothing of FIG. FIG.
  • FIG. 10 is a diagram for explaining the smoothing of FIG.
  • FIG. 11 is a diagram for explaining the integration of the category areas of FIG.
  • FIG. 12 is a diagram for explaining the integration of the category areas of FIG.
  • FIG. 13 is a flowchart related to the processing of the change determination unit in FIG.
  • FIG. 14 is a flowchart relating to the processing of the post-processing unit of FIG.
  • FIG. 15 is a diagram for explaining the adjacent region in FIG. 14.
  • FIG. 16 is a diagram for explaining the adjacent region in FIG. 14.
  • FIG. 17 is a diagram illustrating a functional configuration of an area detection apparatus that can input a plurality of feature images.
  • FIG. 18 is a diagram illustrating a functional configuration of the area detection device according to the second embodiment.
  • the region detection device 5 includes an input device 900, a calculation device 901, a storage device 902, and a communication device 903.
  • the input device 900 includes a keyboard, a mouse, a scanner, and the like, and is a device that inputs data to the area detection device 5.
  • the calculation device 901 includes a central processing unit (CPU), a dedicated circuit, and the like, and performs calculations for processing by the area detection device 5.
  • the arithmetic device 901 reads the program 910 stored in the storage device 902 and performs processing based on instructions of the program 910.
  • the arithmetic device 901 acquires data input from the input device 900 and uses it to execute the instructions of the program 910.
  • the storage device 902 stores various data used by the arithmetic device 901.
  • the storage device 902 stores a program 910 indicating the processing content of the arithmetic device 901.
  • the communication device 903 communicates with the outside of the area detection device 5 and transmits / receives data necessary for processing of the arithmetic device 901.
  • the area detection device 5 includes, for example, a computer.
  • the program 910 may be stored in the external storage medium 800, read from the storage medium 800, and stored in the storage device 902.
  • the storage medium 800 may be a non-transition type.
  • the area detection device 5 is connected to the display device 7 and outputs the result calculated by the arithmetic device 901 to the display device 7.
  • the display device 7 displays the output calculation result.
  • the region detection device 5 includes a candidate extraction unit 10, a classification unit 20, and a region extraction unit 30.
  • the region detection device 5 extracts a region where the feature is changing from the two first feature images 1-1 and the second feature image 1-2 obtained by photographing the ground surface from the sky.
  • the region detection device 5 generates an extraction signal including extraction region information indicating the extracted region, and transmits the extraction signal to the display device 7.
  • the display device 7 displays an image indicating the extracted area based on the extraction signal.
  • the first feature image 1-1 and the second feature image 1-2 are collectively referred to as a feature image 1.
  • the feature image 1 includes various images obtained by photographing the ground surface from the sky such as satellite images and aerial photographs.
  • the candidate extraction unit 10 extracts a region where the image has changed between the first feature image 1-1 and the second feature image 1-2 as a change region. As illustrated in FIG. 3, the candidate extraction unit 10 includes a feature calculation unit 11, a change calculation unit 12, and a candidate determination unit 13.
  • the feature calculation unit 11 calculates the feature amount of each pixel of the feature image 1.
  • the feature amount is a value indicating the feature of the small area including the corresponding pixel. For example, for each of the vertical direction and the horizontal direction of the small region, the feature calculation unit 11 calculates the information of the amplitude spectrum in the spatial frequency region as the feature amount of each pixel included in the small region.
  • the feature amount can be selected from various calculation methods according to a desired detection target. For example, the feature calculation unit 11 may calculate a feature amount for each small region.
  • the feature quantity may be a vector quantity or a scalar quantity.
  • the change calculation unit 12 calculates a difference between the feature amount of the first feature image 1-1 calculated by the feature calculation unit 11 and the feature amount of the second feature image 1-2 at the same position as the change amount. .
  • the first pixel of the first feature image 1-1 is associated with the second pixel of the second feature image 1-2 at the same position.
  • the difference between the feature amount of the first pixel and the feature amount of the second pixel is calculated as a change amount. This is performed for all pixels.
  • the change amount is a vector indicating a difference between the feature amount of the first pixel and the feature amount of the second pixel.
  • the candidate determination unit 13 extracts pixels in which the amount of change calculated by the change calculation unit 12 satisfies a predetermined condition.
  • the change amount is a scalar amount
  • pixels whose change amount is equal to or greater than a predetermined threshold are extracted.
  • the amount of change is a vector amount
  • a pixel having a length of the amount of change equal to or greater than a threshold value is calculated.
  • the value of the component of the change amount may be compared with the value of the component of a predetermined threshold vector, and a pixel in which a specific component satisfies a predetermined condition may be extracted. For example, in a specific component, a pixel whose change amount is equal to or greater than a threshold vector value may be extracted.
  • a pixel in which the value of the change amount in a specific component is greater than or equal to the threshold vector value and the value of the change amount in other specific components is less than or equal to the value of the threshold vector may be extracted.
  • the candidate determination unit 13 may have a plurality of threshold vectors. For example, when there are a plurality of threshold vectors, a pixel whose amount of change satisfies at least one threshold vector may be extracted. One or more threshold vectors may be selected according to the detection target. The candidate determination unit 13 calculates an area occupied by the extracted pixels as a change area.
  • the classifier 21 learns the feature category using the sample image.
  • the classifier 21 estimates the category of the feature being photographed according to the position of the feature image 1 using the learned result.
  • the classifier 21 generates a classification image indicating the relationship between the position of the feature image 1 and the estimated category.
  • Various methods can be selected for learning by the classifier 21. For example, the classifier 21 inputs a plurality of sample images and clusters these images. The category of each cluster may be determined from the result of clustering and the sample image assigned to each cluster. Moreover, you may be made to learn by deep learning. Furthermore, the classifier 21 can also classify mobile objects such as automobiles that are not included in the map information.
  • the sample construction unit 22 constructs a sample image for the classifier 21 to learn from the plurality of learning images 2.
  • the learning image 2 may include a feature image 1 that is input to the region detection device 5.
  • the sample construction unit 22 constructs a sample image corresponding to the learning method of the classifier 21.
  • a category to be classified and a sample image corresponding to the category are constructed.
  • the sample images are not limited to the first feature image 1-1 and the second feature image 1-2, and various learning images 2 can be used. Therefore, the classification unit 20 can classify the feature category even if the color, shape, or the like changes due to differences in the shooting direction, shooting time, or the like. Also, the classification unit 20 can appropriately classify changes such as fallen leaves and snowfall of trees.
  • the region extraction unit 30 extracts a region in which the feature has changed based on the change region calculated by the candidate extraction unit 10 and the classification image generated by the classification unit 20. As illustrated in FIG. 5, the region extraction unit 30 includes a shape determination unit 31, a classification determination unit 32, a change determination unit 33, and a post-processing unit 34.
  • the shape determination unit 31 excludes a region not included in the detection target category from the shape of the change region calculated by the candidate extraction unit 10. Specifically, the process shown in FIG. 6 is performed.
  • the shape determination unit 31 acquires change area information representing the change area calculated by the candidate extraction unit 10.
  • the change area is an area occupied by pixels in which the difference between the feature quantity of the first feature image 1-1 and the feature quantity of the second feature image 1-2 satisfies a predetermined condition.
  • the separation regions 200-1, 200-2,... which are adjacent to each other and connected to the pixels included in the change region, may include a plurality of regions separated from each other.
  • the separation regions 200-1, 200-2,... are collectively referred to as a separation region 200.
  • the shape determining unit 31 calculates the shape characteristics of the separation region 200-1 included in the change region.
  • the shape feature is a feature amount obtained from the shape of the separation region 200-1.
  • the shape determining unit 31 calculates the minimum rectangle surrounding the separation region 200-1 as the bounding box 201-1.
  • the shape characteristics of the separation region 200-1 include the length of the long side of the bounding box 201-1 surrounding the separation region 200-1, the length of the short side, the ratio of the long side to the short side, the area, It may include the area, the ratio of the area of the bounding box 201-1 and the area of the separation region, and the like.
  • the shape feature may be a scalar quantity selected from one of the long side lengths and the like. Further, the shape feature may be a vector quantity selected from a plurality of long side lengths.
  • the shape determining unit 31 performs the same process for the bounding box 201-2.
  • the shape determination unit 31 determines whether the shape feature is included in the shape features of the category to be detected. For example, the shape determination unit 31 stores a plurality of shape features for one detection target category. The shape determining unit 31 calculates the difference between the shape feature obtained from the separation region 200-1 and the shape feature stored in the shape determining unit 31. When the calculated minimum value of the differences is equal to or smaller than a predetermined threshold value, the shape determining unit 31 determines that the shape feature of the separation region 200-1 is included in the shape feature of the category to be detected. When the calculated minimum value of the difference is larger than the threshold value, the shape determining unit 31 determines that the shape feature of the separation region 200-1 is not included in the shape feature of the category to be detected.
  • the process proceeds to step 103. If the shape feature of the separation region 200-1 is included in the shape feature of the category to be detected, the process proceeds to step 104.
  • the shape determination unit 31 calculates the difference between the shape feature of each category and the shape feature of the separation region 200-1. The shape determination unit 31 determines the minimum value of the calculated differences by comparing it with a threshold value. There may be one shape feature for the category to be detected. Here, the shape feature of the category may be calculated based on the sample image constructed by the sample construction unit 22 of the classification unit 20.
  • the category of the detection target includes, for example, a category A and a category B when detecting a region changed from the category A to the category B, for example, a region changed from soil to a building.
  • category A is the detection target category. included.
  • step 103 the shape determination unit 31 excludes the separation region 200-1 from the change region, assuming that the separation region 200-1 is not included in the detection target. Thereafter, the process proceeds to step 104.
  • step 104 the shape determination unit 31 confirms whether or not the determination in step 102 has been performed for all the separation regions 200.
  • the shape determination unit 31 proceeds to step 101 and calculates the shape feature of the separation region 200.
  • the shape determination unit 31 ends the process.
  • the shape determination unit 31 excludes the separation region that is not included in the category to be detected from the change region based on the shape of the change region calculated by the candidate extraction unit 10.
  • the classification determination unit 32 calculates an integrated region integrated with the adjacent category region based on the area occupied by pixels of the same category adjacent to each other in the classification image.
  • the integrated area indicates a category and its position.
  • the classification determination unit 32 calculates a first integrated region obtained by integrating regions in the first classified image and a second integrated region obtained by integrating regions in the second classified image. Specifically, the classification determination unit 32 performs the process of FIG.
  • the classification determination unit 32 acquires the classification image generated by the classification unit 20 and the change area information representing the change area for which the processing of the shape determination unit 31 has been completed.
  • the classification image is data indicating the category number estimated by the classification unit 20 at the pixel position.
  • a pixel described as “1” indicates that the classification unit 20 has estimated it as the first category.
  • the pixel described as “2” is estimated as the second category
  • the pixel described as “3” is estimated as the third category
  • the pixel described as “4” is estimated as the fourth category. Show. That is, in FIG.
  • the classification unit 20 adds a first category area 300-1 of the first category, a second category area 300-2 of the second category, and a third category area of the third category to the feature image 1.
  • 300-3 and the fourth category region 300-4 of the fourth category are estimated to be included.
  • the classification determination unit 32 smoothes the classification image generated by the classification unit 20. Thereby, the classification determination unit 32 removes noise from the classification image.
  • the classification determination unit 32 for example, when the area of a region formed by connecting adjacent pixels of the same category is smaller than a predetermined threshold, the classification determination unit 32 is adjacent to the region and has the same category. The category of the area is changed to the category of the adjacent area in accordance with the number of areas. In other words, the classification determination unit 32 calculates an area that is adjacent to each other and occupied by pixels of the same category as the category area 300. When the calculated area of the category region 300 is smaller than the threshold value, the classification determining unit 32 extracts pixels adjacent to the region, and calculates the number of extracted pixels for each category.
  • the number of pixels in the fourth category region 300-4 adjacent to the first category region 300-1 is two.
  • the classification determining unit 32 integrates the first category area 300-1 into the third category area 300-3 because the third category area 300-3 has the largest number of pixels.
  • the classification determining unit 32 changes the first category region 300-1 to the third category as shown in FIG.
  • the smoothing is not limited to this method, and various methods that can remove noise may be selected.
  • the classification determination unit 32 extracts areas corresponding to the changed areas from the classification image as classification areas 310-1, 310-2,.
  • the classification areas 310-1, 310-2,... are collectively referred to as a classification area 310.
  • a classification area 310-1 corresponding to the change area is extracted. Since the classification area 310 is an area corresponding to the change area, a plurality of separated areas may be included.
  • the classification determining unit 32 calculates a category area 300 obtained by connecting adjacent pixels of the same category in the extracted classification area 310 (step 113). As shown in FIG. 11, the classification determining unit 32 calculates the first category area 300-1 by connecting the pixels of the first category in the classification area 310-1. Similarly, the pixels of the second category are connected, the second category area 300-2 of the second category is connected, and the pixels of the third category are connected to calculate the third category area 300-3.
  • step 114 the classification determining unit 32 calculates the area of the obtained category region 300, and searches for the category region 300 having an area smaller than a predetermined threshold. As a result, if there is a category region 300 having an area smaller than the threshold, the process proceeds to step 115. For example, in the classification region 310-1, the areas of the first category region 300-1, the second category region 300-2, and the third category region 300-3 are calculated. Assume that the second category region 300-2 is obtained as the category region 300 smaller than the threshold value.
  • the classification determining unit 32 integrates the retrieved category area 300 into the adjacent category area 300.
  • the classification determination unit 32 integrates the category area 300 into the category area 300 having the longest boundary line with the category area 300 to be integrated among the adjacent category areas 300.
  • the classification determining unit 32 searches for the category area 300 adjacent to the second category area 300-2.
  • the first category area 300-1 and the third category area 300-3 are extracted.
  • the category region 300 having the longest boundary line is selected.
  • the first category area 300-1 is selected as the category area 300 having the longest boundary line with the second category area 300-2.
  • the classification determination unit 32 integrates the second category region 300-2 having an area smaller than the threshold value into the selected first category region 300-1. As a result, the classification determining unit 32 obtains a classification area 310-1 including a first category area 300-1 and a third category area 300-3 as shown in FIG.
  • step 114 search for a category region 300 having an area smaller than the threshold. If there is no category region 300 having an area smaller than the threshold, the classification determining unit 32 ends the process. For example, as shown in FIG. 12, in the classification area 310-1, the first category area 300-1 and the third category area 300-3 remain. Therefore, the integrated area includes the first category area 300-1 and the third category area 300-3.
  • the classification determination unit 32 thus calculates an integrated region obtained by integrating the category regions of the classification image based on the area of the region formed by connecting the pixels of the same category adjacent to each other.
  • the change determination unit 33 extracts a region where the feature has changed from the change region based on the change region calculated by the shape determination unit 31 and the integrated region calculated by the classification determination unit 32. . Specifically, the change determination unit 33 performs the process shown in FIG.
  • the change determination unit 33 extracts a region in which the first integrated region and the second integrated region are detection target categories.
  • a region that has changed from category A to category B for example, a region that has changed from soil to a building, is shown.
  • the change determination unit 33 extracts an area belonging to the category A in the first integrated area and an area belonging to the category B in the second integrated area.
  • the change determination unit 33 extracts a change area corresponding to the extracted area as the extraction area 320. In other words, the change determination unit 33 extracts an area that is the second condition category in the second integrated area from areas that are the first condition category in the first integrated area.
  • the change determination unit 33 may extract an area belonging to the category A, for example, an area belonging to the category representing an automobile, in either the first feature image 1-1 or the second feature image 1-2. Good. In this case, the change determination unit 33 extracts a region belonging to the category A in the first integrated region or a region belonging to the category A in the second integrated region. The change determination unit 33 extracts a change area corresponding to the extracted area as the extraction area 320. As described above, the change determination unit 33 can extract an area where the category of the feature belongs to the category A in either the first feature image 1-1 or the second feature image 1-2.
  • the change determination unit 33 may switch the above-described processing based on an input signal from the input device 900. In other words, the process of the change determination unit 33 may be switched based on the content input by the user to the input device 900.
  • the post-processing unit 34 connects the area to the extraction area 320 based on the category of the adjacent area in order to improve the accuracy of the extraction area 320. Due to the influence of a shadow or the like, a part of the area belonging to the category to be detected may not be extracted as a change area. Therefore, the post-processing unit 34 connects an area adjacent to the extraction area 320 and having the same category to the extraction area 320. This improves the accuracy of the area to be detected. Specifically, the post-processing unit 34 performs the process shown in FIG.
  • the post-processing unit 34 acquires the category of the first integrated region at the position corresponding to the extraction region 320. Thereby, the post-processing unit 34 acquires the feature category in the extraction region 320. Specifically, as shown in FIG. 15, the post-processing unit 34 acquires the category of the feature included in the extraction area 320-1.
  • the post-processing unit 34 searches for an adjacent area that can be connected to the extraction area 320. For this reason, the post-processing unit 34 acquires the category of the pixel adjacent to the extraction region 320 from the first classified image. Pixels in the same category as the category corresponding to the extraction region 320 are extracted from the pixels adjacent to the extraction region 320.
  • the post-processing unit 34 calculates a first adjacent region by connecting pixels that are adjacent to the extracted pixel and in the same category as the extracted pixel in the first classified image. For example, the post-processing unit 34 acquires an adjacent region 330-1 indicating the same category as the extraction region 320-1, among the regions adjacent to the extraction region 320-1, as shown in FIG.
  • the adjacent region 330-1 is a region that is adjacent to each other and that connects pixels of the same category as the extraction region 320-1.
  • the category of the non-adjacent region 335-1 is different from the category of the extraction region 320-1. For this reason, the non-adjacent region 335-1 is not included in the first adjacent region. In this way, the post-processing unit 34 acquires the first adjacent area for the first feature image 1-1.
  • the extraction area 320 includes an extraction area 320-1-1 and an extraction area 320-1-2.
  • the category of the adjacent region 330-1 adjacent to the extraction region 320-1-1 is the same category as the extraction region 320-1-1, it is acquired as the first adjacent region.
  • the adjacent area 330-2 adjacent to the extraction area 320-1-2 is also in the same category as the extraction area 320-1-2, and thus is acquired as the first adjacent area.
  • the first adjacent region includes the adjacent region 330-1 and the adjacent region 330-2.
  • the post-processing unit 34 obtains the second adjacent region for the second feature image 1-2 in steps 133 to 135, as in steps 130 to 132. Specifically, in step 133, the post-processing unit 34 acquires the second classification image generated by the classification unit 20 and the second integrated region calculated by the classification determination unit 32.
  • step 134 the post-processing unit 34 acquires the category of the second integrated region at the position corresponding to the extraction region 320. Thereby, the post-processing unit 34 acquires the feature category in the extraction region 320.
  • the post-processing unit 34 acquires pixels of the same category adjacent to the extraction region 320 from the second classified image.
  • the post-processing unit 34 extracts pixels in the same category as the category corresponding to the extraction region 320 from adjacent pixels.
  • the post-processing unit 34 calculates a second adjacent region by connecting pixels of the same category that are adjacent to the extracted pixel in the second classified image. As described above, the post-processing unit 34 acquires the second adjacent region for the second feature image 1-2.
  • the post-processing unit 34 extracts an area where the first adjacent area and the second adjacent area overlap.
  • the post-processing unit 34 connects the extracted area to the extraction area 320.
  • the category of the region adjacent to the extraction region 320 is equal to the category of the extraction region 320 of the first integrated region in the first classified image, and is equal to the category of the extraction region 320 of the second integrated region in the second classified image.
  • the post-processing unit 34 connects this area to the extraction area 320.
  • the area detection device 5 can detect a detection target area even when a part of the detection target is not included in the change area due to an influence of a shadow or the like.
  • the area extraction unit 30 In order to display the extracted extraction area 320 on the display device 7, the area extraction unit 30 generates an extraction signal including information on the extracted extraction area 320.
  • the display device 7 displays an area that changes between the first feature image 1-1 and the second feature image 1-2 based on the extracted signal. By viewing the display device 7, the user can change between the first feature image 1-1 and the second feature image 1-2, and can confirm a region belonging to the target category.
  • the time point at which the first feature image 1-1 and the second feature image 1-2 are photographed can be arbitrarily selected.
  • the region detection apparatus 5 performs the processing of the candidate extraction unit 10, the classification unit 20, and the region extraction unit 30 on the first feature image 1-1 and the second feature image 1-2. I do. Thereby, it is possible to extract only the area of the category to be detected among the areas changing between the first feature image 1-1 and the second feature image 1-2.
  • the second feature image 1-2 may be estimated as a feature category different from the detection target due to the influence of a shadow or the like.
  • the region detection device 5 allows the first feature image 1-1. And is included in the extraction region 320. In other words, the influence of shadows and the like can be suppressed by estimating the detection target in both the first feature image 1-1 and the second feature image 1-2. That is, the area detection device 5 has higher detection accuracy than the conventional method.
  • the post-processing unit 34 further changes the change in the extraction region 320 based on the feature amount difference calculated by the change calculation unit 12 and the first integrated region and the second integrated region calculated by the classification determination unit 32.
  • the likelihood may be calculated.
  • the area detection device 5 may add the calculated likelihood to the extracted signal.
  • the display device 7 can display the extracted area 320 with the same likelihood.
  • the user can confirm the change of the feature from the area with high likelihood, and the work efficiency is improved.
  • the likelihood area may be excluded from the extraction area 320. Thereby, only the area
  • FIG. The post-processing unit 34 may omit the process illustrated in FIG. 14 and execute only the likelihood calculation process.
  • the classification unit 20 may acquire the change area calculated by the candidate extraction unit 10 and calculate the first classification image and the second classification image for the change area. Thereby, the time required for processing in the classification unit 20 can be shortened. In this case, since the feature category is calculated only in the range of the change area, the process of connecting the adjacent areas 330 in the post-processing unit 34, specifically, the process shown in FIG. 14 may be omitted. .
  • the sample construction unit 22 constructs a sample image that the classifier 21 learns. For this reason, when the classifier 21 has already been learned, the classification unit 20 may not include the sample construction unit 22. In this case, the user may input the learned classifier 21 using the input device 900. Further, the learned classifier 21 may be acquired from the outside via the communication device 903.
  • the area detection device 5 calculates a plurality of change areas in the first feature image 1-1 and the second feature image 1-2.
  • the feature image 1 may be used.
  • the candidate extraction unit 10 extracts a change area from two of the plurality of feature images 1 including the first feature image 1-1 and the second feature image 1-2.
  • the classification unit 20 generates a classification image for a plurality of feature images 1 including the first feature image 1-1 and the second feature image 1-2.
  • the region extraction unit 30 extracts regions belonging to the category to be detected from the change region based on the plurality of change regions calculated by the candidate extraction unit 10 and the plurality of classification images generated by the classification unit 20.
  • an area calculated as a change area at two target time points may not be calculated as a change area at the other two time points. Since it can be determined that this region has been extracted by a change such as a shadow, the region extraction unit 30 may exclude this region from the change region. Thereby, erroneous detection is suppressed. Furthermore, since the region detection device 5 uses a plurality of feature images 1, the region detection device 5 can extract a region where the feature has changed based on the order in which the feature images 1 were taken and the change between them. it can.
  • a large number of feature images 1 are used to extract a region of the feature on which the moving body such as a road or a parking lot moves. . Thereafter, from the feature images 1 before and after the time to be extracted, a region where the feature is changing can be extracted in the region of the feature where the moving body moves.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Remote Sensing (AREA)
  • Astronomy & Astrophysics (AREA)
  • Databases & Information Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

領域検出装置５は、候補抽出部１０と、分類部２０と、領域抽出部３０とを備える。候補抽出部１０は、第１時点に上空から地表を撮影した第１地物画像１－１と、第１時点と異なる第２時点に地表を撮影した第２地物画像１－２とで異なる変化領域を抽出する。分類部２０は、第１地物画像１－１の位置に応じて撮影されている第１地物の第１カテゴリを推定し、第１地物の位置と第１カテゴリとの関係を示す第１分類画像を算出し、第２地物画像の位置に応じて撮影されている第２地物の第２カテゴリを推定し、第２地物の位置と第２カテゴリとの関係を示す第２分類画像とを算出する。領域抽出部３０は、第１カテゴリと、第１カテゴリと同じ位置における第２カテゴリとが予め決められた条件を満たす抽出領域を、変化領域から抽出する。

Description

領域検出装置および領域検出方法
　本発明は、領域検出装置および領域検出方法に関するものである。
　近年、リモートセンシング技術を用いて、衛星画像、航空写真から土地の変化、例えば、草地に建物が建てられたことなどを検出することが行われている。また、自動車や建物などの地上物体の検出も行われている。
　衛星画像、航空写真から変化を検出する場合、異なる時間における同一地点の２つの画像を画素単位で比較しても、土地の変化を検出できない。衛星画像、航空写真で得られる画像の変化には、土地の変化だけでなく、撮影方向、時間などにより反射強度、影の変化が含まれるためである。また、画像の変化には、樹木の落葉、降雪などの違いも含まれる。
　非特許文献１には、衛星画像から機械学習を用いて、土地被覆情報を分類する手法が開示されている。
　また、非特許文献２には、機械学習により得られた識別器を用いて、地物を検出する手法が開示されている。
　また、特許文献１には、第１時点と第２時点とに撮影した航空写真から変化している検出対象の領域を検出する方法が開示されている。この手法は、第１時点の航空写真と、第１時点の地図情報とから学習用データを生成する。生成した学習データにより学習した検出対象識別器を用いて、第２時点の航空写真に撮影された土地被覆を識別する。この結果を用いて、第１時点の航空写真と第２時点の航空写真とで異なる領域から、検出対象を含まない領域を除外する。
特開２０１７－３３１９７号公報
安藤　岳洋　他１名、「高分解能衛星画像Ｇｅｏｅｙｅ－１を用いた詳細土地被覆情報の取得精度検証と分類手法の比較　－港北ニュータウンを対象として－」、都市計画報告集、公益社団法人日本都市計画学会、２０１５年８月、Ｎｏ．１４、ｐ．１５３－１５７ 中村良介、他７名、「地球観測衛星画像上の地物認識」、Ｔｈｅ　３０ｔｈ　Ａｎｎｕａｌ　Ｃｏｎｆｅｒｅｎｃｅ　ｏｆ　ｔｈｅ　Ｊａｐａｎｅｓｅ　Ｓｏｃｉｅｔｙ　ｆｏｒ　Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ　２０１６（ＪＳＡＩ２０１６）、一般社団法人人工知能学会、２０１６年
　特許文献１に記載された変化領域検出装置は、比較する２時点のうち第１時点について、対応する地図情報を要する。地図情報の更新頻度は、衛星画像などの更新頻度に比べて非常に低いため、第１時点として用いることができる画像は限定される。これにより、検出対象に適した時間間隔を設定できず、検出精度が低い場合がある。
　以上の問題を解決するため、本発明は、任意の２時点の地物画像から、地物が変化している領域を検出する装置を提供することを目的の１つとする。他の目的については、以下の記載及び実施の形態の説明から理解することができる。
　以下に、発明を実施するための形態で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、特許請求の範囲の記載と発明を実施するための形態との対応関係の一例を示すために、参考として、括弧付きで付加されたものである。よって、括弧付きの記載により、特許請求の範囲は、限定的に解釈されるべきではない。
　上記目的を達成するため、本発明の第１の態様に係る領域検出装置は、候補抽出部と、分類部と、領域抽出部とを備える。候補抽出部は、第１時点に上空から地表を撮影した第１地物画像と、第１時点と異なる第２時点に地表を撮影した第２地物画像とで異なる変化領域を抽出する。分類部は、第１地物画像の位置に応じて撮影されている第１地物の第１カテゴリを推定し、第１地物の位置と第１カテゴリとの関係を示す第１分類画像を算出する。また、分類部は、第２地物画像の位置に応じて撮影されている第２地物の第２カテゴリを推定し、第２地物の位置と第２カテゴリとの関係を示す第２分類画像とを算出する。領域抽出部は、第１カテゴリと、第１カテゴリと同じ位置における第２カテゴリとが予め決められた条件を満たす抽出領域を、変化領域から抽出する。また、領域抽出部は、抽出領域を表す抽出領域情報を含む抽出信号を生成し送信する。
　前述の予め決められた条件は、第１カテゴリが予め決められた第１条件カテゴリであり、第２カテゴリが予め決められた第２条件カテゴリであることを示してもよい。
　前述の領域抽出部は、形状判定部を備えてもよい。形状判定部は、互いに隣接し変化領域に含まれる画素を連結した分離領域の形状特徴を算出してもよい。また、形状判定部は、形状特徴が、第１条件カテゴリの第１形状特徴または第２条件カテゴリの第２形状特徴に含まれない場合に、当該形状特徴の分離領域を変化領域から除外してもよい。
　前述の予め決められた条件は、第１カテゴリまたは第２カテゴリのいずれかが予め決められた第３条件カテゴリであることを示してもよい。
　前述の領域抽出部は、形状判定部を備えてもよい。形状判定部は、互いに隣接し変化領域に含まれる画素を連結した分離領域の形状特徴を算出してもよい。また、形状判定部は、形状特徴が、第３条件カテゴリの第３形状特徴に含まれない場合に、当該形状特徴の分離領域を変化領域から除外してもよい。
　前述の予め決められた条件は、第１カテゴリと第２カテゴリとが異なることを示してもよい。
　前述の領域抽出部は、形状判定部を備えてもよい。形状判定部は、互いに隣接し変化領域に含まれる画素を連結した分離領域の形状特徴を算出してもよい。また、形状判定部は、形状特徴が、分類部が推定し得るカテゴリの形状特徴に含まれない場合に、当該形状特徴の分離領域を変化領域から除外してもよい。
　前述の領域抽出部は、分類決定部を備えてもよい。分類決定部は、第１分類画像の中の変化領域に対応する領域において、互いに隣接し同一カテゴリの画素を連結して形成される第１領域の面積に基づき、第１カテゴリの領域を統合した第１統合領域を算出してもよい。また、分類決定部は、第２分類画像の中の変化領域に対応する領域において、互いに隣接し同一カテゴリの画素を連結して形成される第２領域の面積に基づき、第２カテゴリの領域を統合した第２統合領域を算出してもよい。また、前述の領域抽出部は、第１統合領域の第１カテゴリと、第１カテゴリと同じ位置における第２統合領域の第２カテゴリとが予め決められた条件を満たす領域を、変化領域から抽出してもよい。
　前述の分類決定部は、第１分類画像の中の変化領域に対応する領域において、第１領域の面積が予め決められた閾値より小さい場合、第１領域に隣接する画素を含む第１カテゴリの領域に、第１領域を統合してもよい。また、分類決定部は、第２分類画像の中の変化領域に対応する領域において、第２領域の面積が予め決められた閾値より小さい場合、第２領域に隣接する画素を含む第２カテゴリの領域に、第２領域を統合してもよい。
　前述の分類決定部は、第１領域に隣接する第１カテゴリの領域のうち、第１領域と第１カテゴリの領域との境界線が最も長い第１カテゴリの領域に、第１領域を統合してもよい。また、分類決定部は、第２領域に隣接する第２カテゴリの領域のうち、第２領域と第２カテゴリの領域との境界線が最も長い第２カテゴリの領域に、第２領域を統合してもよい。
　前述の領域抽出部は、抽出領域に隣接する隣接領域の第１カテゴリと第２カテゴリとに基づき、抽出領域に隣接領域を連結する後処理部を備えてもよい。
　前述の後処理部は、隣接領域における第１カテゴリが、抽出領域の第１カテゴリと等しく、隣接領域における第２カテゴリが、抽出領域の第２カテゴリと等しい場合に、抽出領域に隣接領域を連結してもよい。
　前述の隣接領域は、互いに隣接し同一のカテゴリの画素を連結した領域でもよい。
　本発明の第２の態様に係る領域検出装置は、分類部と、変化判定部と、候補抽出部とを備える。分類部は、第１時点に上空から地表を撮影した第１地物画像の位置に応じて撮影されている第１地物の第１カテゴリを推定し、第１地物の位置と第１カテゴリとの関係を示す第１分類画像を算出する。また、分類部は、第１時点と異なる第２時点に地表を撮影した第２地物画像の位置に応じて撮影されている第２地物の第２カテゴリを推定し、第２地物の位置と第２カテゴリとの関係を示す第２分類画像とを算出する。変化判定部は、第１カテゴリと、第１カテゴリと同じ位置における第２カテゴリとが予め決められた条件を満たす第１領域を抽出する。候補抽出部は、第１領域において、第１地物画像と、第２地物画像とで異なる領域を抽出する。
　本発明の第３の態様に係る領域検出方法は、演算装置が実行する候補抽出手段と、分類手段と、領域抽出手段とを含む。候補抽出手段は、第１時点に上空から地表を撮影した第１地物画像と、第１時点と異なる第２時点に地表を撮影した第２地物画像とで異なる変化領域を抽出する。分類手段は、第１地物画像の位置に応じて撮影されている第１地物の第１カテゴリを推定し、第１地物の位置と第１カテゴリとの関係を示す第１分類画像を算出する。また、分類手段は、第２地物画像の位置に応じて撮影されている第２地物の第２カテゴリを推定し、第２地物の位置と第２カテゴリとの関係を示す第２分類画像とを算出する。領域抽出手段は、第１カテゴリと、第１カテゴリと同じ位置における第２カテゴリとが予め決められた条件を満たす抽出領域を、変化領域から抽出する。
　本発明の第４の態様に係るプログラムは、演算装置に実行させるための候補抽出手段と、分類手段と、領域抽出手段とを含む。候補抽出手段は、第１時点に上空から地表を撮影した第１地物画像と、第１時点と異なる第２時点に地表を撮影した第２地物画像とで異なる変化領域を抽出する。分類手段は、第１地物画像の位置に応じて撮影されている第１地物の第１カテゴリを推定し、第１地物の位置と第１カテゴリとの関係を示す第１分類画像を算出する。また、分類手段は、第２地物画像の位置に応じて撮影されている第２地物の第２カテゴリを推定し、第２地物の位置と第２カテゴリとの関係を示す第２分類画像とを算出する。領域抽出手段は、第１カテゴリと、第１カテゴリと同じ位置における第２カテゴリとが予め決められた条件を満たす抽出領域を、変化領域から抽出する。
　本発明によれば、任意の２時点の地物画像から、地物が変化している領域を検出することができる。
図１は、実施の形態１に係る領域検出装置の模式図である。 図２は、図１の領域検出装置の機能構成を示す図である。 図３は、図２の候補抽出部の機能構成を示す図である。 図４は、図２の分類部の機能構成を示す図である。 図５は、図２の領域抽出部の機能構成を示す図である。 図６は、図５の形状判定部の処理に関するフロー図である。 図７は、図６の形状特徴を説明するための図である。 図８は、図５の分類決定部の処理に関するフロー図である。 図９は、図８の平滑化を説明するための図である。 図１０は、図８の平滑化を説明するための図である。 図１１は、図８のカテゴリ領域の統合を説明するための図である。 図１２は、図８のカテゴリ領域の統合を説明するための図である。 図１３は、図５の変化判定部の処理に関するフロー図である。 図１４は、図５の後処理部の処理に関するフロー図である。 図１５は、図１４の隣接領域を説明するための図である。 図１６は、図１４の隣接領域を説明するための図である。 図１７は、複数の地物画像を入力できる領域検出装置の機能構成を示す図である。 図１８は、実施の形態２に係る領域検出装置の機能構成を示す図である。
（実施の形態１）
　実施の形態１に係る領域検出装置５は、図１に示すように、入力装置９００と、演算装置９０１と、記憶装置９０２と、通信装置９０３とを備える。入力装置９００は、キーボード、マウス、スキャナなどを含み、領域検出装置５にデータを入力する装置である。演算装置９０１は、中央演算装置（ＣＰＵ）、専用回路などを含み、領域検出装置５で処理するための演算を行う。また、演算装置９０１は、記憶装置９０２に格納されたプログラム９１０を読み出し、プログラム９１０の命令に基づき処理を行う。さらに、演算装置９０１は、入力装置９００から入力されるデータを取得し、プログラム９１０の命令を実行するために利用する。記憶装置９０２は、演算装置９０１で使用される各種データが格納されている。また、記憶装置９０２は、演算装置９０１の処理内容を示すプログラム９１０を格納する。通信装置９０３は、領域検出装置５の外部と通信し、演算装置９０１の処理に必要なデータの送受信を行う。領域検出装置５は、例えば、コンピュータを含む。一実施形態では、プログラム９１０は、外部の格納媒体８００に格納されていて、格納媒体８００から読み出されて記憶装置９０２に格納されていてもよい。格納媒体８００は、非遷移型であってもよい。
　また、領域検出装置５は、表示装置７に接続され、演算装置９０１で算出した結果を表示装置７に出力する。表示装置７は出力された算出結果を表示する。
　領域検出装置５の機能構成と動作とを説明する。領域検出装置５は、図２に示すように、候補抽出部１０と、分類部２０と、領域抽出部３０とを備える。領域検出装置５は、上空から地表を撮影した２つの第１地物画像１－１と、第２地物画像１－２とから、地物が変化している領域を抽出する。領域検出装置５は、抽出した領域を示す抽出領域情報を含む抽出信号を生成し、表示装置７に送信する。表示装置７は、抽出信号に基づき、抽出した領域を示す画像を表示する。ここでは、第１地物画像１－１と、第２地物画像１－２とを総称して、地物画像１と呼ぶ。地物画像１は、衛星画像、航空写真などの上空から地表を撮影した種々の画像を含む。また、第１地物画像１－１と第２地物画像１－２とは、異なる時点に、同じ地表を撮影した画像である。例えば、第２地物画像１－２は、第１地物画像１－１を撮影した第１時点から２４時間後の第２時点に撮影したものが例示される。ここで、地物画像１は、入力装置９００からスキャナ等で取り込まれてもよい。また、地物画像１は、外部から通信装置９０３を介して取り込まれてもよい。候補抽出部１０と、分類部２０と、領域抽出部３０とで実行される処理はプログラム９１０に記載され、演算装置９０１で実行される。
　候補抽出部１０は、第１地物画像１－１と、第２地物画像１－２とで画像が変化している領域を変化領域として抽出する。候補抽出部１０は、図３に示すように、特徴算出部１１と、変化算出部１２と、候補決定部１３とを備える。
　特徴算出部１１は、地物画像１の各画素の特徴量を算出する。特徴量は、対応する画素を含む小領域の特徴を示す値である。特徴算出部１１は、例えば、小領域の縦方向と横方向とのそれぞれについて、空間周波数領域における振幅スペクトルの情報を、この小領域に含まれる各画素の特徴量として算出する。特徴量は所望の検出対象に合わせて、種々の算出方法から選択することができる。例えば、特徴算出部１１は、小領域ごとに特徴量を算出してもよい。また、特徴量はベクトル量でもスカラー量でもよい。
　変化算出部１２は、同じ位置における、特徴算出部１１で算出した第１地物画像１－１の特徴量と、第２地物画像１－２の特徴量との差を変化量として算出する。具体的には、第１地物画像１－１の第１画素と、それと同じ位置の第２地物画像１－２の第２画素とを対応づける。第１画素の特徴量と第２画素の特徴量との差を変化量として算出する。これをすべての画素に対して行う。なお、特徴量がベクトル量のとき、変化量は第１画素の特徴量と第２画素の特徴量との差を示すベクトルである。
　候補決定部１３は、変化算出部１２で算出した変化量が予め決められた条件を満たす画素を抽出する。変化量がスカラー量のときは、例えば、変化量が予め決められた閾値以上である画素を抽出する。変化量がベクトル量のときは、例えば、変化量の長さが閾値以上である画素を算出する。また、変化量の成分の値を予め決められた閾値ベクトルの成分の値と比較し、特定の成分が予め決められた条件を満たす画素を抽出してもよい。例えば、特定の成分において、変化量の値が閾値ベクトルの値以上である画素を抽出してもよい。また、特定の成分において変化量の値が閾値ベクトルの値以上であり、他の特定の成分において変化量の値が閾値ベクトルの値以下である画素を抽出してもよい。候補決定部１３は、複数の閾値ベクトルを有してもよい。例えば、閾値ベクトルが複数あるときは、変化量が少なくとも１つの閾値ベクトルに係る条件を満たす画素を抽出してもよい。また、検出対象に応じて１つ以上の閾値ベクトルを選択してもよい。候補決定部１３は、抽出した画素で占められる領域を変化領域として算出する。
　分類部２０は、地物画像１に撮影されている地物を分類するカテゴリを推定し、地物画像１の位置と推定したカテゴリとの関係を示す分類画像を生成する。ここで、分類部２０は、第１地物画像１－１と第２地物画像１－２とのそれぞれに対して処理を行う。このため、分類部２０は、第１地物画像１－１から第１分類画像を、第２地物画像１－２から第２分類画像を生成する。分類部２０は、図４に示すように、分類器２１と、サンプル構築部２２とを備える。
　分類器２１は、サンプル画像を用いて地物のカテゴリを学習する。分類器２１は、学習した結果を用いて、分類器２１は、地物画像１の位置に応じて撮影されている地物のカテゴリを推定する。分類器２１は、地物画像１の位置と推定したカテゴリとの関係を示す分類画像を生成する。分類器２１の学習には、種々の方式を選択することができる。例えば、分類器２１は、複数のサンプル画像を入力し、それらの画像をクラスタリングする。クラスタリングした結果と、各クラスタに割当てられたサンプル画像とから、各クラスタのカテゴリを決定してもよい。また、ディープラーニングにより学習させてもよい。さらに、地図情報に含まれない自動車などの移動体についても、分類器２１は分類することができる。
　サンプル構築部２２は、複数の学習用画像２から分類器２１が学習するためのサンプル画像を構築する。学習用画像２は、領域検出装置５に入力する地物画像１を含んでもよい。サンプル構築部２２は、分類器２１の学習方式に対応したサンプル画像を構築する。例えば、分類器２１において教師有り学習を行う場合、分類すべきカテゴリと、それに対応したサンプル画像を構築する。ここで、サンプル画像は、第１地物画像１－１と第２地物画像１－２とに限定されず、様々な学習用画像２を用いることができる。このため、撮影方向、撮影時間などの違いにより色、形などが変化しても、分類部２０は地物のカテゴリを分類することができる。また、樹木の落葉、降雪などの変化に対しても、分類部２０は適切に分類することができる。
　領域抽出部３０は、候補抽出部１０が算出した変化領域と、分類部２０が生成した分類画像とに基づき、地物が変化している領域を抽出する。領域抽出部３０は、図５に示すように、形状判定部３１と、分類決定部３２と、変化判定部３３と、後処理部３４とを備える。
　形状判定部３１は、候補抽出部１０が算出した変化領域の形状から、検出対象のカテゴリに含まれない領域を除外する。具体的には、図６に示す処理を行う。
　形状判定部３１は、最初のステップ１００において、候補抽出部１０で算出された変化領域を表す変化領域情報を取得する。変化領域は、第１地物画像１－１の特徴量と第２地物画像１－２の特徴量との差が予め決められた条件を満たす画素が占める領域である。このため、図７に示すように、互いに隣接し変化領域に含まれる画素を連結した分離領域２００－１、２００－２、・・・は、互いに分離された複数の領域を含む場合がある。分離領域２００－１、２００－２、・・・を総称して、分離領域２００と呼ぶ。
　次に、形状判定部３１は、ステップ１０１において、変化領域に含まれる分離領域２００－１の形状特徴を算出する。ここで、形状特徴とは、分離領域２００－１の形状から得られる特徴量である。例えば、形状判定部３１は、図７に示すように、バウンディングボックス２０１－１として、分離領域２００－１を囲む最小の長方形を算出する。分離領域２００－１の形状特徴は、この分離領域２００－１を囲むバウンディングボックス２０１－１の長辺の長さ、短辺の長さ、長辺と短辺との比、面積、分離領域の面積、バウンディングボックス２０１－１の面積と分離領域の面積との比などを含んでもよい。また、形状特徴は、長辺の長さなどの中から１つを選択したスカラー量でもよい。また、形状特徴は、長辺の長さなどの中から複数を選択したベクトル量でもよい。形状判定部３１は、バウンディングボックス２０１－２についても同様の処理を行う。
　ステップ１０２において、形状判定部３１は、形状特徴が検出対象のカテゴリの形状特徴に含まれるかを判定する。例えば、形状判定部３１には、１つの検出対象のカテゴリに対して、複数の形状特徴が格納されている。形状判定部３１は、分離領域２００－１から得られた形状特徴と、形状判定部３１に格納されている形状特徴との差を、それぞれ算出する。算出された差の最小値が予め決められた閾値以下の場合、形状判定部３１は、分離領域２００－１の形状特徴が検出対象のカテゴリの形状特徴に含まれていると判定する。算出された差の最小値が閾値より大きい場合、形状判定部３１は、分離領域２００－１の形状特徴が検出対象のカテゴリの形状特徴に含まれていないと判定する。分離領域２００－１の形状特徴が検出対象のカテゴリの形状特徴に含まれていない場合、処理はステップ１０３に移行する。分離領域２００－１の形状特徴が検出対象のカテゴリの形状特徴に含まれる場合、処理はステップ１０４に移行する。また、検出対象のカテゴリが複数ある場合、形状判定部３１は、それぞれのカテゴリの形状特徴と、分離領域２００－１の形状特徴との差を算出する。形状判定部３１は、算出した差のうちの最小値を閾値と比較し、判定する。検出対象のカテゴリに対して、形状特徴は１つでもよい。ここで、カテゴリの形状特徴は、分類部２０のサンプル構築部２２で構築したサンプル画像に基づき算出してもよい。
　ここで、検出対象のカテゴリは、例えば、カテゴリＡからカテゴリＢに変化した領域、例えば土壌から建造物に変化した領域を検出する場合、カテゴリＡとカテゴリＢとが検出対象のカテゴリに含まれる。また、第１地物画像１－１と第２地物画像１－２とのいずれかにおいて、カテゴリＡに属する領域、例えば自動車に属する領域を抽出する場合は、カテゴリＡが検出対象のカテゴリに含まれる。
　ステップ１０３では、形状判定部３１は、分離領域２００－１が検出対象に含まれないとして、変化領域から分離領域２００－１を除外する。その後、処理はステップ１０４に移行する。
　ステップ１０４において、形状判定部３１は、すべての分離領域２００について、ステップ１０２の判定を行ったかを確認する。形状特徴を算出していない分離領域２００が残っている場合、形状判定部３１は、ステップ１０１に移行し、当該分離領域２００の形状特徴を算出する。すべての分離領域２００について、形状特徴を算出し、検出対象のカテゴリの形状特徴と比較した場合、形状判定部３１は処理を終了する。
　このようにして、形状判定部３１は、候補抽出部１０が算出した変化領域の形状に基づいて、検出対象のカテゴリに含まれない分離領域を変化領域から除外する。
　分類決定部３２は、分類画像において、互いに隣接する同一カテゴリの画素が占める面積に基づき、隣接するカテゴリの領域に統合した統合領域を算出する。統合領域は、カテゴリと、その位置とを示す。ここで、分類決定部３２は、第１分類画像において領域を統合した第１統合領域と、第２分類画像において領域を統合した第２統合領域とを算出する。具体的には、分類決定部３２は、図８の処理を行う。
　分類決定部３２は、最初のステップ１１０において、分類部２０が生成した分類画像と、形状判定部３１の処理が終了した変化領域を表す変化領域情報とを取得する。分類画像は、図９に示すように、画素の位置に、分類部２０が推定したカテゴリの番号を示したデータである。図９において、「１」と記載された画素は、分類部２０によって第１カテゴリと推定されたことを示す。同様に「２」と記載された画素は第２カテゴリと、「３」と記載された画素は第３カテゴリと、「４」と記載された画素は第４カテゴリと、それぞれ推定されたことを示す。つまり、図９において、分類部２０は、地物画像１に第１カテゴリの第１カテゴリ領域３００－１と、第２カテゴリの第２カテゴリ領域３００－２と、第３カテゴリの第３カテゴリ領域３００－３と、第４カテゴリの第４カテゴリ領域３００－４とが含まれると推定したことを示す。
　分類決定部３２は、次にステップ１１１において、分類部２０が生成した分類画像の平滑化を行う。これにより、分類決定部３２は、分類画像のノイズを除去する。平滑化は、例えば、隣接する同一カテゴリの画素を連結して形成される領域の面積が予め決められた閾値より小さい場合に、分類決定部３２は、当該領域に隣接し、互いにカテゴリが同じ画素の数に応じて、当該領域のカテゴリを隣接する領域のカテゴリに変更する。言い換えると、分類決定部３２は、互いに隣接し、同一カテゴリの画素が占める領域をカテゴリ領域３００として算出する。算出したカテゴリ領域３００の面積が閾値より小さい場合、分類決定部３２は、この領域に隣接する画素を抽出し、抽出された画素の数をカテゴリごとに算出する。算出された画素数が最も多いカテゴリに、当該領域のカテゴリを変更する。具体的には、図９に示すように、分類部２０により、第１カテゴリと推定された第１カテゴリ領域３００－１と、第２カテゴリと推定された第２カテゴリ領域３００－２と、第３カテゴリと推定された第３カテゴリ領域３００－３と、第４カテゴリと推定された第４カテゴリ領域３００－４とを、分類画像が含むとする。この場合、第１カテゴリと推定された第１カテゴリ領域３００－１の画素数は２である。閾値が３以上の場合、分類決定部３２は、第１カテゴリ領域３００－１はノイズとして、隣接するカテゴリ領域３００に統合する。ここで、第１カテゴリ領域３００－１に隣接する第２カテゴリ領域３００－２の画素数は２である。第１カテゴリ領域３００－１に隣接する第３カテゴリ領域３００－３の画素数は６である。第１カテゴリ領域３００－１に隣接する第４カテゴリ領域３００－４の画素数は２である。この場合、分類決定部３２は、第３カテゴリ領域３００－３の画素数が最も大きいため、第１カテゴリ領域３００－１は、第３カテゴリ領域３００－３に統合する。この結果、分類決定部３２は、図１０に示すように、第１カテゴリ領域３００－１を第３カテゴリに変更する。また、平滑化は、この方法に限定されず、ノイズを除去できる種々の方法を選択してよい。
　分類決定部３２は、次にステップ１１２において、分類画像から変化領域に相当する領域を分類領域３１０－１、３１０－２、・・・として抽出する。ここで、分類領域３１０－１、３１０－２、・・・を総称して、分類領域３１０と呼ぶ。例えば、図１１に示すように、変化領域に対応した分類領域３１０－１を抽出する。分類領域３１０は、変化領域に相当する領域であるため、分離された複数の領域が含まれる場合がある。
　次に、分類決定部３２は、抽出した分類領域３１０において、隣接する同一カテゴリの画素を連結したカテゴリ領域３００を算出する（ステップ１１３）。図１１に示すように、分類決定部３２は、分類領域３１０－１において、第１カテゴリの画素を連結して第１カテゴリ領域３００－１を算出する。同様に、第２カテゴリの画素を連結し、第２カテゴリの第２カテゴリ領域３００－２を、第３カテゴリの画素を連結し、第３カテゴリ領域３００－３を算出する。
　ステップ１１４において、分類決定部３２は、得られたカテゴリ領域３００の面積を算出し、予め決められた閾値より小さい面積のカテゴリ領域３００を検索する。その結果、閾値より面積の小さなカテゴリ領域３００があれば、処理はステップ１１５に移行する。例えば、分類領域３１０－１において、第１カテゴリ領域３００－１と、第２カテゴリ領域３００－２と、第３カテゴリ領域３００－３との面積を算出する。閾値より小さなカテゴリ領域３００として、第２カテゴリ領域３００－２が得られたとする。
　次にステップ１１５において、分類決定部３２は、検索されたカテゴリ領域３００を隣接するカテゴリ領域３００に統合する。例えば、分類決定部３２は、隣接するカテゴリ領域３００の中で、統合されるカテゴリ領域３００との境界線が最も長いカテゴリ領域３００に、当該カテゴリ領域３００を統合する。具体的には、図１１に示すように、第２カテゴリ領域３００－２の面積が閾値より小さいとする。この場合、分類決定部３２は、第２カテゴリ領域３００－２に隣接するカテゴリ領域３００を検索する。この結果、第１カテゴリ領域３００－１と第３カテゴリ領域３００－３とが抽出される。この隣接するカテゴリ領域３００の中で、境界線が最も長いカテゴリ領域３００を選択する。第２カテゴリ領域３００－２との境界線が最も長いカテゴリ領域３００として、第１カテゴリ領域３００－１が選択される。分類決定部３２は、この選択された第１カテゴリ領域３００－１に、閾値より面積の小さな第２カテゴリ領域３００－２を統合する。この結果、分類決定部３２は、図１２に示すように、第１カテゴリ領域３００－１と第３カテゴリ領域３００－３とから構成される分類領域３１０－１を得る。
　その後、ステップ１１４に移行し、閾値より面積の小さなカテゴリ領域３００があるかを検索する。閾値より小さな面積のカテゴリ領域３００がない場合、分類決定部３２は、処理を終了する。例えば、図１２に示すように、分類領域３１０－１において、第１カテゴリ領域３００－１と、第３カテゴリ領域３００－３とが残っている。このため、統合領域には、第１カテゴリ領域３００－１と、第３カテゴリ領域３００－３とが含まれる。
　分類決定部３２は、このように、互いに隣接し同一カテゴリの画素を連結して形成される領域の面積に基づき、分類画像のカテゴリの領域を統合した統合領域を算出する。
　変化判定部３３は、図５に示すように、形状判定部３１が算出した変化領域と、分類決定部３２が算出した統合領域に基づき、変化領域から地物が変化している領域を抽出する。具体的には、変化判定部３３は、図１３に示す処理を行う。
　変化判定部３３は、最初にステップ１２１において、分類決定部３２が算出した第１統合領域と第２統合領域とを取得する。第１統合領域は、変化領域において、第１地物画像１－１を地物のカテゴリに対応して連結された領域を示す。第２統合領域は、変化領域において、第１地物画像１－１を地物のカテゴリに対応して連結された領域を示す。
　次にステップ１２２において、変化判定部３３は、第１統合領域と第２統合領域とが検出対象のカテゴリである領域を抽出する。カテゴリＡからカテゴリＢに変化した領域、例えば土壌から建造物に変化した領域を検出する例を示す。この場合、変化判定部３３は、第１統合領域においてカテゴリＡに属し、第２統合領域においてカテゴリＢに属する領域を抽出する。変化判定部３３は、抽出した領域に対応する変化領域を、抽出領域３２０として抽出する。言い換えると、変化判定部３３は、第１統合領域において第１条件カテゴリである領域のうち、第２統合領域において第２条件カテゴリである領域を抽出する。このように、第１地物画像１－１と第２地物画像１－２とで異なり、地物のカテゴリがカテゴリＡからカテゴリＢに変化した領域、例えば土壌から建造物に変化した領域を抽出することができる。この第１条件カテゴリと第２条件カテゴリとは、ユーザが入力装置９００に入力したカテゴリでもよい。また、予め決められたカテゴリでもよい。
　また、変化判定部３３は、第１地物画像１－１と第２地物画像１－２とのいずれかにおいて、カテゴリＡに属する領域、例えば自動車を表すカテゴリに属する領域を抽出してもよい。この場合、変化判定部３３は、第１統合領域においてカテゴリＡに属する領域、又は、第２統合領域においてカテゴリＡに属する領域を抽出する。変化判定部３３は、抽出した領域に対応する変化領域を、抽出領域３２０として抽出する。このように、変化判定部３３は、第１地物画像１－１と第２地物画像１－２とのいずれかで地物のカテゴリがカテゴリＡに属する領域を抽出することができる。
　また、変化判定部３３は、入力装置９００から入力信号に基づき、前述の処理を切り替えてもよい。言い換えると、ユーザが入力装置９００に入力した内容に基づき、変化判定部３３の処理を切り替えてもよい。
　後処理部３４は、抽出領域３２０の精度を向上するために、隣接する領域のカテゴリに基づき、当該領域を抽出領域３２０に連結する。影などの影響により、検出対象のカテゴリに属する領域の一部が変化領域として抽出されない場合がある。このため、後処理部３４は、抽出領域３２０に隣接し、カテゴリが同一の領域を抽出領域３２０に連結する。これにより、検出する領域の精度が向上する。具体的には、後処理部３４は、図１４に示す処理を行う。
　後処理部３４は、最初にステップ１３０において、分類部２０が生成した第１分類画像と、分類決定部３２が算出した第１統合領域と、変化判定部３３が抽出した抽出領域３２０とを取得する。第１分類画像は、第１地物画像１－１に撮影された地物のカテゴリを画素ごとに推定された画像である。第１統合領域は、変化領域において、隣接する画素が属するカテゴリに基づき算出された地物のカテゴリを示す。
　次にステップ１３１において、後処理部３４は、抽出領域３２０に対応する位置の第１統合領域のカテゴリを取得する。これにより、後処理部３４は、抽出領域３２０における地物のカテゴリを取得する。具体的には、後処理部３４は、図１５に示すように、抽出領域３２０－１に含まれる地物のカテゴリを取得する。
　ステップ１３２において、後処理部３４は、抽出領域３２０に連結し得る隣接領域の有無を検索する。このため、後処理部３４は、抽出領域３２０に隣接する画素のカテゴリを第１分類画像から取得する。抽出領域３２０に隣接する画素から、抽出領域３２０に対応するカテゴリと同じカテゴリの画素を抽出する。後処理部３４は、第１分類画像において、抽出した画素に隣接し、かつ、抽出した画素と同じカテゴリの画素を連結して第１隣接領域を算出する。例えば、後処理部３４は、抽出領域３２０－１に隣接する領域のうち、図１５に示すように、抽出領域３２０－１と同じカテゴリを示す隣接領域３３０－１を取得する。隣接領域３３０－１は、互いに隣接し、かつ、抽出領域３２０－１と同一カテゴリの画素を連結した領域である。一方、非隣接領域３３５－１のカテゴリは、抽出領域３２０－１のカテゴリとは異なる。このため、非隣接領域３３５－１は、第１隣接領域に含まれない。このように、後処理部３４は、第１地物画像１－１に対する第１隣接領域を取得する。
　また、図１６に示すように、抽出領域３２０は、抽出領域３２０－１－１と抽出領域３２０－１－２とを含むとする。この場合、抽出領域３２０－１－１に隣接する隣接領域３３０－１のカテゴリは、抽出領域３２０－１－１と同じカテゴリであるため、第１隣接領域として取得する。また、抽出領域３２０－１－２に隣接する隣接領域３３０－２も、抽出領域３２０－１－２と同じカテゴリであるため、第１隣接領域として取得する。言い換えると、第１隣接領域には、隣接領域３３０－１と、隣接領域３３０－２とが含まれる。
　次に、後処理部３４は、ステップ１３０～１３２と同様に、ステップ１３３～１３５において、第２地物画像１－２に対する第２隣接領域を取得する。具体的には、ステップ１３３において、後処理部３４は、分類部２０が生成した第２分類画像と、分類決定部３２が算出した第２統合領域とを取得する。
　ステップ１３４において、後処理部３４は、抽出領域３２０に対応する位置の第２統合領域のカテゴリを取得する。これにより、後処理部３４は、抽出領域３２０における地物のカテゴリを取得する。
　ステップ１３５において、後処理部３４は、抽出領域３２０に隣接し、同じカテゴリの画素を第２分類画像から取得する。後処理部３４は、隣接する画素から、抽出領域３２０に対応するカテゴリと同じカテゴリの画素を抽出する。後処理部３４は、第２分類画像において、抽出した画素に隣接し、同じカテゴリの画素を連結し、第２隣接領域を算出する。このように、後処理部３４は、第２地物画像１－２に対する第２隣接領域を取得する。
　ステップ１３６において、後処理部３４は、第１隣接領域と第２隣接領域とが重複する領域を抽出する。後処理部３４は、抽出した領域を抽出領域３２０に連結する。言い換えると、抽出領域３２０に隣接する領域のカテゴリが、第１分類画像において第１統合領域の抽出領域３２０のカテゴリと等しく、第２分類画像において第２統合領域の抽出領域３２０におけるカテゴリと等しい場合に、後処理部３４は、この領域を抽出領域３２０に連結する。これにより、領域検出装置５は、影などの影響により、検出対象の一部が変化領域に含まれない場合であっても、検出対象の領域として検出することができる。
　表示装置７に抽出した抽出領域３２０を表示するため、領域抽出部３０は、抽出した抽出領域３２０の情報を含む抽出信号を生成する。表示装置７は、抽出信号に基づき、第１地物画像１－１と第２地物画像１－２との間で変化している領域を表示する。ユーザは、表示装置７を目視することで、第１地物画像１－１と第２地物画像１－２との間で変化し、対象のカテゴリに属する領域を確認することができる。ここで、第１地物画像１－１と第２地物画像１－２とを撮影する時点は任意に選択することができる。
　このように、領域検出装置５は、第１地物画像１－１と第２地物画像１－２とに対して、候補抽出部１０と、分類部２０と、領域抽出部３０との処理を行う。これにより、第１地物画像１－１と第２地物画像１－２との間で変化している領域のうち、検出対象のカテゴリの領域に限定して抽出することができる。また、実際は検出対象に属する地物が撮影されていても、影などの影響により、第２地物画像１－２において、検出対象と異なる地物のカテゴリに推定される場合がある。この場合、第１地物画像１－１と第２地物画像１－２とのいずれかが検出対象である領域を抽出することで、領域検出装置５は、第１地物画像１－１において検出対象と推定され、抽出領域３２０に含まれる。言い換えると、第１地物画像１－１と第２地物画像１－２との両方で検出対象を推定することで、影などの影響を抑制することができる。つまり、領域検出装置５は、従来の方法に比べて、検出の精度が高い。
　また、領域検出装置５は、検出対象のカテゴリを決定せず、カテゴリが変化している領域を抽出することもできる。この場合、検出対象は、サンプル画像で得られるすべてのカテゴリを対象として処理を行う。例えば、形状判定部３１において、検出対象のカテゴリの形状特徴と分離領域２００の形状特徴とを比較する際に（図６のステップ１０２）、すべてのカテゴリの形状特徴と分離領域２００の形状特徴とを比較する。また、変化判定部３３において、第１統合領域と、第２統合領域とで異なるカテゴリに属する領域を抽出する（図１３のステップ１２２）。これにより、領域検出装置５は、カテゴリが変化している領域を抽出する。
　また、後処理部３４は、さらに、抽出領域３２０において、変化算出部１２で算出した特徴量の差と、分類決定部３２が算出した第１統合領域と第２統合領域とに基づき、変化の尤度を算出してもよい。この場合、領域検出装置５は、抽出信号に算出した尤度を加えてもよい。これにより、表示装置７は、抽出領域３２０に尤度を合わせて表示できる。この場合、ユーザは尤度が高い領域から地物の変化を確認することができ、作業効率が上がる。また、算出した尤度が予め決められた閾値より小さい場合に、当該尤度の領域を抽出領域３２０から除外してもよい。これにより、表示装置７には、尤度の高い領域だけが表示される。後処理部３４は、図１４に示す処理を省略し、尤度の算出処理のみを実行してもよい。
　また、分類部２０は、候補抽出部１０が算出した変化領域を取得し、変化領域に対して第１分類画像と第２分類画像とを算出してもよい。これにより、分類部２０での処理に要する時間を短縮することができる。また、この場合、変化領域の範囲に限り地物のカテゴリを算出しているため、後処理部３４における隣接領域３３０を連結する処理、具体的には図１４に示す処理を省略してもよい。
　また、サンプル構築部２２は、分類器２１が学習するサンプル画像を構築する。このため、分類器２１が学習済みの場合、分類部２０はサンプル構築部２２を備えなくてもよい。この場合、学習済みの分類器２１を、入力装置９００を用いて、ユーザが入力してもよい。また、通信装置９０３を介して、外部から学習済みの分類器２１を取得してもよい。
　また、図１７に示すように、領域検出装置５は、第１地物画像１－１と第２地物画像１－２とにおける変化領域を算出するために、互いに異なる時点に撮影した複数の地物画像１を用いてもよい。候補抽出部１０は、第１地物画像１－１と第２地物画像１－２とを含む複数の地物画像１のうちの２つから、変化領域を抽出する。また、分類部２０は、第１地物画像１－１と第２地物画像１－２とを含む複数の地物画像１について、分類画像を生成する。領域抽出部３０は、候補抽出部１０が算出した複数の変化領域と、分類部２０が生成した複数の分類画像とに基づき、変化領域から検出対象のカテゴリに属する領域を抽出する。例えば、対象となる２時点において変化領域として算出された領域が、その他の２時点において変化領域として算出されない場合がある。この領域は影などの変化により抽出されたと判断できるため、領域抽出部３０は、この領域を変化領域から除外してもよい。これにより、誤検出が抑制される。さらに、領域検出装置５は、複数の地物画像１を使用するため、地物画像１が撮影された順番と、それらの間の変化とに基づき、地物が変化した領域を抽出することができる。また、特定の地物の上を移動する移動体、例えば自動車を抽出する場合に、多数の地物画像１を使用し、道路、駐車場などの移動体が移動する地物の領域を抽出する。その後、抽出対象となる時点前後の地物画像１から、移動体が移動する地物の領域において、地物が変化している領域を抽出することができる。
（実施の形態２）
　実施の形態２では、候補抽出部１０が、分類部２０が算出した第１分類画像と第２分類画像とに基づき、特徴量を算出する範囲を限定する例を説明する。この場合、候補抽出部１０の処理時間を短縮することができる。
　実施の形態２に係る領域検出装置５は、実施の形態１と同様のハードウェア構成を有し、入力装置９００と、演算装置９０１と、記憶装置９０２と、通信装置９０３とを備える。
　領域検出装置５の機能構成と動作とを説明する。領域検出装置５は、図１８に示すように、候補抽出部１０と、分類部２０と、領域抽出部３０とを備える。分類部２０は、実施の形態１と同様に機能する。
　領域抽出部３０は、変化判定部３３と、後処理部３４とを備える。変化判定部３３は、分類部２０で生成した第１分類画像と第２分類画像とから、検出対象のカテゴリに属する領域を抽出する。具体的には、変化判定部３３は、分類部２０が生成した第１分類画像と第２分類画像とを取得する。変化判定部３３は、取得した第１分類画像と第２分類画像との平滑化を行い、ノイズを除去する。ノイズを除去した第１分類画像と第２分類画像とから検出対象のカテゴリに属する領域を抽出する。例えば、カテゴリＡからカテゴリＢに変化する領域を抽出する場合は、第１分類画像においてカテゴリＡに属し、第２分類画像においてカテゴリＢに属する領域を抽出する。また、変化判定部３３は、第１分類画像においてカテゴリＡに属する領域、又は、第２分類画像においてカテゴリＡに属する領域を抽出してもよい。また、変化判定部３３は、第１分類画像と、第２分類画像とで異なるカテゴリに属する領域を抽出してもよい。
　候補抽出部１０は、変化判定部３３が抽出した領域において、第１地物画像１－１と第２地物画像１－２とで画像が異なる領域を算出する。具体的には、候補抽出部１０は、変化判定部３３が抽出した領域において、第１地物画像１－１と第２地物画像１－２との特徴量を算出する。次に、候補抽出部１０は、第１地物画像１－１の特徴量と、第２地物画像１－２の特徴量との差を変化量として算出する。候補抽出部１０は、算出した変化量が予め決められた閾値よりも大きい領域を抽出する。この抽出した領域が第１地物画像１－１と第２地物画像１－２とで画像が異なる領域に相当する。このように、変化判定部３３が抽出した領域に対して、実施の形態１と同様の処理を行う。
　本実施形態の後処理部３４は、本実施形態の候補抽出部１０が抽出した領域を実施形態１の抽出領域３２０として用い、本実施形態の第１分類画像を実施形態１の第１分類画像と第１統合領域として用い、本実施形態の第２分類画像を実施形態１の第２分類画像と第２統合領域として用いることで、実施の形態１の後処理部３４と同様の処理を行う。これにより、候補抽出部１０が抽出した領域に隣接する領域を連結することができる。
　領域抽出部３０は、後処理部３４が連結した領域を表す情報を含む抽出信号を生成する。表示装置７は、実施の形態１と同様に、抽出信号に基づき、第１地物画像１－１と第２地物画像１－２との間で変化している領域を表示する。
　領域抽出部３０は、実施の形態１と同様の機能を有する形状判定部３１を備えてもよい。この場合、形状判定部３１は、候補抽出部１０が抽出した領域を取得する。形状判定部３１は、この領域の形状特徴を算出し、算出した形状特徴が検出対象のカテゴリの形状特徴に含まれるかを判定する。形状判定部３１は、その形状特徴が検出対象のカテゴリの形状特徴に含まれないと判定した領域を、候補抽出部１０が抽出した領域から除外する。後処理部３４は、形状判定部３１が処理した領域を取得し、取得した領域に隣接する領域を連結する。これにより、誤検出を抑制することができる。
　上記実施の形態では、領域抽出部３０が抽出信号を表示装置７に送信する例を示したが、これに限定されない。領域抽出部３０は、他の装置に抽出信号を送信してもよい。他の装置は、抽出信号を受信し、抽出領域３２０に基づき処理を行う。この場合、抽出信号は通信装置９０３から送信されてもよい。
　上記実施の形態では、形状判定部３１が検出対象のカテゴリに対して複数の形状特徴を有する例を示したが、これに限定されない。分離領域２００の形状特徴が検出対象のカテゴリの形状特徴に含まれるかを判断できればよく、例えば、検出対象のカテゴリの形状特徴の範囲が指定されてもよい。この場合、分離領域２００の形状特徴が検出対象のカテゴリの形状特徴の範囲に存在する場合、分離領域２００は検出対象のカテゴリを含んでいると判断する。
　また、領域検出装置５の各機能を実現する手段を備えた領域検出方法は、第１地物画像１－１と第２地物画像１－２とから地物が変化する領域を検出することができることは明らかである。言い換えると、領域検出方法は、候補抽出部１０の機能を実行する候補抽出手段と、分類部２０の機能を実行する分類手段と、領域抽出部３０の機能を実行する領域抽出手段とを含む。また、候補抽出手段は、特徴算出部１１の機能を実行する特徴算出手段と、変化算出部１２の機能を実行する変化算出手段と、候補決定部１３の機能を実行する候補決定手段とを含んでもよい。領域抽出手段は、形状判定部３１の機能を実行する形状判定手段と、分類決定部３２の機能を実行する分類決定手段と、変化判定部３３の機能を実行する変化判定手段と、後処理部３４の機能を実行する後処理手段とを含んでもよい。
　また、プログラム９１０には、この領域検出方法をコンピュータに実行させるためのプログラムを含んでもよい。
　本発明は上記各実施の形態に限定されず、本発明の技術思想の範囲内において、各実施の形態は適宜変形または変更され得ることは明らかである。各実施の形態の技術は、技術的矛盾の発生しない限り、他の実施の形態で用いることが可能である。特に、以上において説明した処理は一例であり、各ステップの順番、処理内容は、機能を阻害しない範囲で変更してもよい。また、説明した構成は、機能を阻害しない範囲で、任意に変更してもよい。例えば、実施の形態２における変化判定部３３は、分類部２０が備えてもよい。また、分類決定部３２が行う分類画像の平滑化を分類部２０が実施してもよい。また、後処理部３４の処理を省略してもよい。さらに、形状判定部３１の処理を省略してもよい。分類決定部３２の処理を省略してもよい。
　なお、この出願は、２０１８年３月２６日に出願された日本特許出願２０１８－０５７８９４号を基礎とする優先権を主張し、その開示の全てを引用によりここに組み込む。

Claims (16)

  1. 　第１時点に上空から地表を撮影した第１地物画像と、前記第１時点と異なる第２時点に前記地表を撮影した第２地物画像とで異なる変化領域を抽出する候補抽出部と、
    　前記第１地物画像の位置に応じて撮影されている第１地物の第１カテゴリを推定し、前記第１地物の位置と前記第１カテゴリとの関係を示す第１分類画像と、前記第２地物画像の位置に応じて撮影されている第２地物の第２カテゴリを推定し、前記第２地物の位置と前記第２カテゴリとの関係を示す第２分類画像とを算出する分類部と、
    　前記第１カテゴリと、前記第１カテゴリと同じ位置における前記第２カテゴリとが予め決められた条件を満たす抽出領域を、前記変化領域から抽出し、前記抽出領域を表す抽出領域情報を含む抽出信号を生成し送信する領域抽出部と、
    　を備える領域検出装置。
  2. 　前記予め決められた条件は、前記第１カテゴリが予め決められた第１条件カテゴリであり、前記第２カテゴリが予め決められた第２条件カテゴリであることを示す
    　請求項１に記載の領域検出装置。
  3. 　前記領域抽出部は、
    　　互いに隣接し前記変化領域に含まれる画素を連結した分離領域の形状特徴を算出し、
    　　前記形状特徴が、前記第１条件カテゴリの第１形状特徴または前記第２条件カテゴリの第２形状特徴に含まれない場合に、当該形状特徴の分離領域を前記変化領域から除外する
    　　形状判定部を備える
    　請求項２に記載の領域検出装置。
  4. 　前記予め決められた条件は、前記第１カテゴリまたは前記第２カテゴリのいずれかが予め決められた第３条件カテゴリであることを示す
    　請求項１に記載の領域検出装置。
  5. 　前記領域抽出部は、
    　　互いに隣接し前記変化領域に含まれる画素を連結した分離領域の形状特徴を算出し、
    　　前記形状特徴が、前記第３条件カテゴリの第３形状特徴に含まれない場合に、当該形状特徴の分離領域を前記変化領域から除外する
    　　形状判定部を備える
    　請求項４に記載の領域検出装置。
  6. 　前記予め決められた条件は、前記第１カテゴリと前記第２カテゴリとが異なることを示す
    　請求項１に記載の領域検出装置。
  7. 　前記領域抽出部は、
    　　互いに隣接し前記変化領域に含まれる画素を連結した分離領域の形状特徴を算出し、
    　　前記形状特徴が、前記分類部が推定し得るカテゴリの形状特徴に含まれない場合に、当該形状特徴の分離領域を前記変化領域から除外する
    　　形状判定部を備える
    　請求項６に記載の領域検出装置。
  8. 　前記領域抽出部は、
    　　前記第１分類画像の中の前記変化領域に対応する領域において、互いに隣接し同一カテゴリの画素を連結して形成される第１領域の面積に基づき、前記第１カテゴリの領域を統合した第１統合領域を算出し、
    　　前記第２分類画像の中の前記変化領域に対応する領域において、互いに隣接し同一カテゴリの画素を連結して形成される第２領域の面積に基づき、前記第２カテゴリの領域を統合した第２統合領域を算出する
    　　分類決定部を備え、
    　前記領域抽出部は、前記第１統合領域の前記第１カテゴリと、前記第１カテゴリと同じ位置における前記第２統合領域の前記第２カテゴリとが予め決められた条件を満たす領域を、前記変化領域から抽出する
    　請求項１から７のいずれか１項に記載の領域検出装置。
  9. 　前記分類決定部は、
    　　前記第１分類画像の中の前記変化領域に対応する領域において、前記第１領域の面積が予め決められた閾値より小さい場合、前記第１領域に隣接する画素を含む前記第１カテゴリの領域に、前記第１領域を統合し、
    　　前記第２分類画像の中の前記変化領域に対応する領域において、前記第２領域の面積が予め決められた閾値より小さい場合、前記第２領域に隣接する画素を含む前記第２カテゴリの領域に、前記第２領域を統合する
    　請求項８に記載の領域検出装置。
  10. 　前記分類決定部は、
    　　前記第１領域に隣接する前記第１カテゴリの領域のうち、前記第１領域と前記第１カテゴリの領域との境界線が最も長い前記第１カテゴリの領域に、前記第１領域を統合し、
    　　前記第２領域に隣接する前記第２カテゴリの領域のうち、前記第２領域と前記第２カテゴリの領域との境界線が最も長い前記第２カテゴリの領域に、前記第２領域を統合する
    　請求項９に記載の領域検出装置。
  11. 　前記領域抽出部は、前記抽出領域に隣接する隣接領域の前記第１カテゴリと前記第２カテゴリとに基づき、前記抽出領域に前記隣接領域を連結する後処理部を備える
    　請求項１から１０のいずれか１項に記載の領域検出装置。
  12. 　前記後処理部は、前記隣接領域における前記第１カテゴリが、前記抽出領域の前記第１カテゴリと等しく、前記隣接領域における前記第２カテゴリが、前記抽出領域の前記第２カテゴリと等しい場合に、前記抽出領域に前記隣接領域を連結する
    　請求項１１に記載の領域検出装置。
  13. 　前記隣接領域は、互いに隣接し同一のカテゴリの画素を連結した領域である
    　請求項１２に記載の領域検出装置。
  14. 　第１時点に上空から地表を撮影した第１地物画像の位置に応じて撮影されている第１地物の第１カテゴリを推定し、前記第１地物の位置と前記第１カテゴリとの関係を示す第１分類画像と、第１時点と異なる第２時点に前記地表を撮影した第２地物画像の位置に応じて撮影されている第２地物の第２カテゴリを推定し、前記第２地物の位置と前記第２カテゴリとの関係を示す第２分類画像とを算出する分類部と、
    　前記第１カテゴリと、前記第１カテゴリと同じ位置における前記第２カテゴリとが予め決められた条件を満たす第１領域を抽出する変化判定部と、
    　前記第１領域において、前記第１地物画像と、前記第２地物画像とで異なる領域を抽出する候補抽出部と、
    　を備える領域検出装置。
  15. 　演算装置が、第１時点に上空から地表を撮影した第１地物画像と、前記第１時点と異なる第２時点に前記地表を撮影した第２地物画像とで異なる変化領域を抽出する候補抽出手段と、
    　演算装置が、前記第１地物画像の位置に応じて撮影されている第１地物の第１カテゴリを推定し、前記第１地物の位置と前記第１カテゴリとの関係を示す第１分類画像と、前記第２地物画像の位置に応じて撮影されている第２地物の第２カテゴリを推定し、前記第２地物の位置と前記第２カテゴリとの関係を示す第２分類画像とを算出する分類手段と、
    　演算装置が、前記第１カテゴリと、前記第１カテゴリと同じ位置における前記第２カテゴリとが予め決められた条件を満たす抽出領域を、前記変化領域から抽出する領域抽出手段と、
    　を含む領域検出方法。
  16. 　第１時点に上空から地表を撮影した第１地物画像と、前記第１時点と異なる第２時点に前記地表を撮影した第２地物画像とで異なる変化領域を抽出する候補抽出手段と、
    　前記第１地物画像の位置に応じて撮影されている第１地物の第１カテゴリを推定し、前記第１地物の位置と前記第１カテゴリとの関係を示す第１分類画像と、前記第２地物画像の位置に応じて撮影されている第２地物の第２カテゴリを推定し、前記第２地物の位置と前記第２カテゴリとの関係を示す第２分類画像とを算出する分類手段と、
    　前記第１カテゴリと、前記第１カテゴリと同じ位置における前記第２カテゴリとが予め決められた条件を満たす抽出領域を、前記変化領域から抽出する領域抽出手段と、
    　を演算装置に実行させるためのプログラムが格納された非遷移型格納媒体。
     
PCT/JP2019/000619 2018-03-26 2019-01-11 領域検出装置および領域検出方法 Ceased WO2019187494A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP19775373.4A EP3745351B1 (en) 2018-03-26 2019-01-11 Region extraction apparatus and region extraction method
US16/966,605 US11216952B2 (en) 2018-03-26 2019-01-11 Region extraction apparatus and region extraction method
AU2019244533A AU2019244533B2 (en) 2018-03-26 2019-01-11 Region extraction apparatus and region extraction method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-057894 2018-03-26
JP2018057894A JP7077093B2 (ja) 2018-03-26 2018-03-26 領域検出装置、領域検出方法及びそのプログラム

Publications (1)

Publication Number Publication Date
WO2019187494A1 true WO2019187494A1 (ja) 2019-10-03

Family

ID=68058114

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/000619 Ceased WO2019187494A1 (ja) 2018-03-26 2019-01-11 領域検出装置および領域検出方法

Country Status (5)

Country Link
US (1) US11216952B2 (ja)
EP (1) EP3745351B1 (ja)
JP (1) JP7077093B2 (ja)
AU (1) AU2019244533B2 (ja)
WO (1) WO2019187494A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102850864B1 (ko) * 2022-01-12 2025-08-25 국방과학연구소 광역 영상에서의 객체 변화 탐지 방법 및 장치
JP7634498B2 (ja) * 2022-03-18 2025-02-21 三菱電機株式会社 情報処理装置、情報処理方法及び情報処理プログラム
CN120894702A (zh) * 2025-10-10 2025-11-04 江西农业大学 基于遥感数据的土地生态状况监测系统及方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010061852A1 (ja) * 2008-11-25 2010-06-03 Ｎｅｃシステムテクノロジー株式会社 建築物変化検出装置、建築物変化検出方法、及び記録媒体
WO2015151553A1 (ja) * 2014-03-31 2015-10-08 Ｎｅｃソリューションイノベータ株式会社 異動検出支援装置、異動検出支援方法、及びコンピュータ読み取り可能な記録媒体
JP2017033197A (ja) 2015-07-30 2017-02-09 日本電信電話株式会社 変化領域検出装置、方法、及びプログラム
JP2018057894A (ja) 2017-11-29 2018-04-12 サミー株式会社 遊技機

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8224078B2 (en) * 2000-11-06 2012-07-17 Nant Holdings Ip, Llc Image capture and identification system and process
JP4780215B2 (ja) * 2009-03-27 2011-09-28 富士ゼロックス株式会社 画像処理装置および画像処理プログラム
JP5762251B2 (ja) * 2011-11-07 2015-08-12 株式会社パスコ 建物輪郭抽出装置、建物輪郭抽出方法及び建物輪郭抽出プログラム
JP2013161126A (ja) * 2012-02-01 2013-08-19 Honda Elesys Co Ltd 画像認識装置、画像認識方法および画像認識プログラム
JP6233869B2 (ja) * 2012-06-07 2017-11-22 日本電気株式会社 画像処理装置、画像処理装置の制御方法およびプログラム
JP6045417B2 (ja) * 2012-12-20 2016-12-14 オリンパス株式会社 画像処理装置、電子機器、内視鏡装置、プログラム及び画像処理装置の作動方法
KR102001636B1 (ko) * 2013-05-13 2019-10-01 삼성전자주식회사 이미지 센서와 대상 객체 사이의 상대적인 각도를 이용하는 깊이 영상 처리 장치 및 방법
EP3085298A4 (en) * 2013-12-19 2017-08-16 Olympus Corporation Image-processing apparatus, image-processing method, and image-processing program
US9465981B2 (en) * 2014-05-09 2016-10-11 Barron Associates, Inc. System and method for communication
JP6653467B2 (ja) * 2015-06-15 2020-02-26 パナソニックＩｐマネジメント株式会社 脈拍推定装置、脈拍推定システムおよび脈拍推定方法
JP6647013B2 (ja) * 2015-10-30 2020-02-14 キヤノン株式会社 画像処理装置、画像処理方法及び光干渉断層撮影装置
JP2017191501A (ja) * 2016-04-14 2017-10-19 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
EP3319041B1 (en) * 2016-11-02 2022-06-22 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and storage medium
EP3653106B1 (en) * 2017-07-14 2025-07-09 FUJIFILM Corporation Medical image processing device, endoscope system, diagnosis assistance device, and medical operation assistance device
JP6984256B2 (ja) * 2017-09-11 2021-12-17 ソニーグループ株式会社 信号処理装置、および信号処理方法、プログラム、並びに移動体
CN110322556B (zh) * 2019-04-29 2022-06-03 武汉大学 一种基于边界裁剪的高速高精度矢栅叠置分析方法

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010061852A1 (ja) * 2008-11-25 2010-06-03 Ｎｅｃシステムテクノロジー株式会社 建築物変化検出装置、建築物変化検出方法、及び記録媒体
WO2015151553A1 (ja) * 2014-03-31 2015-10-08 Ｎｅｃソリューションイノベータ株式会社 異動検出支援装置、異動検出支援方法、及びコンピュータ読み取り可能な記録媒体
JP2017033197A (ja) 2015-07-30 2017-02-09 日本電信電話株式会社 変化領域検出装置、方法、及びプログラム
JP2018057894A (ja) 2017-11-29 2018-04-12 サミー株式会社 遊技機

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
RYOSUKE NAKAMURA ET AL.: "The 30th Annual Conference of the Japanese Society for Artificial Intelligence, 2016", 2016, THE JAPANESE SOCIETY FOR ARTIFICIAL INTELLIGENCE, article "Object recognition on Earth-observing satellite imagery"
TAKEHIRO ANDO ET AL.: "Reports of the City Planning Institute of Japan", vol. 14, August 2015, THE CITY PLANNING INSTITUTE OF JAPAN, article "Accuracy Validation on the Fine Land Cover Information Categorization Using Different Methods of Geoeye-1 Satellite Imagery: A Case Study of Kohoku Newtown", pages: 153 - 157

Also Published As

Publication number Publication date
EP3745351B1 (en) 2025-08-20
EP3745351A1 (en) 2020-12-02
JP2019169060A (ja) 2019-10-03
JP7077093B2 (ja) 2022-05-30
AU2019244533B2 (en) 2022-01-27
US20210056707A1 (en) 2021-02-25
EP3745351A4 (en) 2021-04-28
AU2019244533A1 (en) 2020-08-13
US11216952B2 (en) 2022-01-04

Similar Documents

Publication Publication Date Title
CN110119728B (zh) 基于多尺度融合语义分割网络的遥感图像云检测方法
US10607089B2 (en) Re-identifying an object in a test image
EP2858008B1 (en) Target detecting method and system
US8243987B2 (en) Object tracking using color histogram and object size
JP6397379B2 (ja) 変化領域検出装置、方法、及びプログラム
JP2018072938A (ja) 目的物個数推定装置、目的物個数推定方法及びプログラム
CN103383451B (zh) 基于恒边长梯度加权图切的优化雷达微弱目标检测方法
WO2019187494A1 (ja) 領域検出装置および領域検出方法
CN119295740A (zh) 模型训练方法、红外弱小目标检测方法、装置及电子设备
CN117765363A (zh) 一种基于轻量型记忆库的图像异常检测方法及系统
CN109785302B (zh) 一种空谱联合特征学习网络及多光谱变化检测方法
Kusetogullari et al. Unsupervised change detection in landsat images with atmospheric artifacts: a fuzzy multiobjective approach
US10210621B2 (en) Normalized probability of change algorithm for image processing
CN111553474A (zh) 船只检测模型训练方法及基于无人机视频的船只跟踪方法
CN111815677B (zh) 目标追踪方法、装置、终端设备和可读存储介质
CN108665489B (zh) 用于检测地理空间影像的变化的方法及数据处理系统
CN118799827A (zh) 一种双极化sar图像海面舰船目标智能检测定位方法
CN118230111A (zh) 图像点云融合方法、装置、电子设备和存储介质
CN117928540A (zh) 机器人的定位方法、定位装置、机器人以及存储介质
KR101507998B1 (ko) 배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치
RU2752246C1 (ru) Программно-аппаратный комплекс, предназначенный для обработки аэрофотоснимков видимого и дальнего инфракрасного диапазонов с целью обнаружения, локализации и классификации строений вне населенных пунктов
Chen et al. Detection and Classification of Vehicles in Ultra-High Resolution Images Using Neural Networks
CN120953786A (zh) 一种基于图像的耕地保护检测方法、系统、设备及程序
CN119310561A (zh) 用于相机到雷达知识提炼的系统和方法
CN119741522A (zh) 目标检测方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19775373

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019244533

Country of ref document: AU

Date of ref document: 20190111

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2019775373

Country of ref document: EP

Effective date: 20200828

NENP Non-entry into the national phase

Ref country code: DE

WWG Wipo information: grant in national office

Ref document number: 2019775373

Country of ref document: EP