[go: up one dir, main page]

WO2018138782A1 - 情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法 - Google Patents

情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法 Download PDF

Info

Publication number
WO2018138782A1
WO2018138782A1 PCT/JP2017/002391 JP2017002391W WO2018138782A1 WO 2018138782 A1 WO2018138782 A1 WO 2018138782A1 JP 2017002391 W JP2017002391 W JP 2017002391W WO 2018138782 A1 WO2018138782 A1 WO 2018138782A1
Authority
WO
WIPO (PCT)
Prior art keywords
feature
feature point
context
feature points
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/002391
Other languages
English (en)
French (fr)
Inventor
成幸 小田嶋
創輔 山尾
山 姜
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to PCT/JP2017/002391 priority Critical patent/WO2018138782A1/ja
Priority to DE112017006904.1T priority patent/DE112017006904T5/de
Priority to JP2018563974A priority patent/JP6729723B2/ja
Publication of WO2018138782A1 publication Critical patent/WO2018138782A1/ja
Priority to US16/510,393 priority patent/US10997449B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • G06V20/653—Three-dimensional objects by matching three-dimensional models, e.g. conformal mapping of Riemann surfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/462—Salient features, e.g. scale invariant feature transforms [SIFT]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/35—Categorising the entire scene, e.g. birthday party or wedding scene
    • G06V20/38—Outdoor scenes
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion

Definitions

  • Embodiments described herein relate generally to an information processing apparatus, a feature point extraction program, and a feature point extraction method.
  • This landscape image includes a temporary reflection of a human body such as a person. Therefore, when all the feature points of the landscape image are used for self-position estimation, the self-position estimation may become unstable. For this reason, in the self-position estimation, a stable feature point (hereinafter referred to as a stable feature point) without variation is extracted from the feature points of the landscape image.
  • a stable feature point hereinafter referred to as a stable feature point
  • an area corresponding to an object whose position or shape in the real world is less likely to be maintained as it is for a predetermined period or longer is extracted from a landscape image, and extracted from the extracted area. There are some features that are excluded.
  • An object of one aspect is to provide an information processing apparatus, a feature point extraction program, and a feature point extraction method that can easily extract stable feature points.
  • the information processing apparatus includes an acquisition unit, a feature amount calculation unit, and a feature point extraction unit.
  • the acquisition unit acquires feature points from the captured image.
  • the feature quantity calculation unit calculates a plurality of context feature quantities having a single-attribute success / failure vector from the acquired feature points using a preset condition.
  • the feature point extraction unit extracts, from the acquired feature points, feature points whose product of the calculated plurality of context feature amounts is equal to or greater than a preset threshold value.
  • stable feature points can be easily extracted.
  • FIG. 1 is a block diagram illustrating a functional configuration example of the information processing apparatus according to the embodiment.
  • FIG. 2 is an explanatory diagram for explaining the context feature amount.
  • FIG. 3 is a flowchart illustrating an operation of creating a feature point map.
  • FIG. 4 is an explanatory diagram for explaining the positions of feature points in a photographed space.
  • FIG. 5 is an explanatory diagram for explaining the movement of feature points in a photographed space.
  • FIG. 6 is an explanatory diagram for explaining the existence probability of the color or shape of a feature point in a photographed space.
  • FIG. 7 is a flowchart illustrating an operation of extracting stable feature points.
  • FIG. 8 is an explanatory diagram for explaining the extraction of stable feature points.
  • FIG. 1 is a block diagram illustrating a functional configuration example of the information processing apparatus according to the embodiment.
  • FIG. 2 is an explanatory diagram for explaining the context feature amount.
  • FIG. 3 is a flowchart illustrating an operation of creating a feature point
  • FIG. 9 is an explanatory diagram for explaining extraction of stable feature points by co-occurrence of context features of a plurality of feature points.
  • FIG. 10 is an explanatory diagram illustrating learning of weighting for a context feature amount.
  • FIG. 11 is a flowchart illustrating an operation of learning weighting.
  • FIG. 12 is a flowchart illustrating an operation of estimating the self position.
  • FIG. 13 is a block diagram illustrating an example of a computer that executes a program.
  • FIG. 1 is a block diagram illustrating a functional configuration example of the information processing apparatus according to the embodiment.
  • the information processing apparatus 1 is more stable than MMS travel data 101a (MMS: mobile mapping system) including surrounding landscape images (hereinafter referred to as captured images) captured by the vehicle 2 traveling. It is a computer which performs the process which extracts.
  • MMS mobile mapping system
  • the information processing apparatus 1 may be a vehicle-mounted computer mounted on the vehicle 2, or may be a PC (Personal Computer) or cloud computing separate from the vehicle 2.
  • the information processing apparatus 1 includes a storage unit 101, a feature point map generation unit 102, a context feature calculation unit 103, a feature point map selection unit 105, a stable feature point extraction unit 106, and a context feature quantity weight learning unit 107.
  • the information processing apparatus 1 when the information processing apparatus 1 is an in-vehicle computer mounted on the vehicle 2, the information processing apparatus 1 includes a sensor input unit 201, a self-position estimation unit 202, and an estimation result output unit 203 in the vehicle 2. It may be.
  • the storage unit 101 is a storage device such as an HDD (Hard Disk Drive).
  • the storage unit 101 stores MMS travel data 101a collected by the vehicle 2 equipped with MMS sensor devices such as a GPS (Global Positioning System), a laser scanner, and a camera.
  • MMS travel data 101a is stored with information indicating a state for each state at the time of data collection such as a time zone (for example, daytime and evening) and weather (for example, fine weather, rainy weather).
  • the MMS travel data 101a includes the captured image captured by the camera when the vehicle 2 travels, the information on the travel position / orientation of the vehicle 2 by GPS or the like, and the position of the object (the object captured by the camera) included in the captured image.
  • the three-dimensional point cloud data is three-dimensional position information based on the traveling position / orientation of the vehicle 2 and the distance / orientation from the vehicle 2 to the object measured by a laser scanner or the like.
  • the feature point map generation unit 102 acquires a feature point corresponding to the object included in the captured image based on the object detection result of the captured image captured by the camera during traveling of the vehicle 2 included in the MMS travel data 101a. That is, the feature point map generation unit 102 is an example of an acquisition unit that acquires feature points from a captured image.
  • object detection from the captured image in the feature point map generation unit 102 for example, object recognition based on HoG (Histograms of Oriented Gradients) features and SVM (Support Vector Machine) can be used.
  • HoG HoG
  • SVM Small Vector Machine
  • a deep learning model such as the Faster R-CNN method may be used.
  • the feature point map generation unit 102 generates a feature point map 104, which is 3D position information of each acquired feature point, based on the 3D point cloud data included in the MMS travel data 101a. That is, the feature point map 104 is an example of map information including position information about each feature point.
  • the feature point map generation unit 102 generates the feature point map 104 for each state based on the MMS travel data 101a for each state such as a time zone (for example, daytime and evening) and the weather (for example, fine weather, rainy weather). .
  • the context feature calculation unit 103 calculates, for each feature point acquired by the feature point map generation unit 102, a plurality of context feature amounts having a single-attribute success / failure vector using a preset condition. Next, the context feature calculation unit 103 registers a plurality of context feature amounts calculated for each feature point in each feature point in the feature point map 104. As a result, the feature point map 104 includes a plurality of context feature amounts at each feature point along with position information about each feature point.
  • the context feature amount calculated by the context feature calculation unit 103 is a feature at each feature point indicating success or failure of an attribute using a preset condition with respect to the position of the feature point, the movement of the feature point, or the manifestation of the feature point. Amount.
  • the contest feature quantity has a success / failure vector of “1” when the condition is satisfied for a single attribute using one preset condition and “0” when the condition is not satisfied.
  • the single attribute includes the position of the feature point in the photographed space, the movement of the feature point in the photographed space, the existence probability of the color or shape of the feature point in the photographed space.
  • the context feature calculation unit 103 calculates a success / failure vector for each feature point acquired by the feature point map generation unit 102 for each preset condition, and calculates a plurality of context feature amounts.
  • the possible values of the context feature are described as binary values of 0/1.
  • the context feature may be a continuous value that takes a value between 0 and 1, such as a probability value.
  • the entire real value may be taken, such as a recognition score by a support vector machine.
  • the context feature calculation unit 103 determines, for each feature point, whether or not there is an attribute related to the position of the feature point using a condition whether or not the height at which the feature point exists is 1 m or more. Further, the context feature calculation unit 103 determines the presence / absence of an attribute related to the feature point motion using a condition as to whether or not the feature point motion (the motion vector of the feature point in the captured image) is equal to or less than a predetermined value. . In addition, the context feature calculation unit 103 uses the condition whether or not the saliency (color or shape existence probability) of the feature point is equal to or greater than a threshold value to determine whether or not there is an attribute related to the feature point color or shape existence probability. Determine. Based on these determination results, the context feature calculation unit 103 calculates a plurality of context feature amounts having success / failure vectors for each attribute.
  • FIG. 2 is an explanatory diagram for explaining the context feature amount.
  • the signs 111 to 113 are acquired as feature points from the photographed image 101b.
  • the signboards 112 of vertical characters are lined up with similar signboards around, the saliency of the feature points becomes low, and the score indicating the saliency becomes less than the threshold value.
  • the signboard 113 of the vertical character does not have the same signboard around, the saliency of the feature point becomes high, and the score indicating the saliency becomes equal to or greater than the threshold value.
  • the feature point (k 2 ) having a low height corresponding to the signboard 111 is difficult to be a stable feature point because it is easily blocked by a road passer. Since the feature point (k 1 ) corresponding to the signboard 112 has a height, it is difficult to be blocked by road passers. However, it is difficult to be a stable feature point because it is less obvious and is confused with other feature points. On the other hand, the feature point (k 3 ) corresponding to the signboard 113 that is high in height and high in obviousness is not shielded by road passers and the like and is not confused with other feature points. Can be a point.
  • a score of ⁇ (k i ) (characteristic point manifestation is equal to or greater than threshold and feature point exists height is 1 m or greater,...), And stable feature is obtained when the obtained score is equal to or greater than a predetermined value.
  • a stable feature point can be easily obtained without using a feature amount based on observation of an object for a long time.
  • ⁇ (k 1 ) and ⁇ (k 2 ) are (0,%), But ⁇ (k 3 ) is (1,. Therefore, the feature point (k 3 ) corresponding to the signboard 113 can be extracted as a stable feature point.
  • the feature point map selection unit 105 selects from the feature point map 104 the feature point map 104 corresponding to the current state (for example, time, weather, etc.) at which self-position estimation is performed. Specifically, the feature point map selection unit 105 collects information such as the time and weather at the current time point from an external network (for example, the Internet), and selects the feature point map 104 that matches the state at the current time point. The feature point map selection unit 105 outputs the selected feature point map 104 to the stable feature point extraction unit 106. Thereby, the information processing apparatus 1 can extract a stable feature point from the feature point map 104 that matches the current time point when the vehicle 2 performs self-position estimation.
  • the current state for example, time, weather, etc.
  • the feature point map selection unit 105 collects information such as the time and weather at the current time point from an external network (for example, the Internet), and selects the feature point map 104 that matches the state at the current time point.
  • the feature point map selection unit 105 outputs the selected feature point
  • the stable feature point extraction unit 106 calculates, for each feature point included in the feature point map 104, a product of a plurality of context feature amounts calculated by the context feature calculation unit 103. In addition, it is assumed that a combination of context feature amounts for calculating a product among a plurality of context feature amounts is set in advance. Next, the stable feature point extraction unit 106 extracts, as stable feature points, feature points whose product values of the calculated plurality of context feature amounts are equal to or greater than a preset threshold value.
  • the stable feature point extraction unit 106 performs, for each of a plurality of context feature amounts at each feature point, a context feature amount weight 108 for each of the plurality of context feature amounts learned by the context feature amount weight learning unit 107. Multiply Then, the stable feature point extraction unit 106 calculates a product of a plurality of context feature amounts reflecting the context feature amount weight 108, and extracts stable feature points having a product value equal to or greater than a preset threshold value.
  • FIG. 3 is a flowchart illustrating an operation of creating a feature point map.
  • the feature point map generation unit 102 receives input of the MMS travel data 101a (S1), and based on the object detection result from the captured image 101b included in the MMS travel data 101a, A feature point is acquired (S2).
  • the context feature calculation unit 103 sets the attribute value for each feature point acquired by the feature point map generation unit 102 for each preset condition with respect to the position of the feature point, the movement of the feature point, or the manifestation of the feature point.
  • a loop process for obtaining a success / failure vector is performed (S3 to S5).
  • the context feature calculation unit 103 causes the position of the feature point in the captured space, the movement of the feature point in the captured space, the color of the feature point in the captured space, or As for the existence probability of the shape, one condition is acquired from preset conditions. Next, the context feature calculation unit 103 determines whether or not the acquired one condition is satisfied for each feature point, and calculates a success / failure vector of a single attribute value (S4). The context feature calculation unit 103 performs the above process for all preset conditions, and ends the loop process (S5).
  • the context feature calculation unit 103 generates a feature point map 104 by including a plurality of context feature amounts calculated for each feature point in each feature point (S6).
  • FIG. 4 is an explanatory diagram for explaining the positions of feature points in a photographed space.
  • the context feature calculation unit 103 determines whether or not a feature point (“X” in the figure) included in the captured image 101b exists in an area 121 having a height of 3 m to 5 m from the road.
  • a success / failure vector ( ⁇ ) may be obtained.
  • the context feature calculation unit 103 determines whether the distance from the region 123 corresponding to the traffic signal detected from the object detection result is greater than or equal to the threshold for the feature point included in the captured image 101b.
  • the recognition loss may be eliminated by describing the relationship between the feature point and the object detected from the object detection result, such as “the feature point is included in the car area”. Ease can also be expressed indirectly. Also, instead of using the object detection result directly, by using an object recognition score (for example, a score value indicating the likelihood of an object), for example, “An object that has the same object recognition score for cars and buses is a playground equipment in a park. It is possible to make a determination such that “exceptionally used as a stable feature point”.
  • an object recognition score for example, a score value indicating the likelihood of an object
  • the roof is easy to accumulate snow and is stable. It is possible to determine whether it is inappropriate for use as a point.
  • FIG. 5 is an explanatory diagram for explaining the movement of feature points in a photographed space.
  • the context feature calculation unit 103 corresponds to a person 124 or the like based on a difference value between an optical flow around a feature point included in the captured image 101b and a median value of the entire captured image 101b. The movement of the feature point can be obtained.
  • the movement of the feature point may be obtained based on the difference amount between the shake amount around the feature point obtained by autocorrelation and the shake amount of the entire photographed image 101b.
  • the reason for using the amount of difference from the amount of blurring of the entire captured image 101b is that the camera mounted on the vehicle 2 is likely to be moving, and if the amount of movement of the feature points is simply used, it will actually stop. This is because a moving object may be observed.
  • a success / failure vector is calculated as to whether or not the feature points have a motion exceeding the threshold. With this success / failure vector, it can be determined that “the moving object is highly likely to disappear”.
  • FIG. 6 is an explanatory diagram for explaining the existence probability of the color or shape of the feature point in the photographed space (the example shown is the existence probability of the color).
  • the context feature calculation unit 103 obtains the existence probability of a vector quantized visual feature of a feature point included in the captured image 101 b (for example, a feature related to colors such as green, brown, and white).
  • This existence probability is information describing “whether the feature point is easy to identify in the captured space”, and indirectly indicates the ease of identification of the feature point.
  • the existence probability of brown feature points is smaller than the existence probability of green and white feature points. Therefore, it can be said that the brown feature point is a stable feature point that is easy to identify.
  • the context feature calculation unit 103 may obtain the existence probability of each feature point in a public database such as ImageNet. Further, the context feature calculation unit 103 may extract feature points from frames before and after the frame from which the feature points are extracted, and obtain the existence probabilities of the feature points using their existence probability distributions.
  • a success / failure vector is calculated as to whether or not the feature point has an existence probability equal to or less than a threshold. With this success / failure vector, it can be determined whether or not the feature point is easy to identify in the captured space.
  • FIG. 7 is a flowchart illustrating an operation of extracting stable feature points. As shown in FIG. 7, when the process is started, the stable feature point extraction unit 106 receives data input of the feature point map 104 selected by the feature point map selection unit 105 (S11).
  • the stable feature point extraction unit 106 extracts a success / failure vector of a single attribute value from each feature point of each input feature point map 104, that is, a plurality of context feature amounts calculated by the context feature calculation unit 103 ( S12).
  • the stable feature point extraction unit 106 determines whether or not each attribute value has succeeded based on a combination of context feature values that are set in advance, such as having a height that is equal to or higher than a threshold value and that has an obviousness that is equal to or higher than the threshold value. Multiply vectors. By this multiplication, the stable feature point extraction unit 106 calculates a multiplication amount (product value) of the success / failure vectors (S13).
  • the stable feature point extraction unit 106 calculates the score of the feature point that is the evaluation value as the stable feature point from the context feature amount weight 108 and the amount of multiplication of the context feature amount of the success / failure vector that has been multiplied. (S14). Specifically, the stable feature point extraction unit 106 calculates a score by adding the context feature amount weight 108 for the context feature amount of the success / failure vector that has been multiplied to the multiplied amount. Next, the stable feature point extraction unit 106 extracts a feature point having a score equal to or higher than a preset threshold value as a stable feature point (S15).
  • FIG. 8 is an explanatory diagram for explaining the extraction of stable feature points.
  • ⁇ the plurality of context feature quantities ⁇ , (whether the height is 1 to 3 m, whether the motion amount is equal to or greater than a threshold value, and whether the presence probability of a visual feature is equal to or less than the threshold value) Or).
  • ⁇ (k 1 ) (0, 0, 1 ) for the feature point of the upper right building.
  • the stable feature point extraction unit 106 compares the score (S (k 1 ), S (k 2 )) of each feature point with a preset threshold value (for example, 0.5), so that Extract building feature points as stable feature points.
  • a preset threshold value for example, 0.5
  • the stable feature point extraction unit 106 extracts a stable feature point by obtaining a product of a plurality of context feature amounts for each feature point as a method for extracting a stable feature point by combining a plurality of context feature amounts. Other methods may be used. For example, the stable feature point extraction unit 106 not only multiplies a plurality of context feature amounts at a single feature point (a co-occurrence amount of context features at a single feature point) but also a context feature of a plurality of feature points. A stable feature point may be extracted using a combination amount (a co-occurrence amount of context features of a plurality of feature points).
  • the stable feature point extraction unit 106 uses a co-occurrence amount of context features of a plurality of feature points, such as “whether a feature point having a specific attribute value within a certain range is selected as a stable feature point”, to obtain a score. You may extract the combination of the maximum stable feature point.
  • FIG. 9 is an explanatory diagram for explaining extraction of stable feature points by co-occurrence of context features of a plurality of feature points.
  • stable feature points are extracted under the conditions of (select feature points with a motion amount of 1 to 3 pixels and select feature points within a height of 1 to 3 m from the roadway).
  • the photographed image 101b in the upper part of FIG. 9 since there is a feature point (black “X”) having no motion in the vicinity of 1 to 3 m, the feature point is preferentially extracted.
  • the feature point of the tree (outlined “X”) is not extracted as a stable feature point because it is swayed by the wind or the like.
  • the context feature amount weight learning unit 107 assigns each of the context feature amounts so as to reduce an error when performing self-position estimation using the stable feature points extracted by the stable feature point extraction unit 106.
  • a context feature weight 108 to be multiplied is learned.
  • FIG. 10 is an explanatory diagram for explaining learning of weighting for a context feature amount.
  • the context feature value weight learning unit 107 uses the moving image 101c with the correct position in which the correct position is known in advance in the MMS travel data 101a traveled by MMS or the like, and minimizes the self-position estimation error.
  • the context feature weight 108 is updated as follows.
  • the context feature value weight learning unit 107 creates the feature point map 104 using the moving image 101c with the correct position (S20). Next, the context feature quantity weight learning unit 107 extracts a stable feature point (black “X”) using the feature point map 104 and the context feature quantity weight 108 (S21). Next, the context feature amount weight learning unit 107 performs self-position estimation from the stable feature point and the remaining moving image 101c with the correct position, and uses a reinforcement learning method such as Q learning from the difference between the self-position estimation and the correct position. The value of the context feature weight 108 is updated (S22).
  • a state (S), an action (A), a reward (r) are defined, and a value function (Q ⁇ (S, A)) of the action in each state is learned. For example, in the state S, if the value function Q ⁇ (S, A2) of a certain action A2 is higher than the value function Q ⁇ (S, A1) of a certain action A1, it is better to select the action A2. Means that.
  • the weight for the context feature quantity to be learned is ⁇
  • the following formula (1) is formulated, and the weight of the feature quantity that succeeds in self-position estimation is learned.
  • FIG. 11 is a flowchart illustrating an operation of learning weighting.
  • the context feature amount weight learning unit 107 receives data input of the moving image 101c with the correct position (S201), extracts a part from each moving image 101c with the correct position, and displays the feature point map 104. Generate (S202). Next, the context feature value weight learning unit 107 initializes the value of the context feature value weight 108 (S203).
  • the context feature value weight learning unit 107 performs loop processing (S204 to S217) for repeatedly obtaining the value of the context feature value weight 108 until the context feature value weight 108 converges to a constant value or is processed a certain number of times. .
  • the context feature amount weight learning unit 107 executes loop processing for each moving image (S205 to 216).
  • the context feature value weight learning unit 107 reads the feature point map 104 of the place corresponding to the moving image 101c with the correct position (S206). Next, the context feature quantity weight learning unit 107 sets the state (S) to the correct position at the start of the moving image (S207).
  • the context feature amount weight learning unit 107 executes loop processing (S208 to S215) for each frame in the moving image. Specifically, the context feature amount weight learning unit 107 extracts the feature point map 104 used for self-position estimation from the current state (S) (S209), and the context of each feature point in the extracted feature point map 104. The feature amount is calculated (S210).
  • the context feature amount weight learning unit 107 determines whether to use each feature point as a stable feature point according to the context feature amount weight 108 and the context feature amount (S211). ).
  • the context feature value weight learning unit 107 performs self-position estimation using the stable feature points extracted based on the determination result of S211 (S212), and based on the difference between the self-position estimation result and the correct answer position. A reward (r) is determined and the context feature weight 108 is updated (S213). Next, the context feature value weight learning unit 107 updates the current position to the self position estimated in the current frame (S214), and continues the loop processing for each frame in the moving image.
  • the context feature amount weight learning unit 107 outputs the obtained context feature amount weight 108 (S218), and ends the processing.
  • the sensor input unit 201 receives input from a sensor device such as a GPS (Global Positioning System), a laser scanner, or a camera mounted on the vehicle 2. Specifically, the sensor input unit 201 receives information on the traveling position / orientation of the vehicle 2 by GPS or the like from the sensor device together with a captured image captured by the camera when the vehicle 2 is traveling. The sensor input unit 201 outputs information received from the sensor device to the self-position estimation unit 202.
  • a sensor device such as a GPS (Global Positioning System), a laser scanner, or a camera mounted on the vehicle 2.
  • GPS Global Positioning System
  • the sensor input unit 201 receives information on the traveling position / orientation of the vehicle 2 by GPS or the like from the sensor device together with a captured image captured by the camera when the vehicle 2 is traveling.
  • the sensor input unit 201 outputs information received from the sensor device to the self-position estimation unit 202.
  • the self-position estimation unit 202 is based on the captured image of the camera mounted on the vehicle 2, the information on the traveling position / orientation of the vehicle 2, and the information on the stable feature points extracted by the stable feature point extraction unit 106.
  • the self position of the vehicle 2 is estimated.
  • the self-position estimation unit 202 outputs the estimated self-position of the vehicle 2 to the estimation result output unit 203.
  • FIG. 12 is a flowchart illustrating the operation of estimating the self position.
  • the self-position estimation unit 202 receives data input of a feature point map 104 including an image of a camera mounted on the vehicle 2 and a stable feature point (S30).
  • the self-position estimation unit 202 associates the feature points included in the image of the camera mounted on the vehicle 2 with the stable feature points extracted by the stable feature point extraction unit 106 in the feature point map 104 (S31). .
  • the self-position estimation unit 202 uses a known self-position estimation algorithm based on the position information (three-dimensional position information) of the associated stable feature point and the information on the traveling position / orientation of the vehicle 2. The position / direction of the vehicle 2 that minimizes the error is output (S32).
  • the self-position estimation unit 202 performs self-position estimation using the stable feature points extracted by the stable feature point extraction unit 106, the estimation result can be prevented from becoming unstable.
  • the estimation result output unit 203 outputs the self-position of the vehicle 2 estimated by the self-position estimation unit 202 to an external device.
  • the external device that is the output destination of the estimation result output unit 203 include a control device that controls autonomous movement based on the estimated self-location, and a display device that displays the estimated self-location.
  • the information processing apparatus 1 includes the feature point map generation unit 102, the context feature calculation unit 103, and the stable feature point extraction unit 106.
  • the feature point map generation unit 102 acquires feature points from the captured image.
  • the context feature calculation unit 103 calculates a plurality of context feature amounts having a single attribute success / failure vector from the acquired feature points using preset conditions.
  • the stable feature point extraction unit 106 extracts, from the acquired feature points, feature points whose product of the calculated plurality of context feature amounts is equal to or greater than a preset threshold value. Therefore, the information processing apparatus 1 can easily extract stable feature points without using feature quantities based on long-time observation of a target.
  • each component of each illustrated apparatus does not necessarily need to be physically configured as illustrated.
  • the specific form of distribution / integration of each device is not limited to that shown in the figure, and all or a part thereof may be functionally or physically distributed or arbitrarily distributed in arbitrary units according to various loads or usage conditions. Can be integrated and configured.
  • the various processing functions performed in the information processing apparatus 1 may be executed entirely or arbitrarily on a CPU (or a microcomputer such as an MPU or MCU (Micro Controller Unit)). In addition, various processing functions may be executed in whole or in any part on a program that is analyzed and executed by a CPU (or a microcomputer such as an MPU or MCU) or hardware based on wired logic. Needless to say, it is good. Various processing functions performed in the information processing apparatus 1 may be executed by a plurality of computers in cooperation with cloud computing.
  • FIG. 13 is a block diagram illustrating an example of a computer that executes a program.
  • the computer 3 includes a CPU 301 that executes various arithmetic processes, an input device 302 that receives data input, a monitor 303, and a speaker 304.
  • the computer 3 also includes a medium reading device 305 that reads a program and the like from a storage medium, an interface device 306 for connecting to various devices, and a communication device 307 for communication connection with an external device by wire or wireless.
  • the computer 3 also includes a RAM 308 that temporarily stores various information and a hard disk device 309. Each unit (301 to 309) in the computer 3 is connected to the bus 310.
  • the hard disk device 309 stores a program 311 for executing various processes in the functional configuration described in the above embodiment.
  • the hard disk device 309 stores various data 312 referred to by the program 311.
  • the input device 302 receives input of operation information from an operator.
  • the monitor 303 displays various screens operated by the operator, for example.
  • the interface device 306 is connected to a printing device, for example.
  • the communication device 307 is connected to a communication network such as a LAN (Local Area Network), and exchanges various types of information with an external device via the communication network.
  • LAN Local Area Network
  • the CPU 301 reads out the program 311 stored in the hard disk device 309, expands it in the RAM 308, and executes it to perform various processes.
  • the program 311 may not be stored in the hard disk device 309.
  • the program 311 stored in a storage medium readable by the computer 3 may be read and executed.
  • the storage medium readable by the computer 3 corresponds to, for example, a portable recording medium such as a CD-ROM, a DVD disk, a USB (Universal Serial Bus) memory, a semiconductor memory such as a flash memory, and a hard disk drive.
  • the program 311 may be stored in a device connected to a public line, the Internet, a LAN, or the like, and the computer 3 may read and execute the program 311 from these.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Remote Sensing (AREA)
  • Computer Graphics (AREA)
  • Image Analysis (AREA)
  • Traffic Control Systems (AREA)
  • Navigation (AREA)
  • Processing Or Creating Images (AREA)

Abstract

実施形態の情報処理装置は、取得部と、特徴量算出部と、特徴点抽出部とを有する。取得部は、撮影した画像から特徴点を取得する。特徴量算出部は、取得した特徴点から、予め設定された条件を用いて、単一属性の成否ベクトル有する複数のコンテクスト特徴量を算出する。特徴点抽出部は、取得した特徴点のうち、算出した複数のコンテクスト特徴量の積が予め設定された閾値以上の特徴点を抽出する。

Description

情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法
　本発明の実施形態は、情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法に関する。
　従来、自動運転やロボットの走行制御等の自律移動を実現する技術として、地図上で自分がどの位置にあるかを推定する自己位置推定技術がある。自己位置推定を行う地図情報においては、自律移動する装置に設置されたカメラ等のセンサ入力との対応付けを行うために、地図上の風景画像の特徴点を保持している。
　この風景画像には、例えば人などの一時的な動物体の映り込みがある。よって、風景画像の特徴点の全てを自己位置推定に用いた場合には自己位置推定の不安定化を招く場合がある。このため、自己位置推定では、風景画像の特徴点の中から変動のない安定的な特徴点（以下、安定特徴点）の抽出が行われている。
　安定特徴点を抽出する従来技術としては、風景画像から実世界上で位置もしくは形状が所定期間以上現状のまま維持される可能性の少ない事物に対応する領域を抽出し、抽出した領域から抽出された特徴点を除くものがある。
国際公開第２０１２／４６６７１号 特開２０１２－１８５０１１号公報 特開２０１１－２１５０５３号公報 特開２０１１－２１５９７４号公報 特開２０１５－１０８６０４号公報
　しかしながら、上記の従来技術では、安定特徴点を抽出するために長時間の対象の観測に基づく特徴量を使用するので、例えば、同じ位置の風景画像を長時間にわたり観測することとなり、安定特徴点の抽出を行うことが煩雑であるという問題がある。
　１つの側面では、安定特徴点を容易に抽出できる情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法を提供することを目的とする。
　第１の案では、情報処理装置は、取得部と、特徴量算出部と、特徴点抽出部とを有する。取得部は、撮影した画像から特徴点を取得する。特徴量算出部は、取得した特徴点から、予め設定された条件を用いて、単一属性の成否ベクトル有する複数のコンテクスト特徴量を算出する。特徴点抽出部は、取得した特徴点のうち、算出した複数のコンテクスト特徴量の積が予め設定された閾値以上の特徴点を抽出する。
　本発明の１実施態様によれば、安定特徴点を容易に抽出できる。
図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。 図２は、コンテクスト特徴量を説明する説明図である。 図３は、特徴点地図を作成する動作を例示するフローチャートである。 図４は、撮影した空間における特徴点の位置を説明する説明図である。 図５は、撮影した空間における特徴点の動きを説明する説明図である。 図６は、撮影した空間における特徴点の色彩または形状の存在確率を説明する説明図である。 図７は、安定特徴点を抽出する動作を例示するフローチャートである。 図８は、安定特徴点の抽出を説明する説明図である。 図９は、複数特徴点のコンテクスト特徴の共起による安定特徴点の抽出を説明する説明図である。 図１０は、コンテクスト特徴量に対する重み付けの学習を説明する説明図である。 図１１は、重み付けを学習する動作を例示するフローチャートである。 図１２は、自己位置を推定する動作を例示するフローチャートである。 図１３は、プログラムを実行するコンピュータの一例を示すブロック図である。
　以下、図面を参照して、実施形態にかかる情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法を説明する。実施形態において同一の機能を有する構成には同一の符号を付し、重複する説明は省略する。なお、以下の実施形態で説明する情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法は、一例を示すに過ぎず、実施形態を限定するものではない。また、以下の各実施形態は、矛盾しない範囲内で適宜組みあわせてもよい。
　図１は、実施形態にかかる情報処理装置の機能構成例を示すブロック図である。図１に示すように、情報処理装置１は、車両２が走行して撮影した周囲の風景画像（以下、撮影画像と呼ぶ）を含むＭＭＳ走行データ１０１ａ（ＭＭＳ：モービルマッピングシステム）より安定特徴点を抽出する処理を行うコンピュータである。なお、情報処理装置１は、車両２に搭載される車載型のコンピュータであってもよいし、車両２とは別体のＰＣ（Personal　Computer）やクラウドコンピューティングなどであってもよい。
　情報処理装置１は、記憶部１０１、特徴点地図生成部１０２、コンテクスト特徴算出部１０３、特徴点地図選択部１０５、安定特徴点抽出部１０６およびコンテクスト特徴量重み学習部１０７を有する。なお、例えば情報処理装置１が車両２に搭載される車載型のコンピュータである場合、情報処理装置１は、車両２におけるセンサ入力部２０１、自己位置推定部２０２および推定結果出力部２０３を有する構成であってもよい。
　記憶部１０１は、例えばＨＤＤ（Hard　Disk　Drive）などの記憶装置である。記憶部１０１は、ＧＰＳ（Global　Positioning　System）、レーザースキャナー、カメラなどのＭＭＳにおけるセンサ機器を搭載した車両２が集取したＭＭＳ走行データ１０１ａを記憶する。ＭＭＳ走行データ１０１ａは、例えば、時間帯（例えば昼間、夕方）や天候（例えば晴天、雨天）などのデータ収集時の状態ごとに、状態を示す情報を付与して記憶される。
　ＭＭＳ走行データ１０１ａは、車両２の走行時にカメラで撮影した撮影画像とともに、ＧＰＳ等による車両２の走行位置・方位の情報と、撮影画像に含まれる物体（カメラで撮影された物体）の位置を表す３次元点群データとを含む。この３次元点群データは、車両２の走行位置・方位と、レーザースキャナー等により計測された車両２から物体までの距離・方位とに基づく３次元位置情報である。
　特徴点地図生成部１０２は、ＭＭＳ走行データ１０１ａに含まれる車両２の走行時にカメラで撮影した撮影画像の物体検出結果により、撮影画像に含まれる物体に対応する特徴点を取得する。すなわち、特徴点地図生成部１０２は、撮影画像から特徴点を取得する取得部の一例である。
　特徴点地図生成部１０２における撮影画像からの物体検出には、例えばＨｏＧ（Histograms　of　Oriented　Gradients）特徴とＳＶＭ（Support　Vector　Machine）とによる物認識を用いることができる。また、物体検出には、例えばＦａｓｔｅｒ　Ｒ－ＣＮＮ法のような深層学習モデルを用いてもよい。
　ついで、特徴点地図生成部１０２は、ＭＭＳ走行データ１０１ａに含まれる３次元点群データをもとに、取得した各特徴点の３次元位置情報である特徴点地図１０４を生成する。すなわち、特徴点地図１０４は、各特徴点についての位置情報を含む地図情報の一例である。
　なお、特徴点地図生成部１０２は、時間帯（例えば昼間、夕方）や天候（例えば晴天、雨天）などの状態ごとのＭＭＳ走行データ１０１ａをもとに、状態ごとに特徴点地図１０４を生成する。
　コンテクスト特徴算出部１０３は、特徴点地図生成部１０２が取得した各特徴点について、予め設定された条件を用いて、単一属性の成否ベクトルを有する複数のコンテクスト特徴量を算出する。ついで、コンテクスト特徴算出部１０３は、各特徴点について算出した複数のコンテクスト特徴量を特徴点地図１０４における各特徴点に含めて登録する。これにより、特徴点地図１０４には、各特徴点についての位置情報とともに、各特徴点における複数のコンテクスト特徴量が含まれる。
　コンテクスト特徴算出部１０３が算出するコンテクスト特徴量は、特徴点の位置、特徴点の動きまたは特徴点の顕在性などに関し、予め設定された条件を用いた属性についての成否を示す各特徴点における特徴量である。
　例えば、コンテスト特徴量は、予め設定された１条件を用いた単一属性について、条件を満たす場合は「１」、条件を満たさない場合は「０」とする成否ベクトルを有するものである。なお、単一属性については、撮影した空間における特徴点の位置、撮影した空間における特徴点の動き、撮影した空間における特徴点の色彩または形状の存在確率などがある。コンテクスト特徴算出部１０３は、特徴点地図生成部１０２が取得した各特徴点について、予め設定された条件ごとに成否ベクトルを算出し、複数のコンテクスト特徴量を算出する。なお、本例では、コンテクスト特徴の取り得る値を０／１の２値として説明するが、コンテクスト特徴は例えば確率値などの０から１の間の値を取るような連続値であってもよいし、例えばサポートベクタマシンによる認識スコアのように実数値全体を取るように構成してもよい。
　一例として、コンテクスト特徴算出部１０３は、各特徴点について、特徴点が存在する高さが１ｍ以上であるか否かの条件を用いて、特徴点の位置にかかる属性の有無を判定する。また、コンテクスト特徴算出部１０３は、特徴点の動き（撮影画像における特徴点の動きベクトル）が一定値以下であるか否かの条件を用いて、特徴点の動きにかかる属性の有無を判定する。また、コンテクスト特徴算出部１０３は、特徴点の顕在性（色彩または形状の存在確率）が閾値以上であるか否かの条件を用いて、特徴点の色彩または形状の存在確率にかかる属性の有無を判定する。これらの判定結果をもとに、コンテクスト特徴算出部１０３は、属性ごとの成否ベクトルを有する複数のコンテクスト特徴量を算出する。
　図２は、コンテクスト特徴量を説明する説明図である。なお、図２の例では、撮影画像１０１ｂより、看板１１１～１１３が特徴点として取得されているものとする。コンテクスト特徴算出部１０３は、撮影画像１０１ｂ内の各特徴点（ｋ１、ｋ２…ｋｉ）について、複数のコンテクスト特徴量φ（ｋｉ）＝（特徴点の顕在性が閾値以上，特徴点の存在する高さが１ｍ以上，…）を求める。
　例えば、縦文字の看板１１２は、周りに同様の看板が並んでいることから、特徴点の顕在性が低くなり、顕在性を示すスコアが閾値未満となる。また、看板１１２の位置は、道路を歩行する人の上にあり、高さが１ｍ以上である。よって、φ（ｋ１）＝（０，１，…）となる。
　また、横文字の看板１１１は、周りに同様の看板が並んでいないことから、特徴点の顕在性が高くなり、顕在性を示すスコアが閾値以上となる。また、看板１１１の位置は、道路上にあり、高さが１ｍ未満である。よって、φ（ｋ２）＝（１，０，…）となる。
　縦文字の看板１１３は、周りに同様の看板が並んでいないことから、特徴点の顕在性が高くなり、顕在性を示すスコアが閾値以上となる。また、看板１１３の位置は、道路を歩行する人の上にあり、高さが１ｍ以上である。よって、φ（ｋ３）＝（１，１，…）となる。
　看板１１１に対応する高さの低い特徴点（ｋ２）は、道路の通行人などにより遮蔽されやすいため、安定特徴点となりづらい。看板１１２に対応する特徴点（ｋ１）は、高さがあることから、道路の通行人などにより遮蔽されにくい。しかしながら、顕在性の低く、他の特徴点と紛れてしまうため、安定特徴点となりにくい。これに対し、高さもあり、かつ顕在性も高い看板１１３に対応する特徴点（ｋ３）は、道路の通行人などで遮蔽されず、他の特徴点と紛れることもないことから、安定特徴点となりえる。
　このように、特徴点における単体の属性値、すなわち１つのコンテクスト特徴量では安定特徴点であるか否かを判別する記述力が弱い場合であっても、複数のコンテクスト特徴量を組み合わせた論理積を取ることで、安定特徴点を抽出することができる。
　このため、Φ（ｋｉ）＝（特徴点の顕在性が閾値以上　ａｎｄ　特徴点の存在する高さが１ｍ以上，…）のスコアを求め、求めたスコアが所定値以上である場合に安定特徴点とすることで、長時間の対象の観測に基づく特徴量を使用することなく、容易に安定特徴点を求めることができる。上記の例では、Φ（ｋ１）、Φ（ｋ２）は（０,…）であるが、Φ（ｋ３）は（１,…）でありスコアが高くなる。よって、看板１１３に対応する特徴点（ｋ３）を安定特徴点として抽出することができる。
　特徴点地図選択部１０５は、特徴点地図１０４の中から自己位置推定を行う現在時点の状態（例えば、時刻、天候など）に対応する特徴点地図１０４を選択する。具体的には、特徴点地図選択部１０５は、現在時点における時刻、天候などの情報を外部ネットワーク（例えばインターネット）より収集し、現在時点の状態にマッチする特徴点地図１０４を選択する。特徴点地図選択部１０５は、選択した特徴点地図１０４を安定特徴点抽出部１０６へ出力する。これにより、情報処理装置１は、車両２が自己位置推定を行う現在時点に合った特徴点地図１０４より、安定特徴点を抽出することができる。
　安定特徴点抽出部１０６は、特徴点地図１０４に含まれる各特徴点について、コンテクスト特徴算出部１０３が算出した複数のコンテクスト特徴量の積を算出する。なお、複数のコンテクスト特徴量の中で、積を算出するコンテクスト特徴量の組み合わせについては予め設定されているものとする。ついで、安定特徴点抽出部１０６は、算出した複数のコンテクスト特徴量の積の値が予め設定された閾値以上の特徴点を安定特徴点として抽出する。
　具体的には、安定特徴点抽出部１０６は、各特徴点における複数のコンテクスト特徴量の各々に対し、コンテクスト特徴量重み学習部１０７により学習された複数のコンテクスト特徴量ごとのコンテクスト特徴量重み１０８を掛け合わせる。そして、安定特徴点抽出部１０６は、コンテクスト特徴量重み１０８を反映した複数のコンテクスト特徴量の積を算出し、積の値が予め設定された閾値以上の安定特徴点を抽出する。
　ここで、特徴点地図１０４を生成し、生成した特徴点地図１０４から安定特徴点を抽出するまでの処理の流れを具体的に説明する。図３は、特徴点地図を作成する動作を例示するフローチャートである。
　図３に示すように、処理が開始されると、特徴点地図生成部１０２は、ＭＭＳ走行データ１０１ａの入力を受け付け（Ｓ１）、ＭＭＳ走行データ１０１ａに含まれる撮影画像１０１ｂから物体検出結果により、特徴点を取得する（Ｓ２）。
　ついで、コンテクスト特徴算出部１０３は、特徴点の位置、特徴点の動きまたは特徴点の顕在性などに関して予め設定された条件ごとに、特徴点地図生成部１０２が取得した特徴点ごとの属性値の成否ベクトルを求めるループ処理を行う（Ｓ３～Ｓ５）。
　具体的には、ループ処理が開始されると（Ｓ３）、コンテクスト特徴算出部１０３は、撮影した空間における特徴点の位置、撮影した空間における特徴点の動き、撮影した空間における特徴点の色彩または形状の存在確率などについて、予め設定された条件の中から１条件を取得する。ついで、コンテクスト特徴算出部１０３は、特徴点ごとに、取得した１条件を満たすか否かを判定し、単一属性値の成否ベクトルを算出する（Ｓ４）。コンテクスト特徴算出部１０３は、予め設定された全ての条件について上記の処理を行い、ループ処理を終了する（Ｓ５）。
　ついで、コンテクスト特徴算出部１０３は、各特徴点について算出した複数のコンテクスト特徴量を各特徴点に含めて特徴点地図１０４を生成する（Ｓ６）。
　図４は、撮影した空間における特徴点の位置を説明する説明図である。図４左側に示すように、コンテクスト特徴算出部１０３は、撮影画像１０１ｂに含まれる特徴点（図中の「Ｘ」）について、道路から高さ３ｍ～５ｍの領域１２１に存在するか否かをもとに、成否ベクトル（φ）を求めてもよい。例えば、領域１２１に存在する特徴点については成否ベクトルφ＝１とし、領域１２１に存在しない特徴点については成否ベクトルφ＝０とする。この成否ベクトルにより、「高いところにある物体（特徴点）は遮蔽されにくい」ものと判定できる。
　また、図４右側に示すように、コンテクスト特徴算出部１０３は、撮影画像１０１ｂに含まれる特徴点について、物体検出結果により検出された信号機に対応する領域１２３からの距離が閾値以上であるか否かをもとに、成否ベクトルを求めてもよい。例えば、領域１２３からの距離が閾値未満である特徴点については成否ベクトルφ＝０とし、閾値以上である特徴点については成否ベクトルφ＝１とする。この成否ベクトルにより、「信号機の近くには人が集まりやすく物体（特徴点）が遮蔽されにくい」ものと判定できる。
　なお、成否ベクトルを記述する際、「特徴点が車領域の中に含まれている」など、物体検出結果により検出された物体と、特徴点との関係を記述することで、認識消失のしやすさも間接的に表すことも可能である。また、物体検出結果を直接使うのではなく、物体認識スコア（例えば、物体らしさを示すスコア値）を用いることで、例えば「車とバスの物体認識スコアが同程度出る物体は公園の遊具であり、例外的に安定特徴点として用いられる」といった判別を行うことが可能となる。さらに、「家の上部２０％の領域に含まれる」等、物体検出結果と同時に特徴点が含まれる領域を同時に記述する属性値についての成否ベクトルを用いることで、例えば屋根は雪が積りやすく安定特徴点として用いるには不適などの判別を行うことが可能となる。
　図５は、撮影した空間における特徴点の動きを説明する説明図である。図５に示すように、コンテクスト特徴算出部１０３は、撮影画像１０１ｂに含まれる、特徴点周囲のオプティカルフローと、撮影画像１０１ｂ全体の中央値の差分値をもとに、人物１２４などに対応する特徴点の動きを求めることができる。
　また、自己相関により求めた特徴点周囲のぶれ量と、撮影画像１０１ｂ全体のぶれ量との差分量をもとに、特徴点の動きを求めてもよい。なお、撮影画像１０１ｂ全体のぶれ量との差分量を用いる理由としては、車両２に搭載されたカメラは動いている可能性が高く、単純に特徴点の動き量を用いると実際には静止している物体も動きが観測される可能性があるためである。
　求めた特徴点の動きをもとに、閾値以上の動きのある特徴点であるか否かの成否ベクトルを算出する。この成否ベクトルにより、「動いている物体は消失する可能性が高い」ものと判定できる。
　図６は、撮影した空間における特徴点の色彩または形状の存在確率（図示例は色彩の存在確率）を説明する説明図である。図６に示すように、コンテクスト特徴算出部１０３は、撮影画像１０１ｂに含まれる特徴点の視覚特徴（例えば緑色、茶色、白色などの色彩にかかる特徴）をベクトル量子化したものの存在確率を求める。この存在確率は、「特徴点が撮影した空間で同定しやすいものか」を記述する情報であり、特徴点の同定のしやすさを間接的に示すものである。例えば、茶色の特徴点の存在確率は、緑色、白色の特徴点の存在確率と比較して小さい。よって、茶色の特徴点は、同定しやすい安定特徴点であると言える。
　なお、「存在確率」を計算する際、コンテクスト特徴算出部１０３は、例えばＩｍａｇｅＮｅｔ等の公開データベースでの各特徴点の存在確率を求めてもよい。また、コンテクスト特徴算出部１０３は、特徴点を抽出したフレームの前後フレームから特徴点を抽出し、それらの存在確率分布を用いて各特徴点の存在確率を求めてもよい。
　求めた特徴点の存在確率をもとに、閾値以下の存在確率である特徴点であるか否かの成否ベクトルを算出する。この成否ベクトルにより、「特徴点が撮影した空間で同定しやすいものか」を判定できる。
　図７は、安定特徴点を抽出する動作を例示するフローチャートである。図７に示すように、処理が開始されると、安定特徴点抽出部１０６は、特徴点地図選択部１０５により選択された特徴点地図１０４のデータ入力を受け付ける（Ｓ１１）。
　ついで、安定特徴点抽出部１０６は、入力された各特徴点地図１０４の各々の特徴点から単一属性値の成否ベクトル、すなわちコンテクスト特徴算出部１０３が算出した複数のコンテクスト特徴量を抽出する（Ｓ１２）。
　ついで、安定特徴点抽出部１０６は、閾値以上の高さがあり、かつ閾値以上の顕在性もあるなどの、予め設定されているコンテクスト特徴量の組み合わせをもとに、それぞれの属性値の成否ベクトルを掛け合わせる。この掛け合わせにより、安定特徴点抽出部１０６は、成否ベクトルの掛け合わせ量（積の値）を算出する（Ｓ１３）。
　ついで、安定特徴点抽出部１０６は、掛け合わせを行った成否ベクトルのコンテクスト特徴量についてのコンテクスト特徴量重み１０８と掛け合わせ量から、安定特徴点としての評価値である特徴点のスコアを計算する（Ｓ１４）。具体的には、安定特徴点抽出部１０６は、掛け合わせを行った成否ベクトルのコンテクスト特徴量についてのコンテクスト特徴量重み１０８を掛け合わせ量に積算することでスコアを算出する。ついで、安定特徴点抽出部１０６は、予め設定された閾値以上のスコアを持つ特徴点を安定特徴点として抽出する（Ｓ１５）。
　図８は、安定特徴点の抽出を説明する説明図である。図８に示す例では、複数のコンテクスト特徴量φとして、（高さ１～３ｍであるか否か，動き量が閾値以上であるか否か，視覚特徴の存在確率が閾値以下であるか否か）を求める。例えば、右上の建物の特徴点については、φ（ｋ１）＝（０，０，１）である。また、左下の通行人の特徴点については、φ（ｋ２）＝（０，１，１）である。
　安定特徴点抽出部１０６は、複数のコンテクスト特徴量を組み合わせた論理積Φと、コンテクスト特徴量重み１０８（ｗＴ）とをかけ合わせて、各特徴点のスコアであるＳ（ｋ１）、Ｓ（ｋ２）を求める。例えばコンテクスト特徴量重み１０８（ｗＴ）をｗＴ＝（１．０，－０．５，１．０）とすると、右上の建物の特徴点についてのスコアは、Ｓ（ｋ１）＝１となる。また、左下の通行人の特徴点についてのスコアは、Ｓ（ｋ２）＝－０．５となる。
　ついで、安定特徴点抽出部１０６は、各特徴点のスコア（Ｓ（ｋ１）、Ｓ（ｋ２））と、予め設定された閾値（例えば０．５）とを比較することで、右上の建物の特徴点を安定特徴点として抽出する。このように、情報処理装置１は、複数のコンテクスト特徴量を組み合わせた論理積をもとに安定特徴点を抽出することで、長時間の対象の観測に基づく特徴量を使用することなく、容易に安定特徴点を求めることができる。
　なお、安定特徴点抽出部１０６は、複数のコンテクスト特徴量を組み合わせて安定特徴点を抽出する方法として、特徴点ごとに、複数のコンテクスト特徴量の積を求めて安定特徴点の抽出を行う方法以外の方法を用いてもよい。例えば、安定特徴点抽出部１０６は、単一の特徴点における複数のコンテクスト特徴量の掛け合わせ量（単一の特徴点におけるコンテクスト特徴の共起量）だけでなく、複数の特徴点のコンテクスト特徴量の組み合わせ量（複数の特徴点のコンテクスト特徴の共起量）を用いて安定特徴点を抽出してもよい。
　例えば、安定特徴点抽出部１０６は、「一定範囲に特定の属性値を持つ特徴点が安定特徴点として選択されているか」という複数の特徴点のコンテクスト特徴の共起量を用いて、スコアが最大となる安定特徴点の組み合わせを抽出してもよい。
　図９は、複数特徴点のコンテクスト特徴の共起による安定特徴点の抽出を説明する説明図である。なお、図９の例では、（動き量が１～３ピクセルの特徴点を選択　ａｎｄ　車道から高さ１～３ｍ以内の特徴点を選択）とする条件で安定特徴点を抽出するものとする。図９上段の撮影画像１０１ｂでは、１～３ｍ付近の動きのない特徴点（黒色の「Ｘ」）があることから、その特徴点が優先して抽出される。木の特徴点（白抜きの「Ｘ」）は、風などで揺れて動きのあることから、安定特徴点として抽出されない。
　図９下段の撮影画像１０１ｂでは、１～３ｍ付近の動きのない特徴点がないことから、次善として風などで揺れて動きのある木の特徴点（黒色の「Ｘ」）が抽出される。このように、複数の特徴点のコンテクスト特徴量の組み合わせ量を用いることで、安定特徴点選択の頑健性を増すことができる。
　図１に戻り、コンテクスト特徴量重み学習部１０７は、安定特徴点抽出部１０６により抽出された安定特徴点を用いて自己位置推定を行う場合の誤差を少なくするように、コンテクスト特徴量の各々に掛け合わせるコンテクスト特徴量重み１０８を学習する。
　図１０は、コンテクスト特徴量に対する重み付けの学習を説明する説明図である。図１０に示すように、コンテクスト特徴量重み学習部１０７は、ＭＭＳ等で走行したＭＭＳ走行データ１０１ａの中で正解位置が予めわかっている正解位置付き動画像１０１ｃを用い、自己位置推定誤差を最小とするようにコンテクスト特徴量重み１０８を更新する。
　具体的には、コンテクスト特徴量重み学習部１０７は、正解位置付き動画像１０１ｃを使って特徴点地図１０４を作成する（Ｓ２０）。ついで、コンテクスト特徴量重み学習部１０７は、特徴点地図１０４と、コンテクスト特徴量重み１０８とを使って安定特徴点（黒色の「Ｘ」）を抽出する（Ｓ２１）。ついで、コンテクスト特徴量重み学習部１０７は、安定特徴点と残りの正解位置付き動画像１０１ｃから自己位置推定を行い、自己位置推定と正解位置との差からＱ学習などの強化学習手法を用いてコンテクスト特徴量重み１０８の値を更新する（Ｓ２２）。
　Ｑ学習では、状態（Ｓ）、行動（Ａ）、報酬（ｒ）を定義し、それぞれの状態における行動の価値関数（ＱΘ（Ｓ，Ａ））を学習する。例えば、状態Ｓにおいて、ある行動Ａ１の価値関数ＱΘ（Ｓ，Ａ１）より、ある行動Ａ２の価値関数ＱΘ（Ｓ，Ａ２）の方が値が高ければ、行動Ａ２を選んだ方がよいことを意味する。
　学習対象であるコンテクスト特徴量に対する重みをΘとすると、次の式（１）のように定式化し、自己位置推定に成功する特徴量の重みを学習する。
Figure JPOXMLDOC01-appb-M000001
　なお、式（１）における状態（Ｓ）、行動（Ａ）、報酬（ｒ）は次のように定義する。
・状態（Ｓ）：あるフレームの推定自己位置結果と、読み出された特徴点地図（Ｋ）
・Ｋ＝｛ｋ１，…，ｋｉ｝：読み込まれた特徴点地図のそれぞれの特徴点
・行動（Ａ）＝｛ａ１，…，ａｎ｝：読み込まれた特徴点ｋｉを安定特徴点として自己位置推定に使う（ａｎ＝１）か否か（ａｎ＝０）
・報酬（ｒ）＝－Ｃ（正解位置と推定位置の誤差が一定以上または現在地をロスト）　ｏｒ　０（正解位置と推定位置の誤差が一定以上または現在地をロスト以外）
　図１１は、重み付けを学習する動作を例示するフローチャートである。図１１に示すように、コンテクスト特徴量重み学習部１０７は、正解位置付き動画像１０１ｃのデータ入力を受け付け（Ｓ２０１）、それぞれの正解位置付き動画像１０１ｃから一部を抜き出し、特徴点地図１０４を生成する（Ｓ２０２）。ついで、コンテクスト特徴量重み学習部１０７は、コンテクスト特徴量重み１０８の値を初期化する（Ｓ２０３）。
　ついで、コンテクスト特徴量重み学習部１０７は、コンテクスト特徴量重み１０８が一定値に収束するか、一定回数処理を行うまで繰り返してコンテクスト特徴量重み１０８の値を求めるループ処理（Ｓ２０４～Ｓ２１７）を行う。
　コンテクスト特徴量重み１０８の値を求めるループ処理が開始されると、コンテクスト特徴量重み学習部１０７は、それぞれの動画像に対するループ処理を実行する（Ｓ２０５～２１６）。
　それぞれの動画像に対するループ処理が開始されると、コンテクスト特徴量重み学習部１０７は、正解位置付き動画像１０１ｃに対応する場所の特徴点地図１０４を読み出す（Ｓ２０６）。ついで、コンテクスト特徴量重み学習部１０７は状態（Ｓ）を動画開始時点の正解位置にセットする（Ｓ２０７）。
　ついで、コンテクスト特徴量重み学習部１０７は、動画中の各フレームに対するループ処理（Ｓ２０８～Ｓ２１５）を実行する。具体的には、コンテクスト特徴量重み学習部１０７は、現在の状態（Ｓ）から自己位置推定に用いる特徴点地図１０４を抽出し（Ｓ２０９）、抽出した特徴点地図１０４中の特徴点それぞれのコンテクスト特徴量を計算する（Ｓ２１０）。
　ついで、コンテクスト特徴量重み学習部１０７は、安定特徴点抽出部１０６と同様、コンテクスト特徴量重み１０８とコンテクスト特徴量とに従い、それぞれの特徴点を安定特徴点として使うか否かを判定する（Ｓ２１１）。
　ついで、コンテクスト特徴量重み学習部１０７は、Ｓ２１１の判定結果をもとに抽出した安定特徴点を使って自己位置推定を行い（Ｓ２１２）、自己位置推定結果と正解位置との差分をもとに報酬（ｒ）を決めて、コンテクスト特徴量重み１０８を更新する（Ｓ２１３）。ついで、コンテクスト特徴量重み学習部１０７は、現在位置を現フレームで推定した自己位置に更新し（Ｓ２１４）、動画中の各フレームに対するループ処理を継続する。
　コンテクスト特徴量重み学習部１０７は、ループ処理（Ｓ２０４～Ｓ２１７）が終了したところで、求めたコンテクスト特徴量重み１０８を出力し（Ｓ２１８）、処理を終了する。
　図１に戻り、センサ入力部２０１は、車両２に搭載されたＧＰＳ（Global　Positioning　System）、レーザースキャナー、カメラなどのセンサ機器からの入力を受け付ける。具体的には、センサ入力部２０１は、車両２の走行時にカメラで撮影した撮影画像とともに、ＧＰＳ等による車両２の走行位置・方位の情報をセンサ機器より受け付ける。センサ入力部２０１は、センサ機器より受け付けた情報を自己位置推定部２０２に出力する。
　自己位置推定部２０２は、車両２に搭載されたカメラの撮像画像および車両２の走行位置・方位の情報と、安定特徴点抽出部１０６より抽出された安定特徴点の情報とをもとに、車両２の自己位置を推定する。自己位置推定部２０２は、推定した車両２の自己位置を推定結果出力部２０３へ出力する。
　図１２は、自己位置を推定する動作を例示するフローチャートである。図１２に示すように、処理が開始されると、自己位置推定部２０２は、車両２に搭載されたカメラの画像、安定特徴点を含む特徴点地図１０４のデータ入力を受け付ける（Ｓ３０）。
　ついで、自己位置推定部２０２は、車両２に搭載されたカメラの画像に含まれる特徴点と、特徴点地図１０４中の安定特徴点抽出部１０６より抽出された安定特徴点とを対応付ける（Ｓ３１）。ついで、自己位置推定部２０２は、対応付けられた安定特徴点の位置情報（３次元位置情報）と、車両２の走行位置・方位の情報とをもとに、公知の自己位置推定アルゴリズムを用いて、エラーが最小となるような車両２の位置・方向を出力する（Ｓ３２）。
　このように、自己位置推定部２０２は、安定特徴点抽出部１０６により抽出された安定特徴点を用いて自己位置推定を行うため、推定結果が不安定化することを抑止できる。
　推定結果出力部２０３は、自己位置推定部２０２が推定した車両２の自己位置を外部機器に出力する。推定結果出力部２０３の出力先となる外部機器は、例えば、推定した自己位置をもとに自律移動を制御する制御装置、推定した自己位置を表示する表示装置などがある。
　以上のように、情報処理装置１は、特徴点地図生成部１０２と、コンテクスト特徴算出部１０３と、安定特徴点抽出部１０６とを有する。特徴点地図生成部１０２は、撮影した画像から特徴点を取得する。コンテクスト特徴算出部１０３は、取得した特徴点から、予め設定された条件を用いて、単一属性の成否ベクトル有する複数のコンテクスト特徴量を算出する。安定特徴点抽出部１０６は、取得した特徴点のうち、算出した複数のコンテクスト特徴量の積が予め設定された閾値以上の特徴点を抽出する。したがって、情報処理装置１は、長時間の対象の観測に基づく特徴量を使用することなく、安定特徴点を容易に抽出できる。
　なお、図示した各装置の各構成要素は、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。
　また、情報処理装置１で行われる各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ（Micro　Controller　Unit）等のマイクロ・コンピュータ）上で、その全部または任意の一部を実行するようにしてもよい。また、各種処理機能は、ＣＰＵ（またはＭＰＵ、ＭＣＵ等のマイクロ・コンピュータ）で解析実行されるプログラム上、またはワイヤードロジックによるハードウエア上で、その全部または任意の一部を実行するようにしてもよいことは言うまでもない。また、情報処理装置１で行われる各種処理機能は、クラウドコンピューティングにより、複数のコンピュータが協働して実行してもよい。
　ところで、上記の実施形態で説明した各種の処理は、予め用意されたプログラムをコンピュータで実行することで実現できる。そこで、以下では、上記の実施形態と同様の機能を有するプログラムを実行するコンピュータ（ハードウエア）の一例を説明する。図１３は、プログラムを実行するコンピュータの一例を示すブロック図である。
　図１３に示すように、コンピュータ３は、各種演算処理を実行するＣＰＵ３０１と、データ入力を受け付ける入力装置３０２と、モニタ３０３と、スピーカ３０４とを有する。また、コンピュータ３は、記憶媒体からプログラム等を読み取る媒体読取装置３０５と、各種装置と接続するためのインタフェース装置３０６と、有線または無線により外部機器と通信接続するための通信装置３０７とを有する。また、コンピュータ３は、各種情報を一時記憶するＲＡＭ３０８と、ハードディスク装置３０９とを有する。また、コンピュータ３内の各部（３０１～３０９）は、バス３１０に接続される。
　ハードディスク装置３０９には、上記の実施形態で説明した機能構成における各種の処理を実行するためのプログラム３１１が記憶される。また、ハードディスク装置３０９には、プログラム３１１が参照する各種データ３１２が記憶される。入力装置３０２は、例えば、操作者から操作情報の入力を受け付ける。モニタ３０３は、例えば、操作者が操作する各種画面を表示する。インタフェース装置３０６は、例えば印刷装置等が接続される。通信装置３０７は、ＬＡＮ（Local　Area　Network）等の通信ネットワークと接続され、通信ネットワークを介した外部機器との間で各種情報をやりとりする。
　ＣＰＵ３０１は、ハードディスク装置３０９に記憶されたプログラム３１１を読み出して、ＲＡＭ３０８に展開して実行することで、各種の処理を行う。なお、プログラム３１１は、ハードディスク装置３０９に記憶されていなくてもよい。例えば、コンピュータ３が読み取り可能な記憶媒体に記憶されたプログラム３１１を読み出して実行するようにしてもよい。コンピュータ３が読み取り可能な記憶媒体は、例えば、ＣＤ－ＲＯＭやＤＶＤディスク、ＵＳＢ（Universal　Serial　Bus）メモリ等の可搬型記録媒体、フラッシュメモリ等の半導体メモリ、ハードディスクドライブ等が対応する。また、公衆回線、インターネット、ＬＡＮ等に接続された装置にこのプログラム３１１を記憶させておき、コンピュータ３がこれらからプログラム３１１を読み出して実行するようにしてもよい。
１…情報処理装置
２…車両
３…コンピュータ
１０１…記憶部
１０１ａ…ＭＭＳ走行データ
１０１ｂ…撮影画像
１０１ｃ…正解位置付き動画像
１０２…特徴点地図生成部
１０３…コンテクスト特徴算出部
１０４…特徴点地図
１０５…特徴点地図選択部
１０６…安定特徴点抽出部
１０７…コンテクスト特徴量重み学習部
１０８…コンテクスト特徴量重み
１１１～１１３…看板
１２１～１２３…領域
１２４…人物
２０１…センサ入力部
２０２…自己位置推定部
２０３…推定結果出力部
３０１…ＣＰＵ
３０２…入力装置
３０３…モニタ
３０４…スピーカ
３０５…媒体読取装置
３０６…インタフェース装置
３０７…通信装置
３０８…ＲＡＭ
３０９…ハードディスク装置
３１０…バス
３１１…プログラム
３１２…各種データ

Claims (7)

  1. 　撮影した画像から特徴点を取得する取得部と、
    　取得した前記特徴点から、予め設定された条件を用いて、単一属性の成否ベクトル有する複数のコンテクスト特徴量を算出する特徴量算出部と、
    　取得した前記特徴点のうち、算出した複数のコンテクスト特徴量の積が予め設定された閾値以上の特徴点を抽出する特徴点抽出部と、
    　を有することを特徴とする情報処理装置。
  2. 　前記取得部は、前記画像を撮影した位置を示す位置情報をさらに取得し、取得した前記特徴点についての位置情報を含む地図情報を生成し、
    　前記特徴量算出部は、前記特徴点から算出した複数のコンテクスト特徴量を前記地図情報に含める、
    　ことを特徴とする請求項１に記載の情報処理装置。
  3. 　車両に搭載されたカメラで撮影した画像の入力を受け付ける入力部と、
    　前記入力された画像に含まれる特徴点について、前記地図情報に含まれる前記複数のコンテクスト特徴量に基づいて抽出された特徴点を対応付け、当該対応付けられた特徴点の位置情報をもとに前記車両の位置を推定する位置推定部と、
    　推定した前記車両の位置を出力する出力部と、
    　を有することを特徴とする請求項２に記載の情報処理装置。
  4. 　抽出された前記特徴点をもとに、前記コンテクスト特徴量の各々に対する重み付けを学習する学習部をさらに有し、
    　前記特徴点抽出部は、学習した前記重み付けを前記コンテクスト特徴量の各々に反映し、重み付け反映後のコンテクスト特徴量の積が前記閾値以上の特徴点を抽出する、
    　ことを特徴とする請求項１乃至３のいずれか一項に記載の情報処理装置。
  5. 　前記単一属性は、撮影した空間における前記特徴点の位置、前記撮影した空間における前記特徴点の動き、前記撮影した空間における前記特徴点の色彩または形状の存在確率のいずれかである、
    　ことを特徴とする請求項１に記載の情報処理装置。
  6. 　撮影した画像から特徴点を取得し、
    　取得した前記特徴点から、予め設定された条件を用いて、単一属性の成否ベクトル有する複数のコンテクスト特徴量を算出し、
    　取得した前記特徴点のうち、算出した複数のコンテクスト特徴量の積が予め設定された閾値以上の特徴点を抽出する、
    　処理をコンピュータに実行させることを特徴とする特徴点抽出プログラム。
  7. 　撮影した画像から特徴点を取得し、
    　取得した前記特徴点から、予め設定された条件を用いて、単一属性の成否ベクトル有する複数のコンテクスト特徴量を算出し、
    　取得した前記特徴点のうち、算出した複数のコンテクスト特徴量の積が予め設定された閾値以上の特徴点を抽出する、
    　処理をコンピュータが実行することを特徴とする特徴点抽出方法。
PCT/JP2017/002391 2017-01-24 2017-01-24 情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法 Ceased WO2018138782A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2017/002391 WO2018138782A1 (ja) 2017-01-24 2017-01-24 情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法
DE112017006904.1T DE112017006904T5 (de) 2017-01-24 2017-01-24 Informationsverarbeitungsvorrichtung, Merkmalspunkteextraktionsprogramm undMerkmalspunkteextraktionsverfahren
JP2018563974A JP6729723B2 (ja) 2017-01-24 2017-01-24 情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法
US16/510,393 US10997449B2 (en) 2017-01-24 2019-07-12 Information processing system, computer-readable recording medium recording feature-point extraction program, and feature-point extraction method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/002391 WO2018138782A1 (ja) 2017-01-24 2017-01-24 情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/510,393 Continuation US10997449B2 (en) 2017-01-24 2019-07-12 Information processing system, computer-readable recording medium recording feature-point extraction program, and feature-point extraction method

Publications (1)

Publication Number Publication Date
WO2018138782A1 true WO2018138782A1 (ja) 2018-08-02

Family

ID=62978136

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/002391 Ceased WO2018138782A1 (ja) 2017-01-24 2017-01-24 情報処理装置、特徴点抽出プログラムおよび特徴点抽出方法

Country Status (4)

Country Link
US (1) US10997449B2 (ja)
JP (1) JP6729723B2 (ja)
DE (1) DE112017006904T5 (ja)
WO (1) WO2018138782A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020122784A (ja) * 2019-01-30 2020-08-13 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． 経路プランニングのための自律走行車両の位置を決定する方法及び装置
JP2022508103A (ja) * 2018-11-15 2022-01-19 マジック リープ， インコーポレイテッド 自己改良ビジュアルオドメトリを実施するためのシステムおよび方法

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11081104B1 (en) * 2017-06-27 2021-08-03 Amazon Technologies, Inc. Contextual natural language processing
CA3060144A1 (en) * 2018-10-26 2020-04-26 Royal Bank Of Canada System and method for max-margin adversarial training
WO2021134348A1 (zh) * 2019-12-30 2021-07-08 深圳元戎启行科技有限公司 交通灯状态识别方法、装置、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05181949A (ja) * 1991-12-26 1993-07-23 Toshiba Corp 画像位置合わせ装置
JP2005265494A (ja) * 2004-03-17 2005-09-29 Hitachi Ltd 車両位置推定装置およびこれを用いた運転支援装置
JP2016143324A (ja) * 2015-02-04 2016-08-08 株式会社デンソー 物体検出装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4037790B2 (ja) * 2003-05-02 2008-01-23 アルパイン株式会社 ナビゲーション装置
JP2006208223A (ja) * 2005-01-28 2006-08-10 Aisin Aw Co Ltd 車両位置認識装置及び車両位置認識方法
JP4724043B2 (ja) * 2006-05-17 2011-07-13 トヨタ自動車株式会社 対象物認識装置
JP5062497B2 (ja) 2010-03-31 2012-10-31 アイシン・エィ・ダブリュ株式会社 風景画像認識を用いた自車位置検出システム
JP5182594B2 (ja) 2010-03-31 2013-04-17 アイシン・エィ・ダブリュ株式会社 画像処理システム
JPWO2012046671A1 (ja) 2010-10-06 2014-02-24 日本電気株式会社 測位システム
JP5714940B2 (ja) 2011-03-04 2015-05-07 国立大学法人 熊本大学 移動体位置測定装置
JP6325806B2 (ja) 2013-12-06 2018-05-16 日立オートモティブシステムズ株式会社 車両位置推定システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05181949A (ja) * 1991-12-26 1993-07-23 Toshiba Corp 画像位置合わせ装置
JP2005265494A (ja) * 2004-03-17 2005-09-29 Hitachi Ltd 車両位置推定装置およびこれを用いた運転支援装置
JP2016143324A (ja) * 2015-02-04 2016-08-08 株式会社デンソー 物体検出装置

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022508103A (ja) * 2018-11-15 2022-01-19 マジック リープ， インコーポレイテッド 自己改良ビジュアルオドメトリを実施するためのシステムおよび方法
JP7357676B2 (ja) 2018-11-15 2023-10-06 マジック リープ， インコーポレイテッド 自己改良ビジュアルオドメトリを実施するためのシステムおよび方法
US11921291B2 (en) 2018-11-15 2024-03-05 Magic Leap, Inc. Systems and methods for performing self-improving visual odometry
JP2020122784A (ja) * 2019-01-30 2020-08-13 株式会社ストラドビジョンＳｔｒａｄｖｉｓｉｏｎ，Ｉｎｃ． 経路プランニングのための自律走行車両の位置を決定する方法及び装置
EP3690397B1 (en) * 2019-01-30 2024-06-19 StradVision, Inc. Method and device for localization of autonomous vehicle for route planning by using attention-driven landmark detection

Also Published As

Publication number Publication date
US10997449B2 (en) 2021-05-04
US20190340456A1 (en) 2019-11-07
JP6729723B2 (ja) 2020-07-22
JPWO2018138782A1 (ja) 2019-11-07
DE112017006904T5 (de) 2019-10-02

Similar Documents

Publication Publication Date Title
JP7052663B2 (ja) 物体検出装置、物体検出方法及び物体検出用コンピュータプログラム
US10970559B2 (en) People flow estimation device, people flow estimation method, and recording medium
CN108571974B (zh) 使用摄像机的车辆定位
EP3654235A1 (en) Method and apparatus for determining road line
US10997449B2 (en) Information processing system, computer-readable recording medium recording feature-point extraction program, and feature-point extraction method
JP2014106685A (ja) 車両周辺監視装置
US9911053B2 (en) Information processing apparatus, method for tracking object and program storage medium
US11508157B2 (en) Device and method of objective identification and driving assistance device
KR20190026116A (ko) 객체 인식 방법 및 장치
CN110717918B (zh) 行人检测方法和装置
EP3182331A1 (en) Method and system to detect objects using block based histogram of oriented gradients
US12175699B2 (en) Confidence determination of 3D point cloud data acquired by LIDAR sensor
JP2012173879A (ja) 信号機検出装置及びプログラム
CN108073943A (zh) 图像数据提取装置以及图像数据提取方法
US11810343B2 (en) Artificial intuition based visual data extraction for distributed systems
JP4972116B2 (ja) 車両の周辺監視装置
US10916018B2 (en) Camera motion estimation device, camera motion estimation method, and computer program product
CN115705647A (zh) 图像分割方法及装置
JP2019169060A (ja) 領域検出装置、領域検出方法及びそのプログラム
JP2007011490A (ja) 道路パラメータ検出装置および道路パラメータ検出方法
JP2007033931A (ja) 衛星画像等を用いた地図作成のための道路認識システム
CN112949465B (zh) 车辆连续变道识别方法、装置、设备及存储介质
CN113744304B (zh) 一种目标检测跟踪的方法和装置
JP7383954B2 (ja) 学習用データ収集装置
JP2006172225A (ja) 画像認識装置及び画像認識方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17894619

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2018563974

Country of ref document: JP

Kind code of ref document: A

122 Ep: pct application non-entry in european phase

Ref document number: 17894619

Country of ref document: EP

Kind code of ref document: A1