JP2019045332A - Step height estimation apparatus, method, and program - Google Patents
Step height estimation apparatus, method, and program Download PDFInfo
- Publication number
- JP2019045332A JP2019045332A JP2017169371A JP2017169371A JP2019045332A JP 2019045332 A JP2019045332 A JP 2019045332A JP 2017169371 A JP2017169371 A JP 2017169371A JP 2017169371 A JP2017169371 A JP 2017169371A JP 2019045332 A JP2019045332 A JP 2019045332A
- Authority
- JP
- Japan
- Prior art keywords
- end point
- input image
- height
- rising surface
- camera
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Length Measuring Devices By Optical Means (AREA)
- Image Analysis (AREA)
Abstract
【課題】精度よく、かつ、効率的に、画像から物体の段差の高さを推定することができる。【解決手段】立ち上がり面セグメンテーション部３０が、入力画像から、認識モデルに基づいて、入力画像の立ち上がり面を表す領域を抽出する。実寸法推定部３２が、立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、段差端点の位置と、カメラパラメータとに基づいて、立ち上がり面を表す領域内の、段差端点を通り、かつ、物体の表面に対応する平面と垂直な直線を、入力画像に投影した直線の長さを求め、段差の高さを推定する。【選択図】図１PROBLEM TO BE SOLVED: To accurately and efficiently estimate the height of a step of an object from an image. SOLUTION: A rising surface segmentation unit 30 extracts a region representing a rising surface of an input image from an input image based on a recognition model. The actual dimension estimation unit 32 detects the step end point that is the starting point of the step based on the area representing the rising surface, and based on the position of the step end point and the camera parameters, the step end point in the area representing the rising surface. The length of the straight line projected on the input image is calculated from the straight line that passes through and is perpendicular to the plane corresponding to the surface of the object, and the height of the step is estimated. [Selection diagram] Fig. 1
Description
本発明は、段差高さ推定装置、方法、及びプログラムに係り、特に、画像から物体の段差の高さを推定するための段差高さ推定装置、方法、及びプログラムに関する。 The present invention relates to a step height estimation device, method, and program, and more particularly, to a step height estimation device, method, and program for estimating the height of a step of an object from an image.
マンホール鉄蓋などの路上に設置されるインフラ設備には、一般的にスリップ防止のための滑り止めが付いており、日々の点検ではそれらの滑り止めが摩耗していないかを確認することが求められる。こうした作業をより効率的に行うために、カメラ画像を使った自動認識の方法が取り組まれている。 Infrastructure equipment installed on the road, such as manhole covers, is generally equipped with anti-slip materials to prevent slipping, and daily inspections require that these anti-slip materials be worn. It is done. In order to perform such work more efficiently, an automatic recognition method using a camera image is being worked on.
非特許文献１では、画像特徴に基づいてマンホール鉄蓋表面の摩耗度合いを認識しているが、画像から直接摩耗量を推定しているために、様々な環境で様々な摩耗量の鉄蓋画像を学習する必要があり、また学習に用いたものと同様の模様を持つマンホール鉄蓋にしか適用できないという問題がある。 In Non-Patent Document 1, the degree of wear of the manhole iron cover surface is recognized based on the image characteristics. However, since the wear amount is estimated directly from the image, iron cover images with various wear amounts in various environments. There is a problem that it can only be applied to a manhole cover with a pattern similar to that used for learning.
一方で非特許文献２で示されるように、３次元幾何を用いて様々な物体を対象としてカメラ画像から段差量を推定できる手法はすでに活用されているが、対象の段差個所を人手によって指定する必要があり作業に時間がかかる。また、幾何計算においてカメラパラメータ等を考慮していないため計測精度にも問題がある。 On the other hand, as shown in Non-Patent Document 2, a technique that can estimate a step amount from a camera image for various objects using three-dimensional geometry has already been used, but the target step portion is manually specified. It takes time to work. In addition, there is a problem in measurement accuracy because camera parameters and the like are not considered in the geometric calculation.
本発明は、上記問題点を解決するために成されたものであり、精度よく、かつ、効率的に、画像から物体の段差の高さを推定することができる段差高さ推定装置、方法、及びプログラムを提供することを目的とする。 The present invention has been made to solve the above-described problems, and a step height estimation device, method, and method that can accurately and efficiently estimate the step height of an object from an image, And to provide a program.
上記目的を達成するために、第１の発明に係る段差高さ推定装置は、入力画像から、予め学習された、前記入力画像に写る物体の表面に対応する平面と略垂直を成す面であり、かつ、前記面の幅が段差の高さを示す立ち上がり面を表す領域を認識するための認識モデルに基づいて、前記入力画像の前記立ち上がり面を表す領域を抽出する立ち上がり面セグメンテーション部と、前記立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、前記段差端点の位置と、前記入力画像を撮影したカメラのカメラパラメータとに基づいて、前記段差端点を通り、かつ、前記物体の表面に対応する平面と垂直な直線を、前記入力画像に投影した直線の、前記立ち上がり面を表す領域内の長さを求め、前記長さ及び前記カメラパラメータを用いて前記段差の高さを推定する実寸法推定部と、を含んで構成されている。 In order to achieve the above object, a step height estimation device according to a first aspect of the present invention is a surface that is learned from an input image in advance and is substantially perpendicular to a plane corresponding to the surface of an object shown in the input image. And, based on a recognition model for recognizing a region representing a rising surface in which the width of the surface indicates the height of the step, a rising surface segmentation unit that extracts the region representing the rising surface of the input image; and Based on the area representing the rising surface, a step end point that is the starting point of the step is detected, and based on the position of the step end point and the camera parameter of the camera that captured the input image, the step end point, and The straight line perpendicular to the plane corresponding to the surface of the object is obtained by calculating the length of the straight line projected on the input image in the region representing the rising surface, and the length and the camera parameter. Used is configured to include a, and actual dimension estimator for estimating the height of the step.
また、第１の発明に係る段差高さ推定装置において、前記カメラパラメータを、前記起点までの焦点距離、カメラの向きと前記平面とのなす角、及び起点となる段差端点からの視点高さとし、前記実寸法推定部は、カメラ座標空間における前記段差端点の位置及び前記焦点距離を用いて表される、前記入力画像上の前記段差端点に対応する座標と、前記焦点距離と、前記なす角と、前記視点高さと、前記平面と垂直な直線を前記入力画像に投影した直線の、前記立ち上がり面を表す領域内となる部分である線分の、前記段差端点とは反対側の端点の座標とに基づいて、前記段差の高さを推定するようにしてもよい。 Further, in the step height estimation device according to the first invention, the camera parameter is a focal length to the starting point, an angle formed by the camera direction and the plane, and a viewpoint height from the step end point serving as the starting point, The actual size estimation unit is expressed using the position of the step end point in the camera coordinate space and the focal length, the coordinates corresponding to the step end point on the input image, the focal length, and the angle formed. , And the coordinates of an end point opposite to the step end point of a line segment that is a portion of the straight line obtained by projecting a straight line perpendicular to the plane onto the input image that is within a region representing the rising surface, Based on the above, the height of the step may be estimated.
また、第１の発明に係る段差高さ推定装置において、前記認識モデルに、前記立ち上がり面を表す領域を抽出するように学習された畳み込みニューラルネットワークを用いるようにしてもよい。 In the step height estimation device according to the first aspect of the present invention, a convolutional neural network learned to extract a region representing the rising surface may be used as the recognition model.
第２の発明に係る段差高さ推定方法は、立ち上がり面セグメンテーション部が、入力画像から、予め学習された、前記入力画像に写る物体の表面に対応する平面と略垂直を成す面であり、かつ、前記面の幅が段差の高さを示す立ち上がり面を表す領域を認識するための認識モデルに基づいて、前記入力画像の前記立ち上がり面を表す領域を抽出するステップと、実寸法推定部が、前記立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、前記段差端点の位置と、前記入力画像を撮影したカメラのカメラパラメータとに基づいて、前記段差端点を通り、かつ、前記物体の表面に対応する平面と垂直な直線を、前記入力画像に投影した直線の、前記立ち上がり面を表す領域内の長さを求め、前記長さ及び前記カメラパラメータを用いて前記段差の高さを推定するステップと、を含んで実行することを特徴とする。 In the step height estimation method according to the second invention, the rising surface segmentation unit is a surface that is learned from the input image in advance and is substantially perpendicular to a plane corresponding to the surface of the object shown in the input image, and Extracting a region representing the rising surface of the input image based on a recognition model for recognizing a region representing the rising surface where the width of the surface indicates the height of the step; and an actual dimension estimating unit, Based on the region representing the rising surface, a step end point that is a starting point of the step is detected, based on the position of the step end point and the camera parameter of the camera that captured the input image, and through the step end point, and Then, a straight line perpendicular to the plane corresponding to the surface of the object is obtained in a region representing the rising surface of the straight line projected on the input image, and the length and the camera parameters are obtained. And executes comprise the steps of estimating the height of the step used.
また、第２の発明に係る段差高さ推定方法において、前記カメラパラメータを、前記起点までの焦点距離、カメラの向きと前記平面とのなす角、及び起点となる段差端点からの視点高さとし、前記実寸法推定部が推定するステップは、カメラ座標空間における前記段差端点の位置及び前記焦点距離を用いて表される、前記入力画像上の前記段差端点に対応する座標と、前記焦点距離と、前記なす角と、前記視点高さと、前記平面と垂直な直線を前記入力画像に投影した直線の、前記立ち上がり面を表す領域内となる部分である線分の、前記段差端点とは反対側の端点の座標とに基づいて、前記段差の高さを推定するようにしてもよい。 Further, in the step height estimation method according to the second invention, the camera parameters are the focal length to the starting point, the angle between the camera direction and the plane, and the viewpoint height from the step end point that is the starting point, The step of estimating by the actual size estimating unit is expressed using the position of the step end point in the camera coordinate space and the focal length, the coordinates corresponding to the step end point on the input image, the focal length, A line segment that is a part of a straight line obtained by projecting a straight line perpendicular to the plane, the angle formed by the viewpoint, and the plane to the input image, on the side opposite to the step end point. The height of the step may be estimated based on the coordinates of the end points.
また、第２の発明に係る段差高さ推定方法において、前記認識モデルに、前記立ち上がり面を表す領域を抽出するように学習された畳み込みニューラルネットワークを用いるようにしてもよい。 In the step height estimation method according to the second invention, a convolutional neural network learned to extract a region representing the rising surface may be used as the recognition model.
第３の発明に係るプログラムは、コンピュータを、第１の発明に係る段差高さ推定装置の各部として機能させるためのプログラムである。 A program according to a third invention is a program for causing a computer to function as each part of the step height estimation device according to the first invention.
本発明の段差高さ推定装置、方法、及びプログラムによれば、入力画像から、認識モデルに基づいて、入力画像の立ち上がり面を表す領域を抽出し、立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、段差端点の位置と、カメラパラメータとに基づいて、立ち上がり面を表す領域内の、段差端点を通り、かつ、物体の表面に対応する平面と垂直な直線を、入力画像に投影した直線の長さを求め、段差の高さを推定することにより、精度よく、かつ、効率的に、画像から物体の段差の高さを推定することができる、という効果が得られる。 According to the step height estimation apparatus, method, and program of the present invention, an area representing the rising surface of the input image is extracted from the input image based on the recognition model, and the step height is determined based on the area representing the rising surface. Based on the position of the step end point and the camera parameters, a straight line passing through the step end point and perpendicular to the plane corresponding to the surface of the object is detected based on the position of the step end point and the camera parameter. By obtaining the length of the straight line projected on the input image and estimating the height of the step, it is possible to estimate the height of the step of the object from the image accurately and efficiently. It is done.
以下、図面を参照して本発明の実施の形態を詳細に説明する。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings.
＜本発明の実施の形態に係る概要＞ <Outline according to Embodiment of the Present Invention>
まず、本発明の実施の形態における概要を説明する。 First, an outline of the embodiment of the present invention will be described.
本発明の実施の形態では、画像に含まれる立ち上がり面の領域を周辺の画像特徴を用いて抽出する立ち上がり面セグメンテーションを用いる。立ち上がり面とは、画像に写る物体の表面に対応する平面と略垂直を成す面であり、かつ、その面の幅が段差の高さを示す平面を意味する。立ち上がり面の認識は段差の量や凹凸形状の模様などに依存しない３次元形状の認識であるため、認識対象が学習サンプルと異なる形状であっても同様の平面であれば適用が可能である。立ち上がり面領域を抽出するための認識モデルには、深層学習を用い、画像中の立ち上がり面を塗りつぶした画像を訓練画像として一定数用意して予め学習して構築した立ち上がり面認識器を用いる。そして、抽出された立ち上がり面と撮影カメラのカメラパラメータを用いて、透視投影変換を想定した幾何計算を行う。これにより、実空間上での段差の高さを算出することができる。 In the embodiment of the present invention, the rising surface segmentation is used to extract the rising surface region included in the image using the peripheral image features. The rising surface is a surface that is substantially perpendicular to the plane corresponding to the surface of the object shown in the image, and the width of the surface indicates the height of the step. Since the recognition of the rising surface is the recognition of a three-dimensional shape that does not depend on the amount of the step or the uneven pattern, the recognition can be applied if the recognition target has a shape different from that of the learning sample as long as it is a similar plane. As the recognition model for extracting the rising surface region, a rising surface recognizer is used which is constructed by learning in advance by preparing a certain number of images obtained by painting the rising surface in the image as training images. Then, using the extracted rising surface and the camera parameters of the photographing camera, geometric calculation assuming a perspective projection transformation is performed. Thereby, the height of the step in the real space can be calculated.
＜本発明の実施の形態に係る段差高さ推定装置の構成＞ <Configuration of Step Height Estimation Device According to Embodiment of the Present Invention>
次に、本発明の実施の形態に係る段差高さ推定装置の構成について説明する。図１に示すように、本発明の実施の形態に係る段差高さ推定装置１００は、ＣＰＵと、ＲＡＭと、後述する段差高さ推定処理ルーチンを実行するためのプログラムや各種データを記憶したＲＯＭと、を含むコンピュータで構成することが出来る。この段差高さ推定装置１００は、機能的には図１に示すように入力部１０と、演算部２０と、出力部５０とを備えている。 Next, the configuration of the step height estimation apparatus according to the embodiment of the present invention will be described. As shown in FIG. 1, a step height estimation apparatus 100 according to an embodiment of the present invention includes a CPU, a RAM, and a ROM that stores a program and various data for executing a step height estimation processing routine to be described later. And a computer including Functionally, the step height estimation apparatus 100 includes an input unit 10, a calculation unit 20, and an output unit 50 as shown in FIG.
入力部１０は、入力画像を受け付ける。入力画像は、例えば、図２に示すようなマンホール鉄蓋の画像である。 The input unit 10 receives an input image. The input image is, for example, an image of a manhole iron cover as shown in FIG.
演算部２０は、認識モデル２２と、カメラパラメータ２４と、立ち上がり面セグメンテーション部３０と、実寸法推定部３２とを含んで構成されている。 The calculation unit 20 includes a recognition model 22, a camera parameter 24, a rising surface segmentation unit 30, and an actual size estimation unit 32.
認識モデル２２は、予め学習された立ち上がり面を表す領域を抽出するように学習された立ち上がり面認識器である。認識モデル２２として、事前に、画像中の立ち上がり面が人手によって指定されている訓練画像を用いて、画像から立ち上がり面マップを推定する立ち上がり面認識器を学習しておく。立ち上がり面認識器の学習には、例えば以下のように、通常の機械学習による手法を用いることができる。 The recognition model 22 is a rising surface recognizer learned so as to extract a region representing a rising surface learned in advance. As the recognition model 22, a rising surface recognizer that estimates a rising surface map from an image is learned in advance using a training image in which the rising surface in the image is manually specified. For learning of the rising surface recognizer, for example, a normal machine learning method can be used as follows.
認識モデル２２の立ち上がり面認識器として、図３のような階層構造で示される畳み込みニューラルネットワークを用いる。ネットワークの構造はこれに限られないが、画素毎の識別結果を一括で出力するネットワークを用いることで、効率よく学習と推定を行うことができる。図３で示されるニューラルネットワークは、畳み込み層と最大プーリング層とからなる。最大プーリング層において周辺画素の出力をまとめることによって画像サイズを小さくしていき、各解像度での畳み込み層の出力を元の画像サイズにリサイズして結合することで、局所的な特徴と大域的な特徴をあわせ持つ特徴量を抽出することができる。これらに、さらに畳み込み計算を行い、出力画像を得る。立ち上がり面認識器の学習処理では、予め用意された撮影画像と対応して立ち上がり面をラベル付けしたバイナリマップを用いて、上記畳み込みニューラルネットワークを学習する。出力結果の損失関数としてクロスエントロピーを用い、パラメータの更新には誤差逆伝播法を用いる。十分な回数のパラメータ更新を行い、得られたパラメータを立ち上がり面認識器として保持する。 As the rising surface recognizer of the recognition model 22, a convolutional neural network shown in a hierarchical structure as shown in FIG. 3 is used. The structure of the network is not limited to this, but learning and estimation can be performed efficiently by using a network that collectively outputs identification results for each pixel. The neural network shown in FIG. 3 includes a convolution layer and a maximum pooling layer. By combining the output of surrounding pixels in the maximum pooling layer, the image size is reduced, and the output of the convolution layer at each resolution is resized to the original image size and combined, so that local features and global It is possible to extract a feature amount having both features. These are further subjected to convolution calculation to obtain an output image. In the learning process of the rising surface recognizer, the convolutional neural network is learned using a binary map in which the rising surface is labeled in correspondence with a captured image prepared in advance. Cross entropy is used as a loss function of the output result, and error back propagation is used to update parameters. The parameter is updated a sufficient number of times, and the obtained parameter is held as a rising surface recognizer.
カメラパラメータ２４は、入力画像を撮影したカメラのパラメータである。カメラパラメータとしては、焦点距離ｆ、カメラの向きと平面とのなす角θ、及び起点となる段差端点からの視点高さＨを用いる。 The camera parameter 24 is a parameter of the camera that captured the input image. As the camera parameters, the focal length f, the angle θ formed by the camera direction and the plane, and the viewpoint height H from the step end point as the starting point are used.
立ち上がり面セグメンテーション部３０は、入力部１０で受け付けた入力画像から、認識モデル２２に基づいて、入力画像の立ち上がり面を表す領域を抽出する。例えば、図４に示すように、入力画像に対して、立ち上がり面が存在する領域のみを１（白領域）とし、残りの画素を０（黒領域）とする立ち上がり面マップを出力する。 The rising surface segmentation unit 30 extracts a region representing the rising surface of the input image from the input image received by the input unit 10 based on the recognition model 22. For example, as shown in FIG. 4, a rising surface map is output for an input image in which only the region where the rising surface exists is 1 (white region) and the remaining pixels are 0 (black region).
実寸法推定部３２は、立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、段差端点の各々について、段差端点の位置Ｐと、カメラパラメータ２４とに基づいて、段差端点を通り、かつ、物体の表面に対応する平面と垂直な直線を、入力画像に投影した直線Ｑｖの、立ち上がり面を表す領域内の長さを求める。そして、段差端点の各々について、求めた長さ及びカメラパラメータ２４を用いて段差の高さを推定する。具体的には、カメラ座標空間における段差端点の位置Ｐ及び焦点距離ｆを用いて表される、入力画像上の段差端点に対応する座標（Ｐｕ，Ｐｖ）と、焦点距離ｆと、なす角θと、視点高さＨと、平面と垂直な直線を入力画像に投影した直線の、立ち上がり面を表す領域内となる部分である線分の、段差端点Ｐｖとは反対側の端点の座標Ｑｖ’とに基づいて、段差の高さを推定する。 The actual size estimation unit 32 detects a step end point that is a starting point of the step based on the region representing the rising surface, and for each step end point, the step end point based on the position P of the step end point and the camera parameter 24 through, and the plane perpendicular to the straight lines corresponding to the object surface, the straight line Q v projected onto an input image, determining the length of the region representing the rising surface. Then, for each step end point, the height of the step is estimated using the obtained length and the camera parameter 24. Specifically, the coordinates (P u , P v ) corresponding to the step end point on the input image expressed by using the position P of the step end point and the focal length f in the camera coordinate space, and the focal length f are formed. An angle θ, a viewpoint height H, and a straight line obtained by projecting a straight line perpendicular to the plane onto the input image is a line segment that is a portion that is in a region representing the rising surface, and is an end point opposite to the step end point P v . The height of the step is estimated based on the coordinate Q v ′.
実寸法推定部３２の処理の詳細について説明する。実寸法推定部３２では、まず、立ち上がり面マップの立ち上がり面を表す領域から、高さ推定の起点となるような領域の最も上部（あるいは最も下部）となる画素を段差端点の各々として検出する。連続する立ち上がり面領域を抽出し、各領域の上部側（あるいは下部側）の境界線を求めることで段差の端点を示す画素が検出される。この処理は対象平面に垂直な方向が画像平面において上方向と一致することを想定しており、そうでない場合は画像を適宜回転するなどして垂直軸と画像平面軸を一致させてから上記の処理を行う。 Details of the processing of the actual size estimation unit 32 will be described. First, the actual dimension estimation unit 32 detects, from the region representing the rising surface of the rising surface map, the pixel that is the uppermost (or the lowest) of the region that is the starting point of the height estimation as each step end point. Pixels indicating the end points of the steps are detected by extracting continuous rising surface regions and obtaining boundary lines on the upper side (or lower side) of each region. This process assumes that the direction perpendicular to the target plane coincides with the upward direction on the image plane. If not, rotate the image appropriately to match the vertical axis with the image plane axis, and then Process.
得られた段差端点の位置を起点とし、カメラパラメータ２４を用いて、以下に説明する透視投影変換を行って段差量を求める。カメラパラメータ２４の焦点距離ｆ、なす角θ、及び視点高さＨと、立ち上がり面との関係を図５に示す。 Using the obtained position of the step end point as a starting point, the perspective projection conversion described below is performed using the camera parameter 24 to obtain the step amount. FIG. 5 shows the relationship between the focal length f, the angle θ formed, and the viewpoint height H of the camera parameter 24 and the rising surface.
計測対象となる段差端点のカメラ座標空間における座標をＰ：(Ｐｘ,Ｐｙ,Ｐｚ)として、対応する画像上での光学中心を原点とする段差端点の座標を(Ｐｕ,Ｐｖ)とすると、透視投影変換では以下（１）式のような対応関係が得られる。 The coordinates of the step end point to be measured in the camera coordinate space are P: (P x , P y , P z ), and the coordinates of the step end point with the origin at the optical center on the corresponding image are (P u , P v). ), In perspective projection conversion, a correspondence relationship as in the following equation (1) is obtained.
・・・（１）
... (1)
段差端点Ｐを通る平面に垂直な線を考え、その線上の点ＱをＰからの相対高さｈによって表すことを考えると、Ｑは以下（２）式のように表現される。 Considering a line perpendicular to the plane passing through the step end point P, and considering that the point Q on the line is represented by the relative height h from P, Q is expressed as the following equation (2).
・・・（２）
... (2)
この直線を入力画像上で表現することを考えると画像座標(Ｑｕ,Ｑｖ)を用いて以下の（３）式のように表現される。 Considering expressing this straight line on the input image, it is expressed as the following equation (3) using the image coordinates (Q u , Q v ).
・・・（３）
... (3)
Ｑｖが段差端点Ｐを通る垂直な線を画像に投影した直線と言える。段差量を推定するために、Ｑｖの直線上で立ち上がり面ラベルがどこまで付与されているかを検出する。Ｐを起点として直線上に立ち上がり面ラベルが付与されていることを確認していき、立ち上がり面ラベルが途切れた座標をＱｖ’とする。Ｑｖ’が与えられると、以下（４）式のようにして、Ｐｖ−Ｑｖ’により立ち上がり面を表す領域内の、段差端点Ｐｖを通り、かつ、物体の表面に対応する平面と垂直な直線を、入力画像に投影した直線Ｑｖの長さが求まり、段差端点に対応する段差高さｈ’を求めることができる。 Q v say a straight line is obtained by projecting the vertical line passing through the step end point P to the image. To estimate the step amount, it detects whether rising surface label is applied to where on the line the Q v. Starting from P, it is confirmed that the rising surface label is given on the straight line, and the coordinates at which the rising surface label is broken are defined as Q v ′. When Q v ′ is given, a plane that passes through the step end point P v and corresponds to the surface of the object in the region representing the rising surface by P v −Q v ′, as shown in the following equation (4): the vertical straight line, Motomari the length of the straight line Q v projected onto the input image, it is possible to determine the step height h 'corresponding to the stepped end point.
・・・（４）
... (4)
ここで、Ｐｚはカメラ位置の高さＨによって以下（５）式のように置き換えることができる。 Here, P z can be replaced by the height H of the camera position as shown in equation (5) below.
・・・（５）
... (5)
最終出力である段差高さｈ’は以下（６）式のように算出される。 The step height h ′, which is the final output, is calculated as in the following equation (6).
・・・（６）
... (6)
実寸法推定部３２では、全ての段差端点について、上記（６）式で段差高さｈ’を推定し、入力画像についての段差高さデータとして出力部５０に出力する。 The actual dimension estimation unit 32 estimates the step height h ′ for all step end points by the above equation (6), and outputs the step height data for the input image to the output unit 50.
＜本発明の実施の形態に係る段差高さ推定装置の作用＞ <Operation of the step height estimation apparatus according to the embodiment of the present invention>
次に、本発明の実施の形態に係る段差高さ推定装置１００の作用について説明する。入力部１０において入力画像を受け付けると、段差高さ推定装置１００は、図６に示す段差高さ推定処理ルーチンを実行する。 Next, the operation of the step height estimation apparatus 100 according to the embodiment of the present invention will be described. When the input unit 10 receives an input image, the step height estimation apparatus 100 executes a step height estimation processing routine shown in FIG.
まず、ステップＳ１００では、入力部１０で受け付けた入力画像から、認識モデル２２に基づいて、入力画像の立ち上がり面を表す領域を抽出し、立ち上がり面マップを出力する。 First, in step S100, a region representing a rising surface of the input image is extracted from the input image received by the input unit 10 based on the recognition model 22, and a rising surface map is output.
次に、ステップＳ１０２では、立ち上がり面マップの立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、段差端点の各々について、段差端点の位置Ｐと、カメラパラメータ２４とに基づいて、段差端点を通り、かつ、物体の表面に対応する平面と垂直な直線を、入力画像に投影した直線Ｑｖの、立ち上がり面を表す領域内の長さを求め、求めた長さ及びカメラパラメータ２４を用いて段差の高さを推定して出力部５０に出力する。 Next, in step S102, a step end point that is the starting point of the step is detected based on the region representing the rising surface of the rising surface map, and for each step end point, based on the position P of the step end point and the camera parameter 24. Te, through the stepped end point, and a plane perpendicular to the straight lines corresponding to the object surface, the straight line Q v projected onto the input image, obtains the length of the region representing the rising surface, determined length and camera The height of the step is estimated using the parameter 24 and output to the output unit 50.
ステップＳ１０２の透視投影変換処理の詳細について図７を参照して説明する。 Details of the perspective projection conversion processing in step S102 will be described with reference to FIG.
ステップＳ２００では、立ち上がり面マップの立ち上がり面を表す領域から、高さ推定の起点となるような領域の最も上部となる画素を段差端点の各々として検出する。 In step S200, the pixel at the top of the region that is the starting point for height estimation is detected as each of the step end points from the region representing the rising surface of the rising surface map.
ステップＳ２０２では、ステップＳ２００で検出した段差端点の各々について、カメラ座標空間における段差端点の位置Ｐ及びカメラパラメータ２４の焦点距離ｆを用いて表される、入力画像上の段差端点に対応する座標（Ｐｕ，Ｐｖ）と、焦点距離ｆと、カメラパラメータ２４のなす角θとに基づいて、上記（３）式における平面と垂直な直線を入力画像に投影した直線Ｑｖを算出する。 In step S202, for each step end point detected in step S200, the coordinates corresponding to the step end point on the input image expressed using the position P of the step end point in the camera coordinate space and the focal length f of the camera parameter 24 ( P u , P v ), the focal length f, and the angle θ formed by the camera parameter 24, a straight line Q v is calculated by projecting a straight line perpendicular to the plane in the above equation (3) onto the input image.
ステップＳ２０４では、ステップＳ２０２で算出されたＱｖの直線上で立ち上がり面ラベルがどこまで付与されているかを検出し、立ち上がり面を表す領域内となる部分である線分の、段差端点Ｐｖとは反対側の端点の座標Ｑｖ’を求める。 In step S204, it detects whether rising surface label is applied to where on the straight line Q v calculated in step S202, the line segment is a portion serving as a region representing a rising surface, the stepped end point P v The coordinate Q v ′ of the opposite end point is obtained.
ステップＳ２０６では、段差端点の各々について、入力画像上の段差端点Ｐｖと、焦点距離ｆと、なす角θと、カメラパラメータ２４の視点高さＨと、座標Ｑ’とに基づいて、上記（６）式に従って段差の高さを推定する。 In step S206, for each step end point, based on the step end point Pv on the input image, the focal length f, the angle θ formed, the viewpoint height H of the camera parameter 24, and the coordinate Q ′ ( 6) Estimate the height of the step according to the equation.
以上説明したように、本発明の実施の形態に係る段差高さ推定装置によれば、入力画像から、認識モデルに基づいて、入力画像の立ち上がり面を表す領域を抽出し、立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、段差端点の位置と、カメラパラメータとに基づいて、立ち上がり面を表す領域内の、段差端点を通り、かつ、物体の表面に対応する平面と垂直な直線を、入力画像に投影した直線の長さを求め、段差の高さを推定することにより、精度よく、かつ、効率的に、画像から物体の段差の高さを推定することができる。 As described above, according to the step height estimation device according to the embodiment of the present invention, the region representing the rising surface of the input image is extracted from the input image based on the recognition model, and the region representing the rising surface is extracted. A plane corresponding to the surface of the object passing through the step end point in the region representing the rising surface based on the position of the step end point and the camera parameter based on the position of the step end point and the camera parameter. By calculating the length of the straight line projected on the input image and estimating the height of the step, the height of the step of the object can be estimated accurately and efficiently from the image. it can.
また、本発明の実施の形態の手法によって、従来よりも精度よく多様な画像に対して段差高さの推定が可能となる。車載カメラ画像などの撮影条件が十分に整っていない画像に対しても段差量推定が可能となり、従来の手法と比べて更なる点検作業の効率化を見込めるようになる。 In addition, the method of the embodiment of the present invention makes it possible to estimate the step height for various images with higher accuracy than in the past. The step amount can be estimated even for an image such as an in-vehicle camera image that does not have sufficient shooting conditions, and further inspection efficiency can be expected compared to the conventional method.
また、様々な模様のマンホール鉄蓋など多様な認識対象に対して同一の認識器を適用することができ、認識対象毎の学習といった手間を省くことができる。 Moreover, the same recognizer can be applied to various recognition objects such as manhole iron covers of various patterns, and the labor of learning for each recognition object can be saved.
また、点検等に用いる場合には、あらかじめ段差量を知りたい領域を決めておく必要があるが、対象の領域においての最大高さや平均高さなどを本発明の実施の形態の手法によって取得し、点検に活用する方法が考えられる。 In addition, when using for inspection or the like, it is necessary to determine an area in which the step amount is to be known in advance, but the maximum height and average height in the target area are acquired by the method of the embodiment of the present invention. A method that can be used for inspection is considered.
なお、本発明は、上述した実施の形態に限定されるものではなく、この発明の要旨を逸脱しない範囲内で様々な変形や応用が可能である。 The present invention is not limited to the above-described embodiment, and various modifications and applications can be made without departing from the gist of the present invention.
例えば、上述した実施の形態では、起点となる段差端点Ｐｖとは反対側の端点の座標を求める場合を例に説明したが、これに限定されるものではない。例えば、段差計測の起点からの視点高さＨを与えることができれば、起点は必ずしも段差の上下端である必要はなく、任意の点からの段差量を計測することができる。 For example, in the above-described embodiment, the case where the coordinates of the end point on the side opposite to the step end point Pv serving as the starting point has been described as an example, but the present invention is not limited to this. For example, if the viewpoint height H from the starting point of the step measurement can be given, the starting point does not necessarily need to be the upper and lower ends of the step, and the step amount from an arbitrary point can be measured.
１０ 入力部
２０ 演算部
２２ 認識モデル
２４ カメラパラメータ
３０ 立ち上がり面セグメンテーション部
３２ 実寸法推定部
５０ 出力部
１００ 段差高さ推定装置
DESCRIPTION OF SYMBOLS 10 Input part 20 Calculation part 22 Recognition model 24 Camera parameter 30 Rising surface segmentation part 32 Actual dimension estimation part 50 Output part 100 Step height estimation apparatus
Claims (7)
前記立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、前記段差端点の位置と、前記入力画像を撮影したカメラのカメラパラメータとに基づいて、前記段差端点を通り、かつ、前記物体の表面に対応する平面と垂直な直線を、前記入力画像に投影した直線の、前記立ち上がり面を表す領域内の長さを求め、前記長さ及び前記カメラパラメータを用いて前記段差の高さを推定する実寸法推定部と、
を含む段差高さ推定装置。 From the input image, a pre-learned area that is substantially perpendicular to the plane corresponding to the surface of the object shown in the input image and that represents the rising surface whose width indicates the height of the step is recognized. A rising surface segmentation unit that extracts a region representing the rising surface of the input image based on a recognition model for
Based on the region representing the rising surface, a step end point that is a starting point of the step is detected, based on the position of the step end point and the camera parameter of the camera that captured the input image, and through the step end point, and Determining a length in a region representing the rising surface of a straight line projected on the input image by a straight line perpendicular to a plane corresponding to the surface of the object, and using the length and the camera parameter, An actual size estimation unit for estimating the height;
A step height estimation device including:
前記実寸法推定部は、カメラ座標空間における前記段差端点の位置及び前記焦点距離を用いて表される、前記入力画像上の前記段差端点に対応する座標と、前記焦点距離と、前記なす角と、前記視点高さと、前記平面と垂直な直線を前記入力画像に投影した直線の、前記立ち上がり面を表す領域内となる部分である線分の、前記段差端点とは反対側の端点の座標とに基づいて、前記段差の高さを推定する請求項１に記載の段差高さ推定装置。 The camera parameters are the focal length to the starting point, the angle between the camera direction and the plane, and the viewpoint height from the step end point that is the starting point,
The actual size estimation unit is expressed using the position of the step end point in the camera coordinate space and the focal length, the coordinates corresponding to the step end point on the input image, the focal length, and the angle formed. , And the coordinates of an end point opposite to the step end point of a line segment that is a portion of the straight line obtained by projecting a straight line perpendicular to the plane onto the input image that is within a region representing the rising surface, The step height estimation device according to claim 1, wherein the step height is estimated based on the step.
実寸法推定部が、前記立ち上がり面を表す領域に基づいて、段差の起点となる段差端点を検出し、前記段差端点の位置と、前記入力画像を撮影したカメラのカメラパラメータとに基づいて、前記段差端点を通り、かつ、前記物体の表面に対応する平面と垂直な直線を、前記入力画像に投影した直線の、前記立ち上がり面を表す領域内の長さを求め、前記長さ及び前記カメラパラメータを用いて前記段差の高さを推定するステップと、
を含む段差高さ推定方法。 A rising surface segmentation unit is a surface that is learned from an input image in advance and is a surface that is substantially perpendicular to a plane corresponding to the surface of the object that appears in the input image, and the width of the surface indicates the height of the step. Extracting a region representing the rising surface of the input image based on a recognition model for recognizing a region representing a surface;
Based on the area representing the rising surface, the actual size estimation unit detects a step end point that is a starting point of the step, and based on the position of the step end point and the camera parameter of the camera that captured the input image, A straight line that passes through the step end point and is perpendicular to a plane corresponding to the surface of the object is obtained by calculating the length of the straight line projected on the input image in the region representing the rising surface, and the length and the camera parameter. Estimating the height of the step using
Step height estimation method including
前記実寸法推定部が推定するステップは、カメラ座標空間における前記段差端点の位置及び前記焦点距離を用いて表される、前記入力画像上の前記段差端点に対応する座標と、前記焦点距離と、前記なす角と、前記視点高さと、前記平面と垂直な直線を前記入力画像に投影した直線の、前記立ち上がり面を表す領域内となる部分である線分の、前記段差端点とは反対側の端点の座標とに基づいて、前記段差の高さを推定する請求項４に記載の段差高さ推定方法。 The camera parameters are the focal length to the starting point, the angle between the camera direction and the plane, and the viewpoint height from the step end point that is the starting point,
The step of estimating by the actual size estimating unit is expressed using the position of the step end point in the camera coordinate space and the focal length, the coordinates corresponding to the step end point on the input image, the focal length, A line segment that is a part of a straight line obtained by projecting a straight line perpendicular to the plane, the angle formed by the viewpoint, and the plane to the input image, on the side opposite to the step end point. The step height estimation method according to claim 4, wherein the height of the step is estimated based on the coordinates of the end points.
The program for functioning a computer as each part of the level | step difference estimation apparatus of any one of Claims 1-3.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017169371A JP6794326B2 (en) | 2017-09-04 | 2017-09-04 | Step height estimation device, method, and program |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2017169371A JP6794326B2 (en) | 2017-09-04 | 2017-09-04 | Step height estimation device, method, and program |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2019045332A true JP2019045332A (en) | 2019-03-22 |
| JP6794326B2 JP6794326B2 (en) | 2020-12-02 |
Family
ID=65812807
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2017169371A Active JP6794326B2 (en) | 2017-09-04 | 2017-09-04 | Step height estimation device, method, and program |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6794326B2 (en) |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11153411A (en) * | 1997-09-17 | 1999-06-08 | Toshiba Corp | Step detecting device and processing device using the same |
| US20130147957A1 (en) * | 2011-12-12 | 2013-06-13 | Mobileye Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
| JP2014157117A (en) * | 2013-02-18 | 2014-08-28 | Airec Engineering Corp | Step measuring method, step measuring support instrument, step measuring support program and recording medium |
| JP2015059768A (en) * | 2013-09-17 | 2015-03-30 | 株式会社Ｎｔｅｃ | Level difference measuring device, level difference measuring method and program |
| JP2015197376A (en) * | 2014-04-01 | 2015-11-09 | 日本電信電話株式会社 | Wear detection apparatus, method, and program |
-
2017
- 2017-09-04 JP JP2017169371A patent/JP6794326B2/en active Active
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH11153411A (en) * | 1997-09-17 | 1999-06-08 | Toshiba Corp | Step detecting device and processing device using the same |
| US20130147957A1 (en) * | 2011-12-12 | 2013-06-13 | Mobileye Technologies Ltd. | Detection of obstacles at night by analysis of shadows |
| JP2014157117A (en) * | 2013-02-18 | 2014-08-28 | Airec Engineering Corp | Step measuring method, step measuring support instrument, step measuring support program and recording medium |
| JP2015059768A (en) * | 2013-09-17 | 2015-03-30 | 株式会社Ｎｔｅｃ | Level difference measuring device, level difference measuring method and program |
| JP2015197376A (en) * | 2014-04-01 | 2015-11-09 | 日本電信電話株式会社 | Wear detection apparatus, method, and program |
Non-Patent Citations (1)
| Title |
|---|
| ＭＡＴＨＷＯＲＫＳ: "畳み込みニューラルネットワークとは", ［ONLINE］, JPN7020002265, 19 July 2017 (2017-07-19), ISSN: 0004317992 * |
Also Published As
| Publication number | Publication date |
|---|---|
| JP6794326B2 (en) | 2020-12-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102256181B1 (en) | Method of inspecting and evaluating coating state of steel structure and system for the same | |
| CN104359403B (en) | Planar part dimension measurement method based on sub-pixel edge algorithm | |
| JP4363295B2 (en) | Plane estimation method using stereo images | |
| JP4517449B2 (en) | Correlation calculation method for images | |
| WO2009088035A1 (en) | Lane recognition system, lane recognition method, and lane recognition program | |
| WO2015037178A1 (en) | Posture estimation method and robot | |
| JP7228951B2 (en) | Loss price evaluation system | |
| CN112365461A (en) | Fastener loosening identification method, system, terminal and storage medium | |
| JP2016091053A (en) | Information processing apparatus, container shape estimation method, work picking system, and program | |
| JP2014139766A (en) | Road surface shape estimation device | |
| JP2005037378A (en) | Depth measurement method and depth measurement device | |
| KR20180098945A (en) | Method and apparatus for measuring speed of vehicle by using fixed single camera | |
| JP2015059768A (en) | Level difference measuring device, level difference measuring method and program | |
| CN119260349A (en) | Automatic assembly method and system for automobile seat belt pretensioner based on machine vision | |
| JP6451858B2 (en) | Step detecting device and step detecting method | |
| CN106846299B (en) | Method and device for correcting detection area | |
| JP5704909B2 (en) | Attention area detection method, attention area detection apparatus, and program | |
| US9443312B2 (en) | Line parametric object estimation | |
| JP4797846B2 (en) | Lane marking device and lane detection device | |
| JP4935769B2 (en) | Plane region estimation apparatus and program | |
| JP6198104B2 (en) | 3D object recognition apparatus and 3D object recognition method | |
| JP6794326B2 (en) | Step height estimation device, method, and program | |
| CN119942290A (en) | A method, system and product for multi-sensor feature fusion | |
| JP2012248004A (en) | Image processing system, image recognition device and method | |
| Frangione et al. | Multi-step approach for automated scaling of photogrammetric micro-measurements |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190827 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200617 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200804 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200928 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201104 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201111 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6794326 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S533 | Written request for registration of change of name |
Free format text: JAPANESE INTERMEDIATE CODE: R313533 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |