JP2013109750A - ３次元データ映像の階段認識方法 - Google Patents

Abstract

【課題】３次元データ映像から階段の蹴上げ面及び踏み面を検出して、階段を認識する３次元データ映像の階段認識方法を提供する。
【解決手段】３次元データ映像の階段認識方法は、映像獲得部が、階段が位置する空間の３次元データ映像を獲得する段階と、映像処理部が、前記３次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と、前記３次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階とを含む。
【選択図】図１

Description

本発明は、階段が位置する空間の３次元データ映像から、階段をなすデータポイントを検出する３次元データ映像の階段認識方法に関するものである。

ヒューマノイドまたは移動ロボットが階段を上がるためには、ロボットの現在位置を基準にして、階段の位置、階段の高さ及び幅などの情報を認識しなければならない。そのために、ロボットには、階段が位置する空間の３次元データ映像を獲得するための３次元センサが設置され、ロボットに設置されたマイクロコントローラを通じて、３次元データ映像を処理し、分析して階段を認識することができる。

従来の階段認識方法として、ＩＣＰ（Ｉｎｔｅｒａｔｉｖｅ Ｃｌｏｓｅｓｔ ｐｏｉｎｔ）方法は、３次元データ映像から検出した３次元モデルと、既に格納された３次元モデルをマッチングする方法である。ＩＣＰ方法は、前記２つの３次元モデルの間の距離が最小になるように、反復的な計算を通じて、前記２つの３次元モデルをマッチングする。したがって、ＩＣＰ方法は、既に格納された３次元モデルが要求され、既に格納された３次元モデルとのマッチングのために反復的な計算が要求される。他の方法としては、３次元データ映像から頂点を通じて直線を検出し、この直線に基づいて階段を認識する方法がある。この方法は、３次元データ映像において、階段をなす連続する２つの直線は、同じ平面上に位置すると仮定して、階段の踏み面を認識する。このように、３次元データ映像から直線を検出する方法は、３次元データ映像の特性上、誤差に敏感であるため、階段認識の正確度が低下するという問題点がある。

本発明の一側面は、３次元データ映像から階段の蹴上げ面及び踏み面を検出して、階段を認識する３次元データ映像の階段認識方法を提供する。

このための本発明の一実施例による３次元データ映像の階段認識方法は、映像獲得部が、階段が位置する空間の３次元データ映像を獲得する段階と；映像処理部が、前記３次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と；前記映像処理部が、前記３次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階と；を含む。

前記映像処理部が、ＲＡＮＳＡＣアルゴリズムを用いて、前記３次元データ映像から前記階段が位置する底平面を検出する段階をさらに含むことができる。

前記底平面を検出する段階は、次の式によって、前記底平面の式を算出できる。

ここで、ａ、ｂ、ｃは、前記底平面の法線ベクトルの成分であり、ｄは、前記底平面と原点との最短距離を示す定数である。

前記映像処理部が、前記３次元データ映像をラベリングして、前記階段領域を分離し、前記底平面と前記分離された階段領域との接線から前記階段の始めを判断して、階段認識を始める段階をさらに含むことができる。

前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面と前記階段の１番目の踏み面とが平行であることを通じて、前記１番目の踏み面の式を限定し、前記底平面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記１番目の踏み面の式を推定できる。

前記蹴上げ面を検出する段階は、次の式によって、前記１番目の踏み面の式を限定できる。

ここで、ａ、ｂ、ｃは、前記１番目の踏み面の法線ベクトルの成分であって、前記底平面の法線ベクトルの成分と同一であり、ｄ’は、前記１番目の踏み面と原点との最短距離を示す変数である。

前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面の式と前記推定した１番目の踏み面の式とを比較して、前記底平面と前記推定した１番目の踏み面との間の高さを計算できる。

前記蹴上げ面を検出する段階は、前記映像処理部が、前記１番目の蹴上げ面が前記底平面、及び前記推定した１番目の踏み面と垂直であることを通じて、前記１番目の蹴上げ面の式を限定し、前記底平面と前記推定した１番目の踏み面との間に位置する各ポイントを通じて、前記１番目の蹴上げ面の式を算出できる。

前記蹴上げ面を検出する段階は、次の式によって、前記１番目の蹴上げ面の式を限定できる。

ここで、ｎ、ｍ、ｌは、前記１番目の蹴上げ面の法線ベクトルの成分であって、前記１番目の蹴上げ面の法線ベクトルと前記底平面、及び前記推定した１番目の踏み面の法線ベクトルの内積は、０を満足し、ｋは、前記１番目の蹴上げ面と原点との最短距離を示す変数である。

前記蹴上げ面を検出する段階は、前記映像処理部が、前記階段の連続する下踏み面と上踏み面とが平行であることを通じて、前記上踏み面の式を限定し、前記下踏み面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記上踏み面の式を推定できる。

前記蹴上げ面を検出する段階は、次の式によって、前記上踏み面の式を限定できる。

ここで、ａ、ｂ、ｃは、前記上踏み面の法線ベクトルの成分であって、前記下踏み面の法線ベクトルの成分と同一であり、ｄ’は、前記上踏み面と原点との最短距離を示す変数である。

前記蹴上げ面を検出する段階は、前記映像処理部が、前記下踏み面の式と前記推定した上踏み面の式とを比較して、前記下踏み面と前記推定した上踏み面との間の高さを計算できる。

前記蹴上げ面を検出する段階は、前記映像処理部が、前記蹴上げ面がその下の蹴上げ面と平行であることを通じて、前記蹴上げ面の式を限定し、前記下踏み面と前記推定した上踏み面との間に位置する各ポイントを通じて、前記蹴上げ面の式を算出できる。

前記蹴上げ面を検出する段階は、次の式によって、前記蹴上げ面の式を限定できる。

ここで、ｎ、ｍ、ｌは、前記蹴上げ面の法線ベクトルの成分であって、前記その下の蹴上げ面の法線ベクトルの成分と同一であり、ｋは、前記蹴上げ面と原点との最短距離を示す変数である。

前記踏み面を検出する段階は、前記映像処理部が、前記階段の連続する下蹴上げ面と上蹴上げ面とが平行であることを通じて、前記上蹴上げ面の式を限定し、前記下蹴上げ面から既に決まった階段幅の範囲に位置する各ポイントを通じて、前記上蹴上げ面の式を推定できる。

前記踏み面を検出する段階は、次の式によって、前記上蹴上げ面の式を限定できる。

ここで、ｎ、ｍ、ｌは、前記上蹴上げ面の法線ベクトルの成分であって、前記下蹴上げ面の法線ベクトルの成分と同一であり、ｋ’は、前記上蹴上げ面と原点との最短距離を示す変数である。

前記踏み面を検出する段階は、前記映像処理部が、前記下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、前記下蹴上げ面と前記推定した上蹴上げ面との間の幅を計算できる。

前記踏み面を検出する段階は、前記映像処理部が、前記踏み面がその下の踏み面と平行であることを通じて、前記踏み面の式を限定し、前記下蹴上げ面と前記推定した上蹴上げ面との間に位置する各ポイントを通じて、前記踏み面の式を算出できる。

前記踏み面を検出する段階は、次の式によって、前記踏み面の式を限定できる。

ここで、ａ、ｂ、ｃは、前記踏み面の法線ベクトルの成分であって、前記その下の踏み面の法線ベクトルの成分と同一であり、ｄ’は、前記踏み面と原点との最短距離を示す変数である。

前記映像処理部が、前記３次元データ映像から前記階段の終わりか否かを判断して、前記階段が終わる場合、階段認識を終了し、前記階段が終わらない場合、前記階段の次の蹴上げ面及び次の踏み面を検出する段階をさらに含むことができる。

前記階段の終わりか否かを判断する段階は、前記連続する両蹴上げ面の間の幅が、既に決まった臨界値以上である場合、前記階段が終わるものと判断できる。

上述した本発明の一側面によれば、３次元データ映像から階段の蹴上げ面及び踏み面を検出して、階段を認識するので、既に格納された３次元モデルが要求されず、既に格納された３次元モデルとのマッチングのために反復的な計算が要求されないので、早い時間内に３次元データ映像から階段を認識できる。また、３次元データ映像において連続する直線を通じて、階段の蹴上げ面または踏み面を検出しないので、誤差に敏感でなく、高い正確度で３次元データ映像から階段を認識できる。

本発明の一実施例による３次元データ映像の階段認識方法の概略的なフローチャートである。 本発明の一実施例による３次元データ映像から階段の始めを判断する方法の概略的なフローチャートである。 本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法の概略的なフローチャートである。 本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法の概略的なフローチャートである。 本発明の一実施例による３次元データ映像から階段を認識するシステムの概略的なブロック図である。 本発明の一実施例による３次元データ映像から底平面を検出する方法を概略的に説明するための図である。 本発明の一実施例による３次元データ映像から底平面を検出する方法を概略的に説明するための図である。 本発明の一実施例による３次元データ映像から階段の始めを判断する方法を概略的に説明するための図である。 本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。 本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。 本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。 本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。 本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。 本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。 本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。 本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。 本発明の一実施例による３次元データ映像から階段の終わり否かを判断する方法を概略的に説明するための図である。

以下では、添付の図面を参照して、本発明について詳細に説明する。

図１は、本発明の一実施例による３次元データ映像の階段認識方法の概略的なフローチャートである。図１を参照して説明すると、映像獲得部が、階段が位置する空間の３次元データ映像を獲得することができる（Ｓ１１０）。ここで、３次元データ映像は、例えば、３次元ポイントクラウド（ｐｏｉｎｔ ｃｌｏｕｄ）映像であってもよいが、これに限定されるものではなく、ｘ、ｙ、ｚの３次元座標を持つデータポイントからなる形態であれば、本発明の一実施例による３次元データ映像の階段認識方法を適用することができる。一方、３次元データ映像には、３次元座標系が存在することができ、例えば、ロボットの中心を原点にして、ロボットの正面方向をｘ軸、ロボットの側面方向をｙ軸、ロボットの上面方向をｚ軸に設定できる。

映像処理部は、ＲＡＮＳＡＣ（Ｒａｎｄｏｍ Ｓａｍｐｌｅ Ｃｏｎｓｅｎｓｕｓ）アルゴリズムを用いて、３次元データ映像から階段が位置する底平面の式を算出することができる（Ｓ１２０）。ＲＡＮＳＡＣアルゴリズムは、本発明が属する技術分野における通常の技術者にとって自明な事項であって、ＲＡＮＳＡＣアルゴリズムに対する詳細な説明は省略する。映像処理部が、３次元データ映像から底平面の式を算出する具体的な方法は、以下で、図６Ａ及び図６Ｂを参照して詳細に説明する。

図６Ａ及び図６Ｂは、本発明の一実施例による３次元データ映像から底平面を検出する方法を概略的に説明するための図である。

図６Ａ及び図６Ｂを参照して説明すると、図６Ａに示すように、映像処理部は、ＲＡＮＳＡＣアルゴリズムを用いて、３次元データ映像から階段が位置する底平面（ｇｒｏｕｎｄ ｐｌａｎｅ）を検出することができ、検出された底平面に対して、次の式（１）によって、底平面の式を算出できる。

図６Ｂに示すように、式（１）で、ａ、ｂ、ｃは、底平面の法線ベクトル（ｖ１）の成分であり、ｄは、底平面と原点との最短距離を示す定数である。

映像処理部が階段の始めを判断して、階段認識を始めることができる（Ｓ１３０）。映像処理部が、３次元データ映像から階段の始めを判断する具体的な方法は、以下で、図２及び図７を参照して詳細に説明する。

図２は、本発明の一実施例による３次元データ映像から階段の始めを判断する方法の概略的なフローチャートである。図２を参照して説明すると、映像処理部が、３次元データ映像をラベリングして、階段領域を分離する（Ｓ２１０）。映像処理部は、３次元データ映像をラベリングして、階段領域を分離するために、３次元データ映像から底平面を除外した各ポイントを対象としてラベリングすることができる。そして、映像処理部は、ラベリングによるポイント群集のうち、最も多いポイントを含んでいるポイント群集を階段領域と判断して、３次元データ映像から階段領域を分離できる。

映像処理部が３次元データ映像をラベリングする基本的な方法は、次の通りである。まず、映像処理部は、３次元データ映像からラベリングの対象である各ポイントのラベルとラベルインデックスを０と初期化する。そして、映像処理部は、前記全てのポイントを探索しながら、該当のポイントのラベルが０であるかを確認して、該当のポイントにラベルが割り当てられたか否かを判断する。

該当のポイントにラベルが割り当てられていない場合、映像処理部は、該当のポイントから既に決まった距離以内の各ポイントを探索する。既に決まった距離以内の各ポイントのうち、ラベルが割り当てられたポイントが存在する場合、映像処理部は、該当のポイントと既に決まった距離以内の各ポイントのうち、ラベルが割り当てられていない各ポイントに、それと同様のラベルを割り当てる。

既に決まった距離以内の各ポイントのうち、ラベルが割り当てられたポイントが存在しない場合、映像処理部は、ラベルインデックスを１だけ増加し、該当のポイントと既に決まった距離以内の各ポイントに、ラベルインデックスに該当するラベルを割り当てる。

該当のポイントにラベルが割り当てられた場合、映像処理部は、次のポイントを探索して、ラベルが割り当てられたか否かを判断する過程を繰り返す。

すなわち、２次元ラベリング方法は、該当の画素と隣接した８個の画素を探索してラベルを割り当てるが、３次元ラベリング方法は、該当のポイントから既に決まった距離以内のポイントを探索してラベルを割り当てる。

図７は、本発明の一実施例による３次元データ映像から階段の始めを判断する方法を概略的に説明するための図である。図７を参照して説明すると、映像獲得部が、階段の正面から一定の角度で３次元データ映像を獲得した場合、映像処理部は、階段の蹴上げ面及び踏み面をなすポイント群集を階段領域（ｓｔａｉｒｓ ａｒｅａ）と判断できる。一方、図７は、階段の斜視図を示しているが、これは、３次元データ映像から階段領域を分離する方法の理解を助けるためのもので、実際的な階段の側壁が外部に露出する場合は少なく、一般的に映像獲得部は、階段の正面に関する３次元データ映像を獲得する。

そして、映像処理部は、底平面と分離された階段領域との接線を通じて、階段の始めを判断することができる（Ｓ２２０）。映像処理部は、階段の始めを判断して、階段が始まるラインから階段認識を始める。そして、映像処理部は、前記分離された階段領域に対してのみ階段認識を行う。

図７に示すように、映像処理部は、底平面と階段領域との接線を通じて、階段の始めを判断することができる。例えば、映像処理部は、３次元データ映像から階段の１番目の蹴上げ面の頂点を検出し、接線と底平面とが平行であることを通じて、前記接線の式を算出できる。このとき、検出した接線が、階段が始まるライン（ｓｔａｒｔ ｌｉｎｅ）に該当する。

映像処理部は、階段の連続する両踏み面の間に位置する各ポイントを通じて、前記両踏み面の間に位置する蹴上げ面を検出することができる（Ｓ１４０）。すなわち、映像処理部は、前記両踏み面の間に位置する各ポイントが通る踏み面の式を算出することができ、このような踏み面の式は、前記両踏み面の間に位置する蹴上げ面の式に該当する。

一方、映像処理部は、前記両踏み面の間の高さを通じて、前記両踏み面の間に位置する各ポイントを判断することができ、前記両踏み面の間の高さは、前記両踏み面の式を比較して計算することができる。映像処理部が、３次元データ映像から蹴上げ面を検出する具体的な方法は、以下で、図３、図８Ａ乃至図８Ｄを参照して詳細に説明する。

図３は、本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法の概略的なフローチャートである。図３を参照して説明すると、映像処理部が蹴上げ面を検出する方法は、次の通りである。まず、階段の連続する両踏み面は平行であると仮定する。したがって、映像処理部は、階段の連続する下踏み面と上踏み面が平行であることを通じて、上踏み面の式を限定することができる（Ｓ３１０）。ここで、前記下踏み面には、階段が位置する底平面も含まれる。上述のように、映像処理部は、ＲＡＮＳＡＣアルゴリズムを用いて、３次元データ映像から底平面の式を算出することができる。

図８Ａ乃至図８Ｄは、本発明の一実施例による３次元データ映像から階段の蹴上げ面を検出する方法を概略的に説明するための図である。

図８Ａを参照して説明すると、階段が位置する底平面と階段の１番目の踏み面（１ｓｔ ｔｒｅａｄ）とが平行であるので、底平面の法線ベクトル（ｖ１）の成分と１番目の踏み面の法線ベクトル（ｖ２）の成分とが同一である。また、階段の全ての踏み面の法線ベクトルの成分は、底平面の法線ベクトルの成分と同一であり、各踏み面と原点との最短距離だけを異ならせる。これによって、映像処理部は、次の式（２）によって、任意の上踏み面の式を限定することができる。

式（２）で、ａ、ｂ、ｃは、任意の上踏み面の法線ベクトルの成分であって、その下の踏み面の法線ベクトルの成分と同一であり、ｄ’は、任意の上踏み面と原点との最短距離を示す変数である。図８Ａの場合、式（２）によって１番目の踏み面の式を限定することができ、この場合、ａ、ｂ、ｃは、１番目の踏み面の法線ベクトルの成分を示してもよい。

そして、映像処理部は、既に決まった階段高さを用いて、前記上踏み面の式を推定することができる（Ｓ３２０）。ここで、映像処理部は、既に決まった階段高さの範囲として標準階段の高さを用いることができる。標準階段は、各国の建築法などによって強要されたり、推奨される階段の設計指針として、例えば、標準階段の高さは、１５cm乃至２０cmであるか、または標準階段の幅は、２５cm乃至３０cmであってもよい。

図８Ｂを参照して説明すると、映像処理部は、底平面から既に決まった階段高さの範囲に位置する各ポイントを通じて、１番目の踏み面の式を推定することができる。このとき、既に決まった階段の高さをｈとすると、一定の誤差範囲を持つ階段高さの範囲は、ｈ−Δｅ乃至ｈ＋Δｅに該当する。映像処理部は、既に決まった階段高さの範囲を階段の踏み面の検索領域（ｔｒｅａｄ ｓｅａｒｃｈ ａｒｅａ）として検索を行い、具体的に、底平面から既に決まった階段高さの範囲に位置する各ポイントを、式（２）によって限定した１番目の踏み面の式に代入し、その結果によって、最も代表となるｄ’の値を選択することによって、１番目の踏み面の式を推定する。ここで、最も代表となるｄ’の値を選択する方法は、多様に存在することができ、例えば、映像処理部は、前記限定した１番目の踏み面の式の代入結果によって、最も多く出たｄ’の値を選択することができる。

一方、図８Ｂは、階段の１番目の踏み面の式を推定する方法を示しているが、このような方法によって、階段の全ての踏み面の式を推定できるのは、通常の技術者にとって自明な事項である。

映像処理部は、下踏み面の式と前記推定した上踏み面の式とを比較して、下踏み面と前記上踏み面との間の高さを計算することができる（Ｓ３３０）。映像処理部は、式（２）で、上踏み面と原点との最短距離を示す変数ｄ’を選択したので、下踏み面の式と前記推定した上踏み面の式とを比較して、下踏み面と前記上踏み面との間の高さを計算することができる。例えば、映像処理部は、底平面の式と前記推定した１番目の踏み面の式とを比較して、底平面と前記１番目の踏み面との間の高さを計算することができ、底平面の各ポイントのｚ座標値が０であれば、ｄとｄ’との差を通じて、底平面と前記１番目の踏み面との間の高さを計算できる。

そして、映像処理部は、階段の連続する下踏み面と上踏み面との間に位置する各ポイントを通じて、前記両踏み面の間に位置する蹴上げ面を検出することができる（Ｓ３４０）。映像処理部は、前記蹴上げ面が、その下の蹴上げ面と平行であることを通じて、前記蹴上げ面の式を限定し、前記限定した蹴上げ面の式に、前記両踏み面の間に位置する各ポイントを代入して、前記蹴上げ面の式を正確に算出できる。

図８Ｃを参照して説明すると、階段の１番目の蹴上げ面（１ｓｔ ｒｉｓｅｒ）は、連続する両踏み面、即ち、底平面及び１番目の踏み面と垂直をなす。これによって、映像処理部は、次の式（３）によって、１番目の蹴上げ面の式を限定できる。

ここで、ｎ、ｍ、ｌは、１番目の蹴上げ面の法線ベクトルの成分であって、１番目の蹴上げ面の法線ベクトル及び前記両踏み面（ｇｒｏｕｎｄ ｐｌａｎｅ、１ｓｔ ｔｒｅａｄ）の法線ベクトルの内積は、０を満足し、ｋは、１番目の蹴上げ面と原点との最短距離を示す変数である。

図８Ｄを参照して説明すると、１番目の蹴上げ面の法線ベクトル及び前記両踏み面の法線ベクトルの内積は、０ということと、前記両踏み面の間に位置する各ポイントを、式（３）によって限定した１番目の蹴上げ面の式に代入した結果を通じて、１番目の蹴上げ面の式を算出できる。これによって、１番目の蹴上げ面を検出できる。

１番目の蹴上げ面を検出する方法は、上述した通りであるが、２番目の蹴上げ面からは、その下の蹴上げ面と平行であることを通じて、階段の連続する両踏み面の間に位置する任意の蹴上げ面の式を限定することができる。映像処理部は、上述した式（３）によって、前記任意の蹴上げ面の式を限定することができ、前記両踏み面の間に位置する各ポイントを通じて、前記蹴上げ面の式を算出し、前記両踏み面の間に位置する蹴上げ面を検出できる。この場合、ｎ、ｍ、ｌは、前記蹴上げ面の法線ベクトルの成分であって、その下の蹴上げ面の法線ベクトルの成分と同一であり、ｋは、前記蹴上げ面と原点との最短距離を示す変数である。映像処理部は、前記両踏み面の間に位置する各ポイントを、前記任意の蹴上げ面の式に代入した結果を通じて、前記蹴上げ面の式を算出できる。

そして、映像処理部は、階段の連続する両蹴上げ面の間に位置する各ポイントを通じて、前記両蹴上げ面の間に位置する踏み面を検出することができる（Ｓ１５０）。すなわち、映像処理部は、前記両蹴上げ面の間に位置する各ポイントが通る踏み面の式を算出することができ、このような踏み面の式は、前記両蹴上げ面の間に位置する踏み面の式に該当する。

一方、映像処理部は、前記両蹴上げ面の間の幅を通じて、前記両蹴上げ面の間に位置する各ポイントを判断することができ、前記両蹴上げ面の間の幅は、前記両蹴上げ面の式を比較して計算することができる。映像処理部が、３次元データ映像から踏み面を検出する具体的な方法は、以下で、図４、図９Ａ乃至図９Ｄを参照して詳細に説明する。

図４は、本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法の概略的なフローチャートである。図４を参照して説明すると、映像処理部が踏み面を検出する方法は、次の通りである。まず、階段の連続する両蹴上げ面は平行であると仮定する。したがって、映像処理部は、階段の連続する下蹴上げ面と上蹴上げ面が平行であることを通じて、上蹴上げ面の式を限定することができる（Ｓ４１０）。上述のように、映像処理部は、階段の１番目の蹴上げ面が、底平面、及び１番目の踏み面と垂直であることを通じて、３次元データ映像から１番目の蹴上げ面の式を算出できる。

図９Ａ乃至図９Ｄは、本発明の一実施例による３次元データ映像から階段の踏み面を検出する方法を概略的に説明するための図である。

図９Ａを参照して説明すると、階段の１番目の蹴上げ面（１ｓｔ ｒｉｓｅｒ）と２番目の蹴上げ面（２ｎｄ ｒｉｓｅｒ）が平行であるので、１番目の蹴上げ面の法線ベクトル（ｖ３）の成分と、２番目の蹴上げ面の法線ベクトル（ｖ４）の成分とが同一である。また、階段の全ての蹴上げ面の法線ベクトルの成分は同一であり、各蹴上げ面と原点との最短距離だけを異ならせる。これによって、映像処理部は、次の式（４）によって、任意の上蹴上げ面の式を限定することができる。

式（４）で、ｎ、ｍ、ｌは、任意の上蹴上げ面の法線ベクトルの成分であって、その下の蹴上げ面の法線ベクトルの成分と同一であり、ｋ’は、任意の上蹴上げ面と原点との最短距離を示す変数である。図９Ａの場合、式（４）によって、２番目の蹴上げ面の式を限定することができ、この場合、ｎ、ｍ、ｌは、２番目の蹴上げ面の法線ベクトル（ｖ４）の成分を示してもよい。

そして、映像処理部は、既に決まった階段の幅を用いて、前記上蹴上げ面の式を推定することができる（Ｓ４２０）。ここで、映像処理部は、既に決まった階段の幅の範囲として、標準階段の幅を利用できるというのは、上述した階段高さの範囲と同様である。

図９Ｂを参照して説明すると、映像処理部は、１番目の踏み面から既に決まった階段幅の範囲に位置する各ポイントを通じて、２番目の蹴上げ面の式を推定することができる。このとき、既に決まった階段の幅をｗとすると、一定の誤差範囲を持つ階段幅の範囲は、ｗ−Δｅ乃至ｗ＋Δｅに該当する。映像処理部は、既に決まった階段幅の範囲を、階段の蹴上げ面の検索領域（ｒｉｓｅｒ ｓｅａｒｃｈ ａｒｅａ）として検索を行い、具体的に、１番目の蹴上げ面から既に決まった階段幅の範囲に位置する各ポイントを、式（４）によって限定した２番目の蹴上げ面の式に代入し、その結果によって、最も代表となるｋ’の値を選択することで、２番目の蹴上げ面の式を推定する。ここで、最も代表となるｋ’の値を選択する方法は、多様に存在することができ、例えば、映像処理部は、前記限定した２番目の蹴上げ面の式の代入結果によって、最も多く出たｋ’の値を選択することができる。

一方、図９Ｂは、階段の２番目の蹴上げ面の式を推定する方法を示しているが、このような方法によって階段の残りの蹴上げ面の式を推定できるのは、通常の技術者にとって自明な事項である。

映像処理部は、下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、下蹴上げ面と前記上蹴上げ面との間の幅を計算することができる（Ｓ４３０）。映像処理部は、式（４）で、上蹴上げ面と原点との最短距離を示す変数ｋ’を選択したので、下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、下蹴上げ面と前記上蹴上げ面との間の幅を計算することができる。例えば、映像処理部は、１番目の蹴上げ面の式と前記推定した２番目の蹴上げ面の式とを比較して、１番目の蹴上げ面と前記２番目の蹴上げ面との間の幅を計算することができ、１番目の蹴上げ面の各ポイントのｘ座標の値が０であれば、ｋとｋ’との差を通じて、１番目の蹴上げ面と前記２番目の蹴上げ面との間の幅を計算することができる。

そして、映像処理部は、階段の連続する下蹴上げ面と上蹴上げ面との間に位置する各ポイントを通じて、前記両蹴上げ面の間に位置する踏み面を検出することができる（Ｓ４４０）。映像処理部は、前記踏み面が、その下の踏み面と平行であることを通じて、前記踏み面の式を限定し、前記限定した踏み面の式に、前記両蹴上げ面の間に位置する各ポイントを代入して、前記踏み面の式を正確に算出できる。

図９Ｃを参照して説明すると、１番目の踏み面は、連続する両蹴上げ面、即ち、１番目の蹴上げ面及び２番目の蹴上げ面と垂直をなす。また、１番目の踏み面は、その下の踏み面である底平面と平行である。これによって、映像処理部は、上述した式（２）によって、１番目の踏み面の式を限定することができる。この場合、ａ、ｂ、ｃは、１番目の踏み面の法線ベクトルの成分であって、底平面の法線ベクトルの成分と同一であり、ｄ’は、１番目の踏み面と原点との最短距離を示す変数である。

図９Ｄを参照して説明すると、映像処理部は、前記両蹴上げ面の間に位置する各ポイントを、式（２）によって限定した１番目の踏み面の式に代入した結果を通じて、１番目の踏み面の式を算出できる。

一方、映像処理部は、上記のような方法を通じて、階段の残りの踏み面の式を算出し、検出できる。例えば、２番目の踏み面は、１番目の踏み面と平行であることを通じて、３番目の踏み面は２番目の踏み面と平行であることを通じて、続いて、式（２）によって、階段の連続する両蹴上げ面の間に位置する任意の踏み面の式を限定することができる。そして、映像処理部は、前記両蹴上げ面の間に位置する各ポイントを、前記任意の踏み面の式に代入した結果を通じて、前記踏み面の式を算出できる。

映像処理部は、階段の終わりか否かを判断することができる（Ｓ１６０）。判断の結果、階段が終わる場合、映像処理部は階段の認識を終了し、判断の結果、階段が終わらない場合、映像処理部は階段の次の蹴上げ面の式及び次の踏み面の式を算出するために、Ｓ１４０、Ｓ１５０の段階を繰り返して行う。一方、次の階段の蹴上げ面及び踏み面を検出する場合、映像獲得部は、その時点で、再び階段が位置する空間の３次元データ映像を獲得することができる。映像処理部が、３次元データ映像から階段の終わりか否かを判断する具体的な方法は、以下で、図１０を参照して詳細に説明する。

図１０を参照して説明すると、映像獲得部は、踏み面を検出する過程で、階段の連続する両蹴上げ面の間の幅を計算することができる。このとき、計算された両蹴上げ面の間の幅ｄが、既に決まった臨界値以上である場合、例えば、以前の両蹴上げ面の間の幅の２倍以上である場合には、階段が終わるものと判断し、前記踏み面を階段の最後の踏み面（ｌａｓｔ ｔｒｅａｄ）として認識することができる。

図５は、本発明の一実施例による３次元データ映像から階段を認識するシステムの概略的なブロック図である。図５を参照して説明すると、階段を認識するシステムは、３次元データ映像を獲得する映像獲得部５１０と、３次元データ映像を処理して、階段を認識する映像処理部５２０と、映像処理部の階段認識の結果を出力する出力部５３０と、を含んで構成される。映像獲得部５１０は、階段が位置する空間の３次元データ映像を獲得する。例えば、映像獲得部５１０は、３次元データ映像を獲得できるように、ステレオカメラ、ＴＯＦカメラ、ＬＲＦセンサまたはキネクトセンサなどを備えることができる。映像処理部５２０は、映像獲得部５１０が獲得した３次元データ映像を処理して、階段を認識できるように、マイクロコントローラを備えることができ、出力部５３０は、映像処理部の階段認識の結果を出力できるように、ディスプレイユニットを備えることができる。そして、前記階段を認識するシステムは、ヒューマノイドまたは移動ロボットなどに設置可能である。

５１０ 映像獲得部
５２０ 映像処理部
５３０ 出力部

Claims (21)

1. 映像獲得部が、階段が位置する空間の３次元データ映像を獲得する段階と、
   映像処理部が、前記３次元データ映像から前記階段の連続する両踏み面の間の高さを計算し、前記計算された高さによって、前記連続する両踏み面の間に位置する各ポイントを判断し、前記連続する両踏み面の間に位置する各ポイントを通じて、前記連続する両踏み面の間に位置する蹴上げ面を検出する段階と、
   前記映像処理部が、前記３次元データ映像から前記階段の連続する両蹴上げ面の間の幅を計算し、前記計算された幅によって、前記連続する両蹴上げ面の間に位置する各ポイントを判断し、前記連続する両蹴上げ面の間に位置する各ポイントを通じて、前記連続する両蹴上げ面の間に位置する踏み面を検出する段階と、を含む、３次元データ映像の階段認識方法。
2. 前記映像処理部が、ＲＡＮＳＡＣアルゴリズムを用いて、前記３次元データ映像から前記階段が位置する底平面を検出する段階をさらに含む、請求項１に記載の３次元データ映像の階段認識方法。
3. 前記底平面を検出する段階は、次の式によって、前記底平面の式を算出する、請求項２に記載の３次元データ映像の階段認識方法。
   

   

   
   ここで、ａ、ｂ、ｃは、前記底平面の法線ベクトルの成分であり、ｄは、前記底平面と原点との最短距離を示す定数である。
4. 前記映像処理部が、前記３次元データ映像をラベリングして、前記階段領域を分離し、前記底平面と前記分離された階段領域との接線から前記階段の始めを判断して、階段認識を始める段階をさらに含む、請求項２に記載の３次元データ映像の階段認識方法。
5. 前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面と前記階段の１番目の踏み面とが平行であることを通じて、前記１番目の踏み面の式を限定し、前記底平面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記１番目の踏み面の式を推定する、請求項２に記載の３次元データ映像の階段認識方法。
6. 前記蹴上げ面を検出する段階は、次の式によって、前記１番目の踏み面の式を限定する、請求項５に記載の３次元データ映像の階段認識方法。
   

   

   ここで、ａ、ｂ、ｃは、前記１番目の踏み面の法線ベクトルの成分であって、前記底平面の法線ベクトルの成分と同一であり、ｄ’は、前記１番目の踏み面と原点との最短距離を示す変数である。
7. 前記蹴上げ面を検出する段階は、前記映像処理部が、前記底平面の式と前記推定した１番目の踏み面の式とを比較して、前記底平面と前記推定した１番目の踏み面との間の高さを計算する、請求項５に記載の３次元データ映像の階段認識方法。
8. 前記蹴上げ面を検出する段階は、前記映像処理部が、前記１番目の蹴上げ面が前記底平面、及び前記推定した１番目の踏み面と垂直であることを通じて、前記１番目の蹴上げ面の式を限定し、前記底平面と前記推定した１番目の踏み面との間に位置する各ポイントを通じて、前記１番目の蹴上げ面の式を算出する、請求項７に記載の３次元データ映像の階段認識方法。
9. 前記蹴上げ面を検出する段階は、次の式によって、前記１番目の蹴上げ面の式を限定する、請求項８に記載の３次元データ映像の階段認識方法。
   

   

   
   ここで、ｎ、ｍ、ｌは、前記１番目の蹴上げ面の法線ベクトルの成分であって、前記１番目の蹴上げ面の法線ベクトルと前記底平面、及び前記推定した１番目の踏み面の法線ベクトルの内積は、０を満足し、ｋは、前記１番目の蹴上げ面と原点との最短距離を示す変数である。
10. 前記蹴上げ面を検出する段階は、前記映像処理部が、前記階段の連続する下踏み面と上踏み面とが平行であることを通じて、前記上踏み面の式を限定し、前記下踏み面から既に決まった階段高さの範囲に位置する各ポイントを通じて、前記上踏み面の式を推定する、請求項１に記載の３次元データ映像の階段認識方法。
11. 前記蹴上げ面を検出する段階は、次の式によって、前記上踏み面の式を限定する、請求項１０に記載の３次元データ映像の階段認識方法。
    

    

    
    ここで、ａ、ｂ、ｃは、前記上踏み面の法線ベクトルの成分であって、前記下踏み面の法線ベクトルの成分と同一であり、ｄ’は、前記上踏み面と原点との最短距離を示す変数である。
12. 前記蹴上げ面を検出する段階は、前記映像処理部が、前記下踏み面の式と前記推定した上踏み面の式とを比較して、前記下踏み面と前記推定した上踏み面との間の高さを計算する、請求項１０に記載の３次元データ映像の階段認識方法。
13. 前記蹴上げ面を検出する段階は、前記映像処理部が、前記蹴上げ面がその下の蹴上げ面と平行であることを通じて、前記蹴上げ面の式を限定し、前記下踏み面と前記推定した上踏み面との間に位置する各ポイントを通じて、前記蹴上げ面の式を算出する、請求項１２に記載の３次元データ映像の階段認識方法。
14. 前記蹴上げ面を検出する段階は、次の式によって、前記蹴上げ面の式を限定する、請求項１３に記載の３次元データ映像の階段認識方法。
    

    

    
    ここで、ｎ、ｍ、ｌは、前記蹴上げ面の法線ベクトルの成分であって、前記その下の蹴上げ面の法線ベクトルの成分と同一であり、ｋは、前記蹴上げ面と原点との最短距離を示す変数である。
15. 前記踏み面を検出する段階は、前記映像処理部が、前記階段の連続する下蹴上げ面と上蹴上げ面とが平行であることを通じて、前記上蹴上げ面の式を限定し、前記下蹴上げ面から既に決まった階段幅の範囲に位置する各ポイントを通じて、前記上蹴上げ面の式を推定する、請求項１に記載の３次元データ映像の階段認識方法。
16. 前記踏み面を検出する段階は、次の式によって、前記上蹴上げ面の式を限定する、請求項１５に記載の３次元データ映像の階段認識方法。
    

    

    
    ここで、ｎ、ｍ、ｌは、前記上蹴上げ面の法線ベクトルの成分であって、前記下蹴上げ面の法線ベクトルの成分と同一であり、ｋ’は、前記上蹴上げ面と原点との最短距離を示す変数である。
17. 前記踏み面を検出する段階は、前記映像処理部が、前記下蹴上げ面の式と前記推定した上蹴上げ面の式とを比較して、前記下蹴上げ面と前記推定した上蹴上げ面との間の幅を計算する、請求項１５に記載の３次元データ映像の階段認識方法。
18. 前記踏み面を検出する段階は、前記映像処理部が、前記踏み面がその下の踏み面と平行であることを通じて、前記踏み面の式を限定し、前記下蹴上げ面と前記推定した上蹴上げ面との間に位置する各ポイントを通じて、前記踏み面の式を算出する、請求項１７に記載の３次元データ映像の階段認識方法。
19. 前記踏み面を検出する段階は、次の式によって、前記踏み面の式を限定する、請求項１８に記載の３次元データ映像の階段認識方法。
    

    

    
    ここで、ａ、ｂ、ｃは、前記踏み面の法線ベクトルの成分であって、前記その下の踏み面の法線ベクトルの成分と同一であり、ｄ’は、前記踏み面と原点との最短距離を示す変数である。
20. 前記映像処理部が、前記３次元データ映像から前記階段の終わりか否かを判断して、前記階段が終わる場合、階段認識を終了し、前記階段が終わらない場合、前記階段の次の蹴上げ面及び次の踏み面を検出する段階をさらに含む、請求項１に記載の３次元データ映像の階段認識方法。
21. 前記階段の終わりか否かを判断する段階は、前記連続する両蹴上げ面の間の幅が、既に決まった臨界値以上である場合、前記階段が終わるものと判断する、請求項２０に記載の３次元データ映像の階段認識方法。

Images