JP2018195241A - 情報処理装置、情報処理方法、及びプログラム - Google Patents

Abstract

【課題】物体の形状の再現に係る再現性の向上と、データ量の増加の抑制とを両立する。【解決手段】実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得する取得部と、前記第２の情報に基づき、前記第１の情報を補正する補正部と、を備える、情報処理装置。【選択図】図３

Description

本開示は、情報処理装置、情報処理方法、及びプログラムに関する。

近年、画像認識技術の高度化に伴い、デジタルカメラ等のような撮像部により撮像された画像に基づき、実空間上の物体（以降では、「実オブジェクト」とも称する）の位置、姿勢、及び形状等を３次元的に推定（または計測）し、３次元形状のモデルとして再現（再構成）することが可能となってきている。例えば、特許文献１には、撮像部により撮像された画像に基づき実空間上の物体の３次元形状モデルを再現する技術の一例が開示されている。

特開２０１６−７５６３７号公報

一方で、物体の形状によっては推定が困難なものがある。例えば、物体のエッジや角に相当する部分については、他の部分（例えば、平坦な部分）に比べて形状の推定に係る精度が低下する傾向にあり、３次元形状のモデルの再現性が低下する場合がある。このような場合には、例えば、物体の形状の推定や再現に係る分解能をより向上させることで再現性を向上させることも可能であるが、分解能の向上に伴いデータ量が増大する傾向にある。

そこで、本開示では、物体の形状の再現に係る再現性の向上と、データ量の増加の抑制とを両立することが可能な、情報処理装置、情報処理方法、及びプログラムを提案する。

本開示によれば、実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得する取得部と、前記第２の情報に基づき、前記第１の情報を補正する補正部と、を備える、情報処理装置が提供される。

また、本開示によれば、コンピュータが、実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得することと、前記第２の情報に基づき、前記第１の情報を補正することと、を含む、情報処理方法が提供される。

また、本開示によれば、コンピュータに、実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得することと、前記第２の情報に基づき、前記第１の情報を補正することと、を実行させる、プログラムが提供される。

以上説明したように本開示によれば、物体の形状の再現に係る再現性の向上と、データ量の増加の抑制とを両立することが可能な、情報処理装置、情報処理方法、及びプログラムが提供される。

なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。

本開示の一実施形態に係る情報処理システムの概略的なシステム構成の一例について説明するための説明図である。 同実施形態に係る情報処理システムの概要について説明するための説明図である。 同実施形態に係る情報処理システムの機能構成の一例を示した機能ブロック図である。 同実施形態に係る情報処理システムにおいて、物体の形状の推定に利用されるデータの一例ついて説明するための説明図である。 実オブジェクトの幾何学的な特徴の推定に係る処理の概要について説明するための説明図である。 幾何特徴マップ及び法線マップに基づき面と面との間の境界を推定する処理の一例について説明するための説明図である。 ポリゴンメッシュの補正に係る処理の一例について説明するための説明図である。 ポリゴンメッシュの補正に係る処理の一例について説明するための説明図である。 同実施形態に係る情報処理システムの一連の処理の流れの一例を示したフローチャートである。 変形例１に係るポリゴンメッシュの補正方法の一例について説明するための説明図である。 変形例２に係るポリゴンメッシュの補正方法の一例について説明するための説明図である。 変形例２に係るポリゴンメッシュの補正方法の一例について説明するための説明図である。 同実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

なお、説明は以下の順序で行うものとする。
１．概略構成
２．３次元形状のモデルの再現に関する検討
３．技術的特徴
３．１．機能構成
３．２．処理
３．３．変形例
４．ハードウェア構成
５．むすび

＜＜１．概略構成＞＞
まず、図１を参照して、本実施形態に係る情報処理システム１の概略的なシステム構成の一例について説明する。図１は、本実施形態に係る情報処理システム１の概略的なシステム構成の一例について説明するための説明図である。

図１に示すように、本実施形態に係る情報処理システム１は、デプスセンサ２１０と、偏光センサ２３０と、情報処理装置１００とを含む。デプスセンサ２１０及び偏光センサ２３０のそれぞれと、情報処理装置１００とは、例えば、所定のネットワークを介して接続されている。なお、デプスセンサ２１０及び偏光センサ２３０のそれぞれと、情報処理装置１００とを接続するネットワークの種別は特に限定されない。具体的な一例として、当該ネットワークは、ＬＴＥ、Ｗｉ−Ｆｉ（登録商標）等の規格に基づくネットワークのような、所謂無線のネットワークにより構成されていてもよい。また、当該ネットワークは、インターネット、専用線、ＬＡＮ（Local Area Network）、または、ＷＡＮ（Wide Area Network）等により構成されていてもよい。また、当該ネットワークは、複数のネットワークを含んでもよく、少なくとも一部が有線のネットワークとして構成されていてもよい。

また、図１において、参照符号ｍ１１１〜ｍ１１４は、実空間上に位置する物体（実オブジェクト）を模式的に示している。

デプスセンサ２１０は、所定の視点と実空間上に位置する物体との間の距離を推定するための情報を取得し、取得した当該情報を情報処理装置１００に送信する。なお、以降の説明では、デプスセンサ２１０により取得される、所定の視点と実空間上に位置する物体との間の距離を推定するための情報を、「深度情報」とも称する。

例えば、図１に示す例では、デプスセンサ２１０は、複数の撮像部２１０ａ及び２１０ｂを備えた所謂ステレオカメラとして構成されており、当該撮像部２１０ａ及び２１０ｂにより、互いに異なる視点から実空間上に位置する物体の画像を撮像する。この場合には、デプスセンサ２１０は、撮像部２１０ａ及び２１０ｂそれぞれにより撮像された画像を情報処理装置１００に送信することとなる。

このようにして互いに異なる視点から撮像された複数の画像を利用することで、例えば、当該複数の画像間の視差に基づき、所定の視点（例えば、デプスセンサ２１０の位置）と被写体（即ち、画像中に撮像された実オブジェクト）との間の距離を推定（算出）することが可能となる。そのため、例えば、所定の視点と被写体との間の距離の推定結果が撮像平面にマッピングされた所謂デプスマップを生成することも可能となる。

なお、所定の視点と実空間上の物体（実オブジェクト）との間の距離を推定すること可能であれば、デプスセンサ２１０に相当する部分の構成や、当該距離の推定に係る方法は特に限定されない。具体的な一例として、マルチカメラステレオ、移動視差、ＴＯＦ（Time Of Flight）、Structured Light等の方式に基づき、所定の視点と実オブジェクトとの間の距離が測定されてもよい。ここで、ＴＯＦとは、被写体（即ち、実オブジェクト）に対して赤外線等の光を投光し、投光した光が当該被写体で反射して戻るまでの時間を画素ごとに測定することで、当該測定結果に基づき被写体までの距離（深度）を含めた画像（即ち、デプスマップ）を得る方式である。また、Structured Lightは、被写体に対して赤外線等の光によりパターンを照射しそれを撮像することで、撮像結果から得られる当該パターンの変化に基づき、被写体までの距離（深度）を含めたデプスマップを得る方式である。また、移動視差とは、所謂単眼カメラにおいても、視差に基づき被写体までの距離を測定する方法である。具体的には、カメラを移動させることで、被写体を互いに異なる視点から撮像し、撮像された画像間の視差に基づき被写体までの距離を測定する。なお、このとき各種センサによりカメラの移動距離及び移動方向を認識することで、被写体までの距離をより精度良く測定することが可能となる。なお、距離の測定方法に応じて、デプスセンサ２１０の構成（例えば、単眼カメラ、ステレオカメラ等）を変更してもよい。

偏光センサ２３０は、実空間上に位置する物体で反射した光のうち、所定の偏光方向に偏光された光（以下、単に「偏光」とも称する）を検知し、当該偏光の検知結果に応じた情報を情報処理装置１００に送信する。なお、本実施形態に係る情報処理システム１においては、偏光センサ２３０は、偏光方向が互いに異なる複数の偏光（より好ましくは、３偏光以上）を検知可能に構成されている。また、以降の説明においては、偏光センサ２３０による偏光の検知結果に応じた情報を「偏光情報」とも称する。

具体的な一例として、偏光センサ２３０は、所謂偏光カメラとして構成されており、所定の偏光方向に偏光された光に基づく偏光画像を撮像する。この場合には、偏光センサ２３０は、撮像した偏光画像を情報処理装置１００に送信することとなる。

また、偏光センサ２３０は、デプスセンサ２１０による距離を推定するための情報の取得対象となる実空間上の領域と少なくとも一部が重畳する領域（理想的には、略一致する領域）から到来する偏光を撮像可能に保持されるとよい。なお、デプスセンサ２１０及び偏光センサ２３０のそれぞれが所定の位置に固定されている場合には、デプスセンサ２１０及び偏光センサ２３０それぞれの実空間上の位置を示す情報をあらかじめ取得しておくことで、それぞれの位置を既知の情報として扱うことが可能である。

また、デプスセンサ２１０及び偏光センサ２３０が共通の装置（例えば、ウェアラブルデバイス）に保持されていてもよい。この場合には、例えば、当該装置に対するデプスセンサ２１０及び偏光センサ２３０の相対的な位置関係をあらかじめ算出しておくことで、当該装置の位置及び姿勢に基づきデプスセンサ２１０及び偏光センサ２３０それぞれの位置及び姿勢を推定することが可能となる。

また、デプスセンサ２１０及び偏光センサ２３０が保持された装置が移動可能に構成されていてもよい。この場合には、例えば、自己位置推定と呼ばれる技術を応用することで、当該装置の実空間上における位置及び姿勢を推定することが可能となる。

ここで、所定の装置の実空間上における位置及び姿勢を推定する技術のより具体的な一例として、ＳＬＡＭ（simultaneous localization and mapping）と称される技術について説明する。ＳＬＡＭとは、カメラ等の撮像部、各種センサ、エンコーダ等を利用することにより、自己位置推定と環境地図の作成とを並行して行う技術である。より具体的な一例として、ＳＬＡＭ（特に、Ｖｉｓｕａｌ ＳＬＡＭ）では、撮像部により撮像された動画像に基づき、撮像されたシーン（または、被写体）の３次元形状を逐次的に復元する。そして、撮像されたシーンの復元結果を、撮像部の位置及び姿勢の検出結果と関連付けることで、周囲の環境の地図の作成と、当該環境における撮像部の位置及び姿勢の推定とが行われる。なお、撮像部の位置及び姿勢については、例えば、当該撮像部が保持された装置に加速度センサや角速度センサ等の各種センサを設けることで、当該センサの検出結果に基づき相対的な変化を示す情報として推定することが可能である。もちろん、撮像部の位置及び姿勢を推定可能であれば、その方法は、必ずしも加速度センサや角速度センサ等の各種センサの検知結果に基づく方法のみには限定されない。

また、デプスセンサ２１０及び偏光センサ２３０のうち少なくとも一方が、他方とは独立して移動可能に構成されていてもよい。この場合には、移動可能に構成されたセンサ自体の実空間上における位置及び姿勢が、上述した自己位置推定の技術等に基づき個別に推定されればよい。

情報処理装置１００は、デプスセンサ２１０から深度情報を取得し、取得した深度情報に基づき、所定の視点と実オブジェクトとの間の距離を推定し、当該推定結果に基づき当該実オブジェクトの３次元的な形状を再現したモデルを生成する。また、情報処理装置１００は、偏光センサ２３０から偏光情報を取得し、取得した偏光情報に基づき、生成した上記モデルを補正する。なお、当該モデルの生成に係る処理と、当該モデルの補正に係る処理と、それぞれの詳細については別途後述する。

なお、上述した構成はあくまで一例であり、本実施形態に係る情報処理システム１のシステム構成は、必ずしも図１に示す例のみには限定されない。例えば、前述したように、デプスセンサ２１０及び偏光センサ２３０が、移動可能に構成された装置の一部として一体的に構成されていてもよい。また、デプスセンサ２１０及び偏光センサ２３０と、情報処理装置１００とが一体的に構成されていてもよい。

以上、図１を参照して、本実施形態に係る情報処理システム１の概略的なシステム構成の一例について説明した。

＜＜２．３次元形状のモデルの再現に関する検討＞＞
続いて、本実施形態に係る情報処理システムの特徴をよりわかりやすくするために、３次元形状のモデルの再現に係る処理の一例について概要を説明したうえで、本実施形態に係る情報処理システムの課題について整理する。

まず、実空間上に位置する物体（実オブジェクト）の形状を推定し、当該形状を３次元的に再現したモデルの生成に係る処理の一例について、デプスマップを利用する場合の一例について概要を説明する。

まず、デプスマップは、撮像部の画角内に位置する実オブジェクトそれぞれと、当該撮像部との間の奥行き方向の距離が、画像平面状に２次元的にマッピングされることで生成される。このようにして生成された１以上のデプスマップが、当該デプスマップを生成するための情報の取得時における撮像部の撮像位置に応じて、３次元空間モデルとして統合される。ここで、３次元空間モデルは、実空間に存在する実オブジェクトの位置、姿勢、及び形状等を３次元的に再現したモデルである。

デプスマップを３次元空間モデルに統合する手法としては、例えば、所謂Kinect fusionに代表されるように、距離場の等値面として３次元空間を表現する方法が挙げられる。距離場により３次元空間を表現する手法では、空間がボクセルや多面体に分割されており、それぞれが３次元モデルまでの距離を有している。このボクセルの集合は、ボリュームデータとも称される。即ち、デプスマップ上の各ピクセルと対応するボクセルが有する距離の値を更新していくことにより、時系列に沿ってデプスマップがボクセルボリュームに統合される。なお、このようにして統合された距離場（即ち、３次元空間モデル）から、marching cubesや、dual contouring等の手法に基づき、ポリゴンメッシュが、実空間上の物体（即ち、実オブジェクト）の形状を３次元的に再現したモデルとして抽出される。なお、ポリゴンメッシュとは、物体の３次元的な形状を、頂点、辺、及び面の集合として再現したモデルである。

また、他の一例として、距離の推定結果の点群により３次元空間を表現する方法が挙げられる。なお、点群として３次元空間が表現されている状況下で、実空間の環境をポリゴンメッシュのような面により表現する場合には、点群からメッシュへの変換が必要となる。点群からメッシュへの変換する手法としては、例えば、surface reconstruction等が挙げられる。

ポリゴンメッシュの再現度は、空間の分割の細かさに依存し、より再現度の高いポリゴンメッシュを得るためには、データ量がより大きくなる傾向にある。また、複数の視点からのデプスマップが統合される場合には、距離の計測において生じる誤差やノイズ、撮像部の姿勢の推定に係る誤差等により、ポリゴンメッシュとして再現された形状と、対象となる物体の実際の形状との間に誤差が生じる場合がある。特に、エッジ（即ち、２つの面の境界に相当する辺）や角（即ち、３以上の面の境界に相当する点）に相当する部分は、平坦な部分に比べて、上記誤差やノイズ等の影響が大きく、形状の推定に係る精度が低下する傾向にあり、ポリゴンメッシュ（即ち、３次元形状のモデル）の再現性が低下する場合がある。

例えば、図２は、本実施形態に係る情報処理システム１の概要について説明するための説明図である。図２において、補正前として示した左側の図は、上記手法に基づき生成されたポリゴンメッシュの一例であり、立方体として形成された物体の３次元的な形状の再現結果の一例である。図２の左側の図に示す例では、エッジや角の部分が正しく再現されておらず、当該部分の情報が欠落したモデルが生成されている。

上述した状況を鑑み、本実施形態に係る情報処理システム１では、偏光センサ２３０により取得された偏光情報に基づき物体の幾何学的な特徴を推定することで、当該推定結果に基づき生成した３次元形状のモデル（例えば、ポリゴンメッシュ）を補正する。例えば、図２において、補正後として示した右側の図は、本開示に係る技術に基づき、左側の図に示したポリゴンメッシュを補正した場合における、補正後の当該ポリゴンメッシュの一例を示している。上述したような構成により、本実施形態に係る情報処理システム１では、３次元形状のモデルの再現性（特に、エッジや角の部分の再現性）の向上と、３次元形状を再現するためのデータ量の増加の抑制との両立を可能とする。以降では、本実施形態に係る情報処理システム１の技術的特徴についてより詳しく説明する。

＜＜３．技術的特徴＞＞
以下に、本実施形態に係る情報処理システム１の技術的特徴について説明する。

＜３．１．機能構成＞
まず、図３を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明する。図３は、本実施形態に係る情報処理システム１の機能構成の一例を示した機能ブロック図である。

図３に示すように、本実施形態に係る情報処理システム１は、デプスセンサ２１０と、偏光センサ２３０と、情報処理装置１００とを含む。なお、デプスセンサ２１０及び偏光センサ２３０については、図１を参照して説明した例と同様のため、詳細な説明は省略する。また、本説明では、デプスセンサ２１０は、ステレオカメラとして構成されているものとして説明する。即ち、デプスセンサ２１０は、互いに異なる視点から実空間上に位置する物体の画像を撮像する撮像部２１０ａ及び２１０ｂを含む。

情報処理装置１００は、デプス推定部１０１と、姿勢推定部１０３と、３次元空間モデル統合部１０５と、記憶部１０７と、法線推定部１０９と、幾何特徴抽出部１１１と、補正部１１３とを含む。

デプス推定部１０１は、デプスセンサ２１０から深度情報を取得し、取得した深度情報に基づき、所定の視点と実空間上に位置する物体との間の距離を推定する。具体的な一例として、デプス推定部１０１は、撮像部２１０ａ及び２１０ｂそれぞれにより撮像された画像をデプスセンサ２１０から取得し、取得した当該画像間の視差に基づき、所定の視点と被写体との間の距離の推定結果が撮像平面にマッピングされたデプスマップを生成する。そして、デプス推定部１０１は、生成したデプスマップを３次元空間モデル統合部１０５に出力する。

姿勢推定部１０３は、デプスセンサ２１０が移動可能に構成されている場合に、当該デプスセンサ２１０の実空間上における位置及び姿勢のうち少なくともいずれかを推定する。具体的な一例として、姿勢推定部１０３は、ＳＬＡＭ等の技術に基づき、デプスセンサ２１０の実空間上における位置及び姿勢を推定してもよい。なお、デプスセンサ２１０の位置及び姿勢を推定する手法に応じて、当該手法を実現するための構成が適宜追加されてもよい。例えば、ＳＬＡＭに基づきデプスセンサ２１０の実空間上における位置及び姿勢を推定する場合には、当該デプスセンサ２１０の位置や姿勢の相対的な変化を検出するための各種センサが設けられていてもよい。そして、姿勢推定部１０３は、デプスセンサ２１０の実空間上における位置や姿勢の推定結果を３次元空間モデル統合部１０５及び補正部１１３に出力する。

なお、デプスセンサ２１０が実空間上の所定の位置に固定されている場合も想定され得る。この場合には、デプスセンサ２１０の実空間上の位置を示す情報をあらかじめ取得しておくことで、当該デプスセンサ２１０の位置を既知の情報として扱うことが可能である。即ち、この場合においては、姿勢推定部１０３が設けられていなくてもよい。

３次元空間モデル統合部１０５は、生成されたデプスマップをデプス推定部１０１から取得する。また、３次元空間モデル統合部１０５は、デプスマップの生成元となる深度情報（例えば、撮像部２０１ａ及び２０１ｂにより撮像された画像）の取得時におけるデプスセンサ２１０の位置及び姿勢のうち少なくともいずれかの推定結果を示す情報を、姿勢推定部１０３から取得する。そして、３次元空間モデル統合部１０５は、取得したデプスマップを、取得した上記推定結果に基づくデプスセンサ２１０の位置や姿勢に応じて、３次元空間モデルとして統合する。なお、デプスマップを３次元空間モデルに統合するための手法としては、前述したように、距離場の等値面として３次元空間を表現する方法や、距離の推定結果の点群により３次元空間を表現する方法が挙げられる。３次元空間モデルとしては、例えば、ボクセルボリューム上のＴＳＤＦ（Truncated Signed Distance Function）を用いることが可能である。

３次元空間モデルとして統合されたデータは、所定の記憶領域に記憶される。例えば、記憶部１０７は、各種データを、一時的または恒常的に記憶するための記憶領域である。即ち、記憶部１０７に、３次元空間モデルとして統合されたデータが記憶されてもよい。

また、３次元空間モデル統合部１０５は、上述の通り生成された３次元空間モデルに基づき、実オブジェクトの３次元的な形状を推定し、当該形状の推定結果に関する情報を記憶部１０７に記憶させる。

具体的には、３次元空間モデル統合部１０５は、３次元空間モデルに基づき、形状推定の対象となる実オブジェクトのポリゴンメッシュを抽出する。より具体的な一例として、３次元空間モデルとしてＴＳＤＦが用いられる場合には、例えば、Marching Cubesや、Dual Contouring等の手法を用いて、ｆ（ｘ）＝０の面を抽出することによりポリゴンメッシュを抽出することが可能である。なお、上記関係式において、ｆは距離場、ｘは３次元位置を表す。また、３次元空間モデルが点群の場合には、Poisson Surface Reconstructionや、Screened Poisson Surface Reconstruction等の手法が用いられてもよい。ここで、Screened Poisson Surface Reconstructionが用いられる場合には、上述した境界マップを複数フレーム分使うことにより特徴の点群を生成し、当該点を通るような制約をつけることで高精度なポリゴンメッシュを生成することも可能である。なお、生成されたポリゴンメッシュが、実オブジェクトの３次元的な形状の推定結果に関する情報の一例に相当する。

法線推定部１０９は、偏光センサ２３０から偏光情報を取得し、取得した偏光情報に基づき、偏光情報の取得対象となる空間（即ち、実空間）に位置する実オブジェクトの外面における法線ベクトルの分布がマッピングされた法線マップを生成する。

例えば、図４は、本実施形態に係る情報処理システム１において、物体の形状の推定に利用されるデータの一例ついて説明するための説明図である。図４に示す各種データのうち、左側に示す図が法線マップの一例に相当する。

具体的な一例として、法線推定部１０９は、偏光方向が３方向以上の偏光画像を基に、偏光方向と偏光画像の輝度とに応じて輝度と偏光角との関係を求め、最大輝度となる方位角を判別する。具体的には、法線推定部１０９は、偏光方向が互いに異なる３以上の偏光それぞれの偏光値をコサインカーブにフィッティングすることで方位角を求める。次いで、法線推定部１０９は、輝度と偏光角との関係から得られる最大輝度と最小輝度とに基づき偏光度を算出し、偏光度と天頂角の関係を示す特性に基づき、算出した偏光度に対応する天頂角を判別する。具体的には、法線推定部１０９は、コサインカーブから偏光の最大値及び最小値を求め、当該最大値及び最小値に基づき偏光度を算出し、当該偏光度に応じて天頂角を算出する。

以上のようにして、法線推定部１０９は、偏光方向が３方向以上の偏光画像に基づき、実空間上の物体（実オブジェクト）の法線情報（即ち、方位角及び天頂角）を画素位置ごとに求めることで法線マップを生成する。そして、法線推定部１０９は、生成した法線マップを幾何特徴抽出部１１１に出力する。

幾何特徴抽出部１１１は、法線推定部１０９から法線マップを取得し、取得した当該法線マップから幾何学的な特徴を示す部分を抽出することで、実オブジェクトの幾何学的な特徴を推定する。具体的な一例として、幾何特徴抽出部１１１は、法線マップ上のあるピクセルにおける法線と、近傍に位置するピクセルにおける法線との内積を計算し、その最小値が閾値以下となるピクセルを、面と面との間の境界（例えば、エッジや角等）に対応する境界ピクセルとして抽出する。このように、幾何特徴抽出部１１１は、法線マップから境界ピクセルを抽出することで、当該境界ピクセルの分布がマッピングされた境界マップを生成する。

例えば、図４の中央に示す図は、図４の左側の図として示した法線マップに基づき生成された境界マップの一例を示している。即ち、図４の中央の図として示した境界マップには、実オブジェクトの外面のうち、面と面との間の境界であることが推測される部分（即ち、当該境界であることの確からしさが閾値以上の部分）が、他の部分と識別可能に提示されている。

次いで、幾何特徴抽出部１１１は、生成した境界マップから境界のセグメント情報を抽出することで幾何特徴マップを生成する。なお、境界のセグメント情報の抽出には、例えば、ＬＣＤ（line Segment Detector）等の手法を利用することが可能である。これにより、境界マップから、オブジェクトのエッジに相当する部分（線分）を抽出することが可能となる。また、他の一例として、幾何特徴抽出部１１１は、境界マップに示された境界ピクセルを線分で近似することで、エッジに相当する部分を抽出してもよい。

また、幾何特徴抽出部１１１は、境界マップから抽出したオブジェクトのエッジに相当する線分それぞれの端点のうち、互いの距離が閾値以下となる複数の端点を結合することで、１つの端点として認識する。

例えば、図５は、実オブジェクトの幾何学的な特徴の推定に係る処理の概要について説明するための説明図である。図５の左側に示す図において、参照符号Ｅ１１〜Ｅ１３のそれぞれは、境界マップから抽出されたエッジに相当する線分を模式的に示している。また、参照符号Ｐ１１〜Ｐ１３のそれぞれは、線分Ｅ１１〜Ｅ１３それぞれの端点を模式的に示している。即ち、図５の左側に示す図は、線分Ｅ１１〜Ｅ１３それぞれの端点Ｐ１１〜Ｐ１３が、互いに近傍に位置している場合の一例を示している。このような場合には、幾何特徴抽出部１１１は、図５の右側の図に示すように、互いに近傍に位置する端点Ｐ１１〜Ｐ１３を結合することで、１つの端点Ｐ１０として認識する。これにより、オブジェクトの角であることが推測される部分が抽出される。

以上のようにして、幾何特徴抽出部１１１は、幾何特徴マップを生成する。例えば、図４の右側の図は、図４の中央の図に示した境界マップに基づき生成される幾何特徴マップの一例に相当する。そして、幾何特徴抽出部１１１は、生成した幾何特徴マップと、当該幾何特徴マップの生成元となる法線マップとを、補正部１１３に出力する。

補正部１１３は、上述した実オブジェクトの３次元的な形状の推定結果に関する情報を取得し、取得した当該情報を、上述した幾何特徴マップ及び法線マップに基づき補正する。

具体的には、補正部１１３は、対象となる実オブジェクトの３次元的な形状の推定結果に関する情報を記憶部１０７から抽出する。なお、以降の説明では、当該実オブジェクトの３次元的な形状の推定結果に関する情報として、当該実オブジェクトの形状を再現したポリゴンメッシュが抽出されるものとして説明する。また、補正部１１３は、幾何特徴抽出部１１１から幾何特徴マップ及び法線マップを取得する。

次いで、補正部１１３は、取得した幾何特徴マップに基づき、対象となる実オブジェクトの実際の外面における面と面との間の境界を推定する。例えば、図６は、幾何特徴マップ及び法線マップに基づき面と面との間の境界を推定する処理の一例について説明するための説明図である。

具体的には、まず補正部１１３は、図６に示すように、幾何特徴マップ上に示された線分の端点を、当該幾何特徴マップに対応する撮影位置に応じてポリゴンメッシュ上に投影することで、当該線分に対応する特徴線の端点を抽出する。

例えば、図６において、参照符号２００は、上記撮影位置を示しており、即ち、幾何特徴マップの生成元となる偏光画像が撮影されたときの偏光センサ２３０の実空間上における位置及び姿勢に相当する。また、参照符号Ｄ２１は、幾何特徴マップを示しており、参照符号Ｄ２０は、対象となる実オブジェクトのポリゴンメッシュ（即ち、形状の推定結果）を示している。また、参照符号Ｅ２４は、幾何特徴マップＤ２１に示された線分に相当し、参照符号Ｐ２５及びＰ２６は、当該線分Ｅ２４の端点に相当する。

図６に示す例では、補正部１１３は、撮影位置２００と、端点Ｐ２５及びＰ２６それぞれとを結ぶ直線をポリゴンメッシュＤ２０に向けて延伸させ、当該直線とポリゴンメッシュＤ２０とが交差する点Ｐ２８及びＰ２９を算出する。即ち、ポリゴンメッシュＤ２０上の点Ｐ２８と点Ｐ２９とを結ぶ線分Ｅ２７が、幾何特徴マップＤ２１に示された線分Ｅ２４に対応していることとなる。

次いで、補正部１１３は、ポリゴンメッシュＤ２０を構成する各頂点のうち、上記点Ｐ２８及びＰ２９それぞれのより近傍に位置する頂点を、幾何特徴マップＤ２１上の線分Ｅ２４に対応する特徴線の端点として抽出する。例えば、図６に示す例では、頂点Ｐ２１及びＰ２４が、特徴線の端点として抽出されることとなる。

次いで、補正部１１３は、ポリゴンメッシュＤ２０上において、頂点Ｐ２１及びＰ２４間を結ぶポリライン（即ち、１以上の辺）を抽出し、当該ポリライン上の頂点を、特徴線の候補点として抽出する。例えば、図６に示す例では、頂点Ｐ２１及びＰ２４間を結ぶ一連の辺Ｅ２１、Ｅ２２、及びＥ２３上の頂点Ｐ２２及びＰ２３が、特徴線の候補点として抽出されることとなる。なお、特徴線の各セグメント（例えば、図６に示す辺Ｅ２１、Ｅ２２、及びＥ２３）は、対象となる実オブジェクトの実際の外面のうち互いに隣接する面と面との間の境界に相当する部分であると推定することが可能である。

次いで、補正部１１３は、取得した法線マップと、対象となる実オブジェクトの実際の外面のうち互いに隣接する面と面との間の境界の推定結果と、に基づき、ポリゴンメッシュＤ２０を補正する。例えば、図７及び図８は、ポリゴンメッシュＤ２０の補正に係る処理の一例について説明するための説明図である。

具体的には、補正部１１３は、まず図７に示すように、ポリゴンメッシュＤ２０において、特徴線の少なくとも一部を含む面それぞれについて、当該面の重心を法線マップ上に投影する。

例えば、図７において、参照符号ｃ_ｋは、特徴線の少なくとも一部である辺Ｅ２２を含む面の重心を示している。参照符号Ｄ２３は、法線マップを示しており、参照符号ｕは、重心ｃ_ｋが投影された当該法線マップ上の点（以下、「投影点」とも称する）を示している。なお、法線マップ上の投影点ｕは、上記重心ｃ_ｋと、撮影位置２００、法線マップＤ２３、及びポリゴンメッシュＤ２０間の位置関係に応じた行列Ｋと、に基づき、以下に（式１）として示す関係式に基づき算出される。

次いで、補正部１１３は、法線マップ上において算出した投影点ｕにおける法線ベクトルを、当該投影点ｕの投影元となる重心ｃ_ｋに対応するポリゴンメッシュＤ２０中の面の理想法線として推定する。例えば、図７において、参照符号ｎ_ｋは、重心ｃ_ｋに対応する面の理想法線を模式的に示している。

以上のようにして、補正部１１３は、ポリゴンメッシュＤ２０において、特徴線の少なくとも一部を含む面それぞれについて理想法線ｎ_ｋを推定する。

次いで、補正部１１３は、特徴線の少なくとも一部を含む面それぞれについて、ポリゴンメッシュＤ２０における当該面の法線が、当該面について推定された理想法線ｎ_ｋにより近づくように、当該ポリゴンメッシュＤ２０を補正する。

具体的には、補正部１１３は、ポリゴンメッシュＤ２０における特徴線上の頂点の位置を、以下に（式２）として示す式を最小化することで算出される位置pへ移動させることで、当該ポリゴンメッシュＤ２０を補正する。

なお、上述した（式２）において、Ｔは、特徴線の少なくとも一部を含む面の集合を示しており、Ｐは、当該集合Ｔに含まれる頂点の集合を示している。また、Ｎ（ｉ）はｐ_ｉの隣接頂点の集合を示す。Ｐの部分集合であるＰ’は、位置制約を与える頂点の集合であり、ｖ_ｉは制約位置を示す。また、ｔ_ｋは、Ｔの要素を示しており、λは重みを示している。また、ｗ_ｉｊは、離散ラプラシアンを計算するための重みを示している。ｗ_ｉｊの算出方法としては、例えば、cotangent formulaが挙げられる。

例えば、図８の左側の図に示したポリゴンメッシュＤ２０ａは、補正前のポリゴンメッシュＤ２０を示している。また、図８の右側の図に示したポリゴンメッシュＤ２０ｂは、補正後のポリゴンメッシュＤ２０を示している。

図８に示す例では、一連の辺Ｅ２１、Ｅ２２、及びＥ２３が特徴線に相当し、頂点Ｐ２２及びＰ２３が当該特徴線上の頂点に相当する。そのため、図８に示す例では、補正部１１３は、頂点Ｐ２２及びＰ２３の位置を移動させることでポリゴンメッシュＤ２０を補正する。例えば、ポリゴンメッシュＤ２０ｂにおける頂点Ｐ４１〜Ｐ４４は、ポリゴンメッシュＤ２０ａにおける頂点Ｐ２１〜Ｐ２４にそれぞれ対応している。また、ポリゴンメッシュＤ２０ｂにおける辺Ｅ３１、Ｅ３２、及びＥ３３は、ポリゴンメッシュＤ２０ａにおける辺Ｅ２１、Ｅ２２、及びＥ２３にそれぞれ対応している。

なお、補正部１１３は、上記集合Ｐに含まれる頂点のうち、特徴線上の頂点以外の他の頂点については、位置の補正を行わなくてもよい。

以上のようにして、補正部１１３は、実オブジェクトの３次元的な形状の推定結果に関する情報（例えば、ポリゴンメッシュ）を、取得した幾何特徴マップ及び法線マップに基づき補正し、補正後の当該情報を出力データとして所定の出力先に出力する。

なお、補正部１１３のうち、実オブジェクトの３次元的な形状の推定結果に関する情報、幾何特徴マップ、及び法線マップ等の各種情報を取得する部分が「取得部」の一例に相当する。また、実オブジェクトの３次元的な形状の推定結果に関する情報（例えば、ポリゴンメッシュ）が「第１の情報」の一例に相当し、幾何特徴マップが「第２の情報」の一例に相当する。

また、上述した情報処理システム１の機能構成はあくまで一例であり、上述した各機能を実現することが可能であれば、本実施形態に係る情報処理システム１の機能構成は必ずしも図３に示す例には限定されない。例えば、情報処理装置１００の各構成のうち、一部の構成が当該情報処理装置１００の外部に設けられていてもよい。より具体的には、情報処理装置１００の各構成のうち、デプスマップを３次元空間モデルに統合に係る部分や、当該３次元空間モデルに基づきポリゴンメッシュの生成に係る部分が、当該情報処理装置１００の外部に設けられていてもよい。また、他の一例として、情報処理装置１００の各機能が、複数の装置が連携して動作することで実現されてもよい。また、他の一例として、情報処理装置１００、デプスセンサ２１０、及び偏光センサ２３０が一体的に構成されていてもよい。また、他の一例として、３次元空間モデル統合部１０５は、実オブジェクトの３次元的な形状の推定結果に関する情報を、記憶部１０７を介さずに、補正部１１３に直接出力してもよい。このような構成により、例えば、対象となる実オブジェクトの３次元的な形状の推定と、当該形状の推定結果の補正と、をリアルタイムで実行させることも可能となる。

以上、図３を参照して、本実施形態に係る情報処理システム１の機能構成の一例について説明した。

＜３．２．処理＞
続いて、図９を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１００による実オブジェクトの形状の推定と当該推定結果の補正とに係る処理の流れに着目して説明する。図９は、本実施形態に係る情報処理システム１の一連の処理の流れの一例を示したフローチャートである。

図９に示すように、まず、情報処理装置１００（デプス推定部１０１）は、デプスセンサ２１０から深度情報を取得し、取得した深度情報に基づき、所定の視点と実空間上に位置する物体との間の距離の推定結果が撮像平面にマッピングされたデプスマップを生成する。また、情報処理装置１００（姿勢推定部１０３）は、ＳＬＡＭ等の技術に基づき、デプスセンサ２１０の実空間上における位置及び姿勢を推定する。情報処理装置１００（３次元空間モデル統合部１０５）は、生成したデプスマップを、デプスセンサ２１０の位置や姿勢に応じて３次元空間モデルとして統合する。また、情報処理装置１００（３次元空間モデル統合部１０５）は、３次元空間モデルに基づき、形状推定の対象となる実オブジェクトのポリゴンメッシュを抽出する（Ｓ１０１）。

また、情報処理装置１００（法線推定部１０９）は、偏光センサ２３０から偏光情報を取得し、取得した当該偏光情報に基づき法線マップを生成する（Ｓ１０３）。次いで、情報処理装置１００（幾何特徴抽出部１１１）は、法線マップから面と面との間の境界（例えば、エッジや角等）に対応する境界ピクセルを抽出することで境界マップを生成する。そして、情報処理装置１００は、生成した境界マップから境界のセグメント情報を抽出することで幾何特徴マップを生成する（Ｓ１０３）。なお、法線マップ、境界マップ、及び幾何特徴マップの生成に係る処理の詳細については前述したとおりである。

次いで、情報処理装置１００（補正部１１３）は、３次元空間モデルに基づき抽出した形状推定の対象となる実オブジェクトのポリゴンメッシュを、生成した法線マップ及び幾何特徴マップに基づき補正する（Ｓ１０７）。なお、ポリゴンメッシュの補正に係る処理の詳細については前述したとおりである。そして、情報処理装置１００は、補正後のポリゴンメッシュを出力データとして所定の出力先に出力する。

以上、図９を参照して、本実施形態に係る情報処理システム１の一連の処理の流れの一例について、特に、情報処理装置１００による実オブジェクトの形状の推定と当該推定結果の補正とに係る処理の流れに着目して説明した。

＜３．３．変形例＞
続いて、本実施形態に係る情報処理システム１の変形例について説明する。

（変形例１：ポリゴンメッシュの補正方法の一例）
まず、変形例１として、ポリゴンメッシュの補正方法の他の一例について説明する。変形例１では、特徴線の推定結果に基づき近似平面を算出し、当該近似平面を利用することで当該特徴線上の頂点の位置を補正する方法の一例について説明する。例えば、図１０は、変形例１に係るポリゴンメッシュの補正方法の一例について説明するための説明図である。

まず、前提として、前述した実施形態と同様に、情報処理装置１００は、幾何特徴マップに基づきポリゴンメッシュから特徴線の候補点を抽出することで、当該特徴線を特定する。なお、図１０に示す例では、一連の辺Ｅ２１、Ｅ２２、及びＥ２３が、ポリゴンメッシュＤ２０における特徴線に相当する。

次いで、本変形例に係る情報処理装置１００は、幾何特徴マップＤ２１上の特徴線に対応する線分Ｅ２４の中点から、当該線分Ｅ２４に直交する方向に所定の距離εだけ離間した位置を中心とする所定の半径ｒの円を算出する。また、情報処理装置１００は、算出した当該円内のピクセル（即ち、幾何特徴マップＤ２１のピクセル）それぞれにおける法線ベクトルを算出する。次いで、情報処理装置１００は、算出した当該円内のピクセルをポリゴンメッシュＤ２０に投影し、ポリゴンメッシュＤ２０に投影された円内の頂点を算出する。

情報処理装置１００は、算出した法線及び頂点に基づき近似平面を算出する。なお、１つの特徴線に対して２つの近似平面が算出されることとなる。例えば、図１０に示す例において、参照符号Ｄ４１及びＤ４３は、一連の辺Ｅ２１、Ｅ２２、及びＥ２３に対応する特徴線について算出された近似平面を模式的に示している。

そして、情報処理装置１００は、ポリゴンメッシュＤ２０における特徴線上の各頂点を、近似平面Ｄ４１及びＤ４３それぞれに投影し、当該投影結果に基づき当該各頂点の位置を補正する。情報処理装置１００は、以上のような処理を、特徴線ごとに算出された近似平面それぞれについて実行することで、ポリゴンメッシュＤ２０を補正する。

以上のように、本変形例においては、１つの特徴線に対して算出される２つの近似平面間の境界が、形状の推定対象となる実オブジェクトの実際の外面において互いに隣接する２つの面の境界に相当するものと推定されることとなる。

以上、変形例１として、図１０を参照して、ポリゴンメッシュの補正方法の他の一例について説明した。

（変形例２：ポリゴンメッシュの補正方法の一例）
続いて、変形例２として、ポリゴンメッシュの補正方法の他の一例について説明する。前述した実施形態や変形例では、幾何特徴マップ上の辺に対応するポリゴンメッシュ上の特徴線を特定し、当該特徴線を利用することでポリゴンメッシュを補正する方法の一例について説明した。これに対して、変形例２では、幾何特徴マップ上の辺の端点に対応するポリゴンメッシュ上の頂点を特徴点として特定し、当該特徴点を利用することでポリゴンメッシュを補正する方法の一例について説明する。例えば、図１１及び図１２は、変形例２に係るポリゴンメッシュの補正方法の一例について説明するための説明図である。

具体的には、情報処理装置１００は、幾何特徴マップ上に示された線分の端点を、当該幾何特徴マップに対応する撮影位置に応じてポリゴンメッシュ上に投影することで、特徴点を抽出する。

例えば、図１１において、参照符号Ｐ５３は、幾何特徴マップＤ２１上において、辺Ｅ５１、Ｅ５２、及びＥ５３の端点を示している。情報処理装置１００は、撮影位置２００と端点Ｐ５３とを結ぶ直線をポリゴンメッシュＤ２０に向けて延伸させ、当該直線とポリゴンメッシュＤ２０とが交差する点Ｐ５５を算出する。次いで、情報処理装置１００は、ポリゴンメッシュＤ２０を構成する各頂点のうち、上記点Ｐ５５のより近傍に位置する頂点を特徴点Ｐ５１として抽出する。

次いで、情報処理装置１００は、ポリゴンメッシュを構成する各面のうち、抽出した特徴点を含む面を特定し、特定した当該面の重心を法線マップ上に投影する。

例えば、図１２において、参照符号ｃ_ｋは、特徴点Ｐ５１を含む面の重心を示している。また、参照符号Ｐ５７は、重心ｃ_ｋが投影された法線マップＤ２３上の投影点を示している。なお、投影点Ｐ５７の算出方法については、（式１）を参照して前述した例と同様のため詳細な説明は省略する。

次いで、情報処理装置１００は、法線マップ上において算出した投影点ｕにおける法線ベクトルを、当該投影点ｕの投影元となる重心ｃ_ｋに対応するポリゴンメッシュＤ２０中の面の理想法線として推定する。例えば、図１２において、参照符号ｎ_ｋは、重心ｃ_ｋに対応する面の理想法線を模式的に示している。

以上のようにして、情報処理装置１００は、特徴点Ｐ５１を含む各面について理想法線を算出し、当該理想法線の算出結果に基づき、ポリゴンメッシュＤ２０の頂点のうち少なくとも一部の頂点の位置を移動させることで、当該ポリゴンメッシュＤ２０を補正する。より具体的な一例として、情報処理装置１００は、特徴点を、前述した（式２）を最小化することで算出される位置ｐへ移動させてもよい。ここで、Ｔは、特徴点を含む面の集合を示している。

以上、変形例２として、図１１及び図１２を参照して、ポリゴンメッシュの補正方法の他の一例について説明した。

＜＜４．ハードウェア構成＞＞
続いて、図１３を参照しながら、前述した情報処理装置１００のように、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一例について、詳細に説明する。図１３は、本開示の一実施形態に係る情報処理システムを構成する情報処理装置のハードウェア構成の一構成例を示す機能ブロック図である。

本実施形態に係る情報処理システムを構成する情報処理装置９００は、主に、ＣＰＵ９０１と、ＲＯＭ９０２と、ＲＡＭ９０３と、を備える。また、情報処理装置９００は、更に、ホストバス９０７と、ブリッジ９０９と、外部バス９１１と、インタフェース９１３と、入力装置９１５と、出力装置９１７と、ストレージ装置９１９と、ドライブ９２１と、接続ポート９２３と、通信装置９２５とを備える。

ＣＰＵ９０１は、演算処理装置及び制御装置として機能し、ＲＯＭ９０２、ＲＡＭ９０３、ストレージ装置９１９又はリムーバブル記録媒体９２７に記録された各種プログラムに従って、情報処理装置９００内の動作全般又はその一部を制御する。ＲＯＭ９０２は、ＣＰＵ９０１が使用するプログラムや演算パラメータ等を記憶する。ＲＡＭ９０３は、ＣＰＵ９０１が使用するプログラムや、プログラムの実行において適宜変化するパラメータ等を一次記憶する。これらはＣＰＵバス等の内部バスにより構成されるホストバス９０７により相互に接続されている。例えば、図３に示すデプス推定部１０１、姿勢推定部１０３、３次元空間モデル統合部１０５、法線推定部１０９、幾何特徴抽出部１１１、及び補正部１１３は、ＣＰＵ９０１により構成され得る。

ホストバス９０７は、ブリッジ９０９を介して、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ／Ｉｎｔｅｒｆａｃｅ）バスなどの外部バス９１１に接続されている。また、外部バス９１１には、インタフェース９１３を介して、入力装置９１５、出力装置９１７、ストレージ装置９１９、ドライブ９２１、接続ポート９２３及び通信装置９２５が接続される。

入力装置９１５は、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、レバー及びペダル等、ユーザが操作する操作手段である。また、入力装置９１５は、例えば、赤外線やその他の電波を利用したリモートコントロール手段（いわゆる、リモコン）であってもよいし、情報処理装置９００の操作に対応した携帯電話やＰＤＡ等の外部接続機器９２９であってもよい。さらに、入力装置９１５は、例えば、上記の操作手段を用いてユーザにより入力された情報に基づいて入力信号を生成し、ＣＰＵ９０１に出力する入力制御回路などから構成されている。情報処理装置９００のユーザは、この入力装置９１５を操作することにより、情報処理装置９００に対して各種のデータを入力したり処理動作を指示したりすることができる。

出力装置９１７は、取得した情報をユーザに対して視覚的又は聴覚的に通知することが可能な装置で構成される。このような装置として、ＣＲＴディスプレイ装置、液晶ディスプレイ装置、プラズマディスプレイ装置、ＥＬディスプレイ装置及びランプ等の表示装置や、スピーカ及びヘッドホン等の音声出力装置や、プリンタ装置等がある。出力装置９１７は、例えば、情報処理装置９００が行った各種処理により得られた結果を出力する。具体的には、表示装置は、情報処理装置９００が行った各種処理により得られた結果を、テキスト又はイメージで表示する。他方、音声出力装置は、再生された音声データや音響データ等からなるオーディオ信号をアナログ信号に変換して出力する。

ストレージ装置９１９は、情報処理装置９００の記憶部の一例として構成されたデータ格納用の装置である。ストレージ装置９１９は、例えば、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）等の磁気記憶部デバイス、半導体記憶デバイス、光記憶デバイス又は光磁気記憶デバイス等により構成される。このストレージ装置９１９は、ＣＰＵ９０１が実行するプログラムや各種データ等を格納する。例えば、図３に示す記憶部１０７は、ストレージ装置９１９により構成され得る。

ドライブ９２１は、記録媒体用リーダライタであり、情報処理装置９００に内蔵、あるいは外付けされる。ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録されている情報を読み出して、ＲＡＭ９０３に出力する。また、ドライブ９２１は、装着されている磁気ディスク、光ディスク、光磁気ディスク又は半導体メモリ等のリムーバブル記録媒体９２７に記録を書き込むことも可能である。リムーバブル記録媒体９２７は、例えば、ＤＶＤメディア、ＨＤ−ＤＶＤメディア又はＢｌｕ−ｒａｙ（登録商標）メディア等である。また、リムーバブル記録媒体９２７は、コンパクトフラッシュ（登録商標）（ＣＦ：ＣｏｍｐａｃｔＦｌａｓｈ）、フラッシュメモリ又はＳＤメモリカード（Ｓｅｃｕｒｅ Ｄｉｇｉｔａｌ ｍｅｍｏｒｙ ｃａｒｄ）等であってもよい。また、リムーバブル記録媒体９２７は、例えば、非接触型ＩＣチップを搭載したＩＣカード（Ｉｎｔｅｇｒａｔｅｄ Ｃｉｒｃｕｉｔ ｃａｒｄ）又は電子機器等であってもよい。

接続ポート９２３は、情報処理装置９００に直接接続するためのポートである。接続ポート９２３の一例として、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）ポート等がある。接続ポート９２３の別の例として、ＲＳ−２３２Ｃポート、光オーディオ端子、ＨＤＭＩ（登録商標）（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）ポート等がある。この接続ポート９２３に外部接続機器９２９を接続することで、情報処理装置９００は、外部接続機器９２９から直接各種のデータを取得したり、外部接続機器９２９に各種のデータを提供したりする。

通信装置９２５は、例えば、通信網（ネットワーク）９３１に接続するための通信デバイス等で構成された通信インタフェースである。通信装置９２５は、例えば、有線若しくは無線ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、Ｂｌｕｅｔｏｏｔｈ（登録商標）又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード等である。また、通信装置９２５は、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ又は各種通信用のモデム等であってもよい。この通信装置９２５は、例えば、インターネットや他の通信機器との間で、例えばＴＣＰ／ＩＰ等の所定のプロトコルに則して信号等を送受信することができる。また、通信装置９２５に接続される通信網９３１は、有線又は無線によって接続されたネットワーク等により構成され、例えば、インターネット、家庭内ＬＡＮ、赤外線通信、ラジオ波通信又は衛星通信等であってもよい。

以上、本開示の実施形態に係る情報処理システムを構成する情報処理装置９００の機能を実現可能なハードウェア構成の一例を示した。上記の各構成要素は、汎用的な部材を用いて構成されていてもよいし、各構成要素の機能に特化したハードウェアにより構成されていてもよい。従って、本実施形態を実施する時々の技術レベルに応じて、適宜、利用するハードウェア構成を変更することが可能である。なお、図１３では図示しないが、情報処理システムを構成する情報処理装置９００に対応する各種の構成を当然備える。

なお、上述のような本実施形態に係る情報処理システムを構成する情報処理装置９００の各機能を実現するためのコンピュータプログラムを作製し、パーソナルコンピュータ等に実装することが可能である。また、このようなコンピュータプログラムが格納された、コンピュータで読み取り可能な記録媒体も提供することができる。記録媒体は、例えば、磁気ディスク、光ディスク、光磁気ディスク、フラッシュメモリなどである。また、上記のコンピュータプログラムは、記録媒体を用いずに、例えばネットワークを介して配信してもよい。また、当該コンピュータプログラムを実行させるコンピュータの数は特に限定されない。例えば、当該コンピュータプログラムを、複数のコンピュータ（例えば、複数のサーバ等）が互いに連携して実行してもよい。

＜＜５．むすび＞＞
以上説明したように、本実施形態に係る情報処理システム１では、情報処理装置１００は、実空間上における物体（実オブジェクト）の形状の推定結果に関する情報（例えば、ポリゴンメッシュ等のような３次元形状のモデル）を、当該物体の幾何学的特徴の推定結果に関する情報（例えば、幾何特徴マップ）に基づき補正する。具体的には、情報処理装置１００は、当該物体のエッジや角に相当する部分のように、距離の計測において生じる誤差やノイズ等の影響が大きい部分の幾何学的な特徴を、偏光画像を利用することで別途推定する。そして、情報処理装置１００は、エッジや角に相当する部分の幾何学的な特徴の推定結果に応じて、上記物体の形状の推定結果のうち、当該エッジや当該角に相当する部分の推定結果を補正する。

このような構成により、本実施形態に係る情報処理システム１に依れば、物体の形状を３次元形状のモデル等として再現する場合において、当該形状の再現性をより向上させることが可能となる。また、本実施形態に係る情報処理システム１においては、物体の形状の推定に係る空間の分割の細かさに依存せずに、当該物体の幾何学的特徴を推定することが可能である。そのため、本実施形態に係る情報処理システム１に依れば、３次元形状のモデルの再現性（特に、エッジや角の部分の再現性）の向上と、３次元形状を再現するためのデータ量の増加の抑制と、を両立することが可能となる。

以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。

なお、以下のような構成も本開示の技術的範囲に属する。
（１）
実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得する取得部と、
前記第２の情報に基づき、前記第１の情報を補正する補正部と、
を備える、情報処理装置。
（２）
前記第２の情報は、前記物体の外面のうち隣接する面の境界の推定結果を含む、前記（１）に記載の情報処理装置。
（３）
前記境界は、前記外面における法線ベクトルの分布がマッピングされた法線マップに基づき推定される、前記（２）に記載の情報処理装置。
（４）
前記法線マップは、偏光方向が互いに異なる複数の偏光それぞれの検出結果に基づく前記物体の偏光画像に基づき生成される、前記（３）に記載の情報処理装置。
（５）
前記第１の情報は、前記外面のうち少なくとも一部の面の推定結果に関する情報を含む、前記（２）に記載の情報処理装置。
（６）
前記面の推定結果に関する情報は、複数の頂点と、当該複数の頂点間を結ぶ辺と、により面を規定するメッシュデータを含む、前記（５）に記載の情報処理装置。
（７）
前記補正部は、前記第２の情報に基づき、前記複数の頂点のうち少なくとも一部の頂点の位置を補正することで、前記第１の情報を補正する、前記（６）に記載の情報処理装置。
（８）
前記補正部は、
前記第２の情報に基づき、前記境界と当該境界の２以上の端点とのそれぞれの推定結果を前記第１の情報に投影することで、前記複数の頂点のうち前記２以上の端点それぞれに対応する２以上の前記頂点間を結ぶ１以上の前記辺を特定し、
特定した１以上の前記辺上に存在する前記頂点の位置を補正する、
前記（７）に記載の情報処理装置。
（９）
前記補正部は、
特定した１以上の前記辺のうち少なくとも一部の辺を含む１以上の面それぞれ重心を、前記外面における法線ベクトルの分布がマッピングされた法線マップに投影することで、前記法線マップ上の前記重心が投影された点における前記法線ベクトルに応じて当該１以上の面それぞれの理想的な法線を推定し、
前記法線の推定結果に基づき、特定した１以上の前記辺上に存在する前記頂点の位置を補正する、
前記（８）に記載の情報処理装置。
（１０）
前記補正部は、
前記第２の情報に基づき、前記境界を含む近似平面を推定して、当該近似平面を前記第１の情報に投影し、
前記近似平面の投影結果に基づき、前記複数の頂点のうち少なくとも一部の頂点の位置を補正する、
前記（７）に記載の情報処理装置。
（１１）
前記補正部は、
前記第２の情報に基づき、前記境界の端点の推定結果を前記第１の情報に投影することで、前記複数の頂点のうち前記端点が投影される点に対応する前記頂点を特定し、
特定した前記頂点を含む１以上の面それぞれの重心を、前記外面における法線ベクトルの分布がマッピングされた法線マップに投影することで、前記法線マップ上の前記重心が投影された点における前記法線ベクトルに応じて前記１以上の面それぞれの理想的な法線を推定し、
前記法線の推定結果に基づき、前記複数の頂点のうち少なくとも一部の頂点の位置を補正する、
前記（７）に記載の情報処理装置。
（１２）
コンピュータが、
実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得することと、
前記第２の情報に基づき、前記第１の情報を補正することと、
を含む、情報処理方法。
（１３）
コンピュータに、
実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得することと、
前記第２の情報に基づき、前記第１の情報を補正することと、
を実行させる、プログラム。

１ 情報処理システム
１００ 情報処理装置
１０１ デプス推定部
１０３ 姿勢推定部
１０５ 次元空間モデル統合部
１０７ 記憶部
１０９ 法線推定部
１１１ 幾何特徴抽出部
１１３ 補正部
２００ 撮影位置
２００ 参照符号
２１０ デプスセンサ
２１０ａ、２１０ｂ 撮像部
２３０ 偏光センサ

Claims (13)

1. 実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得する取得部と、
   前記第２の情報に基づき、前記第１の情報を補正する補正部と、
   を備える、情報処理装置。
2. 前記第２の情報は、前記物体の外面のうち隣接する面の境界の推定結果を含む、請求項１に記載の情報処理装置。
3. 前記境界は、前記外面における法線ベクトルの分布がマッピングされた法線マップに基づき推定される、請求項２に記載の情報処理装置。
4. 前記法線マップは、偏光方向が互いに異なる複数の偏光それぞれの検出結果に基づく前記物体の偏光画像に基づき生成される、請求項３に記載の情報処理装置。
5. 前記第１の情報は、前記外面のうち少なくとも一部の面の推定結果に関する情報を含む、請求項２に記載の情報処理装置。
6. 前記面の推定結果に関する情報は、複数の頂点と、当該複数の頂点間を結ぶ辺と、により面を規定するメッシュデータを含む、請求項５に記載の情報処理装置。
7. 前記補正部は、前記第２の情報に基づき、前記複数の頂点のうち少なくとも一部の頂点の位置を補正することで、前記第１の情報を補正する、請求項６に記載の情報処理装置。
8. 前記補正部は、
   前記第２の情報に基づき、前記境界と当該境界の２以上の端点とのそれぞれの推定結果を前記第１の情報に投影することで、前記複数の頂点のうち前記２以上の端点それぞれに対応する２以上の前記頂点間を結ぶ１以上の前記辺を特定し、
   特定した１以上の前記辺上に存在する前記頂点の位置を補正する、
   請求項７に記載の情報処理装置。
9. 前記補正部は、
   特定した１以上の前記辺のうち少なくとも一部の辺を含む１以上の面それぞれ重心を、前記外面における法線ベクトルの分布がマッピングされた法線マップに投影することで、前記法線マップ上の前記重心が投影された点における前記法線ベクトルに応じて当該１以上の面それぞれの理想的な法線を推定し、
   前記法線の推定結果に基づき、特定した１以上の前記辺上に存在する前記頂点の位置を補正する、
   請求項８に記載の情報処理装置。
10. 前記補正部は、
    前記第２の情報に基づき、前記境界を含む近似平面を推定して、当該近似平面を前記第１の情報に投影し、
    前記近似平面の投影結果に基づき、前記複数の頂点のうち少なくとも一部の頂点の位置を補正する、
    請求項７に記載の情報処理装置。
11. 前記補正部は、
    前記第２の情報に基づき、前記境界の端点の推定結果を前記第１の情報に投影することで、前記複数の頂点のうち前記端点が投影される点に対応する前記頂点を特定し、
    特定した前記頂点を含む１以上の面それぞれの重心を、前記外面における法線ベクトルの分布がマッピングされた法線マップに投影することで、前記法線マップ上の前記重心が投影された点における前記法線ベクトルに応じて前記１以上の面それぞれの理想的な法線を推定し、
    前記法線の推定結果に基づき、前記複数の頂点のうち少なくとも一部の頂点の位置を補正する、
    請求項７に記載の情報処理装置。
12. コンピュータが、
    実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得することと、
    前記第２の情報に基づき、前記第１の情報を補正することと、
    を含む、情報処理方法。
13. コンピュータに、
    実空間上における物体の形状の推定結果に関する第１の情報と、前記物体の幾何学的特徴の推定結果に関する第２の情報と、を取得することと、
    前記第２の情報に基づき、前記第１の情報を補正することと、
    を実行させる、プログラム。
    
    

Images