JP2019003280A - 情報処理装置、情報処理方法及びプログラム - Google Patents

Abstract

【課題】マップ作成時とその後の複合現実感等の体験時との間で現実空間の環境が大きく異なった場合に、撮像部の位置の推定精度の低下を防止し得る仕組みを提供する。【解決手段】抽出部１１０２で現実空間に係る画像から抽出した特徴を用いて現実空間における撮像部１３００の位置を推定する推定部１１０３と、抽出した特徴と推定した撮像部１３００の位置とを用いて現実空間における当該特徴のマップ１１０５を生成する生成部１１０４と、マップ作成時において取得部１１０７で取得した第１の環境パラメータをマップ１１０５に関連付けて記録する記録部１１０８と、第１の環境パラメータと、複合現実感等の体験時において取得部１１０７で取得した第２の環境パラメータとの差が基準値よりも大きい場合に、通知部１５００から警告を通知させる制御を行う差分判定部１１１０を備える。【選択図】図１

Description

本発明は、現実空間に係る画像を処理する情報処理装置及び情報処理方法、並びに、当該情報処理方法をコンピュータに実行させるためのプログラムに関するものである。

現実空間と仮想空間とをリアルタイムに融合させる技術として、複合現実感（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ：ＭＲ）技術や拡張現実感（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ：ＡＲ）技術が知られている。これらの技術は、現実空間とコンピュータによって作られる仮想空間とを繋ぎ目なく融合する技術である。そして、これらの技術は、例えば、組み立て作業時に作業手順や配線の様子を重畳表示する組み立て支援や、患者の体表面に体内の様子を重畳表示する手術支援等の様々な分野への応用が期待されている。

仮想物体が現実空間に実在するように観察者が感じるための装置の１つとして、ビデオシースルー型の情報処理装置がある。この情報処理装置は、例えば、ビデオカメラ等の撮像部で現実空間を撮影し、その撮影画像に仮想物体を重畳して得た合成画像を、リアルタイムにディスプレイ等の表示部に表示して、観察者に提示する装置である。一般に、このような情報処理装置としては、背面にビデオカメラを有するタブレット端末である携帯型情報端末や、頭部搭載型のビデオシースルー型ＨＭＤ（Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）等が用いられる。

また、このような情報処理装置では、複合現実感等の体験時のために情報処理装置（具体的には撮像部）の現実空間内での位置を計算して推定する自己位置推定を行う必要がある。この際、高精度な自己位置推定を行うと処理負荷が高くなるため、自己位置推定の精度を保ちつつ、複合現実感等の体験時の処理負荷を低減させる手法が検討されている。その手法の１つとして、従来においては、体験領域について予めマップを作成する手法（例えば、特許文献１）や、体験時にマップを参照しながら自己位置推定を行う手法（例えば、特許文献２）が検討されている。

米国特許第８７８７６１４号明細書 特許第５２９６７４６号公報

Klein, G., Murray, D.: Parallel tracking and mapping for small AR workspaces. In: Intl. Symp. on Mixed and Augmented Reality (ISMAR), 2007 LSD-SLAM: Large-Scale Direct Monocular SLAM, J. Engel, T. Schops, D. Cremers, European Conference on Computer Vision (ECCV), 2014

しかしながら、上述した従来の技術においては、マップ作成時（第１の時点）とその後の複合現実感等の体験時（第２の時点）との間で現実空間の環境が大きく異なった場合に、撮像部の位置の推定精度が低下してしまうという問題があった。

本発明は、このような問題点に鑑みてなされたものであり、マップ作成時（第１の時点）とその後の複合現実感等の体験時（第２の時点）との間で現実空間の環境が大きく異なった場合に、撮像部の位置の推定精度の低下を防止し得る仕組みを提供することを目的とする。

本発明の情報処理装置は、撮像部で撮像された現実空間に係る画像を取得する画像取得手段と、前記画像から特徴を抽出する抽出手段と、前記特徴を用いて、前記現実空間における前記撮像部の位置を推定する推定手段と、前記特徴と前記推定手段で推定した前記撮像部の位置とを用いて、前記現実空間における前記特徴のマップを生成する生成手段と、前記現実空間の環境を表す環境パラメータを取得するパラメータ取得手段と、前記生成手段で前記マップを生成した第１の時点において前記パラメータ取得手段で取得した前記環境パラメータである第１の環境パラメータを、当該マップに関連付けて記録する記録手段と、前記第１の環境パラメータと、前記第１の時点よりも後の第２の時点において前記パラメータ取得手段で取得した前記環境パラメータである第２の環境パラメータとの差が基準値よりも大きい場合に、警告を通知する通知手段と、を有する。
本発明の情報処理装置における他の態様は、撮像部で撮像された現実空間に係る画像を取得する画像取得手段と、前記画像から特徴を抽出する抽出手段と、前記特徴を用いて、前記現実空間における前記撮像部の位置を推定する推定手段と、前記特徴と前記推定手段で推定した前記撮像部の位置とを用いて、前記現実空間における複数の環境条件に対応した前記特徴の複数のマップを生成する生成手段と、前記現実空間の前記複数の環境条件に係る環境を表す環境パラメータを取得するパラメータ取得手段と、前記生成手段で前記複数のマップを生成した第１の時点において前記パラメータ取得手段で前記複数の環境条件ごとに取得した複数の前記環境パラメータである複数の第１の環境パラメータを、それぞれ対応する当該複数のマップに関連付けて記録する記録手段と、前記第１の時点よりも後の第２の時点において前記パラメータ取得手段で取得した前記環境パラメータである第２の環境パラメータに基づいて、前記複数のマップの中から１つのマップを選択する選択手段と、を有し、前記推定手段は、前記第２の時点において前記抽出手段で抽出した特徴と、前記選択手段で選択したマップとを用いて、前記第２の時点における前記撮像部の位置を推定する。
また、本発明は、上述した情報処理装置による情報処理方法、及び、当該情報処理方法をコンピュータに実行させるためのプログラムを含む。

本発明によれば、マップ作成時（第１の時点）とその後の複合現実感等の体験時（第２の時点）との間で現実空間の環境が大きく異なった場合に、撮像部の位置の推定精度の低下を防止することができる。

本発明の第１の実施形態に係る情報処理システムの機能構成の一例を示すブロック図である。 本発明の第１の実施形態に係る情報処理システムのハードウェア構成の一例を示すブロック図である。 本発明の第１の実施形態に係る情報処理装置によるマップ生成時（第１の時点）の処理手順の一例を示すフローチャートである。 本発明の第１の実施形態に係る情報処理装置による複合現実感等の体験時（第２の時点）の処理手順の一例を示すフローチャートである。 本発明の第２の実施形態に係る情報処理システムの機能構成の一例を示すブロック図である。 本発明の第２の実施形態に係る情報処理装置によるマップ生成時（第１の時点）の処理手順の一例を示すフローチャートである。 本発明の第２の実施形態に係る情報処理装置による複合現実感等の体験時（第２の時点）の処理手順の一例を示すフローチャートである。

以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。

（第１の実施形態）
まず、本発明の第１の実施形態について説明する。

図１は、本発明の第１の実施形態に係る情報処理システム１０００の機能構成の一例を示すブロック図である。本実施形態に係る情報処理システム１０００は、図１に示すように、情報処理装置１１００、操作入力部１２００、撮像部１３００、照度センサー１４００、及び、通知部１５００を有して構成されている。なお、本明細書原稿においては、図１に示す情報処理装置１１００を「情報処理装置１１００−１」と記載する。また、情報処理装置１１００−１は、図１に示すように、画像取得部１１０１、特徴抽出部１１０２、自己位置推定部１１０３、マップ生成部１１０４、マップ１１０５、パラメータ設定部１１０６、パラメータ取得部１１０７、パラメータ記録部１１０８、基準値設定部１１０９、及び、差分判定部１１１０の各機能構成を有している。

操作入力部１２００は、ユーザである観察者が操作を行って情報処理装置１１００−１に対して情報を入力する。

撮像部１３００は、情報処理装置１１００−１の制御に基づいて、現実空間に係る画像を撮像する。

照度センサー１４００は、情報処理装置１１００−１の制御に基づいて、現実空間の照度を検出する。なお、本実施形態においては、現実空間の環境を表す環境パラメータとして照度の情報を取得する例について説明を行うが、本発明においてはこれに限定されるものではない。

次いで、情報処理装置１１００−１について説明する。

画像取得部１１０１は、操作入力部１２００からの入力情報に基づいて、撮像部１３００から現実空間に係る画像を取得する。特徴抽出部１１０２は、画像取得部１１０１で取得した画像から、画像中の特徴を抽出する。

自己位置推定部１１０３は、マップ生成時（第１の時点）においては、特徴抽出部１１０２で抽出した特徴を用いて、現実空間における撮像部１３００の位置を推定する自己位置推定を行う。また、自己位置推定部１１０３は、マップ生成時（第１の時点）よりも後の複合現実感等の体験時（第２の時点）においては、当該体験時に特徴抽出部１１０２で抽出した特徴とマップ１１０５から得たマップ情報とを用いて、現実空間における撮像部１３００の位置を推定する自己位置推定を行う。

マップ生成部１１０４は、特徴抽出部１１０２で抽出した特徴と自己位置推定部１１０３で推定した撮像部１３００の位置とを用いて、現実空間における当該特徴のマップ１１０５を生成する。

パラメータ設定部１１０６は、操作入力部１２００からの入力情報に基づいて、現実空間の環境を表す環境パラメータを設定する。具体的に、本実施形態においては、パラメータ設定部１１０６は、環境パラメータとして照度の情報を設定する。

パラメータ取得部１１０７は、パラメータ設定部１１０６で設定された環境パラメータに従って、現実空間の環境を表す環境パラメータを取得する。具体的に、本実施形態においては、パラメータ取得部１１０７は、環境パラメータとして照度の情報を取得する。

パラメータ記録部１１０８は、マップ生成時（第１の時点）においてパラメータ取得部１１０７で取得した環境パラメータ（第１の環境パラメータ）を、マップ１１０５に関連付けて記録する。具体的に、本実施形態においては、パラメータ記録部１１０８は、第１の環境パラメータとしてパラメータ取得部１１０７で取得した照度の情報を、マップ１１０５に関連付けて記録する。なお、パラメータ記録部１１０８は、環境パラメータをマップ１１０５に関連付けて記録する場合に、環境パラメータをマップ１１０５の内部に記録する態様であっても、環境パラメータをマップ１１０５とは別情報として記録する態様であってもよい。

基準値設定部１１０９は、操作入力部１２００からの入力情報に基づいて、差分判定部１１１０による判定基準である基準値（許容値）を設定する。差分判定部１１１０は、マップ１１０５に関連付けて記録されている環境パラメータ（第１の環境パラメータ）と、複合現実感等の体験時（第２の時点）においてパラメータ取得部１１０７で取得した環境パラメータ（第２の環境パラメータ）との差が、基準値設定部１１０９で設定した基準値以下であるか否かを判定する。ここで、第１の環境パラメータと第２の環境パラメータとの差が基準値以下でない場合（即ち、第１の環境パラメータと第２の環境パラメータとの差が基準値よりも大きい場合）には、マップ生成時（第１の時点）と複合現実感等の体験時（第２の時点）との間で現実空間の環境が大きく異なり、自己位置推定部１１０３による自己位置推定の精度が低下することが想定される場合である。この場合、差分判定部１１１０は、自己位置推定部１１０３による自己位置推定の精度が低下する可能性がある旨の警告を通知部１５００から通知するべく、通知部１５００を制御する。

通知部１５００は、差分判定部１１１０において第１の環境パラメータと第２の環境パラメータ）との差が、基準値設定部１１０９で設定した基準値以下でないと判定された場合（即ち、第１の環境パラメータと第２の環境パラメータとの差が基準値よりも大きいと判定された場合）に、差分判定部１１１０の制御に基づいて、自己位置推定部１１０３による自己位置推定の精度が低下する可能性がある旨の警告を通知する。例えば、通知部１５００は、当該警告を表示してユーザに通知する態様をとり得る。なお、本実施形態においては、当該警告を表示して通知する態様に限定されるものではなく、例えば、情報処理装置１１００−１の各機能構成に出力して通知する態様や他の外部装置に出力して通知する態様も適用可能である。また、図１に示す例では、情報処理装置１１００−１の外部に通知部１５００を設けた形態を示しているが、本発明はこの形態に限定されるものではなく、情報処理装置１１００−１の内部に通知部１５００を設けた形態も本発明に適用可能である。

図２は、本発明の第１の実施形態に係る情報処理システム１０００のハードウェア構成の一例を示すブロック図である。なお、図２において、図１に示す構成と同様の構成については同じ符号を付しており、その詳細な説明は省略する。

情報処理装置１１００は、図２に示すように、ＣＰＵ１１２１、ＲＡＭ１１２２、ＲＯＭ１１２３、外部記憶装置１１２４、記憶媒体ドライブ１１２５、入出力Ｉ／Ｆ（インターフェース）１１２６、及び、バス１１２７の各ハードウェア構成を有している。

ＣＰＵ１１２１は、バス１１２７を介して接続する各デバイス（各ハードウェア構成）を統括的に制御して、情報処理装置１１００の動作を制御する。ＣＰＵ１１２１は、読み出し専用メモリであるＲＯＭ１１２３に記憶されたプログラムを読み出して実行する。なお、本実施形態においては、例えば、オペレーティングシステム（ＯＳ）をはじめとして、本実施形態に係る各処理のプログラムやデバイスドライバ等は、ＲＯＭ１１２３に記憶されているものとする。ＣＰＵ１１２１は、これらのプログラム等をランダムアクセスメモリであるＲＡＭ１１２２に一時記憶して、適宜実行する。

外部記憶装置１１２４は、例えば、ＣＰＵ１１２１の各制御・処理により得られた情報等を記憶する。記憶媒体ドライブ１１２５は、記憶媒体を読み書きする装置である。

入出力Ｉ／Ｆ１１２６は、ＣＰＵ１１２１の制御に基づいて、外部の装置（表示部１６００や操作入力部１２００等）から情報処理装置１１００で処理可能な形式で入力信号を入力する。また、入出力Ｉ／Ｆ１１２６は、ＣＰＵ１１２１の制御に基づいて、外部の装置（表示部１６００等）で処理可能な形式で出力信号を出力する。

図１に示す操作入力部１２００の一形態として、図２には、キーボード１２０１及びマウス１２０２が設けられている。また、図１に示す通知部１５００の一形態として、図２には、表示部１６００が設けられている。

ここで、図１に示す情報処理装置１１００−１の各機能構成と、図２に示す情報処理システム１０００の各ハードウェア構成との対応関係の一例について説明する。
例えば、図２に示すＣＰＵ１１２１がＲＯＭ１１２３に記憶されているプログラムをＲＡＭ１１２２に展開して実行することにより、図１に示す情報処理装置１１００−１の各機能構成１１０１〜１１１０が実現される。なお、例えば、ＣＰＵ１１２１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、図１に示す情報処理装置１１００−１の各機能構成１１０１〜１１１０の処理に対応させた演算部や回路部を構成する態様も適用可能である。

次に、図１に示す情報処理装置１１００−１による情報処理方法の処理手順について、図３及び図４を用いて説明する。

図３は、本発明の第１の実施形態に係る情報処理装置１１００−１によるマップ生成時（第１の時点）の処理手順の一例を示すフローチャートである。

図３に示すフローチャートの処理が開始されると、まず、ステップＳ１０１において、パラメータ設定部１１０６は、操作入力部１２００からの入力情報に基づいて、現実空間の環境を表す環境パラメータとして照度の情報を設定する。

続いて、ステップＳ１０２において、画像取得部１１０１は、操作入力部１２００からの入力情報に基づいて、撮像部１３００から現実空間に係る画像を取得する。

続いて、ステップＳ１０３において、特徴抽出部１１０２は、ステップＳ１０２で取得された画像から、画像中の特徴を抽出する。この際、このステップＳ１０３の具体的な処理手法としては、公知の何れの手法を用いてもよい（例えば、非特許文献１や非特許文献２参照）。

続いて、ステップＳ１０４において、自己位置推定部１１０３は、ステップＳ１０３で抽出された特徴を用いて、マップ生成時（第１の時点）での、現実空間における撮像部１３００の位置を推定する自己位置推定を行う。このステップＳ１０４の具体的な処理手法としては、公知の何れの手法を用いてもよい（例えば、非特許文献１や非特許文献２参照）。

続いて、ステップＳ１０５において、マップ生成部１１０４は、ステップＳ１０３で抽出された特徴とステップＳ１０４で推定された撮像部１３００の位置とを用いて、現実空間における当該特徴のマップ１１０５を生成する。このステップＳ１０５の具体的な処理手法としては、公知の何れの手法を用いてもよい（例えば、非特許文献１や非特許文献２、特許文献１参照）。

続いて、ステップＳ１０６において、パラメータ取得部１１０７は、パラメータ設定部１１０６で設定された環境パラメータに従って、照度センサー１４００から、現実空間の環境を表す環境パラメータとして照度の情報を取得する。なお、ステップＳ１０６で取得した照度の情報は、マップ生成時（第１の時点）に取得した第１の環境パラメータに相当する。

続いて、ステップＳ１０７において、パラメータ記録部１１０８は、ステップＳ１０６で取得した第１の環境パラメータに相当する照度の情報を、ステップＳ１０５で生成したマップ１１０５に関連付けて記録する。この際、照度の情報をマップ１１０５に対して全ての点について記録するようにしても、任意の点について記録するようにしてもよい。また、撮像部１３００の自己位置推定がされており、特徴点を十分推定できているときに、キーフレームと呼ばれる画像を動画像から取得し、取得したキーフレームごとに照度の情報を記録してもよい。また、マップ１１０５が複数存在してもよく、その場合にはマップ１１０５ごとに照度の情報を記録する。

続いて、ステップＳ１０８において、情報処理装置１１００−１（例えば、マップ生成部１１０４）は、マップ１１０５が完成したか否かを判断する。このステップＳ１０８の具体的な処理手法としては、ユーザによる判断や所定の時間が経過した場合の他、公知の何れの手法を用いてもよい（例えば、特許文献１参照）。このステップＳ１０８の判断の結果、マップ１１０５が未完成である場合には（Ｓ１０８／ＮＯ）、ステップＳ１０２に戻り、ステップＳ１０２以降の処理を再度行う。

一方、ステップＳ１０８の判断の結果、マップ１１０５が完成した場合には（Ｓ１０８／ＹＥＳ）、図３に示すフローチャートの処理を終了する。

図４は、本発明の第１の実施形態に係る情報処理装置１１００−１による複合現実感等の体験時（第２の時点）の処理手順の一例を示すフローチャートである。

図４に示すフローチャートの処理が開始されると、まず、ステップＳ２０１において、基準値設定部１１０９は、操作入力部１２００からの入力情報に基づいて、差分判定部１１１０による判定基準である基準値（許容値）を設定する。このステップＳ２０１で設定される基準値は、例えば、ユーザが任意に設定した値であっても、実験によって求められた値であってもよい。

続いて、ステップＳ２０２において、パラメータ取得部１１０７は、パラメータ設定部１１０６で設定された環境パラメータに従って、照度センサー１４００から、現実空間の環境を表す環境パラメータとして照度の情報を取得する。なお、ステップＳ２０２で取得した照度の情報は、複合現実感等の体験時（第２の時点）に取得した第２の環境パラメータに相当する。

続いて、ステップＳ２０３において、画像取得部１１０１は、操作入力部１２００からの入力情報に基づいて、撮像部１３００から現実空間に係る画像を取得する。

続いて、ステップＳ２０４において、特徴抽出部１１０２は、ステップＳ２０３で取得された画像から、画像中の特徴を抽出する。この際、このステップＳ２０４の具体的な処理手法としては、公知の何れの手法を用いてもよい（例えば、非特許文献１や非特許文献２参照）。

続いて、ステップＳ２０５において、差分判定部１１１０は、ステップＳ２０４で抽出された特徴に基づいて、マップ１１０５から当該特徴と最もよく一致する点について記録されている照度の情報（第１の環境パラメータ）を取得する。

続いて、ステップＳ２０６において、差分判定部１１１０は、ステップＳ２０５で取得した照度の情報（第１の環境パラメータ）と、ステップＳ２０２で取得された照度の情報（第２の環境パラメータ）との差が、ステップＳ２０１で設定された基準値以下であるか否かを判断する。

ステップＳ２０６の判断の結果、第１の環境パラメータと第２の環境パラメータとの差が基準値以下である場合には（Ｓ２０６／ＹＥＳ）、ステップＳ２０７に進む。なお、ステップＳ２０７に進む場合は、マップ生成時（第１の時点）と複合現実感等の体験時（第２の時点）との間で現実空間の環境が大きく変化していないと考えられる場合である。
ステップＳ２０７に進むと、自己位置推定部１１０３は、ステップＳ２０４で抽出された特徴とマップ１１０５から得たマップ情報とを用いて、複合現実感等の体験時（第２の時点）での、現実空間における撮像部１３００の位置を推定する自己位置推定を行う。このステップＳ２０７の具体的な処理手法としては、公知の何れの手法を用いてもよい（例えば、非特許文献１や非特許文献２参照）。そして、このステップＳ２０７の処理が終了すると、ステップＳ２０２に戻り、ステップＳ２０２以降の処理を再度行う。

一方、ステップＳ２０６の判断の結果、第１の環境パラメータと第２の環境パラメータとの差が基準値以下でない場合（即ち、基準値よりも大きい場合）には（Ｓ２０６／ＮＯ）、ステップＳ２０８に進む。なお、ステップＳ２０８に進む場合は、マップ生成時（第１の時点）と複合現実感等の体験時（第２の時点）との間で現実空間の環境が大きく異なり、自己位置推定部１１０３による自己位置推定の精度が低下することが想定される場合である。
ステップＳ２０８に進むと、通知部１５００は、差分判定部１１１０の制御に基づいて、自己位置推定部１１０３による自己位置推定の精度が低下する可能性がある旨の警告を通知する。そして、このステップＳ２０８の処理が終了すると、図４に示すフローチャートの処理を終了する。

［第１の実施形態の変形例１］
上述した第１の実施形態の本文の説明では、現実空間の環境を表す環境パラメータとして照度の情報を取得するものであったが、第１の実施形態の変形例１は、当該環境パラメータとして温度の情報を取得するものである。本変形例１の場合には、図１に示す照度センサー１４００に替えて温度センサーを適用し、パラメータ設定部１１０６では、環境パラメータとして温度の情報を設定する態様を採る。また、本変形例１の場合における他の処理については、上述した第１の実施形態における「照度の情報」に替えて「温度の情報」を適用する態様を採る。

［第１の実施形態の変形例２］
第１の実施形態の変形例２は、現実空間の環境を表す環境パラメータとして撮像部１３００の内部温度の情報を取得するものである。本変形例２の場合には、図１に示す照度センサー１４００に替えて撮像部１３００の内部に温度センサーを適用し、パラメータ設定部１１０６では、環境パラメータとして撮像部１３００の内部温度の情報を設定する態様を採る。また、本変形例２の場合における他の処理については、上述した第１の実施形態における「照度の情報」に替えて「撮像部１３００の内部温度の情報」を適用する態様を採る。なお、本変形例２の場合、図３のステップＳ１０７で記録する撮像部１３００の内部温度の情報は、マップ１１０５の各点に対応していなくてもよい。

［第１の実施形態の変形例３］
第１の実施形態の変形例３は、現実空間の環境を表す環境パラメータとして湿度の情報を取得するものである。本変形例３の場合には、図１に示す照度センサー１４００に替えて湿度センサーを適用し、パラメータ設定部１１０６では、環境パラメータとして湿度の情報を設定する態様を採る。また、本変形例３の場合における他の処理については、上述した第１の実施形態における「照度の情報」に替えて「湿度の情報」を適用する態様を採る。

以上説明したように、第１の実施形態（変形例１〜３も含む）では、差分判定部１１１０は、マップ生成時（第１の時点）の第１の環境パラメータと、複合現実感等の体験時（第２の時点）の第２の環境パラメータとの差が基準値よりも大きい場合に、自己位置推定部１１０３による自己位置推定の精度が低下する可能性がある旨の警告を通知部１５００から通知させる制御を行っている。
かかる構成によれば、自己位置推定部１１０３による自己位置推定の精度が低下することが想定される場合に、当該自己位置推定に基づく複合現実感等の体験が行われることを回避することが可能となる。

（第２の実施形態）
次に、本発明の第２の実施形態について説明する。

図５は、本発明の第２の実施形態に係る情報処理システム２０００の機能構成の一例を示すブロック図である。本実施形態に係る情報処理システム２０００は、図１に示すように、情報処理装置１１００、操作入力部１２００、撮像部１３００、及び、照度センサー１４００を有して構成されている。なお、本明細書原稿においては、図５に示す情報処理装置１１００を「情報処理装置１１００−２」と記載する。また、情報処理装置１１００−２は、図５に示すように、画像取得部１１０１、特徴抽出部１１０２、自己位置推定部１１０３、マップ生成部１１０４、マップ１１１１、パラメータ設定部１１０６、パラメータ取得部１１０７、パラメータ記録部１１０８、及び、マップ選択部１１１２の各機能構成を有している。なお、図５において、図１に示す構成と同様の構成については同じ符号を付しており、その詳細な説明は省略する。

以下、情報処理装置１１００−２について説明する。なお、第２の実施形態においても、第１の実施形態と同様に、現実空間の環境を表す環境パラメータとして照度の情報を取得する例について説明を行うが、本発明においてはこれに限定されるものではない。

画像取得部１１０１は、操作入力部１２００からの入力情報に基づいて、撮像部１３００から現実空間に係る画像を取得する。特徴抽出部１１０２は、画像取得部１１０１で取得した画像から、画像中の特徴を抽出する。

自己位置推定部１１０３は、マップ生成時（第１の時点）においては、特徴抽出部１１０２で抽出した特徴を用いて、現実空間における撮像部１３００の位置を推定する自己位置推定を行う。また、自己位置推定部１１０３は、マップ生成時（第１の時点）よりも後の複合現実感等の体験時（第２の時点）においては、当該体験時に特徴抽出部１１０２で抽出した特徴とマップ選択部１１１２で選択したマップから得たマップ情報とを用いて、現実空間における撮像部１３００の位置を推定する自己位置推定を行う。

マップ生成部１１０４は、操作入力部１２００からの入力情報に基づいて、特徴抽出部１１０２で抽出した特徴と自己位置推定部１１０３で推定した撮像部１３００の位置とを用いて、現実空間における複数の環境条件に対応した当該特徴の複数のマップ１１１１を生成する。具体的に、本実施形態においては、マップ生成部１１０４は、現実空間における複数の照度条件に対応した複数のマップ１１１１を生成する。

パラメータ設定部１１０６は、操作入力部１２００からの入力情報に基づいて、現実空間の環境を表す環境パラメータを設定する。具体的に、本実施形態においては、パラメータ設定部１１０６は、環境パラメータとして照度の情報を設定する。

パラメータ取得部１１０７は、パラメータ設定部１１０６で設定された環境パラメータに従って、現実空間の上述した複数の環境条件に係る環境（具体的に本実施形態においては、照度）を表す環境パラメータを取得する。より詳細に、パラメータ取得部１１０７は、マップ生成時（第１の時点）においては、操作入力部１２００からの入力情報に基づいて、複数のマップ１１１１を生成する複数の環境条件ごとに複数の環境パラメータ（複数の第１の環境パラメータ）を取得する。また、パラメータ取得部１１０７は、複合現実感等の体験時（第２の時点）においては、操作入力部１２００からの入力情報に基づいて、当該体験時の現実空間における環境パラメータ（第２の環境パラメータ）を取得する。

パラメータ記録部１１０８は、マップ生成時（第１の時点）においてパラメータ取得部１１０７で取得した複数の環境パラメータ（複数の第１の環境パラメータ）を、それぞれ環境条件が対応する複数のマップ１１１１に関連付けて記録する。具体的に、本実施形態においては、パラメータ記録部１１０８は、複数の第１の環境パラメータとしてパラメータ取得部１１０７で取得した複数の照度の情報を、それぞれ照度条件が対応する複数のマップ１１１１に関連付けて記録する。なお、パラメータ記録部１１０８は、複数の第１の環境パラメータをそれぞれ対応する複数のマップ１１１１に関連付けて記録する場合に、各環境パラメータを対応する各マップの内部に記録する態様であっても、各環境パラメータを対応する各マップとは別情報として記録する態様であってもよい。

マップ選択部１１１２は、複合現実感等の体験時（第２の時点）においてパラメータ取得部１１０７で取得した第２の環境パラメータに基づいて、複数のマップ１１１１の中から１つのマップを選択する。具体的に、マップ選択部１１１２は、複数のマップ１１１１の中から、第２の環境パラメータ（照度の情報）との関係で最も近い第１の環境パラメータ（照度の情報）が関連付けて記録されているマップを当該１つのマップとして選択する。

なお、図５に示す情報処理システム２０００のハードウェア構成は、上述した図２に示す第１の実施形態に係る情報処理システム１０００のハードウェア構成と同様である。この場合、例えば、図２に示すＣＰＵ１１２１がＲＯＭ１１２３に記憶されているプログラムをＲＡＭ１１２２に展開して実行することにより、図５に示す情報処理装置１１００−２の各機能構成１１０１〜１１０４，１１０６〜１１０８，１１１１，１１１２が実現される。なお、例えば、ＣＰＵ１１２１を用いたソフトウェア処理の代替としてハードウェアを構成する場合には、図５に示す情報処理装置１１００−２の各機能構成１１０１〜１１０４，１１０６〜１１０８，１１１１，１１１２の処理に対応させた演算部や回路部を構成する態様も適用可能である。

次に、図５に示す情報処理装置１１００−２による情報処理方法の処理手順について、図６及び図７を用いて説明する。

図６は、本発明の第２の実施形態に係る情報処理装置１１００−２によるマップ生成時（第１の時点）の処理手順の一例を示すフローチャートである。この図６において、図３に示す処理ステップと同様の処理ステップについては、同じステップ番号を付している。

まず、図３に示す第１の実施形態と同様に、或る照度条件についてステップＳ１０１〜ステップＳ１０８の処理を行う。

ステップＳ１０８の判断の結果、或る照度条件におけるマップが完成した場合には（Ｓ１０８／ＹＥＳ）、ステップＳ３０１に進む。
ステップＳ３０１に進むと、情報処理装置１１００−２（例えば、マップ生成部１１０４）は、例えば操作入力部１２００からの入力情報に基づき指定された複数の照度条件に係る複数のマップ１１１１が完成したか否かを判断する。ここで、複数の照度条件は、ユーザが任意に決定した条件であっても、撮像部１３００ごとに定められている条件であってもよい。

ステップＳ３０１の判断の結果、複数のマップ１１１１が未完成である場合には（Ｓ３０１／ＮＯ）、ステップＳ３０２に進む。
ステップＳ３０２に進むと、情報処理装置１１００−２（例えば、マップ生成部１１０４）は、未だ処理を行っていない照度条件に変更し、生成するマップを切り替える。その後、ステップＳ１０２に戻り、ステップＳ１０２以降の処理を再度行う。なお、このステップ３０２以降の処理では、情報処理装置１１００−２は、ステップＳ１０５で生成するマップとステップＳ１０７で記録する照度の情報を、これまでの処理で得られたものと別の場所に保存する。また、照度条件の異なるマップの生成は連続して行わなくてもよい。

一方、ステップＳ３０１の判断の結果、複数のマップ１１１１が完成した場合には（Ｓ３０１／ＹＥＳ）、図６に示すフローチャートの処理を終了する。

図７は、本発明の第２の実施形態に係る情報処理装置１１００−２による複合現実感等の体験時（第２の時点）の処理手順の一例を示すフローチャートである。この図７において、図４に示す処理ステップと同様の処理ステップについては、同じステップ番号を付している。

図７に示すフローチャートの処理が開始されると、まず、図４のステップＳ２０２と同様に、パラメータ取得部１１０７は、パラメータ設定部１１０６で設定された環境パラメータに従って、照度センサー１４００から、現実空間の環境を表す環境パラメータとして照度の情報を取得する。なお、ステップＳ２０２で取得した照度の情報は、複合現実感等の体験時（第２の時点）に取得した第２の環境パラメータに相当する。

続いて、ステップＳ４０１において、マップ選択部１１１２は、複数のマップ１１１１の中から、ステップＳ２０２で取得された第２の環境パラメータ（照度の情報）との関係で最も近い第１の環境パラメータ（照度の情報）が関連付けて記録されているマップを選択する。このステップＳ４０１の処理では、マップ全体の照度平均が現在（体験時）の照度に最も近い照度のマップを選択してもよいし、マップ中の基準となる点の照度が現在（体験時）の照度に最も近い照度のマップを選択してもよい。また、マップを用いずに自己位置推定を行い、対応点の照度と現在（体験時）の照度が最も近いマップを選択し、再度、自己位置推定を行ってもよい。

続いて、図４のステップＳ２０３と同様に、画像取得部１１０１は、操作入力部１２００からの入力情報に基づいて、撮像部１３００から現実空間に係る画像を取得する。

続いて、図４のステップＳ２０４と同様に、特徴抽出部１１０２は、ステップＳ２０３で取得された画像から、画像中の特徴を抽出する。

続いて、ステップＳ４０２において、自己位置推定部１１０３は、ステップＳ２０４で抽出された特徴とステップＳ４０１で選択されたマップから得たマップ情報とを用いて、当該体験時の、現実空間における撮像部１３００の位置を推定する自己位置推定を行う。

続いて、ステップＳ４０３において、情報処理装置１１００−２は、操作入力部１２００からの入力情報に基づいて、複合現実感等の体験を終了するか否かを判断する。この判断の結果、複合現実感等の体験を終了しない場合には（Ｓ４０３／ＮＯ）、ステップＳ２０２に戻り、ステップＳ２０２以降の処理を再度行う。

一方、ステップＳ４０３の判断の結果、複合現実感等の体験を終了する場合には（Ｓ４０３／ＹＥＳ）、図７に示すフローチャートの処理を終了する。

［第２の実施形態の変形例１］
上述した第２の実施形態の本文の説明では、現実空間の環境を表す環境パラメータとして照度の情報を取得するものであったが、第２の実施形態の変形例１は、当該環境パラメータとして温度の情報を取得するものである。本変形例１の場合には、図５に示す照度センサー１４００に替えて温度センサーを適用し、パラメータ設定部１１０６では、環境パラメータとして温度の情報を設定する態様を採る。また、本変形例１の場合における他の処理については、上述した第２の実施形態における「照度の情報」に替えて「温度の情報」を適用する態様を採る。

［第２の実施形態の変形例２］
第２の実施形態の変形例２は、現実空間の環境を表す環境パラメータとして撮像部１３００の内部温度の情報を取得するものである。本変形例２の場合には、図５に示す照度センサー１４００に替えて撮像部１３００の内部に温度センサーを適用し、パラメータ設定部１１０６では、環境パラメータとして撮像部１３００の内部温度の情報を設定する態様を採る。また、本変形例２の場合における他の処理については、上述した第２の実施形態における「照度の情報」に替えて「撮像部１３００の内部温度の情報」を適用する態様を採る。なお、本変形例２の場合、図６のステップＳ１０７で記録する撮像部１３００の内部温度の情報は、複数のマップ１１１１におけるそれぞれのマップの各点に対応していなくてもよい。

［第２の実施形態の変形例３］
第２の実施形態の変形例３は、現実空間の環境を表す環境パラメータとして湿度の情報を取得するものである。本変形例３の場合には、図５に示す照度センサー１４００に替えて湿度センサーを適用し、パラメータ設定部１１０６では、環境パラメータとして湿度の情報を設定する態様を採る。また、本変形例３の場合における他の処理については、上述した第２の実施形態における「照度の情報」に替えて「湿度の情報」を適用する態様を採る。

以上説明したように、第２の実施形態（変形例１〜３も含む）では、マップ選択部１１１２は、マップ生成時（第１の時点）よりも後の複合現実感等の体験時（第２の時点）においてパラメータ取得部１１０７で取得した第２の環境パラメータに基づいて、複数のマップ１１１１の中から１つのマップを選択している。具体的に、マップ選択部１１１２は、複数のマップ１１１１の中から、第２の環境パラメータとの関係で最も近い第１の環境パラメータが関連付けて記録されているマップを選択している。そして、自己位置推定部１１０３は、複合現実感等の体験時に特徴抽出部１１０２で抽出した特徴とマップ選択部１１１２で選択したマップから得たマップ情報とを用いて、複合現実感等の体験時での、現実空間における撮像部１３００の位置を推定している。
かかる構成によれば、自己位置推定部１１０３による自己位置推定の精度が低下することを防止することができ、その結果、当該精度が低下した自己位置推定に基づく複合現実感等の体験が行われることを回避することが可能となる。

（その他の実施形態）
本発明は、上述の実施形態の１以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける１つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、１以上の機能を実現する回路（例えば、ＡＳＩＣ）によっても実現可能である。
また、このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記憶媒体は、本発明に含まれる。

なお、上述した本発明の実施形態は、いずれも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、または、その主要な特徴から逸脱することなく、様々な形で実施することができる。

１０００：情報処理システム、１１００：情報処理装置、１１０１：画像取得部、１１０２：特徴抽出部、１１０３：自己位置推定部、１１０４：マップ生成部、１１０５：マップ、１１０６：パラメータ設定部、１１０７：パラメータ取得部、１１０８：パラメータ記録部、１１０９：基準値設定部、１１１０：差分判定部、１２００：操作入力部、１３００：撮像部、１４００：照度センサー、１５００：通知部

Claims (10)

1. 撮像部で撮像された現実空間に係る画像を取得する画像取得手段と、
   前記画像から特徴を抽出する抽出手段と、
   前記特徴を用いて、前記現実空間における前記撮像部の位置を推定する推定手段と、
   前記特徴と前記推定手段で推定した前記撮像部の位置とを用いて、前記現実空間における前記特徴のマップを生成する生成手段と、
   前記現実空間の環境を表す環境パラメータを取得するパラメータ取得手段と、
   前記生成手段で前記マップを生成した第１の時点において前記パラメータ取得手段で取得した前記環境パラメータである第１の環境パラメータを、当該マップに関連付けて記録する記録手段と、
   前記第１の環境パラメータと、前記第１の時点よりも後の第２の時点において前記パラメータ取得手段で取得した前記環境パラメータである第２の環境パラメータとの差が基準値よりも大きい場合に、警告を通知する通知手段と、
   を有することを特徴とする情報処理装置。
2. 前記推定手段は、さらに、前記第１の環境パラメータと前記第２の環境パラメータとの差が基準値以下である場合に、前記第２の時点において前記抽出手段で抽出した特徴と、前記マップとを用いて、前記第２の時点における前記撮像部の位置を推定することを特徴とする請求項１に記載の情報処理装置。
3. 撮像部で撮像された現実空間に係る画像を取得する画像取得手段と、
   前記画像から特徴を抽出する抽出手段と、
   前記特徴を用いて、前記現実空間における前記撮像部の位置を推定する推定手段と、
   前記特徴と前記推定手段で推定した前記撮像部の位置とを用いて、前記現実空間における複数の環境条件に対応した前記特徴の複数のマップを生成する生成手段と、
   前記現実空間の前記複数の環境条件に係る環境を表す環境パラメータを取得するパラメータ取得手段と、
   前記生成手段で前記複数のマップを生成した第１の時点において前記パラメータ取得手段で前記複数の環境条件ごとに取得した複数の前記環境パラメータである複数の第１の環境パラメータを、それぞれ対応する当該複数のマップに関連付けて記録する記録手段と、
   前記第１の時点よりも後の第２の時点において前記パラメータ取得手段で取得した前記環境パラメータである第２の環境パラメータに基づいて、前記複数のマップの中から１つのマップを選択する選択手段と、
   を有し、
   前記推定手段は、前記第２の時点において前記抽出手段で抽出した特徴と、前記選択手段で選択したマップとを用いて、前記第２の時点における前記撮像部の位置を推定することを特徴とする情報処理装置。
4. 前記選択手段は、前記第２の環境パラメータとの関係で最も近い前記第１の環境パラメータが関連付けて記録されている前記マップを前記１つのマップとして選択することを特徴とする請求項３に記載の情報処理装置。
5. 前記パラメータ取得手段は、前記環境パラメータとして照度の情報を取得することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
6. 前記パラメータ取得手段は、前記環境パラメータとして温度の情報を取得することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
7. 前記パラメータ取得手段は、前記環境パラメータとして湿度の情報を取得することを特徴とする請求項１乃至４のいずれか１項に記載の情報処理装置。
8. 撮像部で撮像された現実空間に係る画像を取得する画像取得ステップと、
   前記画像から特徴を抽出する抽出ステップと、
   前記特徴を用いて、前記現実空間における前記撮像部の位置を推定する推定ステップと、
   前記特徴と前記推定ステップで推定した前記撮像部の位置とを用いて、前記現実空間における前記特徴のマップを生成する生成ステップと、
   前記現実空間の環境を表す環境パラメータを取得するパラメータ取得ステップと、
   前記生成ステップで前記マップを生成した第１の時点において前記パラメータ取得ステップで取得した前記環境パラメータである第１の環境パラメータを、当該マップに関連付けて記録する記録ステップと、
   前記第１の環境パラメータと、前記第１の時点よりも後の第２の時点において前記パラメータ取得ステップで取得した前記環境パラメータである第２の環境パラメータとの差が基準値よりも大きい場合に、警告を通知する通知ステップと、
   を有することを特徴とする情報処理方法。
9. 撮像部で撮像された現実空間に係る画像を取得する画像取得ステップと、
   前記画像から特徴を抽出する抽出ステップと、
   前記特徴を用いて、前記現実空間における前記撮像部の位置を推定する第１の推定ステップと、
   前記特徴と前記第１の推定ステップで推定した前記撮像部の位置とを用いて、前記現実空間における複数の環境条件に対応した前記特徴の複数のマップを生成する生成ステップと、
   前記現実空間の前記複数の環境条件に係る環境を表す環境パラメータを取得するパラメータ取得ステップと、
   前記生成ステップで前記複数のマップを生成した第１の時点において前記パラメータ取得ステップで前記複数の環境条件ごとに取得した複数の前記環境パラメータである複数の第１の環境パラメータを、それぞれ対応する当該複数のマップに関連付けて記録する記録ステップと、
   前記第１の時点よりも後の第２の時点において前記パラメータ取得ステップで取得した前記環境パラメータである第２の環境パラメータに基づいて、前記複数のマップの中から１つのマップを選択する選択ステップと、
   前記第２の時点において前記抽出ステップで抽出した特徴と、前記選択ステップで選択したマップとを用いて、前記第２の時点における前記撮像部の位置を推定する第２の推定ステップと、
   を有することを特徴とする情報処理方法。
10. 請求項８または９に記載の情報処理方法における各ステップをコンピュータに実行させるためのプログラム。

Images