JP2018165925A - 情報処理システム、情報処理方法、情報処理プログラム - Google Patents

Abstract

【課題】仮想現実空間や拡張現実空間に対する入力を行うことができる情報処理システムを提供する。【解決手段】履物と情報処理装置とを含む情報処理システムであって、履物は、履物の動きを検出するためのセンサを備え、情報処理システムは、センシングデータの経時的変化に基づいて履物の動きを検出する検出部と、検出部が検出した動きに応じて、履物を履いているユーザに対して提供する空間情報を生成する生成部を備え、情報処理装置は、空間情報を出力する出力部を備える。【選択図】図１

Description

本発明は、履物を利用した入力を行う情報処理システム、情報処理方法および情報処理プログラムに関する。

従来、様々な入力デバイスの研究が開発なされている。一般的な入力デバイスとしては、例えば、手で操作するコントローラなどが周知されており、様々な分野で活用されている。また、ユーザの動きを検出して、テニスゲームへの入力とする技術が特許文献１に開示されている。

特開２００５−２１８７５７号公報

ところで、上記特許文献１に記載の技術では、ユーザの手首や足首にマーカを取り付けたり、ユーザを撮像するために複数台のカメラを用意したりと、使用するにあたってユーザにとっていろいろと煩雑であるという問題がある。

そこで、本発明は、上記問題に鑑みてなされたものであり、ユーザがより簡易な構成で日常になじんだ動作を入力として操作を行うことができる情報処理システムを提供することを目的とする。

上記課題を解決するために、本発明の一態様に係る情報処理システムは、履物と情報処理装置とを含む情報処理システムであって、履物は、履物の動きを検出するためのセンサを備え、情報処理システムは、センシングデータの経時的変化に基づいて履物の動きを検出する検出部と、検出部が検出した動きに応じて、履物を履いているユーザに対して提供する空間情報を生成する生成部を備え、情報処理装置は、空間情報を出力する出力部を備える。

上記課題を解決するために、本発明の一態様に係る情報処理方法は、履物から履物に備えられた検出した履物の動きを検出するためのセンサのセンシングデータを受信する受信ステップと、センシングデータの経時的変化に基づいて履物の動きを検出する検出ステップと、検出ステップにおいて、検出した動きに応じて、履物を履いているユーザに対して提供する空間情報を生成する生成ステップと、空間情報を出力する出力ステップとを含む。

上記課題を解決するために、本発明の一態様に係る情報処理プログラムは、コンピュータに、履物から履物に備えられた検出した履物の動きを検出するためのセンサのセンシングデータを受信する受信機能と、センシングデータの経時的変化に基づいて履物の動きを検出する検出機能と、検出機能が検出した動きに応じて、履物を履いているユーザに対して提供する空間情報を生成する生成機能と、空間情報を出力する出力機能とを実現させる。

上記情報処理システムにおいて、履物は、さらに、センサが検出したセンシングデータを情報処理装置に送信する送信部を備え、情報処理装置は、さらに、センシングデータを受信する受信部と、検出部と、生成部とを備えることとしてもよい。

上記情報処理システムにおいて、出力部は、モニターであり、空間情報は、仮想現実空間又は拡張現実空間を示す画像情報であり、生成部は、画像情報として、ユーザが操作するキャラクタ又はユーザの視野に示される景観を示す画像を生成することとしてもよい。

上記情報処理システムにおいて、情報処理装置は、生成部が生成する空間情報として、仮想現実空間用の空間情報を生成するのか、拡張現実空間用の空間情報を生成するのかを指定する指定情報を受け付ける受付部を備え、生成部は、指定情報に応じた空間情報を生成することとしてもよい。

上記情報処理システムにおいて、情報処理装置は、更に、自装置の現在位置を示す位置情報を取得する位置情報取得部と、位置情報が予め定められた所定範囲内に位置情報が含まれる場合に、仮想現実空間用の空間情報を生成することを指定する指定情報を生成し、含まれない場合に、拡張現実空間用の空間情報を生成することを指定する指定情報を生成する指定情報生成部を備え、受付部は、指定情報生成部が生成した指定情報を受け付けることとしてもよい。

上記情報処理システムにおいて、情報処理システムは、他の情報処理装置を含み、生成部が生成した空間情報を利用する装置が、情報処理装置であるか他の情報処理装置であるか否かに応じて、仮想現実空間用の空間情報を生成するのか、拡張現実空間用の空間情報を生成するのかを指定する指定情報を生成する指定情報生成部を備え、受付部は、指定情報生成部が生成した指定情報を受け付けることとしてもよい。

上記情報処理システムにおいて、生成部は、指定情報に応じて、センシングデータ及び仮想現実空間と拡張現実空間とで異なる変換係数を用いて空間情報を生成することとしてもよい。

上記情報処理システムにおいて、生成部は、履物の動きに応じて、仮想現実空間又は拡張現実空間上に登場させるオブジェクト対するインタラクションの画像情報を生成することとしてもよい。

上記情報処理システムにおいて、情報処理装置は、ユーザが頭部に装着して使用するウェアラブル端末であることとしてもよい。

上記情報処理システムにおいて、出力部は、スピーカであり、空間情報は、仮想現実空間又は拡張現実空間において発せられる音声情報であることとしてもよい。

上記情報処理システムにおいて、生成部は、ユーザの動きの種別を特定し、検出部が検出した履物の動きから、特定した種別の動きとして適切かどうかの度合に応じて、音声情報を生成することとしてもよい。

上記情報処理システムにおいて、情報処理装置は、少なくとも一曲分の音楽情報と、動きの種別ごとの動きの手本となる手本情報を記憶する記憶部を備え、生成部は、空間情報として、履物の動きが理想的な歩行のモーションに近いほど、音楽情報として正しい音楽を示す空間情報を生成し、センシングデータが理想的な歩行のモーションから遠ざかるほど音楽情報に雑音を加えた音楽を示す空間情報を生成することとしてもよい。

上記情報処理システムにおいて、空間情報は、仮想現実空間又は拡張現実空間を示す画像情報を含み、画像情報は、仮想現実空間又は拡張現実空間において表示するオブジェクトを含み、生成部は、履物の動きに応じてユーザが操作するキャラクタ又はユーザがオブジェクトに接触する場合に、所定の音声を含む空間情報を生成することとしてもよい。

上記情報処理システムにおいて、生成部は、履物の動きに応じて、音声情報として、音楽を空間情報として生成するものであって、履物の所定の動きに応じて、音楽の曲調を変更することとしてもよい。

上記情報処理システムにおいて、情報処理システムは、更に、外部装置を含み、外部装置は、ユーザに関する情報を取得する取得部と、取得部が取得したユーザに関する情報を、情報処理装置に送信する送信部とを備え、生成部は、更に、外部装置から送信されたユーザに関する情報に基づいて空間情報を生成することとしてもよい。

上記情報処理システムにおいて、取得部は、ユーザの足以外の部位の動きに関する情報を取得することとしてもよい。

上記情報処理システムにおいて、履物は、更に、履物の動きに応じて発光する発光部を備え、生成部は、仮想空間上のユーザのキャラクタが履く履物を発光部と同様に発光させる様子を示す空間情報を生成することとしてもよい。

上記情報処理システムにおいて、生成部は、仮想現実空間又は拡張現実空間においてユーザが操作するキャラクタ又はユーザに対するアクションに応じて、ユーザに対して付与する刺激を特定するための刺激情報を含む空間情報を生成し、履物は、更に、刺激情報を含む空間情報を受信する受信部と、刺激情報に基づいて、ユーザに対して体感刺激を与える刺激部と、を備えることとしてもよい。

本発明の一態様に係る情報処理システム等は、履物の動きに応じた空間情報を生成することができる。従って、ユーザは、履物を動かすだけで、入力装置として機能させることができる。例えば、履物を上げ下げするだけで、ユーザに対応するキャラクタが前進したものとして、前進した先の景観を空間情報として生成して、ユーザに提供することができる。履物というユーザが日常的に使用するものを使用しての入力となるので、ユーザにとって煩雑となる処理を行うことなく入力を行うことができる。

情報処理システムの概略を示す概略図である。 情報処理システムの構成及び当該システムを構成する各装置の機能構成例を示すブロック図である。 （ａ）は、履物の外観を示す外観図である。（ｂ）は、タング部の構成を示す外観図である。 （ａ）は、ソール部の平面図である。（ｂ）は、ソール部の断面図である。（ｃ）は、ソール部の断面図であって出力部を配した例を示す断面図である。 （ａ）は、ソール部の斜視図である。（ｂ）は、ソール部の斜視図であって、出力部１３０を配した状態を示す図である。 第１情報処理装置２００の画像情報を生成する際の動作を示すフローチャートである。 （ａ）、（ｂ）は、第１情報処理装置２００により生成された画像情報の表示例を示す図である。 第１情報処理装置２００の音声情報を生成する際の動作を示すフローチャートである。 第１情報処理装置２００の仮想現実空間か拡張現実空間を選択する際の動作を示すフローチャートである。 情報処理システムの構成及び当該システムを構成する各装置の別構成例を示すブロック図である。

以下、本発明の一実施態様に係る情報処理システムについて、図面を参照しながら詳細に説明する。

＜実施の形態＞
＜構成＞
図１は情報処理システムの概略を示す概略図である。図１に示すように、情報処理システム１は、履物１００を含み、第１情報処理装置２００や第２情報処理装置３００、ユーザ端末４００を含んでもよい。

履物１００は、センサ部１２０を備える。履物１００は、ユーザが足に装着するものであり、例えば、スニーカー、革靴、パンプス、サンダルなどであるが、これらに限定されるものではない。なお、履物１００は、少なくともセンサ部１２０を載置するだけのスペースを有する。

センサ部１２０は、履物１００をユーザが履いて移動することで、履物１００の動きを検出する機能を有するセンサである。履物１００の動きを検出することで、ユーザの足の動きとして検出することができる。センサ部１２０は、例えば、３軸（例えば、水平面において互いに直角な２つの軸と、その２つの軸に対して垂直な軸）の加速度を検出する加速度センサ及び当該３軸各々の回転角を検出するための角速度センサから実現することができる。センサ部１２０は、更に、当該３軸方向の地磁気を検出する地磁気センサを含んで、９軸センサとして機能してもよい。以下、センサ部１２０が検出したセンシングデータをセンシングデータと呼称する。センシングデータは、少なくとも３軸の加速度情報及び当該３軸の角速度情報を含む。

情報処理システム１は、検出部２１１と、生成部２１２とを備える。

検出部２１１は、履物１００のセンサ部１２０が検出したセンシングデータの経時的変化に基づいて履物１００の動きを検出する。検出部２１１は、例えば、第１情報処理装置２００のプロセッサにより実現されるがこれに限定されるものではない。履物１００のプロセッサにより実現されてもよいし、第２情報処理装置３００のプロセッサにより実現されてもよいし、ユーザ端末４００のプロセッサにより実現されてもよい。

生成部２１２は、検出部２１１が検出した動きに応じて、履物１００を履いているユーザに対して提供する空間情報を生成する。生成部２１２は、例えば、第１情報処理装置２００のプロセッサにより実現されるがこれに限定されるものではない。履物１００のプロセッサにより実現されてもよいし、第２情報処理装置３００のプロセッサにより実現されてもよいし、ユーザ端末４００のプロセッサにより実現されてもよい。ここで、空間情報とは、仮想現実（Virtual Reality）空間あるいは拡張現実（Augmented Reality）空間に関する情報のことであり、静止画及び動画を含む画像情報や音声情報などである。

第２情報処理装置３００は、生成部２１２が生成した空間情報を出力する出力部を備える。出力部は、画像を表示する表示装置や、音声を出力するスピーカにより実現されることとしてもよい。

したがって、情報処理システム１は、ユーザが動かした履物１００の動きにより生成した空間情報をユーザに提供することができる。情報処理システム１は、例えば、履物１００の動きに応じて仮想現実空間上のキャラクタを動作させてそのキャラクタの視点の景観を提供したり、履物１００の動きに応じた足音を提供したり、履物１００の動きのリズムに応じた音楽を提供したりすることができる。

上述のような情報処理システムについて更に詳細に説明する。ここでは、第１情報処理装置２００が、空間情報を生成する例を説明するが、上述の通り、空間情報は履物１００により生成されてもよいし、第２情報処理装置３００により生成されてもよいし、ユーザ端末４００により生成されてもよい。即ち、第１情報処理装置２００は、履物１００や第２第１情報処理装置２００、ユーザ端末４００に内包されてもよい。また、第１情報処理装置２００が実現する検出部２１１や生成部２１２等の機能は、検出部２１１の動きの情報が生成部２１２に伝達できる構成になっていれば、それぞれ分けて別の装置に搭載されてもよい。

図２は、情報処理システムの構成を示すシステム図であると同時に、情報処理システム１を構成する各装置の機能構成を示すブロック図である。

図２に示すように、履物１００は、第１情報処理装置２００と通信を実行する。また、第１情報処理装置２００は第２情報処理装置３００と通信を実行する。

図２に示すように、履物１００は、少なくともセンサ部１２０を備え、モジュール１１０と、出力部１３０とを備えることとしてもよい。モジュール１１０と、センサ部１２０と、出力部１３０は、バスを介して接続されている。当該接続は、有線、無線のいずれでの接続であってもよく、互いに情報の伝達ができればよい。なお、センサ部１２０と出力部１３０は、モジュール１１０を介して接続する構成をとってもよい。

モジュール１１０は、電源部１１１と、制御部１１２と、通信部１１３と、記憶部１１６とを含む。

電源部１１１は、履物１００を構成する各部に対して、駆動電力を供給する機能を有するバッテリーである。

制御部１１２は、履物１００の各部を制御する機能を有するプロセッサである。制御部１１２は、記憶部１１６に記憶されている制御プログラムを実行することで、履物１００の各部を制御する。制御部１１２は、センサ部１２０から伝達されたセンシングデータを、通信部１１３に第１情報処理装置２００に送信するよう依頼する。また、制御部１１２は、通信部１１３が受信した制御信号にしたがって、出力部１３０に光を発生させる。

通信部１１３は、第１情報処理装置２００と通信を実行する機能を有する通信インターフェースである。通信部１１３は、受信部１１４と送信部１１５（第１送信部）とを含む。通信部１１３は、第１情報処理装置２００と無線通信により通信を行う。通信部１１３は、第１情報処理装置２００と通信できれば、どのような通信規格で通信を行ってもよい。通信部１１３が利用する通信規格としては、例えば、Bluetooth Low Energy（登録商標）、Bluetooth（登録商標）、３Ｇ（3rd Generation）、４Ｇ（4th Generation）、ＬＴＥ（Long Term Evolution）、Wi-fi等の規格を利用してもよい。通信部１１３が利用する通信規格としては、第１情報処理装置２００との通信を行ううえで、通信に必要とする電力消費量の少ない通信規格を用いることが望ましい。

受信部１１４は、第１情報処理装置２００から、出力部１３０を制御するための制御信号を受信する。受信部１１４は、受信した制御信号を制御部１１２に伝達する。

送信部１１５は、センサ部１２０が検出した履物１００の動きを示すセンシングデータを第１情報処理装置２００に送信する。

センサ部１２０は、履物１００を履いたユーザが移動したりすることで、検出される動きを検出する。センサ部１２０は、上述の通り、少なくとも３軸方向の加速度と、当該３軸の回転角を示す角速度情報とを検知し、センシングデータとして、制御部１１２に伝達する。また、センサ部１２０は、９軸センサの他、温度センサ、湿度センサ、圧力センサを含んでよく、それらのセンシングデータも制御部１１２に伝達する。温度センサは、ユーザの足の温度を検出する。また、湿度センサは、履物１００内の湿度を検出する。そして、圧力センサは、例えば、履物１００の底面に設けられて、ユーザが足の底面に対する力のかけ方を検出する。

出力部１３０は、制御部１１２からの指示にしたがって、通信部１１３の受信部１１４が受信した制御信号に基づく出力を行う。出力部１３０は、ここでは、光を発光するものとし、例えば、ＬＥＤにより実現される。ＬＥＤは、複数色を発光することができ、制御信号で示される発光色、発光パターンで発光する。なお、出力部１３０により発光は、単純に、第１情報処理装置２００が出力する音楽に合わせた発光であってもよいし、履物１００の動きに合わせた発光であってもよい。また、出力部１３０は、光以外に音声を出力するものであってもよい。

ここで、履物１００の外観の一例、及び、各部の配置や構造について説明する。図３は、履物１００の一例であって、その外観と内部における各部の配置例を示す図である。

図３（ａ）は、履物１００の構成を示す外観図である。図３（ａ）に示すように、履物１００は履物１００の上面側であって、履物１００を装着するユーザの足の甲を覆って固定するアッパー部３０１と、履物１００の底面側であって、衝撃を吸収する機能を有するソール部３０２とから構成される。アッパー部３０１には、ユーザの足の甲を保護するためのタング部３０３が設けられている。タング部３０３には、モジュール１１０が設けられており、図３（ｂ）に示すように、タング部３０３を開くことで、タング部３０３に設けられたポケットに挿入されたモジュール１１０を露出させることができる。モジュール１１０は、図示していないが、電源供給を受けるための端子（例えば、ＵＳＢ端子）を有し、図３（ｂ）に示すようにタング部３０３を開くことで、当該端子を外部の電源へと接続し、電力の供給を受けて、電源部１１１に蓄電することができる。

履物１００において、上述の通り、ソール部３０２は、出力部１３０と、センサ部１２０とを備える。センサ部１２０は、ソール部３０２の内部であって、ユーザの足の土踏まずに対応する位置にあるシャンク部内部に設けられる。図示していないが、センサ部１２０は、履物１００の内部を通って、モジュール１１０と接続しており、当該モジュール１１０内部の電源部１１１から電力の供給を受けて動作するとともに、センサデータ（センシングデータ）をモジュール１１０に伝達する。これにより、センサ部１２０が検知したセンシングデータは、通信部１１３により、外部の第１情報処理装置２００に伝達される。

図４（ａ）は、ソール部３０２の平面図であり、図４（ｂ）は、図４（ａ）のソール部３０２をＡ−Ａ´線で切断した場合の断面図である。図４（ａ）に示すように、ソール部３０２は、出力部１３０を載置するための溝部４０１を備える。溝部４０１は、ソール部３０２内部であって、その外縁に沿うようにソール部３０２の外周部分に設けられる。溝部４０１は、出力部１３０を載置するために窪んでおり、溝部４０１には、出力部１３０としてＬＥＤテープが設けられる。図４（ａ）に示すように、溝部４０１を設けていない箇所であって、ソール部３０２の内部のユーザの土踏まずに対向する位置には、センサ部１２０が設けられる。当該箇所は、履物１００の構造において、所謂シャンク部と呼称される位置である。そして、ソール部３０２において、溝部４０１並びにセンサ部１２０が設けられていない位置には、衝撃吸収用のリブ４０２〜４０５が設けられている。リブ４０２、４０３は、ソール部３０２のユーザのつま先側であって、溝部４０１よりも外周側に設けられている。これにより、履物１００に対する履物１００先端部に加えられる衝撃を吸収し、溝部４０１に設けられる出力部１３０が故障する可能性を低減するとともに、ユーザの足にかかる負担を軽減することができる。同様に、リブ４０４、４０５も履物１００の中央に位置し、履物にかかる衝撃を吸収し、溝部４０１に設けられる出力部１３０が故障する可能性を低減するとともに、ユーザの足にかかる負担を軽減することができる。

図４（ｃ）は、ソール部３０２の断面図であって、出力部１３０としてのＬＥＤテープを載置した状態を示している。図４（ｃ）に示すように、出力部１３０は、発光面を履物１００の底面側に向けて載置される。すなわち、履物１００は、その底面が発光する。発明者らは、ＬＥＤテープをソール部３０２の側面に沿って、側面側が発光するように設置すると、ＬＥＤテープの破損率、特につま先部分の屈曲率が高くなって破損率が高くなることを発見している。そのため、より破損率が低減するＬＥＤテープの載置を模索した結果、図４（ｃ）に示すようにＬＥＤテープの発光面を、ソール部３０２の底面側に向けて載置するという構成を想到するに至った。ソール部３０２は、透明又は半透明の衝撃吸収性の高い樹脂などにより構成されるので、ＬＥＤテープの発光を透過し、その結果、その底面が発光する履物１００を提供することができる。

図５は、ソール部３０２の構造をよりわかりやすくするために設けたソール部３０２の斜視図である。図５（ａ）は、ソール部３０２にセンサ部１２０と出力部１３０とを載置していない状態を示した斜視図であり、図５（ｂ）は、ソール部３０２に出力部１０６とセンサ部１２０とを載置した状態を示す斜視図である。図５（ａ）と図５（ｂ）を比較すれば理解できるように、ＬＥＤテープである出力部１３０は、溝部４０１に載置され、ソール部３０２の底面の外周部分に設けられることになる。また、センサ部１２０は、ソール部３０２に設けられた窪み５０１に設けられる。窪み５０１は、センサ部１２０の外径にほぼ一致するように構成されることで、センサ部１２０が窪み５０１に載置された際に、がたつくのをなるべく防止するとともに、センサ部１２０による動きの検出を純粋に履物１００の動きを検出できるようにすることができる。センサ部１２０履物１００の動きを検知する精度を向上させるために、ソール部３０２に設けるのが望ましい。なお、本実施の形態においては、履物１００が出力部１３０から出力を行う例として、光を発光する例を説明しているが、本実施の形態において、出力部１３０は、必須の構成ではない。

図２に戻って、第１情報処理装置２００と第２情報処理装置３００との説明に戻る。

図２に示すように、第１情報処理装置２００は、制御部２１０と、通信部２２０と、提示部２３０と、記憶部２４０とを備える。

制御部２１０は、第１情報処理装置２００の各部を制御する機能を有するプロセッサである。制御部２１０は、記憶部２４０に記憶されている制御プログラムを実行することで、第１情報処理装置２００の各部を制御する。制御部２１０は、受信したセンシングデータに基づいて、履物１００の動きを検出する検出部２１１として機能する。また、制御部２１０は、検出部２１１が検出した履物１００の動きに応じた空間情報を生成する生成部２１２として機能する。

検出部２１１は、受け付けたセンシングデータの経時的変化（履物の位置の変化、加速度の変化、傾きの変化など）に基づいて、履物１００の動きを検出する。履物１００の動きを検出することで、第１情報処理装置２００は、仮想現実空間又は拡張現実空間へのユーザによる入力データとして、履物１００の動きを利用することができる。

生成部２１２は、検出部２１１が検出した履物１００の動きに応じた空間情報を生成する。空間情報は、仮想現実空間又は拡張現実空間に関する何等かの情報であり、例えば、仮想現実空間又は拡張現実空間を示す画像情報や仮想現実空間又は拡張現実空間上の音声情報などのことをいうが、これらに限定されるものではない。履物１００の動きに応じた空間情報を生成するとは、仮想現実空間又は拡張現実空間において、ユーザが操作する操作対象（例えば、キャラクター）の視認する景観を示す画像情報を生成したり、仮想現実空間又は拡張現実空間において、操作対象が聞くことができる音声を生成したりすることをいう。より具体的には、履物１００の動きから、ユーザが歩いたり走ったりすることを検知した場合には、歩いた先、走った先の景観を示す画像を生成したり、歩いたり走ることにより聞こえ得る音（例えば、風の音）などを示す音声を生成したりすることをいう。なお、ここに示した例は一例であることは言うまでもなく、生成部２１２は、履物１００の動きを入力として、様々な空間情報を生成する。生成部２１２が、仮想現実空間用の空間情報を生成するか、拡張現実空間用の空間情報を生成するかは、予め定められた設定や、ユーザの状況（例えば、第２情報処理装置３００の位置）に応じて決定される。詳細については、後述する。なお、生成部２１２は、拡張現実空間用の画像を生成する場合には、第２情報処理装置３００の撮像部３７０が撮像した映像を基礎として生成する。

通信部２２０は、履物１００及び第２情報処理装置３００と通信を実行する機能を有する通信インターフェースである。通信部２２０は、受信部２２１及び送信部２２２を含む。通信部２２０は、履物１００と無線通信により通信を行う。また、通信部２２０は、第２情報処理装置３００と有線通信または無線通信により通信を行う。通信部２２０は、履物１００及び第２情報処理装置３００と通信できれば、どのような通信規格で通信を行ってもよく、例えば、イーサネット（登録商標）、Bluetooth Low Energy等の通信規格に従った通信を行う。受信部２２１は、履物１００からセンシングデータを受信して、制御部２１０に伝達する。あるいは、受信部２２１は、第２情報処理装置３００から、位置情報や撮像映像を受信し、制御部２１０に伝達する。また、送信部２２２は、制御部２１０から伝達された空間情報を第２情報処理装置３００に送信する。

記憶部２４０は、第１情報処理装置２００が動作上必要とする各種プログラム及びデータを記憶する機能を有する記録媒体である。記憶部２４０は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等により実現することができる。記憶部２４０は、履物１００から送信されたセンシングデータが示す履物１００の状態の経時的変化に基づいて、履物１００の動きを検出する検出プログラムや、検出された履物１００の動きに基づいて、仮想現実空間や拡張現実空間の画像や音声を生成する生成プログラムなどを記憶している。また、記憶部２４０は、伝達されたセンシングデータを検出された日時情報に対応付けて記憶する。

次に、第２情報処理装置３００について説明する。図２に示すように、第２情報処理装置３００は、制御部３１０と、通信部３２０と、記憶部３３０とを備え、出力部として機能する表示部３５０や音声部３５０を備える。

制御部３１０は、第２情報処理装置３００の各部を制御する機能を有するプロセッサである。制御部３１０は、記憶部３３０に記憶されている制御プログラムを実行することにより、第２情報処理装置３００の各部を制御する。制御部３１０は、伝達された空間情報にしたがって、出力部たる表示部３４０や音声部３５０に画像や音声を出力させる。

通信部３２０は、複数の第１情報処理装置２００と通信を実行する機能を有する通信インターフェースである。通信部３２０は、第１情報処理装置２００と有線通信または無線通信により通信を行う。通信部３２０は、第１情報処理装置２００と通信できれば、どのような通信規格で通信を行ってもよく、例えば、イーサネット（登録商標）、Bluetooth等の通信規格に従った通信を行う。通信部３２０は、受信部３２１と、送信部３２２とを含む。

受信部３２１は、第１情報処理装置２００から空間情報を受信して、制御部３１０に伝達する機能を有する。

送信部２１１は、位置情報検出部が検出した位置情報を、第１情報処理装置２００に送信する機能を有兎する。

記憶部３３０は、第２情報処理装置３００が動作上必要とする各種プログラム及びデータを記憶する機能を有する記録媒体である。記憶部３３０は、例えば、ＨＤＤ、ＳＳＤ、フラッシュメモリ等により実現することができる。

表示部３４０は、制御部３１０の指示に従って、画像情報である空間情報を表示する機能を有するモニターである。当該画像情報は、３Ｄ映像であってもよいし、２Ｄ映像であってもよい。また、画像情報は、静止画であってもよいし、動画であってもよい。表示部３４０は、例えば、履物１００の動きに応じて、仮想現実空間上のユーザのキャラクタの視野の景観を表示したり、ユーザの視野にオブジェクトを重畳した拡張現実空間上のユーザの視野の景観を表示したりする。

音声部３５０は、制御部３１０の指示に従って、音声情報である空間情報を音声により出力する機能を有するスピーカである。音声部３５０は、履物１００の動きに応じた仮想現実空間または拡張現実空間上の音声を出力したり、履物１００の動きに合わせた音楽を出力したりする。

位置情報検出部３６０は、第２情報処理装置３００の現在位置を示す位置情報を取得する機能を有する。当該位置情報は、逐次送信部３２２により、第１情報処理装置２００に送信される。位置情報検出部３６０は、ＧＰＳ、ＧＮＳＳなどの既存の測位システムなどにより実現することができる。

撮像部３７０は、第２情報処理装置３００の外部であって、ユーザの顔が向いている方向の景観を撮像する機能を有する。撮像部３７０が撮像した映像は、拡送信部３２２により第１情報処理装置２００に送信され、張現実空間用の画像情報を生成する際に用いられる。

以上が、情報処理システム１に係る各装置の説明である。

＜動作＞
ここから、情報処理システムにおいて、第１情報処理装置２００の動作を説明する。図６は、空間情報として仮想現実空間や拡張現実空間に係る画像情報を第１情報処理装置１００が生成する場合の動作を示すフローチャートである。

履物１００のセンサ部１２０は、検出した情報（センシングデータ）を送信部１１５から第１情報処理装置２００に送信する。第１情報処理装置２００の受信部２２１は、履物１００から送信さえたセンシングデータを制御部２１０に伝達する（ステップＳ６０１）。

制御部２１０の検出部２１１は、伝達されたセンシングデータを記憶部２４０に記憶する。そして、それまでに記憶部２４０に記憶されたセンシングデータに基づいて、履物１００の位置や向き、傾きなどの経時的変化を検出することで、履物１００の動きを検出する（ステップＳ６０２）。例えば、検出部２１１は、履物１００の加速度変化から、ユーザが歩いたことを検出したり、ユーザが足を上げて下したことを検出したり、履物１００が円弧を描くように動いていることを検出して、ユーザが何かを蹴る動作をしたことを検出したりすることができる。検出部２１１は、検出した動きを示す動き情報を生成部２１２に伝達する。

生成部２１２は、伝達された履物１００の動き、即ち、ユーザの足の動きに応じた画像情報を生成する。ここで、生成部２１２は、仮想現実空間又は拡張現実空間用の画像情報を生成する（ステップＳ６０３）。いずれの画像情報を生成するかの処理については、後述する。生成部２１２は、例えば、ユーザが歩いたり、足を上げ下げしたりしたことを示す動き情報を伝達された場合には、仮想現実空間又は拡張現実空間内において、ユーザのキャラクタが当該動きで動いたと算出される距離だけ前進する様子を示す画像情報（映像）を生成する。また、あるいは、生成部２１２は、例えば、ユーザが何かを蹴るような動きをしたことを示す動き情報を伝達された場合には、仮想現実空間や拡張現実空間上において、ユーザの足の軌道上に存在するオブジェクトを蹴る様子を示す画像情報（映像）を生成する。また、生成部２１２は、ユーザ（履物１００）の動きに応じて、仮想現実空間又は拡張現実空間上のオブジェクトに何らかのエフェクトを生じる場合には、そのエフェクトを示す画像情報を生成したりする。

そして、制御部２１０は、送信部２２２を介して、生成部２１２が生成した画像情報を空間情報として、第２情報処理装置３００に送信する（ステップＳ６０４）。

以上に示した構成により、情報処理システム１は、仮想現実空間又は拡張現実空間に係る画像情報を、履物１００の動きに応じて生成し、出力することができる。

図７を用いて、空間情報として画像情報を出力する場合の一具体例を示す。図７（ａ）の画像７０１は、ユーザが装着している第２情報処理装置３００（ヘッドマウントディスプレイ）に表示している画像の例を示している。画像７０１に示されるように、仮想現実空間又は拡張現実空間において、ユーザのキャラクタ又はユーザ自身が通路に足っており、城が見えることが理解できる。

このとき、図７（ｂ）に示すように、ユーザが履物１００を用いて歩いたり、あるいは、足を上げ下げしたりするとする。すると、生成部２１２は、ユーザのキャラクタが進んだ先の景観を示す画像情報を空間情報として生成し、第２情報処理装置３００の表示部３５０には、画像７０２に示すような、ユーザが一歩（又は数歩）城に近づいたような画像が表示される。このように、情報処理システム１においては、履物１００を入力装置として、キャラクタを操作し、そのキャラクタに供される景観を示す画像を提供することができる。また、その他にも、仮想現実空間又は拡張現実空間上に、何らかのオブジェクト（例えば、ユーザ以外のキャラクタ）を登場させて、ユーザに追いかけさせたりして、当該オブジェクトを捕獲するようにするために、履物１００を操作させたり、登場させたオブジェクトに対して、履物１００を利用してアクションを起こし（例えば、オブジェクトを蹴るなど）、そのアクションに応じた画像（例えば、蹴られて、壊れたりなど）を生成したりすることもできる。このように、情報処理システム１においては、履物１００のセンシングデータを入力情報とした、仮想現実空間又は拡張現実空間上の画像情報（映像情報）を生成して、ユーザに提供することができる。

図８は、空間情報として、音声情報を生成する場合の第１情報処理装置２００の動作を示す。図８において、図６と異なる点は、ステップＳ６０３の代わりに、ステップＳ８０３に示すように生成部２１２が音声情報を生成し、ステップＳ６０４の代わりに、ステップＳ８０４に示すように、生成部２１２が生成した音声情報を空間情報として、第２情報処理装置３００に送信している点にある。

それ以外は、図６に示した動作を基本的に共通する。

生成部２１２は、履物１００の動きに応じた音声情報を生成する（ステップＳ８０３）。履物１００の動きに応じた音声情報を生成するとは、足音の生成であったり、履物１００の動きに応じた音楽を生成したり、履物１００の動きにより、ユーザに対応するキャラクタが移動したりする場合に、移動に伴って聞こえるはずの音や、移動先の音を表現する音声を生成したりすることをいう。

履物１００の動きに応じた音楽の生成は、例えば、記憶部２４０に予め出力する音を記憶しておき、履物１００の動きが理想的な歩き方や、ある動作における理想的な動きを示している場合に、きれいな旋律を奏でるように音を選択して、音声情報を生成することにより実現する。このとき、理想的な歩き方や動きは、予め定められた歩き方や動きの手本動作を記憶部２４０に記憶しておいて、その手本動作に近いほど理想的であるとして、そこから遠いほど、ユーザにとって耳障りな音楽（例えば、不協和音の多い音楽など）を音声情報として生成する。この手本動作に代えて、予め定められたアルゴリズムによって、望ましい動きであるかを検出するようにしてもよい。

このようにして、生成された音声情報は、ユーザが装着している第２情報処理装置３００の音声部３５０から出力されてユーザに提供される。なお、図６と図８とで画像情報と音声情報を分けて説明したが、これらは、両方ともが生成されて、ユーザに提供されることとしてもよいことは言うまでもない。

図９は、仮想現実空間（ＶＲ）用の空間情報を生成するのか拡張現実空間（ＡＲ）用の空間情報を生成するのかの設定や、切替に係る第１情報処理装置２００の動作を示すフローチャートである。仮想現実空間用の空間情報と、拡張現実空間用の空間情報とでは、空間における縮尺が異なることが往々にして考えられる。したがって、生成部２１２は、それぞれの空間用に、履物１００からのセンシングデータに対して処理を加えたいうえで、空間情報を生成する。例えば、生成部２１２は、拡張現実空間用の空間情報を生成する場合には、センシングデータには特に処理を施さず、仮想現実空間用の空間情報を生成する場合には、センシングデータには、所定の係数を乗じて、拡張現実空間よりも大げさな動作となるように設定してもよい。ここで、それぞれの変換係数は同じであってもよいし、異なるものであってもよい。所望の拡張現実空間あるいは所望の仮想現実空間に適した変換係数を用いるとよい。

第１情報処理装置２００の制御部２１０は、ＶＲかＡＲの指定の入力を受け付けているかを検知する（ステップＳ９０１）。当該入力は、例えば、第２情報処理装置３００から入力されてもよいし、第１情報処理装置２００に接続されたキーボード等の入力デバイス（図示せず）等により入力することとしてもよい。

ＶＲかＡＲかの指定の入力を受け付けている場合に（ステップＳ９０１のＹＥＳ）、制御部２１０は、画像出力の方式を、指定された方式に設定し、記憶部２４０に記憶する（ステップＳ９０２）。そして、生成部２１２は、記憶部２４０に設定されている方式の画像（又は音声）を生成して出力する（ステップＳ９０３）。

一方で、第１情報処理装置２００の受信部２２１は、第２情報処理装置３００から、その位置情報を受信する（ステップＳ９０４）。

このとき、第１情報処理装置２００の制御部２１０は、受信した位置情報に基づいて、第２情報処理装置３００が所定の範囲内（例えば、ユーザの部屋の中）にあるかを検出する（ステップＳ９０５）。

第２情報処理装置３００が所定の範囲内にあると検出した場合に（ステップＳ９０５のＹＥＳ）、生成部２１２は、ユーザに対して仮想現実空間用の画像を提供しても危険は少ないと判断して、画像出力形式をＶＲに設定する（ステップＳ９０６）。なお、ここの画像出力形式は、記憶部２４０に設定されている画像出力形式を優先することとしてもよい。

そして、生成部２１２は、ＶＲ映像を生成して、第２情報処理装置３００に送信する（ステップＳ９０７）。これにより、ユーザには、仮想現実空間の映像（または記憶部２４０に設定されている形式の画像）が提供される。

一方で、第２情報処理装置３００が所定の範囲内にないと検出した場合に（ステップＳ９０５のＮＯ）、生成部２１２は、ユーザが仮想現実の映像を視聴していては、何らかの危険が及ぶ（例えば、物や人にぶつかるなど）可能性があると判断し、画像出力形式をＡＲに設定する（ステップＳ９０８）。

そして、生成部２１２は、拡張現実空間用の画像情報を生成して、第２情報処理装置３００に送信する（ステップＳ９０９）。これにより、ユーザには、拡張現実空間の映像が提供される。

第１情報処理装置２００の制御部２１０は、ユーザから終了入力を受け付けているかを判定し（ステップＳ９１０）、受け付けている場合には（ステップＳ９１０のＹＥＳ）、空間情報の提供を終了し、受け付けていない場合には（ステップＳ９１０のＮＯ）、ステップＳ９０４に戻る。

このように、情報処理システム１においては、仮想現実空間用の空間情報と、拡張現実空間用の空間情報とを切替えて、ユーザに提供することができる。また、ユーザの状況（位置）に応じて、ユーザが安全にコンテンツを楽しむことができるように、拡張現実空間への切替を行うことができる。

＜まとめ＞
情報処理システム１においては、ユーザは、履物１００の動きを入力として、仮想現実空間や拡張現実空間を楽しむことができる。ユーザは、このために手足に特別なマーカを装着したり、カメラを設置するなどの手間を必要とすることなく、日常的に利用している履物を入力装置として用いることで、仮想現実空間や拡張現実空間を楽しむことができる。

＜補足＞
上記実施の形態に係る装置は、上記実施の形態に限定されるものではなく、他の手法により実現されてもよいことは言うまでもない。以下、各種変形例について説明する。

（１）上記実施の形態には示していないが、履物１００の出力部１３０は、光や音声以外の出力を行ってもよい。

例えば、出力部１３０は、バイブレータにより実現され、振動をユーザに伝えるものであってもよい。例えば、第２情報処理装置２００の制御部２１０（生成部２１２）は、仮想現実空間あるいは拡張現実空間において、ユーザの操作するキャラクタの足あるいは当該キャラクタが仮想現実空間あるいは拡張現実空間上に設定された何らかのオブジェクトと接触した場合に、バイブレータを振動させるための振動情報を生成する。ここで、振動情報は、振動の強度や振動のリズムなどの情報を含んでよい。そして、制御部２１０は、生成した振動情報を通信部２２０に伝達して履物１００に送信させる。履物１００の受信部１１４は、当該振動情報を制御部１１１に伝達する。制御部１１１は、伝達された振動情報に従って、出力部１３０を制御して、振動させる。

これによって、情報処理システム１は、仮想現実空間あるいは拡張現実空間上の衝撃や感触を、ユーザに感じさせることができる。

また、出力部１３０は、履物１１０を変形させるものであってもよい。例えば、履物１００において、ユーザの脚を圧迫する機構であってもよい。当該機構は、例えば、ユーザの脚を圧迫するように構成された機械仕掛けのものであってもよいし、あるいは、化学反応や電気反応により膨張する物質を利用したものであってもよい。

また、出力部１３０は、熱を発生させるヒーターなどにより実現させることとしてもよい。例えば、仮想現実空間においてキャラクタが暑いところにいる場合にヒーターを作動させて、ユーザに暑さを伝えてもよい。あるいは、仮想現実空間において、キャラクタが他のキャラクタやオブジェクトから攻撃（例えば、炎の魔法）を受けたときに、ヒーターを作動させて、熱を伝えることとしてもよい。

あるいは、出力部１３０は、冷却器により実現させることとしてもよい。例えば、仮想現実空間においてキャラクタが寒いところにいる場合に冷却器を作動させて、ユーザに寒さを伝えることができる。あういは、仮想現実空間において、キャラクタが他のキャラクタやオブジェクトから攻撃（例えば、氷の魔法）を受けたときに、冷却器を作動させて、寒さを伝えることとしてもよい。

このように、履物１００は、仮想現実空間あるいは拡張現実空間上のユーザのキャラクタまたはユーザに対するフィードバックを伝達する機能を有することとしてもよい。これにより、仮想現実空間あるいは拡張現実空間をよりリアルなものとすることができる。

（２）上記補足（１）に示したように、履物１００にヒーターや冷却器等を搭載する場合に、温度センサが所定以上の温度を検出している場合や湿度センサが所定以上の湿度を検出している場合に、第１情報処理装置２００は、履物１００の冷却器に対して冷却指示を出力することとしてもよいし、温度センサが所定以下の温度を検出している場合には、履物１００のヒーターに加熱指示を出力する構成をとってもよい。

（３）上記実施の形態においては、特に記載していないが、履物１００の出力部１３０にＬＥＤを発光させる場合に、第１情報処理装置２００は、仮想現実空間又は拡張現実空間上の履物１００に対応する履物を同じように発光させる演出をすることとしてもよい。即ち、現実の履物１００の発光と、仮想現実空間上の履物１００の発光とを、同期させることとしてもよい。

（４）上記実施の形態において示した、生成部２１２が生成する空間情報は一例であり、上記実施の形態に示した態様に限定されるものではない。第１情報処理装置２００や第２情報処理装置３００で動作させるアプリケーション（例えば、ゲーム）に応じてその他の画像や、音声を出力してもよいことは言うまでもない。

（５）上記実施の形態においては示していないが、第１情報処理装置２００の生成部２１２は、更に、ユーザの保持するユーザ端末２００（外部装置）からセンシングデータを受信して、ユーザに対応するキャラクタ等の姿勢を決定して、空間情報としての画像情報や音声情報を生成することとしてもよい。例えば、ユーザは自身のユーザ端末４００をボトムスのポケットに入れておく。ユーザ端末４００は、９軸センサ又は６軸センサを備えており、逐次、そのセンシングデータを第１情報処理装置２００に送信することとする。第１情報処理装置２００は、ユーザ端末４００からのセンシングデータを受信し、受信したセンシングデータの経時的変化から、ユーザの腰回りの動きを検出することができる。したがって、その動きを仮想現実空間又は拡張現実空間上のキャラクタ（ユーザ）の動きに反映することができ、生成部２１２は、そのキャラクタの腰の動きに併せた画像情報や音声情報を生成することができる。同様に、第２情報処理装置３００も９軸センサや６軸センサを備えて、逐次、そのセンシングデータを第１情報処理装置２００に送信する構成としてもよい。そして、第１情報処理装置２００の検出部２１１は、第２情報処理装置３００から受信したセンシングデータの経時的変化に基づいて、ユーザの頭部の動きを検出し、その動きを仮想現実空間又は拡張現実空間上のキャラクタ（ユーザ）の動きに反映することができ、生成部２１２は、そのキャラクタの頭部の動きに併せた画像情報や音声情報を生成することができる。したがって、第１情報処理装置２００は、ユーザの頭部、腰、足の動きを検出して、仮想現実空間又は拡張現実空間用の空間情報を生成することができるので、よりリアルな空間情報を生成することができる。したがって、履物１００と腰に保持しているユーザ端末４００、ユーザの頭部に装着した第２情報処理装置３００を利用して、簡易的なユーザのモーションキャプチャを実現することもできる。

（６）上記実施の形態においては、モジュール１１０は、履物１００のタング部３０３に設けることとしたが、これはその限りではない。モジュール１１０、あるいは、モジュール１１０を構成する各機能部の内の一部は、センサ部１２０が設けられている位置に、設けることとしてもよい。

（７）上記実施の形態においては、履物１００の一例としてスニーカーのような靴を示したが、これはその限りではない。履物１００としては、ユーザが足に装着し、モジュール１１０やセンサ部１２０を備えるスペースがあれば、どのような履物であってもよい。例えば、履物１００の一例としては、女性用のパンプスやハイヒールが挙げられる。これらの場合であれば、モジュール１１０やセンサ部１２０、出力部１３０などは、ヒール部材内部に設けることが考えられる。また、履物１００としては、その他の革靴やサンダルなどにおいても実現可能である。

（８）上記実施の形態において、履物１００のアッパー部３０１とソール部３０２とは互いに着脱自在に構成されてもよい。女性用のパンプスであれば、アッパー部とヒール部とが互いに着脱自在に構成されてもよい。このような構成にすると、履物１００としてのファッション性を向上させることができる。また、出力部１３０をＬＥＤテープとした場合、ＬＥＤテープは、履物１００の使用時の伸縮により破損する確率が他の部材よりも高くなる傾向にあるが、そのメンテナンスが容易になる。なお、着脱自在にするための構成としては、例えば、ファスナー、面ファスナー、ねじ、ビンディング、凹部又は突部を構成したアッパー部と突部又は凹部を構成した底部（ソール部やヒール部）との嵌合等により実現することができる。なお、その際に、アッパー部と底部とに履物１００を構成する各機能部を分けて配する場合には、互いに通信可能なように構成する必要がある。例えば、底部にも通信機能を設けて、アッパー部に設けたモジュールと無線通信を実行できるようにしたり、アッパー部の予め定められた位置であって、底部と接触する位置に接続端子を設け、底部においても同様の接続端子を設け、それらの接続端子の接触による有線通信により通信を実行できるようにしたりしてもよい。

（９）上記実施の形態においては、特に記載していないが、生成部２１２が生成する画像は、例えば、実際の地図上のストリートビューを表示するための画像であってもよく、その場合に、ユーザは、その場にいながら、異なる場所の観光を行ったりすることができる。したがって、情報処理システム１は、その場にいながら観光を楽しむことができるシステムとして機能することもできる。

また、同様にして、生成部２１２が特定の部屋や場所を示す画像を生成することにより、ユーザは、他の建物内をその場にいながら、見ることもできる。したがって、情報処理システム１は、例えば、賃貸物件の内覧等を移動することなく体験することができるシステムとして機能することもできる。

（１０）ここで、生成部２１２が音楽を生成する手法について、具体例をいくつか示す。生成部２１２は、履物１００からのセンシングデータから、ユーザが歩行しており、その歩行のスピードが途中から変わった場合に、曲調を変更して音楽を生成することとしてもよい。例えば、生成部２１２は、急に歩行スピードが速くなったり、ユーザが走り始めたりした場合には、音楽のテンポをアップテンポに変更してもよいし、曲そのものをテンポの速い曲に変更して、音楽を生成することとしてよい。

あるいは、履物１００を使用して、何らかの動きのレッスンを受けている（例えば、歩行のレッスンや走行のレッスン、ダンスのレッスンなど）場合に、生成部２１２は、そのレッスンに適しているかどうかを履物１００の動きに基づいて、採点を行い、その採点に応じた音楽を生成することとしてもよい。例えば、生成部２１２は、点数が高いほど、音楽に使用されるパート数（楽器数でもよい）が増加するようにして音楽を生成することとしてもよい。

また、あるいは、生成部２１２は、所定時間が経過するごとに、生成する音楽の曲調を変えてもよいし、ユーザによる履物１００の特定の動きを検出したことを受けて、音楽の曲調を変えてもよい。このように、生成部２１２は、空間情報として様々な音楽を、ユーザの足の動き、即ち、履物１００の動きに応じて生成することができ、ユーザに供することができる。

（１１）上記実施の形態において、第２情報処理装置３００が所定範囲内に存在するか否かに基づいて、ＶＲとＡＲとの切り替えを行うこととしたが、ＶＲとＡＲの切替は、これ以外の条件によってなされてもよい。例えば、足を予め定められたように動かすことで、ＶＲとＡＲの切替の入力としてもよい。また、例えば、第２情報処理装置３００で表示しているコンテンツの表示が終了したことを契機にＶＲからＡＲに切り替えてもよいし、ＶＲの表示の開始から所定時間が経過したことを契機にＶＲからＡＲに切り替えてもよいし、ＶＲで表示しているコンテンツにおいて所定の区切りまできた（例えば、コンテンツにおいて何らかの学習が終了したり、課せられた課題が解決したりなど）ことを契機としてＶＲからＡＲに切り替えることとしてもよい。

（１２）上記実施の形態においては、センサ部１２０の一例として９軸センサを用いることとしたが、ユーザの情報を取得できるのであれば、その他のセンサを用いてもよい。例えば、圧力センサを備えることで、両足の圧力センサの計測値の合算値で、ユーザの体重、または重心を測定することができる。また、当該圧力センサによれば、ユーザの足に対する荷重の変化を特定することもできる。また、あるいは、温度センサを履物１００内部に備えて、ユーザのおよその体温を測定することとしてもよいし、湿度センサを備えて、履物１００内部の湿度を測定して、そこから、履物内部１００のユーザにとっての不快指数を求めることとしてもよい。そして、これらの様々なセンサから得られた情報を、第１情報処理装置２００や第２情報処理装置３００に送ることで、出力する空間情報に反映させてもよい。

（１３）上記実施の形態においては、第２情報処理装置３００がヘッドマウントディスプレイである例を示しているが、これは、ヘッドマウントディスプレイに限るものではなく、空間情報を上限出来るデバイス（例えばモニターやスピーカ）を搭載した機器であれば、どのようなものであってもよい。例えば、大画面のモニターであってもよいし、第２情報処理装置３００が有する機能を有した眼鏡などであってもよい。

（１４）また、上記実施の形態においては、第１情報処理装置における空間情報を生成する手法として、第１情報処理装置のプロセッサが検出プログラムや生成プログラム等を実行することにより、空間情報を生成することとしているが、これは装置に集積回路（ＩＣ（Integrated Circuit）チップ、ＬＳＩ（Large Scale Integration））等に形成された論理回路（ハードウェア）や専用回路によって実現してもよい。また、これらの回路は、１または複数の集積回路により実現されてよく、上記実施の形態に示した複数の機能部の機能を１つの集積回路により実現されることとしてもよい。ＬＳＩは、集積度の違いにより、ＶＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩなどと呼称されることもある。すなわち、図１０に示すように、履物１００は、電源回路１１１と、制御回路１１２と、通信回路１１３と、記憶回路１１６と、センサ回路１２０と、出力回路１３０とから構成されてよく、それぞれの機能は、上記実施の形態に示した同様の名称を有する各部と同様である。同様に、第１情報処理装置２００は、制御回路２１０と、通信回路２２０と、記憶回路２４０とから構成されてもよい。また、第２情報処理装置３００も、制御回路３１０と、通信回路３２０と、記憶回路３３０と、表示回路３４０と、音声回路３５０と、位置情報検出回路３６０と、撮像回路３７０とから構成されてもよい。

また、上記情報処理プログラムは、プロセッサが読み取り可能な記録媒体に記録されていてよく、記録媒体としては、「一時的でない有形の媒体」、例えば、テープ、ディスク、カード、半導体メモリ、プログラマブルな論理回路などを用いることができる。また、上記情報処理プログラムは、当該情報処理プログラムを伝送可能な任意の伝送媒体（通信ネットワークや放送波等）を介して上記プロセッサに供給されてもよい。本発明は、上記情報処理プログラムが電子的な伝送によって具現化された、搬送波に埋め込まれたデータ信号の形態でも実現され得る。

なお、上記情報処理プログラムは、例えば、Ｃ＋＋、Swift、等のプログラミング言語を用いて実装してよく、その他、ActionScript、JavaScript（登録商標）などのスクリプト言語、Objective-C、Java（登録商標）などのオブジェクト指向プログラミング言語、HTML5などのマークアップ言語などを用いて実装できる。

（１５）上記実施の形態に示した構成及び各補足に示した構成は、適宜組み合わせることとしてもよい。また、各処理手順についても、結果として得られるものが同じになるのであれば、実行手順を入れ替えてもよいし、並列に２つの処理を実行することとしてもよい。

１００ 履物
１１０ モジュール
１１１ 電源部
１１２ 制御部
１１３ 通信部
１１４ 受信部
１１５ 送信部
１１６ 記憶部
１２０ センサ部
１３０ 出力部
２００ 第１情報処理装置
２１０ 制御部
２１１ 検出部
２１２ 生成部
２２０ 通信部
２２１ 受信部
２２２ 送信部
２４０ 記憶部
３００ 第２情報処理装置
３０１ アッパー部
３０２ ソール部
３０３ タング部
３１０ 制御部
３２０ 通信部
３２１ 受信部
３２２ 送信部
３３０ 記憶部
３４０ 表示部
３５０ 音声部
３６０ 位置情報検出部
３７０ 撮像部
４０１ 溝部
４０２、４０３、４０４、４０５ リブ
５０１ 窪み

Claims (20)

1. 履物と情報処理装置とを含む情報処理システムであって、
   前記履物は、
   前記履物の動きを検出するためのセンサを備え、
   前記情報処理システムは、
   前記センシングデータの経時的変化に基づいて前記履物の動きを検出する検出部と、
   前記検出部が検出した動きに応じて、前記履物を履いているユーザに対して提供する空間情報を生成する生成部を備え、
   前記情報処理装置は、
   前記空間情報を出力する出力部を備える情報処理システム。
2. 前記履物は、さらに、
   前記センサが検出したセンシングデータを前記情報処理装置に送信する送信部を備え、
   前記情報処理装置は、
   さらに、前記センシングデータを受信する受信部と、
   前記検出部と、
   前記生成部とを備える
   ことを特徴とする請求項１に記載の情報処理システム。
3. 前記出力部は、モニターであり、
   前記空間情報は、仮想現実空間又は拡張現実空間を示す画像情報であり、
   前記生成部は、前記画像情報として、前記ユーザが操作するキャラクタ又は前記ユーザの視野に示される景観を示す画像を生成する
   ことを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記情報処理装置は、前記生成部が生成する空間情報として、前記仮想現実空間用の空間情報を生成するのか、前記拡張現実空間用の空間情報を生成するのかを指定する指定情報を受け付ける受付部を備え、
   前記生成部は、前記指定情報に応じた空間情報を生成する
   ことを特徴とする請求項３に記載の情報処理システム。
5. 前記情報処理装置は、更に、自装置の現在位置を示す位置情報を取得する位置情報取得部と、
   前記位置情報が予め定められた所定範囲内に前記位置情報が含まれる場合に、前記仮想現実空間用の空間情報を生成することを指定する指定情報を生成し、含まれない場合に、前記拡張現実空間用の空間情報を生成することを指定する指定情報を生成する指定情報生成部を備え、
   前記受付部は、前記指定情報生成部が生成した指定情報を受け付ける
   ことを特徴とする請求項４に記載の情報処理システム。
6. 前記情報処理システムは、他の情報処理装置を含み、
   前記生成部が生成した空間情報を利用する装置が、前記情報処理装置であるか前記他の情報処理装置であるか否かに応じて、前記仮想現実空間用の空間情報を生成するのか、前記拡張現実空間用の空間情報を生成するのかを指定する指定情報を生成する指定情報生成部を備え、
   前記受付部は、前記指定情報生成部が生成した指定情報を受け付ける
   ことを特徴とする請求項４に記載の情報処理システム。
7. 前記生成部は、前記指定情報に応じて、前記センシングデータ及び前記仮想現実空間と前記拡張現実空間とで異なる変換係数を用いて前記空間情報を生成する
   ことを特徴とする請求項４に記載の情報処理システム。
8. 前記生成部は、前記履物の動きに応じて、前記仮想現実空間又は前記拡張現実空間上に登場させるオブジェクト対するインタラクションの画像情報を生成する
   ことを特徴とする請求項３〜７のいずれか１項に記載の情報処理システム。
9. 前記情報処理装置は、ユーザが頭部に装着して使用するウェアラブル端末であることを特徴とする請求項３〜８のいずれか１項に記載の情報処理システム。
10. 前記出力部は、スピーカであり、
    前記空間情報は、仮想現実空間又は拡張現実空間において発せられる音声情報であることを特徴とする請求項１〜９のいずれか１項に記載の情報処理システム。
11. 前記生成部は、前記ユーザの動きの種別を特定し、前記検出部が検出した前記履物の動きから、前記特定した種別の動きとして適切かどうかの度合に応じて、前記音声情報を生成する
    ことを特徴とする請求項１０記載の情報処理システム。
12. 前記情報処理装置は、少なくとも一曲分の音楽情報と、前記動きの種別ごとの動きの手本となる手本情報を記憶する記憶部を備え、
    前記生成部は、前記空間情報として、前記履物の動きが理想的な歩行のモーションに近いほど、前記音楽情報として正しい音楽を示す空間情報を生成し、前記センシングデータが前記理想的な歩行のモーションから遠ざかるほど前記音楽情報に雑音を加えた音楽を示す空間情報を生成する
    ことを特徴とする請求項１１に記載の情報処理システム。
13. 前記空間情報は、前記仮想現実空間又は前記拡張現実空間を示す画像情報を含み、
    前記画像情報は、前記仮想現実空間又は前記拡張現実空間において表示するオブジェクトを含み、
    前記生成部は、前記履物の動きに応じて前記ユーザが操作するキャラクタ又は前記ユーザが前記オブジェクトに接触する場合に、前記所定の音声を含む空間情報を生成する
    ことを特徴とする請求項１１に記載の情報処理システム。
14. 前記生成部は、前記履物の動きに応じて、前記音声情報として、音楽を前記空間情報として生成するものであって、前記履物の所定の動きに応じて、前記音楽の曲調を変更する
    ことを特徴とする請求項１０に記載の情報処理システム。
15. 前記情報処理システムは、更に、外部装置を含み、
    前記外部装置は、前記ユーザに関する情報を取得する取得部と、
    前記取得部が取得した前記ユーザに関する情報を、前記情報処理装置に送信する送信部とを備え、
    前記生成部は、更に、前記外部装置から送信された前記ユーザに関する情報に基づいて前記空間情報を生成する
    ことを特徴とする請求項３〜１４のいずれか１項に記載の情報処理システム。
16. 前記取得部は、前記ユーザの足以外の部位の動きに関する情報を取得することを特徴とする請求項１５に記載の情報処理システム。
17. 前記履物は、更に、前記履物の動きに応じて発光する発光部を備え、
    前記生成部は、仮想空間上の前記ユーザのキャラクタが履く履物を前記発光部と同様に発光させる様子を示す空間情報を生成する
    ことを特徴とする請求項３〜１６のいずれか１項に記載の情報処理システム。
18. 前記生成部は、前記仮想現実空間又は前記拡張現実空間において前記ユーザが操作するキャラクタ又は前記ユーザに対するアクションに応じて、前記ユーザに対して付与する刺激を特定するための刺激情報を含む前記空間情報を生成し、
    前記履物は、更に、
    前記刺激情報を含む前記空間情報を受信する受信部と、
    前記刺激情報に基づいて、前記ユーザに対して体感刺激を与える刺激部と、を備える
    ことを特徴とする請求項３〜１７のいずれか一項に記載の情報処理システム。
19. 履物から履物に備えられた検出した履物の動きを検出するためのセンサのセンシングデータを受信する受信ステップと、
    前記センシングデータの経時的変化に基づいて前記履物の動きを検出する検出ステップと、
    前記検出ステップにおいて、検出した動きに応じて、前記履物を履いているユーザに対して提供する空間情報を生成する生成ステップと、
    前記空間情報を出力する出力ステップとを含む空間情報提供方法。
20. コンピュータに、
    履物から履物に備えられた検出した履物の動きを検出するためのセンサのセンシングデータを受信する受信機能と、
    前記センシングデータの経時的変化に基づいて前記履物の動きを検出する検出機能と、
    前記検出機能が検出した動きに応じて、前記履物を履いているユーザに対して提供する空間情報を生成する生成機能と、
    前記空間情報を出力する出力機能とを実現させる空間情報提供プログラム。

Images