JP6043891B1 - 履物、音声出力システム及び出力制御方法 - Google Patents

Abstract

音及び動きに基づき適応的に出力制御を行う。履物であって、履物の動きを検出するセンサ部と、センサ部により検出されたセンサデータを外部装置に送信する送信部と、外部装置から、音データ及び前記センサデータに基づく出力制御信号を受信する受信部と、出力制御信号に基づく出力を行う出力部と、を備える。

Description

本発明は、履物及び出力制御方法に関する。

従来、変色部を有する履物であって、性能パラメータを測定し、測定した性能パラメータに応じて変色部を色付けする履物がある（例えば特許文献１参照）。

特開２０１３−５２９５０４号公報

しかしながら、従来の履物は、履物において測定した性能パラメータに基づいて変色部が変色するにとどまり、さらに、外部から受信した信号にも応じて変色するものではない。つまり、従来の履物は、複数のパラメータにより適応的に変色するものではない。

ここで、履物において、測定されたパラメータ以外に外部からの信号にも応じて出力制御を行うことができれば、音楽などに合わせてダンスをする際、音と動きと光とをインタラクティブに連動させて、ダンサーにとって魅力ある履物とすることができる。

そこで、本発明は、音及び動きに基づき適応的に出力制御を行うことができる履物及び出力制御方法を提供することを目的とする。

本発明の一態様における履物は、履物であって、前記履物の動きを検出するセンサ部と、前記センサ部により検出されたセンサデータを外部装置に送信する送信部と、前記外部装置から、音データ及び前記センサデータに基づく出力制御信号を受信する受信部と、前記出力制御信号に基づく出力を行う出力部と、を備える。

本発明によれば、音及び動きに基づき適応的に出力制御を行うことができる。

実施形態における出力制御システムの構成の一例を示す図である。 実施形態における履物のハードウェアの概略構成の一例を示す図である。 実施形態における情報処理装置のハードウェア構成の一例を示す図である。 実施形態における履物の制御部の機能の一例を示す図である。 実施形態における情報処理装置の主制御部の機能の一例を示す図である。 実施例における履物の一例を示す図である。 所定画像について説明するための図である。 所定画像が現れることを説明するための概念図である。 実施例における発光制御処理（その１）の一例を示すフローチャートである。 実施例における発光制御処理（その２）の一例を示すフローチャートである。 実施例における手本データのアップロー処理の一例を示すフローチャートである。 実施例における発光制御処理（その３）の一例を示すフローチャートである。 実施例に係る履物の外観を示す外観図である。 （ａ）は実施例に係る履物のソール部の平面図である。（ｂ）はＡ−Ａ´線における断面図である。（ｃ）はＡ−Ａ´線における断面図であって発光部を載置した状態を示す図である。 （ａ）はソール部の斜視図である。（ｂ）はソール部の斜視図であって、発光部とセンサ部１０６を載置した状態を示す斜視図である。 実施例に係る情報処理装置の主制御部の機能の一例を示す図である。 実施例に係る履物の音声出力制御を実施するための音声情報のデータ概念図である。 実施例に係る履物に係る情報処理装置による音声出力の制御フローチャートである。 実施例に係る履物の発光制御処理のユーザインターフェースの例を示す概念図である。

以下、図面を参照して本発明の実施形態を説明する。ただし、以下に説明する実施形態は、あくまでも例示であり、以下に明示しない種々の変形や技術の適用を排除する意図はない。即ち、本発明は、その趣旨を逸脱しない範囲で種々変形して実施することができる。また、以下の図面の記載において、同一または類似の部分には同一または類似の符号を付して表している。図面は模式的なものであり、必ずしも実際の寸法や比率等とは一致しない。図面相互間においても互いの寸法の関係や比率が異なる部分が含まれていることがある。

［実施形態１］
以下、本発明の実施形態における履物及び出力制御方法を、図面を用いて説明する。

＜出力制御システムの概要＞
図１は、実施形態における出力制御システム１０の構成の一例を示す図である。図１に示す例では、出力制御システム１０は、履物１００、情報処理装置２００がネットワークＮを介して接続されている。なお、ネットワークＮに接続される履物１００は、複数あってもよい。情報処理装置２００は、例えば、ＰＣ（Personal Computer）、携帯端末などのネットワークＮを介して取得した信号を処理可能な装置であれば、いずれの装置でもよい。また、ネットワークＮにサーバが接続されていてもよい。

図１に示す出力制御システム１０は、例えば、履物１００に設けられたセンサによりセンシングされたセンサデータと、情報処理装置２００に記憶される音データとに基づく出力制御信号により、履物１００に設けられた出力部の出力制御を行う。

例えば、出力制御システム１０は、出力部としてＬＥＤ（Light Emitting Diode）が用いられる場合、履物１００の動きと音楽とに連動したＬＥＤの発光制御を行う。より具体的な一例としては、ダンサーが履物１００を履いて音楽に合わせて足を動かすと、足の動きと音楽とに合わせて、ＬＥＤの発行制御を行うことで、動きと音と光とが三位一体となって連動しているように、観客に見せることができる。

＜ハードウェア構成＞
次に、出力制御システム１０における各装置内のハードウェアの概略について説明する。図２は、実施形態における履物１００のハードウェアの概略構成の一例を示す図である。図２に示す履物１００は、制御部１０２と、通信部１０４と、センサ部１０６と、出力部１０８と、電源部１１０と、記憶部１１２とを少なくとも備える。通信部１０４は、送信部１４２と、受信部１４４とを含む。なお、履物１００としてのアッパー部やソール部は省略している。

制御部１０２は、例えばＣＰＵ（Central Processing Unit）であり、メモリ上に展開されたプログラムを実行し、履物１００に各種の機能を実現させる。また、制御部１０２は、センサ部１０６によりセンシングされたセンサデータや、受信部１４４により受信された出力制御信号に基づき各種演算を行う。例えば、制御部１０２は、出力制御信号を取得すると、この出力制御信号に応じて出力部１０８の出力を制御する。制御部１０２の詳細は図４を用いて説明する。

通信部１０４は、通信ネットワークＮを介してデータの送受信を行う。例えば、送信部１４２は、センサ部１０６により検出されたセンサデータを情報処理装置２００に送信する。例えば、受信部１４４は、一の情報処理装置２００から、センサデータと音データとに基づく出力制御信号を受信する。なお、通信部１０４は、データの送受信前に、どの装置２００と、どの履物１００とを通信させるかを設定しておくとよい。なお、通信は、１体１である必要はなく、例えば、一の情報処理装置２００から複数の履物１００にデータを送信してもよい。

通信ネットワークＮは、無線ネットワークや有線ネットワークにより構成される。通信ネットワークの一例としては、携帯電話網や、ＰＨＳ（Personal Handy-phone System）網、無線ＬＡＮ（Local Area Network）、３Ｇ（3rd Generation）、ＬＴＥ（Long Term Evolution）、４Ｇ（4th Generation）、ＷｉＭａｘ（登録商標）、赤外線通信、Ｂｌｕｅｔｏｏｔｈ（登録商標）、有線ＬＡＮ、電話線、電灯線ネットワーク、ＩＥＥＥ１３９４、ＺｉｇＢｅｅ（登録商標）等に準拠したネットワークがある。

センサ部１０６は、加速度センサ、及び角速度（ジャイロ）センサを含み、さらに地磁気センサを含んでもよい。例えば、センサ部１０６は、３軸加速度センサ、３軸角速度センサ、及び３軸地磁気センサが一体となった９軸センサを含む。

センサ部１０６は、履物１００の動きを検出する。例えば、履物１００がユーザによって履かれている場合は、足の動きを検出する。センサ部１０６により検出されたセンサデータは、送信部１４２を介して外部の情報処理装置２００に送信される。

出力部１０８は、出力制御信号に基づく制御部１０２からの制御によって出力を行う。出力部１０８は、例えば発光部を含み、制御部１０２から発光制御されて発光する。発光部は、例えばＬＥＤである。また、ＬＥＤは、複数備えられ、例えばＲＧＢ８ビットフルカーが個別に制御されるようにしてもよい。また、ＬＥＤは、ソール部の側面に亘って直線状に複数設けられたり、踵部に直線状に複数設けられたりしてもよい。

なお、出力部１０８は、有機ＥＬ（Electro Luminescence）などの曲面ディスプレイやスピーカなどを含み、出力制御信号に基づく出力を、画像や音声によって実現させてもよい。また、出力部１０８は、振動素子などを含み、出力制御信号に基づく出力を振動によって実現させてもよい。

電源部１１０は、例えばバッテリーであり、履物１００内部の各部に電源を供給する。

記憶部１１２は、例えばプログラムや各種データを格納する。プログラムは、制御部１０２により実行される。各種データは、例えば画像情報や出力部による出力機能情報やセンサ部１０６のキャリブレーション情報などを含む。

なお、履物１００は、ソール部に上記各構成が設けられてもよいし、出力部１０８だけがアッパー部に設けられてもよいし、出力部１０８は、ソール部とアッパー部の両方に設けられてもよい。

次に、情報処理装置２００のハードウェアの概略について説明する。図３は、実施形態における情報処理装置２００のハードウェア構成の一例を示す図である。図３に示す情報処理装置２００は、タッチパネル１４、スピーカ１６、マイクロフォン１８、ハードボタン２０、ハードキー２２、移動体通信用アンテナ３０、移動体通信部３２、無線ＬＡＮ通信用アンテナ３４、無線ＬＡＮ通信部３６、記憶部３８、主制御部４０、カメラ２６、及び音声出力端子２４を含む外部インターフェース４２などを備える。なお、カメラ２６等は、必ずしも設けられなくてもよい。

タッチパネル１４は、表示装置および入力装置の両方の機能を備え、表示機能を担うディスプレイ（表示画面）１４Ａと、入力機能を担うタッチセンサ１４Ｂとで構成される。ディスプレイ１４Ａは、例えば、液晶ディスプレイや有機ＥＬディスプレイなどの一般的な表示デバイスにより構成される。タッチセンサ１４Ｂは、ディスプレイ１４Ａその上面に配置された接触操作を検知するための素子およびその上に積層された透明な操作面を備えて構成される。タッチセンサ１４Ｂの接触検知方式としては、静電容量式、抵抗膜式（感圧式）、電磁誘導式など既知の方式のうちの任意の方式を採用することができる。

タッチパネル１４は、主制御部４０による記憶部３８に記憶されているプログラム５０の実行により生成される画像を表示する。入力装置としてのタッチパネル１４は、操作面に対して接触する接触物（ユーザの指やタッチペンなどを含む。以下、「指」である場合を代表例として説明する）の動作を検知することで、操作入力を受け付け、その接触位置の情報を主制御部４０に与える。指の動作は、接触点の位置または領域を示す座標情報として検知され、座標情報は、例えば、タッチパネル１４の短辺方向および長辺方向の二軸上の座標値として表される。

情報処理装置２００は、移動体通信用アンテナ３０や無線ＬＡＮ通信用アンテナ３４を通じてネットワーク（インターネット）Ｎに接続され、履物１００やサーバとの間でデータ通信をすることが可能である。

実施形態に係るプログラム５０は、情報処理装置２００にインストールされたものであってもよいし、オンライン上でサーバから出力制御機能が提供されるものであってもよい。プログラム５０が実行されることで、履物１００の出力制御を行うアプリケーションが動作する。

＜機能構成＞
次に、履物１００、情報処理装置２００それぞれの機能構成について説明する。ます、履物１００の機能構成について説明する。

図４は、実施形態における履物１００の制御部１０２の機能の一例を示す図である。図４に示す制御部１０２は、所定プログラムを実行することで、取得部２０２と、判定部２０４と、出力制御部２０６と、変換部２０８と、評価部２１０との各機能を少なくとも有する。

取得部２０２は、センサ部１０６から、検出されたセンサデータを取得する。例えば、センサデータは、履物１００の動きを示す信号である。取得されたセンサデータは、送信部１４２や判定部２０４に出力される。

また、取得部２０２は、受信部１４４が受信した出力制御信号を取得する。出力制御信号は、出力部１０８の出力内容に応じた制御信号であり、例えば、発光制御信号、表示制御信号、音制御信号、振動制御信号のうちの少なくとも１つである。取得された出力制御信号は、出力制御部２０６に出力される。

判定部２０４は、センサデータに基づいて、履物１００が所定方向へ移動しているか否かを判定する。例えば、判定部２０４は、センサデータにより、履物１００の姿勢、及び移動方向が分かるので、ＬＥＤが設けられた直線状の方向とは略垂直な方向への履物の動きを判定する。所定方向は、出力部１０８の出力内容に応じて適宜決められればよい。

出力制御部２０６は、出力制御信号に基づき、出力部１０８の出力を制御する。例えば、出力制御部２０６は、出力部１０８が複数のＬＥＤの場合、発光の位置や色、強さなどを制御する。

変換部２０８は、出力部１０８により所定画像が出力される場合、所定画像を、この所定画像に対応するＬＥＤの位置や色を示すデータに変換し、発光制御信号（出力制御信号）を生成する。変換部２０８は、発光制御信号を出力制御部２０６に出力する。なお、変換部２０８は、出力制御部２０６の機能として実装されてもよい。

出力制御部２０６は、変換部２０８が生成した発光制御信号に基づいて、所定方向において所定画像を表す光の残像が現れるよう複数の発光部を発光制御してもよい。これにより、履物１００による出力の表現を増やすことができる。

評価部２１０は、センサデータに基づく履物１００の動きを評価する。例えば、評価部２１０は、手本となる動きがセンシングされたデータを、時系列の手本データとして保持しておく。この手本データは、情報処理装置２００やサーバから受信されてもよいし、手本となる動きをセンシングしたセンサデータが、機械学習等により学習されたデータとして保持されてもよい。

評価部２１０は、手本データと、センサデータとを比較し、両データが近似していれば良い評価結果とし、両データが近似していなければ悪い評価結果とする。評価部２１０は、近似の判定について、例えば両データの累積差分値が所定値以下であれば近似とし、両データの累積差分値が所定値より大きければ近似しないと判定する。なお、評価結果は、累積差分値の大きさに応じて複数段階で評価されてもよい。

出力制御部２０６は、評価部２１０の評価結果に基づいて出力部２１０の出力を制御してもよい。例えば、出力制御部２０６は、良い評価結果の場合は赤、悪い評価結果の場合は緑など、出力部２１０の出力を制御する。これにより、例えばダンサーの足のステップの練習において、どのような評価が行われるかなどに適用することができる。

次に、情報処理装置２００の機能について説明する。図５は、実施形態における情報処理装置２００の主制御部４０の機能の一例を示す図である。図５に示す主制御部４０は、プログラム５０を実行することで、取得部３０２と、解析部３０４と、変換部３０６と、学習部３０８との各機能を少なくとも有する。

取得部３０２は、無線ＬＡＮ通信部３６等により受信されたセンサデータを取得する。センサデータは、履物１００に設けられたセンサ部１０６により検出されたセンサデータである。取得されたセンサデータは、変換部３０６に出力される。

解析部３０４は、音を一般的な音響解析技術を用いて解析する。解析部３０４は、例えば、音楽の打音、音圧、音高、和音構成などを解析する。解析結果のデータは、変換部３０６に出力される。

変換部３０６は、センサデータと、解析結果データ（音データとも称す）とから、履物１００の出力部１０８を制御する出力制御信号に変換する。変換部３０６は、例えば、解析結果データに基づき第１音高以上の時は第１色、第１音高未満の時は第２色、かつ、センサデータに基づき所定の動きの時は第３色になるように出力制御信号を生成する。

変換部３０６は、事前の設定により、音データ及びセンサデータそれぞれの出力制御信号に対する寄与率を変更することができる。例えば、変換部３０６は、音響解析の影響を大きくしたければ、音データの寄与率を８０％にし、センサデータの寄与率を２０％に設定することを可能にする。寄与率の設定は、ユーザによって予め設定してもらえばよい。

また、変換部３０６は、発光制御の対象となる音データのパラメータ（例えば音高、打音、音圧、和音構成など）を選択可能とし、発光制御の対象となるセンサデータのパラメータ（例えば動きの種類、移動方向、移動速度など）を選択可能とする。また、変換部３０６は、発光パラメータ（例えば発光色、発光強度、発光位置など）を選択可能にする。

変換部３０６は、選択された発光制御の対象となるパラメータと、発光パラメータとを関連づけておく。これにより、変換部３０６は、上述したように、音が第１音高以上の時は第１色、第１音高未満の時は第２色、かつ、履物１００が所定の動きをした時は第３色になるように出力制御信号を生成することが可能になる。

学習部３０８は、履物１００から取得したセンサデータを蓄積し、センサデータから特徴量抽出を行って、抽出された特徴量の機械学習を行う。特徴量抽出処理及び機械学習処理は、公知の技術を用いればよい。例えば、学習部３０８は、ダンスのステップの手本となる手本データを、履物１００のセンサデータを機械学習することによって取得する。なお、手本データは、サーバなどからダウンロードされることによっても取得可能とする。

［実施例］
次に、上述した履物１００のソール部に出力部１０８として、複数のＬＥＤを設ける実施例について説明する。図６は、実施例における履物１００の一例を示す図である。図６（Ａ）は、実施例における履物１００の一例を示す側面図である。図６（Ｂ）は、実施例における履物１００の一例を示す背面図である。

図６に示す例では、履物１００は、アッパー部１００Ａと、ソール部１００Ｂとから構成され、複数のＬＥＤ１００Ｃが、ソール部１００Ｂに設けられる。また、ＬＥＤ１００Ｃは、ソール部１００ＢのＸ方向の側面に亘って設けられる。また、ＬＥＤ１００Ｃは、アッパー部１００Ａの踵部のＺ方向にも設けられてもよい。ＬＥＤ１００Ｃの配置位置はあくまでも一例であって、図６に示す例に限られない。

＜発行制御（その１）＞
図６に示す履物１００において、例えばダンサーが履いてダンスする場合の発光制御（その１）について説明する。ダンサーが音楽に合わせてダンスすると、履物１００の動きを示すセンサデータが情報処理装置２００に送信される。情報処理装置１００では、音楽の音源を音響解析した結果と、取得されたセンサデータに基づいて発光制御信号を生成する。

例えば、情報処理装置１００は、基本的な制御信号を音響解析結果から生成し、センサデータが発光制御を示す動きであると判定したときに、追加で発光制御信号を挿入する。これにより、音と動きとに基づいて適応的に発光制御を行うことができる。

上述した出力制御により、例えば、音楽の打音などに合わせて履物１００のＬＥＤ１００Ｃが発光し、発光色は、音高の違いによって変えることができ、さらに、ＬＥＤ１００Ｃは、タップ動作によって所定色に発光することができる。したがって、音と動きと光とが三位一体となって連動するように制御される。

＜発光制御（その２）＞
次に、光によって、所定画像が現れる光の発光制御（その２）について説明する。音に合わせて発光制御されることは、上述したとおりであるが、履物１００の動きに合わせて所定画像が現れるように発光制御する。

例えば、発光制御により、所定画像として「Ｈ」が現れる例について説明する。図７は、所定画像について説明するための図である。図７（Ａ）は、所定画像の一例を示す図である。図７（Ａ）に示すように、所定画像は「Ｈ」とする。

図７（Ｂ）は、所定画像を分割した例を示す図である。図７（Ｂ）に示すように、所定画像「Ｈ」は、光の残像によって現れるようにするために分割される。図７（Ｂ）に示す例では、上下方向（図６に示すＺ方向）に５つ（４００Ａ〜Ｅ）に分割される。この分割された画像に対応する位置のＬＥＤを、履物１００の移動方向に合わせて順に発光させることで、光の残像により所定画像「Ｈ」を空間上に表示することができる。

なお、この場合、履物１００が上方向に移動していることが検知された場合に、所定画像の分割画像４００Ａ〜Ｅが順に発光される。このとき、音データによる発光制御は、寄与率を小さく（例えば０％〜１０％）するなどして、所定画像が目立つようにするとよい。これにより、適応的にセンサデータから検出される動き等に応じて、寄与率を変更することができる。

なお、所定画像が現れるようにする制御は、履物１００側で行ってもよいし、情報処理装置１００側で行ってもよい。以下では、履物１００側で行う例について説明する。

図８は、所定画像が現れることを説明するための概念図である。図８では、Ｚ方向の上方向にジャンプした際に、光の残像により所定画像「Ｈ」が現れることを説明する。

時刻ｔ１において、判定部２０４は、センサデータに基づき上方向にジャンプしていることを検出する。例えば、判定部２０４は、センサデータが、水平方向の姿勢をある程度保ったまま、所定時間内に上方向の移動距離が閾値以上であることを示せば、上方向にジャンプしていると判定する。このとき、変換部２０８は、分割画像４００Ａに対応する位置のＬＥＤがその画像の色で発光されるように発光制御信号を生成し、出力制御部２０６に出力する。出力制御部２０６は、変換部２０８から発光制御信号を受けた場合、この信号を、取得部２０２が取得した出力制御信号よりも優先して発光制御する。

時刻ｔ２において、変換部２０８は、分割画像４００Ｂに対応する位置のＬＥＤがその画像の色で発光されるように発光制御信号を生成し、出力制御部２０６に出力する。出力制御部２０６は、分割画像４００Ｂが現れるよう発光制御する。

時刻ｔ３において、変換部２０８は、分割画像４００Ｃに対応する位置のＬＥＤがその画像の色で発光されるように発光制御信号を生成し、出力制御部２０６に出力する。出力制御部２０６は、分割画像４００Ｃが現れるよう発光制御する。

時刻ｔ４において、変換部２０８は、分割画像４００Ｄに対応する位置のＬＥＤがその画像の色で発光されるように発光制御信号を生成し、出力制御部２０６に出力する。出力制御部２０６は、分割画像４００Ｄが現れるよう発光制御する。

時刻ｔ５において、変換部２０８は、分割画像４００Ｅに対応する位置のＬＥＤがその画像の色で発光されるように発光制御信号を生成し、出力制御部２０６に出力する。出力制御部２０６は、分割画像４００Ｅが現れるよう発光制御する。

これにより、時刻ｔ１〜ｔ５まで、出力制御部２０６の発光部により発光が行われたことで、この光の残像により「Ｈ」が空間上に現れる。所定画像は、文字に限られず、ロゴや絵などでもよい。

また、時刻ｔ１からｔ５までの各間隔は、予め決められていてもよいし、センサデータにより移動速度が分かるため、移動速度に応じて決められてもよい。また、分割画像のサイズについては、ソール部のＬＥＤの配置によって決められればよい。例えば、ＬＥＤがＺ方向に積層して設けられる場合は、分割画像のＺ方向の長さが大きくなればよい。

なお、この所定画像を空間上に現す技術としては、ＰＯＶ（Persistence of Vision）と呼ばれる手法を用いることもできる。このＰＯＶは、デバイスの移動等に合わせて高速にＬＥＤを明滅させることで画像や映像を表示する技術である。例えば、履物１００を履いたユーザがジャンプを繰り返すことで、履物１００のＬＥＤの上下方向の移動位置に、所定画像が現れるように制御することが可能である。

また、その他の発光制御の例として、ダンスのステップの手本を表す手本データと、センサデータとの違いに基づく評価結果が、ＬＥＤの色の違いや発光位置の違い等により表現されてもよい。

＜動作＞
次に、出力制御システム１０の動作について説明する。以下では、上述した２つの発光制御における各処理と、履物１００の動きの評価を行う発光制御における処理とを例に挙げる。

≪発行制御処理（その１）≫
図９は、実施例における発光制御処理（その１）の一例を示すフローチャートである。図９に示すステップＳ１０２で、通信部１０４は、通信設定の初期化を行う。初期化には、通信部１０４がどの装置２００と通信するかを設定することが含まれる。

ステップＳ１０４で、制御部１０２は、出力部１０８が出力（発光）するよう制御し、ユーザは、出力部１０８が出力（発光）していることを確認する。

ステップＳ１０６で、センサ部１０６は、センサデータが更新されたか否かを判定するセンサデータが更新されていれば（ステップＳ１０６−ＹＥＳ）処理はステップＳ１０８に進み、センサデータが更新されていなければ（ステップＳ１０６−ＮＯ）処理はステップＳ１１２に進む。

ステップＳ１０８で、制御部１０２の取得部２０２は、センサ部１０６からセンサデータを取得する。

ステップＳ１１０で、送信部１４２は、センサデータを情報処理装置２００に送信する。

ステップＳ１１２で、受信部１４４は、情報処理装置２００から、出力制御信号を受信したか否かを判定する。出力制御信号が受信されていれば（ステップＳ１１２−ＹＥＳ）処理はステップＳ１１４に進み、出力制御信号が受信されていなければ（ステップＳ１１２−ＮＯ）処理はステップＳ１１６に進む。

ステップＳ１１４で、出力制御部２０６は、出力制御信号に応じて出力部１０８の発光を制御する。この出力制御信号は、音データ及びセンサデータに基づいて生成された出力制御信号である。

ステップＳ１１６で、制御部１０２は、出力制御信号の受信が終了したか否かを判定する。出力制御信号の受信が終了していれば（ステップＳ１１６−ＹＥＳ）処理は終了し、出力制御信号の受信が終了していなければ（ステップＳ１１６−ＮＯ）処理はステップＳ１０６に戻る。

なお、受信の終了については、例えば、出力制御信号を一定時間受信しなかった場合や、スイッチなどにより受信をオフした場合などに、受信の終了が判定される。

以上の処理を行うことで、履物１００は、音及び動きに基づき適応的に出力制御を行うことができる。

≪発光制御（その２）≫
図１０は、実施例における発光制御処理（その２）の一例を示すフローチャートである。図１０に示すステップＳ２０２〜Ｓ２０４は、図９に示すステップＳ１０２〜Ｓ１０４と同様であるため、その説明を省略する。

ステップＳ２０６で、受信部１４４は、画像データを受信したか否かを判定する。画像データが受信されれば（ステップＳ２０６−ＹＥＳ）処理はステップＳ２０８に進み、画像データが受信されなければ（ステップＳ２０６−ＮＯ）処理はステップＳ２０６に戻る。この処理例では、履物１００は、先に画像データを取得しておく。

ステップＳ２０８で、記憶部１１２は、受信された画像データを記憶、保存する。

ステップＳ２１０で、センサ部１０６は、センサデータが更新されたか否かを判定するセンサデータが更新されていれば（ステップＳ２１０−ＹＥＳ）処理はステップＳ２１２に進み、センサデータが更新されていなければ（ステップＳ２１０−ＮＯ）処理はステップＳ２１０に戻る。

ステップＳ２１２で、制御部１０２の取得部２０２は、センサ部１０６からセンサデータを取得する。

ステップＳ２１４で、制御部１０２は、センサデータを解析し、姿勢情報及び移動情報を更新する。

ステップＳ２１６で、判定部２０８は、履物１００が所定方向に一定の距離以上移動したか否かを判定する。条件が満たされれば（ステップＳ２１６−ＹＥＳ）処理はステップＳ２１８に進み、条件が満たされなければ（ステップＳ２１６−ＮＯ）処理はステップＳ２２２に進む。

ステップＳ２１８で、変換部２０８は、移動方向、姿勢情報に応じた形で画像データを表示用のデータに変換し、出力制御信号を生成する。

ステップＳ２２０で、出力制御部２０６は、変換部２０８が生成した出力制御信号に基づいて発光制御を行う。ここでは、出力制御部２０６は、所定画像が空間上に現れるまで（図８のｔ１からｔ５まで）発光制御を行うとする。

ステップＳ２２２で、制御部１０２は、センサ部１０６のセンシングが終了したか否かを判定する。センシングの終了は、一定時間センサ信号が更新されなかった場合や、スイッチなどでセンシングがオフされた場合などに、センシングの終了が判定される。

以上の処理により、履物１００が所定の動きを行った場合に、光の残像を用いることで、空間上に所定画像を現すことができるようになる。なお、この処理は、センサデータに基づく発光制御により実現することができるが、図９に示す発光制御（その１）が制御されている際に、所定の動きが検出されることで実現することもできる。

≪発光制御（その３）≫
履物１００の動きを評価する発光制御を説明する前に、評価の基準となる手本データをサーバにアップロードする処理について説明する。手本データとしては、例えばダンスのステップにおいてセンシングされたデータとする。

図１１は、実施例における手本データのアップロー処理の一例を示すフローチャートである。図１１に示すステップＳ３０２で、情報処理装置２００の主制御部４０は、ステップ学習のボタンが押されたか否かを判定する。ステップ学習ボタンが押されれば（ステップＳ３０２−ＹＥＳ）処理はステップＳ３０４に進み、ステップ学習ボタンが押されていなければ（ステップＳ３０２−ＮＯ）処理はステップＳ３０２に戻る。例えば、学習ボタンは、画面上に表示されるＵＩ（User Interface）ボタンである。

ステップＳ３０４で、主制御部４０は、学習モードのトリガをＯＮにする。

ステップＳ３０６で、主制御部４０は、履物１００から受信するセンサデータを取得し、モーションデータとして記憶部３８に蓄積する。

ステップＳ３０８で、主制御部４０は、学習終了のボタンが押されたか否かを判定する。学習終了ボタンが押されれば（ステップＳ３０８−ＹＥＳ）処理はステップＳ３１０に進み、学習終了ボタンが押されていなければ（ステップＳ３０８−ＮＯ）処理はステップＳ３０６に戻る。例えば、学習終了ボタンは、画面上に表示されるＵＩボタンである。

ステップＳ３１０で、主制御部４０は、学習モードのトリガをＯＦＦにする。

ステップＳ３１２で、主制御部４０は、蓄積したモーションデータの特徴量を解析する。特徴量解析は、公知の技術を用いればよい。

ステップＳ３１４で、主制御部４０は、アップロードのボタンが押されたか否かを判定する。アップロードボタンが押されれば（ステップＳ３１４−ＹＥＳ）処理はステップＳ３１６に進み、アップロードボタンが押されていなければ（ステップＳ３１４−ＮＯ）処理はステップＳ３１４に戻る。例えば、アップロードボタンは、画面上に表示されるＵＩボタンである。

ステップＳ３１６で、主制御部４０は、モーションデータ、又は特徴量等のデータを、サーバに送信するよう制御する。これにより、比較対象となる手本データがサーバにアップロードされる。サーバは、複数の手本データを記憶し、情報処理装置２００や履物１００に対し、手本データをダウンロード可能にする。

図１２は、実施例における発光制御処理（その３）の一例を示すフローチャートである。以下に示す例では、情報処理装置２００がステップの評価を行う場合を例にして説明する。

図１２に示すステップＳ４０２で、ステップを練習したいユーザは、情報処理装置２００を操作してサーバにアクセスし、学習したいステップを選択し、情報処理装置２００に手本となるモーションデータ（又は特徴量データ）をダウンロードする。ダウンロードしたデータは、学習データと称す。

ステップＳ４０４で、ユーザは、履物１００を履いて、ステップＳ４０２で選択したステップを行う。

ステップＳ４０６で、履物１００のセンサ部１０６は、ステップの動きを示すセンサデータを情報処理装置２００に送信する。情報処理装置２００は、受信したセンサデータをモーションデータとして記憶部３８に蓄積する。練習時に取得されたデータは、ユーザデータと称す。

ステップＳ４０８で、主制御部４０は、学習データとユーザデータの差異を検出する。

ステップＳ４１０で、主制御部４０は、差異となる差分値が閾値以内か否かを判定する。差分値が閾値以内であれば（ステップＳ４１０−ＹＥＳ）処理はステップＳ４１２に進み、差分値が閾値より大きければ（ステップＳ４１０−ＮＯ）処理はステップＳ４１４に進む。

ステップＳ４１２で、主制御部４０は、成功を示す出力制御信号を履物１００に出力する。これにより、履物１００は、成功を示す出力を行うことができる。例えば、出力制御部２０６は、ＬＥＤを第１色に発光したり、ディスプレイに丸を表示したり、振動子に所定の振動をさせたりする。

ステップＳ４１４で、主制御部４０は、失敗を示す出力制御信号を履物１００に出力する。これにより、履物１００は、成功を示す主力を行うことができる。例えば、出力制御部２０６は、ＬＥＤを第１色に発光させたり、ディスプレイに丸を表示させたり、振動子に所定の振動をさせたりする。

この場合、情報処理装置２００において、学習データと、ユーザデータとを比較して表示することを可能とする。これにより、ユーザは、どの動きが良くて、どの動きが悪かったかを把握することができ、ステップを効果的に練習することができる。

なお、上述した評価の処理は、学習データをダウンロードした履物１００の制御部１０２が実行することもできる。これにより、一旦学習データを履物１００にダウンロードすれば、オフラインでもステップの練習を行うことができる。

以上の処理を行うことで、ユーザは履物１００を履いて、所定の動きを練習することができ、練習した動きの適切な評価結果を知ることができる。

なお、図９〜１２で説明した処理のフローに含まれる各処理ステップは、処理内容に矛盾を生じない範囲で、任意に順番を変更して又は並列に実行することができるとともに、各処理ステップ間に他のステップを追加してもよい。また、便宜上１ステップとして記載されているステップは、複数ステップに分けて実行することができる一方、便宜上複数ステップに分けて記載されているものは、１ステップとして把握することができる。

［変形例］
以上、本願の開示する技術の複数の実施形態について説明したが、本願の開示する技術は、上記に限定されるものではない。

例えば、情報処理装置２００の主制御部４０は、ユーザの一連の履物１００の動きデータと、音データとに基づく画像データを生成又は選択し、履物１００に出力部１０８として設けられたＬＥＤの表示内容をリアルタイムに更新する。この場合、ＬＥＤは、縦及び横にある程度の幅を持ったディスプレイとして機能する。例えば、動きデータが所定の動きを示すとき、ディスプレイに表示可能なサイズの第１画像が表示され、音データが所定の音を示すとき、ディスプレイに表示可能なサイズの第２画像が表示される。

また、出力部１０８は、外部コンピュータのディスプレイであり、このディスプレイに映像を表示したり、外部スピーカにより音を再生したり、振動モジュールによる触覚的出力等を行ったりしてもよい。

また、圧電素子をなどのデバイスが、履物１００のインソール内に設けられてもよい。これにより、履物１００は、踵踏みを検知し、踵踏みに応じた出力部１０８の出力制御を行うことも可能になる。

また、センサ部１０６は、９軸センサにaltimeter高度計を含めた１０軸センサ等であってもよい。また、センサ部１０６は、荷重センサを含んでもよい。これにより、高度や荷重に応じた出力部１０８の出力制御を行うことができる。

また、振動素子が、履物１００のインソール内や靴の甲部に備え付けられてもよい。これにより、振動によってユーザに所定のメッセージを伝えることもできる。

また、出力制御システム１０は、複数の装置を同時に制御することもできる。例えば、無線通信を利用することで複数の履物１００の同時制御が可能になる。これにより、一つの情報処理装置２００から発光パターン（出力制御信号）を送信し、会場内のすべての履物１００の発光色を同期することができる。

また、音響解析は、情報処理装置２００だけではなく、履物１００の制御部１０２において音響解析を行ってもよい。これにより、履物１００は、周囲の音楽に合わせて自動的に発光パターン（出力制御信号）を生成することができる。

また、出力制御システム１０は、音楽を生成することもできる。例えば、履物１００の動きデータを、情報処理装置２００又は内部の制御部１０２において解析し、移動方向や移動速度等に合わせた音又は音楽を、リアルタイムに生成することもできる。また、センサデータを用いてのジェスチャ認識に基づいて、出力部１０８は、特定の音サンプルデータを再生することができる。例えば、踵を踏むと、ドラム音が再生されるように出力制御システム１０は制御することができる。

また、出力制御システム１０は、どのような履物１００の動作に対して、どのような音を関連付けた演奏のデータを、外部装置（情報処理装置２００）を通じてインターネット上のサーバにおいて共有することができる。これにより、他のユーザは、このユーザのデータをダウンロードし、自分の履物１００で演奏することができる。

また、出力制御システム１０は、ＬＥＤアニメーションや、残像で描画する画像や、映像のデータを、外部装置（情報処理装置２００）を通じてインターネット上のサーバにおいて共有することができる。これにより、他のユーザは、このユーザのデータをダウンロードし、自分の履物１００で表示することができる。

また、出力制御システム１０は、履物１００によって検出される動きを解析することもできる。また、センサ部１０６として９軸センサ等を利用することで、履物１００の姿勢や移動速度、移動距離を適切にセンシングすることができ、これらのモーションの解析結果を、リアルタイムにディスプレイに表示することができる。

また、出力制御システム１０の履物１００をコントローラとして利用することでもできる。例えば、履物１００を履いた足のジェスチャを事前に履物１００等に登録することで、他のコンピュータの無線コントローラとして利用することができる。具体的には、右足先を回転させることで、部屋の照明を操作することなどが考えられる。

また、出力制御システム１０は、履物１００のセンサ部１０６により検出されたセンサデータを解析することで、ユーザの身体的特徴を類推することが可能になる。これにより、ユーザの身体的特徴に基づいたエクササイズや、フォームの改善法といったアドバイスを行うアプリケーションを実装することができる。

また、出力制御システム１０は、ＧＰＳ（Global Positioning System）モジュールを履物１００内に設けてもよい。これにより、現在地を検出し、特定の場所に入った時に発光して示す等の動作や、地磁気センサと組み合わせることで、現在向いている方向を検知し、発光や振動によって道案内を行うこともできる。

また、履物１００は、内部に振動素子を設け、一定のリズムで振動素子を振動させることで、ユーザに音楽的リズムを伝達することができる。または、履物１００は、振動素子の振動により、モールス信号のように特定のメッセージを伝達することができる。

また、履物１００に設けられたセンサ部１０６により検出されるセンサデータに応じて、ディスプレイに表示された靴のＣＧを動かす等、映像出力やエフェクトに活用することができる。

また、出力制御システム１０は、再生中の音楽へのエフェクターとして利用することができる。例えば、履物１００に設けられたセンサ部１０６を用いて、特定の運動量をエフェクト量として利用することができ、これにより、一定時間の運動量と音量とを同期させる。具体的には、履物１００を履いたダンサーが足を回転させ、回転数が多くなると、音楽の音量を大きくするように制御してもよい。

また、本発明は、履物１００以外にも、ユーザの動きを検出したい位置に装着するウェアラブルなデバイス（例えば腕時計やメガネなど）に適用することができる。また、センサ部１０６は、履物１００やウェアラブルデバイスの内部ではなく、外部センサとして動きを検出したい位置に装着されてもよい。

また、本発明のプログラムは、ＣＤ−ＲＯＭ等の光学ディスク、磁気ディスク、半導体メモリなどの各種の記録媒体を通じて、又は通信ネットワークなどを介してダウンロードすることにより、コンピュータにインストール又はロードすることができる。

また、本明細書等において、「部」とは、単に物理的構成を意味するものではなく、その構成が有する機能をソフトウェアによって実現する場合も含む。また、１つの構成が有する機能が２つ以上の物理的構成により実現されても、２つ以上の構成の機能が１つの物理的構成により実現されてもよい。また、「システム」とは、情報処理装置等から構成される、特定の機能をユーザに提供するためのシステムを含む。例えば、サーバ装置、クラウドコンピューティング形態のもの、ＡＳＰ（Application Service Provider）、クライアントサーバモデルのもの、などにより構成されるが、これに限られるものではない。

［実施形態２］
本実施形態２においては、上記実施形態１において触れなかった履物１００の詳細構造について説明するとともに、上記実施形態１において触れなかった出力制御について説明する。

図１３（ａ）は、履物１００の構成を示す外観図である。図１３（ａ）に示すように、履物１００は履物１００の上面側であって、履物１００を装着するユーザの足の甲を覆って固定するアッパー部１３０１と、履物１００の底面側であって、衝撃を吸収する機能を有するソール部１３０２とから構成される。アッパー部１３０１には、ユーザの足の甲を保護するためのタング部１３０３が設けられている。タング部１３０３には、制御部１０２と通信部１０４と電源部１１０とを含むモジュール１３０４が設けられており、図１３（ｂ）に示すように、タング部１３０３を開くことで、タング部１３０３に設けられたポケットに挿入されたモジュール１３０４を露出させることができる。モジュール１３０４には、図示していないが、電源供給を受けるための端子（例えば、ＵＳＢ端子）を有し、図１３（ｂ）に示すようにタング部１３０３を開くことで、当該端子を外部の電源へと接続し、電力の供給を受けて、電源部１１０に蓄電することができる。なお、通信部１０４は、例えば、Ｂｌｕｅｔｏｏｔｈ Ｌｏｗ Ｅｎｅｒｇｙ規格に従った通信を行うことにより、通信による電力消費を抑制してもよい。

履物１００において、ソール部１３０２は、出力部１０８と、センサ部１０６とを備える。センサ部１０６は、ソール部１３０２の内部であって、ユーザの足の土踏まずに対応する位置にあるシャンク部内部に設けられる。図示していないが、センサ部１０６は、履物１００の内部を通って、モジュール１３０４と接続しており、当該モジュール１３０４内部の電源１１０から電力の供給を受けて動作するとともに、センサデータをモジュール１３０４に伝達する。これにより、センサ部１０６によりセンシングされたセンサデータは、通信部１０４により、外部の情報処理装置２００に伝達される。

図１４（ａ）は、ソール部１３０２の平面図であり、図１４（ｂ）は、図１４（ａ）のソール部１３０２をＡ−Ａ´線で切断した場合の断面図である。図１４（ａ）に示すように、ソール部１３０２は、出力部１０８を載置するための溝部１４０１を備える。溝部１４０１は、ソール部１３０２内部であって、その外縁に沿うようにソール部１３０２の外周部分に設けられる。溝部１４０１は、出力部１０８を載置するために窪んでおり、溝部１４０１には、出力部１０８としてＬＥＤテープが設けられる。図１４（ａ）に示すように、溝部１４０１を設けていない箇所であって、ソール部１３０２の内部のユーザの土踏まずに対向する位置には、センサ部１０６が設けられる。当該箇所は、履物１００の構造において、所謂シャンク部と呼称される位置である。そして、ソール部１３０２において、溝部１４０１並びにセンサ部１０６が設けられていない位置には、衝撃吸収用のリブ１４０２〜１４０５が設けられている。リブ１４０２、１４０３は、ソール部１３０２のユーザのつま先側であって、溝部１４０１よりも外周側に設けられている。これにより、履物１００に対する履物１００先端部に加えられる衝撃を吸収し、溝部１４０１に設けられる出力部１０８が故障する可能性を低減するとともに、ユーザの足にかかる負担を軽減することができる。同様に、リブ１４０４、１４０５も履物１００の中央に位置し、履物にかかる衝撃を吸収し、溝部１４０１に設けられる出力部１０８が故障する可能性を低減するとともに、ユーザの足にかかる負担を軽減することができる。

図１４（ｃ）は、ソール部１３０２の断面図であって、出力部１０８としてのＬＥＤテープを載置した状態を示している。図１４（ｃ）に示すように、出力部１０８は、発光面を履物１００の底面側に向けて載置される。すなわち、履物１００は、その底面が発光する。発明者らは、ＬＥＤテープをソール部１３０２の側面に沿って、側面側が発光するように設置すると、ＬＥＤテープの破損率、特につま先部分の屈曲率が高くなって破損率が高くなることを発見している。そのため、より破損率が低減するＬＥＤテープの載置を模索した結果、図１４（ｃ）に示すようにＬＥＤテープを発光面を、ソール部１３０２の底面側に向けて載置するという構成を想到するに至った。ソール部１３０２は、透明又は半透明の衝撃吸収性の高い樹脂などにより構成されるので、ＬＥＤテープの発光を透過し、その結果、その底面が発光する履物１００を提供することができる。

図１５は、ソール部１３０２の構造をよりわかりやすくするために設けたソール部１３０２の斜視図である。図１５（ａ）は、ソール部１３０２にセンサ部１０６と出力部１０８とを載置していない状態を示した斜視図であり、図１５（ｂ）は、ソール部１３０２に出力部１０６とセンサ部１０６とを載置した状態を示す斜視図である。図１５（ａ）と図１５（ｂ）を比較すれば理解できるように、ＬＥＤテープである出力部１０８は、溝部１４０１に載置され、ソール部１３０２の底面の外周部分に設けられることになる。また、センサ部１０６は、ソール部１３０２に設けられた窪み１５０１に設けられる。窪み１５０１は、センサ部１０６の外径にほぼ一致するように構成されることで、センサ部１０６が窪み１５０１に載置された際に、がたつくのをなるべく防止するとともに、センサ部１０６による動きの検出を純粋に履物１００の動きを検出できるようにすることができる。センサ部１０６を履物１００のタング部１３０３のモジュール１３０４内に設けた場合、センシングの正確性を欠く可能性があるため、より安定したセンシングを実行できるように、ソール部１３０２に設ける。

図１３から図１５に示す構造を備えることにより、正確に履物１００の動きを検出できるとともに、安定した発光制御ができる履物１００を提供することができる。

［実施形態３］
本実施形態３においては、履物１００の動きに応じた音声を出力する音声出力制御について説明する。上記実施形態１においては、周囲の音に適した発光制御を実行する例を示しているが、本実施形態３においては、履物１００を履いたユーザの動き、すなわち履物１００の動きに適した音を出力する手法について説明する。

図１６は、実施形態３に係る情報処理装置２００の主制御部４０の機能の一例を示す図である。情報処理装置２００の構成自体は、上記実施形態１の図３に示した通りである。図１６に示す主制御部４０は、所定プログラムを実行することで、取得部３０２と、動作解析部１６０１と、音声生成部１６０２と、音声出力部１６０３との各機能を少なくとも有する。

取得部３０２は、上記実施形態１に示す機能に加え、記憶部３８から、記憶部３８に記憶されている音声ファイル表１７００と、出力音声表１７１０とを取得し、音声生成部１６０２に伝達する。ここで、音声ファイル表１７００と、出力音声表１７１０とについて説明する。また、取得部３０２は、記憶部３８に記憶されている音声ファイルや音源の実データを取得する。また、取得部３０２は、音声出力制御に係るユーザ設定情報を記憶部３８から取得する。

ここで、音声出力制御に係るユーザ設定情報とは、履物１００の動作に応じて出力する音声の制御方法に関する設定を示す情報であり、予め、情報処理装置２００にユーザからタッチパネル１４を用いて設定されている。当該設定は記憶部３８に記憶される。ここでユーザ設定情報として設定できる音声出力制御方法は、少なくとも３つあり、一つ目は、履物１００の運動量を解析し、その動きに応じて音声を合成して出力するというものであり、二つ目は、履物１００の動きが特定のパターンに合致した場合に、予め定められた特定の音声を出力するというものであり、三つめは、一つ目と二つ目の制御の双方を実行するというものである。

図１７（ａ）は、記憶部３８に記憶されている音声ファイル表１７００のデータ構成例を示すデータ概念図である。図１７（ａ）に示すように、音声ファイル表１７００は、ジェスチャデータ１７０１と、音声ファイル１７０２とが対応付けられた情報である。

ジェスチャデータ１７０１は、履物１００の動作を規定した動きのパターンを示す情報であり、運動量や加速度の経時的変化を示す情報である。より具体的には、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向、それぞれの方向に係る運動量や加速度の経時的変化を示す情報である。

音声ファイル１７０２は、ジェスチャデータ１７０１に対応付けられており、動作解析部１６０１が解析したセンサデータのパターンが一致したときに、出力する音声ファイルを特定する情報である。

解析された履物１００の動きが、ジェスチャデータ１７０１と所定以上の相関を有する場合に、対応する音声ファイルを用いた音声が出力されることになる。

音声出力表１７１０は、運動データ１７１１と、音声パラメータ１７１２とが対応付けられた情報である。

運動データ１７１１は、運動量と加速度を示す情報であり、特定の動きのパターンを規定するものではなく、Ｘ軸方向、Ｙ軸方向、Ｚ軸方向の運動量と加速度を示す情報である。

音声パラメータ１７１２は、運動データ１７１１に対応付けられ、当該運動データ１７１１で示す情報がセンサデータから得られた場合に出力する音声に関する情報を示す情報であり、出力すべき音や、出力すべき音に対して加える変化（例えば、音程を変更したり、音声再生速度を変更したりなど）を規定するパラメータ情報である。

運動データ１７１１で示される動きが検出された場合に、対応する音声パラメータに従った音声が出力されることになる。

音声ファイル表１７００の音声ファイル１７０２に示される各音声ファイルの実データは、記憶部３８に記憶されている。

主制御部４０の機能説明に戻って、動作解析部１６０１は、取得部３０２が取得したセンサデータに基づいて、履物１００の動作を解析する。動作解析部１６０１は、センサデータに基づいて、当該センサデータが示す履物１００の動き情報を解析する。具体的には、センサデータに基づいて、履物１００の運動量や加速度の経時的変化を特定する。そして、動作解析部１６０１は、解析した動き情報を音声生成部１６０２に伝達する。

音声生成部１６０２は、取得部３０２が取得した音声出力制御に係るユーザ設定情報に従って、動作解析部１６０１から伝達された動き情報と、取得部３０２から伝達された音声ファイル表１７０１と、出力音声表１７０２とを参照して、出力する音声を生成する。音声生成部１６０２は、生成した音声を音声出力部１６０３に伝達する。なお、音声の生成手法についての詳細は後述する。

音声出力部１６０３は、音声生成部１６０２から伝達された音声を情報処理装置２００のスピーカ１６から出力させる。以上が、本実施形態３に係る主制御部４０の説明である。

図１８は、実施形態３に係る情報処理装置２００の動作を示すフローチャートである。ステップＳ１８０１で、情報処理装置２００のタッチパネル１４は、ユーザから、音声の出力制御に関するユーザ設定情報を受け付ける。主制御部４０は、記憶部３８に当該ユーザ設定情報を記録する。

ステップＳ１８０２で、取得部３０２は、履物１００のセンサ部１０６からのセンサデータを取得する。当該センサデータは、所定時間長（例えば、１秒間）のセンシングデータである。

ステップＳ１８０３で、取得部３０２は、ステップＳ１８０１において設定された音声の出力制御に関するユーザ設定情報を記憶部３８から取得し、主制御部４０は、音声の出力制御方法を判定する。

ユーザ設定情報が、運動量解析を示す場合に（ステップＳ１８０３の（１））、ステップＳ１８０４に進み、ジェスチャ解析を示す場合に（ステップＳ１８０３の（２））、ステップＳ１８０７に進み、運動量解析とジェスチャ解析の両方を実行することを示す場合に（ステップＳ１８０３の（３））、ステップＳ１８１１に進む。

ステップＳ１８０４で、動作解析部１６０１は、センサデータから運動量を計算する。動作解析部１６０１は、計算した運動量を音声生成部１６０２に伝達する。

ステップＳ１８０５で、取得部３０２は、記憶部３８から音声出力表１７１０を読み出す。音声生成部１６０２は、伝達された運動量と最も相関が高い運動量データ１７１１を特定し、対応する音声パラメータ１７１２を特定する。そして、音声生成部１６０２は、特定した音声パラメータ１７１２に基づいて出力する音声（音声パラメータ１７１２で指定される音声またはこれまで流していた音声に音声パラメータ１７１２で示されるパラメータを変更した音声）を生成する。音声生成部１６０２は、生成した音声を音声出力部１６０３に伝達する。

ステップＳ１８０６で、音声出力部１６０３は、音声生成部１６０２から伝達された音声をスピーカ１６に出力させ、ステップＳ１８１７の処理に進む。

一方、ユーザ設定情報が、ジェスチャ解析のみを示す場合、ステップＳ１８０７で、動作解析部１６０１は、センサデータからジェスチャを解析する。

ステップＳ１８０８で、取得部３０２は、音声ファイル表１７０１を記憶部３８から読み出す。動作解析部１６０１は、センサデータが示す運動量、加速度の経時的変化と、音声ファイル表１７０１のジェスチャパターン１７１１が示す運動量、加速度の経時的変化との相関値を算出する。そして、最も高い相関値を得られるジェスチャパターンを特定する。動作解析部１６０１は、特定したジェスチャパターンを音声生成部１６０２に伝達する。

ステップＳ１８０９で、音声生成部１６０２は、伝達されたジェスチャパターンに対応する音声ファイルを音声ファイル表１７０１を用いて特定する。そして、特定した音声ファイルを音声出力部１６０３に伝達する。

ステップＳ１８１０で、音声出力部１６０３は、伝達された音声ファイルをスピーカ１６から出力させ、ステップＳ１８１７の処理に進む。

ユーザ設定情報が、運動量解析とジェスチャ解析の両方を実行することを示す場合、ステップＳ１８１１で、まず動作解析部１６０１は、センサデータからジェスチャを解析する。

ステップＳ１８１２で、取得部３０２は、音声ファイル表１７０１を記憶部３８から読み出す。動作解析部１６０１は、センサデータが示す運動量、加速度の経時的変化と、音声ファイル表１７０１のジェスチャパターン１７１１が示す運動量、加速度の経時的変化との相関値を算出する。そして、最も高い相関値を得られるジェスチャパターンを特定する。動作解析部１６０１は、特定したジェスチャパターンを音声生成部１６０２に伝達する。

ステップＳ１８１３で、音声生成部１６０２は、伝達されたジェスチャパターンに対応する音声ファイルを音声ファイル表１７０１を用いて特定する。

ステップＳ１８１４で、動作解析部１６０１は、センサデータから運動量を計算する。動作解析部１６０１は、計算した運動量を音声生成部１６０２に伝達する。

ステップＳ１８１５で、取得部３０２は、記憶部３８から音声出力表１７１０を読み出す。音声生成部１６０２は、伝達された運動量と最も相関が高い運動量データ１７１１を特定し、対応する音声パラメータ１７１２を特定する。

ステップＳ１８１６で、音声生成部１６０２は、特定した音声ファイルと、特定した音声パラメータに基づく音声を生成する。音声生成部１６０２は、音声パラメータ１７１２が特定の音声を示す場合に、その音声を音声ファイルに合成し、音声パラメータ１７１２が音声に対してパラメータの変更を与えることを示す場合には、その変更を音声ファイルに適用して、合成音声を生成する。音声生成部１６０２は、生成した合成音声を音声出力部１６０３に伝達する。音声出力部１６０３は、伝達された合成音声をスピーカ１６から出力させ、ステップＳ１８１７に進む。

ステップＳ１８１７で、主制御部４０は、タッチパネル１４を介して、ユーザからの音声を出力制御を終了する入力を受け付けているかを判定する。受け付けている場合には（ステップＳ１８１７のＹＥＳ）、処理を終了し、受け付けていない場合には（ステップＳ１８１７のＮＯ）、ステップＳ１８０２に戻る。以上が、本実施形態３に係る情報処理装置２００と履物１００による、履物１００の動きに応じた音を出力する音声出力制御の説明である。

＜補足＞
上記実施形態に従って、本発明に係る履物２００について説明してきたが、本発明の思想として含まれる構成はこれに限るものではない。その他各種参考例について説明する。

（１）上記実施形態に係る情報処理装置２００を用いて、ユーザは、履物１００に対して任意の発光制御を指定することができてもよい。図１９は、実施形態４に係る情報処理装置２００によるユーザ指定による履物１００の発光制御を行うためのインターフェース画面である。図１９に示すように、インターフェース画面１９０１は、左足用の履物１００の外形１９０２Ｌと、右足用の履物１００の外形１９０２Ｒと、左足用の履物１００におけるＬＥＤの点灯領域１９０４Ｌと、ＬＥＤを点灯させる色を決定するためのカラーパレット１９０３と、右足用の履物１００におけるＬＥＤの点灯領域１９０４Ｒと、ＬＥＤの点灯制御を所定時間単位で行う場合の、発光パターンにおける時間を示すタイムバー１９０５と、設定した光を発光させるための発光ボタン１９０６と、を含む。

図１９の点灯領域１９０４Ｌ、１９０４Ｒにタッチすることで、点灯させたいＬＥＤの箇所を任意に指定することができる。

また、カラーパレット１９０３の中から点灯させたい発光色を指定することができる。カラーパレット１９０３には、発光させたい色を示すボタンが複数配列されており、当該ボタンにタッチすることで、選択したボタンに対応する色で発行させることができる。カラーパレット１９０３において、「RAINBOW」は虹色に点灯させることを意味し、「MULTI」は複数色で点灯させることを意味し、「OTHERS」はその他の色を選択する場合に選択するボタンとなっている。

タイムバー１９０５は、発光制御を時系列に沿って変化させたい場合に、時間と、そのときの発光パターン（発光箇所と発光色、発光のさせ方）とを指定し、これを記憶部３８に記憶させる。そして、発光ボタン１９０６にタッチすることで指定した発光パターンで履物１００を発光させることができる。このような、インターフェースを利用して、ユーザは任意の発光を指定することができ、履物１００の利便性を向上させることができる。

なお、当該インターフェースは、主制御部４０により、上記処理を実行できるＧＵＩプログラムが実行されることにより実現することができる。

（２）上記実施形態３において、ジェスチャ解析をする場合に、最も相関値の高いジェスチャパターンを特定することとしているが、当該相関値が所定の閾値を超えていない場合には、検出した動き情報に対応するジェスチャパターンは登録されていないと主制御部４０の音声生成部１６０２は判断してもよい。その場合には、音声ファイルを特定せずに、音声ファイルに基づく音声を出力しない構成としてもよい。

（３）上記実施形態３において、音声出力制御は、情報処理装置２００が実行することとしたが、履物２００が音声出力制御を実行するプロセッサ並びにスピーカを備えて実行することとしてもよい。

（４）上記実施形態３における、ジェスチャパターンに対応する音声ファイルはユーザが指定できてもよい。

（５）上記実施形態に示した主制御部４０や、制御部１０２の各機能は、それぞれ同様の機能を実現する専用回路により実現されてもよい。当該専用回路は、上記主制御部４０や制御部１０２の機能部のうち複数の機能を、実行するように構成されていてもよく、複数の回路により一の機能部の機能を実現するように構成されていてもよい。

１０ 出力制御システム
１００ 履物
２００ 情報処理装置
１０２ 制御部
１０４ 通信部
１０６ センサ部
１０８ 出力部
１１０ 電源部
１１２ 記憶部

Claims (14)

1. 履物であって、
   前記履物の動きを検出するセンサ部と、
   前記センサ部により検出されたセンサデータを外部装置に送信する送信部と、
   前記外部装置から、当該外部装置に記憶されている音データ及び前記センサデータの少なくともいずれか一方と出力を規定する出力パラメータの関連付けに基づいて生成された出力制御信号を受信する受信部と、
   前記出力制御信号に基づいて光又は音の出力を行う出力部とを備え、前記外部装置において、前記音データ及び前記センサデータそれぞれの前記出力制御信号に対する寄与率を変更可能な値としてユーザから受け付ける履物。
2. 前記出力部は、発光部を有し、
   前記出力制御信号は、前記音データに関する第１パラメータ及び前記センサデータに関する第２パラメータに基づく、発光の色及び発光の強さを制御する光制御信号であり、
   前記発光部は、
   前記出力として、前記光制御信号に基づき発光する、請求項１に記載の履物。
3. 複数の前記発光部が、前記履物に対して直線状に設けられ、
   前記センサデータに基づき、前記直線状の方向とは略垂直な方向への前記履物の動きが判定された場合、前記略垂直な方向において所定画像を表す光の残像が現れるよう前記複数の発光部を発光制御する制御部をさらに備える、請求項２に記載の履物。
4. 前記制御部は、
   前記所定画像を前記略垂直な方向に複数に分割し、分割された各画像に対応する発光部を、前記略垂直な方向に順に発光させるよう制御する、請求項３に記載の履物。
5. 前記履物は、当該履物の底部であるソール部と、当該ソール部以外のアッパー部と、から成り、
   前記ソール部は、その内部に当該ソール部の外周に沿って、前記発光部が配されていることを特徴とする請求項２に記載の履物。
6. 前記ソール部は、前記発光部を配するための溝部が設けられ、前記発光部の発光面が、前記履物の底面側に向けて配されている
   ことを特徴とする請求項５に記載の履物。
7. 前記発光部は、ＬＥＤテープである
   ことを特徴とする請求項６に記載の履物。
8. 前記ソール部は、前記履物のつま先側であって、前記溝部の外縁に、衝撃吸収部が設けられている
   ことを特徴とする請求項６又は７に記載の履物。
9. 前記センサ部は、前記ソール部内部であってシャンク部に設けられ、
   前記送信部及び前記受信部は、前記アッパー部のタング部に設けられている
   ことを特徴とする請求項５〜８のいずれか１項に記載の履物。
10. 履物は、更に、
    履物の動きのパターンと、当該パターンを検出した際に出力する音声データとを対応付けた音情報を記憶する記憶部を備え、
    前記出力部は、音声を出力するスピーカを含み、前記センサ部が検出した動きのパターンに対応する音声データに基づく音を出力する
    ことを特徴とする請求項１〜８のいずれか１項に記載の履物。
11. 履物と、少なくとも音声を出力する外部装置とからなる音声出力システムであって、
    前記履物は、
    前記履物の動きを検出するセンサ部と、
    前記センサ部により検出されたセンサデータを外部装置に送信する送信部と、
    を備え、
    前記外部装置は、
    前記センサデータを受信する第２受信部と、
    前記履物の動きのパターンと、当該パターンを検出した際に出力する音声データとを対応付けた音情報を記憶する記憶部と、
    前記センサデータが前記動きのパターンのいずれに該当するかを判定する判定部と、
    前記判定部により該当すると判定された動きのパターンに対応付けられた音声データを出力する音声出力部を備える
    音声出力システム。
12. 前記外部装置は、さらに、
    当該外部装置に記憶されている音データ及び前記センサデータの少なくともいずれか一方と出力を規定する出力パラメータとの関連付けに基づいて、出力制御信号を生成する生成部と、
    生成した出力制御信号を前記履物に送信する第２送信部と、を備え、
    前記履物は、さらに、
    前記外部装置から、前記出力制御信号を受信する第１受信部と、
    前記出力制御信号に基づいて光又は音の出力を行う出力部と、を備える
    ことを特徴とする請求項１１に記載の音声出力システム。
13. 前記出力部は、複数の発光部を含み、
    前記外部装置は、さらに、
    ユーザから、前記複数の発光部のうち発光させる発光部の指定、発光させる発光色の指定、発光させる発光パターンの指定を受け付ける入力部を備え、
    前記生成部は、前記入力部で受け付けた入力内容に従って、前記発光部を制御する出力制御信号を生成する
    ことを特徴とする請求項１１又は１２に記載の音声出力システム。
14. 履物における出力制御方法であって、
    前記履物に設けられたプロセッサが、
    前記履物に設けられたセンサ部により前記履物の動きが検出されたセンサデータを取得することと、
    取得されたセンサデータが送信された外部装置から、当該外部装置に記憶されている音データ及び前記センサデータの少なくともいずれか一方と出力を規定する出力パラメータの関連付けに基づいている出力制御信号を取得することと、
    前記出力制御信号に基づいて光又は音の出力を行うこととを実行し、
    前記外部装置において、前記音データ及び前記センサデータそれぞれの前記出力制御信号に対する寄与率を変更可能な値としてユーザから受け付ける、
    出力制御方法。

Images