JP2017211974A - ユーザの指を追跡するシステム、方法及びプログラム - Google Patents

Abstract

【課題】ユーザの指の位置を追跡するシステムの正確性及び応答性を向上させる。
【解決手段】本開示の指追跡システムは、時間軸に沿ったプロジェクタ光信号を投影するプロジェクタであって、時間軸に沿ったプロジェクタ光信号は、プロジェクタの各画素について、プロジェクタの各画素の画素座標を含む情報セグメントによって符号化される、前記プロジェクタと、複数の光センサであって、複数の光センサの各々はユーザの指の各々に装着され、複数の光センサの各々は、時間軸に沿ったプロジェクタ光信号を検出し、センサ信号を生成する、前記複数の光センサと、複数の光センサの各々に接続され、複数の光センサの各々からのセンサ信号を受信し、ユーザの指の各々の位置情報を決定し、ユーザの少なくとも一本の指の検出された位置に基づいて命令を発行する、処理ユニットと、を含む。
【選択図】図１

Description

本開示は、ユーザの指を追跡するシステム、方法及びプログラムに関する。

音楽インターフェイスを設計するために、多くの検知技術が試されている。カメラが唯一の、または主なセンサである外観追跡アプローチが、一般的には、優勢な技術であると考えられており、このアプローチは広範囲にわたる分野における適用をカバーしている。この方法によれば、多くの様々なオブジェクトまたは身体の部分を、個別に追跡することができ、他に特別な装置も必要としない（非特許文献１）。この技術の主な問題は、大量の電力を消費し、大量の記憶容量を必要とすることであり、これらの問題があるため、実用化には困難を伴う。

他のセンサベースシステムも広範囲のデータを提供し、音楽コントローラの表現を豊かにする。例えば、磁気追跡（非特許文献２）、加速度計追跡（非特許文献３）、及びジャイロスコープ追跡（非特許文献４）について、過去の研究で言及されている。しかし、これらの技術の多くは、検知システム自身または周囲環境からの予測不可能な雑音が多い場合、その影響を受けやすい。

コレスニク（Kolesnik）、「指揮ジェスチャ認識、分析及び性能評価システム（Conducting gesture recognition, analysis and performance system）」、修士論文（Master Thesis）、マギル大学（McGill University）、２００４年 イルモネン（Ilmonen）ら、「人工ニューラルネットワークによる指揮者追跡（Conductor following with artificial neural networks）」、１９９９年 ヴァーニ（Varni）ら、「モバイルデバイスで音楽を聴くソーシャル活動における運動ふるまいの同期化のインタラクティブ音波処理（Interactive sonification of synchronisation of motoric behaviour in social active listening to music with mobile devices）」、マルチモーダルユーザインターフェイスジャーナル（Journal on Multimodal User Interfaces）、５（３−４）、頁１５７〜１７３、２０１２年 ディロン（Dillon）、「仮想オーケストラ：娯楽及び教育のための没入型コンピュータゲーム（Virtual orchestra: An immersive computer game for fun and education」、ゲーム研究開発に関する国際会議抄録（Proceedings of the 2006 international conference on Game research and development）、頁２１５〜２１８、２００６年

本開示は、ユーザの指の位置を追跡するシステムの正確性を向上させることを目的とする。

第１の態様は、指追跡システムであって、時間軸に沿ったプロジェクタ光信号を投影するプロジェクタであって、前記時間軸に沿ったプロジェクタ光信号は、前記プロジェクタの各画素について、前記プロジェクタの各画素の画素座標を含む情報セグメントによって符号化される、前記プロジェクタと、複数の光センサであって、前記複数の光センサの各々はユーザの指の各々に装着され、前記複数の光センサの各々は、前記時間軸に沿ったプロジェクタ光信号を検出し、センサ信号を生成する、前記複数の光センサと、前記複数の光センサの各々に接続され、前記複数の光センサの各々からのセンサ信号を受信し、前記ユーザの指の各々の位置情報を決定し、前記ユーザの少なくとも一本の指の検出された位置に基づいて命令を発行する、処理ユニットと、を含む。

第２の態様は、第１の態様の指追跡システムであって、前記処理ユニットは、前記ユーザの対応する指に装着された光センサからの前記センサ信号に対応するプロジェクタ画素を識別することで、前記ユーザの指の各々の前記位置情報を決定する。

第３の態様は、第１または第２の態様の指追跡システムであって、発行された前記命令は、音響または楽音を合成させる。

第４の態様は、第１〜第３の何れかの態様の指追跡システムであって、前記ユーザの指の各々の位置情報は、ピアノの複数の鍵盤を含むキーボードの画像と関連して決定される。

第５の態様は、第４の態様の指追跡システムであって、前記処理ユニットは、前記ユーザの指の各々の位置情報を使用して、前記ピアノの複数の鍵盤のどの鍵盤が押されたか決定する。

第６の態様は、第５の態様の指追跡システムであって、前記処理ユニットは、押されたピアノの鍵盤に対応する音響または楽音を合成する。

第７の態様は、第５の態様の指追跡システムであって、前記処理ユニットは、押されたピアノの鍵盤のシーケンスを記録する。

第８の態様は、第７の態様の指追跡システムであって、前記押されたピアノの鍵盤の記録されたシーケンスと、基準シーケンスと、を比較し、差を決定し、決定された前記差に基づいて前記ユーザに対するフィードバックを生成する。

第９の態様は、第１〜第３の何れかの態様の指追跡システムであって、前記ユーザの指の各々の位置情報は、複数のチャイニーズベルの画像と関連して決定される。

第１０の態様は、第９の態様の指追跡システムであって、前記処理ユニットは、前記ユーザの指の各々の位置情報を使用して、前記複数のチャイニーズベルのどのベルが叩かれたか決定する。

第１１の態様は、第１０の態様の指追跡システムであって、前記処理ユニットは、叩かれたベルに対応する音響または楽音を合成する。

第１２の態様は、第１〜第１１の何れかの態様の指追跡システムであって、前記プロジェクタによって投影される前記時間軸に沿ったプロジェクタ光信号は、前記プロジェクタの画素の各々の画素座標を符号化する複数の光パルスのシーケンスを含む。

第１３の態様は、第１〜第１２の何れかの態様の指追跡システムであって、表示部を含み、前記処理ユニットに接続されたコンピュータシステム、をさらに含み、前記コンピュータシステムは、前記ユーザの指の各々の決定された位置情報を前記処理ユニットから受信し、前記ユーザの指の各々の受信した位置情報を前記表示部に表示する。

第１４の態様は、第１３の態様の指追跡システムであって、前記ユーザの指の各々の位置情報を異なる色で前記表示部に表示する。

第１５の態様は、第１〜第１４の何れかの態様の指追跡システムであって、前記プロジェクタはＤＬＰプロジェクタである。

第１６の態様は、ユーザの指を追跡する方法であって、プロジェクタが、時間軸に沿ったプロジェクタ光信号を投影し、前記プロジェクタの画素の各々について、前記プロジェクタの画素の各々の画素座標を含む情報セグメントによって前記時間軸に沿ったプロジェクタ光信号を符号化し、複数の光センサが、前記時間軸に沿ったプロジェクタ光信号を検出し、前記複数の光センサの各々はユーザの指に装着され、前記複数の光センサの各々は前記時間軸に沿ったプロジェクタ光信号を検出し、センサ信号を生成し、前記複数の光センサの各々に接続されている処理ユニットが、前記複数の光センサの各々から前記センサ信号を受信し、前記ユーザの指の各々の位置情報を決定し、決定した前記ユーザの少なくとも１本の指の位置に基づいて命令を発行する。

第１７の態様は、第１６の態様のユーザの指を追跡する方法であって、前記処理ユニットは、前記ユーザの対応する指に装着された光センサから前記センサ信号に対応するプロジェクタ画素を識別することで、前記ユーザの指の各々の位置情報を決定する。

第１８の態様は、第１６または第１７の態様のユーザの指を追跡する方法であって、発行された前記命令は、音響または楽音を合成させる。

第１９の態様は、第１６〜第１８の何れかの態様のユーザの指を追跡する方法であって、前記ユーザの指の各々の位置情報は、ピアノの複数の鍵盤を含むキーボードの画像と関連して決定される。

第２０の態様は、プログラムであって、プロジェクタを使用して、時間軸に沿ったプロジェクタ光信号を投影し、前記プロジェクタの画素の各々について、前記プロジェクタの画素の各々の画素座標を含む情報セグメントによって前記時間軸に沿ったプロジェクタ光信号を符号化し、複数の光センサを使用して、前記時間軸に沿ったプロジェクタ光信号を検出し、前記複数の光センサの各々はユーザの指に装着され、前記複数の光センサの各々は前記時間軸に沿ったプロジェクタ光信号を検出し、センサ信号を生成し、前記複数の光センサの各々に接続されている処理ユニットを使用して、前記複数の光センサの各々から前記センサ信号を受信し、前記ユーザの指の各々の位置情報を決定し、決定した前記ユーザの少なくとも１本の指の位置に基づいて命令を発行する、ユーザの指を追跡する処理をコンピュータに実行させる。

本開示は、ユーザの指の位置を追跡するシステムの正確性を向上させることを可能とする。

仮想楽器を再生する指追跡システムの実施例を示す。 プロジェクタによって生成される時間軸に沿った符号化光信号を例示する。 プロジェクタによって生成される時間軸に沿った符号化光信号を例示する。 デスクトップコンピュータで稼動する可視化アプリケーションのグラフィカルユーザインターフェイスの実施例を示す。 ８８鍵盤を有する紙製ピアノキーボードを例示する。 仮想チャイニーズベルを例示する。 仮想楽器を演奏するために指追跡システムを使用するプロセスの動作シーケンスの実施例を示す。 マイクロコントローラ及びデスクトップコンピュータとして使用され得るコンピュータプラットフォームの実施例を示す。

以下の詳細な説明において、添付の図面を参照する。図面において、同一の機能を有する要素には同様の参照符号を付す。図面は例示を目的としており、限定を意図していない。特定の実施例及び実装は、本発明の原理と矛盾しない。これらの実装は、当業者が本開示を実施することができる程度に十分詳細に記載されている。記載する実装以外の実装も可能であり、本開示の範囲及び思想から乖離することなく、構造を変更し、及び／または様々な構成要素を置換することができる。したがって、以下の詳細な説明は、限定的に解釈されるべきではない。また、本発明の様々な実施例は、汎用目的コンピュータで稼動するソフトウェアの形態で実装されてもよいし、特定用途ハードウェアの形態で実装されてもよい。或いは、ソフトウェア及びハードウェアの組み合わせで実装されてもよい。

正確性及び応答性が高い指追跡システムは、音楽実演者の指または指揮棒の動きに追従することを容易とし、音楽実演者の指または指揮棒の動きから、美しい旋律を奏でる技術を抽出し、楽器の設計、音響効果の提示、音楽教育の指針としてそれらを使用することができる。

実施例の一態様によれば、仮想楽器再生の指追跡システム及び方法が提供される。１つもしくは複数の実施例において、このシステムは、投影面上にあるユーザの１０本の指の位置を追跡し、仮想ピアノ、仮想ドラム、仮想ベルなどの仮想楽器を演奏するために使用されてもよい。１つもしくは複数の実施例において、システムは、ユーザの指に負担をかけず、また、ユーザの指の姿勢を過度に制限せず、ユーザの１０本の指の動きを追跡する。詳細には、１つもしくは複数の実施例において、符号化光ベース投影手段を使用し、平面に位置検出信号を送り出し、１０個の光センサがユーザの指に装着され、これらの信号を受信し、ユーザの指を検出する。検出位置及び固定点までの相対距離に基づいて、印刷された楽器を使用して、仮想楽器音楽再生を行うことができる。上記追跡システムによって、仮想楽器の様々な実施例を実装することができ、仮想ピアノを印刷されたキーボードで演奏するシステム及び方法、及び仮想チャイニーズベルを印刷されたチャイニーズベルセットで演奏するシステム及び方法を含む。

仮想楽器を再生する指追跡システム１００の実施例を図１に示す。指追跡システム１００は、投影面上のユーザの１０本の指の各々の位置を追跡し、仮想ピアノ、仮想ドラム、仮想ベルなどの仮想楽器を演奏するために使用されてもよい。実施例の１つにおいて、指追跡システム１００はプロジェクタ１０１を含み、プロジェクタ１０１は、図１に例示されるようなオフィステーブル１０２などの平面上に符号化光信号を送出するために使用されてもよい。テーブル１０２に着席しているユーザ１０３は、１本の指に１個ずつ、１０個の光センサ１０４〜１１３を装着している。実施例の１つにおいて、光センサ１０４〜１１３はフォトダイオードまたはフォトトランジスタなどの光度センサであり、例えば、４．０６ｍｍ×３．０４ｍｍなど、小さいので、ユーザ１０３の指に適合する。光センサ１０４〜１１３は、プロジェクタ１０１によって生成される光パルスシーケンスを検出することができる、現在知られている他の、または、今後開発される光センサであってもよい。様々な実施例において、光センサ１０４〜１１３は、バンドまたは手袋を使用して、ユーザの指に固定されてもよい。

指追跡システム１００の電源がオンにされると、光センサ１０４〜１１３の全てが、プロジェクタ１０１から位置信号を受信する。受信した光符号と投影領域におけるその位置との間の対応は予め定められているので、指追跡システム１００は、１０個全ての光センサ１０４〜１１３で受信したプロジェクタの光パルスシーケンスによって表される符合を復号することで、ユーザの指の各々の位置を復元することができる。実施例の１つにおいて、特別にプログラミングされたマイクロコントローラが提供され、光センサ１０４〜１１３からの１０チャネルデータストリームを復号し、最終出力は、デスクトップコンピュータで稼動する可視化アプリケーションに送信される。ワイヤ１１４を使用して、センサの各々からのセンサ信号をマイクロコントローラに配送してもよい。

図２Ａ及び図２Ｂは、プロジェクタ１０１によって生成される、時間軸に沿った２つの符号化光信号２０１及び２０５を例示する。実施例の１つにおいて、プロジェクタ１０１は、ＤＬＰ（デジタルライトプロセッシング）プロジェクタである。時間軸に沿った光信号２０１及び２０５は、プロジェクタ１０１の２つの異なる画素２０３及び２０７に対応する。時間軸に沿った光信号２０１は方向２０２に伝播し、時間軸に沿った光パルスの対応する第１固有シーケンスを使用して第１プロジェクタ画素２０３の固有位置情報によって符号化される。一方、時間軸に沿った光信号２０５は方向２０６に伝播し、時間軸に沿った光パルスの対応する第２固有シーケンスを使用して、第２プロジェクタ画素２０７の固有位置情報によって符号化される。図２Ａ及び図２Ｂにおいて、プロジェクタ画素２０３及び２０７は、それらの対応する投影によって、仮想的投影面２０４に例示される。光パルスの第１及び第２シーケンスは異なり、プロジェクタ画素の各々に関する情報を搬送する。

図３は、デスクトップコンピュータで稼動する可視化アプリケーションのグラフィカルユーザインターフェイスの実施例を示す。図３に示されるように、ユーザインターフェイスはユーザ１０３の１０本の指の位置３０１〜３１０を表示する。位置３０１〜３１０は、デスクトップコンピュータで稼動する可視化アプリケーションのグラフィカルユーザインターフェイスにおいて異なる色で提示されてもよい。

図１で示される指追跡システム１００は、迅速に指を追跡することができ、仮想楽器の演奏アプリケーションを含む様々なアプリケーションで使用可能である。例示的な実施例の１つにおいて、指追跡システム１００は、図４に示されるように、８８鍵盤紙ピアノキーボードを演奏する際に使用される。鍵盤が押されたことを示すように、演奏者が鍵盤上に指を置くと、指の位置が復号され、対応する楽音が演奏される。例示的な実施例の１つにおいて、図１に示される指追跡システム１００はユーザにピアノ演奏技術を教示するために使用されてもよい。ピアノ演奏の基礎は、楽譜を学び、楽譜を鍵盤にマッピングすることである。高解像度で演奏者の指を検出する能力によって、指追跡システム１００は押された鍵盤のシーケンスを記録し、演奏者の「滑らかさ」及び「流麗さ」を、所望されるシーケンスと記録されたデータとを比較することで、査定することができる。分析結果に基づいて、適切なフィードバックがユーザに提供されてもよい。

例示的な実施例の１つにおいて、図１に示される指追跡システム１００は、曲を演奏している上級ピアノ演奏者の指の動きのシーケンスを、高解像度で、検出し、記録する際に使用されてもよい。このシーケンスは、基準として使用され、同じ曲を演奏している学習者の、検出された指の動きと比較されてもよい。基準である指の動きと学習者の指の動きとの間の検出された差異に基づいて、学習者のピアノ演奏技術を向上させるように、適切なフィードバックが学習者に提供されてもよい。

他の例示的な実施例において、図１に示される指追跡システム１００は、図５に示される古の楽器である仮想チャイニーズベルを演奏するために使用される。様々なベルに光センサを置くことで、演奏者は様々な音響効果を誘引することができる。チャイニーズベルがもつ特別な特性は、どこが打たれたかに依存して、単一のベルで様々な音色が生成される能力にある。この特性によって、演奏者は、通常、ある時間量の練習を要求されるが、この学習プロセスを加速することができるインターフェイスを改善する機会を提示する。

図６は、仮想楽器を演奏する指追跡システム１００を使用するプロセスの動作シーケンス６００の例示的実施例を示す。ステップ６０１で、プロジェクタを使用して、時間軸に沿ったプロジェクタ光信号を投影する。プロジェクタ光信号は、プロジェクタの画素の各々について、プロジェクタの画素の各々の画素座標を含む情報で符号化されている。ステップ６０２で、プロジェクタ光信号は、ユーザの指に装着された光センサ１０４〜１１３を使用して検出される。ステップ６０３で、特別にプログラムされたマイクロコントローラが復号された投影光信号を復号し、ユーザの指の各々の位置を判定する。ステップ６０４で、デスクトップコンピュータはユーザの指の各々の復号された位置を使用して、ユーザによって、どのピアノ鍵盤が押されたか、どのチャイニーズベルが打たれたかを判定する。次に、ステップ６０５で、デスクトップコンピュータは、押された鍵盤または打たれたベルに対応する音響または楽音を合成する。

本実施形態における指追跡システム１００は、視覚（色）ベースシステム（非特許文献１）とは異なる。したがって、環境光に依存せず、必要とされる計算処理リソースは極めて少ない。上記実施例は、他のセンサベースインターフェイス（非特許文献２〜４）とも異なる。したがって、既存の演奏者の服もしくは器具を変更することを必要とせず、演奏を侵害せず、影響を与えない。これら２つのタイプの何れとも異なり、本実施形態における上記指追跡システム１００は複雑な認識アルゴリズムを必要としない。したがって、本実施形態における上記指追跡システム１００はリアルタイムで、高精度に、指追跡を行い、ユーザ入力を分析することができる。

上記実施例では仮想ピアノ及び仮想チャイニーズベルを演奏する指追跡システムの使用に関連して説明したが、指追跡システム１００は、他の様々な仮想楽器の演奏に使用することができる。したがって、２つの上記実施例は、限定的な意味で解釈されるべきではない。

「コンピュータシステムの例示的実施例」
図７は、マイクロコントローラまたはデスクトップコンピュータであってよいコンピュータプラットフォーム７００の実施例を示す。１つもしくは複数の実施例において、コンピュータプラットフォーム７００は、モバイル計算処理デバイスのフォームファクタ内で実装されてもよい。代替的な実施例において、コンピュータプラットフォーム７００は、ラップトップまたはノートブックコンピュータで実装されてもよい。他の代替的な実施例において、コンピュータプラットフォーム７００は特定用途計算処理システムであってよく、仮想楽器のために設計されていてもよい。

コンピュータプラットフォーム７００は、コンピュータプラットフォーム７００の様々なハードウェア構成要素をわたって情報を伝達するデータバス７０４または他の相互接続もしくは通信機構、及び、情報を処理し、他の計算処理及び制御タスクを実行するためにデータバス７０４に接続されている中央処理ユニット（ＣＰＵまたは単にプロセッサ）７０１を含んでいてもよい。コンピュータプラットフォーム７００は、ＲＡＭ（random access memory）または他の動的ストレージデバイスなどの、メモリ７１２を含み、メモリ７１２は、プロセッサ７０１によって実行される命令及び様々な情報を記憶するためにデータバス７０４に接続されている。メモリ７１２は、磁気ディスク、光ディスク、ソリッドステートフラッシュメモリデバイスまたは他の不揮発性ソリッドステートストレージデバイスなどの固定ストレージデバイスを含んでいてもよい。

１つもしくは複数の実施例において、メモリ７１２は、プロセッサ７０１によって命令が実行される間、一時的な変数または他の中間情報を記憶するために使用されてもよい。必須ではないが、コンピュータプラットフォーム７００は、コンピュータプラットフォーム７００の動作に必要なファームウェア、ＢＩＯＳ（basic input-output system）、コンピュータプラットフォーム７００の様々な構成パラメータなど、プロセッサ７０１のための静的情報及び命令を記憶するためにデータバス７０４に接続されている、ＲＯＭ（read only memory）またはＥＰＲＯＭ７０２または他の静的ストレージデバイスを含んでいてもよい。

１つもしくは複数の実施例において、コンピュータプラットフォーム７００は、さらに、プロジェクタ１０１によって生成される符号化光信号を検出する光センサ７０９を含んでいてもよい。実施例の１つにおいて、光センサ７０９は、全て、応答時間が短く、高頻度で位置検出を行うことができる。さらに、コンピュータプラットフォーム７００は、音響プロセッサ７０３を含み、音響プロセッサは、ユーザが押した仮想ピアノの鍵盤またはユーザが打ったチャイニーズベルに対応する音響を生成してもよい。

１つもしくは複数の実施例において、コンピュータプラットフォーム７００は、さらに、データバス７０４に接続されたネットワークインターフェイス７０５などの通信インターフェイスを含んでいてもよい。ネットワークインターフェイス７０５は、ＷｉＦｉアダプタ７０７及び携帯電話ネットワーク（ＧＳＭ（登録商標）またはＣＤＭＡ）アダプタ７０８の少なくとも一方を使用して、コンピュータプラットフォーム７００とインターネット７２４との間の接続を確立してもよい。ネットワークインターフェイス７０５は、コンピュータプラットフォーム７００とインターネット７２４との間の双方向データ通信を提供してもよい。ＷｉＦｉアダプタ７０７は、８０２．１１ａ、８０２．１１ｂ、８０２．１１ｇ及び／または８０２．１１ｎプロトコル及びＢｌｕｅｔｏｏｔｈ（登録商標）プロトコルに準拠して動作してもよい。例示的な実装において、ＷｉＦｉアダプタ７０７及び携帯電話ネットワーク（ＧＳＭまたはＣＤＭＡ）アダプタ７０８は様々なタイプの情報を表すデジタルデータ信号を搬送する電気または電磁信号を送受信する。

１つもしくは複数の実施例において、インターネット７２４は、一般的に、１つもしくは複数のサブネットワークを介して、他のネットワークリソースへのデータ通信を提供する。すなわち、コンピュータプラットフォーム７００は、リモートメディアサーバ、ウェブサーバ、他のコンテンツサーバ及び他のネットワークデータストレージリソースなどの、インターネット７２４のどこかに配置されている様々なネットワークリソースにアクセスすることができる。１つもしくは複数の実施例において、コンピュータプラットフォーム７００は、メッセージ、メディア及び、アプリケーションプログラムコードを含む他のデータを、ネットワークインターフェイス７０５を経由して、インターネット７２４を含む様々なネットワークによって送受信する。インターネットの例において、コンピュータプラットフォーム７００がネットワーククライアントとして動作すると、コンピュータプラットフォーム７００で実行されるアプリケーションプログラムのためのコードまたはデータが必要となる場合がある。同様に、コンピュータプラットフォーム７００は、様々なデータまたはコンピュータコードを他のネットワークリソースに送信してもよい。

１つもしくは複数の実施例において、メモリ７１２に保存されている１つもしくは複数の命令の１つもしくは複数のシーケンスのプロセッサ７０１による実行に応じて、コンピュータプラットフォーム７００によって、ここで説明する機能が実装されてもよい。命令は、他のコンピュータ可読媒体からメモリ７１２に読み込まれてもよい。メモリ７１２に含まれる命令のシーケンスの実行によって、プロセッサ７０１はここで説明する様々なプロセスステップを実行する。代替的な実施例において、本開示の実施例を実装するために、ソフトウェア命令の代わりに、または、ソフトウェア命令と組み合わせて、ハードウェア回路を使用してもよい。本開示の実施例は、ハードウェア回路及びソフトウェアの特定の組み合わせに限定されない。

用語「コンピュータ可読媒体」は、実行する命令をプロセッサ７０１に提供する際に寄与する何れかの媒体を表すために使用される。コンピュータ可読媒体は、機械可読媒体の一例であり、ここで説明された方法及び／または技術の何れかを実装する命令を搬送してもよい。これらの媒体は、不揮発性媒体及び揮発性媒体を含む多くの形態であってよいが、これらに限定されるものではない。

一般的な形態の非一時的コンピュータ可読媒体は、例えば、フロッピー（登録商標）ディスク、フレキシブルディスク、ハードディスク、磁気テープ、または何れか他の磁気媒体、ＣＤ−ＲＯＭ、何れか他の光媒体、パンチカード、紙テープ、孔パターンを有する何れか他の物理的媒体、ＲＡＭ、ＰＲＯＭ、ＥＰＲＯＭ、フラッシュＥＰＲＯＭ、フラッシュドライブ、メモリカード、何れか他のメモリチップまたはカートリッジ、またはコンピュータによる読み取りが可能な何れか他の媒体を含む。１つもしくは複数の実行する命令の１つもしくは複数のシーケンスをプロセッサ７０１に搬送する際に、様々な形態のコンピュータ可読媒体が寄与してもよい。例えば、命令はリモートコンピュータから磁気ディスクに搬送されてもよい。代替的に、リモートコンピュータは、命令をダイナミックメモリにロードし、インターネット７２４を介して命令を送信してもよい。詳細には、コンピュータ命令は、様々なネットワークデータ通信プロトコルを使用して、インターネット７２４を介して、上記リモートコンピュータからコンピュータプラットフォーム７００のメモリ７１２にダウンロードされてもよい。

１つもしくは複数の実施例において、コンピュータプラットフォーム７００のメモリ７１２は、以下のソフトウェアプログラム、アプリケーション及び／またはモジュールの何れかを記憶してもよい。

１．オペレーティングシステム（ＯＳ）７１３。オペレーティングシステム（ＯＳ）７１３は、基本システムサービスを実装し、コンピュータプラットフォーム７００の様々なハードウェア構成要素を管理するモバイルオペレーティングシステムであってよい。オペレーティングシステム７１３の例示的な実装は、既知のまたは今後開発されるモバイルオペレーティングシステムを含んでいてもよい。さらに、ネットワークインターフェイス７０５を使用してネットワーク通信を可能とするネットワーク通信モジュール７１４がさらに提供されてもよい。

２．ソフトウェアモジュール７１５。ソフトウェアモジュール７１５は、例えば、コンピュータプラットフォーム７００のプロセッサ７０１によって実行されるソフトウェアモジュールのセット７１６、７１７を含んでいてもよい。ソフトウェアモジュールのセットによって、コンピュータプラットフォーム７００は、音響プロセッサ７０３へのコマンド発行などの予め定められた機能を実行する。

３．データストレージ７１８。データストレージ７１８は、例えば、光センサ７０９によって受信される光パルスシーケンスを復号するために必要とされる、プロジェクタ１０１の様々なパラメータ７１９などの様々なパラメータを記憶するために使用されてもよい。さらに、データストレージ７１８は、ピアノキーボードのレイアウト、チャイニーズベルのレイアウト、他の様々な仮想楽器のレイアウトを記憶してもよい。

ここで説明したプロセス及び技術は、何れか特定の装置に固有に関連するものではなく、適切な組み合わせの構成要素の何れかによって実装されてもよい。さらに、様々なタイプの汎用目的デバイスが、ここで説明した教示にしたがって使用されてもよい。ここで説明した方法のステップを実行するために特定用途装置を構築することが有用である場合もある。本開示では、特定の例に関連して説明を行ったが、これらの例は、例示を意図し、限定を意図していない。ハードウェア、ソフトウェア及びファームウェアの多くの異なる組み合わせが、本開示の実用に適している。例えば、上記ソフトウェアは、アセンブラ、Ｃ／Ｃ＋＋、オブジェクティブ−Ｃ、ｐｅｒｌ、ｓｈｅｌｌ、ＰＨＰ、Ｊａｖａ（登録商標）、及び、既知のまたは今後開発されるプログラミングまたは記述言語などの様々なプログラミング言語または記述言語で実装されてもよい。

また、本開示の他の実装も、本開示の詳細及び実行を検討することで明らかとなる。上記実施例の様々な態様及び／または構成要素は、指追跡システム及び仮想楽器再生方法において、単独で使用されてもよいし、組み合わせて使用されてもよい。実施例は例示だけを意図している。

１００ 指追跡システム
１０１ プロジェクタ
１０４ 光センサ
１０５ 光センサ
１０６ 光センサ
１０７ 光センサ
１０８ 光センサ
１０９ 光センサ
１１０ 光センサ
１１１ 光センサ
１１２ 光センサ
１１３ 光センサ
７０１ ＣＰＵ
７０９ 光センサ
７１２ メモリ

Claims (20)

1. 時間軸に沿ったプロジェクタ光信号を投影するプロジェクタであって、前記時間軸に沿ったプロジェクタ光信号は、前記プロジェクタの各画素について、前記プロジェクタの各画素の画素座標を含む情報セグメントによって符号化される、前記プロジェクタと、
   複数の光センサであって、前記複数の光センサの各々はユーザの指の各々に装着され、前記複数の光センサの各々は、前記時間軸に沿ったプロジェクタ光信号を検出し、センサ信号を生成する、前記複数の光センサと、
   前記複数の光センサの各々に接続され、前記複数の光センサの各々からのセンサ信号を受信し、前記ユーザの指の各々の位置情報を決定し、前記ユーザの少なくとも一本の指の検出された位置に基づいて命令を発行する、処理ユニットと、
   を含む指追跡システム。
2. 前記処理ユニットは、前記ユーザの対応する指に装着された光センサからの前記センサ信号に対応するプロジェクタ画素を識別することで、前記ユーザの指の各々の前記位置情報を決定する、
   請求項１に記載の指追跡システム。
3. 発行された前記命令は、音響または楽音を合成させる、
   請求項１または請求項２に記載の指追跡システム。
4. 前記ユーザの指の各々の位置情報は、ピアノの複数の鍵盤を含むキーボードの画像と関連して決定される、
   請求項１〜請求項３の何れか１項に記載の指追跡システム。
5. 前記処理ユニットは、前記ユーザの指の各々の位置情報を使用して、前記ピアノの複数の鍵盤のどの鍵盤が押されたか決定する、
   請求項４に記載の指追跡システム。
6. 前記処理ユニットは、押されたピアノの鍵盤に対応する音響または楽音を合成する、
   請求項５に記載の指追跡システム。
7. 前記処理ユニットは、押されたピアノの鍵盤のシーケンスを記録する、
   請求項５に記載の指追跡システム。
8. 前記押されたピアノの鍵盤の記録されたシーケンスと、基準シーケンスと、を比較し、差を決定し、決定された前記差に基づいて前記ユーザに対するフィードバックを生成する、
   請求項７に記載の指追跡システム。
9. 前記ユーザの指の各々の位置情報は、複数のチャイニーズベルの画像と関連して決定される、
   請求項１〜請求項３の何れか１項に記載の指追跡システム。
10. 前記処理ユニットは、前記ユーザの指の各々の位置情報を使用して、前記複数のチャイニーズベルのどのベルが叩かれたか決定する、
    請求項９に記載の指追跡システム。
11. 前記処理ユニットは、叩かれたベルに対応する音響または楽音を合成する、請求項１０に記載の指追跡システム。
12. 前記プロジェクタによって投影される前記時間軸に沿ったプロジェクタ光信号は、前記プロジェクタの画素の各々の画素座標を符号化する複数の光パルスのシーケンスを含む、請求項１〜請求項１１の何れか１項に記載の指追跡システム。
13. 表示部を含み、前記処理ユニットに接続されたコンピュータシステム、
    をさらに含み、
    前記コンピュータシステムは、前記ユーザの指の各々の決定された位置情報を前記処理ユニットから受信し、前記ユーザの指の各々の受信した位置情報を前記表示部に表示する、
    請求項１〜請求項１２の何れか１項に記載の指追跡システム。
14. 前記ユーザの指の各々の位置情報を異なる色で前記表示部に表示する、
    請求項１３に記載の指追跡システム。
15. 前記プロジェクタはＤＬＰプロジェクタである、
    請求項１〜請求項１４の何れか１項に記載の指追跡システム。
16. プロジェクタが、時間軸に沿ったプロジェクタ光信号を投影し、前記プロジェクタの画素の各々について、前記プロジェクタの画素の各々の画素座標を含む情報セグメントによって前記時間軸に沿ったプロジェクタ光信号を符号化し、
    複数の光センサが、前記時間軸に沿ったプロジェクタ光信号を検出し、前記複数の光センサの各々はユーザの指に装着され、前記複数の光センサの各々は前記時間軸に沿ったプロジェクタ光信号を検出し、センサ信号を生成し、
    前記複数の光センサの各々に接続されている処理ユニットが、前記複数の光センサの各々から前記センサ信号を受信し、前記ユーザの指の各々の位置情報を決定し、決定した前記ユーザの少なくとも１本の指の位置に基づいて命令を発行する、
    ユーザの指を追跡する方法。
17. 前記処理ユニットは、前記ユーザの対応する指に装着された光センサから前記センサ信号に対応するプロジェクタ画素を識別することで、前記ユーザの指の各々の位置情報を決定する、
    請求項１６に記載のユーザの指を追跡する方法。
18. 発行された前記命令は、音響または楽音を合成させる、
    請求項１６または請求項１７に記載のユーザの指を追跡する方法。
19. 前記ユーザの指の各々の位置情報は、ピアノの複数の鍵盤を含むキーボードの画像と関連して決定される、
    請求項１６〜請求項１８の何れか１項に記載のユーザの指を追跡する方法。
20. プロジェクタを使用して、時間軸に沿ったプロジェクタ光信号を投影し、前記プロジェクタの画素の各々について、前記プロジェクタの画素の各々の画素座標を含む情報セグメントによって前記時間軸に沿ったプロジェクタ光信号を符号化し、
    複数の光センサを使用して、前記時間軸に沿ったプロジェクタ光信号を検出し、前記複数の光センサの各々はユーザの指に装着され、前記複数の光センサの各々は前記時間軸に沿ったプロジェクタ光信号を検出し、センサ信号を生成し、
    前記複数の光センサの各々に接続されている処理ユニットを使用して、前記複数の光センサの各々から前記センサ信号を受信し、前記ユーザの指の各々の位置情報を決定し、決定した前記ユーザの少なくとも１本の指の位置に基づいて命令を発行する、
    ユーザの指を追跡する処理をコンピュータに実行させるためのプログラム。