JP2002082751A - 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム - Google Patents
仮想空間とのインタラクション装置およびこれを応用した仮想空間システムInfo
- Publication number
- JP2002082751A JP2002082751A JP2000273028A JP2000273028A JP2002082751A JP 2002082751 A JP2002082751 A JP 2002082751A JP 2000273028 A JP2000273028 A JP 2000273028A JP 2000273028 A JP2000273028 A JP 2000273028A JP 2002082751 A JP2002082751 A JP 2002082751A
- Authority
- JP
- Japan
- Prior art keywords
- user
- virtual space
- dimensional position
- virtual
- interaction
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Processing Or Creating Images (AREA)
- User Interface Of Digital Computer (AREA)
- Image Analysis (AREA)
Abstract
(57)【要約】
【課題】 背景や使用環境に特別の制約を設けることな
く、施設や病院などで多くの対象者に利用できるよう
に、バーチャルリアリティ技術を用いた多様なコンテン
ツを提供でき、利用者の心身活動の誘起効果をより一層
高めることのできる心身活性化装置などに最適な仮想空
間システムを提供する。 【解決手段】 使用者が容易に形態可能な形状を有した
使用者携帯部１を有した仮想空間とのインタラクション
装置１００を応用した仮想空間システムであって、３次
元視覚提示装置を有し、使用者に仮想物体を３次元視覚
提示し、使用者が知覚する仮想物体の３次元位置と仮想
空間とのインタラクション装置により求められた使用者
携帯部１の３次元位置、とが予め定義した関係になった
ときに、仮想物体との接触が起こったと判定し、仮想物
体の視覚的形状を変化させるとともに、使用者携帯部１
に振動および音響の提示を行なわせるためのインタラク
ション制御信号を発生する仮想空間生成制御装置３を備
える。
く、施設や病院などで多くの対象者に利用できるよう
に、バーチャルリアリティ技術を用いた多様なコンテン
ツを提供でき、利用者の心身活動の誘起効果をより一層
高めることのできる心身活性化装置などに最適な仮想空
間システムを提供する。 【解決手段】 使用者が容易に形態可能な形状を有した
使用者携帯部１を有した仮想空間とのインタラクション
装置１００を応用した仮想空間システムであって、３次
元視覚提示装置を有し、使用者に仮想物体を３次元視覚
提示し、使用者が知覚する仮想物体の３次元位置と仮想
空間とのインタラクション装置により求められた使用者
携帯部１の３次元位置、とが予め定義した関係になった
ときに、仮想物体との接触が起こったと判定し、仮想物
体の視覚的形状を変化させるとともに、使用者携帯部１
に振動および音響の提示を行なわせるためのインタラク
ション制御信号を発生する仮想空間生成制御装置３を備
える。
Description
【０００１】
【発明の属する技術分野】この発明は、バーチャルリア
リティ技術を用いて、例えば、高齢者用の施設に入居し
たり、デイケアサービスを受けている高齢者や長期に病
院に入院している患者に対する身体活動の賦活と、それ
に伴う精神活動の活性化などを目的とした仮想空間との
インタラクション装置およびこれを応用した仮想空間シ
ステムに関するものである。
リティ技術を用いて、例えば、高齢者用の施設に入居し
たり、デイケアサービスを受けている高齢者や長期に病
院に入院している患者に対する身体活動の賦活と、それ
に伴う精神活動の活性化などを目的とした仮想空間との
インタラクション装置およびこれを応用した仮想空間シ
ステムに関するものである。
【０００２】
【従来の技術】本発明と同様の目的をもつ仮想空間シス
テムで、バーチャルリアリティ技術を応用したものとし
ては、使用者の映像をカメラで取り込み、仮想空間と重
畳してそのミラーイメージを提示し、平面的な視覚上で
仮想空間との接触を判定し、仮想空間とのインタラクシ
ョン（相互作用）によるゲーム的なことを行なうものが
あった。この種の装置としては、特許出願はなされてい
ないが、若松らの論文（痴呆性老人とコンピュータで造
り出した劇場型仮想空間遊興環境、 Health Science,Vo
l.13, No.3, pp.150-156,1997）に示されているもの、
某社がＮＥＤＯの補助金を受けて開発している「仮想遊
戯」STUDIO KOKORO、市販システムでは、Ｖ社のMandara
Virtual Reality Systemがある。
テムで、バーチャルリアリティ技術を応用したものとし
ては、使用者の映像をカメラで取り込み、仮想空間と重
畳してそのミラーイメージを提示し、平面的な視覚上で
仮想空間との接触を判定し、仮想空間とのインタラクシ
ョン（相互作用）によるゲーム的なことを行なうものが
あった。この種の装置としては、特許出願はなされてい
ないが、若松らの論文（痴呆性老人とコンピュータで造
り出した劇場型仮想空間遊興環境、 Health Science,Vo
l.13, No.3, pp.150-156,1997）に示されているもの、
某社がＮＥＤＯの補助金を受けて開発している「仮想遊
戯」STUDIO KOKORO、市販システムでは、Ｖ社のMandara
Virtual Reality Systemがある。
【０００３】図５は、これらの仮想空間システムのう
ち、上記若松らの論文にあるシステム「劇場型仮想空間
遊興環境」の構成を示したものである。図において、９
０は使用者、９１はブルーバックスクリーン、９２は
鏡、９３はビデオカメラ、９４はビデオボード、９５は
コンピュータ、９６はプロジェクタ、９７は提示スクリ
ーンである。次に動作について説明する。コンピュータ
９５は、平面的な仮想空間を構築し、身体運動を賦活さ
せるゲームのようなコンテンツを提供する。例えば、紙
風船をつくようなものである。
ち、上記若松らの論文にあるシステム「劇場型仮想空間
遊興環境」の構成を示したものである。図において、９
０は使用者、９１はブルーバックスクリーン、９２は
鏡、９３はビデオカメラ、９４はビデオボード、９５は
コンピュータ、９６はプロジェクタ、９７は提示スクリ
ーンである。次に動作について説明する。コンピュータ
９５は、平面的な仮想空間を構築し、身体運動を賦活さ
せるゲームのようなコンテンツを提供する。例えば、紙
風船をつくようなものである。
【０００４】一方、鏡９２に映ったブルーバックスクリ
ーン９１の前の使用者９０の像が、ビデオカメラ９３に
よって取り込まれ、ビデオボード９４を介して、コンピ
ュータ９５に取り込まれる。コンピュータ９５は、取り
込まれた映像から背景のブルー部分を排除して人物を切
りだし、切りだした人物とコンピュータの中で創リ出し
た仮想空間の視覚イメージを重畳したものを、ビデオボ
ード９４を介して、プロジェクタ９６により、表示スク
リーン９７に映写する。
ーン９１の前の使用者９０の像が、ビデオカメラ９３に
よって取り込まれ、ビデオボード９４を介して、コンピ
ュータ９５に取り込まれる。コンピュータ９５は、取り
込まれた映像から背景のブルー部分を排除して人物を切
りだし、切りだした人物とコンピュータの中で創リ出し
た仮想空間の視覚イメージを重畳したものを、ビデオボ
ード９４を介して、プロジェクタ９６により、表示スク
リーン９７に映写する。
【０００５】同時に、切りだした人物の手や足などと、
仮想空間上の物体（上記例では紙風船）が平面上での重
なりにより接触が生じたと判定し、仮想物体に変化を加
える（落ちてきた風船が再び上がるというように）。使
用者９０は、表示スクリーン９７上の自分の鏡像と、仮
想空間の物体の位置関係を視覚的に判断して、仮想物体
への接触を試みる。その他に、目的を同じくする実シス
テム（バーチャルリアリティを用いないもの）として、
某社のワニワニパニック（登録商標 ： 登録第２２３３
２７３号）などのように既存のアミューズメント用のゲ
ームの動作速度を変更したりして、リハビリ用に転用し
たシステムがある。
仮想空間上の物体（上記例では紙風船）が平面上での重
なりにより接触が生じたと判定し、仮想物体に変化を加
える（落ちてきた風船が再び上がるというように）。使
用者９０は、表示スクリーン９７上の自分の鏡像と、仮
想空間の物体の位置関係を視覚的に判断して、仮想物体
への接触を試みる。その他に、目的を同じくする実シス
テム（バーチャルリアリティを用いないもの）として、
某社のワニワニパニック（登録商標 ： 登録第２２３３
２７３号）などのように既存のアミューズメント用のゲ
ームの動作速度を変更したりして、リハビリ用に転用し
たシステムがある。
【０００６】
【発明が解決しようとする課題】バーチャルリアリティ
を利用した第１の例（即ち、上記若松らの論文に示され
たシステム）では、自分の動きを平面上の鏡像で、ま
た、仮想物体との位置の関係性を平面上の視覚情報のみ
で理解しなければならず、視覚にのみ負担がかかるこ
と、仮想空間上の物に接触したという実感が得られない
ことから、高齢者や患者にとって、わかりづらいという
難点があった。また、人物像のみを抽出するために、背
景をブルーバックにする必要があるなどの使用上、煩わ
しい制約があった。一方、実システムを用いた第２の例
（ワニワニパニックなど）では、１つのシステムで多く
のコンテンツ（例えば、訓練プログラム）を提供するこ
とができず、また、使用者の機能レベルに合わせたコン
テンツの提供やそのときの状態に合わせて制御すること
もできなかった。
を利用した第１の例（即ち、上記若松らの論文に示され
たシステム）では、自分の動きを平面上の鏡像で、ま
た、仮想物体との位置の関係性を平面上の視覚情報のみ
で理解しなければならず、視覚にのみ負担がかかるこ
と、仮想空間上の物に接触したという実感が得られない
ことから、高齢者や患者にとって、わかりづらいという
難点があった。また、人物像のみを抽出するために、背
景をブルーバックにする必要があるなどの使用上、煩わ
しい制約があった。一方、実システムを用いた第２の例
（ワニワニパニックなど）では、１つのシステムで多く
のコンテンツ（例えば、訓練プログラム）を提供するこ
とができず、また、使用者の機能レベルに合わせたコン
テンツの提供やそのときの状態に合わせて制御すること
もできなかった。
【０００７】この発明は、上記のような問題点を解決す
るためになされたものであり、視覚だけでなく複数の感
覚に訴え、高齢者・患者にもわかりやすい仮想空間との
インタラクション（interaction：相互作用）装置を提
供することを目的とする。また、このようなインタラク
ション装置を応用することにより、背景や使用環境に特
別の制約を設けることなく、施設や病院などで多くの対
象者に利用できるように、バーチャルリアリティ技術を
用いた多様なコンテンツ（訓練プログラム）を提供で
き、利用者の心身活動の誘起効果をより一層高めること
のできる心身活性化装置などに最適な仮想空間システム
を提供することを目的とする。
るためになされたものであり、視覚だけでなく複数の感
覚に訴え、高齢者・患者にもわかりやすい仮想空間との
インタラクション（interaction：相互作用）装置を提
供することを目的とする。また、このようなインタラク
ション装置を応用することにより、背景や使用環境に特
別の制約を設けることなく、施設や病院などで多くの対
象者に利用できるように、バーチャルリアリティ技術を
用いた多様なコンテンツ（訓練プログラム）を提供で
き、利用者の心身活動の誘起効果をより一層高めること
のできる心身活性化装置などに最適な仮想空間システム
を提供することを目的とする。
【０００８】
【課題を解決するための手段】この発明に係るインタラ
クション装置は、仮想空間における３次元位置を計測す
るための３次元位置計測用マーカ、振動提示装置、音響
提示装置、およびこれらと信号の送受信を行う信号送受
信装置が一体化され、使用者が携帯可能な形状を有した
使用者携帯部と、使用者携帯部の信号送受信装置を介し
て３次元位置計測用マーカからの信号が入力され、使用
者携帯部の位置を計測して仮想空間生成制御装置に位置
計測情報を伝達するとともに、伝達された位置計測情報
に基づいて仮想空間生成制御装置が発生するインタラク
ション制御信号に応じて、振動提示信号および音響提示
信号を信号送受信装置を介して使用者携帯部の振動提示
装置および音響提示装置に伝達する制御部とを備えたも
のである。
クション装置は、仮想空間における３次元位置を計測す
るための３次元位置計測用マーカ、振動提示装置、音響
提示装置、およびこれらと信号の送受信を行う信号送受
信装置が一体化され、使用者が携帯可能な形状を有した
使用者携帯部と、使用者携帯部の信号送受信装置を介し
て３次元位置計測用マーカからの信号が入力され、使用
者携帯部の位置を計測して仮想空間生成制御装置に位置
計測情報を伝達するとともに、伝達された位置計測情報
に基づいて仮想空間生成制御装置が発生するインタラク
ション制御信号に応じて、振動提示信号および音響提示
信号を信号送受信装置を介して使用者携帯部の振動提示
装置および音響提示装置に伝達する制御部とを備えたも
のである。
【０００９】また、この発明に係るインタラクション装
置に用いられる使用者携帯部の３次元位置計測装置は、
使用者携帯部側に配置されたＬＥＤを用いた３次元位置
計測用マーカと、制御部側に配置され、３次元位置計測
用マーカの発光タイミングを制御する装置および３次元
位置計測用マーカの発光を撮像する撮像装置からなるも
のである。
置に用いられる使用者携帯部の３次元位置計測装置は、
使用者携帯部側に配置されたＬＥＤを用いた３次元位置
計測用マーカと、制御部側に配置され、３次元位置計測
用マーカの発光タイミングを制御する装置および３次元
位置計測用マーカの発光を撮像する撮像装置からなるも
のである。
【００１０】また、この発明に係るインタラクション装
置の信号送受信装置は、コードレス化した無線送受信装
置であることを特徴とするものである。
置の信号送受信装置は、コードレス化した無線送受信装
置であることを特徴とするものである。
【００１１】また、この発明に係る仮想空間システム
は、請求項１乃至３項のいずれか１項に記載の仮想空間
とのインタラクション装置を応用した仮想空間システム
であって、３次元視覚提示装置を有し、使用者に仮想物
体を３次元視覚提示し、使用者が知覚する仮想物体の３
次元位置と、仮想空間とのインタラクション装置により
求められた使用者携帯部の３次元位置とが予め定義した
関係になったときに、仮想物体との接触が起こったと判
定し、仮想物体の視覚的形状を変化させるとともに、使
用者携帯部に振動および音響の提示を行なわせるための
インタラクション制御信号を発生する仮想空間生成制御
装置を備えたものである。
は、請求項１乃至３項のいずれか１項に記載の仮想空間
とのインタラクション装置を応用した仮想空間システム
であって、３次元視覚提示装置を有し、使用者に仮想物
体を３次元視覚提示し、使用者が知覚する仮想物体の３
次元位置と、仮想空間とのインタラクション装置により
求められた使用者携帯部の３次元位置とが予め定義した
関係になったときに、仮想物体との接触が起こったと判
定し、仮想物体の視覚的形状を変化させるとともに、使
用者携帯部に振動および音響の提示を行なわせるための
インタラクション制御信号を発生する仮想空間生成制御
装置を備えたものである。
【００１２】また、この発明に係る仮想空間システムの
３次元視覚提示装置は、偏光フィルタを搭載した液晶プ
ロジェクタ２台とこの映像を重畳して投影するスクリー
ンおよび左右眼にそれぞれのプロジェクタの映像を選択
的に提示するための偏光フィルタを装着するメガネを用
いることを特徴とするものである。
３次元視覚提示装置は、偏光フィルタを搭載した液晶プ
ロジェクタ２台とこの映像を重畳して投影するスクリー
ンおよび左右眼にそれぞれのプロジェクタの映像を選択
的に提示するための偏光フィルタを装着するメガネを用
いることを特徴とするものである。
【００１３】また、この発明に係る仮想空間システムの
仮想空間生成制御装置は、使用者携帯部の３次元位置計
測情報に加えて、その移動速度あるいは加速度の少なく
とも１つを求め、上記３次元位置計測情報との組み合わ
せ結果に基づいて、接触判定後の仮想物体の視覚的形状
を変化する様式および、振動・音響の提示様式を変える
ように構成したものである。
仮想空間生成制御装置は、使用者携帯部の３次元位置計
測情報に加えて、その移動速度あるいは加速度の少なく
とも１つを求め、上記３次元位置計測情報との組み合わ
せ結果に基づいて、接触判定後の仮想物体の視覚的形状
を変化する様式および、振動・音響の提示様式を変える
ように構成したものである。
【００１４】また、この発明に係る仮想空間システム
は、さらに使用者の仮想物体とのインタラクションのパ
フォーマンスを評価するパフォーマンス評価装置あるい
は使用者の生理状態を計測する生理状態計測装置の少な
くとも一方を備え、使用者のパフォーマンス評価結果あ
るいは使用者の生理状態に応じて、接触判定の定義ある
いは提示する仮想物体の数や動きなどをリアルタイムに
変更することを特徴とするものである。
は、さらに使用者の仮想物体とのインタラクションのパ
フォーマンスを評価するパフォーマンス評価装置あるい
は使用者の生理状態を計測する生理状態計測装置の少な
くとも一方を備え、使用者のパフォーマンス評価結果あ
るいは使用者の生理状態に応じて、接触判定の定義ある
いは提示する仮想物体の数や動きなどをリアルタイムに
変更することを特徴とするものである。
【００１５】また、この発明に係る仮想空間システム
は、請求項１乃至３項のいずれか１項に記載の仮想空間
とのインタラクション装置を応用した仮想空間システム
であって、仮想空間とのインタラクション装置により求
められた使用者携帯部の３次元位置の変化が予め設定し
たパターンを示したときに、背景音楽のテンポあるいは
強弱を変化させる背景音楽生成制御装置を備えたもので
ある。
は、請求項１乃至３項のいずれか１項に記載の仮想空間
とのインタラクション装置を応用した仮想空間システム
であって、仮想空間とのインタラクション装置により求
められた使用者携帯部の３次元位置の変化が予め設定し
たパターンを示したときに、背景音楽のテンポあるいは
強弱を変化させる背景音楽生成制御装置を備えたもので
ある。
【００１６】また、この発明に係る仮想空間システム
は、さらに使用者のリズム運動のパフォーマンスを評価
するパフォーマンス評価装置あるいは使用者の生理状態
を計測する生理状態計測装置の少なくとも一方を備え、
使用者のリズム運動のパフォーマンスあるいは生理状態
のいずれか一方の変化に応じて、提示する背景音楽の種
類、テンポあるいは強弱の変化をリアルタイムに変更す
ることを特徴とするものである。
は、さらに使用者のリズム運動のパフォーマンスを評価
するパフォーマンス評価装置あるいは使用者の生理状態
を計測する生理状態計測装置の少なくとも一方を備え、
使用者のリズム運動のパフォーマンスあるいは生理状態
のいずれか一方の変化に応じて、提示する背景音楽の種
類、テンポあるいは強弱の変化をリアルタイムに変更す
ることを特徴とするものである。
【００１７】
【発明の実施の形態】本発明の一実施の形態を図面に基
づいて説明する。なお、各図間において、同一符合は同
一あるいは相当のものであることを表す。 実施の形態１．図１は、実施の形態１による仮想空間と
のインタラクション装置１００の構成を示すブロック図
である。図１において、１はインタラクション装置１０
０の使用者携帯部であり、この使用者携帯部１におい
て、１１は３次元位置計測用のマーカ、１２は振動提示
手段（装置）〔例えば、振動子〕、１３は音響提示手段
（装置）〔例えば、スピーカ〕、１４は制御部との無線
送受信手段（装置）〔例えば、赤外線通信装置〕であ
る。２は、インタラクション装置１００の制御部であ
り、この制御部２において、２１は制御部の無線送受信
手段（装置）、２２は３次元位置計測手段（装置）の撮
像部、２３は３次元位置計測制御手段（装置）、２４は
振動提示制御手段（装置）、２５は音響提示制御手段
（装置）である。また、３は仮想空間生成制御手段（装
置）である。
づいて説明する。なお、各図間において、同一符合は同
一あるいは相当のものであることを表す。 実施の形態１．図１は、実施の形態１による仮想空間と
のインタラクション装置１００の構成を示すブロック図
である。図１において、１はインタラクション装置１０
０の使用者携帯部であり、この使用者携帯部１におい
て、１１は３次元位置計測用のマーカ、１２は振動提示
手段（装置）〔例えば、振動子〕、１３は音響提示手段
（装置）〔例えば、スピーカ〕、１４は制御部との無線
送受信手段（装置）〔例えば、赤外線通信装置〕であ
る。２は、インタラクション装置１００の制御部であ
り、この制御部２において、２１は制御部の無線送受信
手段（装置）、２２は３次元位置計測手段（装置）の撮
像部、２３は３次元位置計測制御手段（装置）、２４は
振動提示制御手段（装置）、２５は音響提示制御手段
（装置）である。また、３は仮想空間生成制御手段（装
置）である。
【００１８】図１においては、使用者携帯部１は、使用
者が手でもつための形状を示したが、使用者の身体のそ
の他部位（例えば、腕や手の甲など）に装着できる形状
を有するものとしてもよい。図２は、その場合の使用者
に装着する部分の形状の一例を示したもので、腕や手の
甲などに巻き付けて用いるものである。図２において、
１１は３次元位置計測用のマーカ、１２は振動提示手段
（装置）〔例えば、振動子〕、１３は音響提示手段（装
置）〔例えば、スピーカ〕、１４は制御部２との無線送
受信手段（装置）である。また、図３は、図１に示した
インタラクション装置１００を応用した仮想空間システ
ムの一実施例を示すものであり、３次元的に提示される
仮想物体に、インタラクション装置１００を用いて、接
触を試みさせることにより身体運動の賦活を起こす例で
ある。
者が手でもつための形状を示したが、使用者の身体のそ
の他部位（例えば、腕や手の甲など）に装着できる形状
を有するものとしてもよい。図２は、その場合の使用者
に装着する部分の形状の一例を示したもので、腕や手の
甲などに巻き付けて用いるものである。図２において、
１１は３次元位置計測用のマーカ、１２は振動提示手段
（装置）〔例えば、振動子〕、１３は音響提示手段（装
置）〔例えば、スピーカ〕、１４は制御部２との無線送
受信手段（装置）である。また、図３は、図１に示した
インタラクション装置１００を応用した仮想空間システ
ムの一実施例を示すものであり、３次元的に提示される
仮想物体に、インタラクション装置１００を用いて、接
触を試みさせることにより身体運動の賦活を起こす例で
ある。
【００１９】図３において、１はインタラクション装置
１００の使用者が手でもつ部分である使用者携帯部、２
はインタラクション装置１００の制御部、３は仮想空間
生成制御手段（装置）である。仮想空間生成制御手段
（装置）３において、３０〜３５は内部処理を表すブロ
ックで、３０は仮想物体記述データ、３１は３次元視覚
情報生成部、３２はインタラクション判定部、３３はイ
ンタラクション制御信号生成部、３４はインタラクショ
ンルール変更部、３５は仮想物体記述データ変更部であ
る。また、４は仮想空間生成制御手段（装置）３内の３
次元視覚提示手段（装置）であって、液晶プロジェクタ
４１、偏光フィルタ４２、スクリーン４３、使用者が装
着する偏光メガネ４４で構成されている。６は使用者の
パフォーマンスを評価するパフォーマンス評価手段（装
置）、７は使用者の生理状態を計測する生理状態計測手
段（装置）である。
１００の使用者が手でもつ部分である使用者携帯部、２
はインタラクション装置１００の制御部、３は仮想空間
生成制御手段（装置）である。仮想空間生成制御手段
（装置）３において、３０〜３５は内部処理を表すブロ
ックで、３０は仮想物体記述データ、３１は３次元視覚
情報生成部、３２はインタラクション判定部、３３はイ
ンタラクション制御信号生成部、３４はインタラクショ
ンルール変更部、３５は仮想物体記述データ変更部であ
る。また、４は仮想空間生成制御手段（装置）３内の３
次元視覚提示手段（装置）であって、液晶プロジェクタ
４１、偏光フィルタ４２、スクリーン４３、使用者が装
着する偏光メガネ４４で構成されている。６は使用者の
パフォーマンスを評価するパフォーマンス評価手段（装
置）、７は使用者の生理状態を計測する生理状態計測手
段（装置）である。
【００２０】次に動作について説明する。仮想空間生成
制御手段（装置）３における３次元視覚情報生成部３１
は、背景世界および仮想物体の左右の眼に対応した視差
をつけた仮想物体視覚情報を作成し、３次元視覚提示手
段（装置）４の液晶プロジェクタ４１に送る。この際
に、仮想物体は仮想物体記述データ３０に記載された属
性（物体の種類、色、大きさなど）、出現タイミング、
出現位置、軌跡のデータに基づいて生成される。液晶プ
ロジェクタ４１には、左右で異なる偏光フィルタ４２が
搭載されており、スクリーン４３に重畳されて投影され
る映像は、使用者が装着する偏光メガネ４４により左右
の眼に分離され、立体視が実現する。
制御手段（装置）３における３次元視覚情報生成部３１
は、背景世界および仮想物体の左右の眼に対応した視差
をつけた仮想物体視覚情報を作成し、３次元視覚提示手
段（装置）４の液晶プロジェクタ４１に送る。この際
に、仮想物体は仮想物体記述データ３０に記載された属
性（物体の種類、色、大きさなど）、出現タイミング、
出現位置、軌跡のデータに基づいて生成される。液晶プ
ロジェクタ４１には、左右で異なる偏光フィルタ４２が
搭載されており、スクリーン４３に重畳されて投影され
る映像は、使用者が装着する偏光メガネ４４により左右
の眼に分離され、立体視が実現する。
【００２１】使用者携帯部１における３次元位置計測用
マーカ１１は、制御部２内の３次元位置計測制御手段
（装置）２３から、制御部側の無線送受信手段装置２１
および使用者携帯部側の無線送受信手段装置１４を介し
て発光タイミングに関する情報を得て、所定タイミング
において所定持続時間の発光を行なう。３次元位置計測
手段（装置）の撮像部２２は、同じく３次元位置計測制
御手段（装置）２３から発光タイミングの情報を得て、
３次元位置計測用マーカ１１の発光を撮像し、３次元位
置計測制御手段（装置）に撮像した２次元輝度データを
送り、３次元位置計測制御手段（装置）２３では、送ら
れた２次元輝度データのセットと、予め設定されている
撮像装置の位置より３次元位置計測用マーカ１１の３次
元位置を求める。
マーカ１１は、制御部２内の３次元位置計測制御手段
（装置）２３から、制御部側の無線送受信手段装置２１
および使用者携帯部側の無線送受信手段装置１４を介し
て発光タイミングに関する情報を得て、所定タイミング
において所定持続時間の発光を行なう。３次元位置計測
手段（装置）の撮像部２２は、同じく３次元位置計測制
御手段（装置）２３から発光タイミングの情報を得て、
３次元位置計測用マーカ１１の発光を撮像し、３次元位
置計測制御手段（装置）に撮像した２次元輝度データを
送り、３次元位置計測制御手段（装置）２３では、送ら
れた２次元輝度データのセットと、予め設定されている
撮像装置の位置より３次元位置計測用マーカ１１の３次
元位置を求める。
【００２２】これには一般に用いられているステレオ視
のアルゴリズム（２台の撮像装置で得られた２次元位置
より３次元位置を求める方法）を用いればよい。撮像装
置としては、ＣＣＤカメラ、ＣＭＯＳ撮像素子、ＰＳＤ
（ PositionSensitive Detector ）などが用いられる。
得られた３次元位置情報は、仮想空間生成制御装置３の
インタラクション判定部３２に送られる。インタラクシ
ョン判定部３２では、予め設定された定義（インタラク
ションルール）に従い、仮想物体との接触の有無の判定
を行なう。例えば、仮想物体記述データ３０より得られ
る仮想物体の３次元位置と、仮想空間上にマッピングさ
れた使用者携帯部１の３次元位置の間の距離が予め定義
した閾値以下になった場合に、仮想物体との接触が起こ
ったと判定する。
のアルゴリズム（２台の撮像装置で得られた２次元位置
より３次元位置を求める方法）を用いればよい。撮像装
置としては、ＣＣＤカメラ、ＣＭＯＳ撮像素子、ＰＳＤ
（ PositionSensitive Detector ）などが用いられる。
得られた３次元位置情報は、仮想空間生成制御装置３の
インタラクション判定部３２に送られる。インタラクシ
ョン判定部３２では、予め設定された定義（インタラク
ションルール）に従い、仮想物体との接触の有無の判定
を行なう。例えば、仮想物体記述データ３０より得られ
る仮想物体の３次元位置と、仮想空間上にマッピングさ
れた使用者携帯部１の３次元位置の間の距離が予め定義
した閾値以下になった場合に、仮想物体との接触が起こ
ったと判定する。
【００２３】このインタラクションルールの場合には、
使用者携帯部１あるいは使用者携帯部１を装着した体の
部位で直に仮想物体を触れる（たたく）という「仮想空
間とのインタラクション（相互作用）」の感覚が与えら
れる。他の例として、使用者携帯部１の位置と仮想物体
の間の距離が正のある範囲にはいったときに接触したと
判定すると、物体を突き刺す、物体に突っ込むという
「仮想空間とのインタラクション」の感覚が与えられ
る。逆に負のある範囲をとれば、装置から何らかの物体
が発射（あるいは照射）されて、仮想物体にあたるとい
う感覚を与えることになる。このときに与えられる振動
感覚は、発射（あるいは照射）の反動という、「仮想空
間とのインタラクション（相互作用）」の感覚というこ
とになる。
使用者携帯部１あるいは使用者携帯部１を装着した体の
部位で直に仮想物体を触れる（たたく）という「仮想空
間とのインタラクション（相互作用）」の感覚が与えら
れる。他の例として、使用者携帯部１の位置と仮想物体
の間の距離が正のある範囲にはいったときに接触したと
判定すると、物体を突き刺す、物体に突っ込むという
「仮想空間とのインタラクション」の感覚が与えられ
る。逆に負のある範囲をとれば、装置から何らかの物体
が発射（あるいは照射）されて、仮想物体にあたるとい
う感覚を与えることになる。このときに与えられる振動
感覚は、発射（あるいは照射）の反動という、「仮想空
間とのインタラクション（相互作用）」の感覚というこ
とになる。
【００２４】ただし、この場合でも、３次元視覚情報生
成部３１と３次元視覚提示手段（装置）４により、手に
もった装置（即ち、使用者携帯部１）の先から延びる棒
のような仮想物体を視覚提示すれば、棒の先で仮想物体
に触るという感覚を与えることになる。また、使用者携
帯部１を装着する体の部位と使用者携帯部１の装置形状
によっては、３次元位置計測を行なう位置と振動提示位
置に多少のずれが生じることが考えられるが、このとき
には、このずれを補正した上で接触判定することが望ま
しい。
成部３１と３次元視覚提示手段（装置）４により、手に
もった装置（即ち、使用者携帯部１）の先から延びる棒
のような仮想物体を視覚提示すれば、棒の先で仮想物体
に触るという感覚を与えることになる。また、使用者携
帯部１を装着する体の部位と使用者携帯部１の装置形状
によっては、３次元位置計測を行なう位置と振動提示位
置に多少のずれが生じることが考えられるが、このとき
には、このずれを補正した上で接触判定することが望ま
しい。
【００２５】インタラクション判定部３２で、仮想空間
との接触が起こったと判定されると、インラクション制
御信号生成部３３に信号が送られ、視覚情報変化信号、
振動提示及び音響提示に必要な制御信号（即ち、インタ
ラクション制御信号）が生成される。視覚情報変化信号
は３次元視覚情報生成部３１に送られ、仮想物体記述デ
ータ３０に仮想物体ごとに定義された変化を加えた３次
元視覚情報が生成される。例えば、具体的には、仮想物
体が風船の場合に、接触が起こったときに風船が破裂し
て破片が飛び散る視覚情報を生成するというようなこと
である。インラクション制御信号生成部で生成された振
動および音響制御信号は、振動提示制御手段（装置）２
４、音響提示制御手段（装置）２５に送られる。
との接触が起こったと判定されると、インラクション制
御信号生成部３３に信号が送られ、視覚情報変化信号、
振動提示及び音響提示に必要な制御信号（即ち、インタ
ラクション制御信号）が生成される。視覚情報変化信号
は３次元視覚情報生成部３１に送られ、仮想物体記述デ
ータ３０に仮想物体ごとに定義された変化を加えた３次
元視覚情報が生成される。例えば、具体的には、仮想物
体が風船の場合に、接触が起こったときに風船が破裂し
て破片が飛び散る視覚情報を生成するというようなこと
である。インラクション制御信号生成部で生成された振
動および音響制御信号は、振動提示制御手段（装置）２
４、音響提示制御手段（装置）２５に送られる。
【００２６】制御部２内の振動提示制御手段（装置）２
４は使用者携帯部１の振動提示手段（装置）〔例えば振
動子〕１２に、制御部２内の音響提示制御手段（装置）
２５は使用者携帯部１の音響提示手段（装置）〔例えば
スピーカ〕１３に対し、無線送受信装置２１および１４
を介して、それぞれ、振動制御信号、音響制御信号を送
信する。振動提示手段（装置）１２は、送られた振動制
御信号に応じて、振動を発生する。振動制御信号は、振
動の強さ、周波数、持続時間、時間パターンなどに関す
るものであり、仮想物体記述データ３０に仮想物体ごと
に記載されているものを用いる。
４は使用者携帯部１の振動提示手段（装置）〔例えば振
動子〕１２に、制御部２内の音響提示制御手段（装置）
２５は使用者携帯部１の音響提示手段（装置）〔例えば
スピーカ〕１３に対し、無線送受信装置２１および１４
を介して、それぞれ、振動制御信号、音響制御信号を送
信する。振動提示手段（装置）１２は、送られた振動制
御信号に応じて、振動を発生する。振動制御信号は、振
動の強さ、周波数、持続時間、時間パターンなどに関す
るものであり、仮想物体記述データ３０に仮想物体ごと
に記載されているものを用いる。
【００２７】音響提示手段（装置）１３は、送られた制
御信号に応じて音響を発生する。ここでは、音響制御信
号は、音響信号そのものとし、仮想物体記述データ３０
に仮想物体ごとに指定されている音データとその音デー
タを再生する手段（装置）により生成するものとする。
例えば、音データとしてＷＡＶＥファイル、生成装置と
しては、ＰＣのサウンドカードを用いるということでも
よい。このようにして、使用者携帯部１の動きに対する
仮想空間とのインタラクション（相互作用）が行われ
る。
御信号に応じて音響を発生する。ここでは、音響制御信
号は、音響信号そのものとし、仮想物体記述データ３０
に仮想物体ごとに指定されている音データとその音デー
タを再生する手段（装置）により生成するものとする。
例えば、音データとしてＷＡＶＥファイル、生成装置と
しては、ＰＣのサウンドカードを用いるということでも
よい。このようにして、使用者携帯部１の動きに対する
仮想空間とのインタラクション（相互作用）が行われ
る。
【００２８】なお、「接触」とは、使用者携帯部１（あ
るいはそれを装着した使用者の身体部位）の仮想空間上
の３次元位置（実空間上で計測した値から計算される）
が、仮想物体が占める３次元空間の中に入ったとき（あ
るいはその境界からの距離が設定値以下になったとき）
の状態を言うものとする。また、「インタラクション」
とは、仮想空間（その中の仮想物体も含めて）と使用者
との相互作用のことであって、使用者のなんらかの動作
（例えば、使用者携帯部１で仮想物体をたたく、触れ
る、あるいは使用者携帯部１をもって振る、屈伸運動を
するなど）が、仮想空間の変化（例えば、仮想物体が変
形する、音がでる、振動が伝わる、背景音楽のリズムが
変わるなど）を起こし、その変化が使用者に知覚される
ように、視覚、聴覚、触覚（振動）などにより提示され
ることを言うものとする。
るいはそれを装着した使用者の身体部位）の仮想空間上
の３次元位置（実空間上で計測した値から計算される）
が、仮想物体が占める３次元空間の中に入ったとき（あ
るいはその境界からの距離が設定値以下になったとき）
の状態を言うものとする。また、「インタラクション」
とは、仮想空間（その中の仮想物体も含めて）と使用者
との相互作用のことであって、使用者のなんらかの動作
（例えば、使用者携帯部１で仮想物体をたたく、触れ
る、あるいは使用者携帯部１をもって振る、屈伸運動を
するなど）が、仮想空間の変化（例えば、仮想物体が変
形する、音がでる、振動が伝わる、背景音楽のリズムが
変わるなど）を起こし、その変化が使用者に知覚される
ように、視覚、聴覚、触覚（振動）などにより提示され
ることを言うものとする。
【００２９】仮想物体記述データ３０に、インタラクシ
ョン時の視覚情報変化、振動、音響に関する設定を仮想
物体ごとだけでなく、インタラクションを生じる動作の
種類ごとに設定しておくことで、インタラクションを生
じる動作の種類ごとに、視覚情報の変化、振動、音響を
変えることができる。この場合には、インタラクション
判定部３２では、使用者携帯部１の３次元位置だけでな
く、その変化（速度）、変化の時間差分値（加速度）も
求め、これらの組み合わせによって、接触の有無のみな
らず、動作の種類を判定を行なう。例えば、使用者携帯
部１の３次元位置が上→下に変化し、その速度と加速度
が所定の閾値より大きいときには、「速く強い振りおろ
し」という動作による接触であるというような判定であ
る。
ョン時の視覚情報変化、振動、音響に関する設定を仮想
物体ごとだけでなく、インタラクションを生じる動作の
種類ごとに設定しておくことで、インタラクションを生
じる動作の種類ごとに、視覚情報の変化、振動、音響を
変えることができる。この場合には、インタラクション
判定部３２では、使用者携帯部１の３次元位置だけでな
く、その変化（速度）、変化の時間差分値（加速度）も
求め、これらの組み合わせによって、接触の有無のみな
らず、動作の種類を判定を行なう。例えば、使用者携帯
部１の３次元位置が上→下に変化し、その速度と加速度
が所定の閾値より大きいときには、「速く強い振りおろ
し」という動作による接触であるというような判定であ
る。
【００３０】前述した具体例では、強く速く叩いた（振
りおろし）ときのみ、風船がきれいに割れ、強い振動が
伝わり、激しい破裂音がするというように設定し、そう
いう動きをするように指導することにより、力強い運動
を強調して促進することができる。逆に、ゆっくり接触
したときに、風船がゆれ、静かな振動とやさしい音が提
示されるようにし、ゆっくりと手を延ばして可動範囲を
広げるような訓練にも用いられる。これらの訓練におい
て、その動作そのものを強要するのではなく、風船を割
ったり、さわりに行くという目的のある動作に置き換
え、ゲーム性を持たせることで、楽しく身体活動の促進
が行なえる。
りおろし）ときのみ、風船がきれいに割れ、強い振動が
伝わり、激しい破裂音がするというように設定し、そう
いう動きをするように指導することにより、力強い運動
を強調して促進することができる。逆に、ゆっくり接触
したときに、風船がゆれ、静かな振動とやさしい音が提
示されるようにし、ゆっくりと手を延ばして可動範囲を
広げるような訓練にも用いられる。これらの訓練におい
て、その動作そのものを強要するのではなく、風船を割
ったり、さわりに行くという目的のある動作に置き換
え、ゲーム性を持たせることで、楽しく身体活動の促進
が行なえる。
【００３１】さらに、同時に、視覚・触覚・聴覚に刺激
が加えられることにより、それらの組み合わせを適切に
行うことにより、精神的な活性化も期待できる。パフォ
ーマンス評価手段（装置）６では、インタラクションご
との、あるいはインタラクションを生じる動作の種類ご
との発生頻度、率（提示される仮想物体の数に対して）
を評価し、目的に応じた適度なインタラクションの発生
が起こるように、また使用者の興味を持続し楽しみを増
すように、インタラクションルールや仮想物体記述デー
タの変更をリアルタイムに行なう。
が加えられることにより、それらの組み合わせを適切に
行うことにより、精神的な活性化も期待できる。パフォ
ーマンス評価手段（装置）６では、インタラクションご
との、あるいはインタラクションを生じる動作の種類ご
との発生頻度、率（提示される仮想物体の数に対して）
を評価し、目的に応じた適度なインタラクションの発生
が起こるように、また使用者の興味を持続し楽しみを増
すように、インタラクションルールや仮想物体記述デー
タの変更をリアルタイムに行なう。
【００３２】例えば、仮想物体への正確な到達が行なえ
ず、接触できない場合に、インタラクションルール変更
部３４で、接触判定の距離の閾値を大きくればよい。ま
た、風船をすべて叩き割るというような設定で行なって
いる場合に、出現頻度が大きすぎて、割れないものが多
く残るとか、届かない風船が多いとかいうときは、仮想
物体記述データ変更部３５で、仮想物体出現頻度や出現
場所、軌跡（移動速度）を変更すればよい。
ず、接触できない場合に、インタラクションルール変更
部３４で、接触判定の距離の閾値を大きくればよい。ま
た、風船をすべて叩き割るというような設定で行なって
いる場合に、出現頻度が大きすぎて、割れないものが多
く残るとか、届かない風船が多いとかいうときは、仮想
物体記述データ変更部３５で、仮想物体出現頻度や出現
場所、軌跡（移動速度）を変更すればよい。
【００３３】生理状態計測手段（装置）７では、使用者
の生理指標を計測する。例えば、心拍や脈拍、呼吸、脈
波伝達速度、皮膚温度、筋電図など、動作を妨げないで
簡便に計測でき、かつ使用者の身体的精神的状態を反映
する生理指標が望ましい。生理指標より使用者の生理状
態を評価し、目的に応じて望ましい生理状態になるよう
に、インタラクションルールや仮想物体記述データの変
更を行なう。例えば、心拍数が上がりすぎたら、インタ
ラクションの判定を緩めたり、仮想物体の発生頻度を減
らしたりというようなことである。
の生理指標を計測する。例えば、心拍や脈拍、呼吸、脈
波伝達速度、皮膚温度、筋電図など、動作を妨げないで
簡便に計測でき、かつ使用者の身体的精神的状態を反映
する生理指標が望ましい。生理指標より使用者の生理状
態を評価し、目的に応じて望ましい生理状態になるよう
に、インタラクションルールや仮想物体記述データの変
更を行なう。例えば、心拍数が上がりすぎたら、インタ
ラクションの判定を緩めたり、仮想物体の発生頻度を減
らしたりというようなことである。
【００３４】なお、上記実施の形態１では、３次元位置
計測用マーカとして、ＬＥＤを用いたアクティブ（発光
型）マーカによるものを記載したが、磁気式計測手法、
（磁界発生装置とコイルによるマーカ）やジャイロと加
速度センサによる位置計測手法を用いてもよい。また、
受動的なマーカ、例えば、カラーマーカ式（カメラによ
り特定の色のマーカを位置を求めるもの）、赤外線反射
マーカにより実現してもよい。これらの場合には、３次
元位置計測部分に関する通信は、マーカ（あるいはセン
サ）側からの計測結果の送信のみになる。
計測用マーカとして、ＬＥＤを用いたアクティブ（発光
型）マーカによるものを記載したが、磁気式計測手法、
（磁界発生装置とコイルによるマーカ）やジャイロと加
速度センサによる位置計測手法を用いてもよい。また、
受動的なマーカ、例えば、カラーマーカ式（カメラによ
り特定の色のマーカを位置を求めるもの）、赤外線反射
マーカにより実現してもよい。これらの場合には、３次
元位置計測部分に関する通信は、マーカ（あるいはセン
サ）側からの計測結果の送信のみになる。
【００３５】また、上記実施の形態１では、使用者が手
にもつか体に装着する部分（即ち、使用者携帯部１）と
制御部２の間の通信を無線化した例を記載したが、場合
によっては、有線による通信であっても構わない。ま
た、無線化の方法として、赤外線通信による方法を記載
したが、小電力電波、超音波などで無線通信を実現する
ものとしてもよい。また、上記実施の形態１では、液晶
プロジェクタと偏光メガネによる３次元視覚提示手段
（装置）を記載したが、場合によっては、液晶シャッタ
ーメガネを用いた時分割方式による３次元視覚提示手段
（装置）を用いてもよい。また、上記実施の形態１で
は、インタラクション装置の使用者携帯部として、使用
者が手にもって用いる形態のものを用いたが、図２に示
すような形態のものを使用者の体（例えば手首や手の
甲）に装着して実施してもよい。この場合は、道具を使
って接触するというより、素手でたたく、触るという感
覚を与えることになる。
にもつか体に装着する部分（即ち、使用者携帯部１）と
制御部２の間の通信を無線化した例を記載したが、場合
によっては、有線による通信であっても構わない。ま
た、無線化の方法として、赤外線通信による方法を記載
したが、小電力電波、超音波などで無線通信を実現する
ものとしてもよい。また、上記実施の形態１では、液晶
プロジェクタと偏光メガネによる３次元視覚提示手段
（装置）を記載したが、場合によっては、液晶シャッタ
ーメガネを用いた時分割方式による３次元視覚提示手段
（装置）を用いてもよい。また、上記実施の形態１で
は、インタラクション装置の使用者携帯部として、使用
者が手にもって用いる形態のものを用いたが、図２に示
すような形態のものを使用者の体（例えば手首や手の
甲）に装着して実施してもよい。この場合は、道具を使
って接触するというより、素手でたたく、触るという感
覚を与えることになる。
【００３６】以上のように、本実施の形態による仮想空
間とのインタクション装置によれば、視覚だけでなく触
覚，聴覚に刺激を与えることにより、複数の感覚を賦活
するインラクションを実現することができる。また、３
次元位置計測手段のマーカ，振動提示手段，音響提示手
段，これらの制御手段との通信手段を一体化し、使用者
が手にもつか、体の一部に装着して用いることができる
形状にしたので、使用者の空間感覚（３次元位置）と、
振動が与えられるところ、音響が聞こえてくるところを
一致させ、より現実感のあるインタラクションが実現す
る。
間とのインタクション装置によれば、視覚だけでなく触
覚，聴覚に刺激を与えることにより、複数の感覚を賦活
するインラクションを実現することができる。また、３
次元位置計測手段のマーカ，振動提示手段，音響提示手
段，これらの制御手段との通信手段を一体化し、使用者
が手にもつか、体の一部に装着して用いることができる
形状にしたので、使用者の空間感覚（３次元位置）と、
振動が与えられるところ、音響が聞こえてくるところを
一致させ、より現実感のあるインタラクションが実現す
る。
【００３７】また、３次元位置計測手段として、発光の
タイミング制御を行なえるＬＥＤマーカと該マーカの発
光を撮像する撮像装置を用いることにより、背景に制約
されることなく、複数の位置の３次元計測を簡便に行な
える。さらに、３次元位置計測用マーカと３次元位置計
測制御手段、振動提示手段・音響提示手段からなる使用
者携帯部と本体側の制御部の間の通信を無線化したの
で、使用者携帯部と制御部間をコードレス化することが
でき、使用者の動作を妨げない。
タイミング制御を行なえるＬＥＤマーカと該マーカの発
光を撮像する撮像装置を用いることにより、背景に制約
されることなく、複数の位置の３次元計測を簡便に行な
える。さらに、３次元位置計測用マーカと３次元位置計
測制御手段、振動提示手段・音響提示手段からなる使用
者携帯部と本体側の制御部の間の通信を無線化したの
で、使用者携帯部と制御部間をコードレス化することが
でき、使用者の動作を妨げない。
【００３８】また、本実施の形態による仮想空間システ
ムでは、使用者に仮想物体を３次元視覚提示し、使用者
が知覚する仮想物体の３次元位置と仮想空間とのインタ
ラクション装置により求められた３次元位置が、予め定
義した関係になったときに、仮想物体との接触が起こっ
たと判定し、仮想物体の視覚的形状を変化させ、振動・
音響の提示を行なうことにしたため、仮想空間上の物体
の想定位置と、実際に使用者に見えている位置を一致さ
せることができ、これにより、鏡像によるシステムとは
異なり、見たままを動きに表せばよく、より直感に訴え
る仮想空間の物体とのインタラクションが容易になる。
ムでは、使用者に仮想物体を３次元視覚提示し、使用者
が知覚する仮想物体の３次元位置と仮想空間とのインタ
ラクション装置により求められた３次元位置が、予め定
義した関係になったときに、仮想物体との接触が起こっ
たと判定し、仮想物体の視覚的形状を変化させ、振動・
音響の提示を行なうことにしたため、仮想空間上の物体
の想定位置と、実際に使用者に見えている位置を一致さ
せることができ、これにより、鏡像によるシステムとは
異なり、見たままを動きに表せばよく、より直感に訴え
る仮想空間の物体とのインタラクションが容易になる。
【００３９】このことは、使用者の興味を持続させ、楽
しみを増し、心身活動の誘起の効果をより一層高める作
用がある。さらに、このシステムにおいて、３次元視覚
提示手段として、左右の眼の映像を、偏光フィルタを搭
載した液晶プロジェクタ２台とこの映像を重畳して投影
するスクリーン，および左右眼にそれぞれのプロジェク
タの映像を選択的に提示するための偏光フィルタを装着
するメガネを用いることにしたため、時分割式の立体視
システムと比較して、画像のちらつきがなく、眼の疲労
が少ないシステムが実現する。
しみを増し、心身活動の誘起の効果をより一層高める作
用がある。さらに、このシステムにおいて、３次元視覚
提示手段として、左右の眼の映像を、偏光フィルタを搭
載した液晶プロジェクタ２台とこの映像を重畳して投影
するスクリーン，および左右眼にそれぞれのプロジェク
タの映像を選択的に提示するための偏光フィルタを装着
するメガネを用いることにしたため、時分割式の立体視
システムと比較して、画像のちらつきがなく、眼の疲労
が少ないシステムが実現する。
【００４０】また、本実施の形態による仮想空間システ
ムの発展形においては、インタラクション装置により求
められた３次元位置だけでなく、その変化量（移動速
度）およびその時間差分値（加速度）を求め、これらの
値の組み合わせによって、接触判定後の仮想物体の視覚
的形状を変化様式および、振動・音響の提示様式を変え
る機能をもたせることにしたので、使用者の特定の動作
の速さや加速度で定義できる特徴を区別して誘起するこ
とができる。
ムの発展形においては、インタラクション装置により求
められた３次元位置だけでなく、その変化量（移動速
度）およびその時間差分値（加速度）を求め、これらの
値の組み合わせによって、接触判定後の仮想物体の視覚
的形状を変化様式および、振動・音響の提示様式を変え
る機能をもたせることにしたので、使用者の特定の動作
の速さや加速度で定義できる特徴を区別して誘起するこ
とができる。
【００４１】また、本実施の形態による仮想空間システ
ムの発展形のさらなる発展形においては、使用者のパフ
ォーマンスか生理状態の少なくてもいずれかを評価し、
その評価結果に従って、接触判定の定義をリアルタイム
に変更する機能をもたせるか、提示する仮想物体の数や
動きなどをリアルタイムに変更する機能をもたせること
にしたので、使用者のそのときの状態に応じた訓練プロ
グラムを提供でき、より高い心身活性化の効果を期待す
ることができる。
ムの発展形のさらなる発展形においては、使用者のパフ
ォーマンスか生理状態の少なくてもいずれかを評価し、
その評価結果に従って、接触判定の定義をリアルタイム
に変更する機能をもたせるか、提示する仮想物体の数や
動きなどをリアルタイムに変更する機能をもたせること
にしたので、使用者のそのときの状態に応じた訓練プロ
グラムを提供でき、より高い心身活性化の効果を期待す
ることができる。
【００４２】実施の形態２．図４は、実施の形態２によ
る仮想空間システムの構成を示すものであり、図１に示
したインタラクション装置１００を応用した他の例であ
り、使用者が、インタラクション装置１００の使用者携
帯部１をリズミックに動かすことにより、背景音楽のテ
ンポと大きさをコントロールできるようにし、これによ
りリズム運動を賦活することを目的とした実施例であ
る。図４において、１はインタラクション装置の使用者
携帯部、２はインタラクション装置の制御部、５０は本
実施の形態における仮想空間生成制御手段（装置）であ
る。８は仮想空間生成制御手段（装置）５０における背
景音楽生成制御手段（装置）であり、背景音楽生成制御
手段（装置）８内において、８０は音楽データ、８１は
音楽データ制御部、８２は音楽データ再生部である。ま
た、８３は音楽データ制御ルール変更部である。
る仮想空間システムの構成を示すものであり、図１に示
したインタラクション装置１００を応用した他の例であ
り、使用者が、インタラクション装置１００の使用者携
帯部１をリズミックに動かすことにより、背景音楽のテ
ンポと大きさをコントロールできるようにし、これによ
りリズム運動を賦活することを目的とした実施例であ
る。図４において、１はインタラクション装置の使用者
携帯部、２はインタラクション装置の制御部、５０は本
実施の形態における仮想空間生成制御手段（装置）であ
る。８は仮想空間生成制御手段（装置）５０における背
景音楽生成制御手段（装置）であり、背景音楽生成制御
手段（装置）８内において、８０は音楽データ、８１は
音楽データ制御部、８２は音楽データ再生部である。ま
た、８３は音楽データ制御ルール変更部である。
【００４３】また、３０は仮想物体記述データ、３１は
３次元視覚情報生成部、３２はインタラクション判定
部、３３はインタラクション制御信号生成部、３４はイ
ンタラクションルール変更部である。また、４は３次元
視覚提示手段（装置）であって、実施の形態１と同様に
図示しない液晶プロジェクタ４１、偏光フィルタ４２、
スクリーン４３、使用者が装着する偏光メガネ４４で構
成されている。また、６は使用者のパフォーマンスを評
価するパフォーマンス評価手段（装置）、７は使用者の
生理状態を計測する生理状態計測手段（装置）である。
本実施の形態による仮想空間システムは、仮想空間生成
制御手段（装置）５０において、背景音楽生成制御手段
（装置）８および音楽データ制御ルール変更部８３等を
備えたことを特徴とする。
３次元視覚情報生成部、３２はインタラクション判定
部、３３はインタラクション制御信号生成部、３４はイ
ンタラクションルール変更部である。また、４は３次元
視覚提示手段（装置）であって、実施の形態１と同様に
図示しない液晶プロジェクタ４１、偏光フィルタ４２、
スクリーン４３、使用者が装着する偏光メガネ４４で構
成されている。また、６は使用者のパフォーマンスを評
価するパフォーマンス評価手段（装置）、７は使用者の
生理状態を計測する生理状態計測手段（装置）である。
本実施の形態による仮想空間システムは、仮想空間生成
制御手段（装置）５０において、背景音楽生成制御手段
（装置）８および音楽データ制御ルール変更部８３等を
備えたことを特徴とする。
【００４４】次に、動作について説明する。実施の形態
１と同じ部分は省略する。仮想空間と仮想物体の視覚提
示は、実施の形態１と同様である。ただし、ここでは、
仮想物体記述データ３０の一部は、音楽データ８０と類
似の構造を有するものとする。つまり、周期的に出現す
る仮想物体が定義されており、この出現タイミングや出
現位置、移動速度などが、音楽データ８０によって修飾
されるものとする。これによって、背景音楽に同期した
仮想物体の提示が行なえる。
１と同じ部分は省略する。仮想空間と仮想物体の視覚提
示は、実施の形態１と同様である。ただし、ここでは、
仮想物体記述データ３０の一部は、音楽データ８０と類
似の構造を有するものとする。つまり、周期的に出現す
る仮想物体が定義されており、この出現タイミングや出
現位置、移動速度などが、音楽データ８０によって修飾
されるものとする。これによって、背景音楽に同期した
仮想物体の提示が行なえる。
【００４５】インタラクション判定部３２では、インタ
ラクション装置１００の制御部２より送られる使用者携
帯部１の３次元位置データから、その速度や加速度を求
め、それらの組み合わせにより、リズム運動の所定の位
相を検出する。例えば、使用者携帯部１をマラカスのよ
うに振るリズム運動を想定した場合、下向きの速度が設
定した閾値を越え、加速度がゼロになったときを検出
し、使用者携帯部１と仮想物体との接触が起こったと判
定し、前回の検出からの最大速度を保持しておき、振り
の強さとするなどである。音楽データ制御部８１は、イ
ンタラクション判定部３２で、検出された接触のタイミ
ングと強さによって、背景音楽のテンポ、強弱を決定
し、音楽データ８０を変更し、音楽データ再生部８２に
送る。
ラクション装置１００の制御部２より送られる使用者携
帯部１の３次元位置データから、その速度や加速度を求
め、それらの組み合わせにより、リズム運動の所定の位
相を検出する。例えば、使用者携帯部１をマラカスのよ
うに振るリズム運動を想定した場合、下向きの速度が設
定した閾値を越え、加速度がゼロになったときを検出
し、使用者携帯部１と仮想物体との接触が起こったと判
定し、前回の検出からの最大速度を保持しておき、振り
の強さとするなどである。音楽データ制御部８１は、イ
ンタラクション判定部３２で、検出された接触のタイミ
ングと強さによって、背景音楽のテンポ、強弱を決定
し、音楽データ８０を変更し、音楽データ再生部８２に
送る。
【００４６】音楽データ再生部８２は、テンポ、強弱の
変調された音楽データを再生して、図１に示した構成の
制御部２の音響提示制御手段（装置）２５に送り、スピ
ーカ１３より音を発生する。音楽データ制御部８１は、
同時に仮想物体記述データ３０の書き換えも行ない、背
景音楽と仮想物体の一部の出現や動きとの同期をとる。
インタラクション制御信号生成部３３では、インタラク
ションの判定がなされたときに、振動制御信号と予め定
義された音響データをインタラクション装置２に送信す
る。前述のマラカスの例では、振動はマラカスを振った
感覚、音響データはマラカスの発生する音を与える。実
現するハードウエアによっては、音楽データ再生部８２
からの音と合成するミキサーが必要である。
変調された音楽データを再生して、図１に示した構成の
制御部２の音響提示制御手段（装置）２５に送り、スピ
ーカ１３より音を発生する。音楽データ制御部８１は、
同時に仮想物体記述データ３０の書き換えも行ない、背
景音楽と仮想物体の一部の出現や動きとの同期をとる。
インタラクション制御信号生成部３３では、インタラク
ションの判定がなされたときに、振動制御信号と予め定
義された音響データをインタラクション装置２に送信す
る。前述のマラカスの例では、振動はマラカスを振った
感覚、音響データはマラカスの発生する音を与える。実
現するハードウエアによっては、音楽データ再生部８２
からの音と合成するミキサーが必要である。
【００４７】パフォーマンス評価手段（装置）６では、
インタラクション判定部３２の検出データのリズム性
（リズムの抜け、乱れがないか）、あるいは、その前段
階での使用者携帯部１の速度、加速度データより、リズ
ム運動の大きさ、強さを評価して、インタラクションル
ール（リズム運動の検出基準）を変更したり、音楽デー
タの制御ルールを変更したりする。前者の例では、小さ
い遅い動きしかできない使用者には、速度の閾値を変更
したりする。後者の例では、安定したリズム運動が行え
ない使用者の場合には、検出した運動をそのまま音楽の
テンポに反映するのではなく、リズム運動の検出間隔に
設定した値以上のプラスの変動が生じたときには検出の
抜けを補い、逆にマイナスの変動の場合には、その検出
を無視するなどして、比較的安定した背景音楽が発生さ
れるようにする。
インタラクション判定部３２の検出データのリズム性
（リズムの抜け、乱れがないか）、あるいは、その前段
階での使用者携帯部１の速度、加速度データより、リズ
ム運動の大きさ、強さを評価して、インタラクションル
ール（リズム運動の検出基準）を変更したり、音楽デー
タの制御ルールを変更したりする。前者の例では、小さ
い遅い動きしかできない使用者には、速度の閾値を変更
したりする。後者の例では、安定したリズム運動が行え
ない使用者の場合には、検出した運動をそのまま音楽の
テンポに反映するのではなく、リズム運動の検出間隔に
設定した値以上のプラスの変動が生じたときには検出の
抜けを補い、逆にマイナスの変動の場合には、その検出
を無視するなどして、比較的安定した背景音楽が発生さ
れるようにする。
【００４８】以上説明したように、本実施の形態による
仮想空間システムにおいては、仮想空間とのインタラク
ション装置により求められた３次元位置の変化が、予め
設定したパターンを示したときに背景音楽生成制御手段
（装置）に信号を送り、提示する背景音楽のテンポや強
弱を変化させる機能をもたせることにしたので、使用者
の運動・動作によって、音響を制御している感覚が得ら
れ、運動・動作の継続、さらに大きな運動・動作を行な
う動機づけになり、これにより、リズム運動の誘起の効
果が得られる。
仮想空間システムにおいては、仮想空間とのインタラク
ション装置により求められた３次元位置の変化が、予め
設定したパターンを示したときに背景音楽生成制御手段
（装置）に信号を送り、提示する背景音楽のテンポや強
弱を変化させる機能をもたせることにしたので、使用者
の運動・動作によって、音響を制御している感覚が得ら
れ、運動・動作の継続、さらに大きな運動・動作を行な
う動機づけになり、これにより、リズム運動の誘起の効
果が得られる。
【００４９】さらに、本実施の形態による仮想空間シス
テムの発展形においては、使用者のリズム運動のパフォ
ーマンスか生理状態の少なくてもいずれか一方によっ
て、提示する背景音楽の種類あるいは、テンポ，強弱の
変化方法をリアルタイムに変更する機能をもたせること
にしたので、使用者のそのときの運動・動作の実現状況
に応じた訓練プログラムを提供でき、よりよくリズム運
動誘起を行なえ、より高い心身活性化の効果を期待する
ことができる。
テムの発展形においては、使用者のリズム運動のパフォ
ーマンスか生理状態の少なくてもいずれか一方によっ
て、提示する背景音楽の種類あるいは、テンポ，強弱の
変化方法をリアルタイムに変更する機能をもたせること
にしたので、使用者のそのときの運動・動作の実現状況
に応じた訓練プログラムを提供でき、よりよくリズム運
動誘起を行なえ、より高い心身活性化の効果を期待する
ことができる。
【００５０】
【発明の効果】この発明に係るインタラクション装置
は、仮想空間における３次元位置を計測するための３次
元位置計測用マーカ、振動提示装置、音響提示装置、お
よびこれらと信号の送受信を行う信号送受信装置が一体
化され、使用者が携帯可能な形状を有した使用者携帯部
と、使用者携帯部の信号送受信装置を介して３次元位置
計測用マーカからの信号が入力され、使用者携帯部の位
置を計測して仮想空間生成制御装置に位置計測情報を伝
達するとともに、伝達された位置計測情報に基づいて仮
想空間生成制御装置が発生するインタラクション制御信
号に応じて、振動提示信号および音響提示信号を信号送
受信装置を介して使用者携帯部の振動提示装置およぴ音
響提示装置に伝達する制御部とを備えたので、使用者携
帯部を使用者が手にもつか、体の一部に装着して用いる
ことが可能であり、使用者の空間感覚（３次元位置）
と、振動が与えられるところ、音響が聞こえてくるとこ
ろを一致させ、より現実感のあるインタラクションが実
現する効果がある。即ち、視覚だけではなく、複数の感
覚に訴え、視覚と触覚・聴覚の知覚位置を合わせること
が可能であり、高齢者や患者にも判りやすい仮想空間と
のインタラクションを提供できる。
は、仮想空間における３次元位置を計測するための３次
元位置計測用マーカ、振動提示装置、音響提示装置、お
よびこれらと信号の送受信を行う信号送受信装置が一体
化され、使用者が携帯可能な形状を有した使用者携帯部
と、使用者携帯部の信号送受信装置を介して３次元位置
計測用マーカからの信号が入力され、使用者携帯部の位
置を計測して仮想空間生成制御装置に位置計測情報を伝
達するとともに、伝達された位置計測情報に基づいて仮
想空間生成制御装置が発生するインタラクション制御信
号に応じて、振動提示信号および音響提示信号を信号送
受信装置を介して使用者携帯部の振動提示装置およぴ音
響提示装置に伝達する制御部とを備えたので、使用者携
帯部を使用者が手にもつか、体の一部に装着して用いる
ことが可能であり、使用者の空間感覚（３次元位置）
と、振動が与えられるところ、音響が聞こえてくるとこ
ろを一致させ、より現実感のあるインタラクションが実
現する効果がある。即ち、視覚だけではなく、複数の感
覚に訴え、視覚と触覚・聴覚の知覚位置を合わせること
が可能であり、高齢者や患者にも判りやすい仮想空間と
のインタラクションを提供できる。
【００５１】また、この発明に係るインタラクション装
置に用いられる使用者携帯部の３次元位置計測装置は、
使用者携帯部側に配置されたＬＥＤを用いた３次元位置
計測用マーカと、制御部側に配置され、３次元位置計測
用マーカの発光タイミングを制御する装置および３次元
位置計測用マーカの発光を撮像する撮像装置からなるの
で、背景に制約されることなく、複数位置の３次元計測
を簡便に行なえる効果がある。
置に用いられる使用者携帯部の３次元位置計測装置は、
使用者携帯部側に配置されたＬＥＤを用いた３次元位置
計測用マーカと、制御部側に配置され、３次元位置計測
用マーカの発光タイミングを制御する装置および３次元
位置計測用マーカの発光を撮像する撮像装置からなるの
で、背景に制約されることなく、複数位置の３次元計測
を簡便に行なえる効果がある。
【００５２】また、この発明に係るインタラクション装
置の信号送受信装置は、コードレス化した無線送受信装
置であることを特徴とするので、使用者携帯部の移動動
作を配線によって妨げられることなく、スムーズに行え
るという効果がある。
置の信号送受信装置は、コードレス化した無線送受信装
置であることを特徴とするので、使用者携帯部の移動動
作を配線によって妨げられることなく、スムーズに行え
るという効果がある。
【００５３】また、この発明に係る仮想空間システム
は、請求項１乃至３項のいずれか１項に記載の仮想空間
とのインタラクション装置を応用した仮想空間システム
であって、３次元視覚提示装置を有し、使用者に仮想物
体を３次元視覚提示し、使用者が知覚する仮想物体の３
次元位置と、仮想空間とのインタラクション装置により
求められた使用者携帯部の３次元位置とが予め定義した
関係になったときに、仮想物体との接触が起こったと判
定し、仮想物体の視覚的形状を変化させるとともに、使
用者携帯部に振動および音響の提示を行なわせるための
インタラクション制御信号を発生する仮想空間生成制御
装置を備えたので、仮想空間上の物体の想定位置と、実
際に使用者に見えている位置を視覚だけではなく、聴覚
や触覚による位置の感覚とも一致させることが可能とな
り、単なる鏡像によるシステムとは異なり、より直感に
訴える仮想空間の物体とのインタラクションが容易にな
る。
は、請求項１乃至３項のいずれか１項に記載の仮想空間
とのインタラクション装置を応用した仮想空間システム
であって、３次元視覚提示装置を有し、使用者に仮想物
体を３次元視覚提示し、使用者が知覚する仮想物体の３
次元位置と、仮想空間とのインタラクション装置により
求められた使用者携帯部の３次元位置とが予め定義した
関係になったときに、仮想物体との接触が起こったと判
定し、仮想物体の視覚的形状を変化させるとともに、使
用者携帯部に振動および音響の提示を行なわせるための
インタラクション制御信号を発生する仮想空間生成制御
装置を備えたので、仮想空間上の物体の想定位置と、実
際に使用者に見えている位置を視覚だけではなく、聴覚
や触覚による位置の感覚とも一致させることが可能とな
り、単なる鏡像によるシステムとは異なり、より直感に
訴える仮想空間の物体とのインタラクションが容易にな
る。
【００５４】また、この発明に係る仮想空間システムの
３次元視覚提示装置は、偏光フィルタを搭載した液晶プ
ロジェクタ２台とこの映像を重畳して投影するスクリー
ンおよび左右眼にそれぞれのプロジェクタの映像を選択
的に提示するための偏光フィルタを装着するメガネを用
いることを特徴とするので、時分割式の立体視システム
と比較して、画像のちらつきがなく、眼の疲労が少ない
仮想空間システムを実現することができる。
３次元視覚提示装置は、偏光フィルタを搭載した液晶プ
ロジェクタ２台とこの映像を重畳して投影するスクリー
ンおよび左右眼にそれぞれのプロジェクタの映像を選択
的に提示するための偏光フィルタを装着するメガネを用
いることを特徴とするので、時分割式の立体視システム
と比較して、画像のちらつきがなく、眼の疲労が少ない
仮想空間システムを実現することができる。
【００５５】また、この発明に係る仮想空間システムの
仮想空間生成制御装置は、使用者携帯部の３次元位置計
測情報に加えて、その移動速度あるいは加速度の少なく
とも１つを求め、上記３次元位置計測情報との組み合わ
せ結果に基づいて、接触判定後の仮想物体の視覚的形状
を変化する様式および、振動・音響の提示様式を変える
ように構成したので、使用者の動作の特徴を把握し、こ
れに対応したインタラクションが可能になり、より楽し
いリアリティのある仮想空間システムが構築できる。特
に、身体的なリハビリテーションへの応用においては患
者ごとに必要な動作訓練をそれぞれ設定した行うことが
できる。
仮想空間生成制御装置は、使用者携帯部の３次元位置計
測情報に加えて、その移動速度あるいは加速度の少なく
とも１つを求め、上記３次元位置計測情報との組み合わ
せ結果に基づいて、接触判定後の仮想物体の視覚的形状
を変化する様式および、振動・音響の提示様式を変える
ように構成したので、使用者の動作の特徴を把握し、こ
れに対応したインタラクションが可能になり、より楽し
いリアリティのある仮想空間システムが構築できる。特
に、身体的なリハビリテーションへの応用においては患
者ごとに必要な動作訓練をそれぞれ設定した行うことが
できる。
【００５６】また、この発明に係る仮想空間システム
は、さらに使用者の仮想物体とのインタラクションのパ
フォーマンスを評価するパフォーマンス評価装置あるい
は使用者の生理状態を計測する生理状態計測装置の少な
くとも一方を備え、使用者のパフォーマンス評価結果あ
るいは使用者の生理状態に応じて、接触判定の定義ある
いは提示する仮想物体の数や動きなどをリアルタイムに
変更することを特徴とするので、使用者の動作の特徴を
把握し、これに対応したインタラクションが可能となる
とともに、さらに使用者のそのときのパフォーマンスや
生理状態に応じた訓練プログラムを提供でき、より高い
心身活性化の効果を期待できる。
は、さらに使用者の仮想物体とのインタラクションのパ
フォーマンスを評価するパフォーマンス評価装置あるい
は使用者の生理状態を計測する生理状態計測装置の少な
くとも一方を備え、使用者のパフォーマンス評価結果あ
るいは使用者の生理状態に応じて、接触判定の定義ある
いは提示する仮想物体の数や動きなどをリアルタイムに
変更することを特徴とするので、使用者の動作の特徴を
把握し、これに対応したインタラクションが可能となる
とともに、さらに使用者のそのときのパフォーマンスや
生理状態に応じた訓練プログラムを提供でき、より高い
心身活性化の効果を期待できる。
【００５７】また、この発明に係る仮想空間システム
は、請求項１乃至３項のいずれか１項に記載の仮想空間
とのインタラクション装置を応用した仮想空間システム
であって、仮想空間とのインタラクション装置により求
められた使用者携帯部の３次元位置の変化が予め設定し
たパターンを示したときに、背景音楽のテンポあるいは
強弱を変化させる背景音楽生成制御装置を備えたので、
使用者の運動・動作によって音響を制御している感覚が
得られ、運動・動作の継続、さらに大きな運動・動作を
行なう動機づけになり、これによりリズム運動誘起の効
果が得られる。
は、請求項１乃至３項のいずれか１項に記載の仮想空間
とのインタラクション装置を応用した仮想空間システム
であって、仮想空間とのインタラクション装置により求
められた使用者携帯部の３次元位置の変化が予め設定し
たパターンを示したときに、背景音楽のテンポあるいは
強弱を変化させる背景音楽生成制御装置を備えたので、
使用者の運動・動作によって音響を制御している感覚が
得られ、運動・動作の継続、さらに大きな運動・動作を
行なう動機づけになり、これによりリズム運動誘起の効
果が得られる。
【００５８】また、この発明に係る仮想空間システム
は、さらに使用者のリズム運動のパフォーマンスを評価
するパフォーマンス評価装置あるいは使用者の生理状態
を計測する生理状態計測装置の少なくとも一方を備え、
使用者のリズム運動のパフォーマンスあるいは生理状態
のいずれか一方の変化に応じて、提示する背景音楽の種
類、テンポあるいは強弱の変化をリアルタイムに変更す
ることを特徴とするので、使用者の運動・動作によって
音響を制御している感覚が得られるとともに、さらに使
用者のそのときの運動・動作の実現状況に応じた訓練プ
ログラムを提供でき、よりよくリズム運動誘起を行な
え、より高い心身活性化の効果を期待できる。
は、さらに使用者のリズム運動のパフォーマンスを評価
するパフォーマンス評価装置あるいは使用者の生理状態
を計測する生理状態計測装置の少なくとも一方を備え、
使用者のリズム運動のパフォーマンスあるいは生理状態
のいずれか一方の変化に応じて、提示する背景音楽の種
類、テンポあるいは強弱の変化をリアルタイムに変更す
ることを特徴とするので、使用者の運動・動作によって
音響を制御している感覚が得られるとともに、さらに使
用者のそのときの運動・動作の実現状況に応じた訓練プ
ログラムを提供でき、よりよくリズム運動誘起を行な
え、より高い心身活性化の効果を期待できる。
【図１】 実施の形態１による仮想空間とのインタラク
ション装置の構成を示す図である。
ション装置の構成を示す図である。
【図２】 使用者携帯部の他の例を示す図である。
【図３】 実施の形態１による仮想空間システムの構成
を示す図である。
を示す図である。
【図４】 実施の形態２による仮想空間システムの構成
を示す図である。
を示す図である。
【図５】 従来の仮想空間システムの構成を示す図であ
る。
る。
１ 使用者携帯部 ２ 制御部 ３ 仮想空間生
成制御装置 ４ ３次元視覚提示手段（装置） ６ パフォーマンス評価手段（装置） ７ 生理状態計
測手段（装置） ８ 背景音楽生成制御手段（装置） １１ ３次元位置計測手段（装置）のマーカ １２ 振動提示手段（装置） １３ 音響提示
手段（装置） １４ 無線送受信手段（装置） ２１ 無線送受
信手段（装置） ２２ ３次元位置計測手段（装置）の撮像部 ２３ ３次元位置計測制御手段（装置） ２４ 振動提示制御手段（装置） ２５ 音響提示
制御手段（装置） ３０ 仮想物体記述データ ３１ ３次元視
覚情報生成部 ３２ インタラクション判定部 ３３ インタラクション制御信号生成部 ３４ インタラクションルール変更部 ３５ 仮想物体
記述データ変更部 ４１ 液晶プロジェクタ ４２ 偏光フィ
ルタ ４３ スクリーン ４４ 偏光メガ
ネ ５０ 仮想空間生成制御装置 ８０ 音楽デー
タ ８１ 音楽データ制御部 ８２ 音楽デー
タ再生部 ８３ 音楽データ制御ルール変更部 １００ 仮想空間とのインタラクション装置
成制御装置 ４ ３次元視覚提示手段（装置） ６ パフォーマンス評価手段（装置） ７ 生理状態計
測手段（装置） ８ 背景音楽生成制御手段（装置） １１ ３次元位置計測手段（装置）のマーカ １２ 振動提示手段（装置） １３ 音響提示
手段（装置） １４ 無線送受信手段（装置） ２１ 無線送受
信手段（装置） ２２ ３次元位置計測手段（装置）の撮像部 ２３ ３次元位置計測制御手段（装置） ２４ 振動提示制御手段（装置） ２５ 音響提示
制御手段（装置） ３０ 仮想物体記述データ ３１ ３次元視
覚情報生成部 ３２ インタラクション判定部 ３３ インタラクション制御信号生成部 ３４ インタラクションルール変更部 ３５ 仮想物体
記述データ変更部 ４１ 液晶プロジェクタ ４２ 偏光フィ
ルタ ４３ スクリーン ４４ 偏光メガ
ネ ５０ 仮想空間生成制御装置 ８０ 音楽デー
タ ８１ 音楽データ制御部 ８２ 音楽デー
タ再生部 ８３ 音楽データ制御ルール変更部 １００ 仮想空間とのインタラクション装置
フロントページの続き (72)発明者 三輪 祥太郎 東京都千代田区丸の内二丁目２番３号 三 菱電機株式会社内 Ｆターム(参考） 5B050 AA10 BA09 CA07 DA03 FA02 FA06 FA10 5E501 AA25 AB30 BA11 BA17 CA02 CA06 CA10 CB14 FA36 5L096 AA09 CA05 DA05 FA69 HA03
Claims (9)
- 【請求項１】 仮想空間における３次元位置を計測する
ための３次元位置計測用マーカ、振動提示装置、音響提
示装置、およびこれらと信号の送受信を行う信号送受信
装置が一体化され、使用者が携帯可能な形状を有した使
用者携帯部と、 上記使用者携帯部の信号送受信装置を
介して上記３次元位置計測用マーカからの信号が入力さ
れ、上記使用者携帯部の位置を計測して仮想空間生成制
御装置に位置計測情報を伝達するとともに、伝達された
上記位置計測情報に基づいて上記仮想空間生成制御装置
が発生するインタラクション制御信号に応じて、振動提
示信号および音響提示信号を上記信号送受信装置を介し
て上記使用者携帯部の振動提示装置および音響提示装置
に伝達する制御部とを備えたことを特徴とする仮想空間
とのインタラクション装置。 - 【請求項２】 使用者携帯部の３次元位置計測装置は、
上記使用者携帯部側に配置されたＬＥＤを用いた３次元
位置計測用マーカと、制御部側に配置され、上記３次元
位置計測用マーカの発光タイミングを制御する装置およ
び上記３次元位置計測用マーカの発光を撮像する撮像装
置からなることを特徴とする請求項１に記載の仮想空間
とのインタラクション装置。 - 【請求項３】 信号送受信装置は、コードレス化した無
線送受信装置であることを特徴とする請求項１に記載の
仮想空間とのインタラクション装置。 - 【請求項４】 請求項１乃至３項のいずれか１項に記載
の仮想空間とのインタラクション装置を応用した仮想空
間システムであって、 ３次元視覚提示装置を有し、使用者に仮想物体を３次元
視覚提示し、使用者が知覚する仮想物体の３次元位置
と、仮想空間とのインタラクション装置により求められ
た使用者携帯部の３次元位置とが予め定義した関係にな
ったときに、仮想物体との接触が起こったと判定し、仮
想物体の視覚的形状を変化させるとともに、上記使用者
携帯部に振動および音響の提示を行なわせるためのイン
タラクション制御信号を発生する仮想空間生成制御装置
を備えた仮想空間システム。 - 【請求項５】 ３次元視覚提示装置は、偏光フィルタを
搭載した液晶プロジェクタ２台とこの映像を重畳して投
影するスクリーンおよび左右眼にそれぞれのプロジェク
タの映像を選択的に提示するための偏光フィルタを装着
するメガネを用いることを特徴とする請求項４に記載の
仮想空間システム。 - 【請求項６】 仮想空間生成制御装置は、使用者携帯部
の３次元位置計測情報に加えて、その移動速度あるいは
加速度の少なくとも１つを求め、上記３次元位置計測情
報との組み合わせ結果に基づいて、接触判定後の仮想物
体の視覚的形状を変化する様式および、振動・音響の提
示様式を変えるように構成したことを特徴とする請求項
４に記載の仮想空間システム。 - 【請求項７】 使用者の仮想物体とのインタラクション
のパフォーマンスを評価するパフォーマンス評価装置あ
るいは使用者の生理状態を計測する生理状態計測装置の
少なくとも一方をさらに備え、使用者のパフォーマンス
評価結果あるいは使用者の生理状態に応じて、接触判定
の定義あるいは提示する仮想物体の数や動きなどをリア
ルタイムに変更することを特徴とする請求項４に記載の
仮想空間システム。 - 【請求項８】 請求項１乃至３項のいずれか１項に記載
の仮想空間とのインタラクション装置を応用した仮想空
間システムであって、仮想空間とのインタラクション装
置により求められた使用者携帯部の３次元位置の変化が
予め設定したパターンを示したときに、背景音楽のテン
ポあるいは強弱を変化させる背景音楽生成制御装置を備
えたことを特徴とする仮想空間システム。 - 【請求項９】 使用者のリズム運動のパフォーマンスを
評価するパフォーマンス評価装置あるいは使用者の生理
状態を計測する生理状態計測装置の少なくとも一方をさ
らに備え、使用者のリズム運動のパフォーマンスあるい
は生理状態の変化に応じて、提示する背景音楽の種類、
テンポあるいは強弱の変化をリアルタイムに変更するこ
とを特徴とする請求項８に記載の仮想空間システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000273028A JP2002082751A (ja) | 2000-09-08 | 2000-09-08 | 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000273028A JP2002082751A (ja) | 2000-09-08 | 2000-09-08 | 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002082751A true JP2002082751A (ja) | 2002-03-22 |
Family
ID=18759047
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000273028A Pending JP2002082751A (ja) | 2000-09-08 | 2000-09-08 | 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002082751A (ja) |
Cited By (35)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2005151418A (ja) * | 2003-11-19 | 2005-06-09 | Nec Viewtechnology Ltd | プロジェクタ |
| JP2007304973A (ja) * | 2006-05-12 | 2007-11-22 | Mhi Environment Engineering Co Ltd | シミュレーション装置及びシミュレーション方法 |
| JP2008136680A (ja) * | 2006-12-01 | 2008-06-19 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
| JP2009536765A (ja) * | 2006-05-08 | 2009-10-15 | 任天堂株式会社 | 加速度計データに基づいて、振りの衝撃の時期および／または振りの強度を検出するシステムおよび方法 |
| US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US7931535B2 (en) | 2005-08-22 | 2011-04-26 | Nintendo Co., Ltd. | Game operating device |
| US7942745B2 (en) | 2005-08-22 | 2011-05-17 | Nintendo Co., Ltd. | Game operating device |
| US8089458B2 (en) | 2000-02-22 | 2012-01-03 | Creative Kingdoms, Llc | Toy devices and methods for providing an interactive play experience |
| US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
| KR101156728B1 (ko) | 2010-03-23 | 2012-06-14 | 강원대학교산학협력단 | 버블 포핑 장치 및 방법 |
| US8267786B2 (en) | 2005-08-24 | 2012-09-18 | Nintendo Co., Ltd. | Game controller and game system |
| WO2012088285A3 (en) * | 2010-12-22 | 2012-10-26 | Infinite Z, Inc. | Three-dimensional tracking of a user control device in a volume |
| US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
| US8313379B2 (en) | 2005-08-22 | 2012-11-20 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US8475275B2 (en) | 2000-02-22 | 2013-07-02 | Creative Kingdoms, Llc | Interactive toys and games connecting physical and virtual play environments |
| JP2013168153A (ja) * | 2012-02-15 | 2013-08-29 | Immersion Corp | プリミティブを用いた高解像度ハプティック効果生成 |
| US8608535B2 (en) | 2002-04-05 | 2013-12-17 | Mq Gaming, Llc | Systems and methods for providing an interactive game |
| US8702515B2 (en) | 2002-04-05 | 2014-04-22 | Mq Gaming, Llc | Multi-platform gaming system using RFID-tagged toys |
| US8708821B2 (en) | 2000-02-22 | 2014-04-29 | Creative Kingdoms, Llc | Systems and methods for providing interactive game play |
| US8753165B2 (en) | 2000-10-20 | 2014-06-17 | Mq Gaming, Llc | Wireless toy systems and methods for interactive entertainment |
| US8758136B2 (en) | 1999-02-26 | 2014-06-24 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| JP2014139784A (ja) * | 2013-01-15 | 2014-07-31 | Immersion Corp | 触覚フィードバックを備えた拡張現実ユーザ・インタフェース |
| US8907889B2 (en) | 2005-01-12 | 2014-12-09 | Thinkoptics, Inc. | Handheld vision based absolute pointing system |
| US8913003B2 (en) | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
| CN104407696A (zh) * | 2014-11-06 | 2015-03-11 | 北京京东尚科信息技术有限公司 | 移动设备的虚拟球模拟及控制的方法 |
| US9176598B2 (en) | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
| US9427659B2 (en) | 2004-07-29 | 2016-08-30 | Motiva Llc | Human movement measurement system |
| US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
| US9946336B2 (en) | 2014-05-05 | 2018-04-17 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
| CN108170276A (zh) * | 2012-08-23 | 2018-06-15 | 索尼公司 | 输入装置、输入系统、电子装置和感觉呈现方法 |
| JPWO2017169158A1 (ja) * | 2016-03-29 | 2019-02-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| JPWO2017187708A1 (ja) * | 2016-04-26 | 2019-02-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN111743521A (zh) * | 2019-03-28 | 2020-10-09 | 护仕康有限公司 | 照护系统 |
| CN112650391A (zh) * | 2020-12-23 | 2021-04-13 | 网易（杭州）网络有限公司 | 基于虚拟现实的人机交互方法、装置、设备及存储介质 |
| CN114374831A (zh) * | 2020-10-15 | 2022-04-19 | 幻景启动股份有限公司 | 互动系统 |
-
2000
- 2000-09-08 JP JP2000273028A patent/JP2002082751A/ja active Pending
Cited By (113)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10300374B2 (en) | 1999-02-26 | 2019-05-28 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US9186585B2 (en) | 1999-02-26 | 2015-11-17 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US9468854B2 (en) | 1999-02-26 | 2016-10-18 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US8888576B2 (en) | 1999-02-26 | 2014-11-18 | Mq Gaming, Llc | Multi-media interactive play system |
| US8758136B2 (en) | 1999-02-26 | 2014-06-24 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US9731194B2 (en) | 1999-02-26 | 2017-08-15 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US9861887B1 (en) | 1999-02-26 | 2018-01-09 | Mq Gaming, Llc | Multi-platform gaming systems and methods |
| US8491389B2 (en) | 2000-02-22 | 2013-07-23 | Creative Kingdoms, Llc. | Motion-sensitive input device and interactive gaming system |
| US8708821B2 (en) | 2000-02-22 | 2014-04-29 | Creative Kingdoms, Llc | Systems and methods for providing interactive game play |
| US8164567B1 (en) | 2000-02-22 | 2012-04-24 | Creative Kingdoms, Llc | Motion-sensitive game controller with optional display screen |
| US8169406B2 (en) | 2000-02-22 | 2012-05-01 | Creative Kingdoms, Llc | Motion-sensitive wand controller for a game |
| US8184097B1 (en) | 2000-02-22 | 2012-05-22 | Creative Kingdoms, Llc | Interactive gaming system and method using motion-sensitive input device |
| US10188953B2 (en) | 2000-02-22 | 2019-01-29 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US9149717B2 (en) | 2000-02-22 | 2015-10-06 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US8915785B2 (en) | 2000-02-22 | 2014-12-23 | Creative Kingdoms, Llc | Interactive entertainment system |
| US9474962B2 (en) | 2000-02-22 | 2016-10-25 | Mq Gaming, Llc | Interactive entertainment system |
| US9579568B2 (en) | 2000-02-22 | 2017-02-28 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US10307671B2 (en) | 2000-02-22 | 2019-06-04 | Mq Gaming, Llc | Interactive entertainment system |
| US8368648B2 (en) | 2000-02-22 | 2013-02-05 | Creative Kingdoms, Llc | Portable interactive toy with radio frequency tracking device |
| US9814973B2 (en) | 2000-02-22 | 2017-11-14 | Mq Gaming, Llc | Interactive entertainment system |
| US8814688B2 (en) | 2000-02-22 | 2014-08-26 | Creative Kingdoms, Llc | Customizable toy for playing a wireless interactive game having both physical and virtual elements |
| US8790180B2 (en) | 2000-02-22 | 2014-07-29 | Creative Kingdoms, Llc | Interactive game and associated wireless toy |
| US8475275B2 (en) | 2000-02-22 | 2013-07-02 | Creative Kingdoms, Llc | Interactive toys and games connecting physical and virtual play environments |
| US9713766B2 (en) | 2000-02-22 | 2017-07-25 | Mq Gaming, Llc | Dual-range wireless interactive entertainment device |
| US8089458B2 (en) | 2000-02-22 | 2012-01-03 | Creative Kingdoms, Llc | Toy devices and methods for providing an interactive play experience |
| US8686579B2 (en) | 2000-02-22 | 2014-04-01 | Creative Kingdoms, Llc | Dual-range wireless controller |
| US9320976B2 (en) | 2000-10-20 | 2016-04-26 | Mq Gaming, Llc | Wireless toy systems and methods for interactive entertainment |
| US9480929B2 (en) | 2000-10-20 | 2016-11-01 | Mq Gaming, Llc | Toy incorporating RFID tag |
| US10307683B2 (en) | 2000-10-20 | 2019-06-04 | Mq Gaming, Llc | Toy incorporating RFID tag |
| US8961260B2 (en) | 2000-10-20 | 2015-02-24 | Mq Gaming, Llc | Toy incorporating RFID tracking device |
| US9931578B2 (en) | 2000-10-20 | 2018-04-03 | Mq Gaming, Llc | Toy incorporating RFID tag |
| US8753165B2 (en) | 2000-10-20 | 2014-06-17 | Mq Gaming, Llc | Wireless toy systems and methods for interactive entertainment |
| US9162148B2 (en) | 2001-02-22 | 2015-10-20 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US9737797B2 (en) | 2001-02-22 | 2017-08-22 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US9393491B2 (en) | 2001-02-22 | 2016-07-19 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US8384668B2 (en) | 2001-02-22 | 2013-02-26 | Creative Kingdoms, Llc | Portable gaming device and gaming system combining both physical and virtual play elements |
| US10758818B2 (en) | 2001-02-22 | 2020-09-01 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US8711094B2 (en) | 2001-02-22 | 2014-04-29 | Creative Kingdoms, Llc | Portable gaming device and gaming system combining both physical and virtual play elements |
| US10179283B2 (en) | 2001-02-22 | 2019-01-15 | Mq Gaming, Llc | Wireless entertainment device, system, and method |
| US8248367B1 (en) | 2001-02-22 | 2012-08-21 | Creative Kingdoms, Llc | Wireless gaming system combining both physical and virtual play elements |
| US8913011B2 (en) | 2001-02-22 | 2014-12-16 | Creative Kingdoms, Llc | Wireless entertainment device, system, and method |
| US10478719B2 (en) | 2002-04-05 | 2019-11-19 | Mq Gaming, Llc | Methods and systems for providing personalized interactive entertainment |
| US10010790B2 (en) | 2002-04-05 | 2018-07-03 | Mq Gaming, Llc | System and method for playing an interactive game |
| US10507387B2 (en) | 2002-04-05 | 2019-12-17 | Mq Gaming, Llc | System and method for playing an interactive game |
| US8827810B2 (en) | 2002-04-05 | 2014-09-09 | Mq Gaming, Llc | Methods for providing interactive entertainment |
| US9463380B2 (en) | 2002-04-05 | 2016-10-11 | Mq Gaming, Llc | System and method for playing an interactive game |
| US9616334B2 (en) | 2002-04-05 | 2017-04-11 | Mq Gaming, Llc | Multi-platform gaming system using RFID-tagged toys |
| US8608535B2 (en) | 2002-04-05 | 2013-12-17 | Mq Gaming, Llc | Systems and methods for providing an interactive game |
| US9272206B2 (en) | 2002-04-05 | 2016-03-01 | Mq Gaming, Llc | System and method for playing an interactive game |
| US11278796B2 (en) | 2002-04-05 | 2022-03-22 | Mq Gaming, Llc | Methods and systems for providing personalized interactive entertainment |
| US8702515B2 (en) | 2002-04-05 | 2014-04-22 | Mq Gaming, Llc | Multi-platform gaming system using RFID-tagged toys |
| US9993724B2 (en) | 2003-03-25 | 2018-06-12 | Mq Gaming, Llc | Interactive gaming toy |
| US9770652B2 (en) | 2003-03-25 | 2017-09-26 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US11052309B2 (en) | 2003-03-25 | 2021-07-06 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US10583357B2 (en) | 2003-03-25 | 2020-03-10 | Mq Gaming, Llc | Interactive gaming toy |
| US10369463B2 (en) | 2003-03-25 | 2019-08-06 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US9039533B2 (en) | 2003-03-25 | 2015-05-26 | Creative Kingdoms, Llc | Wireless interactive game having both physical and virtual elements |
| US10022624B2 (en) | 2003-03-25 | 2018-07-17 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US8961312B2 (en) | 2003-03-25 | 2015-02-24 | Creative Kingdoms, Llc | Motion-sensitive controller and associated gaming applications |
| US9393500B2 (en) | 2003-03-25 | 2016-07-19 | Mq Gaming, Llc | Wireless interactive game having both physical and virtual elements |
| US8373659B2 (en) | 2003-03-25 | 2013-02-12 | Creative Kingdoms, Llc | Wirelessly-powered toy for gaming |
| US9707478B2 (en) | 2003-03-25 | 2017-07-18 | Mq Gaming, Llc | Motion-sensitive controller and associated gaming applications |
| US9446319B2 (en) | 2003-03-25 | 2016-09-20 | Mq Gaming, Llc | Interactive gaming toy |
| JP2005151418A (ja) * | 2003-11-19 | 2005-06-09 | Nec Viewtechnology Ltd | プロジェクタ |
| US9427659B2 (en) | 2004-07-29 | 2016-08-30 | Motiva Llc | Human movement measurement system |
| US9675878B2 (en) | 2004-09-29 | 2017-06-13 | Mq Gaming, Llc | System and method for playing a virtual game by sensing physical movements |
| US8907889B2 (en) | 2005-01-12 | 2014-12-09 | Thinkoptics, Inc. | Handheld vision based absolute pointing system |
| US7931535B2 (en) | 2005-08-22 | 2011-04-26 | Nintendo Co., Ltd. | Game operating device |
| US10661183B2 (en) | 2005-08-22 | 2020-05-26 | Nintendo Co., Ltd. | Game operating device |
| US10238978B2 (en) | 2005-08-22 | 2019-03-26 | Nintendo Co., Ltd. | Game operating device |
| US10155170B2 (en) | 2005-08-22 | 2018-12-18 | Nintendo Co., Ltd. | Game operating device with holding portion detachably holding an electronic device |
| US9011248B2 (en) | 2005-08-22 | 2015-04-21 | Nintendo Co., Ltd. | Game operating device |
| US9498728B2 (en) | 2005-08-22 | 2016-11-22 | Nintendo Co., Ltd. | Game operating device |
| US9700806B2 (en) | 2005-08-22 | 2017-07-11 | Nintendo Co., Ltd. | Game operating device |
| US7942745B2 (en) | 2005-08-22 | 2011-05-17 | Nintendo Co., Ltd. | Game operating device |
| US8313379B2 (en) | 2005-08-22 | 2012-11-20 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US9044671B2 (en) | 2005-08-24 | 2015-06-02 | Nintendo Co., Ltd. | Game controller and game system |
| US10137365B2 (en) | 2005-08-24 | 2018-11-27 | Nintendo Co., Ltd. | Game controller and game system |
| US9498709B2 (en) | 2005-08-24 | 2016-11-22 | Nintendo Co., Ltd. | Game controller and game system |
| US11027190B2 (en) | 2005-08-24 | 2021-06-08 | Nintendo Co., Ltd. | Game controller and game system |
| US9227138B2 (en) | 2005-08-24 | 2016-01-05 | Nintendo Co., Ltd. | Game controller and game system |
| US8267786B2 (en) | 2005-08-24 | 2012-09-18 | Nintendo Co., Ltd. | Game controller and game system |
| US8834271B2 (en) | 2005-08-24 | 2014-09-16 | Nintendo Co., Ltd. | Game controller and game system |
| US8308563B2 (en) | 2005-08-30 | 2012-11-13 | Nintendo Co., Ltd. | Game system and storage medium having game program stored thereon |
| US8708824B2 (en) | 2005-09-12 | 2014-04-29 | Nintendo Co., Ltd. | Information processing program |
| US8157651B2 (en) | 2005-09-12 | 2012-04-17 | Nintendo Co., Ltd. | Information processing program |
| US7927216B2 (en) | 2005-09-15 | 2011-04-19 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| USRE45905E1 (en) | 2005-09-15 | 2016-03-01 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| US8430753B2 (en) | 2005-09-15 | 2013-04-30 | Nintendo Co., Ltd. | Video game system with wireless modular handheld controller |
| JP2009536765A (ja) * | 2006-05-08 | 2009-10-15 | 任天堂株式会社 | 加速度計データに基づいて、振りの衝撃の時期および／または振りの強度を検出するシステムおよび方法 |
| JP2007304973A (ja) * | 2006-05-12 | 2007-11-22 | Mhi Environment Engineering Co Ltd | シミュレーション装置及びシミュレーション方法 |
| US8913003B2 (en) | 2006-07-17 | 2014-12-16 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer using a projection marker system |
| JP2008136680A (ja) * | 2006-12-01 | 2008-06-19 | Nintendo Co Ltd | ゲームプログラムおよびゲーム装置 |
| US9176598B2 (en) | 2007-05-08 | 2015-11-03 | Thinkoptics, Inc. | Free-space multi-dimensional absolute pointer with improved performance |
| KR101156728B1 (ko) | 2010-03-23 | 2012-06-14 | 강원대학교산학협력단 | 버블 포핑 장치 및 방법 |
| US9201568B2 (en) | 2010-12-22 | 2015-12-01 | Zspace, Inc. | Three-dimensional tracking of a user control device in a volume |
| WO2012088285A3 (en) * | 2010-12-22 | 2012-10-26 | Infinite Z, Inc. | Three-dimensional tracking of a user control device in a volume |
| US8970625B2 (en) | 2010-12-22 | 2015-03-03 | Zspace, Inc. | Three-dimensional tracking of a user control device in a volume |
| JP2013168153A (ja) * | 2012-02-15 | 2013-08-29 | Immersion Corp | プリミティブを用いた高解像度ハプティック効果生成 |
| CN108170276A (zh) * | 2012-08-23 | 2018-06-15 | 索尼公司 | 输入装置、输入系统、电子装置和感觉呈现方法 |
| CN108170276B (zh) * | 2012-08-23 | 2020-12-08 | 索尼公司 | 输入装置、输入系统、电子装置和感觉呈现方法 |
| JP2014139784A (ja) * | 2013-01-15 | 2014-07-31 | Immersion Corp | 触覚フィードバックを備えた拡張現実ユーザ・インタフェース |
| US10444829B2 (en) | 2014-05-05 | 2019-10-15 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
| US9946336B2 (en) | 2014-05-05 | 2018-04-17 | Immersion Corporation | Systems and methods for viewport-based augmented reality haptic effects |
| CN104407696A (zh) * | 2014-11-06 | 2015-03-11 | 北京京东尚科信息技术有限公司 | 移动设备的虚拟球模拟及控制的方法 |
| CN104407696B (zh) * | 2014-11-06 | 2016-10-05 | 北京京东尚科信息技术有限公司 | 移动设备的虚拟球模拟及控制的方法 |
| JPWO2017169158A1 (ja) * | 2016-03-29 | 2019-02-07 | ソニー株式会社 | 情報処理装置、情報処理方法、およびプログラム |
| US11017257B2 (en) | 2016-04-26 | 2021-05-25 | Sony Corporation | Information processing device, information processing method, and program |
| JPWO2017187708A1 (ja) * | 2016-04-26 | 2019-02-28 | ソニー株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| JP7092028B2 (ja) | 2016-04-26 | 2022-06-28 | ソニーグループ株式会社 | 情報処理装置、情報処理方法、及びプログラム |
| CN111743521A (zh) * | 2019-03-28 | 2020-10-09 | 护仕康有限公司 | 照护系统 |
| CN114374831A (zh) * | 2020-10-15 | 2022-04-19 | 幻景启动股份有限公司 | 互动系统 |
| CN112650391A (zh) * | 2020-12-23 | 2021-04-13 | 网易（杭州）网络有限公司 | 基于虚拟现实的人机交互方法、装置、设备及存储介质 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002082751A (ja) | 仮想空間とのインタラクション装置およびこれを応用した仮想空間システム | |
| Jones | Haptics | |
| Ma et al. | Virtual reality and serious games in healthcare | |
| JP6669069B2 (ja) | 検出装置、検出方法、制御装置、および制御方法 | |
| US10762988B2 (en) | Motor training | |
| US8758020B2 (en) | Periodic evaluation and telerehabilitation systems and methods | |
| US20170131775A1 (en) | System and method of haptic feedback by referral of sensation | |
| JP2009511220A (ja) | ダイバージョナルセラピーの装置および方法ならびに対話型デバイス | |
| JP6834614B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| KR20170085000A (ko) | 햅틱 가능 신경 인터페이스들을 위한 시스템들 및 방법들 | |
| US20180046432A1 (en) | Method of virtual reality system and implementing such method | |
| JP2011110215A (ja) | リハビリテーション用システム、プログラム、およびプログラムを記録したコンピュータ読み取り可能な記録媒体 | |
| JPWO2019244716A1 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
| JP6930546B2 (ja) | 出力制御装置、出力制御方法およびプログラム | |
| JP7563392B2 (ja) | 情報処理装置 | |
| CN108135473A (zh) | 生理反应 | |
| CN116322507A (zh) | 一种性需求互动平台系统 | |
| Beckhaus et al. | Unconventional human computer interfaces | |
| JP7567812B2 (ja) | 情報処理装置 | |
| JP6571701B2 (ja) | 体感装置、およびその方法 | |
| JPWO2020026443A1 (ja) | 触覚表現用振動制御システム、触覚表現用振動発生装置、触覚表現用振動制御装置、および触覚表現用振動制御方法 | |
| CN112516580B (zh) | 基于vr技术的心理辅导设备和方法 | |
| JP7586099B2 (ja) | 情報処理装置 | |
| JP2011083461A (ja) | ゲームシステム | |
| JP2008515584A (ja) | セックス・プレー中にフィードバックを与えるためのコンピュータ実装方法およびシステム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20040707 |