JP2002041038A - 仮想楽器演奏装置 - Google Patents
仮想楽器演奏装置Info
- Publication number
- JP2002041038A JP2002041038A JP2000230636A JP2000230636A JP2002041038A JP 2002041038 A JP2002041038 A JP 2002041038A JP 2000230636 A JP2000230636 A JP 2000230636A JP 2000230636 A JP2000230636 A JP 2000230636A JP 2002041038 A JP2002041038 A JP 2002041038A
- Authority
- JP
- Japan
- Prior art keywords
- musical instrument
- player
- image
- virtual musical
- virtual
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 150000001875 compounds Chemical class 0.000 abstract 2
- 238000001514 detection method Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 238000000034 method Methods 0.000 description 2
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 210000001015 abdomen Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009527 percussion Methods 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Electrophonic Musical Instruments (AREA)
- Image Analysis (AREA)
Abstract
(ディスプレイ)で仮想楽器の映像に合成し、その映像
を見ながら動くことにより演奏することができる仮想楽
器演奏装置を提供する。 【解決手段】 ビデオカメラ部2a,2bで演奏者の画
像を取り込み3次元位置検出器4で演奏者の楽器操作の
ための動作位置を検出する。演算装置5は記憶装置8か
ら出力される仮想楽器を含む画像と3次元位置検出器4
からの演奏者の画像を合成して表示装置7に表示すると
ともに演奏者が表示装置7の仮想楽器の位置を見ながら
操作し、仮想楽器と演奏者の2次元の輪郭が接触したと
きの手先の位置情報から楽器の演奏情報を作り出す。楽
音発生装置6によって演算装置5から送られてくる演奏
情報に基づく楽音をスピーカ3より出力する。
Description
で、自らが仮想楽器を演奏することができる仮想楽器演
奏装置に関する。
際の楽器ではなく、仮想の中で楽器を奏でることができ
れば、気軽に演奏を楽しむことが可能である。
鑑みたもので、その目的は、ビデオカメラで撮影した自
分(または自分の身代わりの人形)をTV画面(ディス
プレイ)で仮想楽器の映像に合成し、その映像を見なが
ら動くことにより演奏することができる仮想楽器演奏装
置を提供することにある。
に本発明による仮想楽器演奏装置は、演奏者の画像を取
り込むカメラ部と、前記取り込んだ画像から演奏者の楽
器操作のための動作位置を検出する3次元位置検出器
と、仮想楽器を含む画像を1以上格納する記憶装置と、
表示装置と、前記記憶装置から出力される仮想楽器を含
む画像と前記3次元位置検出器からの演奏者の画像を合
成して前記表示装置に表示するとともに演奏者が前記表
示装置の仮想楽器の位置を見ながら操作し、前記仮想楽
器と演奏者の2次元の輪郭が接触したときの手先の位置
情報から楽器の演奏情報を作り出す演算装置と、前記演
算装置から送られてくる演奏情報に従った楽音を発生す
る楽音発生装置とから構成してある。本発明において、
前記表示装置に表示される演奏者の画像は、左右反転画
像として表示される。また、本発明は、前記仮想楽器の
操作部に演奏者が接触したとき、発音し、音量変化,音
色変化及び音程変化は、発音を開始した位置から演奏者
の手先の移動量に対応させて変化させるように構成して
ある。
奏でることができる。
施の形態を詳しく説明する。図1は、本発明による仮想
楽器演奏装置の実施の形態を示すブロック図である。仮
想楽器演奏装置は、ビデオカメラ2a,2b,スピーカ
3および仮想楽器演奏装置部9より構成されている。仮
想楽器演奏装置部9は、3次元位置検出器4,演算装置
5,楽音発生装置6,表示装置7および記憶装置8より
構成されている。
代理の人形でもよい(以下「演奏者等」という))の画
像を3次元的に取り込むものである。3次元位置検出器
4は、ビデオカメラ2a,2bから取り込んだ演奏者の
画像の輪郭を取り出し、演奏者の手先,頭部および腰部
の位置情報を検出する。記憶装置8は、仮想楽器を含む
画像を複数格納しており、演算装置5は記憶装置8から
読み出される画像とビデオカメラ2a,2bから取り込
まれた演奏者等1の反転画像を合成して表示装置7に出
力する。そして、ビデオカメラ2a,2bから取り込ん
だ演奏者の画像の輪郭を取り出し、仮想の楽器と演奏者
の2次元の輪郭が接触したときの手先,頭部の先,腹部
の位置情報から楽器の演奏情報を作り出し、楽音発生装
置6に送る。楽音発生装置6は、演奏情報に基づき楽音
を発生し、スピーカ3より出力する。
本的には2種類の検出方法があり、1つは音を鳴らす操
作の検出、もう1つは音全体をさまざまに変化させる操
作の検出である。音を発生させる時は、演奏者等の手の
映像の輪郭が、通常画像では演奏者の上部に位置する楽
器の輪郭に接触した瞬間の、3次元位置検出された、手
先の移動速度によって調整される音量で発音する。その
後、接触した位置から、手先の位置がどれだけ移動した
かをその音の音色(音量、音程、音質のいずれか)の変
化要素として出力する。さらに、演奏者の手の輪郭が楽
器の輪郭から外れた時に発音を終了する。
像の輪郭が、通常画面では演奏者の左右に位置する操作
ボタンの輪郭に接触し、接触してから一定方向に移動
(例えば、演奏者から見て、前方に10cm)した時に
機能が始まり、その点から3次元の残りの2つの軸方向
への各移動距離を全体の音色変化に割り付ける。上記音
の発音と個々の音色変化および全体の音色変化はそれぞ
れ、シンセサイザなどの鍵盤とリボンコントローラまた
はホイールの代用ができる。ここで個々の音の変化と
は、ひとつのトリガーで鳴っている音を変化させること
であり、全体の音の変化とは2以上の音が鳴っていてそ
れらをまとめて変化させることである。
動作を説明するためのフローチャートである。仮想楽器
演奏開始によって表示装置7に楽器が表示される(ステ
ップ(以下「S」という)201,S202) 演奏者等1の画像はビデオカメラ2a,2bから取り込
まれ、演算装置5は楽器が含まれる画像と演奏者の左右
反転の画像を合成し、表示装置7に表示する(S20
3)。
動きの3次元位置が検出され、演奏者の輪郭(2次元)
が検出される(S204,S205)。演算装置5は、
仮想楽器と演奏者が接触したか否かを判断する(S20
6)。接触していないときはS204に戻る。接触した
ときは演奏情報を生成し、楽音発生装置6に送出する。
楽音発生装置6は、演奏情報に基づき楽音を発生しスピ
ーカ3より出力する(S207)。そして、演奏が終了
したか否かを判断し(S208)、終了していない場合
にはS204に戻る。演奏が終了した場合には、仮想楽
器を閉じる(S209)。
よる演奏例を示す概略斜視図である。演奏者12が大型
TV画面15の前に立っており、大型TV画面15の両
脇にはビデオカメラ13a,13bがそれぞれ設置され
ている。演奏者12は大型TV画面15に鏡のように左
右反転させて表示され、仮想楽器も合成表示されてい
る。
11a〜11fと右下の1つのボタン10として配置さ
れている。画面に映っている演奏者12の手が画面の上
部の6つのボタンのいずれかに画面上で接触すると、発
音を開始する。ボタンに接触する速度が速いほど音量が
大きくなる。そして演奏者12の手がボタンから離れる
と発音が停止する。発音する音によっては、打楽器のよ
うに接触したときから発音してボタンから手が離れても
発音を停止しないようにすることができる。ボタンに触
れて発音している間に、手を移動させるとその移動量に
応じて音量,音程,音質が変化させられる。
て、例えば前方に10cm手を押し込むとコントローラ
が使用可能となる。コントローラは、機能してから手の
左右などの動きに応じて発音中のすべての音の音量,音
程,音質などを変化させることができる。例えば、左右
に手を移動させると、すべての音の音程を上下させるこ
とができる。また、上下に移動させることにより、音量
や音質を変化させることができる。
楽器には触れずに、音(音源)を操作することにより新
感覚で演奏できるもので、従前にない仮想楽器演奏装置
を実現するものである。また、本発明は、楽器としてだ
けでなく、ゲーム等の入力装置としての利用も可能であ
る。さらにカラオケと合わせて、伴奏とともにこの仮想
楽器で演奏したり、効果音を加えたりする遊びにも応用
可能である。
示すブロック図である。
るためノフローチャートである。
示す概略斜視図である。
Claims (3)
- 【請求項1】 演奏者の画像を取り込むカメラ部と、 前記取り込んだ画像から演奏者の楽器操作のための動作
位置を検出する3次元位置検出器と、 仮想楽器を含む画像を1以上格納する記憶装置と、 表示装置と、 前記記憶装置から出力される仮想楽器を含む画像と前記
3次元位置検出器からの演奏者の画像を合成して前記表
示装置に表示するとともに演奏者が前記表示装置の仮想
楽器の位置を見ながら操作し、前記仮想楽器と演奏者の
2次元の輪郭が接触したときの手先の位置情報から楽器
の演奏情報を作り出す演算装置と、 前記演算装置から送られてくる演奏情報に従った楽音を
発生する楽音発生装置と、 から構成したことを特徴とする仮想楽器演奏装置。 - 【請求項2】 前記表示装置に表示される演奏者の画像
は、左右反転画像であることを特徴とする請求項1記載
の仮想楽器演奏装置。 - 【請求項3】 前記仮想楽器の操作部に演奏者が接触し
たとき、発音し、音量変化,音色変化及び音程変化は、
発音を開始した位置から演奏者の手先の移動量に対応さ
せて変化させるように構成したことを特徴とする請求項
1記載の仮想楽器演奏装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000230636A JP2002041038A (ja) | 2000-07-31 | 2000-07-31 | 仮想楽器演奏装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000230636A JP2002041038A (ja) | 2000-07-31 | 2000-07-31 | 仮想楽器演奏装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JP2002041038A true JP2002041038A (ja) | 2002-02-08 |
Family
ID=18723567
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2000230636A Pending JP2002041038A (ja) | 2000-07-31 | 2000-07-31 | 仮想楽器演奏装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP2002041038A (ja) |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009300893A (ja) * | 2008-06-16 | 2009-12-24 | Yamaha Corp | 電子音楽装置 |
| JP2009300892A (ja) * | 2008-06-16 | 2009-12-24 | Yamaha Corp | 電子音楽装置 |
| JP2011036483A (ja) * | 2009-08-12 | 2011-02-24 | Hiroshima Industrial Promotion Organization | 画像生成システム、制御プログラム、及び記録媒体 |
| JP2012014082A (ja) * | 2010-07-02 | 2012-01-19 | Lapis Semiconductor Co Ltd | 画像処理システム、及び画像処理プログラム |
| KR101144514B1 (ko) | 2010-12-14 | 2012-05-11 | 숭실대학교산학협력단 | 사운드 출력 장치 및 방법 |
| KR20130001176A (ko) * | 2011-06-23 | 2013-01-03 | 오메크 인터렉티브, 리미티드 | 근접 범위 움직임 추적 시스템 및 방법 |
| CN103310766A (zh) * | 2012-03-16 | 2013-09-18 | 卡西欧计算机株式会社 | 演奏装置及方法 |
| JP2013225016A (ja) * | 2012-04-20 | 2013-10-31 | Tokyo Metropolitan Univ | 演奏システム及びプログラム |
| US9330470B2 (en) | 2010-06-16 | 2016-05-03 | Intel Corporation | Method and system for modeling subjects from a depth map |
| US9477303B2 (en) | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
| JP2018507448A (ja) * | 2015-12-31 | 2018-03-15 | 禾視控股(北京)有限公司 | スマートデバイスに基づく体感制御の実現方法、システム及びスマートデバイス |
| CN111679806A (zh) * | 2020-06-10 | 2020-09-18 | 浙江商汤科技开发有限公司 | 播放控制方法、装置、电子设备及存储介质 |
| US11048333B2 (en) | 2011-06-23 | 2021-06-29 | Intel Corporation | System and method for close-range movement tracking |
| CN115437598A (zh) * | 2021-06-03 | 2022-12-06 | 腾讯科技(深圳)有限公司 | 虚拟乐器的互动处理方法、装置及电子设备 |
| JP2024111071A (ja) * | 2018-02-15 | 2024-08-16 | マジック リープ, インコーポレイテッド | 複合現実楽器 |
-
2000
- 2000-07-31 JP JP2000230636A patent/JP2002041038A/ja active Pending
Cited By (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2009300892A (ja) * | 2008-06-16 | 2009-12-24 | Yamaha Corp | 電子音楽装置 |
| JP2009300893A (ja) * | 2008-06-16 | 2009-12-24 | Yamaha Corp | 電子音楽装置 |
| JP2011036483A (ja) * | 2009-08-12 | 2011-02-24 | Hiroshima Industrial Promotion Organization | 画像生成システム、制御プログラム、及び記録媒体 |
| US9330470B2 (en) | 2010-06-16 | 2016-05-03 | Intel Corporation | Method and system for modeling subjects from a depth map |
| US8798434B2 (en) | 2010-07-02 | 2014-08-05 | Lapis Semiconductor Co., Ltd. | Image processing system for outputting signals when an image of a specific object overlaps playing regions, and storage medium in which an image processing program is stored |
| JP2012014082A (ja) * | 2010-07-02 | 2012-01-19 | Lapis Semiconductor Co Ltd | 画像処理システム、及び画像処理プログラム |
| KR101144514B1 (ko) | 2010-12-14 | 2012-05-11 | 숭실대학교산학협력단 | 사운드 출력 장치 및 방법 |
| KR20130001176A (ko) * | 2011-06-23 | 2013-01-03 | 오메크 인터렉티브, 리미티드 | 근접 범위 움직임 추적 시스템 및 방법 |
| JP2013037675A (ja) * | 2011-06-23 | 2013-02-21 | Omek Interactive Ltd | 近距離動作のトラッキングのシステムおよび方法 |
| US11048333B2 (en) | 2011-06-23 | 2021-06-29 | Intel Corporation | System and method for close-range movement tracking |
| KR101979317B1 (ko) * | 2011-06-23 | 2019-05-16 | 인텔 코포레이션 | 근접 범위 움직임 추적 시스템 및 방법 |
| US9910498B2 (en) | 2011-06-23 | 2018-03-06 | Intel Corporation | System and method for close-range movement tracking |
| CN103310766B (zh) * | 2012-03-16 | 2015-11-18 | 卡西欧计算机株式会社 | 演奏装置及方法 |
| JP2013195581A (ja) * | 2012-03-16 | 2013-09-30 | Casio Comput Co Ltd | 演奏装置、方法及びプログラム |
| CN103310766A (zh) * | 2012-03-16 | 2013-09-18 | 卡西欧计算机株式会社 | 演奏装置及方法 |
| US9477303B2 (en) | 2012-04-09 | 2016-10-25 | Intel Corporation | System and method for combining three-dimensional tracking with a three-dimensional display for a user interface |
| JP2013225016A (ja) * | 2012-04-20 | 2013-10-31 | Tokyo Metropolitan Univ | 演奏システム及びプログラム |
| JP2018507448A (ja) * | 2015-12-31 | 2018-03-15 | 禾視控股(北京)有限公司 | スマートデバイスに基づく体感制御の実現方法、システム及びスマートデバイス |
| JP2024111071A (ja) * | 2018-02-15 | 2024-08-16 | マジック リープ, インコーポレイテッド | 複合現実楽器 |
| CN111679806A (zh) * | 2020-06-10 | 2020-09-18 | 浙江商汤科技开发有限公司 | 播放控制方法、装置、电子设备及存储介质 |
| CN115437598A (zh) * | 2021-06-03 | 2022-12-06 | 腾讯科技(深圳)有限公司 | 虚拟乐器的互动处理方法、装置及电子设备 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP2002041038A (ja) | 仮想楽器演奏装置 | |
| CN106924966B (zh) | 游戏装置以及处理方法 | |
| JP5566397B2 (ja) | 拡張現実アプリケーションのためのモバイル装置 | |
| JP4095227B2 (ja) | ビデオゲーム装置、ビデオゲームにおける背景音出力設定方法及び背景音出力設定プログラムが記録されたコンピュータ読み取り可能な記録媒体 | |
| US9906856B2 (en) | Hand-held information processing apparatus | |
| US20100162177A1 (en) | Interactive entertainment system and method of operation thereof | |
| JP2001299975A (ja) | 体感装置及び体感システム | |
| JP2005052418A (ja) | 遊技方法と遊技機、及び遊技プログラム | |
| WO2009007512A1 (en) | A gesture-controlled music synthesis system | |
| JP2002085831A (ja) | ゲーム装置及び情報記憶媒体 | |
| JP5325265B2 (ja) | ゲーム装置、ゲーム装置の制御方法、ならびに、プログラム | |
| JP3817878B2 (ja) | 制御装置およびカラオケ装置 | |
| WO2000029085A1 (en) | Amusement device and controller | |
| JP2007181569A (ja) | ゲーム装置及びその制御方法 | |
| JP6603734B2 (ja) | ゲームプログラムおよびゲーム装置 | |
| JP5357801B2 (ja) | ゲーム装置、ゲーム制御方法、ならびに、プログラム | |
| JP2008125721A (ja) | ゲーム装置、操作評価方法、および、プログラム | |
| JP6541077B2 (ja) | ゲーム機 | |
| JPH0830807A (ja) | 演奏連動型動画生成装置、音声連動型動画生成装置及びこれを利用したカラオケ装置 | |
| JP2001232061A (ja) | ゲーム装置および情報記憶媒体 | |
| US20130106689A1 (en) | Methods of operating systems having optical input devices | |
| KR100404917B1 (ko) | 영상가요 반주기능 복합형 운동용 게임시스템 | |
| JP2019076757A (ja) | ダンス装置 | |
| JP4278288B2 (ja) | 踊り映像強調合成装置 | |
| JP3938327B2 (ja) | 作曲支援システムおよび作曲支援プログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041124 |
|
| A711 | Notification of change in applicant |
Free format text: JAPANESE INTERMEDIATE CODE: A712 Effective date: 20060609 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060616 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060711 |
|
| A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20061107 |