JP2003208169A - マルチメディアシステム、再生装置及び再生記録装置 - Google Patents
マルチメディアシステム、再生装置及び再生記録装置Info
- Publication number
- JP2003208169A JP2003208169A JP2002007871A JP2002007871A JP2003208169A JP 2003208169 A JP2003208169 A JP 2003208169A JP 2002007871 A JP2002007871 A JP 2002007871A JP 2002007871 A JP2002007871 A JP 2002007871A JP 2003208169 A JP2003208169 A JP 2003208169A
- Authority
- JP
- Japan
- Prior art keywords
- time
- data
- timing
- recording
- music
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000003860 storage Methods 0.000 claims description 71
- 230000001360 synchronised effect Effects 0.000 claims description 34
- 238000005259 measurement Methods 0.000 claims description 27
- 238000006243 chemical reaction Methods 0.000 claims description 7
- 238000007781 pre-processing Methods 0.000 claims 1
- 239000011295 pitch Substances 0.000 description 60
- 230000006870 function Effects 0.000 description 24
- 238000000034 method Methods 0.000 description 24
- 238000012937 correction Methods 0.000 description 19
- 238000010586 diagram Methods 0.000 description 19
- 230000008569 process Effects 0.000 description 18
- 238000012545 processing Methods 0.000 description 14
- 230000005236 sound signal Effects 0.000 description 14
- 238000012546 transfer Methods 0.000 description 11
- 238000001514 detection method Methods 0.000 description 8
- 230000007246 mechanism Effects 0.000 description 6
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- ZYXYTGQFPZEUFX-UHFFFAOYSA-N benzpyrimoxan Chemical compound O1C(OCCC1)C=1C(=NC=NC=1)OCC1=CC=C(C=C1)C(F)(F)F ZYXYTGQFPZEUFX-UHFFFAOYSA-N 0.000 description 4
- 230000010355 oscillation Effects 0.000 description 3
- 238000003825 pressing Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 239000013078 crystal Substances 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 102100032244 Dynein axonemal heavy chain 1 Human genes 0.000 description 1
- 101001016198 Homo sapiens Dynein axonemal heavy chain 1 Proteins 0.000 description 1
- 125000002066 L-histidyl group Chemical group [H]N1C([H])=NC(C([H])([H])[C@](C(=O)[*])([H])N([H])[H])=C1[H] 0.000 description 1
- 238000009825 accumulation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
Landscapes
- Electrophonic Musical Instruments (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)
Abstract
に同期して、複数の楽曲データの再生若しくは記録を行
うことが可能なマルチメディアシステム、再生装置及び
再生記録装置を提供する。 【解決手段】 映像データの再生若しくは映像データの
記録に同期して、CDに格納されたCDオーディオデー
タの再生、FDに対する楽曲データの記録若しくは再生
を行う場合、ビデオカメラ100は、映像データ等を再
生若しくは記録する際に映像用タイムコードをタイムコ
ード変換器200に出力する。タイムコード変換器20
0は、映像用タイムコードを楽音用タイムコード(MT
C)に変換し、コントローラ3へ供給する。コントロー
ラ3は、受け取ったMTCに基づいてCDからHDへ転
送されたCDオーディオデータの再生タイミングを調整
する。一方、FD記録装置8及びFD再生装置8aは、
コントローラ3から供給されるMTCに基づいて楽曲デ
ータの記録及び再生タイミングを調整する。
Description
若しくは映像データの記録に同期して、楽曲データの再
生若しくは記録等を行うマルチメディアシステム、再生
装置及び再生記録装置に関する。
楽器演奏を嗜好するユーザ達の間では、コンサート会場
等の風景に応じた映像データを記録したビデオテープ
(以下、VT)及び該映像に応じた楽曲データ(例え
ば、オーケストラ演奏に応じた楽曲データ等)を記録し
た光ディスク(以下、CD)を、それぞれビデオカメラ
及びCDプレーヤ等によって同期再生する一方、ユーザ
は該映像データの再生によって表示される映像を見なが
ら、あるいは楽曲データの再生によって発音されるオー
ケストラ演奏音等を聴きながら自動ピアノ等を演奏し、
演奏に応じた楽曲データ(例えば、MIDI(Musical
Instruments Digital Interface)規格に準拠したデー
タ)をフロッピー(登録商標)ディスク(以下、FD)
等の記憶媒体に記録し、後にこれら全てのデータを同期
再生することで演奏の妙を楽しみたいとの要望がある。
また、ユーザは、上記CDの再生により奏でられるオー
ケストラ演奏を聴きながら自動ピアノ等を演奏し、演奏
に応じた楽曲データをFD記録すると共に、かかる演奏
風景をビデオカメラによって記録し、後にこれら全ての
データを同期再生することで演奏の妙を楽しみたいとの
要望等もある。しかしながら、かかる要望に応えるマル
チメディアシステムは、未だ提供されていないのが現状
である。
れたものであり、映像データの再生若しくは映像データ
の記録に同期して、複数の楽曲データの再生若しくは記
録を行うことが可能なマルチメディアシステム、再生装
置及び再生記録装置を提供することを目的とする。
と当該映像データの記録開始からの経過時間を表す一連
の映像用タイムコードとを含む記録情報を第1の記憶媒
体から読み出し、当該記録情報中の映像データを再生す
るマスター装置と、前記マスター装置による前記映像デ
ータの再生に同期して記憶手段に格納されている第1の
楽曲データの再生及び第2の記憶媒体に記録されている
第2の楽曲データの再生を行うスレーブ装置とを具備す
るマルチメディアシステムであって、前記スレーブ装置
は、前記記録情報中の映像用タイムコードを取得し、当
該映像用タイムコードを楽音用タイムコードに変換する
タイムコード変換手段と、クロックをカウントすること
により計時を行う計時手段と、前記計時手段による計時
結果に基づいて、前記記憶手段に格納されている楽曲を
表す第1のオーディオデータと当該楽曲の開始からの経
過時間を表す一連のタイムコードとを含む第1の楽曲デ
ータ中のタイムコードによって定まる時刻に前記第1の
オーディオデータを読み出し、音として出力するための
制御を行うオーディオデータ再生制御手段と、前記計時
手段による計時結果に基づいて、前記第2の記憶媒体に
記録されている楽曲の演奏制御を指示する複数のイベン
トと各イベントの実行タイミングを指定するタイミング
データとを含む楽曲データ中のタイミングデータによっ
て定まる時刻に前記イベントを出力するイベント出力手
段と、前記イベント出力手段によって出力された前記イ
ベントを自動演奏手段に供給する自動演奏制御手段と、
前記第1のオーディオデータの読み出しタイミングを、
前記タイムコード変換手段から出力される楽音用タイム
コードに対応した時刻と前記計時手段の計時結果に対応
した時刻との時間差に基づいて調整する第1のタイミン
グ調整手段と、前記イベントが前記イベント出力手段か
ら前記自動演奏制御手段へ供給されるタイミングを、前
記タイムコード変換手段から出力される楽音用タイムコ
ードに対応した時刻と前記計時手段の計時結果に対応し
た時刻との時間差に基づいて調整する第2のタイミング
調整手段とを具備することを特徴とする。
いる第1のオーディオデータの読み出しタイミングが、
前記タイムコード変換手段から出力される楽音用タイム
コードに対応した時刻と前記計時手段の計時結果に対応
した時刻との時間差に基づいて調整される一方、第2の
記憶媒体から読み出されたイベントが自動演奏に用いら
れるタイミングが、前記楽音用タイムコードに対応した
時刻と前記計時手段の計時結果に対応した時刻との時間
差に基づいて調整される。この調整により、マスター装
置による映像データの再生とスレーブ装置による第1の
楽曲データの再生及び第2の記憶媒体に記録されている
第2の楽曲データの再生の時間的なずれが抑えられる。
データの記録開始からの経過時間を表す一連の映像用タ
イムコードとを含む記録情報を第1の記憶媒体から読み
出し、当該記録情報中の映像データを再生するマスター
装置と、前記マスター装置による前記映像データの再生
に同期して記憶手段に格納されている第1の楽曲データ
の再生及び第2の楽曲データの記録を行うスレーブ装置
とを具備するマルチメディアシステムであって、前記ス
レーブ装置は、前記記録情報中の映像用タイムコードを
取得し、当該映像用タイムコードを楽音用タイムコード
に変換するタイムコード変換手段と、クロックをカウン
トすることにより計時を行う計時手段と、前記計時手段
による計時結果に基づいて、前記記憶手段に格納されて
いる楽曲を表す第1のオーディオデータと当該楽曲の開
始からの経過時間を表す一連のタイムコードとを含む第
1の楽曲データ中のタイムコードによって定まる時刻に
前記第1のオーディオデータを読み出し、音として出力
するための制御を行うオーディオデータ再生制御手段
と、前記第1のオーディオデータの読み出しタイミング
を、前記タイムコード変換手段から出力される楽音用タ
イムコードに対応した時刻と前記計時手段の計時結果に
対応した時刻との時間差に基づいて調整するタイミング
調整手段と、楽器の操作状態を検出する検出手段から該
操作状態を取得し、取得した該操作状態に応じて楽曲の
演奏制御を指示するイベントを生成するイベント生成手
段と、前記イベント生成手段によって前記イベントが生
成された場合、前記計時手段による計時結果に対応した
時刻に基づいて当該イベントの実行タイミングを指定す
るタイミングデータを生成するタイミングデータ生成手
段と、前記タイムコード変換手段から出力される楽音用
タイムコードに対応した時刻と、前記計時手段による計
時結果に対応した時刻との時間差に基づいて、前記タイ
ミングデータを調整するタイミングデータ調整手段と、
前記イベント生成手段によって生成された複数のイベン
トと前記タイミングデータ調整手段によって調整された
タイミングデータとを含む前記第2の楽曲データを第2
の記憶媒体に書き込む書き込み手段とを具備することを
特徴とする。
き込まれる演奏制御を指示するイベントの実行タイミン
グを指定するタイミングデータが、タイムコード変換手
段出力される楽音用タイムコードに対応した時刻と計時
手段の計時結果に対応した時刻との時間差に基づいて調
整される。この調整により、マスター装置による映像デ
ータの再生とスレーブ装置による記憶手段に格納されて
いる第1の楽曲データの再生及び第2の楽曲データの記
録の時間的なずれが抑えられる。
らの経過時間を表す一連の映像用タイムコードとを含む
記録情報を第1の記憶媒体から読み出し、当該記録情報
中の映像データを再生するマスター装置と、前記マスタ
ー装置による前記映像データの再生に同期して記憶手段
に格納されている第1の楽曲データ及び第2の楽曲デー
タの記録を行うスレーブ装置とを具備するマルチメディ
アシステムであって、前記スレーブ装置は、前記記録情
報中の映像用タイムコードを取得し、当該映像用タイム
コードを楽音用タイムコードに変換するタイムコード変
換手段と、クロックをカウントすることにより計時を行
う計時手段と、前記計時手段による計時結果に基づい
て、前記記憶手段に格納されている楽曲を表す第1のオ
ーディオデータと当該楽曲の開始からの経過時間を表す
一連のタイムコードとを含む前記第1の楽曲データ中の
タイムコードによって定まる時刻に前記第1のオーディ
オデータを読み出し、音として出力するための制御を行
うオーディオデータ再生制御手段と、前記第1のオーデ
ィオデータの読み出しタイミングを、前記タイムコード
変換手段から出力される楽音用タイムコードに対応した
時刻と前記計時手段の計時結果に対応した時刻との時間
差に基づいて調整するタイミング調整手段と、楽器の操
作状態を検出する検出手段から該操作状態を取得し、取
得した該操作状態に応じて楽曲の演奏制御を指示するイ
ベントを生成するイベント生成手段と、前記タイムコー
ド変換手段から出力される楽音用タイムコードに対応し
た時刻と前記計時手段による計時結果に対応した時刻と
の時間差に基づいて、前記計時結果に対応した時刻を調
整する計時時刻調整手段と、前記イベント生成手段によ
って前記イベントが生成された場合、前記計時時刻調整
手段によって調整された時刻に基づいて当該イベントの
実行タイミングを指定するタイミングデータを生成する
タイミングデータ生成手段と、前記イベント生成手段に
よって生成されたイベントと前記タイミングデータ生成
手段によって生成されたタイミングデータとを含む前記
第2の楽曲データを第2の記憶媒体に書き込む書き込み
手段とを具備することを特徴とする。
き込まれる演奏制御を指示するイベントの実行タイミン
グを指定するタイミングデータが、タイムコード変換手
段出力される楽音用タイムコードに対応した時刻と計時
手段の計時結果に対応した時刻との時間差に基づいて調
整される。この調整により、マスター装置による映像デ
ータの再生とスレーブ装置による記憶手段に格納されて
いる第1の楽曲データの再生及び第2の楽曲データの記
録の時間的なずれが抑えられる。
システム600の構成を示すブロック図である。本実施
形態に係るマルチメディアシステム600は、以下に詳
述するが、同期を保った状態でVTに格納されている映
像データ、オーディオデータ(以下、VTオーディオデ
ータという)の再生と、CDに格納されているオーディ
オデータ(以下、CDオーディオデータという)の再生
と、FDに対するユーザの演奏に基づくMIDIデータ
の記録とが可能なシステムである。
録部110と、再生部120と、操作部130とを具備
している。記録部110は、操作部130を介して入力
される指示に従って演奏風景や種々の演奏音(ユーザと
一緒に演奏しているヴァイオリン演奏音等)等を当該ビ
デオカメラ100に装着したVTに記録する役割を担っ
ている。かかる記録部110は、映像風景を映像データ
としてVTの映像トラックに記録する録画手段111
と、演奏音をVTオーディオデータとしてVTの楽音ト
ラックに記録する録音手段112と、VTに対して映像
データの記録開始からの経過時間を表す一連の映像用タ
イムコード(例えば、RCタイムコード等)を付加する
タイムコード付加手段113とを具備している。
力される指示に従ってVTに既に記録されている映像デ
ータやVTオーディオデータなどの記録情報を再生する
役割を担っている。再生部120は、操作部130を介
して再生指示を受け取ると、VTの映像トラックに記録
されている映像データを読み出し、これをLCD(Liqu
id Crystal Display)、CRT(Cathode Ray Tube)等
のモニタ121に供給し、映像として表示させると共
に、VTの楽音トラックに記録されているVTオーディ
オデータを読み出し、後述するコントローラ3へ供給す
る。さらに、再生部120は、映像データ及びVTオー
ディオデータの読み出しに応じてVTに付加されている
映像用タイムコードを読み出し、これをタイムコード変
換器200へ送出する。なお、本実施形態においては、
この映像用タイムコードを出力するビデオカメラ100
がマスターとして機能し、当該ビデオカメラ100から
タイムコード変換器200を介して楽音用タイムコード
を受け取る種々の装置(FD記録装置8等)がスレーブ
として機能する。
ブル等によってビデオカメラ100に接続され、該ビデ
オカメラ100から順次供給される映像用タイムコード
を楽音用タイムコード(MIDIタイムコード;以下、
適宜、MTCという)に変換し、変換後のMTCをコン
トローラ3へ供給する。
指令に従い、装着されたCDから楽曲データを読み出し
て出力する装置である。CD駆動装置1は、装着された
CDを通常再生する場合(すなわち、上述したようにV
T等と同期して再生しない場合)、CDから読み出した
楽曲データをDSP2に出力する。DSP2は、CD駆
動装置1から読み出された楽曲データ中のCDオーディ
オデータからアナログオーディオ信号を生成し、ミキサ
5に送り、音として出力させる。一方、CD駆動装置1
は、装着されたCDをVT等と同期して再生する場合、
コントローラ3による制御の下、当該再生に先立ってC
Dに格納されている楽曲データをDSP2、コントロー
ラ3を介してハードディスク(以下、HD)に転送す
る。なお、詳細は後述することとし、説明を続ける。
CDが装着され得る。これらのCDのうち本発明と最も
関連性の強いのは楽曲データであるCDオーディオデー
タを主要な記録データとするCDである。図2に示すよ
うに、楽曲データは、ある楽曲のオーケストラ演奏や歌
唱に伴って発生したオーディオ信号の符号化データ列
(CDオーディオデータ)を含んでいる。また、この楽
曲データにはタイムコード(以下、適宜、CDタイムコ
ードという)が離散的に挿入されている。これらのCD
タイムコードは、楽曲の開始からの経過時間を示すコー
ドである。このようなデータとは種類の異なったデータ
が記録されたCDもCD駆動装置1に装着され得る。例
えば、LチャネルデータとしてCDオーディオデータが
記録され、Rチャネルデータとして自動演奏制御のため
のMIDIデータが記録されたCDがCD駆動装置1に
装着され得る。また、逆にRチャネルデータとしてCD
オーディオデータが記録され、Lチャネルデータとして
自動演奏制御のためのMIDIデータが記録されたCD
がCD駆動装置1に装着されることもある。
る場合、CD駆動装置1から読み出された楽曲データ中
のCDオーディオデータからアナログオーディオ信号を
生成し、ミキサ5に送り、音として出力させる一方、V
T等と同期して再生する場合、CD駆動装置1から読み
出された楽曲データをコントローラ3に出力する。ま
た、DSP2は、再生時にCD駆動装置1によって読み
出されたCDを識別するための識別情報(以下、適宜、
C−IDという)を該CD駆動装置1から取得し、これ
をコントローラ3へ送出する。なお、本実施形態では、
DSP2が再生時にCD駆動装置1から選択されたCD
を識別するための識別情報(C−ID)のみを取得する
場合について説明するが、CDを識別するための識別情
報のみならず、かかるCDに記録されている複数の楽曲
データのうち、再生すべき指示のあった楽曲データを識
別するための識別情報を取得するようにしても良い。
て与えられる指示に従って、このシステム全体の制御を
行う。コントローラ3によって行われる各種の制御のう
ち本発明と最も関連が深いのは、ビデオカメラ100に
よる映像データの再生に同期して、CDからCD駆動装
置1、DSP2、コントローラ3を介してHDに転送さ
れたCDオーディオデータを含む楽曲データの再生及び
ユーザによるピアノ演奏音を記録(以下、同期再生記録
という)する場合の再生・記録制御である。このコント
ローラ3は、タイムコード変換器200からMTCを受
け取る度に、そのタイムコード(MTC)をFD記録装
置8に送ると共に、かかるMTCに基づいてHDに格納
されている再生すべきCDオーディオデータの読み出し
を制御する(詳細は後述)。また、コントローラ3は、
MIDIイベント生成回路14からMIDIイベント等
(後述)を受け取ると、このMIDIイベント等をFD
記録装置8に送る。さらに、コントローラ3は、ビデオ
カメラ100から供給されるVTオーディオデータに基
づいてアナログオーディオ信号を生成してミキサ5に送
る。
読み出しを制御するコントローラ3の機能を説明するた
めのブロック図である。コントローラ3は、クロック生
成手段210と、計時手段211と、経過時間調整手段
212と、CDオーディオデータ再生制御手段213と
を備えている。クロック生成手段210は、水晶振動子
とアンプとにより構成された発振回路(いずれも図示
略)を備えている。このクロック生成手段210は、発
振回路から出力される発信信号を適宜分周してタイミン
グ制御用の各種のクロック(本発明に特に関連の深いク
ロックは、テンポクロックCTである)を発生する手段
である。クロック発生手段210は、このように生成し
たテンポクロックCTを制御回路の計時手段211に順
次供給する。
過時間レジスタ211bによって構成され、この加算器
211a及び経過時間レジスタ211bによりテンポク
ロックCTが与えられるたびに「+1」の加算を行う累
算器が構成される。加算器211a、経過時間レジスタ
211bの格納データと固定値「+1」とを加算して出
力する。経過時間レジスタ211bには、同期記録が開
始されたとき初期値「0」が書き込まれ、以後、当該経
過時間レジスタ211bにテンポクロックCTが与えら
れる度に、加算器211aの出力データ、すなわち当該
時点における経過時間レジスタ211bの格納データと
「+1」との加算結果が書き込まれる。この経過時間レ
ジスタ211bの出力データNは、同期再生記録開始以
後の経過時間を表す経過時間データとして利用される。
1によって計時された時刻とタイムコード変換器200
から供給されるMTCに示される時刻との間に生じたず
れに応じて経過時間レジスタ211b内の経過時間デー
タNを調整する処理(経過時間調整処理)を実行する手
段である。ここで、図4は、経過時間調整処理を示すフ
ローチャートである。経過時間調整手段212は、ステ
ップS1において、タイムコード変換器200から
「0」より大きなMTCが与えられると、これを第1の
記録時間データTCDとし、ステップS2に進む。経過
時間調整手段212は、ステップS2に進むと、計時手
段211から当該時点における経過時間データNを取得
し、取得した経過時間データNにテンポクロックCTの
周期τを乗算し、第2の記録時間データTFD(=N*
τ)を求める。この第2の記録時間データTFDは、同
期再生記録を開始してから現在に至るまでの経過時間を
表している。次に、経過時間調整手段212は、第1の
記録時間データTCDと第2の記録時間データTFDの
差分の絶対値|TCD−TFD|が予め設定された所定
の許容範囲Δに収まっているか否かを判断する(ステッ
プS3)。
間データTCDと第2の記録時間データTFDの差分の
絶対値|TCD−TFD|が予め設定された所定の許容
範囲Δに収まっているか否かを判断する(ステップS
3)。経過時間調整手段212は、第1の記録時間デー
タTCDと第2の記録時間データTFDとの差分の絶対
値が所定の許容範囲Δに収まっていると判断すると(ス
テップS3;YES)、経過時間レジスタ211b内の
経過時間データNを調整することなく、経過時間調整処
理を終了する。
記録時間データTCDと第2の記録時間データTFDの
差分の絶対値|TCD−TFD|が所定の許容範囲Δを
越えていると判断すると、第1の記録時間データTCD
が第2の記録時間データTFDよりも大きいかどうかを
判断する(ステップS5)。第1の記録時間データTC
Dが第2の記録時間データTFDよりも大きい場合、計
時手段211によって計時されている時刻は、タイムコ
ード変換器200から供給されるMTCに示される時刻
よりも遅れているといえる。経過時間調整手段212
は、第1の記録時間データTCDが第2の記録時間デー
タTFDよりも大きいと判断すると(ステップS5;Y
ES)、計時手段211によって計時されている時刻と
MTCに示される時刻の差分の絶対値|TCD−TFD
|(>0)をテンポクロックCTの周期τによって除算
し、この除算結果|TCD−TFD|/τを、経過時間
レジスタ211b内の経過時間データNに加算し、加算
後の経過時間データNを経過時間レジスタ211bに書
き込み(ステップS6)、経過時間調整処理を終了す
る。
の記録時間データよりも小さい場合、計時手段211に
よって計時されている時刻は、タイムコード変換器20
0から供給されるMTCに示される時刻よりも進んでい
るといえる。経過時間調整手段212は、第1の記録時
間データTCDが第2の記録時間データTFDよりも小
さいと判断すると(ステップS5;NO)、計時手段2
11によって計時されている時刻とMTCに示される時
刻の差分の絶対値|TCD−TFD|(>0)をテンポ
クロックCTの周期τによって除算し、この除算結果|
TCD−TFD|/τを、経過時間レジスタ211b内
の経過時間データNから減算し、減算後の経過時間デー
タNを経過時間レジスタ211bに書き込み(ステップ
S7)、経過時間調整処理を終了する。
は、HDに格納されているCDオーディオデータを含む
楽曲データの再生を制御する手段であり、HD読み出し
制御手段213aと、オーディオ信号生成手段213b
とを備えている。HD読み出し制御手段213aは、H
Dに格納されている楽曲データ中のCDタイムコードと
経過時間レジスタ211bに格納されている経過時間デ
ータNとを比較し、楽曲データ中のCDオーディオデー
タの読み出しを制御する。詳述すると、HD読み出し制
御手段213aは、経過時間データNが楽曲データ中の
各CDタイムコードに示される時刻に到達する度、対応
するCDオーディオデータの読み出し、これをオーディ
オ信号生成手段213bへ順次供給する。オーディオ信
号生成手段213bは、HD読み出し制御手段213a
から供給されるCDオーディオデータに基づいてアナロ
グオーディオ信号を生成し、ミキサ5に送る。以上の説
明から明らかなように、HDに格納されているCDオー
ディオデータの再生は、コントローラ3によりタイムコ
ード変換器200から出力される楽音用タイムコード
(MTC)に基づいて制御される。
ザによる鍵操作に応じて打弦により機械的なピアノ音を
発生する楽音発生機構を備えるほか、ユーザによる鍵操
作を検出し、検出結果に応じて電子的なピアノ音を発生
する楽音発生機構も備えている。かかる自動ピアノ10
は、ピアノ11と、キーセンサ12と、ペダルセンサ1
3と、MIDIイベント生成回路14と、ピアノ音源1
5と、アンサンブル音源18とを有している。なお、図
1では、ピアノ音源15等を利用して電子的な楽音を発
音する自動ピアノ10(いわゆる、消音型自動ピアノ)
を例示しているが、その他にも後述する第2の実施形態
に係る自動ピアノ20(図10参照)のように、鍵やペ
ダルの操作指示に従って鍵やペダルを駆動する駆動ソレ
ノイド群を利用し、打弦等による機械的な楽音を発音す
る自動ピアノなど、あらゆる自動ピアノに適用すること
ができるのは勿論である。キーセンサ12及びペダルセ
ンサ13は、それぞれピアノ11に配設された複数の鍵
及び複数のペダル(ソステヌートペダル等)の各々に対
応して設けられ、鍵及びペダルを押したときの強さ、深
さなどを検出し、検出した鍵若しくはペダルを特定する
キー番号若しくはペダル番号、ベロシティー情報(押鍵
強度等に対応したデータ)等を含む検出結果をMIDI
イベント生成回路14に供給する。
ローラ3による制御の下、キーセンサ12及びペダルセ
ンサ13から供給される検出結果に基づいてMIDIイ
ベントを生成する。ここで、MIDIイベントは、発音
又は消音すべき旨を示すノートオン・ノートオフ情報
と、発音すべき音の高さを示すノートナンバ情報と、発
音の強弱を示すベロシティ情報等によって構成されてい
る。MIDIイベント生成回路14は、上記検出信号に
基づいて、例えば「ドの音(ノートナンバ)を強さ10
(ベロシティ)で発音(ノートオン)せよ」といった演
奏制御を指示するイベントの一種であるMIDIイベン
トを生成し、かかるMIDIイベントをコントローラ3
及びピアノ音源15に供給する。
回路14から供給されるイベントにより指示されたピア
ノ音のアナログオーディオ信号を電子的に生成する装置
である。このピアノ音源15により生成されたアナログ
オーディオ信号は、ミキサ5へ出力される。アンサンブ
ル音源18は、コントローラ3からイベントを受け取
り、そのイベントに従ってデジタル楽音信号を生成する
装置である。このアンサンブル音源18により生成され
たデジタル楽音信号はコントローラ3によってアナログ
楽音信号に変換され、ミキサ5に送られる。ミキサ5
は、コントローラ3、ピアノ音源15、アンサンブル音
源18から出力される各アナログ信号を混合して出力す
る装置である。このミキサ5の出力信号は、アンプ6に
よって増幅され、スピーカ7から音として出力される。
よる映像データの再生及びコントローラ3等によるCD
オーディオデータ等の再生に併せてユーザが自動ピアノ
10を演奏したときの演奏音をFDに記録する装置であ
り、コントローラ3による制御の下、再生されたVTを
識別するための識別情報(V−ID)及び再生されたC
Dを識別するための識別情報(C−ID)、MIDIイ
ベント等を含むSMF(Standard MIDI File)を作成する
機能を有している。ここで、SMFは、図5に示すよう
に、ヘッダチャンクHTとトラックチャンクTTによっ
て構成されている。ヘッダチャンクHTには、SMFの
基本的な情報(チャンクタイプ等)が格納されるほか、
V−ID、C−IDなどの同期記録の際に再生されたV
T、CDを識別するための識別情報が格納される。トラ
ックチャンクTTには、MIDIデータが格納される。
MIDIデータは、同図に示すように、演奏制御等を指
示するイベントと、先行するイベントと後発のイベント
との発生時間間隔を示すデルタタイムからなる時系列の
楽曲データである。ここで、MIDIデータを構成する
イベントは、MIDIイベント生成回路14において生
成されるMIDIイベントや、コントローラ3において
生成されるSysExイベント、メタイベントによって構成
されている。
装置8は、コントローラ3から同期記録の開始指令を受
け取ると、後述する計時手段を用いて時刻の計時を開始
する。そして、FD記録装置8は、コントローラ3から
イベントを受け取る毎に、計時手段によって計時された
時刻等を参照してデルタタイムを求め、イベントとデル
タタイムからなるMIDIデータを順次作成する。ここ
で、本実施形態に係るFD記録装置8は、ビデオカメラ
100による映像データの再生及びコントローラ3等に
よるCDオーディオデータの再生に同期して自動ピアノ
10の演奏音を記録すべく、計時手段によって計時され
た時刻とコントローラ3から供給されるMTCに示され
る時刻との間に生じたずれに応じて、先行するイベント
と後発のイベントとの発生時間間隔を示すデルタタイム
の値を適宜調整する機能を備えている。以下、かかる種
々の機能を備えたFD記録装置8の構成について、図6
を参照しながら説明する。
回路の構成を説明するためのブロック図である。この図
6に示された制御回路は、上述したSMFを作成し、こ
れをFDに記録する機能と、計時手段220によって計
時された時刻とタイムコード変換器200からコントロ
ーラ3を介して供給されるMTCに示される時刻との間
に生じたずれを補正する機能とを営むものである。
3の計時手段211(図3参照)と同様の構成を有して
おり、加算器221及び経過時間レジスタ222により
テンポクロックCTが与えられるたびに「+1」の加算
を行う累算器が構成される。加算器221は、経過時間
レジスタ222の格納データと固定値「+1」とを加算
して出力する。経過時間レジスタ222には、同期再生
記録が開始されたとき初期値「0」が書き込まれ、以
後、当該経過時間レジスタ222にテンポクロックCT
が与えられる度に、加算器221の出力データ、すなわ
ち当該時点における経過時間レジスタ222の格納デー
タと「+1」との加算結果が書き込まれる。この経過時
間レジスタ222の出力データNは、同期記録開始以後
の経過時間を表す経過時間データとして利用される。
コントローラ3による制御の下、SMFを作成する機能
や作成したSMFをFD記録装置8に装着されたFDに
書き込む機能などを備えている。このSMF作成・書き
込み制御手段250は、MIDIイベント生成回路14
等によって生成された種々のイベント(MIDIイベン
ト等)をコントローラ3から受け取ると、デルタタイム
生成手段240にデルタタイムを生成すべき指令を送
る。
イムを生成すべき指令を受け取ると、デルタタイムを生
成し(詳細は後述)、これをSMF作成・書き込み制御
手段250に返す。SMF作成・書き込み制御手段25
0は、デルタタイム生成手段240から受け取ったデル
タタイムとコントローラ3から受け取ったイベントによ
って構成されたMIDIデータをトラックチャンクTT
(図5参照)に格納する一方、コントローラ3から供給
される再生されたVT識別するための識別情報(V−I
D)及び再生されたCDを識別するための識別情報(C
−ID)をヘッダチャンクHT(図5参照)に格納して
SMFを作成し、これをFD記録装置2に装着されたF
Dに書き込む。
時間レジスタ241と、補正値レジスタ242とを備
え、SMF作成・書き込み制御手段250からの指令に
基づき、デルタタイムを生成する。前回経過時間レジス
タ241には、前回、SMF作成・書き込み制御手段2
50からデルタタイムを生成すべき指令を受け取ったと
きに計時手段220から取得した経過時間データ(便宜
上、Nfと記す)が保持される。この前回経過時間レジ
スタ241には、同期再生記録が開始されたとき、初期
値「0」が書き込まれる。
調整手段230において生成されるデルタタイムの補正
値Rが保持される。詳しくは後述するが、本実施形態に
おいては、この補正値Rを適宜設定することで、計時手
段220によって計時された時刻とタイムコード変換器
200からコントローラ3を介して供給されるMTCに
示される時刻との間に生じたずれを補正する。この補正
値レジスタ242には、同期記録が開始されたとき、初
期値「0」が書き込まれる。
成・書き込み制御手段250からデルタタイムを生成す
べき指示を受け取ると、計時手段220から経過時間レ
ジスタ222に格納されている現時点における経過時間
データNを取得した後、前回経過時間レジスタ241に
保持されている経過時間データNf(前回、SMF作成
・書き込み制御手段250からデルタタイムを生成すべ
き指示を受け取ったときに計時手段220から取得した
経過時間)を読み出し、経過時間データNから経過時間
データNfを減算する。そして、デルタタイム生成手段
240は、補正値レジスタ242に保持されているデル
タタイムの補正値Rを読み出し、この補正値Rと上記減
算結果N−Nfとを加算し、加算結果N−Nf+Rを調
整後のデルタタイムとして、SMF作成・書き込み制御
手段250に返す。そして、デルタタイム生成手段24
0は、前回経過時間レジスタ241に格納されている経
過時間データを、今回新たに計時手段220から取得し
た経過時間データへ更新する。
生と同期して記録を行うべく、計時手段220によって
計時された時刻とコントローラ3から供給されるMTC
に示される時刻との間に生じたずれに応じて、先行する
イベントと後発のイベントとの発生時間間隔を示すデル
タタイムの値を適宜調整する。
って実行されるデルタタイム調整処理を示すフローチャ
ートである。デルタタイム調整手段230は、ステップ
Sa1において、コントローラ3から「0」より大きな
MTCが与えられると、これを第1の記録時間データT
CDとし、ステップSa2に進む。デルタタイム調整手
段230は、ステップSa2に進むと、計時手段220
から当該時点における経過時間データNを取得し、取得
した経過時間データNにテンポクロックCTの周期τを
乗算し、第2の記録時間データTFD(=N*τ)を求
める。この第2の記録時間データTFDは、同期記録を
開始してから現在に至るまでの経過時間を表している。
次に、デルタタイム調整手段230は、第1の記録時間
データTCDと第2の記録時間データTFDの差分の絶
対値|TCD−TFD|が予め設定された所定の許容範
囲Δに収まっているか否かを判断する(ステップSa
3)。デルタタイム調整手段230は、第1の記録時間
データTCDと第2の記録時間データTFDとの差分の
絶対値が所定の許容範囲Δに収まっていると判断すると
(ステップSa3;YES)、デルタタイムの補正値R
として補正値レジスタ242に「0」を書き込み(ステ
ップSa4)、デルタタイム調整処理を終了する。
1の記録時間データTCDと第2の記録時間データTF
Dの差分の絶対値|TCD−TFD|が所定の許容範囲
Δを越えていると判断すると、第1の記録時間データT
CDが第2の記録時間データTFDよりも大きいかどう
かを判断する(ステップSa5)。第1の記録時間デー
タTCDが第2の記録時間データTFDよりも大きい場
合、計時手段220によって計時されている時刻は、コ
ントローラ3から供給されるMTCに示される時刻より
も遅れているといえる。デルタタイム調整手段230
は、第1の記録時間データTCDが第2の記録時間デー
タTFDよりも大きいと判断すると(ステップSa5;
YES)、かかる時刻ずれをデルタタイムを減少させる
ことで補正すべく、第2の記録時間データTFDと第1
の記録時間データTCDの差分を求め、求めた差分TF
D−TCD(<0)をテンポクロックCTの周期τによ
って除算し、この除算結果(TFD−TCD)/τを、
デルタタイムの補正値Rとして図6に示す補正値レジス
タ242に書き込み(ステップSa6)、デルタタイム
調整処理を終了する。なお、この場合、補正値レジスタ
242に書き込まれるデルタタイムの補正値Rは負の値
となる。
の記録時間データTFDよりも小さい場合、計時手段2
20によって計時されている時刻は、コントローラ3か
ら供給されるMTCに示される時刻よりも進んでいると
いえる。デルタタイム調整手段230は、第1の記録時
間データTCDが第2の記録時間データTFDよりも小
さいと判断すると(ステップSa5;NO)、かかる時
刻ずれをデルタタイムを増加させることで補正すべく、
第2の記録時間データTFDと第1の記録時間データT
CDとの差分を求め、求めた差分TFD−TCD(>
0)をテンポクロックCTの周期τによって除算し、こ
の除算結果(TFD−TCD)/τを、デルタタイムの
補正値Rとして図6に示す補正値レジスタ242に書き
込み(ステップSa7)、デルタタイム調整処理を終了
する。なお、この場合、補正値レジスタ242に書き込
まれるデルタタイムの補正値Rは正の値となる。以上が
本実施形態に係るマルチメディアシステム600の詳細
である。以下、図8を参照しながら、マルチメディアシ
ステム600の動作について詳細に説明する。
ステム600の動作を示すタイムチャートである。さら
に詳述すると、図8には、あるVTに格納された映像デ
ータ等の再生に同期して、CDに格納されたCDオーデ
ィオデータの再生及びユーザのピアノ演奏等に応じた楽
曲データの記録を行う場合を例に、VTからタイムコー
ド変換器200を介して出力される楽音用タイムコード
(MTC)、VTから読み出される映像データ、VTか
ら読み出され、コントローラ3から出力されるVTオー
ディオデータ、HDから読み出され、コントローラ3か
ら出力されるCDオーディオデータ、FD記録装置8の
計時手段220による計時時刻、及びMIDIイベント
生成回路14において生成されるMIDIイベントME
−n(n=1、2、〜)が時系列的に示されている。こ
の図8において、p[k](k=0、0.25、0.
5、〜)、va[k](k=0、0.25、0.5、
〜)、ca[k](k=0、0.25、0.5、〜)
は、それぞれ映像データの再生開始時刻を0秒とした場
合に、k秒からk+1秒の区間内の部分の映像データ、
VTオーディオデータ、CDオーディオデータである。
また、また、r[k](k=0、0.25、0.5、
〜)は、映像データの再生開始時刻を0秒とした場合
に、k秒経過した時点における計時手段220による計
時時刻である。ここで、上記楽音用タイムコード(MT
C)は、本来1sec/30程度の間隔でタイムコード
変換器200から出力されるが、以下の説明では、便宜
上、1sec/4(=250msec)の間隔でタイム
コード変換器200からMTCが出力される場合を想定
する。
作部4等を操作してVTの再生と同期して再生すべきC
Dの選択指示及びFDに対する記録を待機すべき旨の指
令(以下、ポーズ指令という)を入力する。コントロー
ラ3は、操作部4等を介して再生すべきCDの選択指示
及びポーズ指令を受け取ると、CDの選択指示に従って
対応するCDに格納されている楽曲データを読み出すべ
き指示をCD駆動装置1へ送る一方、ポーズ指令をFD
記録装置8に転送する。CD駆動装置1は、コントロー
ラ3の指示に従って、対応するCDに格納されている楽
曲データを読み出し、これをDSP2を介してコントロ
ーラ3へ送る。コントローラ3は、DSP2を介して該
楽曲データを受け取ると、これをHDに格納する。
再生すべきVTを装着し、ビデオカメラ110の操作部
130を操作して映像データ等の再生を開始すべき指令
を入力する。かかる指令が入力されると、ビデオカメラ
100の再生部120は、VTの映像トラックに記録さ
れている映像データp[0]を読み出し、これをモニタ
121に供給すると共に、VTの楽音トラックに記録さ
れているVTオーディオデータva[0]を読み出し、
コントローラ3へ供給する。さらに、再生部120は、
映像データ及びVTオーディオデータの読み出しに応じ
てVTに付加されている映像用タイムコード「0」を読
み出し、これをタイムコード変換器200へ送出する。
受け取った映像データp[0]に従って映像の表示を開
始する。一方、コントローラ3は、ビデオカメラ100
からVTオーディオデータva[0]を受け取ると共
に、タイムコード変換器200を介して楽音用タイムコ
ード(MTC)「0」を受け取ると、MTC「0」及び
ポーズ状態を解除すべき指令(以下、ポーズ解除指令と
いう)をFD記録装置8に送ると共に、VTオーディオ
データva[0]からアナログオーディオ信号を生成し
てミキサ5に出力し、音として出力するための制御を開
始し、さらにMTCに基づいてHDに格納されているC
Dオーディオデータを含む楽曲データの読み出し制御を
開始する。
ード変換器200からMTC「0」を受け取ると、直ち
に計時手段211を利用して時刻の計時を開始する。し
かし、コントローラ3の経過時間調整手段212では、
このMTC「0」を利用した経過時間の調整は行われな
い。その後、さらに250msecが経過すると、タイ
ムコード変換器200からMTC「0.25」が出力さ
れる。このとき、経過時間調整手段212では、「0」
より大きなMTCが供給されたことから、上述した経過
時間の調整が行われる。そして、以後は、MTCがタイ
ムコード変換器200から供給される度に、上述した経
過時間の調整が行われる。一方、CDオーディオデータ
再生制御手段213は、この計時手段211の経過時間
レジスタ211bに格納されている経過時間データNと
HDに格納されている楽曲データ中のCDタイムコード
とを参照して、当該楽曲データ中のCDオーディオデー
タの読み出し、これを音として出力するための制御を行
う。
再生指示が発生すると、直ちに当該映像データに対応し
た映像表示と、CDオーディオデータに対応した音の発
生とが同時に開始される。そして、該再生指示が発生し
てから250msecが経過すると、経過時間調整手段
212による経過時間の調整が開始される。従って、映
像データp[k]、VTオーディオデータva[k]及
びCDオーディオデータca[k]のうち、同期を保っ
た状態で再生されるのは、映像若しくは楽曲の先頭から
250msecだけ経過した時点以降のもの、すなわ
ち、p[0.25]以降の映像データ、va[0.2
5]以降のVTオーディオデータ及びca[0.25]
以降のCDオーディオデータである。
からMTC「0」及びポーズ解除指令を受け取ると、直
ちに計時手段220を利用して時刻の計時を開始する。
しかし、FD記録装置8内のデルタタイム調整手段23
0では、このMTC「0」を利用したデルタタイムの調
整は行われない。その後、さらに250msecが経過
すると、タイムコード変換器200からコントローラ3
を介してMTC「0.25」が出力される。このとき、
デルタタイム調整手段230では、「0」より大きなM
TCが供給されたことから、上述したデルタタイムの調
整が行われる。
の再生指示が発生すると、直ちに映像データの再生とF
D記録装置8による演奏音の記録が開始される。そし
て、さらに250msec経過すると、デルタタイム調
整手段230は、計時手段220によって計時された時
刻とコントローラ3から供給されるMTCに示される時
刻との間に生じたずれに応じてデルタタイムの調整を開
始する。そして、以後は、MTCがコントローラ3から
供給される度に、デルタタイム調整手段230は上述し
たデルタタイムの調整を行う。その後、例えば図8に示
すように計時手段220による計時時刻r[1.0]、
r[1.5]、r[2.0]においてMIDIイベント
ME−1、−2、−3が生成され、各MIDIイベント
に対応するデルタタイムが生成されると、これらがSM
F作成・書き込み制御手段250に供給される。
MIDIイベントME−1、−2、−3及び各MIDI
イベントに対応するデルタタイムを受け取ると、各MI
DIイベント及び各デルタタイムを含むMIDIデータ
をSMFのトラックチャンクTTに格納する。その後、
操作部4を介して同期記録を終了すべき指令が入力され
ると、コントローラ3は、再生されたVTを識別するた
めの識別情報(V−ID)及び再生されたCDを識別す
るための識別情報(C−ID)をSMF作成・書き込み
制御手段250ヘ供給する。SMF作成・書き込み制御
手段250は、該識別情報(V−ID)及び識別情報
(C−ID)をヘッダチャンクHT(図5参照)に格納
し、該ヘッダチャンクHT及びトラックチャンクTTに
よって構成されたSMFをFD記録装置8に装着された
FDに書き込み、処理を終了する。以上の説明から明ら
かなように、本実施形態の特徴は、タイムコード変換器
200から出力されるMTCに基づいて同期再生記録の
時間管理を行う点にある。なお、FDに記録されたMI
DIデータと、HDに格納されているCDオーディオデ
ータと、対応するVTに格納されている映像データとを
同期して再生するマルチメディアシステムの構成、動作
等については、第2の実施形態において詳細を明らかに
する。
ルチメディアシステム600によれば、VTの再生に同
期して、CDからHDへ転送されるCDオーディオデー
タの再生及びFDに対するMIDIデータの記録を行う
ことが可能となる。
の再生に同期して、CDからHDへ転送されるCDオー
ディオデータの再生及びFDに対するMIDIデータの
記録を行う場合について説明したが、VTの再生ではな
く、VTに対する映像データ等の記録に同期して、CD
からHDへ転送されるCDオーディオデータの再生及び
FDに対するMIDIデータの記録を行うことも可能で
ある。この場合、ビデオカメラ100の記録部110
は、VTに映像データ、VTオーディオデータ、映像用
タイムコードを含む記録情報を記録すると共に、該映像
用タイムコードを順次タイムコード変換器200に供給
する。タイムコード変換器200は、順次供給される映
像用タイムコードを楽音用タイムコード(MTC)に変
換し、変換後のMTCをコントローラ3へ供給する。な
お、VTに対する映像データ等の記録に同期して、CD
からHDへ転送されるCDオーディオデータを再生し、
FDに楽曲データを記録する場合のMTCの出力タイミ
ング、FDに対する楽曲データの記録開始タイミング等
については、上述した第1の実施形態とほぼ同様に説明
することができるため、省略する。このように、VTに
対する映像データ等の記録に同期して、CDからHDへ
転送されるCDオーディオデータを再生し、FDに楽曲
データを記録することにより、例えばライブ録画/録
音、プロモーション、ショー用の映像付コンテンツを容
易に作成することができる。
ピアノ10を例に説明したが、例えば弦振動を検出する
検出機構を備えた電子バイオリン、操作子(ピストン
等)の操作状態等を検出する検出機構を備えた電子トラ
ンペット等のあらゆる電子楽器に適用可能である。ま
た、電子楽器のみならず、自然楽器(例えば、バイオリ
ン)であっても、かかる自然楽器の操作状態を検出する
機構(例えば、弦振動を検出する検出機構等)を設ける
ことで、上記電子楽器と同様に本発明を適用することが
できる。また、これら電子楽器等のほか、音楽製作ソフ
ト等がインストールされているPC(Personal Compute
r)など、ユーザの操作状態を検出し、検出結果に応じ
てMIDIイベントの生成を指示することができる様々
な電子機器に適用可能である。すなわち、特許請求の範
囲に記載の「楽器」とは、ユーザの操作状態を検出し、
検出結果に応じてMIDIイベントの生成を指示するこ
とができる様々な機器をいう。
オーディオデータ等を格納する手段としてHDを例示し
たが、該HDの代わりにRAM等、種々の記憶手段を用
いても良い。このように、HDの代わりにRAM等を用
いた場合には、例えば当該時点において再生すべき箇所
よりも少し前の箇所に対応したCDオーディオデータを
先読みし、これをRAM等の記憶手段に格納するように
制御すれば、CDオーディオデータを記憶する記憶手段
としてメモリ容量の小さな記憶手段を用いることができ
る。また、上述した第1の実施形態では、MIDIデー
タを記憶する記憶媒体としてFDを例に説明したが、例
えばMO(Magneto Optical disk)、メモリースティッ
ク等あらゆる記憶媒体に適用可能である。ここで、本発
明は、例えばビデオカメラ、CD駆動装置、FD記録装
置、コントローラなど、図1に示す全ての構成要素を含
んだ自動ピアノを製造し販売するという態様でも実施さ
れ得る。このような自動ピアノによれば、ユーザは、V
Tに記録された映像データの再生に同期して、CDから
HDへ転送されるCDオーディオデータの再生及びFD
に対する演奏データ(例えば、ユーザが自動ピアノを演
奏することにより得られる演奏データ等)の記録を行う
ことができる。
るFD記録装置8は、タイムコード変換器200からコ
ントローラ3を介して出力されるMTCに基づいてデル
タタイムを調整することで、計時手段220によって計
時された時刻とコントローラ3から供給されるMTCに
示される時刻との間に生じたずれを抑制した。これに対
し、変形例1では、VTからタイムコード変換器200
を介して出力されるMTCに基づいて経過時間レジスタ
222内の経過時間データNを調整することで、計時手
段220によって計時された時刻とコントローラ3から
供給されるMTCに示される時刻との間に生じたずれを
抑制する。
設けられた制御回路の構成を説明するためのブロック図
であり、図9に示す経過時間調整手段230’は、図3
に示すコントローラ3の経過時間調整手段212に対応
する手段である。なお、図9に示す制御回路は、デルタ
タイム調整手段230の代わりに経過時間調整手段23
0’が設けられている点及び補正値レジスタ242が除
かれている点を除けば、図6に示す制御回路と同様であ
るため、対応する部分には同一符号を付し、説明を省略
する。
20によって計時された時刻とコントローラ3から供給
されるMTCに示される時刻との間に生じたずれに応じ
て経過時間レジスタ222内の経過時間データNを調整
する手段である。経過時間調整手段230’は、コント
ローラ3から「0」より大きなMTCが与えられると、
コントローラ3の経過時間調整手段212と同様、前掲
図4に示す経過時間調整処理を実行する。なお、経過時
間調整処理については、上述した第1の実施形態におい
て詳細を明らかにしたため、説明を割愛する。以上説明
した本変形例においても上記第1の実施形態と同様の効
果が得られる。
ム700の構成を示す図である。本実施形態に係るマル
チメディアシステム700は、VTの再生に同期して、
HDに格納されているCDオーディオデータを再生する
と共にFDに対してMIDIデータを記録する機能を備
えるほか、このようにしてFDに記録されたMIDIデ
ータと、HDに格納されているCDオーディオデータ
と、対応するVTに格納されている映像データ等を同期
して再生する機能を備えている。なお、図10に示すマ
ルチメディアシステム700は、FD再生装置8aが設
けられている点及び自動ピアノ10の代わりに自動ピア
ノ20が設けられている点を除けば、図1に示すマルチ
メディアシステム600とほぼ同様である。従って、対
応する部分には同一符号を付し、上記第1の実施形態と
重複する部分については説明を割愛する。
て説明した機能を具備するほか、FDとHDとVTの同
期再生のための制御を行う機能を備えている。この同期
再生の指示が操作部4等から与えられると、コントロー
ラ3は、MIDIデータの再生指示をFD再生装置8a
に送る。ここで、例えばFDに記憶されたMIDIデー
タを楽曲の先頭から再生すべき場合、コントローラ3
は、楽曲の先頭から500msec経過後のMIDIデ
ータから読み出しを開始すべき指令をFD再生装置8a
に送る。なお、これらの手段については後述する。ま
た、コントローラ3は、ビデオカメラ100からタイム
コード変換器200を介して楽音用タイムコード(MT
C)が供給される都度、そのMTCをFD再生装置8a
に送る。
れ、第1の実施形態において説明した自動ピアノ10と
しての機能を備えるほか、FDからFD再生装置8aに
よって読み出されるMIDIデータに従い、自動演奏を
行う機能を備えている。かかる自動ピアノ20は、自動
ピアノ10の各構成要素(ピアノ11等)を備えるほ
か、ピアノ電子回路16と、駆動ソレノイド群17とを
備えている。ここで、アンサンブル音源18により自動
演奏を行う場合、コントローラ3は、FD再生装置8a
から受け取ったイベントをアンサンブル音源18に送
る。また、ピアノ音源15またはピアノ11により自動
演奏を行う場合、コントローラ3は、FD再生装置8a
から受け取ったイベントをピアノ電子回路16に送る。
いずれの手段により自動演奏を行うかは、操作部4から
の指示に従って決定される。
り生成されたデジタル楽音信号は、コントローラ3によ
ってアナログ楽音信号に変換され、ミキサ5に送られ
る。なお、本実施形態に係るミキサ5は、アナログ信号
を受け取るアナログ入力ポートとデジタル信号を受け取
るデジタル入力ポートの両方を有しており、これらのポ
ートを介して入力される全ての信号をミキシングして出
力することができる。従って、アンサンブル音源18か
ら出力されるデジタル楽音信号をコントローラ3を経由
することなくミキサ5に直接供給してもよい。
らイベントを受け取り、自動演奏のための制御を行う回
路である。このピアノ電子回路16は、2通りの方法の
うちいずれかにより自動演奏の制御を行う。まず、第1
の方法では、コントローラ3から受け取ったイベントを
ピアノ音源15に送る。前述したように、ピアノ音源1
5は、イベントにより指示されたピアノ音のアナログオ
ーディオ信号を電子的に生成する装置である。第2の方
法では、ピアノ電子回路16は、コントローラ3から受
け取ったイベントに従って駆動ソレノイド群17に対す
る通電制御を行う。この駆動ソレノイド群17は、ピア
ノ11に設けられた複数の鍵に各々対応した複数のソレ
ノイドと、複数のペダルに各々対応した複数のソレノイ
ドとからなる。ピアノ電子回路16は、ある鍵の押下を
指示するイベントをコントローラ3から受け取った場
合、その鍵に対応したソレノイドに駆動電流を流し、鍵
を押下させるのに必要な磁力をソレノイドにより発生す
る。離鍵を指示するイベントを受け取った場合も同様で
ある。第1の方法、第2の方法のいずれによりイベント
を取り扱うかの指示は、操作部4からコントローラ3に
与えられ、コントローラ3はこの指示をピアノ電子回路
16に送る。ピアノ電子回路16は、受け取った指示に
従う。
れてから自動演奏音が発生されるまでには遅延があり、
その遅延時間はいずれの手段により自動演奏を行うかに
よって異なる。自動ピアノにより自動演奏を行う場合、
コントローラ3がイベントを出力してから自動演奏音が
発生するまでに、例えば500msecの時間を要す
る。そこで、本実施形態では、同期再生の指示が操作部
4から与えられ、かつ、自動演奏のための手段として自
動ピアノ20が選択されている場合には、次のようにし
てVT、HDおよびFDの同期再生を行う。まず、FD
の再生を待機すべき旨の指令(すなわち、ポーズ指令)
がコントローラ3からFD再生装置8aに送られる。そ
して、映像データ等を再生すべき指令(すなわち、同期
再生を開始すべき指令)がビデオカメラ100に入力さ
れると、ビデオカメラ100からタイムコード変換器2
00を介してコントローラ3へMTCの供給が開始され
る。コントローラ3は、前述したように、この時点から
500msec経過後のMIDIデータから読み出しを
開始すべき指令をFD再生装置8aに送る一方、HDに
格納されているCDオーディオデータの読み出し、再生
を開始する。このように、FDに格納されている楽曲デ
ータについては、楽曲の先頭から読み出しを開始するの
ではなく、500msec経過後のMIDIデータから
読み出しを開始することにより、以後、VT内の映像デ
ータ等の再生と、HD内のCDオーディオデータの再生
と、FD内のMIDIデータの再生との同期が保たれ
る。
の指令に従い、FDからMIDIデータを順次読み出し
てコントローラ3に供給する。このMIDIデータは、
例えばFD記録装置8によりVT及びHDの再生に同期
して記録されたMIDIデータである(図8参照)。F
D再生装置8aは、あるイベントをFDから読み出して
コントローラ3に送った後は、そのイベントの後のデル
タタイムによって示される時間だけ待機し、後続のイベ
ントの読み出しを行う、という処理を繰り返す。これが
FD再生装置8aの基本的な動作である。FD再生装置
8aは、以上説明したMIDIデータをFDから読み出
す機能(すなわち、シーケンサとしての機能)の他に、
この読み出し動作をビデオカメラ100による映像デー
タ等の再生及びHDに格納されているCDオーディオデ
ータの再生に同期させるタイミング調整機能を有してい
る。以下、かかる種々の機能を備えたFD再生装置8a
の構成について、図11を参照しながら説明する。
制御回路の構成を示すブロック図である。この図11に
示された制御回路は、シーケンサとしての機能とタイミ
ング調整機能とを営むものである。イベントバッファ3
02は、FDから読み出されたイベントを格納するバッ
ファである。ここで、1つのデルタタイムの後に2以上
の連続したイベントが続くことがあり得る。そのような
場合、連続した全てのイベントがFDから読み出され、
イベントバッファ302に格納される。デルタタイムレ
ジスタ303は、FDから読み出されたデルタタイムを
格納するレジスタである。既に説明したように、このデ
ルタタイムは、相前後した2つのイベント間の経過時間
を指定するものである。
算器を構成している。この累算器は、FDから順次読み
出されてレジスタ303に格納される一連のデルタタイ
ムの累算値を求めるものである。さらに詳述すると、現
時点におけるデルタタイムの累算値は、レジスタ312
によって保持されるようになっている。また、加算器3
11は、このレジスタ312に格納された累算値とレジ
スタ303に格納されているデルタタイムとを加算し
て、加算結果Mを出力する。このMは、イベントバッフ
ァ302に格納された1または複数のイベントをコント
ローラ3に転送する目標時刻に相当する数値である。従
って、以下ではこのMを目標時刻データと呼ぶ。この目
標時刻データMにより指定された時刻になると、イベン
ト転送制御手段330からレジスタ303および312
に書き込みクロックが供給される。この結果、加算器3
11の出力データ、すなわち、それまでレジスタ312
に格納されていた累算値とレジスタ303に格納されて
いたデルタタイムとを加えた値が新たな累算値としてレ
ジスタ312に格納される。また、このときFDから読
み出された新たなデルタタイムがレジスタ303に格納
されるのである。なお、イベント転送制御手段330に
ついては後述する。
ントローラ3のクロック生成手段210からテンポクロ
ックCT’が与えられる度に「+1」の累算を行う累算
器を構成している。加算器321は、レジスタ322の
格納データと固定値「+1」とを加算して出力する。レ
ジスタ322は、FDからのMIDIデータの再生が開
始されるとき、初期値が書き込まれる。この初期値は、
テンポクロックの周期をτ’とした場合、500mse
c/τ’となる。以後、レジスタ322には、テンポク
ロックCT’が与えられる度に、加算器321の出力デ
ータ、すなわち、その時点におけるレジスタ322の格
納データと「+1」との加算結果が書き込まれる。この
レジスタ322の出力データN’は、MIDIデータの
再生開始以後の経過時間を表す経過時間データとして利
用される。
データN’が目標時刻データMに到達したとき、イベン
トバッファ202内の1または複数のイベントを読み出
して取り込むべき旨の転送指示をコントローラ3に送
る。また、このときイベント転送制御手段330は、上
述したように書き込みクロックをレジスタ303および
312に供給する。前述したように、本実施形態におい
ては、楽曲データの先頭から500msec経過後のM
IDIデータから読み出しが開始される。従って、イベ
ント転送制御手段330は、FDからのMIDIデータ
の生成が開始されるとき、目標時刻データMが500m
sec/τ’に到達するまでイベント及びデルタタイム
の読み出しと、デルタタイムの累算とを繰り返し実行す
る。
ータのイベントのコントローラ3への出力動作をVTか
らの映像データ等の再生に同期化させるためのタイミン
グ調整を行う回路である。さらに詳述すると、タイミン
グ調整手段341は、コントローラ3から「0」より大
きなMTCが与えられると、当該MTCを第1の再生時
間データTCD’とし、さらにその時点における経過時
間データN’にテンポクロックCT’の周期τ’を乗算
し、その乗算結果から500msecを差し引き、第2
の再生時間データTFD’=N*τ’−500msec
を求める。この第2の再生時間データTFD’は、現在
の演奏箇所が楽曲の先頭から何秒後の箇所であるかを表
している。
れらの再生時間データTCD’及びTFD’を比較し、
比較結果に基づいて次の処理を行う。 a.TCD’とTFD’との差が所定の許容範囲内に収
まっている場合 この場合、タイミング調整手段341は、何もしない。
が許容範囲を越えている場合 この場合、FDから読み出されたイベントによって現在
演奏されている楽曲中の箇所は、VTの再生によって映
像が表示されている箇所よりも時間差TCD’−TF
D’だけ遅れた箇所であるといえる。そこで、タイミン
グ調整手段341は、時間差TCD’−TFD’をテン
ポクロックCT’の周期τ’によって除算し、この除算
結果(TCD’−TFD’)/τ’をレジスタ303内
のデルタタイムから減算し、減算後のデルタタイムをレ
ジスタ303に書き込む。これにより以後暫くの間、F
Dからのイベント読み出しによる自動演奏とVTからの
映像データ等の読み出しによる映像表示とHDからのC
Dオーディオデータの読み出しによる演奏が同期状態を
保つこととなる。
が許容範囲を越えている場合 この場合、FDから読み出されたイベントによって現在
演奏されている楽曲中の箇所は、VTの再生によって映
像が表示されている箇所よりも時間差TFD’−TC
D’だけ進んだ箇所であるといえる。そこで、タイミン
グ調整手段341は、時間差TFD’−TCD’をテン
ポクロックCT’の周期τ’によって除算し、この除算
結果(TFD’−TCD’)/τ’をレジスタ303内
のデルタタイムに加算し、加算後のデルタタイムをレジ
スタ303に書き込む。以上が本実施形態に係るマルチ
メディアシステム700の詳細である。以下、図12を
参照しながら、マルチメディアシステム700の動作に
ついて詳細に説明する。
システム700の動作を示すタイムチャートである。さ
らに詳述すると、図12には、ある映像及び楽曲の先頭
からVT、HD、FDの同期再生を行う場合を例に、V
Tからタイムコード変換器200を介して出力される楽
音用タイムコード(MTC)、VTから読み出される映
像データ、VTから読み出され、コントローラ3から出
力されるVTオーディオデータ、HDから読み出され、
コントローラ3から出力されるCDオーディオデータ、
FDから読み出されるMIDIデータおよびピアノ11
から発生される音が時系列的に示されている。この図1
2において、p[k](k=0、0.25、0.5、
〜)、va[k](k=0、0.25、0.5、〜)、
ca[k](k=0、0.25、0.5、〜)は、それ
ぞれ映像データの再生開始時刻を0秒とした場合に、k
秒からk+1秒の区間内の部分の映像データ、VTオー
ディオデータ、CDオーディオデータである。また、m
[k](k=0、0.25、0.5、〜)は、楽曲の開
始時刻を0秒とした場合に、k秒からk+1秒の区間内
の部分の演奏制御に用いられるMIDIデータである。
ここで、上記楽音用タイムコード(MTC)は、本来1
sec/30程度の間隔でタイムコード変換器200か
ら出力されるが、以下の説明では、便宜上、1sec/
4(=250msec)の間隔でタイムコード変換器2
00からMTCが出力される場合を想定する。
利用して自動演奏を行う場合、まずポーズ指令がコント
ローラ3からFD再生装置8aに送られる。その後、ユ
ーザがビデオカメラ100の操作部130等を操作して
同期再生を開始すべき指令を入力すると、ビデオカメラ
100からタイムコード変換器200を介してMTCの
供給が開始される。コントローラ3は、タイムコード変
換器200を介してMTC「0」を受け取ると、後述す
るようにHDに格納されているCDオーディオデータを
読み出す制御を開始すると共に、この時点から500m
sec経過後のMIDIデータから読み出しを開始すべ
き指令をFD再生装置8aに送る。FD再生装置8a
は、コントローラ3から該指令を受け取ると、直ちにF
Dから楽曲の先頭から500msec経過後のMIDI
データMIDIデータを読み出す動作を開始する。この
結果、MIDIデータm[0.5]、m[0.75]、
〜がFDから順次読み出され、MIDIデータ中のイベ
ントがコントローラ3に転送される。この動作において
は、MIDIデータ中のデルタタイムに基づいて、MI
DIデータ中のイベントの転送タイミングの制御が行わ
れる。なお、このデルタタイムに基づく転送タイミング
の制御は既に説明した通りである。
0から受け取ったMTC「0」は、FD再生装置8aに
送られる。しかし、FD再生装置8a内のタイミング調
整手段341では、このタイムコード「0」を利用した
デルタタイムの調整は行われない。その後、さらに25
0msecが経過すると、コントローラ3からMTC
「0.25」が出力される。このときタイミング調整手
段341では、「0」より大きなタイムコードが供給さ
れたことから、上述したデルタタイムの調整が行われ
る。そして、以後は、MTCがコントローラ3から供給
される度に、上述したデルタタイムの調整が行われる。
換器200からMTC「0」を受け取ると、直ちに計時
手段211を利用して時刻の計時を開始する。しかし、
コントローラ3の経過時間調整手段212では、このM
TC「0」を利用した経過時間の調整は行われない。そ
の後、さらに250msecが経過すると、タイムコー
ド変換器200からMTC「0.25」が出力される。
このとき、経過時間調整手段212では、「0」より大
きなMTCが供給されたことから、上述した経過時間の
調整が行われる。そして、以後は、MTCがタイムコー
ド変換器200から供給される度に、上述した経過時間
の調整が行われる。一方、CDオーディオデータ再生制
御手段213は、この計時手段211の経過時間レジス
タ211bに格納されている経過時間データNとHDに
格納されている楽曲データ中のCDタイムコードとを参
照して、当該楽曲データ中のCDオーディオデータの読
み出し、これを音として出力するための制御を行う。
直ちに映像データに対応したオーケストラ等の映像、V
Tオーディオデータに対応した演奏、CDオーディオデ
ータに対応した演奏等が開始される。そして、さらに5
00msecが経過すると、MIDIデータに対応した
演奏が開始される。そして、さらに250msecが経
過すると、タイミング調整手段341によりタイミング
調整が行われたMIDIデータに対応した演奏が開始さ
れる。従って、映像データp[k]、VTオーディオデ
ータva[k]、CDオーディオデータca[k]およ
びMIDIデータm[k]のうち同期を保った状態で再
生されるのは、映像及び楽曲の先頭から750msec
だけ経過した時点以降のもの、すなわち、p[0.7
5]以降の映像データと、va[0.75]以降のVT
オーディオデータと、ca[0.75]以降のCDオー
ディオデータと、m[0.75]以降のMIDIデータ
である。この結果、図8を参照して説明した計時手段2
20による計時時刻r[1.0]、r[1.5]、r
[2.0]において生成されたMIDIイベントを含む
MIDIデータm[1.0]、m[1.5]、m[2.
0]と、対応するCDオーディオデータca[1.
0]、ca[1.5]、ca[2.0]と、対応するV
Tオーディオデータva[1.0]、va[1.5]、
va[2.0]及び映像データp[1.0]、p[1.
5]、p[2.0]は同期を保った状態で再生される。
態に係るマルチメディアシステム700によれば、VT
及びCDの再生に同期してMIDIデータを記録するほ
か、記録されたMIDIデータと、対応するCDオーデ
ィオデータ、VTオーディオデータ、映像データ等とを
同期して再生することができる。
コントローラ3がビデオカメラ100からVTの識別情
報(V−ID)を受け取ると共に、FD再生装置8aか
らFDに記録されているSMFのヘッダチャンクHTに
格納されているVTの識別情報(V−ID)を受け取
り、両者の識別情報が一致しない場合には、FDに記録
されているMIDIデータの再生(すなわち、自動演
奏)を停止するようにしても良い。かかる構成を採用す
ることで、映像に一致しない自動演奏が行われ、ユーザ
に不快感を与えてしまうといった問題を未然に防止する
ことができる。なお、以上の説明では、VTの識別情報
(V−ID)を例に説明したが、CDの識別情報(C−
ID)を利用してMIDIデータの再生を停止するか否
かを判断しても良く、またこれら両者の識別情報を利用
して該判断を行うようにしても良い。
の再生に同期して、HDに格納されているCDオーディ
オデータの再生及びFDに格納されているMIDIデー
タの再生を行う場合について説明したが、VTの再生で
はなく、VTに対する映像データ等の記録に同期して、
HDに格納されているCDオーディオデータの再生及び
FDに格納されているMIDIデータの再生を行うこと
も可能である。この場合、ビデオカメラ100の記録部
110は、VTに映像データ、VTオーディオデータ、
映像用タイムコードを含む記録情報を記録すると共に、
該映像用タイムコードを順次タイムコード変換器200
に供給する。タイムコード変換器200は、順次供給さ
れる映像用タイムコードを楽音用タイムコード(MT
C)に変換し、変換後のMTCをコントローラ3へ供給
する。なお、VTに対する映像データ等の記録に同期し
て、HDに格納されているCDオーディオデータを再生
し、FDに格納されているMIDIデータを再生する場
合のMTCの出力タイミング、MIDIデータの読み出
しタイミング等については、上述した第2の実施形態と
ほぼ同様に説明することができるため、省略する。この
ように、VTに対する映像データ、VTオーディオデー
タ等の記録に同期して、HDに格納されているCDオー
ディオデータを再生し、FDに格納されているMIDI
データを再生するようにしても良い。
再生すべきCDオーディオデータが予めHDに格納され
ている場合を例に説明したが、CD駆動装置1に再生す
べきCDオーディオデータを記録したCDが装着されて
いれば、当該CDオーディオデータが予めHDに格納さ
れていなくとも、同期再生させることが可能である。具
体的には、ビデオカメラ100の操作部130から再生
すべきVTの選択指示が入力されると、コントローラ3
は、VTを識別するための識別情報(V−ID)をFD
再生装置8aへ送る。FD再生装置8aは、かかる識別
情報(V−ID)を検索キーとして、FDに書き込まれ
ているSMFのヘッダチャンクHTを参照する。
D)と一致する識別情報(V−ID)を発見すると、当
該識別情報と対応付けて記録されているCDを識別する
ための識別情報(C−ID)を読み出し、これをコント
ローラ3へ返す。コントローラ3は、FD再生装置8a
から該識別情報(C−ID)を受け取ると、この識別情
報(C−ID)と共に、対応するCDに格納されている
CDオーディオデータを含む楽曲データを読み出すべき
指示をCD駆動装置1へ送る。CD駆動装置1は、コン
トローラ3の指示に従って、対応するCDに格納されて
いる楽曲データを読み出し、これをDSP2を介してコ
ントローラ3へ送る。コントローラ3は、DSP2を介
して該楽曲データを受け取ると、これをHDに格納す
る。なお、該楽曲データをHDに格納した後の動作につ
いては、上述した第2の実施形態と同様に説明すること
ができるため、割愛する。以上説明した処理を実行する
ことで、再生すべきCDオーディオデータが予めHDに
格納されていなくとも、VT、CD、FDを同期再生さ
せることが可能となる。
FD記録装置、FD再生装置、コントローラなど、図1
0に示す全ての構成要素を含んだ自動ピアノを製造し販
売するという態様でも実施され得る。このような自動ピ
アノによれば、ユーザは、VTに記録された映像デー
タ、VTオーディオデータ等の再生に同期して、HDに
格納されるCDオーディオデータを再生すると共にMI
DIデータ(ユーザが自動ピアノを演奏することにより
得られるMIDIデータ等)をFDに記録することがで
き、さらに、FDに記録された該MIDIデータに基づ
く自動演奏に同期させて映像データ、VTオーディオデ
ータ、CDオーディオデータを再生することができる。
ルチメディアシステム700を利用すれば、VTに記録
された映像データ、VTオーディオデータの再生に同期
して、HDに格納されるCDオーディオデータを再生
し、MIDIデータ(ユーザが自動ピアノを演奏するこ
とにより得られる楽曲等)をFDに記録することができ
る。また、かかるマルチメディアシステム700を利用
すれば、該FDに記録されたMIDIデータに基づく自
動演奏に同期して、VTに記録された映像データ、VT
オーディオデータを再生し、HDに格納されたCDオー
ディオデータを再生することができる。
Dオーディオデータの再生に同期して、FDに記録され
たMIDIデータを再生(詳細には、自動ピアノ20に
よる自動演奏)する場合、例えば該HDに格納されたC
Dオーディオデータの基準ピッチ(具体的には、基準と
なる音「A(ラ)」等の周波数)が443Hzであり、
自動演奏の際に用いられるピアノ11(生ピアノ)の基
準ピッチが448Hzであったとすると、HDに格納さ
れたCDオーディオデータの再生に同期してピアノ11
による自動演奏を行ったとしても、かかる基準ピッチの
ずれにより、うなりが発生し、ユーザに不快感を与えて
しまうおそれがある。
システムは、ピアノ11の基準ピッチ(上記の例では、
448Hz)にCDオーディオデータの基準ピッチを合
わせる制御を自動で行い、かかる制御により、HDに格
納されているCDオーディオデータの再生に同期してピ
アノ11による自動演奏を行ったとしても、うなりのな
い心地良い響きをユーザに与えることを可能とする。
は、上記第2の実施形態において説明した機能を具備す
るほか、以下に示すCDオーディオデータ記録処理及び
後述するピッチ制御・再生処理を実行する機能を備えて
いる。
を示すフローチャートである。コントローラ3は、CD
駆動装置1に再生すべきCDオーディオデータを含む楽
曲データを記録したCDが装着され、FD記録装置8に
記録用のFDが装着されたことを検出すると(ステップ
Sb1)、CD駆動装置1に対し、装着されたCDに記
録されている楽曲データを転送すべき指令を送る。CD
駆動装置1は、かかる指令に従ってCDに記録されてい
る楽曲データを読み出し、これをDSP2を介してコン
トローラ3へ返す。コントローラ3は、CD駆動装置1
からDSP2を介してCDオーディオデータを含む楽曲
データを受け取ると、これをHDに転送する(ステップ
Sb2)。
ローラ3は、操作部4等から該CDオーディオデータの
基準ピッチを求める指示が送られてきたかどうかを判断
する。ここで、操作部4等からCDオーディオデータの
基準ピッチを求める指示が送られてこない場合(ステッ
プSb3;NO)、コントローラ3は、以下に示すステ
ップSb4〜Sb8をスキップし、ステップSb9に進
む。一方、操作部4等からCDオーディオデータの基準
ピッチを求める指示が送られてきたことを検出すると
(ステップSb3;YES)、コントローラ3は、ステ
ップSb4に進み、CDオーディオデータを高速フーリ
エ変換(FFT;Fast Fourier Transform)し、各周波
数毎の音圧(SPL;Sound Pressure Level)を求め
る。
から得られる信号波形を例示した図であり、横軸には周
波数を示し、縦軸には音圧を示している。ここで、図1
4に示す信号成分のうち、本実施形態において解析が必
要な周波数成分は、基準ピッチとなり得る周波数成分
(例えば、440Hz付近の周波数成分)である。従っ
て、予めバンドパスフィルタ等を利用して、440Hz
付近の周波数成分(例えば、図14に示す(440±
α)Hz)のみを抽出するようにしても良い。
40Hz付近の各周波数の音圧をスキャンしていき(ス
テップSb5)、予め設定された所定値(図14に示
す、閾値S)以上の音圧が検出されるか否かを判断する
(ステップSb6)。コントローラ3は、所定値以上の
音圧が検出されない場合(ステップSb6;NO)、再
びステップSb4に戻って、CDオーディオデータの周
波数解析をやり直す。一方、所定値以上の音圧が検出さ
れると(ステップSb6;YES)、コントローラ3
は、ステップSb7に進み、所定値以上の音圧が検出さ
れた周波数(図14では、443Hz)をCDオーディ
オデータの基準ピッチとして認識し、この基準ピッチを
表すイベントを生成してFD記録装置8に送り、さらに
該CDオーディオデータを識別するための識別情報(C
−ID)をFD記録装置8に通知する(ステップSb
8)。
知を受け取ると、図15に示すようにFDの所定の記憶
エリアに該CDオーディオデータを識別するための識別
情報(C−ID)及び該基準ピッチに対応するイベント
を格納する。その後、ユーザが操作部4等を操作してC
Dの再生と同期してMIDIデータ(例えば、ユーザが
自動ピアノを演奏することにより得られるMIDIデー
タ等)をFDに記録すべき指令がコントローラ3に通知
されると(ステップSb9)、コントローラ3は、上述
した第1の実施形態において説明した同期記録のための
制御を行い(ステップSb10)、処理を終了する。一
方、ステップSb9において、CDの再生と同期してM
IDIデータをFDに記録すべき指令がコントローラ3
に通知されない場合、コントローラ3は同期記録のため
の制御を行うことなく処理を終了する。
する詳細である。なお、本実施形態では、上記のように
CDオーディオデータの基準ピッチを自動検出する場合
について説明したが、CDオーディオデータの基準ピッ
チを自動検出するのではなく、例えばユーザが自身の音
感を利用して該CDオーディオデータの基準ピッチを判
断し、操作部4等を操作(すなわち、マニュアル操作)
することにより、判断して決定した基準ピッチをFDに
記録するようにしても良い。
ーディオデータがHDに格納され、MIDIデータがF
Dに記録された後、HDに記録されたCDオーディオデ
ータの再生に同期してFDに記録された演奏データに基
づくピアノ自動演奏を行う場合、コントローラ3は、以
下に示すピッチ制御・再生処理を実行する。
ローチャートである。操作部4等からHDに記録された
CDオーディオデータとFDに記録されたMIDIデー
タとを同期して再生すべき指示がコントローラ3に送ら
れると、コントローラ3は、FD再生装置8aに対し、
FDからCDオーディオデータの基準ピッチを読み出す
べき指示を送る(ステップSc1)。FD再生装置8a
は、かかる指示に従ってFDから基準ピッチ(例えば、
443Hz)に対応するイベントを読み出し、これをコ
ントローラ3へ返す。コントローラ3は、該イベントを
受け取ると、ピアノ11の基準ピッチを検出すべく、例
えば図示せぬ表示部にピアノの基準ピッチを検出するた
めに必要な音(「A(ラ)」)を鳴らすべき文字メッセ
ージ(例えば、「ユーザZさん、「ラ」の音を鳴らして
ください!」)等を表示させる。その後、ユーザがピア
ノ11の特定の鍵を押下し、ピアノ11から基準ピッチ
を検出するために必要な「ラ」の音が発音されると、コ
ントローラ3は、図示せぬマイクロフォン等を介してピ
アノ11から発音された音を楽音データとして受け取
り、ピアノ11の基準ピッチ(例えば、448Hz)を
検出する(ステップSc2)。
方法として、上記のように表示部(図示略)にピアノの
基準ピッチを検出するために必要な音(「A(ラ)」)
を鳴らすべき文字メッセージ等を表示させるほか、例え
ばピアノの基準ピッチを検出するために必要な音を鳴ら
すべき旨の指令をピアノ電子回路16に送り、駆動ソレ
ノイド群17を利用することにより、かかる音を自動で
(すなわち、ユーザにピアノ11の特定の鍵を押下させ
ることなく)鳴らすように制御しても良い。また、ピア
ノ11の基準ピッチについては、前述したように、例え
ば該楽音データを高速フーリエ変換し、各周波数毎の音
圧を求め、予め設定された所定値以上の音圧が検出され
た周波数を検知することで、ピアノ11の基準ピッチを
検出することが可能である。
ピアノ11の基準ピッチを検出すると、検出したピアノ
11の基準ピッチとCDオーディオデータの基準ピッチ
とを比較し、基準ピッチのずれ(音程差)を求める(ス
テップSc3)。ここでは、検出したピアノ11の基準
ピッチが448Hzであり、CDオーディオデータの基
準ピッチが443Hzであるため、コントローラ3は、
両基準ピッチのずれからCDオーディオデータの基準ピ
ッチを5Hz(=448Hz−443Hz)上げるべき
であると判断し、かかる判断結果に基づきHDに記憶さ
れたCDオーディオデータの読み出し速度決定する(ス
テップSc4)。ここで、図17は、各読み出し速度で
CDオーディオデータを読み出したときに得られる信号
波形を例示した図である。より詳細には、図17のAに
示す信号波形は、所定の読み出し速度Vbで読み出した
ときに得られる信号波形であり、図17のB及びCに示
す信号波形は、それぞれ該読み出し速度Vbよりも速い
読み出し速度Vf(>Vb)及び遅い読み出し速度Vs
(<Vb)で読み出したときに得られる信号波形であ
る。
されたときに基準ピッチが443Hzの音が発音される
と仮定すると、図17のBに示すように、読み出し速度
VfでCDオーディオデータが読み出された場合には、
基準ピッチが443Hzよりも高い音(例えば、基準ピ
ッチが448Hzの音)が発音され、一方図17のCに
示すように、読み出し速度VsでCDオーディオデータ
が読み出された場合には、基準ピッチが443Hzより
も低い音(例えば、基準ピッチが440Hzの音)が発
音される。従って、コントローラ3は、両基準ピッチの
ずれからCDオーディオデータの基準ピッチを5Hz
(=448Hz−443Hz)上げるべきであると判断
すると、かかる判断結果に基づきHDに記憶されたCD
オーディオデータの読み出し速度を、443Hzの音を
発音させる場合の読み出し速度よりも速い速度に決定す
る。なお、CDオーディオデータの基準ピッチを下げる
場合については、上記と同様に説明することができるた
め、説明を割愛する。
出し速度でCDオーディオデータをHDから読み出し、
読み出したCDオーディオデータからアナログオーディ
オ信号を生成してミキサ5に順次供給する一方(ステッ
プSc5)、該CDオーディオデータの読み出し速度に
基づいてFDからFD再生装置8aを介してMIDIデ
ータを順次読み出し(ステップSc6)、読み出したM
IDIデータを順次ピアノ電子回路16へ供給する(ス
テップSc7)。
ら順次供給されるMIDIデータに含まれるイベントに
応じて駆動ソレノイド群17に対する通電制御を行い、
ピアノ11の鍵、ペダル等を駆動する。これにより、M
IDIデータに基づくピアノ11の自動演奏が行われ
る。コントローラ3は、ステップSc8に進むと、1曲
分のCDオーディオデータの再生及びMIDIデータの
再生が終了したか否かを判断する。1曲分のCDオーデ
ィオデータの再生及びMIDIデータの再生が終了して
いないと判断すると(ステップSc8;NO)、コント
ローラ3は、ステップSc5に戻り、ステップSc5→
ステップSc6→ステップSc7といった一連の処理を
繰り返し実行する。そして、コントローラ3は、1曲分
のCDオーディオデータの再生及びMIDIデータの再
生が終了したと判断すると(ステップSc8;YE
S)、以上説明したピッチ制御・再生処理を終了する。
ルチメディアシステムによれば、HDに記録されたCD
オーディオデータの再生に同期してFDに記録されたM
IDIデータに基づくピアノ自動演奏を行う場合、CD
オーディオデータの基準ピッチ(例えば、443Hz)
がピアノ11の基準ピッチ(例えば、448Hz)と一
致するように、CDオーディオデータの基準ピッチが制
御される。これにより、該CDオーディオデータの再生
に同期してピアノ11による自動演奏を行ったとして
も、うなりのない心地良い響きをユーザに与えることが
可能となる。
は、HDに格納されたCDオーディオデータの再生に同
期して、FDに記録されたMIDIデータを再生する場
合について説明したが、該CDオーディオデータの代わ
りにVTオーディオデータをHDに格納し、このHDに
格納されたVTオーディオデータの再生に同期して、F
Dに記録されたMIDIデータを再生することも可能で
ある。なお、かかる場合にコントローラ3等によって実
行される処理については、上述した第3の実施形態とほ
ぼ同様に説明することができるため、説明を割愛する。
憶エリアに再生すべきCDオーディオデータ及びVTオ
ーディオデータを格納し、HDに格納されたCDオーデ
ィオデータの再生及びHDに格納されたVTオーディオ
データの再生に同期して、FDに記録されたMIDIデ
ータを再生しても良い。例えば、MIDIデータの再生
の際に利用するピアノ11の基準ピッチが448Hzで
あり、CDオーディオデータの基準ピッチが例えば44
3Hz、VTオーディオデータの基準ピッチが例えば4
50Hzである場合、コントローラ3は、ピアノ11の
基準ピッチを基準としてCDオーディオデータの基準ピ
ッチを5Hz(=448Hz−443Hz)上げて再生
するための制御を行う一方、VTオーディオデータの基
準ピッチを2Hz(=450Hz−448Hz)下げて
再生するための制御を行う。このように、HDに複数種
類のオーディオデータを格納し、これら全て(若しくは
一部)のオーディオデータの再生に同期して、FDに記
録されたMIDIデータを再生するようにしても良い。
像データの再生若しくは映像データの記録に同期して、
複数の楽曲データの再生若しくは記録を行うことができ
る。
テムの構成を示すブロック図である。
成を示す図である。
するためのブロック図である。
ローチャートである。
る。
構成を示すブロック図である。
すフローチャートである。
動作を示すタイムチャートである。
調整処理を示すフローチャートである。
ステムの構成を示すブロック図である。
の構成を示すブロック図である。
の動作を示すタイムチャートである。
ータ記録処理を示すフローチャートである。
ら得られる信号波形を例示した図である。
るための図である。
示すフローチャートである。
ィオデータを読み出したときに得られる信号波形を例示
した図である。
記憶状態を説明するための図である。
サ、6・・・アンプ、7・・・スピーカ、8・・・FD
記録装置、8a・・・FD再生装置、10、20・・・
自動ピアノ、11・・・ピアノ、12・・・キーセン
サ、13・・・ペダルセンサ、14・・・MIDIイベ
ント生成回路、15・・・ピアノ音源、16・・・ピア
ノ電子回路、17・・・駆動ソレノイド群、18・・・
アンサンブル音源、100・・・ビデオカメラ、200
・・・タイムコード変換器、210・・・クロック生成
手段、211、220・・・計時手段、212・・・経
過時間調整手段、213・・・CDオーディオデータ再
生制御手段、213a・・・HD読み出し制御手段、2
13b・・・オーディオ信号生成手段、230・・・デ
ルタタイム調整手段、230’・・・経過時間調整手
段、240・・・デルタタイム生成手段、250・・・
SMF作成・書き込み制御手段、330・・・イベント
転送制御手段、341・・・タイミング調整手段。
Claims (18)
- 【請求項1】 映像データと当該映像データの記録開始
からの経過時間を表す一連の映像用タイムコードとを含
む記録情報を第1の記憶媒体から読み出し、当該記録情
報中の映像データを再生するマスター装置と、前記マス
ター装置による前記映像データの再生に同期して記憶手
段に格納されている第1の楽曲データの再生及び第2の
記憶媒体に記録されている第2の楽曲データの再生を行
うスレーブ装置とを具備するマルチメディアシステムで
あって、 前記スレーブ装置は、 前記記録情報中の映像用タイムコードを取得し、当該映
像用タイムコードを楽音用タイムコードに変換するタイ
ムコード変換手段と、 クロックをカウントすることにより計時を行う計時手段
と、 前記計時手段による計時結果に基づいて、前記記憶手段
に格納されている楽曲を表す第1のオーディオデータと
当該楽曲の開始からの経過時間を表す一連のタイムコー
ドとを含む第1の楽曲データ中のタイムコードによって
定まる時刻に前記第1のオーディオデータを読み出し、
音として出力するための制御を行うオーディオデータ再
生制御手段と、 前記計時手段による計時結果に基づいて、前記第2の記
憶媒体に記録されている楽曲の演奏制御を指示する複数
のイベントと各イベントの実行タイミングを指定するタ
イミングデータとを含む楽曲データ中のタイミングデー
タによって定まる時刻に前記イベントを出力するイベン
ト出力手段と、 前記イベント出力手段によって出力された前記イベント
を自動演奏手段に供給する自動演奏制御手段と、 前記第1のオーディオデータの読み出しタイミングを、
前記タイムコード変換手段から出力される楽音用タイム
コードに対応した時刻と前記計時手段の計時結果に対応
した時刻との時間差に基づいて調整する第1のタイミン
グ調整手段と、 前記イベントが前記イベント出力手段から前記自動演奏
制御手段へ供給されるタイミングを、前記タイムコード
変換手段から出力される楽音用タイムコードに対応した
時刻と前記計時手段の計時結果に対応した時刻との時間
差に基づいて調整する第2のタイミング調整手段とを具
備することを特徴とするマルチメディアシステム。 - 【請求項2】 前記第1の楽曲データは、第3の記憶媒
体に記録されている楽曲データであり、 前記スレーブ装置は、前記マスター装置による前記映像
データの再生と当該スレーブ装置による第1の楽曲デー
タ及び第2の楽曲データとの同期再生に先立ち、前記第
1の楽曲データを前記第3の記憶媒体から読み出し、前
記記憶手段に格納する同期再生前処理実行手段をさらに
具備することを特徴とする請求項1に記載のマルチメデ
ィアシステム。 - 【請求項3】 前記記録情報は、さらに第2のオーディ
オデータを含み、前記マスター装置は、前記記録情報中
の映像データを再生すると共に、前記記録情報中の前記
第2のオーディオデータを前記スレーブ装置に出力し、 前記オーディオデータ再生制御手段は、さらに前記マス
ター装置から受け取った前記第2のオーディオデータを
音として出力するための制御を行うことを特徴とする請
求項1に記載のマルチメディアシステム。 - 【請求項4】 前記マスター装置は、映像データと当該
映像データの記録開始からの経過時間を表す一連の映像
用タイムコードとを含む記録情報を第1の記憶媒体に記
録し、 前記スレーブ装置は、前記マスター装置による前記記録
情報の記録に同期して前記記憶手段に格納されている第
1の楽曲データの再生及び第2の記憶媒体に記録されて
いる第2の楽曲データの再生を行うことを特徴とする請
求項1に記載のマルチメディアシステム。 - 【請求項5】 映像データと当該映像データの記録開始
からの経過時間を表す一連の映像用タイムコードとを含
む記録情報を第1の記憶媒体から読み出し、当該記録情
報中の映像データを再生するマスター装置と、前記マス
ター装置による前記映像データの再生に同期して記憶手
段に格納されている第1の楽曲データの再生及び第2の
楽曲データの記録を行うスレーブ装置とを具備するマル
チメディアシステムであって、 前記スレーブ装置は、 前記記録情報中の映像用タイムコードを取得し、当該映
像用タイムコードを楽音用タイムコードに変換するタイ
ムコード変換手段と、 クロックをカウントすることにより計時を行う計時手段
と、 前記計時手段による計時結果に基づいて、前記記憶手段
に格納されている楽曲を表す第1のオーディオデータと
当該楽曲の開始からの経過時間を表す一連のタイムコー
ドとを含む第1の楽曲データ中のタイムコードによって
定まる時刻に前記第1のオーディオデータを読み出し、
音として出力するための制御を行うオーディオデータ再
生制御手段と、 前記第1のオーディオデータの読み出しタイミングを、
前記タイムコード変換手段から出力される楽音用タイム
コードに対応した時刻と前記計時手段の計時結果に対応
した時刻との時間差に基づいて調整するタイミング調整
手段と、 楽器の操作状態を検出する検出手段から該操作状態を取
得し、取得した該操作状態に応じて楽曲の演奏制御を指
示するイベントを生成するイベント生成手段と、 前記イベント生成手段によって前記イベントが生成され
た場合、前記計時手段による計時結果に対応した時刻に
基づいて当該イベントの実行タイミングを指定するタイ
ミングデータを生成するタイミングデータ生成手段と、 前記タイムコード変換手段から出力される楽音用タイム
コードに対応した時刻と、前記計時手段による計時結果
に対応した時刻との時間差に基づいて、前記タイミング
データを調整するタイミングデータ調整手段と、 前記イベント生成手段によって生成された複数のイベン
トと前記タイミングデータ調整手段によって調整された
タイミングデータとを含む前記第2の楽曲データを第2
の記憶媒体に書き込む書き込み手段とを具備することを
特徴とするマルチメディアシステム。 - 【請求項6】 前記スレーブ装置は、前記第1のオーデ
ィオデータの基準ピッチを取得し、取得した基準ピッチ
に関する情報を前記第2の記憶媒体に書き込む第1の基
準ピッチ書き込み手段をさらに具備することを特徴とす
る請求項5に記載のマルチメディアシステム。 - 【請求項7】 前記記録情報は、さらに第2のオーディ
オデータを含み、前記スレーブ装置は、前記第2のオー
ディオデータの基準ピッチを取得し、取得した基準ピッ
チに関する情報を前記第2の記憶媒体に書き込む第2の
基準ピッチ書き込み手段をさらに具備することを特徴と
する請求項5または6に記載のマルチメディアシステ
ム。 - 【請求項8】 前記マスター装置は、映像データと当該
映像データの記録開始からの経過時間を表す一連の映像
用タイムコードとを含む記録情報を第1の記憶媒体に記
録し、 前記スレーブ装置は、前記マスター装置による前記記録
情報の記録に同期して記憶手段に格納されている第1の
楽曲データの再生及び前記第2の楽曲データの記録を行
うことを特徴とする請求項5〜7のいずれか1の請求項
に記載のマルチメディアシステム。 - 【請求項9】 映像データと当該映像データの記録開始
からの経過時間を表す一連の映像用タイムコードとを含
む記録情報を第1の記憶媒体から読み出し、当該記録情
報中の映像データを再生するマスター装置と、前記マス
ター装置による前記映像データの再生に同期して記憶手
段に格納されている第1の楽曲データ及び第2の楽曲デ
ータの記録を行うスレーブ装置とを具備するマルチメデ
ィアシステムであって、 前記スレーブ装置は、 前記記録情報中の映像用タイムコードを取得し、当該映
像用タイムコードを楽音用タイムコードに変換するタイ
ムコード変換手段と、 クロックをカウントすることにより計時を行う計時手段
と、 前記計時手段による計時結果に基づいて、前記記憶手段
に格納されている楽曲を表す第1のオーディオデータと
当該楽曲の開始からの経過時間を表す一連のタイムコー
ドとを含む前記第1の楽曲データ中のタイムコードによ
って定まる時刻に前記第1のオーディオデータを読み出
し、音として出力するための制御を行うオーディオデー
タ再生制御手段と、 前記第1のオーディオデータの読み出しタイミングを、
前記タイムコード変換手段から出力される楽音用タイム
コードに対応した時刻と前記計時手段の計時結果に対応
した時刻との時間差に基づいて調整するタイミング調整
手段と、 楽器の操作状態を検出する検出手段から該操作状態を取
得し、取得した該操作状態に応じて楽曲の演奏制御を指
示するイベントを生成するイベント生成手段と、 前記タイムコード変換手段から出力される楽音用タイム
コードに対応した時刻と前記計時手段による計時結果に
対応した時刻との時間差に基づいて、前記計時結果に対
応した時刻を調整する計時時刻調整手段と、 前記イベント生成手段によって前記イベントが生成され
た場合、前記計時時刻調整手段によって調整された時刻
に基づいて当該イベントの実行タイミングを指定するタ
イミングデータを生成するタイミングデータ生成手段
と、 前記イベント生成手段によって生成されたイベントと前
記タイミングデータ生成手段によって生成されたタイミ
ングデータとを含む前記第2の楽曲データを第2の記憶
媒体に書き込む書き込み手段とを具備することを特徴と
するマルチメディアシステム。 - 【請求項10】 前記スレーブ装置は、前記第1のオー
ディオデータの基準ピッチを取得し、取得した基準ピッ
チに関する情報を前記第2の記憶媒体に書き込む第1の
基準ピッチ書き込み手段をさらに具備することを特徴と
する請求項9に記載のマルチメディアシステム。 - 【請求項11】 前記記録情報は、さらに第2のオーデ
ィオデータを含み、前記スレーブ装置は、前記第2のオ
ーディオデータの基準ピッチを取得し、取得した基準ピ
ッチに関する情報を前記第2の記憶媒体に書き込む第2
の基準ピッチ書き込み手段をさらに具備することを特徴
とする請求項9または10に記載のマルチメディアシス
テム。 - 【請求項12】 前記マスター装置は、映像データと当
該映像データの記録開始からの経過時間を表す一連の映
像用タイムコードとを含む記録情報を第1の記憶媒体に
記録し、 前記スレーブ装置は、前記マスター装置による前記記録
情報の記録に同期して前記記憶手段に格納されている第
1の楽曲データの再生及び前記第2の楽曲データの記録
を行うことを特徴とする請求項9〜11のいずれか1の
請求項に記載のマルチメディアシステム。 - 【請求項13】 映像データと当該映像データの記録開
始からの経過時間を表す一連の映像用タイムコードとを
含む記録情報の再生に同期して記憶手段に格納されてい
る第1の楽曲データの再生及び記憶媒体に記録されてい
る第2の楽曲データの再生を行う再生装置であって、 前記記録情報中の映像用タイムコードを楽音用タイムコ
ードに変換するタイムコード変換手段から楽音用タイム
コードを受信する受信手段と、 クロックをカウントすることにより計時を行う計時手段
と、 前記計時手段による計時結果に基づいて、前記記憶手段
に格納されている楽曲を表す第1のオーディオデータと
当該楽曲の開始からの経過時間を表す一連のタイムコー
ドとを含む第1の楽曲データ中のタイムコードによって
定まる時刻に前記第1のオーディオデータを読み出し、
音として出力するための制御を行うオーディオデータ再
生制御手段と、 前記計時手段による計時結果に基づいて、前記記憶媒体
に記録されている楽曲の演奏制御を指示する複数のイベ
ントと各イベントの実行タイミングを指定するタイミン
グデータとを含む楽曲データ中のタイミングデータによ
って定まる時刻に前記イベントを出力するイベント出力
手段と、 前記イベント出力手段によって出力された前記イベント
を自動演奏手段に供給する自動演奏制御手段と、 前記第1のオーディオデータの読み出しタイミングを、
前記受信手段によって受信される楽音用タイムコードに
対応した時刻と前記計時手段の計時結果に対応した時刻
との時間差に基づいて調整する第1のタイミング調整手
段と、 前記イベントが前記イベント出力手段から前記自動演奏
制御手段へ供給されるタイミングを、前記受信手段によ
って受信される楽音用タイムコードに対応した時刻と前
記計時手段の計時結果に対応した時刻との時間差に基づ
いて調整する第2のタイミング調整手段とを具備するこ
とを特徴とする再生装置。 - 【請求項14】 当該再生装置は、映像データと当該映
像データの記録開始からの経過時間を表す一連の映像用
タイムコードとを含む記録情報の記録に同期して記憶手
段に格納されている第1の楽曲データの再生及び記憶媒
体に記録されている第2の楽曲データの再生を行うこと
を特徴とする請求項13に記載の再生装置。 - 【請求項15】 映像データと当該映像データの記録開
始からの経過時間を表す一連の映像用タイムコードとを
含む記録情報の再生に同期して記憶手段に格納されてい
る第1の楽曲データの再生及び第2の楽曲データの記録
を行う再生記録装置であって、 前記記録情報中の映像用タイムコードを楽音用タイムコ
ードに変換するタイムコード変換手段から楽音用タイム
コードを受信する受信手段と、 クロックをカウントすることにより計時を行う計時手段
と、 前記計時手段による計時結果に基づいて、前記記憶手段
に格納されている楽曲を表す第1のオーディオデータと
当該楽曲の開始からの経過時間を表す一連のタイムコー
ドとを含む前記第1の楽曲データ中のタイムコードによ
って定まる時刻に前記第1のオーディオデータを読み出
し、音として出力するための制御を行うオーディオデー
タ再生制御手段と、 前記第1のオーディオデータの読み出しタイミングを、
前記受信手段によって受信される楽音用タイムコードに
対応した時刻と前記計時手段の計時結果に対応した時刻
との時間差に基づいて調整するタイミング調整手段と、 楽器の操作状態を検出する検出手段から該操作状態を取
得し、取得した該操作状態に応じて楽曲の演奏制御を指
示するイベントを生成するイベント生成手段と、 前記イベント生成手段によって前記イベントが生成され
た場合、前記計時手段による計時結果に対応した時刻に
基づいて当該イベントの実行タイミングを指定するタイ
ミングデータを生成するタイミングデータ生成手段と、 前記受信手段によって受信される楽音用タイムコードに
対応した時刻と、前記計時手段による計時結果に対応し
た時刻との時間差に基づいて、前記タイミングデータを
調整するタイミングデータ調整手段と、 前記イベント生成手段によって生成された複数のイベン
トと前記タイミングデータ調整手段によって調整された
タイミングデータとを含む前記第2の楽曲データを記憶
媒体に書き込む書き込み手段とを具備することを特徴と
する再生記録装置。 - 【請求項16】 当該再生記録装置は、映像データと当
該映像データの記録開始からの経過時間を表す一連の映
像用タイムコードとを含む記録情報の記録に同期して記
憶手段に格納されている第1の楽曲データの再生及び第
2の楽曲データの記録を行うことを特徴とする請求項1
5に記載の再生記録装置。 - 【請求項17】 映像データと当該映像データの記録開
始からの経過時間を表す一連の映像用タイムコードとを
含む記録情報の再生に同期して記憶手段に格納されてい
る第1の楽曲データの再生及び第2の楽曲データの記録
を行う再生記録装置であって、 前記記録情報中の映像用タイムコードを楽音用タイムコ
ードに変換するタイムコード変換手段から楽音用タイム
コードを受信する受信手段と、 クロックをカウントすることにより計時を行う計時手段
と、 前記計時手段による計時結果に基づいて、前記記憶手段
に格納されている楽曲を表す第1のオーディオデータと
当該楽曲の開始からの経過時間を表す一連のタイムコー
ドとを含む前記第1の楽曲データ中のタイムコードによ
って定まる時刻に前記第1のオーディオデータを読み出
し、音として出力するための制御を行うオーディオデー
タ再生制御手段と、 前記第1のオーディオデータの読み出しタイミングを、
前記受信手段によって受信される楽音用タイムコードに
対応した時刻と前記計時手段の計時結果に対応した時刻
との時間差に基づいて調整するタイミング調整手段と、 楽器の操作状態を検出する検出手段から該操作状態を取
得し、取得した該操作状態に応じて楽曲の演奏制御を指
示するイベントを生成するイベント生成手段と、 前記受信手段によって受信される楽音用タイムコードに
対応した時刻と前記計時手段による計時結果に対応した
時刻との時間差に基づいて、前記計時結果に対応した時
刻を調整する計時時刻調整手段と、 前記イベント生成手段によって前記イベントが生成され
た場合、前記計時時刻調整手段によって調整された時刻
に基づいて当該イベントの実行タイミングを指定するタ
イミングデータを生成するタイミングデータ生成手段
と、 前記イベント生成手段によって生成されたイベントと前
記タイミングデータ生成手段によって生成されたタイミ
ングデータとを含む前記第2の楽曲データを記憶媒体に
書き込む書き込み手段とを具備することを特徴とする再
生記録装置。 - 【請求項18】 当該記再生録装置は、映像データと当
該映像データの記録開始からの経過時間を表す一連の映
像用タイムコードとを含む記録情報の記録に同期して記
憶手段に格納されている第1の楽曲データの再生及び第
2の楽曲データの記録を行うことを特徴とする請求項1
7に記載の再生記録装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002007871A JP3915517B2 (ja) | 2002-01-16 | 2002-01-16 | マルチメディアシステム、再生装置及び再生記録装置 |
| US10/339,854 US7897865B2 (en) | 2002-01-15 | 2003-01-10 | Multimedia platform for recording and/or reproducing music synchronously with visual images |
| EP03000880A EP1341153B1 (en) | 2002-01-15 | 2003-01-15 | Multimedia platform for recording and /or reproducing music synchronously with visual images |
| CNB03136683XA CN100339908C (zh) | 2002-01-15 | 2003-01-15 | 用于与可视图像同步记录和/或再现音乐的多媒体平台 |
| US11/860,443 US8378199B2 (en) | 2002-01-15 | 2007-09-24 | Multimedia platform for recording and/or reproducing music synchronously with visual images |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002007871A JP3915517B2 (ja) | 2002-01-16 | 2002-01-16 | マルチメディアシステム、再生装置及び再生記録装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003208169A true JP2003208169A (ja) | 2003-07-25 |
| JP3915517B2 JP3915517B2 (ja) | 2007-05-16 |
Family
ID=27646277
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002007871A Expired - Fee Related JP3915517B2 (ja) | 2002-01-15 | 2002-01-16 | マルチメディアシステム、再生装置及び再生記録装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3915517B2 (ja) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2006171664A (ja) * | 2004-12-16 | 2006-06-29 | Samsung Electronics Co Ltd | 携帯及び通信可能な装置における電子音楽 |
| US7332666B2 (en) | 2004-08-05 | 2008-02-19 | Yamaha Corporation | Performance control system, performance control apparatus, performance control method, program for implementing the method, and storage medium storing the program |
| JP2009168911A (ja) * | 2008-01-11 | 2009-07-30 | Yamaha Corp | 鍵盤楽器、ピアノおよび自動演奏ピアノ |
| JP2017538242A (ja) * | 2014-10-17 | 2017-12-21 | マイクミー ゲーエムベーハー | 無線データ伝送を用いたオーディオの同期記録 |
-
2002
- 2002-01-16 JP JP2002007871A patent/JP3915517B2/ja not_active Expired - Fee Related
Cited By (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7332666B2 (en) | 2004-08-05 | 2008-02-19 | Yamaha Corporation | Performance control system, performance control apparatus, performance control method, program for implementing the method, and storage medium storing the program |
| US7622664B2 (en) | 2004-08-05 | 2009-11-24 | Yamaha Corporation | Performance control system, performance control apparatus, performance control method, program for implementing the method, and storage medium storing the program |
| JP2006171664A (ja) * | 2004-12-16 | 2006-06-29 | Samsung Electronics Co Ltd | 携帯及び通信可能な装置における電子音楽 |
| US7709725B2 (en) | 2004-12-16 | 2010-05-04 | Samsung Electronics Co., Ltd. | Electronic music on hand portable and communication enabled devices |
| US8044289B2 (en) | 2004-12-16 | 2011-10-25 | Samsung Electronics Co., Ltd | Electronic music on hand portable and communication enabled devices |
| JP2009168911A (ja) * | 2008-01-11 | 2009-07-30 | Yamaha Corp | 鍵盤楽器、ピアノおよび自動演奏ピアノ |
| JP2017538242A (ja) * | 2014-10-17 | 2017-12-21 | マイクミー ゲーエムベーハー | 無線データ伝送を用いたオーディオの同期記録 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP3915517B2 (ja) | 2007-05-16 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4403658B2 (ja) | 楽曲データ出力装置及び楽曲データ出力方法 | |
| US7897865B2 (en) | Multimedia platform for recording and/or reproducing music synchronously with visual images | |
| JP5733321B2 (ja) | 自動演奏装置 | |
| JP3835324B2 (ja) | 楽曲再生装置 | |
| JP5119932B2 (ja) | 鍵盤楽器、ピアノおよび自動演奏ピアノ | |
| JP5103980B2 (ja) | 処理システム、音声再生装置及びプログラム | |
| JP3885587B2 (ja) | 演奏制御装置及び演奏制御用プログラム、並びに記録媒体 | |
| JP3823855B2 (ja) | 記録装置、再生装置、記録方法、再生方法及び同期再生システム | |
| JP2004233698A (ja) | 音楽支援装置、音楽支援サーバ、音楽支援方法およびプログラム | |
| JP2003271156A (ja) | 同期調整装置および同期調整方法を実現するためのプログラム | |
| JP3915517B2 (ja) | マルチメディアシステム、再生装置及び再生記録装置 | |
| JP3867580B2 (ja) | 楽曲再生装置 | |
| JP7367835B2 (ja) | 録音再生装置、録音再生装置の制御方法及び制御プログラム並びに電子楽器 | |
| JP3867579B2 (ja) | マルチメディアシステム及び再生装置 | |
| JP2005274851A (ja) | 電子音楽装置および同装置に適用されるコンピュータプログラム | |
| JP3925349B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
| JP5338312B2 (ja) | 自動演奏同期装置、自動演奏鍵盤楽器およびプログラム | |
| JP4539594B2 (ja) | 再生録音装置 | |
| JP3804536B2 (ja) | 楽音再生記録装置、記録装置及び記録方法 | |
| JP2005107285A (ja) | 楽曲再生装置 | |
| JP4063048B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
| JP2008233558A (ja) | 電子楽器及びプログラム | |
| JP3969249B2 (ja) | 音声データと演奏データの同期再生を行うための装置および方法 | |
| JP4084858B2 (ja) | 波形再生装置 | |
| JP2002221971A (ja) | カラオケ装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040805 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060421 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060516 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060718 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060919 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20061025 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070116 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070129 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3915517 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313532 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110216 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120216 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130216 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140216 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |