JP2013068899A - 楽音再生装置及び情報処理装置、並びにプログラム - Google Patents

Abstract

【課題】 楽音再生装置で進行される楽音の再生位置にあった適切な表示コンテンツを外部表示器に表示する際に、楽音の再生位置に応じた適切な箇所を適切なタイミングで反映させる。
【解決手段】 取得手段により取得される楽曲データの曲情報と再生手段により進行される楽曲データの再生位置情報とを含む表示制御情報を、可聴帯域の高帯域からなる音響信号として送受信させる。受信した音響信号に含まれる表示制御情報から曲情報と再生位置情報を抽出し、曲情報に基づき表示コンテンツを決定し、再生位置情報に基づき表示ページを決定する。該表示コンテンツは、音響信号の送受信に従って適宜に表示ページの一部ごとに表示態様が更新されながら表示される。これにより、表示コンテンツを楽音の進行にあわせて更新する際に、楽音の再生位置に応じた適切な箇所の表示を適切なタイミングで外部表示器に反映させることができる。
【選択図】 図４

Description

この発明は、スピーカ等を介して発音（放音）される楽音に関連した楽譜や歌詞などの表示コンテンツを、別途用意された外部表示器に表示することが可能な楽音再生装置及び前記外部表示器を有する情報処理装置、並びにそれらに用いるプログラムに関する。特に、楽音の進行にあわせて表示コンテンツを更新して外部表示器に反映させる技術に関する。

従来から、本体に設けられた表示器に楽譜や歌詞等の表示コンテンツを表示しておき、ユーザ所望の楽曲データの再生に基づき発音されるメロディや自動伴奏等の楽音の進行にあわせて、前記表示器に表示した楽譜や歌詞を自動的に更新する電子楽器が知られている。こうした電子楽器では、例えば自動伴奏用の楽曲データ（例えばMIDIデータ）内に楽譜表示制御用のデータを予め埋め込んでおき、この楽譜表示制御用データが楽音再生にあわせて読み出されることに応じて表示器上の楽譜表示を自動更新するようになっている。これによれば、ユーザは自らが楽譜をめくる所謂譜めくり操作を必要に応じてわざわざ行わなくてすむので、ユーザは演奏操作子を実際に操作してメロディ等の演奏練習を行うことなどに専念することができる。

ところで、電子楽器の中にはそもそも表示器を有していない場合や、あるいは楽譜などを表示するには表示能力が十分でない小型の表示器しか有していないような場合があり、そうした電子楽器である場合には当然に楽譜を表示させることができない。そこで、そのような場合であっても楽譜を表示したいというユーザの要望を実現するために、楽器本体とは別途独立して構成されてなる外部表示器に楽譜を表示することのできるようにしたものがある。外部表示器に再生中の楽音に関連した楽譜を表示させるものの一例を挙げると、例えば下記に示す特許文献１に記載の装置がある。

特許文献１に記載の装置では、楽器本体からスピーカを介して発音（放音）される楽器演奏音や音声等を含んでなる楽音をマイクによって取得し、該取得した楽音の解析によりビート（拍位置）や音高を抽出して楽音の演奏位置（再生位置）を特定して、該特定した楽音の演奏位置（再生位置）に基づいて楽譜の表示更新を自動的に行うようになっている。この際の表示器における楽譜の表示更新は、例えば上下の２段に分割した表示領域にそれぞれ１乃至複数小節を含んでなる半ページ分の楽譜を表示しておき、演奏が終わった範囲の楽譜を表示している上下いずれかの表示領域に関して、もう一方の表示領域に表示されている範囲の楽譜に後続する次の半ページ分の楽譜を表示するように切り換え制御することにより実現される。すなわち、この装置における楽譜表示制御では、１ページ分の楽譜を楽音進行に応じて半ページずつ更新する。

また、オーディオデータに曲情報を電子透かしとして重畳し、外部機器側で受信した前記曲情報が重畳されたオーディオデータに基づきコンテンツを特定するものが提案されている（下記に示す特許文献２参照）。

さらに、最近ではスレート型のパーソナルコンピュータ（タブレット端末などとも呼ばれる）やスマートフォンなどといったタッチ操作可能なタッチパネル式ディスプレイを有する情報処理装置に、例えば所定の音楽機能を実現する音楽アプリケーションプログラム（ソフトウェアプログラム）をインストールしておき、該プログラムを動作させることにより当該装置を上記したような楽譜や歌詞などの表示コンテンツを表示する外部表示器などとして動作させることのできるようになっている。

特開2001-265325号公報 特開2002-314980号公報

上述したように、特許文献１に記載の従来装置では、電子楽器からスピーカを介して放音される楽音をもとに楽譜の表示制御がなされることから、楽音が放音されていない演奏開始前には演奏対象の楽音に関連する楽譜を自動的に選択して表示することができない。そこで、ユーザは演奏開始前に手動で所望の楽音の楽譜をまたその演奏開始位置の楽譜を呼び出しておく必要があるが、そのための操作を楽曲データの選択操作などとは別に行わなければならず面倒であった。
また、スピーカを介して放音される楽音の解析により特定される楽音の演奏位置に基づいて楽譜の表示制御がなされることによれば、特に演奏テンポ（又は再生テンポ）が一定でない場合やユーザの演奏技術が未熟な場合に、ビート検出や音高の検出がうまく行えず演奏位置の認識に時間がかかったり演奏位置を誤認識したりしやすいがために、楽音の演奏位置と楽譜の表示更新とがうまく同期しなくなる恐れが大きかった。また、早送りや巻き戻しなどにより連続しない演奏位置にジャンプした場合にも、演奏位置を再認識するための処理に時間がかかり、楽譜を演奏位置に追従させるのに時間がかかるという問題があった。
さらに、周囲で発生する雑音などによってはマイクにより拾うことが難しくなる広い範囲の可聴帯域の楽音（楽音信号）そのものを元にして楽譜の表示制御がなされていたことから、マイク受信環境に影響を受けて正しく楽譜の演奏位置を抽出することができずに楽譜の自動更新が滞りやすい、という問題もあった。
一方、特許文献２に記載の装置は単にコンテンツを特定するだけで、機器同士で何らかの連係動作を行うものではないことから、そもそも外部表示器に表示される楽譜や歌詞などの表示コンテンツを楽音の進行にあわせて更新することは難しかった。

本発明は上述の点に鑑みてなされたもので、スピーカ等を介して放音される楽音に関連する表示コンテンツを楽音の再生進行にあわせて表示更新する際に、演奏開始前であっても適切な表示コンテンツを自動的に表示でき、また楽音の再生位置に応じた適切な箇所の表示を適切なタイミングで外部表示器に反映させることのできるようにした、楽音再生装置及び前記外部表示器を有する情報処理装置、並びにそれらに用いられるプログラムを提供することを目的とする。

本発明に係る楽音再生装置は、複数の楽曲データを記憶する記憶手段と、前記記憶した楽曲データのいずれかを取得する取得手段と、前記取得した楽曲データの再生位置を進行させる再生手段と、可聴帯域の信号を外部出力する信号出力手段と、前記取得した楽曲データの曲情報と前記楽曲データの再生位置を表す再生位置情報とを少なくとも含んでなる表示制御情報を生成する生成手段と、前記表示制御情報の生成に応じて、当該表示制御情報を可聴帯域の高帯域からなる音響信号に変換し該音響信号を前記出力手段から出力するよう制御する制御手段とを備える。

一方、本発明に係る情報処理装置は、複数ページからなる表示コンテンツを多数記憶するコンテンツ記憶手段と、表示コンテンツを表示する表示手段と、可聴帯域の信号を取得する信号取得手段であって、当該信号取得手段は楽曲データの曲情報と楽曲データの再生位置情報とを含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得するものと、前記取得した音響信号に含まれる表示制御情報から曲情報と再生位置情報とを抽出する抽出手段と、前記抽出した曲情報に対応する表示コンテンツを前記記憶された多数の表示コンテンツの中から特定する特定手段と、前記抽出した再生位置情報に応じて前記特定した表示コンテンツの表示ページを決定し、該表示ページに基づき前記表示手段に表示する表示コンテンツの表示態様を更新する表示制御を行う表示制御手段とを備える。

本発明によると、楽音再生装置では表示制御情報を生成し、この表示制御情報を可聴帯域の高帯域からなる音響信号に変換して信号出力手段から外部に出力する。音響信号の変換は、表示制御情報の生成に応じて随時に行われる。前記表示制御情報は、取得手段によって取得される楽曲データの曲情報と再生手段によって進行される前記楽曲データの再生位置情報とを含む。他方、情報処理装置では、可聴帯域の信号を取得する信号取得手段により前記音響信号を取得する。そして、取得した音響信号に含まれる表示制御情報から抽出した曲情報に対応する表示コンテンツを記憶済みの多数の表示コンテンツの中から特定すると共に、表示制御情報から抽出した再生位置情報に応じて前記特定した表示コンテンツの表示ページを決定し、該表示ページに基づき表示手段に表示する表示コンテンツの表示態様を更新する。

これによれば、外部表示器に表示される表示コンテンツを表示制御するための表示制御情報であって、楽曲データの曲情報と楽曲データの再生位置情報とを含むものが楽音再生装置から音響信号として出力されることから、当該楽音の進行に対応する表示コンテンツを情報処理装置の表示手段（外部表示器）に表示することができる。また、前記表示制御情報を可聴帯域の高帯域からなる音響信号に変換し、該音響信号によって外部表示器の表示コンテンツの表示制御を行うようにしたことから、楽音信号を解析して楽音の演奏位置（再生位置）を特定する従来処理よりも時間がかからずにすむ。すなわち、従来のように再生位置の認識に時間がかかったり再生位置を誤認識したりする恐れがないために、本発明においては特に再生テンポが一定でない場合や曲の途中から再生を開始する場合などにおいて、楽音の再生位置に表示コンテンツの表示を正確に追従させることができるようになる。さらに、音響信号は高帯域のみで構成される信号であるので、広い帯域で構成される楽音信号を解析して演奏位置を特定する従来技術に比べて雑音の影響をうけにくい。そのため、本発明では受信環境が悪くてもその影響を受けにくく、正しい位置を表示することができるようになる。したがって、楽音に関連する表示コンテンツを楽音の進行にあわせて更新する際に、楽音の再生位置に応じた適切な箇所の表示を適切なタイミングで外部表示器に反映させることができるようになる。

本発明は装置の発明として構成し実施することができるのみならず、方法の発明として構成し実施することができる。また、本発明は、コンピュータまたはＤＳＰ等のプロセッサのプログラムの形態で実施することができるし、そのようなプログラムを記憶した記憶媒体の形態で実施することもできる。

この発明によれば、随時に生成した表示制御情報を可聴帯域の高帯域からなる音響信号として楽音再生装置から送信し、情報処理装置では受信した音響信号に含まれる表示制御情報から抽出した再生位置情報に基づき決定される表示ページの一部ごとに表示態様を更新しながら表示手段に表示コンテンツを表示する。これにより、楽音に関連する表示コンテンツを楽音の進行にあわせて更新する際に、楽音の再生位置に応じた適切な箇所の表示を適切なタイミングで外部表示器に反映させることができるようになる、という効果が得られる。

本発明に係る楽音再生装置の全体構成の一実施例を示すハード構成ブロック図である。 本発明に係る情報処理装置の全体構成の一実施例を示すハード構成ブロック図である。 情報処理装置の表示器に表示される表示コンテンツとして楽譜を表示した例を示す概念図である。 楽音再生装置における楽譜制御機能の概要を説明するための機能ブロック図である。 情報処理装置における楽譜表示機能の概要を説明するための機能ブロック図である。 楽譜表示制御テーブルのデータ構成を示す概念図である。 楽譜制御処理の一実施例を示すフローチャートである。 楽譜表示処理の一実施例を示すフローチャートである。 楽音再生態様に応じた楽譜制御処理と楽譜表示処理の各動作タイミングの一例を示すタイミングチャートである。 楽音の演奏テンポに応じた楽譜制御処理と楽譜表示処理の各動作タイミングの一例を示すタイミングチャートである。

以下、この発明の実施の形態を添付図面に従って詳細に説明する。

図１は、本発明に係る楽音再生装置の全体構成の一実施例を示すハード構成ブロック図である。本実施例に示す楽音再生装置は少なくとも任意の楽曲データの再生に基づいて楽音を発音（放音）することの可能な例えば電子楽器であって、マイクロプロセッサユニット（ＣＰＵ）１、リードオンリメモリ（ＲＯＭ）２、ランダムアクセスメモリ（ＲＡＭ）３からなるマイクロコンピュータによって制御される。ＣＰＵ１は、この楽音再生装置全体の動作を制御する（図４の制御部に相当）。このＣＰＵ１に対して、データ及びアドレスバスＤを介してＲＯＭ２、ＲＡＭ３、演奏操作子４、表示部５、設定操作子６、音源部７、記憶装置８、通信インタフェース（Ｉ／Ｆ）９がそれぞれ接続されている。更に、ＣＰＵ１には、タイマ割込み処理（インタラプト処理）における割込み時間や各種時間を計時するタイマ１Ａが接続されている。例えば、タイマ１Ａはクロックパルスを発生し、発生したクロックパルスをＣＰＵ１に対して処理タイミング命令として与えたり、あるいはＣＰＵ１に対してインタラプト命令として与える。ＣＰＵ１は、これらの命令に従って各種処理を実行する。

ＲＯＭ２は、ＣＰＵ１により実行あるいは参照される各種制御プログラムや各種データ等を格納する。ＲＡＭ３は、ＣＰＵ１が所定のプログラムを実行する際に発生する各種データなどを一時的に記憶するワーキングメモリとして、あるいは現在実行中のプログラムやそれに関連するデータを一時的に記憶するメモリ等として使用される。ＲＡＭ３の所定のアドレス領域がそれぞれの機能に割り当てられ、レジスタやフラグ、テーブル、テンポラリメモリなどとして利用される。

演奏操作子４は楽音の音高を選択するための複数の鍵を備えた例えば鍵盤等のようなものであり、各鍵に対応してキースイッチを有しており、この演奏操作子４（鍵盤等）はユーザ自身の手弾きによるマニュアル演奏のために使用することは勿論のこと、再生したい楽曲データの選択などのために使用することもできる。

表示部５は例えば液晶表示パネル（ＬＣＤ）やＣＲＴ等から構成される表示器（ディスプレイ）であって、当該装置における演奏環境／楽音制御に関する各種設定の設定状況や、ＲＯＭ２や記憶装置８に記憶されている各種データあるいはＣＰＵ１の制御状態などを表示する。ただし、この当該装置に設けられている表示部５は後述する情報処理装置の表示部１５とは異なり簡易な表示のみが可能な表示器、つまりは表示可能な文字／記号や文字数等が限定され複雑な表示や一度に多くの内容を表示することの難しい、具体的には図３に示すように複数段にわたる楽譜を表示することの難しい、表示領域の非常に狭い表示器である。

設定操作子（スイッチ等）６は、例えば当該装置を所望の楽曲データに基づいて楽音を発音させる楽音再生モードに設定するモード選択スイッチ、再生対象の楽曲データを選択する曲選択スイッチ、楽曲データの再生開始及び再生停止さらには楽音再生位置の巻き戻しや早送りなどを行う再生制御スイッチ、音色や効果等の演奏環境／楽音制御に関する各種設定（パラメータ）を決定するためのスイッチ類、表示制御情報（図４参照）の出力オン／オフを切り替える切替ボタンなどの各種の操作子を含んで構成される。なお、設定操作子６は上記した以外にも音高、音色、効果等を選択・設定・制御するための数値データ入力用のテンキーや文字データ入力用のキーボード等の各種操作子を含んでいてもよい。これらの設定操作子６が操作された場合には、その操作されたスイッチに応じた情報やデータ等がデータ及びアドレスバスＤを介してＣＰＵ１（制御部）に入力される。

音源部７は複数のチャンネルで楽音信号の同時発生が可能であり、データ及びアドレスバス１Ｄを経由して与えられた、ユーザによる演奏操作子４の操作に応じて発生される及び／又は任意の楽曲データの再生に応じて発生される各種演奏情報に基づいて楽音信号を生成する。また、本実施形態においては前記楽音信号を生成するだけでなく、例えば直接スペクトラム拡散技術などを用いてデジタル信号である表示制御情報を可聴帯域の高周波信号（これを本明細書では音響信号と呼ぶ）に変調（変換）して、前記楽音信号に前記音響信号を重畳した楽音信号（これを便宜的に重畳信号と呼んで区別する）又は前記音響信号のみを生成することのできるようにもなっている（後述する図４（Ｂ）参照）。音源部７から発生されるこれらの信号（楽音信号または重畳信号，音響信号）は、アンプやスピーカなどを含むサウンドシステム７Ａから発音（放音）される。このサウンドシステム７Ａは、可聴帯域の信号を外部出力する信号出力手段に相当する。なお、音源部７とサウンドシステム７Ａの構成には、従来のいかなる構成を用いてもよい。例えば、音源部７はFM、PCM、物理モデル、フォルマント合成等の各種楽音合成方式のいずれを採用してもよく、また専用のハードウェアで構成してもよいし、ＤＳＰ（Digital Signal Processor）やＣＰＵ１によるソフトウェア処理で構成してもよい。

記憶装置８は、楽曲データなどの予め用意された各種データの他、ＣＰＵ１が実行する各種制御プログラム等を記憶する。なお、上述したＲＯＭ２に制御プログラムが記憶されていない場合、この記憶装置８（例えばハードディスク）に制御プログラムを記憶させておき、それをＲＡＭ３に読み込むことにより、ＲＯＭ２に制御プログラムを記憶している場合と同様の動作をＣＰＵ１に実行させることができる。このようにすると、制御プログラムの追加やバージョンアップ等が容易に行える。なお、記憶装置８はハードディスク（HD）に限られず、フレキシブルディスク（FD）、コンパクトディスク（CD‐ROM・CD‐RAM）、光磁気ディスク（MO）、あるいはDVD（Digital Versatile Disk）等の様々な形態の記憶媒体を利用する記憶装置であればどのようなものであってもよい。あるいは、フラッシュメモリなどの半導体メモリであってもよい。

通信インタフェース（Ｉ／Ｆ）９は、当該装置と図示しない外部機器との間で制御プログラムや各種データなどの各種情報を送受信するためのインタフェースである。この通信インタフェース９は、例えばMIDIインタフェース，ＬＡＮ，インターネット，電話回線等であってよく、また有線あるいは無線のものいずれかでなく双方を具えていてよい。

なお、上述した実施例において、演奏操作子４は鍵盤楽器の形態に限らず、弦楽器や管楽器あるいは打楽器等どのようなタイプの形態でもよい。また、楽音再生装置は演奏操作子４や音源部７などを１つの装置本体に内蔵したものに限らず、それぞれが別々に構成され、MIDIインタフェースや各種ネットワーク等の通信インタフェース９を用いて各装置を接続するように構成されたものであってもよいことは言うまでもない。
なお、本発明に係る楽音再生装置は電子楽器に限らず、カラオケ装置、パーソナルコンピュータ、携帯電話等の携帯通信端末、あるいはゲーム装置など、楽曲データの再生に伴いスピーカ等を通じて楽音を放音することのできるものであればどのような形態の装置・機器であってもよい。携帯通信端末の場合、端末のみで所定の機能が完結している場合に限らず、機能の一部をサーバ側に持たせ、端末とサーバとからなるシステム全体として所定の機能を実現するようにしてもよい。

次に、前記楽音再生装置とは別途独立に設けられてなり、表示コンテンツを表示する表示部（外部表示器）を備える情報処理装置について説明する。図２は、本発明に係る情報処理装置の全体構成の一実施例を示すハード構成ブロック図である。図２に示す情報処理装置はＣＰＵ１１、ＲＯＭ１２、ＲＡＭ１３からなるマイクロコンピュータによって制御されてなるものであって、前記コンピュータが所定の音楽機能を実現するプログラム（例えば後述する「楽譜表示処理」プログラム）を実行することに基づき、表示部１５への楽譜表示及び表示更新に係る処理を実施することが可能となる、例えばタブレット端末やスマートフォン等の電子機器である。ＣＰＵ１１はこの情報処理装置全体の動作を制御するものであり（図５の制御部参照）、このＣＰＵ１には各種時間を計時するタイマ１１Ａが接続されている。ＲＯＭ１２は制御プログラムやデータ等を恒常的に記憶し、ＲＡＭ１３はそれらを一時的に記憶する。

入力操作部１４は物理操作子であって、例えば電源オン／オフスイッチ、外部出力音量やマイク感度などの調整スイッチなどである。表示部１５は、ユーザタッチ操作を検出（認識）する検知機能を有してなるタッチパネル式のディスプレイである（表示手段に相当）。表示部１５へのユーザタッチ操作の検出に応じて、例えば当該装置上で動作させるプログラムの選択／実行などを行うことができる。また、本実施形態における情報処理装置の表示部１５は、上述した楽音再生装置にて再生中の楽音に関連する例えば楽譜や歌詞などの表示コンテンツを表示する外部表示器としても機能し得る。

ここで、情報処理装置の表示部１５が楽音再生装置の外部表示器として機能する場合に表示される表示コンテンツの一例を図３に示す。図３は、情報処理装置の表示部１５に表示コンテンツとして楽譜を表示した例を示す。ただし、この例では譜めくりされていない第１ページの楽譜を表示した場合を示す。

表示部１５には一例として、例えば３つに分けられた表示領域の上から順にタイトル表示Ｈａ、楽譜表示Ｈｂ、その他表示Ｈｃが表示される。タイトル表示Ｈａには、楽譜表示対象である再生中の楽音に関連する曲名や作曲者名などの曲情報の一部を表示する。その他表示Ｈｃには、プログラム選択などのメニュー画面（図示せず）に戻るための「メニュー」ボタンなどのユーザによるタッチ操作に応じて機能する仮想操作子Ｉや、上記した楽音再生装置のスピーカから放音される重畳信号又は音響信号が音声入力部（マイク）１６を介して受信できている場合に点灯表示され、受信できていない場合に消灯表示される受信インジケータＪなどを表示する。楽譜表示Ｈｂには、１段が複数小節からなる楽譜を複数段にわたって表示する。ここでは、４小節分の楽譜を１段に表示したものを３段分表示している例を示した。なお、この１段が４小節分からなり３段にわたり表示される計１２小節分の楽譜が１ページ分の画像データとして形成されてなり、各曲全体の楽譜に相当する複数ページ分の画像データ（まとめて楽譜データと呼ぶ）が各曲毎に記憶装置１７に予め記憶されている。

図２の説明に戻って、音声入力部１６はマイクロフォンであって、上記した楽音再生装置のスピーカから放音される楽音信号（又は重畳信号，音響信号）を集音し、集音した信号をＣＰＵ１１（制御部）に出力する。この音声入力部１６（マイク）は、可聴帯域の信号を取得する信号取得手段に相当する。記憶装置１７は、ＣＰＵ１１が実行する各種制御プログラムや上記した楽譜データあるいは後述する表示制御テーブルなどの各種データを記憶する（コンテンツ記憶手段に相当）。通信インタフェース（Ｉ／Ｆ）１８は、例えばLANやインターネット、電話回線等の有線あるいは無線の通信ネットワークに接続されており、該通信ネットワークを介して図示を省略したサーバコンピュータ等と接続され、当該サーバから制御プログラムあるいは各種データなどを本装置側に取り込むためのインタフェースである。

図１に示した本発明に係る楽音再生装置においても、従来知られている楽音再生装置のように、ユーザ選択に従ってＲＯＭ２あるいは記憶装置８等から読み出された楽曲データの再生に応じて発生される楽音信号をスピーカから放音する。ただし、本発明の一実施例に係る楽音再生装置では、単に楽曲データの再生に応じて発生される楽音信号をそのままスピーカから放音することだけに留まらず、表示制御情報がスピーカとマイクとを用いてデータ転送可能な信号に変調された音響信号を重畳した楽音信号（重畳信号）又は前記音響信号のみをスピーカから放音することによって、情報処理装置の表示部１５（外部表示器）に表示される表示コンテンツの表示制御（一例として楽譜の譜めくり制御）を実現するようにしている。以下、説明する。

図４は、楽音再生装置における楽譜制御機能の概要を説明するための機能ブロック図である。図４（Ａ）に示すように、制御部１は楽曲データ取得部Ａと曲情報取得部Ｂと表示制御情報生成部Ｃとに大きく分けることができる。楽曲データ取得部Ａは、設定操作子６の操作に応じて出力される選曲指示に従って記憶装置８から再生対象の楽曲データを読み出すと共に、再生指示に従って読み出した楽曲データを音源部８に出力する。楽曲データは曲名や歌手名等の他に楽曲を特定するための情報（曲情報）の一つとして曲毎に固有の曲ＩＤを含んでおり、曲情報取得部Ｂは前記読み出した楽曲データの曲情報から抽出した曲ＩＤを表示制御情報生成部Ｃに送る。表示制御情報生成部Ｃは、設定操作子６の切替スイッチがオンされると能動化し、曲情報取得部Ｂから出力される曲ＩＤと音源部７における楽音信号再生部Ｄから出力される小節番号とに基づいて、表示制御情報を所定の時間間隔で（例えば０．５秒毎に）生成する。この表示制御情報は、切替スイッチがオンであれば楽曲データの再生状況に関わらず常に生成される。切替スイッチがオフされると表示制御情報生成部Ｃはその動作を停止し、表示制御情報は生成されない。また、切替スイッチのオン／オフにあわせて「譜めくり機能」がオン又はオフに設定される。

表示制御情報はデジタル信号であって、当該信号が楽譜の譜めくり制御に関する信号であることを示す情報や制御データ全体の長さが識別できる情報を含むヘッダー情報（１byte程度）と、曲ＩＤ及び小節情報（位置情報）からなる制御データ（２byte程度）と、制御データの終わりを示す情報からなるフッター情報（１byte程度）とにより構成されてなる。

音源部７は、楽音信号再生部Ｄ（再生手段に相当）と変調制御部Ｅ（制御手段に相当）とに分けることができる。楽音信号再生部Ｄは、設定操作子６の再生制御スイッチにより再生開始が指示されていると、楽曲データ取得部Ａから出力された楽曲データを再生して楽音信号を生成する。また、演奏操作子４で演奏操作が行われると、演奏操作に応じた演奏情報に従う楽音信号を生成する。生成された楽音信号は変調制御部Ｅに出力される。さらに、楽音信号再生部Ｄは楽曲データを再生している場合に、現在再生中の楽音進行上の演奏位置（再生位置）を表す位置情報を表示制御情報生成部Ｃに出力する。この位置情報は、現在再生されている楽音の位置する小節を表す小節番号である。

変調制御部Ｅは、表示制御情報生成部Ｃからの表示制御情報を可聴帯域内の高帯域からなる音響信号に変調して、楽音信号再生部Ｄから楽音信号が出力されているときには該楽音信号に重畳し、この音響信号が重畳された楽音信号（重畳信号）をサウンドシステム７Ａに出力する。サウンドシステム７Ａは、スピーカを通じて重畳信号を放音する。一方、楽音信号再生部Ｄから楽音信号が出力されていないときには、音響信号のみがサウンドシステム７Ａ（スピーカ）に出力されて放音される。

デジタル信号である表示制御情報を音響信号に変調して伝送する技術では、表示制御情報を可聴帯域の高周波信号（音響信号）に変調することで、一般的なスピーカで再生可能な帯域（可聴帯域）のうち人（特には成人）の耳にはほとんど聞き取ることのできない約18kHz程度の可聴帯域内の高帯域を利用してデータ伝送することのできるようにしている。これによれば、データ転送速度は最大で約80bps程度とそれほど速くはないが、10メートル以上離れた場所にも表示制御情報をデータ伝送することができる、複数の受信対象に同時に（１対多に）配信できる、既存のスピーカ設備を利用できる、スピーカ側の音量調節によって伝送範囲を制御できるといったメリットがある。なお、表示制御情報を音響信号に変調するのに利用する周波数帯域は、人に通常聴こえないような可聴帯域内の高帯域であれば上記したような約18kHz程度の周波数帯域に限られない。

なお、上述したように、本実施形態では切替スイッチのオン／オフに応じて表示制御情報ひいては音響信号の生成の有無を設定することができるようになっている。すなわち、音響信号は人に通常聴こえないような可聴帯域内の高帯域の信号であるにも関わらず、その生成をなしにも設定することができる。その理由として、第１に、約18kHz程度の周波数帯域の高帯域信号はユーザの年齢によっては聞こえてしまうことがあり（特に低年齢の子供）、そうしたユーザが自動的な譜めくり制御を必要としていないときであっても音響信号が生成されてしまうと楽音信号に混じって音響信号が聞こえてしまい非常に耳障りであるからである。第２に、複数台の楽音再生装置が用意されているような場合に、2台以上の楽音再生装置から音響信号が出力されると混信が生じてうまく譜めくり制御することができなくなるからである（この場合、1台のみオンにして残りはオフにするとよい）。第３に、ユーザが何らかの理由（例えば特定のページを開きっぱなしにした状態で演奏したいような場合)で譜めくり制御をさせたくないにも関わらず、自動的に譜めくり制御が行われるとユーザが困るからである。

変調制御部Ｅにおける楽音信号に音響信号を重畳する方式はどのような方式であってもよいが、変調成分が上記したような人に聴取し難いような手法を用いるのが好ましい。例えば、Ｍ系列やＧｏｌｄ系列等の拡散符号（ＰＮ符号）を、聴感上違和感のない微弱なレベルで可聴帯域内の高帯域に重畳するとよい。ここで、変調制御部Ｅの構成の一例を図４（Ｂ）に示す。変調制御部Ｅは、ＬＰＦ２０、加算器２１、拡散符号発生部２２、乗算器２３、ＸＯＲ回路２４、遅延器２５、ＬＰＦ２６、乗算器２７、およびキャリア信号発生器２８を備えている。

拡散符号発生部２２は、表示制御情報生成部Ｃの指示に従って定期的にＭ系列等の拡散符号を発生する。拡散符号発生部２２が発生する拡散符号と表示制御情報生成部Ｃで生成／出力される表示制御情報（−１、１に２値化した符号列）は、乗算器２３で乗算される。これにより、拡散符号を位相変調する。すなわち、ビットデータが１の場合に位相が正転、ビットデータが０の場合には位相が反転した拡散符号となる。

位相変調後の拡散符号は、ＸＯＲ回路２４に入力される。ＸＯＲ回路２４は、乗算器２３から入力された符号と遅延器２５を経て入力された１サンプル前の出力符号の排他的論理和を出力する。差動符号化後の信号は、−１、１で２値化しておくものとする。−１、１に２値化した差動符号を出力することで、復調側では、連続する２サンプルの差動符号を乗算することにより差動符号化前の拡散符号を抽出することができる。

そして、差動符号化した拡散符号は、ＬＰＦ２６においてベースバンド内で帯域制限され、乗算器２７に入力される。乗算器２７は、キャリア信号発生器２８が出力するキャリア信号（可聴帯域内の高域のキャリア信号）とＬＰＦ２６の出力信号を乗算し、差動符号化後の拡散符号をパスバンドに周波数シフトする。なお、差動符号化後の拡散符号は、アップサンプリングしてから周波数シフトしてもよい。周波数シフトされた後の拡散符号は、加算器２１により楽音信号再生部Ｄで生成される楽音信号と加算（合成）される。ただし、楽音信号は加算前にＬＰＦ２０で拡散符号の周波数成分と異なる帯域に制限される。このようにして、表示制御情報は可聴帯域の高帯域からなる音響信号に変調され楽音信号に重畳される。

図５は、情報処理装置における楽譜表示機能の概要を説明するための機能ブロック図である。図５（Ａ）に示すように、音声入力部１６（マイク）により重畳信号又は音響信号が集音された場合には、集音されたこれらの信号が制御部１１の復調部Ｆに出力される。復調部Ｆは、音声入力部１６から入力された重畳信号又は音響信号を復調して表示制御情報を復号することにより、該復号した表示制御情報に含まれる曲ＩＤ及び小節番号を抽出する（抽出手段に相当）。

図５（Ｂ）は、復調部Ｆの構成の一例を示すブロック図である。復調部Ｆは、ＨＰＦ３１、遅延器３２、乗算器３３、ＬＰＦ３４、相関器３５、ピーク検出部３６、符号判定部３７を備えている。音声入力部１６（マイク）が集音した重畳信号又は音響信号は、ＨＰＦ３１に入力される。ＨＰＦ３１は、楽音信号に重畳された音響信号のみを抽出するためのフィルタである。ＨＰＦ３１の出力信号は、遅延器３２及び乗算器３３に入力される。

遅延器３３の遅延量は、差動符号の１サンプル分の時間に設定される。差動符号をアップサンプリングしている場合、アップサンプリング後の１サンプル分の時間に設定される。乗算器３３は、ＨＰＦ３１から入力される信号と、遅延器３２から出力される１サンプル前の信号とを乗算し、遅延検波処理を行う。差動符号化された信号は、−１、１に２値化されており、１サンプル前の符号からの位相変化を示したものであるため、１サンプル前の信号と乗算することにより、差動符号化前の拡散符号が抽出される。

そして、乗算器３３の出力信号は、ＬＰＦ３４を経てベースバンド信号として抽出され、相関器３５に入力される。相関器３５は、フィルタ係数として拡散符号発生部２２で発生する拡散符号が設定されたＦＩＲフィルタ（マッチドフィルタ）からなり、入力された重畳信号又は音響信号と拡散符号との相関値を求める。拡散符号は、Ｍ系列やＧｏｌｄ系列等の自己相関性が高い符号を用いているため、相関器３５が出力する相関値は、ピーク検出部３６で拡散符号の周期（データ符号の周期）で正負のピーク成分が抽出される。符号判定部３７は、各ピーク成分を表示制御情報のデータ符号（正のピークを１、負のピークを０）として復号する。

表示制御部Ｇは復号された表示制御情報に含まれる曲ＩＤに応じて、記憶装置１７に記憶された中から該当する楽譜データ及び表示制御テーブル（図６参照）を検索し特定する（特定手段に相当）。表示制御部Ｇは、曲ＩＤに対応する楽譜データが見つかった場合に当該データを記憶装置１７から読み出す。そして、前記特定した表示制御テーブルを復号された表示制御情報に含まれる小節番号に基づき参照することによって、表示部１５に表示する楽譜の表示態様として各段毎に表示対象ページの決定を行い、これにより各段毎にページを切り換えた楽譜画面を生成して表示部１５に出力する（表示制御手段に相当）。この際には、ページが切り換えられた段の表示がさも紙がめくられたつまりは譜めくりされたように演奏者に対して見せるような表示制御を行うようにするとよい。さらに、表示制御部Ｇは楽譜データに含まれる曲名等の曲情報の一部を表示部１５に出力することでこれらを画面に表示させる。

ここで、表示制御テーブル及びこれを用いた表示制御について説明する。図６は、表示制御テーブルのデータ構成を示す概念図である。ただし、ここでは図３に示したようなリピート演奏を含む楽音に関する楽譜を３段に分けて表示する場合の表示制御を行うものを例に示した。

図６に示す表示制御テーブルには、再生中の楽音の小節（詳しくは楽音信号再生部Ｄから送られてくる小節番号）毎に表示部１５に表示する楽譜の各段に表示すべき対象ページが規定されている。例えば、小節番号１から小節番号４までは１段目〜３段目の全てに「１」ページと規定されていることから、第１小節から第４小節までの楽音の再生中には１ページの１段目から３段目を表示する表示制御が行われる。小節番号５には１段目に「２」ページ、２段目及び３段目に「１」ページと規定されていることから、第５小節の楽音の再生に移ると１ページの１段目が表示されていた１段目の楽譜のみを２ページの１段目の表示に切り換える表示制御が行われる。したがって、表示部１５に表示される楽譜は２ページの１段目と１ページの２段目及び３段目とが混在した表示態様となる。小節番号６から小節番号１２までは小節番号５と同じ規定であることから、第６小節から第１２小節までの楽音の再生中には２ページの１段目と１ページの２段目及び３段目を表示する表示制御が行われる。

また、小節番号１３には１段目及び２段目に「２」ページ、３段目に「１」ページと規定されていることから、第１３小節の楽音の再生に移ると１ページの２段目が表示されていた２段目の楽譜を２ページの２段目の表示に切り換える表示制御が行われる。小節番号１６には１段目〜３段目の全てに「２」ページと規定されていることから、第１６小節の楽音の再生に移ると１段目から３段目のすべてが２ページ目の楽譜表示になる。すなわち、表示部１５に表示される楽譜は２ページと１ページとが混在した表示態様から２ページだけを表示した表示態様となる。このようにして、表示制御テーブルに規定された小節番号に基づく各段毎の表示すべき対象ページに従って楽譜表示の上段から順に繰り返し譜めくり制御が行われる。言い換えるならば、表示制御テーブルには、ある段に含まれるすべての小節の演奏(再生)が完了して次の段の小節に演奏(再生)が進むと、演奏完了した段を次のページの楽譜に更新するように設定されている。これにより、現在の楽音の再生位置よりも後に再生される楽音の再生位置が再生に先んじて楽譜に表示しておくことができる。

上述したような楽音再生装置における楽譜制御機能及び情報処理装置における楽譜表示機能を実現する各制御プログラムについて、図７及び図８を用いて説明する。図７は、楽音再生装置における楽譜制御機能を実現する楽譜制御処理の一実施例を示すフローチャートである。この「楽譜制御処理」は楽音再生装置のＣＰＵ１によって制御される処理であって、楽音再生装置の電源オンに応じて開始される。

ステップＳ１は、ユーザによる切替ボタンの操作等に応じて譜めくり機能がオンに設定されたか否かを判定する。譜めくり機能が未だオンに設定されていないと判定した場合には（ステップＳ１のＮＯ）、譜めくり機能がオンに設定されるまで処理を待機する。譜めくり機能がオンに設定されたと判定した場合には（ステップＳ１のＹＥＳ）、予めユーザにより楽曲データが選択されている場合には当該楽曲データの曲情報から曲ＩＤを取得する又はユーザにより楽曲データが選択されていない場合には初期設定されている楽曲データを自動的に選択して該楽曲データの曲情報から曲ＩＤを取得すると共に、楽曲データの現在の再生位置に応じた小節番号を取得する（ステップＳ２）。なお、楽曲データの再生開始前である場合には再生開始位置の小節番号（例えば第１小節の「１」）を取得する。ただし、楽曲データの再生開始位置をユーザが任意の位置に指定できるような場合には、前記指定された再生開始位置に該当する小節番号を取得する。

ステップＳ３は、前記取得した曲ＩＤと小節番号とを含んでなる上述した表示制御情報（図４参照）を生成する。ステップＳ４は、音源部７に対して前記生成した表示制御情報を供給する。ステップＳ５は、楽音信号が生成されているか否かを判定する。楽音再生開始指示がなされておらず楽曲データが再生されていない場合、かつユーザによる演奏操作子の操作もなされていない場合には楽音信号が生成されていないと判定し（ステップＳ５のＮＯ）、表示制御信号を音響信号に変調し当該音響信号のみをサウンドシステム７Ａを介して出力する制御を行う（ステップＳ７）。そして、ステップＳ１の処理に戻る。

他方、楽音信号が生成されていると判定した場合、つまり楽曲データの再生に基づき音源部７で楽音信号が生成されている場合及び／又はユーザによる演奏操作子の操作に応じて音源部７で楽音信号が生成されている場合には（ステップＳ５のＹＥＳ）、表示制御信号を音響信号に変調し、前記生成させた楽音信号に当該音響信号を重畳した重畳信号をサウンドシステム７Ａに出力する制御を行う（ステップＳ６）。そして、ステップＳ１の処理に戻る。

上記ステップＳ１〜ステップＳ７の処理は所定時間間隔毎（例えば０．５秒毎）に繰り返し実行されることから、表示制御情報は音響信号として楽音信号に重畳されて又は音響信号として単独で所定時間間隔毎にスピーカを通じて放音されることになる。これによると、楽曲データの再生中でない場合には、小節番号の変わらない同じ表示制御情報が所定時間間隔毎でスピーカを通じて放音されることとなり、情報処理装置の表示部１５に表示されている楽譜は譜めくり制御されることがなく現状の表示状態が維持される。一方、楽曲データの再生中である場合には、楽音の再生位置が進行するに連れて小節番号の異なる表示制御情報がスピーカを通じて放音されることとなり、それにあわせて情報処理装置の表示部１５に表示されている楽譜は譜めくり制御され得る。

図８は、情報処理装置における楽譜表示機能を実現する楽譜表示処理の一実施例を示すフローチャートである。この「楽譜表示処理」は情報処理装置のＣＰＵ１１によって制御される処理であって、音響信号または重畳信号の受信に応じて開始される。一例として、ＣＰＵ１１は上述した復調部Ｆの機能を実現する処理（図示省略）を短い周期で繰り返し実行しており、当該処理において表示制御情報が抽出できた場合に当該「楽譜表示処理」を開始させるとよい。

ステップＳ１１は、楽音再生装置からスピーカを通じて放音された重畳信号又は音響信号に含まれていた表示制御情報から、曲ＩＤと小節番号とを抽出する。ステップＳ１２は、抽出した曲ＩＤはＲＡＭ１３に記憶済みの曲ＩＤ（表示部１５に現時点で表示中である楽譜の曲のもの）に一致するか否かを判定する。抽出した曲ＩＤと記憶済みの曲ＩＤとが一致すると判定した場合には（ステップＳ１２のＹＥＳ）、抽出した小節番号はＲＡＭ１３に記憶済みの小節番号と一致するか否かを判定する（ステップＳ１３）。抽出した小節番号と記憶済みの小節番号とが一致すると判定した場合には（ステップＳ１３のＹＥＳ）、当該処理を終了する。すなわち、この場合には、楽音の再生位置の進行に応じて表示部１５に表示中の楽譜の表示位置を変更する必要がないことから、楽譜の譜めくり制御が行われない。また、再生中の楽曲の変更がなされていないことから表示部１５に表示する楽譜の差し替えを行う必要がない。なお、音響信号又は重畳信号の受信が始めてである場合には、ＲＡＭ１３に小節番号が記憶済みでないので、上記ステップＳ１３は必ずＮＯ（一致しない）と判定されることになる。

上記ステップＳ１２において抽出した曲ＩＤと記憶済みの曲ＩＤとが一致しないと判定した場合には（ステップＳ１２のＮＯ）、抽出した曲ＩＤに一致する楽譜データを記憶装置１７から読み出す（ステップＳ１４）。すなわち、再生対象の楽曲データが変更された場合には、表示部１５に表示中の楽譜を変更後の楽曲の楽譜に差し替える。また、この場合には抽出した曲ＩＤに一致する表示制御テーブル（図６参照）を特定する。さらには、抽出した曲ＩＤをＲＡＭ１３に書き込んで記憶する（これが上記した記憶済みの小節番号となる）。つまり、表示制御情報に含まれている小節番号が変わるたびにＲＡＭ１３に記憶済みの小節番号が更新される。ステップＳ１４の処理後又は上記ステップＳ１３において抽出した小節番号と記憶済みの小節番号とが一致しないと判定された場合には（ステップＳ１３のＮＯ）、特定した表示制御テーブルを参照して、ステップＳ１１で抽出した小節番号に対応する各段の表示ページを判断する（ステップＳ１５）。また、この場合には抽出した小節番号をＲＡＭ１３に書き込んで記憶する。ステップＳ１６は、前記表示ページの判断に基づき表示部１５において段ごとに楽譜の表示を更新する譜めくり制御を行う。

なお、当該プログラムの実行指示時に楽音再生装置から重畳信号や音響信号が放音されていない場合の表示部１５の初期表示としては、例えば前回の同プログラム終了時に表示していた楽曲の楽譜を第１小節から再表示する、予め決められているデモ曲の楽譜を第１小節から表示する、白紙の楽譜（五線譜のみ）を表示するなどいずれであってもよい。あるいは楽譜に限らず、例えばメニュー画面（図示せず）などを表示してもよい。
なお、上述した図７では図示を省略したが、楽音再生装置にてユーザによる選曲操作が行われた場合には、選曲操作後に上記ステップＳ２及びＳ３の処理に従い、選曲操作前とは曲ＩＤ（及び小節番号）の異なる表示制御情報が新たに生成される。そして、上記ステップＳ４以降の処理に従って前記新たに生成された表示制御情報がスピーカを通じて放音される。一方、情報処理装置側では図８に示した処理の実行に伴い、表示部１５に表示されている複数段の楽譜の一部の段だけを変更する譜めくり制御を行うのではなく、表示されている複数段の楽譜の全段を新たな楽譜に変更する表示制御を行うことになる。

以上のように、本実施形態における楽音再生装置では、楽音の再生進行状態が楽譜を譜めくりするタイミングに達したかどうかに関わらず、表示制御情報を重畳的に含む重畳信号（又は音響信号のみ）を比較的に短い所定時間毎（例えば０．５秒毎）に放音する。すなわち、楽音再生装置は定期的に外部表示器の表示制御に係る情報を出力し続ける。その一方で、本実施形態における情報処理装置では受信した表示制御情報に基づいて楽譜の表示制御を行う。表示制御情報に基づく楽譜の表示制御としては、表示部１５に１段が複数小節からなる楽譜を複数段に分けて表示しておき、すべての小節の再生が終わった段の表示を順次更新することで、当該段に含まれる小節が再生される前に前記段の表示を完了しておくように各段毎に譜めくり制御する。これによれば、楽音の再生開始前であっても表示制御情報を取得して適切な楽譜を表示することができるので、ユーザは演奏開始前に手動で所望の楽譜をまたその演奏開始位置の楽譜を呼び出す操作をわざわざ行わなくても済む。

ここで、楽音再生態様に応じた楽譜制御処理と楽譜表示処理の各動作タイミングの一例を示すタイミングチャートを図９に示す。上から順に、楽音再生装置で再生中の楽曲の再生位置（小節番号）、楽音再生装置による表示制御情報の生成タイミング、情報処理装置で受信する表示制御情報の受信完了タイミング、情報処理装置が表示部１５に表示する楽譜位置（小節番号）を示している。

楽音再生装置の動作を説明すると、あるタイミング（時刻ｔ１）で表示制御情報（以下、単に情報と呼ぶ）を生成し送信する。情報ｔ１（ここでは各タイミングで生成される情報を区別するために便宜的に時刻を付す）の送信が終わると、すぐに次のタイミングｔ２で情報を生成し送信する。ここで、１つの表示制御情報を生成してこれを送信し終わるまでにΔｔだけの時間（例えば０．５秒）がかかるとすれば、情報ｔ１と情報ｔ２が送信される間隔はΔｔ時間である。楽音再生装置では、このΔｔ時間間隔で情報を次々に生成して送信する（ｔ３〜ｔ１１参照）。こうした情報の生成／送信は、通常再生中であろうと巻き戻しあるいは早送り操作中であろうと何ら関係なくΔｔ時間間隔で行われる。

他方、情報処理装置の動作を説明すると、楽音再生装置でのある情報の生成タイミングからΔｔ時間後に当該情報の受信が完了する。例えば、第１２小節の楽音再生中に楽音再生装置から送信された情報ｔ１の受信が完了するのは、時刻（ｔ１＋Δｔ）である。そして、情報ｔ１に含まれる小節番号は「１２」であることから、図６に示した表示制御テーブルによれば１段目が２ページ、２段及び３段目が１ページの楽譜が表示されることになる。情報ｔ１に続き受信される情報ｔ２〜情報ｔ４までに含まれる小節番号は「１２」であってそれぞれの直前情報の小節番号と変わらないことから、この間は楽譜を更新する表示制御が行われない。一方、情報ｔ５に含まれる小節番号は「１３」であってまた表示制御テーブルによれば２段目が「２ページ」と規定されており小節番号「１２」のときと比べて異なることから、この場合には１段及び２段目が２ページ、３段目が１ページの楽譜つまりは２段目が譜めくりされた楽譜に更新する表示制御が行われる。

これによれば、楽音再生装置から表示制御情報が発信されたΔｔ時間後には情報処理装置での表示制御が行われることとなり、従来技術のように演奏位置の解析のための時間を必要としないことから、早送りや巻き戻し操作によって連続しない位置に楽音の再生位置が移動した場合にも、従来に比べて早送りや巻き戻し操作が終わった後すぐに該当する範囲の楽譜を表示することができるようになる、という利点がある。例えば、図９において情報ｔ６の生成／送信開始後に第１３小節から第４小節までの巻き戻し操作が行われたとする。このときに、情報ｔ７及び情報ｔ８が巻き戻し操作中に生成／送信され、情報ｔ７においては巻き戻し操作に応じた楽音の再生位置が第１１小節であり、情報ｔ８においては巻き戻し操作に応じた楽音の再生位置が第７小節であったとする。すると、情報処理装置において受信された情報ｔ７に含まれる小節番号は「１１」であることから、表示制御テーブルによれば１段目が２ページ、２段及び３段目が１ページの楽譜が再度表示される。情報ｔ７に続き受信される情報ｔ８に含まれる小節番号は「７」であるが、表示制御テーブルによれば小節番号「１１」のときと同じ規定であるので表示制御を行わず、現状表示である１段目が２ページ、２段及び３段目が１ページの楽譜の表示が維持されることになる。そして、第４小節までの巻き戻し操作が終了して通常再生に戻ってから生成・送信される情報ｔ９に含まれる小節番号は「４」であるので、表示制御テーブルによれば１段目〜３段目の全てが１ページの楽譜が表示される。このように、巻き戻し操作が終わった直後に生成された情報ｔ９により、情報処理装置では時刻(ｔ９＋Δｔ)にて巻き戻し操作後の小節番号４に対応した楽譜が表示される。時間Δｔは０．５秒ほどの短い時間であるから、巻き戻し操作後すぐに演奏位置に対応した楽譜が表示されることとなる。

また、これにあわせて楽譜の表示更新を段毎に行うようにすることで、情報処理装置において楽音再生装置から放音された重畳信号の受信状況が悪い場合に生ずる悪影響をできる限りにおいて最小限にとどめることができる。例えば、図９において情報ｔ３〜情報ｔ５までが受信できなかった場合、これらの情報が正しく受信できていれば情報ｔ５の受信完了に応じてそれ以降は２段目が２ページに譜めくり制御された楽譜を表示するはずが、正しく受信できた時刻ｔ２に含まれていた小節番号「１２」に対応した１段目が２ページ、２段及び３段目が１ページの楽譜が表示され続けることになる。しかし、図３に示すように小節番号「１２」に対応する楽譜表示では、既に３段目に第１３小節目の楽譜が表示済みである。そのため、例え情報ｔ５までが受信できずに直ちに小節番号「１３」に対応した楽譜を表示できなくとも、情報ｔ６が受信できた時点で小節番号「１３」に対応した楽譜を表示できるので、例えばユーザが楽音再生にあわせて楽譜を見ながら演奏練習等を行うのに何ら問題ない。

なお、図３に示すとおり、情報表示装置の表示部１５には受信インジケータＪが表示されるので、この受信インジケータＪの点灯状態により音響信号（または重畳信号）が受信できている状況であるか又は受信できていない状況であるかをユーザが楽音再生開始前などの早期に把握できる。受信状況が悪い場合、例えば楽音再生装置からの音響信号の放音または情報処理装置での集音を妨げる障害物がある場合などには、その障害物を撤去したりあるいは受信状況のよい場所に情報処理装置を移動するなどの、受信状況を改善するための行動をユーザが取ることができる。

さらに、楽音再生テンポの変更による影響を受けにくく常に正確な位置の楽譜が表示され有利である、という利点もある。ここで、楽音の演奏テンポに応じた楽譜制御処理と楽譜表示処理の各動作タイミングの一例を示すタイミングチャートを図１０に示す。

楽音再生装置では、楽音再生テンポに影響されることなくΔｔ間隔毎に情報を生成／送信する。説明を理解し易くするために、ここでは例えば第１２小節から第１３小節までの楽音再生テンポが一時的に速められる一方で、第１４小節から第１５小節までの楽音再生テンポが一時的に遅くされている。図１０から理解できるように、楽音再生テンポが速められた場合にはテンポが速められる前に比べて、１小節分の楽音が再生される間に情報を送信する回数が減少する。例えば、テンポが速められる前までの第１２小節から第１３小節までの楽音再生中には情報ｔ１〜情報ｔ４まで情報を４回送っているが、テンポが速められた後の第１３小節から第１４小節までの楽音再生中には情報ｔ５の１回だけ送られる。しかし、情報を送る時間間隔（Δｔ）は１秒未満の短い時間であると、テンポが速められたとしても１小節の楽音再生中に楽譜更新を行うのに十分なだけの情報が送られる。具体的には、テンポ１２０で４拍子の楽音を再生する場合には、情報を送る時間間隔が例えば０．５秒だとすると、１小節あたりに情報を３〜４回程度送ることができる。他方、テンポが遅くされた場合には、単に同じ情報が所定の時間間隔（Δｔ）毎に繰り返し送られるだけであることから、楽譜の表示制御上何ら問題ない。このように、演奏データからテンポを取得して演奏位置を抽出する従来技術では、少なくとも直前の何拍分かの演奏を解析して拍を抽出する必要があるので時間がかかるが、本実施形態ではテンポ情報を取得して楽譜の表示制御を行うのではなく、表示制御のための情報として定期的に「いま何小節目を再生中か」を表す小節番号を取得して楽譜の表示制御を行うようにしているので、楽音再生テンポが変更された場合であっても追従性よく楽譜の表示制御を行うことができる。

以上、図面に基づいて実施形態の一例を説明したが、本発明はこれに限定されるものではなく、様々な実施形態が可能であることは言うまでもない。例えば、上述した楽譜制御処理プログラムや楽譜表示処理プログラムはコンピュータソフトウェアの形態に限らず、DSP（ディジタル・シグナル・プロセッサ）によって処理されるマイクロプログラムの形態でも実施可能であり、またこの種のプログラムの形態に限らず、ディスクリート回路又は集積回路若しくは大規模集積回路等を含んで構成された専用のハードウェア装置の形態で実施してもよい。
なお、上述した実施例では、重畳信号や音響信号をスピーカを通じて放音させる一方でそれらの信号をマイクにより受信することにより外部表示器（情報処理装置の表示部１５）に表示された楽譜の譜めくり制御を行うものを例に示したがこれに限らず、重畳信号や音響信号の前記楽音再生装置と前記情報処理装置間の送受信は有線によってもよい。

なお、上述した実施例では、音響信号を楽音信号に重畳した信号をスピーカから放音するようにしたが、これに限らず、楽曲再生装置から発するあらゆる音（たとえばマイク入力された歌唱音声や、設定操作子を操作した際の操作音、エラー発生時の報知音など）も一緒にスピーカから放音されてよい。つまり、音響信号がスピーカから出力されてさえいれば、その他にどのような音がスピーカから出力されてもかまわない。
なお、表示部１５の表示制御は段ごとの譜めくり制御に限らず、例えば１小節ごと、複数小節ごと、複数段ごと、半ページごとなど、楽譜の一部を順に更新する表示制御であるならばどのようなものであってもよい。
なお、再生位置情報は、小節番号でなくてもよい。小節/拍/クロックを表すMIDI情報でもよいし、曲の先頭からの経過時間を分/秒/ミリ秒などの絶対時間で表したものでもよい。また、楽曲データはMIDIデータでなくてもオーディオデータでもよく、その場合は再生位置情報を上記したような絶対時間とするのがよい。

上述した実施例では、曲ＩＤ及び小節番号を含むデジタルの表示制御情報を生成しこれを変調して音響信号に変換する例を示したがこれに限らず、例えば曲ＩＤ及び小節番号に対応した音響信号を予め用意しておき、抽出した曲ＩＤ及び小節番号に対応した音響信号を読み出すことによって前記表示制御情報を音響信号に変換するようにしてもよい。この場合、情報処理装置では、音響信号と曲ＩＤ及び小節番号との対応を記した変換テーブルを予め記憶しておき、受信した音響信号に基づいて前記変換テーブルを照合することにより、曲ＩＤ及び小節番号を抽出するようにするとよい。
なお、外部表示器（情報処理装置の表示部１５）に表示される表示コンテンツは、五線譜、タブ譜、コード譜などの楽譜の他、歌詞や演奏操作子の運指指示など、楽音の再生進行にあわせて表示を切り替える必要のあるものであればどのようなものであってもよい。また、表示コンテンツは画像データやテキストデータなどどのようなデータ形式であってもよい。

１，１１…ＣＰＵ、２，１２…ＲＯＭ、３，１３…ＲＡＭ、４…演奏操作子、５，１５…表示部、６…設定操作子、７…音源部、８，１７…記憶装置、９，１８…通信インタフェース、１４…入力操作部、１６…音声入力部（マイク）、Ｄ，１Ｄ…データ及びアドレスバス、Ａ…楽曲データ取得部、Ｂ…曲情報取得部、Ｃ…表示制御情報生成部、Ｄ…楽音信号再生部、Ｅ…変調制御部、Ｆ…復調部、Ｇ…表示制御部

Claims (8)

1. 複数の楽曲データを記憶する記憶手段と、
   前記記憶した楽曲データのいずれかを取得する取得手段と、
   前記取得した楽曲データの再生位置を進行させる再生手段と、
   可聴帯域の信号を外部出力する信号出力手段と、
   前記取得した楽曲データの曲情報と前記楽曲データの再生位置を表す再生位置情報とを少なくとも含んでなる表示制御情報を生成する生成手段と、
   前記表示制御情報の生成に応じて、当該表示制御情報を可聴帯域の高帯域からなる音響信号に変換し、該音響信号を前記出力手段から出力するよう制御する制御手段と
   を備える楽音再生装置。
2. 前記制御手段は、前記取得した楽曲データの再生中であるか否かに関わらず常に前記音響信号を出力することを特徴とする請求項１に記載の楽音再生装置。
3. 前記生成手段は、前記表示制御情報を所定の時間間隔毎に生成することを特徴とする請求項１又は２に記載の楽音再生装置。
4. 前記生成手段による前記表示制御情報の生成の有無を設定する設定手段をさらに備えることを特徴とする請求項１乃至３のいずれかに記載の楽音再生装置。
5. 複数ページからなる表示コンテンツを多数記憶するコンテンツ記憶手段と、
   表示コンテンツを表示する表示手段と、
   可聴帯域の信号を取得する信号取得手段であって、当該信号取得手段は楽曲データの曲情報と楽曲データの再生位置情報とを含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得するものと、
   前記取得した音響信号に含まれる表示制御情報から曲情報と再生位置情報とを抽出する抽出手段と、
   前記抽出した曲情報に対応する表示コンテンツを前記記憶された多数の表示コンテンツの中から特定する特定手段と、
   前記抽出した再生位置情報に応じて前記特定した表示コンテンツの表示ページを決定し、該表示ページに基づき前記表示手段に表示する表示コンテンツの表示態様を更新する表示制御を行う表示制御手段と
   を備える情報処理装置。
6. 前記表示制御手段は表示手段を複数の表示領域に分けて表示コンテンツを表示するものであって、該表示制御手段は、前記表示手段の一部領域毎に順にページを変える譜めくり制御を行うことを特徴とする請求項５に記載の情報処理装置。
7. コンピュータに、
   複数の楽曲データのいずれかを取得する手順と、
   前記取得した楽曲データの再生位置を進行させる手順と、
   前記取得した楽曲データの曲情報と前記楽曲データの再生位置を表す再生位置情報とを少なくとも含んでなる表示制御情報を生成する手順と、
   前記表示制御情報の生成に応じて、当該表示制御情報を可聴帯域の高帯域からなる音響信号に変換し、該音響信号を前記出力手段から出力するよう制御する手順と
   を実行させるプログラム。
8. コンピュータに、
   楽曲データの曲情報と楽曲データの再生位置情報とを含む表示制御情報を変換した可聴帯域の高帯域からなる音響信号を取得する手順と、
   前記取得した音響信号に含まれる表示制御情報から曲情報と再生位置情報とを抽出する手順と、
   前記抽出した曲情報に対応する複数ページからなる表示コンテンツを予め記憶された多数の表示コンテンツの中から特定する手順と、
   前記抽出した再生位置情報に応じて前記特定した表示コンテンツの表示ページを決定し、該表示ページに基づき前記特定した表示コンテンツの表示態様を更新する表示制御を行う手順と
   を実行させるプログラム。

Images