JP2008262043A - 特定区間抽出装置、音楽記録再生装置、音楽配信システム - Google Patents

Abstract

【課題】楽曲コンテンツからサビ部分等の特定区間を効率的に抽出することができる特定区間抽出装置を提供する。
【解決手段】楽曲データの音声信号レベル又はその変化量が所定値以上である時点をカット点として検出するカット点検出部と、検出されたカット点の間隔の組み合わせ又はカット点の時刻の分布が類似する区間を特定区間として抽出する抽出部を備える。抽出部は、楽曲データの音声信号レベル又は音声信号レベルの変化量が楽曲内で最大である時点の前後区間を仮の特定区間候補とし、特定区間候補の前後区間と、カット点の間隔の組み合わせ又はカット点の時刻の分布が類似する区間が存在するとき、特定区間候補を特定区間として抽出してもよい。
【選択図】図２

Description

本発明は、楽曲データからサビ区間等の特定区間を抽出する装置に関する。

昨今、ＨＤＤ等の大容量記録媒体を搭載し、様々な楽曲コンテンツを記録／再生することができる記録装置が多々開発されている。

楽曲コンテンツを検索する際には、楽曲コンテンツ（のヘッダ領域など）に含まれる楽曲情報をキーワードにして行うことができる。しかし、ＦＭラジオ等でオンエアされた楽曲コンテンツなど、楽曲情報が付与されない楽曲コンテンツを記録装置に記録することもある。このような場合、キーワードによる検索ができないので、コンテンツを順次再生しながら検索していく必要がある。そこで、検索時間を短縮するために、各楽曲コンテンツの一部分ずつを自動的に順次再生できるような記録装置が望まれる。

そのためには、楽曲コンテンツから一部分を自動的に抽出する技術が必要であり、例えば特許文献１に開示されている楽曲自動分割方法を用いることができる。この楽曲自動分割方法は、楽曲コンテンツを短い区間に細分化して相互の類似度を算出し、隣接する区間で類似度が大きく変化した点を、楽曲の分割点として抽出するものである。これにより、楽曲コンテンツの一部分を自動的に抽出することができる。
特開２００６−１６３０６３号公報

しかし、特許文献１に記載のような方法を用いて楽曲コンテンツの一部分を自動的に抽出できたとしても、さほど特徴的でない部分（例えば、Ａメロ、Ｂメロなど）が抽出されてしまう場合もある。そのような部分を聞いても、ユーザは自分が探している楽曲であると認識できない可能性がある。そこで、単に各楽曲コンテンツの一部分ずつを順次再生できるだけではなく、各楽曲コンテンツのサビ部分を順次再生できるような記録装置が望まれる。

本発明は、斯かる問題に鑑みてなされたものであり、楽曲コンテンツからサビ部分等の特定区間を効率的に抽出することができる、特定区間抽出装置を提供することを目的とする。

上記目的を達成するために本願発明の特定区間抽出装置は、楽曲データの音声信号レベル又はその変化量が所定値以上である時点をカット点として検出するカット点検出部と、検出されたカット点の間隔の組み合わせ又はカット点の時刻の分布が類似する区間を特定区間として抽出する抽出部を備えることを特徴とする。

楽曲コンテンツ中の「サビ」部分は、楽曲コンテンツ中に複数回存在する可能性が高いと考えられる。このような性質を利用して、上記の特定区間抽出装置は、サビ部分等の特定区間を効率的に抽出することができる。

ところで、サビ部分では、音声信号が大きいことが多い。したがって、楽曲の最初から類似区間の有無を順に検索していくよりも、まず音声信号の大きい部分から検索した方が、サビ部分が効率的に検索できるものと考えられる。

そこで、好ましくは、前記抽出部は、楽曲データの音声信号レベル又は音声信号レベルの変化量が楽曲内で最大である時点の前後区間を仮の特定区間候補とし、前記特定区間候補の前後区間と、カット点の間隔の組み合わせ又はカット点の時刻の分布が類似する区間が存在するとき、前記特定区間候補を特定区間として抽出するのがよい。

また、コンテンツ記録時のノイズ混入により音声信号レベルが高くなる場合もある。この場合に、単に音声信号レベルの大小に基づいてサビ部分を抽出しようとすると、ノイズ部分が誤って抽出される恐れがある。そこで、カット点の間隔の組み合わせ等が類似する他の区間が存在を確認してから、その部分を特定区間として抽出するようにすれば、ノイズが混入した場合でも正しくサビ部分等の特定区間を抽出することができる。

好ましくは、前記抽出部は、前記特定区間候補の前後区間と、カット点の間隔の組み合わせ又はカット点の時刻の分布が類似する区間が存在しないとき、楽曲データの音声信号レベル又は音声信号レベルの変化量が楽曲内で２番目に大きい時点の前後区間を仮の特定区間候補とし、前記特定区間候補の前後区間と、カット点の間隔の組み合わせ又はカット点の時刻の分布が類似する区間が存在するとき、前記特定区間候補を特定区間として抽出する。

音声信号レベルが高い区間と類似する区間が存在しない場合にサビ抽出処理を終了してしまうのではなく、２番目に音声信号レベルが高い区間をサビ候補とする。これにより、サビ部分を検出できる確率を向上させることができる。また、仮に２番目に音声信号レベルが高い区間が本来のサビではなかったとしても、音声信号の大きな箇所は、ユーザの印象に残っている可能性が高い。このことから、特に楽曲コンテンツの一部分ずつを自動的に順次再生させるような用途に用いる場合は、このような特定区間抽出装置は非常に有用である。

本発明の特定区間抽出装置によれば、楽曲コンテンツからサビ部分等の特定区間を効率的に抽出することができる。

以下、本発明をその実施の形態を示す図面に基づいて説明する。図１は、本発明の実施の形態に係る記録再生装置の構成図である。この記録再生装置は、ＦＭラジオ放送等の放送信号をＨＤＤ（ハードディスクドライブ）１０へ記録していく。これと並行して、放送信号に含まれている楽曲データ部分を検出する。更に楽曲データ中のサビ区間の抽出を行い、サビ区間データをＨＤＤ１０へ記録していく、といった機能を有している。

チューナ部１は、受信したＦＭラジオ放送等の放送信号を、選局して受信して音声信号に復調する。Ａ／Ｄ変換器２は、チューナ部１により選択されたアナログの音声信号をデジタル信号に変換する。

ＭＰ３（MPEG Audio Layer-3）コーデック３は、デジタル音声データを符号化し、データ圧縮した符号化データを生成して時刻情報とペアで出力するエンコーダ機能と、符号化データを復号するデコーダ機能とを有する。Ｄ／Ａ変換器４は、ＭＰ３コーデック３にて復号されたデジタル音声データをアナログ信号データに変換する。そして、このアナログ信号データは、図時省略したアンプを介してスピーカ５に入力される。

ＤＳＰ７は、音声信号に基づいて、音声信号レベルを検出するため音声信号の振幅値を二乗した音声パワーを算出する。また、ＤＳＰ７は、音声信号レベルの変化量を検出するため音声パワーの変化量を算出する。また、ＤＳＰ７は、音声パワーの変化量が所定値以上となるタイミングをカット点と定義して検出する。また、ＤＳＰ７は、カット点近傍においてのみの周波数領域の特徴量、例えばＭＦＣＣを算出する。そして、算出されたＭＦＣＣと、予め外部メモリ１１に記憶されているサンプル音声信号に基づいて算出されたＭＦＣＣとの尤度を算出する。ここで尤度とは、楽曲に対する尤度のことである。

ＣＰＵ８は、バス６を介して記録再生装置の動作を制御する。また、ＤＳＰ７で検出されたカット点の時刻情報を用いて、放送信号から楽曲区間を検出する。更に、検出した楽曲データからサビ区間の抽出を行う。

ＨＤＤ１０は、例えばＡＴＡインタフェースを実現するＨＤＤインタフェース部９を介して符号化データと時刻情報とを記録する大容量記録装置である。メモリ１１は、実行プログラムを展開し、演算処理により生じるデータを一時記憶すると共に、ＡＤ変換直後の音声データを一定期間遅延する機能を持っている。なお、ＭＰ３コーデック３、ＤＳＰ７、ＣＰＵ８、ＨＤＤインタフェース部９及びメモリ１１は、バス６を介して各種のデータを互いに授受する。

（放送信号に含まれている楽曲データ部分を検出する処理の説明）
この記録再生装置は、最終的には、放送信号から楽曲のサビ区間を抽出するものであるが、まず、放送信号から楽曲データ部分を検出する処理の手順を説明する。

図２は、本実施形態の記録再生装置の機能ブロック図である。この記録再生装置は、チューナ１で選局された音声信号を、Ａ／Ｄ変換器２に入力してデジタルに変換した後、時刻情報とともにＭＰ３コーデック３に入力しMP3データに入力しMP3データに圧縮符号化して時刻情報とペアで録音期間中、HDDインタフェース部９を介してＨＤＤ１０に継続的に記録する。

Ａ／Ｄ変換器２からのデジタル音声データをＤＳＰ７の処理に要する時間分だけ遅延する遅延メモリ１１ａに記憶するとともに、ＤＳＰ７内の音声パワー算出部７１にて音声信号レベルに相当する音声パワー即ち、音声信号の振幅の二乗値を算出する。

ＤＳＰ７内のカット点検出部７２では、音声信号から楽曲に相当する区間を特定するため、音声信号レベルの変化が大きいタイミング、即ち音声パワー値の変化量が所定値より大きいタイミングをカット点として検出して、検出出力を発する。同時にカット点における時刻情報とその変化量を一時記憶メモリ１１Ｃに記憶する。

図３は、カット点検出部７２の動作を説明するための波形図である。図３（ａ）は、音声パワー値の変化を、図３（ｂ）は変化量（微分値）の変化を、それぞれ示している。図３に示すように、カット点検出部７２は音声パワー算出部７１にて算出された音声パワー値に基づいて、その微分値が所定の閾値より大きい極大点となる時刻Ｔｍ、Ｔｍ＋１をカット点として検出する。そして、その検出結果を、周波数特徴量算出部７３に入力する。

周波数特徴量算出部７３では、遅延メモリ１１ａから所定時間遅延されて出力される音声データを、カット点検出部７２からの出力に同期して、カット点に僅か先行するタイミングからカット点より僅か遅れたタイミングにおける微小期間において一時的にＭＦＣＣ等の周波数の特徴量を算出して尤度算出部７４に入力する。

本実施例では、楽曲と話し声とは周波数特徴量が異なることに着目して、典型的な楽曲の周波数特徴量と話し声の周波数特徴量を、比較に際して基準データとして外部メモリ１１ｂに予め記憶している。従って、ＤＳＰ内の尤度検出部７４は、周波数特徴量算出部７３から入力されるカット点前後の特徴量算出出力と、基準データとの尤度を算出し、その尤度算出出力を、ＣＰＵ８内のカット点判定部８１に入力する。

なお、尤度算出に際しては、基準データと比較により尤度を求める前述の方式に代えて、周波数特徴量をあらかじめ設定した評価関数に代入して尤度を求めることにより、楽曲である可能性を算出する方法もあり、必ずしも外部メモリ１１ｂに記憶された基準データと比較する必要はない。

次に、カット点判定部８１は、尤度算出出力に基づいてカット点における音声信号が音楽か話し声かを判定する。カット点検出部７２より得た時刻情報と変化量が記憶されている一時記憶メモリ１１Ｃには、更に判定結果が関連付けて記憶される。

図４は、上記のような判定結果が関連付けて記憶されている一時記憶メモリ１１Ｃのテーブルを示している。

時間長判定部８３は、楽曲が所定時間たとえば１００秒以上継続するということ経験的に見出しており、話し声のサンプリング点間隔が１００秒未満の場合、その間のサンプリング点が楽曲と判定された場合でも、当該区間は楽曲とはみなさないことにしており、話し声即ち楽曲以外と判定されたサンプリング点間の間隔を測定し、１００秒以上の区間を楽曲区間として判定している。

時間長判定部８３から得られる判定出力を入力する楽曲区間検出部８２は、一時記憶メモリ１１Ｃのテーブルを書換え、楽曲毎のテーブル（最終テーブル）に変更する。

図５は、一時記憶メモリ１１Ｃで書き換えられた最終のテーブルを示す図である。この最終のテーブルでは、Ｔ６が一旦楽曲と判定されたが話し声と判定された前後のサンプリング点Ｔ５とＴ７の間隔が短いことを理由に、楽曲とはみなされなかったので、テーブルから削除されたということが示されている。

この最終のテーブルは、録音動作が終了した時点で、楽曲区間検出部８２を経由して、ＨＤＤインタフェース部９へ供給され、更にＨＤＤ１０に記憶される。

尚、最終テーブルは、楽曲の始点と終了点以外に、中間のカット点や、変化量を残したまま、ＨＤＤ１０に記録されているが、再生に際してサビ部分を再生する目的で利用される。

ＨＤＤ１０に記録されている符号化データは、編集再生操作に応じて最終テーブルに特定された楽曲区間にのみ対応する符号化データを順次読み出し、ＭＰ３コーデック３に入力される。ＭＰ３コーデック３は、符号化データを復号し、Ｄ／Ａ変換器４にて音声信号に変換された後、スピーカ５から出力される。これにより、会話等を含んだ音声信号から、楽曲だけを検出し、楽曲を抽出して再生することができる。

極大点検出部８４は、楽曲区間中で音声パワーが大きい時刻を検出する。具体的には、音声パワー算出部７１で算出された音声パワー値と、楽曲区間検出部８２により抽出された楽曲区間の時刻情報を利用して、楽曲区間中で音声パワーが大きい時刻を特定する。そして、音声パワーが大きい複数の時点の時刻（例えば音声信号の大きい時点ベストテンの時刻）をＨＤＤ１０に記録する。

以上まで動作により、ＨＤＤ１０には、（１）ＭＰ３コーデック３により符号化された放送信号データ、（２）楽曲区間検出部８２により検出された楽曲区間の始点時刻、終点時刻、及びカット点時刻の情報、（３）楽曲区間検出部８２により検出された楽曲区間のうち、音声パワーが高い時刻の情報、が記録される。

なお、上記例では、１つの楽曲データ中にカット点が３つ程度しか含まれていないが（図４、図５）、これはあくまでも説明のためのものであって、一例にすぎない。また、後述するサビ区間抽出のためには、カット点の数はこれよりも多いほうが好ましいので、実際には１つの楽曲中に数十個程度カット点が検出されるように、閾値を設定するのが好ましい。

（楽曲データ部分からサビ区間を抽出する処理の説明）
次に、楽曲データ部分からサビ区間を抽出する処理についての説明を行う。

サビ区間検出部８５は、まず、ＨＤＤ１０から、楽曲区間内のカット点時刻の情報、楽曲区間中音声パワーが高い時刻の情報を読み出す。そして、これらの情報を使って、楽曲区間内に良く似たメロディの箇所が複数箇所あるかどうかを調べる（サビ部分は通常、楽曲内に複数回登場するという知見に基づく）。具体的には、カット点の間隔の組み合わせが類似する区間があるかどうかを調べることで、メロディの類似区間の有無を推定する。そして、メロディの類似区間が存在することが検出できれば、その区間をサビ区間として検出する。

図６を参照して、サビ区間検出部８５が行う処理の具体的な手順を説明する。まず、楽曲区間中、音声パワーが最も大きな時刻情報をＨＤＤ１０から取得する（ここでは、この時刻をＴ_ｍａｘとする）。次に、時刻Ｔ_ｍａｘ前後に存在する複数のカット点の時刻情報をＨＤＤ１０から取得する。例えば、ここではｃ_４、ｃ_５、ｃ_６、ｃ_７、ｃ_８の５つのカット点の情報が取得される。そして、ｃ_４〜ｃ_８間の楽曲データ（図６の「区間Ａ」）をサビ候補区間とまず仮定する。このような音声パワーが大きい区間をサビ候補と仮定するのは、楽曲コンテンツ中、音声パワーが大きい箇所はサビ部分である可能性が高い、という知見に基づくものである。

次に、区間Ａに類似する区間が、楽曲コンテンツ内に存在するかどうかを調べる。具体的には、まず、区間Ａ内のカット点群の時間間隔（interval）を算出する。ここでは、Ｉ＝｛ｉ_１, ｉ_２, ｉ_３, ｉ_４｝（但し、ｉ_ｎ＝Ｔ(ｃ_ｎ＋４)−Ｔ(ｃ_ｎ＋３)であり、Ｔ(ｃ_ｎ)はカット点ｃ_ｎの時刻である）が算出される。

そして、カット点の間隔の組み合わせが前記Ｉと類似するカット点群が楽曲コンテンツ中に存在するかどうかを調べる。例えば、図６の例においては、
Ｄ_ｎ＝(ｉ_１−ｉ_ｎ)＾２＋(ｉ_２−ｉ_ｎ＋１)＾２＋(ｉ_３−ｉ_ｎ＋２)＾２
＋(ｉ_４−ｉ_ｎ＋３)＾２ （ｎ＝５,６,７,…,）
但し、ｉ_ｎ＝Ｔ(ｃ_ｎ＋４)−Ｔ(ｃ_ｎ＋３)
を順次計算していく。そして、所定値よりも小さいＤ_ｎが存在する場合、前記の区間Ａとカット点ｃ_ｎ＋３〜ｃ_ｎ＋７の区間が、区間Ａに類似する区間であると判断する。図６の例では、ｃ_１２〜ｃ_１６の区間（「区間Ｂ」）が、区間Ａに類似する区間であると判断される。このように、サビ候補区間と類似する区間（区間Ｂ）が発見できた場合、サビ候補区間（区間Ａ）を真のサビ区間であると検出する。

上記の手順によるサビ区間検出は以下の点で優れている。
（１）：サビ部分では、音声信号が大きいことが多い。したがって、楽曲の最初から類似区間の有無を順に検索していくよりも、上記のようにまず音声信号の大きい部分から検索するようにすれば、サビ部分が効率的に検出できる。
（２）：コンテンツ記録時のノイズ混入により音声信号レベルが高くなる場合もある。この場合、単に音声信号レベルの大小に基づいてサビ部分を抽出しようとすると、本来サビではない部分が抽出される恐れがある。そこで、上記のように、カット点の間隔の組み合わせが類似する他の区間の存在を確認してはじめて、そこをサビ部分と特定するようにすれば、ノイズが混入した場合でもサビ部分を正しく検出できる。

なお、上記例において、所定値よりも小さくなるようなＤ_ｎが存在しなかった場合、区間Ａと類似する区間は存在しないと判断する。即ち、区間Ａはサビ区間ではないと判断する。この場合、サビ区間検出部８５は、楽曲区間中、音声パワーが２番目に大きな時刻情報をＨＤＤ１０から取得する。その後、上記説明と同様の手順でサビ区間の検出を行う。

サビ区間抽出部８６は、サビ区間検出部８５にて検出されたサビ区間の時刻情報等に基づいて、ＭＰ３コーデック３によりデコードされた楽曲データからサビ区間を抽出する。サビ区間抽出部８６により抽出されたサビ区間の音声信号は、スピーカ等により出力される。或いは、ＨＤＤ１０にサビ区間音声データとして記録するようにしても良い。

以上のような手順により、楽曲データからサビ区間の抽出を行うことができる。

（音楽記録再生装置、音楽配信システムへの適用）
上記のような手順で抽出された、サビ区間の音声データをＨＤＤに記録しておくと、様々な用途、応用例が考えられる。
（１）：ユーザは、サビ部分を順次再生していくことで効率的に所望の楽曲を検索することができる。
（２）：サムネイル形式で楽曲を一覧表示させ、楽曲のアイコンをクリックすると、楽曲のサビ部分が再生されるような音楽記録再生装置が実現できる。
（３）：アイコンのクリック等により選択された楽曲を購入することができる音楽配信システムが実現できる。通常、音楽配信システムを利用して楽曲を購入する場合、ユーザは所定の対価を支払う必要があるが、サビ部分データを所有している場合は、ユーザは通常よりも安価に楽曲を購入することができる、といったビジネスモデルが構築できる。

また、本実施の形態では、ＤＳＰ７とＣＰＵ８とで機能分散しているが、特にこれに限定されるものではなく、ＣＰＵ８のみで両機能を実現しても良いし、Ａ／Ｄ変換器２、ＭＰ３コーデック３、及びＤ／Ａ変換器４の機能も含めて、全てＣＰＵ８によりソフトウェア処理する構成であっても良い。

さらに、本発明は上記実施形態に限定されるものではなく、特許請求の範囲内の記載であれば多種の変形、置換等が可能であることは言うまでもない。

例えば、上記実施形態では、カット点の間隔の組み合わせが類似する区間を特定区間として抽出したが、カット点の時刻の分布が類似する区間を特定区間として抽出しても良い。

また、上記では音声信号が大きく変化する時点をカット点であると定義したが、音声信号の大きさが所定値よりも大きな時点をカット点としても良い。

また、楽曲に抑揚が比較的少ないような場合は、検出されるカット点の数が非常に少ない場合が考えられる。その結果、上記のようなカット点ベースによる類似区間の有無判定が行えないことが考えられる。具体的には、（１）カット点の数が少なすぎて類似判定自体が行えない可能性、（２）サンプル数としてのカット点の数が少ないため、サビ区間が誤検出されてしまう可能性、の２つが考えられる。このような場合、カット点と認定するための所定の閾値を低く設定しても良い。

即ち、（１）楽曲データ内のカット点の数が所定数よりも少ない場合はカット点と認定するための閾値を低くする、（２）サビ区間が検出できなかった場合は、２番目に大きな音声パワーの前後区間をサビ区間候補とするのではなく、カット点の再検出を行う（カット点の閾値を下げる）ような処理を行っても良い。

本発明の実施の形態に係る記録再生装置の構成図である。 本実施の形態に係る記録再生装置の機能ブロック図である。 カット点検出部７２の動作を説明するための波形図である。 一時記憶メモリ１１Ｃのテーブルである。 一時記憶メモリ１１Ｃで書き換えられた最終のテーブルを示す図である。 検出されたカット点の間隔の組み合わせが類似する区間を特定する処理を説明するための図である。

符号の説明

１ チューナ部
２ Ａ／Ｄ変換器
３ ＭＰ３コーデック
４ Ｄ／Ａ変換器
５ スピーカ
６ バス
７ ＤＳＰ
８ ＣＰＵ
９ ＨＤＤインタフェース部
１０ ＨＤＤ
１１ メモリ

Claims (7)

1. 楽曲データの音声信号レベル又はその変化量が所定値以上である時点をカット点として検出するカット点検出部と、
   検出されたカット点の間隔の組み合わせ又はカット点の時刻の分布が類似する区間を特定区間として抽出する抽出部を備える特定区間抽出装置。
   
2. 前記抽出部は、楽曲データの音声信号レベル又は音声信号レベルの変化量が楽曲内で最大である時点の前後区間を仮の特定区間候補とし、
   前記特定区間候補の前後区間と、カット点の間隔の組み合わせ又はカット点の時刻の分布が類似する区間が存在するとき、前記特定区間候補を特定区間として抽出する請求項１記載の特定区間抽出装置。
   
3. 前記抽出部は、
   前記特定区間候補の前後区間と、カット点の間隔の組み合わせ又はカット点の時刻の分布が類似する区間が存在しないとき、楽曲データの音声信号レベル又は音声信号レベルの変化量が楽曲内で２番目に大きい時点の前後区間を仮の特定区間候補とし、
   前記特定区間候補の前後区間と、カット点の間隔の組み合わせ又はカット点の時刻の分布が類似する区間が存在するとき、前記特定区間候補を特定区間として抽出する請求項２記載の特定区間抽出装置。
   
4. 請求項１ないし３のいずれかに記載の特定区間抽出装置を備え、
   前記抽出部が抽出した特定区間に係る楽曲データを特定区間データとして記録する記録部を備えることを特徴とする、音楽記録再生装置。
   
5. 前記記録部は、
   記録する特定区間データに係る楽曲の情報を楽曲リストとして一覧表示させる表示部と、
   前記表示部に表示された楽曲リストから楽曲を選択させる選択部と、
   前記選択部で選択された楽曲に係る特定区間データを再生する再生部を更に備えることを特徴とする、請求項４記載の音楽記録再生装置。
   
   
6. 前記選択部で選択された楽曲に係る情報を外部に送信する送信部を更に備えることを特徴とする、請求項５記載の音楽記録再生装置。
   
7. 請求項６記載の音楽記録再生装置と、前記音楽再生装置との通信が可能な音楽蓄積
   装置を含む音楽配信システムであって、
   前記音楽蓄積装置は、
   楽曲データを記憶する記憶部と、
   前記音楽記録再生装置から送信された楽曲に係る情報を受信する受信部と、
   受信した前記楽曲の全曲データを記憶部から抽出する全曲データ抽出部と、
   抽出された全曲データを前記音楽記録再生装置へ送信する送信部と、を備えたことを特徴とする、音楽配信システム。