[go: up one dir, main page]

JP2014010275A - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
JP2014010275A
JP2014010275A JP2012146545A JP2012146545A JP2014010275A JP 2014010275 A JP2014010275 A JP 2014010275A JP 2012146545 A JP2012146545 A JP 2012146545A JP 2012146545 A JP2012146545 A JP 2012146545A JP 2014010275 A JP2014010275 A JP 2014010275A
Authority
JP
Japan
Prior art keywords
section
information processing
music
unit
time length
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2012146545A
Other languages
English (en)
Inventor
Yasushi Miyajima
靖 宮島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2012146545A priority Critical patent/JP2014010275A/ja
Priority to US13/894,552 priority patent/US20140000442A1/en
Priority to CN201310271851.5A priority patent/CN103531219A/zh
Publication of JP2014010275A publication Critical patent/JP2014010275A/ja
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/061Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of musical phrases, isolation of musically relevant segments, e.g. musical thumbnail generation, or for temporal structure analysis of a musical piece, e.g. determination of the movement sequence of a musical work
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/131Library retrieval, i.e. searching a database or selecting a specific musical piece, segment, pattern, rule or parameter set
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/121Musical libraries, i.e. musical databases indexed by musical parameters, wavetables, indexing schemes using musical parameters, musical rule bases or knowledge bases, e.g. for automatic composing methods
    • G10H2240/151Thumbnail, i.e. retrieving, playing or managing a short and musically relevant song preview from a library, e.g. the chorus

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Auxiliary Devices For Music (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

【課題】楽曲の音楽的展開を可能な限り維持しつつ、不連続点に起因する不自然さを生み出さないように、楽曲の短縮バージョンを生成することのできる仕組みを提供すること。
【解決手段】原曲に含まれる複数の区間の各々について、前記原曲内で時間的に隣接する隣接区間及び当該隣接区間と同じ属性を有する代替区間を探索することにより、複数の区間シーケンスを生成する探索部と、前記複数の区間シーケンスから少なくとも1つの区間シーケンスを選択する選択部と、を備える情報処理装置を提供する。
【選択図】図1

Description

本開示は、情報処理装置、情報処理方法及びプログラムに関する。
従来、例えば楽曲配信サービスにおいて、ユーザによる楽曲の購入の判断を支援するために、最終的に販売されるバージョンとは別に、試聴のための短縮バージョンがユーザに提供されている。短縮バージョンは、一般的には、楽曲の一部分を切り出すことにより作製される。この短縮バージョンを再生することで、ユーザは、楽曲の内容を短い時間で把握し、その楽曲が自らの好みに合うか否かを判断することができる。
楽曲の短縮バージョンのニーズは、ムービー(スライドショーを含む)が作製される場面においても存在する。BGMを伴うムービーが作製される際、一般的には、画像シーケンスの再生に要する時間に合わせて、所望の楽曲の一部分が切り出される。そして、切り出された部分が、BGMとしてムービーに付加される。
楽曲の全体を既に入手済みであって、楽曲の内容を短時間で把握したいユーザは、早送り及び再生の操作を繰り返すことで、手動でのダイジェスト再生を行う場合もある。また、倍速での再生が行われる場合もある。しかし、前者の場合、ユーザにとって、楽曲の特徴的な部分を聴き逃すことなく的確にダイジェスト再生を行うことは難しい。また、断続的に早送り及び再生の操作を繰り返すことは、煩わしい。さらに、ビート間隔が崩れて楽曲の音楽性が損なわれる可能性がある。後者の場合、本来の楽曲とは異なる音でしか楽曲が再生されない。
楽曲の再生時間を自動的に短縮するための技術の一例として、下記特許文献1に記載された技術が挙げられる。下記特許文献1に記載された技術では、楽曲から特徴的な小節を抽出して連結することにより、楽曲の再生時間が短縮される。
特開2012−088632号公報
しかしながら、従来の手法では、起承転結を含み得る楽曲の音楽的展開(musical progression)が、短縮バージョンにおいて再現されにくい。例えば、楽曲の先頭から一定の時間長を有する部分を切り出す手法では、楽曲の見どころが短縮バージョンに含まれないというリスクが大きい。楽曲の途中のサビを含む部分を切り出す手法では、楽曲の見どころが唐突に始まる。そして、いずれのケースでも、中途半端なタイミングで再生が終わることが多い。
上記特許文献1により提案された技術では、原曲においてバラバラに存在していた小節が連結されることで、楽曲の短縮バージョンに比較的多くの不連続点が含まれる。そのため、短縮バージョンの再生時に、不連続点において、歌詞又は楽器音が途切れたり、急に楽曲の雰囲気が変わってしまうことが避けられない。その結果、楽曲として不自然な印象又は違和感をユーザに与えるケースがあった。
従って、楽曲の音楽的展開を可能な限り維持しつつ、不連続点に起因する不自然さを生み出さないように、楽曲の短縮バージョンを生成することのできる仕組みが提供されることが望ましい。
本開示によれば、原曲に含まれる複数の区間の各々について、前記原曲内で時間的に隣接する隣接区間及び当該隣接区間と同じ属性を有する代替区間を探索することにより、複数の区間シーケンスを生成する探索部と、前記複数の区間シーケンスから少なくとも1つの区間シーケンスを選択する選択部と、を備える情報処理装置が提供される。
また、本開示によれば、情報処理装置の制御部により実行される情報処理方法であって、原曲に含まれる複数の区間の各々について、前記原曲内で時間的に隣接する隣接区間及び当該隣接区間と同じ属性を有する代替区間を探索することにより、複数の区間シーケンスを生成することと、前記複数の区間シーケンスから少なくとも1つの区間シーケンスを選択することと、を含む情報処理方法が提供される。
また、本開示によれば、情報処理装置を制御するコンピュータを、原曲に含まれる複数の区間の各々について、前記原曲内で時間的に隣接する隣接区間及び当該隣接区間と同じ属性を有する代替区間を探索することにより、複数の区間シーケンスを生成する探索部と、前記複数の区間シーケンスから少なくとも1つの区間シーケンスを選択する選択部と、として機能させるためのプログラムが提供される。
本開示に係る技術によれば、楽曲の音楽的展開を可能な限り維持しつつ、不連続点に起因する不自然さを生み出さないように、楽曲の短縮バージョンを生成することができる。
一実施形態に係る情報処理装置の構成の一例を示すブロック図である。 属性データの構成の一例について説明するための説明図である。 原曲の区間シーケンスの一例について説明するための説明図である。 隣接区間及び代替区間について説明するための説明図である。 探索ルールの一例について説明するための説明図である。 図3に例示した原曲の区間シーケンスに基づいて生成される区間シーケンス候補の一例について説明するための説明図である。 探索処理におけるトラッキングの打ち切りについて説明するための説明図である。 図6に例示した区間シーケンス候補ごとの評価パラメータ値の一例について説明するための説明図である。 区間シーケンスをユーザに指定させるためのグラフィカルユーザインタフェース(GUI)の一例について説明するための説明図である。 一実施形態に係る再構成処理の一例について説明するための説明図である。 探索ルールの他の例について説明するための説明図である。 伸長バージョンのための区間シーケンスの一例について説明するための説明図である。 一実施形態に係る処理の全体的な流れの一例を示すフローチャートである。 図13に示した探索処理の詳細な流れの一例を示すフローチャートである。 第1の変形例に係る情報処理装置の構成の一例を示すブロック図である。 図15に示した設定部による時間長計算処理の第1の例について説明するための説明図である。 図15に示した設定部による時間長計算処理の第2の例について説明するための説明図である。 第2の変形例に係るサーバ装置の構成の一例を示すブロック図である。 第2の変形例に係る端末装置の構成の一例を示すブロック図である。
以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
また、以下の順序で説明を行う。
1.一実施形態に係る情報処理装置の構成例
2.一実施形態に係る処理の流れの例
3.第1の変形例
4.第2の変形例
5.まとめ
<1.一実施形態に係る情報処理装置の構成例>
本実施形態において説明する情報処理装置は、例えば、PC(Personal Computer)、スマートフォン、PDA(Personal Digital Assistant)、音楽プレーヤ、ゲーム端末又はデジタル家電機器などの端末装置であってもよい。また、当該情報処理装置は、端末装置から送信される要求に応じて以下に説明する処理を実行するサーバ装置であってもよい。これら装置は、物理的に1つのコンピュータを用いて実現されてもよく、複数のコンピュータが互いに連携することにより実現されてもよい。
図1は、本実施形態に係る情報処理装置100の構成の一例を示すブロック図である。図1を参照すると、情報処理装置100は、属性データベース(DB)110、楽曲DB120、ユーザインタフェース部130及び制御部140を備える。
[1−1.属性DB]
属性DB110は、ハードディスク又は半導体メモリなどの記憶媒体を用いて構成されるデータベースである。属性DB110は、1つ以上の楽曲について予め用意される属性データを記憶する。属性データは、各楽曲に含まれる複数の区間の各々の属性を示す。ここでの区間とは、典型的には、1つの小節又は複数個の連続した小節であってよい。本実施形態において、属性データは、各区間のメロディ種別を示す。属性データにより示されるメロディ種別は、例えば、イントロ(前奏)、Aメロ、Bメロ、サビ、ブリッジ(間奏)及びアウトロ(終奏)などを含み得る。メロディ種別に加えて(又はその代わりに)、属性データは、各区間のコード、キー又は演奏されている楽器の種類などの他の属性を示してもよい。
図2は、属性データの構成の一例について説明するための説明図である。図2の上部には、ある楽曲の楽曲データが示されている。楽曲データは、時間軸に沿った楽曲の波形を所定のサンプリングレートでサンプリングし、サンプルを符号化することにより生成される。1つの楽曲の中で実質的な音(音声波形)が符号化された実効サンプル数は、総サンプル数よりも少なくてよい。
図2の下部には、対応する属性データの一例が示されている。属性データの上段の長い縦線は、小節線の時間的位置を示す。短い縦線は、ビート位置を示す。小節線及びビートの時間的位置は、例えば、特開2007−248895号公報に記載された手法に従って楽曲データを解析することにより、自動的に認識されてもよい。その代わりに、小節線及びビートの時間的位置は、手動で指定されてもよい。
属性データの中段のラベルは、区間ごとのメロディ種別を示す。図2の例では、第0〜第4小節のメロディ種別はイントロ、第5〜第12小節のメロディ種別はAメロ、第13〜第16小節のメロディ種別はBメロ、第17小節以降のメロディ種別はサビ(Chorus)、末尾の小節のメロディ種別はアウトロである。属性データの下段のラベルは、区間ごとのコードを示す。メロディ種別及びコードなどの属性は、例えば、特開2010−122629号公報に記載された手法に従って楽曲データを解析することにより、自動的に認識されてもよい。その代わりに、楽曲を聴いて属性を判断したユーザが、手動で属性を楽曲に付与してもよい。
属性DB110は、短縮バージョンの生成の対象として指定される楽曲(以下、対象曲という)の属性データATTを、後に説明するデータ取得部150へ出力する。
[1−2.楽曲DB]
楽曲DB120もまた、ハードディスク又は半導体メモリなどの記憶媒体を用いて構成されるデータベースである。楽曲DB120は、1つ以上の楽曲の楽曲データを記憶する。楽曲データは、図2に例示したような波形データを含む。波形データは、例えば、WAVE、MP3(MPEG Audio Layer‐3)又はAAC(Advanced Audio Coding)などの任意の音声符号化方式に従って符号化されてよい。楽曲DB120は、対象曲の短縮前の楽曲データ(即ち、原曲データ)OVを、後に説明する再構成部180へ出力する。また、楽曲DB120は、再構成部180により生成される短縮バージョンSVを、追加的に記憶してもよい。
なお、属性DB110及び楽曲DB120の一方又は双方は、情報処理装置100の一部でなくてもよい。例えば、これらデータベースは、情報処理装置100からアクセス可能なデータサーバにおいて実現されてもよい。また、情報処理装置100に接続されるリムーバブルメディアが、属性データ及び楽曲データを記憶していてもよい。
[1−3.ユーザインタフェース部]
ユーザインタフェース部130は、情報処理装置100を利用し又は端末装置を介して情報処理装置100にアクセスするユーザに、ユーザインタフェースを提供する。ユーザインタフェース部130により提供されるユーザインタフェースは、グラフィカルユーザインタフェース(GUI)、コマンドラインインタフェース、音声UI又はジェスチャUIなどの、いかなる種類のユーザインタフェースであってもよい。例えば、ユーザインタフェース部130は、楽曲のリストをユーザに呈示し、短縮バージョンの生成の対象である対象曲をユーザに指定させてもよい。また、ユーザインタフェース部130は、短縮バージョンの時間長の目標値、即ち目標時間長をユーザに指定させてもよい。ユーザインタフェース部130により提供されるユーザインタフェースのいくつかの例について、後にさらに説明する。
[1−4.制御部]
制御部140は、CPU(Central Processing Unit)又はDSP(Digital Signal Processor)などのプロセッサに相当する。制御部140は、記憶媒体に記憶されるプログラムを実行することにより、情報処理装置100の様々な機能を動作させる。本実施形態において、制御部140は、設定部145、データ取得部150、探索部160、選択部170、再構成部180及び再生部190を含む。
(1)設定部
設定部145は、情報処理装置100により実行される処理をセットアップする。設定部145は、例えば、対象曲の識別子、目標時間長、(後に説明する)区間シーケンスの選択基準、並びに探索処理の開始区間及び終了区間などの、様々な設定を保持する。設定部145は、ユーザにより指定される楽曲を対象曲に設定してもよく、又は属性DB110に属性データが記憶されている1つ以上の楽曲を自動的に対象曲に設定してもよい。目標時間長もまた、ユーザインタフェース部130を介してユーザにより指定されてもよく、又は自動的に設定されてもよい。サービスプロバイダが試聴のために短縮バージョンを多数提供しようとする場合には、目標時間長は、画一的に設定され得る。一方、ユーザが特定の楽曲を早聴きするために短縮バージョンを生成しようとする場合には、目標時間長は、ユーザにより指定され得る。その他の設定については、後にさらに説明する。
(2)データ取得部
データ取得部150は、対象曲の属性データATTを属性DB110から取得する。図2を用いて説明したように、本実施形態において、属性データATTは、対象曲に含まれる1つ以上の小節によりそれぞれ構成される区間のメロディ種別を示す。そして、データ取得部150は、取得した属性データATTを探索部160へ出力する。
(3)探索部
探索部160は、属性データATTの複数の区間の各々について、時間的に隣接する隣接区間及び当該隣接区間と同じ属性を有する代替区間を探索することにより、複数の区間シーケンスを生成する。代替区間とは、例えば、各隣接区間と同じメロディ種別を有する他の区間であってよい。探索部160による探索処理は、複数の区間から選択される開始区間を起点(ルート)、終了区間を終点(リーフ)として、ツリー状に実行され得る。開始区間は、原曲の先頭の区間、所定のメロディ種別(例えば、Aメロ)が付与された最初の区間、又はユーザインタフェース部130を介してユーザにより指定される区間などであってよい。同様に、終了区間は、原曲の末尾の区間、所定のメロディ種別(例えば、サビ)が付与された最後の区間、又はユーザインタフェース部130を介してユーザにより指定される区間などであってよい。
図3〜図5を用いて、探索部160による探索処理の基本的な考え方について説明する。なお、ここでは一例として、原曲の先頭の区間が開始区間に、原曲の末尾の区間が終了区間にそれぞれ設定されるものとする。
図3は、属性データにより示される原曲の区間シーケンスの一例を示している。図3を参照すると、属性データATT1は、原曲に含まれる8個の区間M1〜M8についてのメロディ種別を示している。区間M1のメロディ種別はイントロ、区間M2、M3及びM5のメロディ種別はAメロ、区間M4及びM7のメロディ種別はサビ、区間M6のメロディ種別はBメロ、区間M8のメロディ種別はアウトロである。各区間のメロディ種別の下に示した括弧付きの数字は、同じメロディ種別を有する区間を互いに区別するための番号である。
図4は、隣接区間及び代替区間について説明するための説明図である。図4を参照すると、図3に例示した原曲の区間シーケンスについて、隣接区間(NS)が実線の矢印で、代替区間(AS)が点線の矢印でそれぞれ示されている。例えば、区間M1の隣接区間は、区間M2である。区間M1の代替区間は、隣接区間M2と同じ属性(メロディ種別=「Aメロ」)を有する区間M3及びM5である。区間M3の隣接区間は、区間M4である。区間M3の代替区間は、隣接区間M4と同じ属性(メロディ種別=「サビ」)を有する区間M7である。ある区間を探索処理における現在(current)ノードとすると、当該区間の隣接区間及び代替区間は、現在ノードの子ノードである。探索部160は、属性データATT1から認識されるこのようなノード間の関係に従ってツリー状の探索を実行し、ツリー構造のルートからリーフまでのブランチにそれぞれ相当する1つ以上の区間シーケンスを生成する。
各ブランチのトラッキングは、当該ブランチが終了区間に到達するまで行われ得る。各ブランチが終了区間に到達すると、探索部160は、当該ブランチに対応する区間シーケンスを区間シーケンス候補として記憶し、他のブランチのトラッキングに遷移する。未探索の他のブランチが存在しない場合には、探索処理は終了する。
楽曲の時間長を短縮しようとする場合、即ち、原曲の時間長よりも目標時間長が短い場合には、探索部160は、探索処理において、現在ノードの隣接区間、又は当該隣接区間よりも後方に存在する代替区間を、現在ノードの子ノードとして選択する。現在ノードよりも前方に存在する代替区間は、子ノードとして選択されない。このような探索ルールが、図5に概念的に示されている。これは、現在ノードよりも前方に存在する区間を子ノードとして選択することを許容すると、ブランチの時間長が長くなると共にブランチの数が増加し、探索処理に多大な時間を要することになるためである。なお、本開示に係る技術は、楽曲の時間長を短縮する代わりに、楽曲の時間長を伸長しようとするケースにも適用可能である。楽曲の時間長を伸長しようとするケースでは、現在ノードよりも前方に存在する代替区間を子ノードとして選択することが許容される。そのような応用例について、後に説明する。
図6は、図3に例示した原曲の区間シーケンスに基づいて生成される区間シーケンス候補の一例について説明するための説明図である。図6を参照すると、区間M1をルート(開始区間)とし、区間M8をリーフ(終了区間)として探索された、6個のブランチを有するツリー構造が示されている。6個のブランチは、6個の区間シーケンス候補SSC1〜SSC6として記憶される。区間シーケンス候補SSC1は、原曲と同じ区間M1〜M8を含む。区間シーケンス候補SSC2は、区間M1、M2、M3、M7及びM8を含む。区間シーケンス候補SSC3は、区間M1、M2、M5、M6、M7及びM8を含む。区間シーケンス候補SSC4は、区間M1、M3、M4、M5、M6、M7及びM8を含む。区間シーケンス候補SSC5は、区間M1、M3、M7及びM8を含む。区間シーケンス候補SSC6は、区間M1、M5、M6、M7及びM8を含む。図中で二重の枠線で囲まれた区間は、探索の際に代替区間として選択された区間である。
なお、実際の楽曲には、通常、図3の例よりも多くの区間が含まれる。原曲に含まれる区間の数が多いほど、探索の結果として生成される区間シーケンス候補の数は増大する。そこで、探索部160は、トラッキング中のブランチの時間長(対応する区間シーケンスに含まれる区間の時間長の合計)が打ち切り閾値を上回った場合には、当該ブランチのトラッキングを打ち切ってよい。打ち切り閾値は、設定部145により設定される目標時間長に応じて決定される。打ち切り閾値は、例えば、目標時間長に時間オフセットを加えることにより決定されてよい。図7は、探索処理におけるトラッキングの打ち切りについて説明するための説明図である。図7を参照すると、目標時間長TLが実線で、打ち切り閾値Tが破線で、図6に例示したようなツリー構造と共に示されている。打ち切り閾値Tは、目標時間長TLと時間オフセットdTとの和である。図7の例では、時間長が打ち切り閾値Tを上回った区間シーケンス候補SSC1及びSSC4について、さらなる子ノードが選択されることなく、トラッキングが打ち切られている。探索部160は、打ち切られたブランチに対応する区間シーケンスを、区間シーケンス候補から除外してもよい。その代わりに、探索部160は、何らかの条件(例えば、所定のメロディ種別を有する区間を既に含む、など)を満たす打ち切られたブランチを、区間シーケンス候補に含めてもよい。このようなトラッキングの打ち切りにより、目標時間長に適合しないブランチについての無駄なトラッキングを回避し、探索処理に要する時間を削減することができる。また、探索処理に要するプロセッサ性能及びメモリ容量を抑制することができる。
探索部160は、上述した探索処理の結果として生成される1つ以上の区間シーケンス候補SSCsを、選択部170へ出力する。
(4)選択部
選択部170は、探索部160から入力される区間シーケンス候補SSCsから、楽曲の時間長を変更するために使用される少なくとも1つの区間シーケンスSSを選択する。選択部170は、予め定義される選択基準に従って、区間シーケンスを自動的に選択してもよい。また、選択部170は、ユーザインタフェース部130を介して、区間シーケンス候補のリストをユーザに呈示し、楽曲を再構成することを望む区間シーケンスをユーザに指定させてもよい。ユーザに呈示される区間シーケンス候補は、予め定義される選択基準に従ってフィルタリングされてもよい。
選択部170により使用され得る選択基準は、典型的には、目標時間長に関連する基準である。例えば、選択部170は、目標時間長との間の時間長の差がより小さい区間シーケンス候補を優先的に選択してよい。また、選択部170は、各区間シーケンス内の代替区間の数又は所定のメロディ種別(例えば、サビ)を有する区間の数などの他の評価パラメータを考慮して、区間シーケンスを選択してもよい。
図8は、図6に例示した区間シーケンス候補ごとの評価パラメータ値の一例について説明するための説明図である。図8の左には、区間シーケンス候補SSC1〜SSC6が示されている。二重の枠線で囲まれた区間は、代替区間である。斜線で網掛けされた区間は、サビ区間である。図8の右は、区間シーケンス候補ごとの、時間長、代替区間数及びサビ数という3つの評価パラメータの値が示されている。区間シーケンス候補SSC1は、時間長Tを有し、代替区間を含まず、2個のサビ区間を含む。区間シーケンス候補SSC2は、時間長Tを有し、1個の代替区間を含み、1個のサビ区間を含む。区間シーケンス候補SSC3は、時間長Tを有し、1個の代替区間を含み、1個のサビ区間を含む。区間シーケンス候補SSC4は、時間長Tを有し、1個の代替区間を含み、2個のサビ区間を含む。区間シーケンス候補SSC5は、時間長Tを有し、2個の代替区間を含み、1個のサビ区間を含む。区間シーケンス候補SSC6は、時間長Tを有し、1個の代替区間を含み、1個のサビ区間を含む。
時間長は、目標時間長により近いほど望ましい。代替区間の数は、再構成後のバージョンにおける不連続点の数に相当するため、より少ない方が望ましいと言える。サビ区間の数は、より多く含まれる方が望ましいと言える。そこで、例えば、i番目の区間シーケンス候補の(目標時間長との間の)時間長の差をA、代替区間の数をB、サビ区間の数をCとし、楽曲の再構成への適性を区間シーケンス候補ごとに次の式(1)に従ってスコアリングすることができる。なお、係数α、β及びγは、予め固定的に定義されてもよく、又はユーザインタフェース部130を介してユーザにより調整可能であってもよい。
Figure 2014010275
その代わりに、選択部170は、時間長の差をAが所定の閾値Tを下回る区間シーケンス候補のみを対象として、次の式(2)に従って区間シーケンス候補ごとのスコアS´を計算してもよい。
Figure 2014010275
いずれのケースでも、選択部170は、算出されたスコアの最も大きい区間シーケンス候補を、楽曲の再構成のための区間シーケンスとして選択してよい。その代わりに、選択部170は、算出されたスコアを用いてフィルタリングされる(例えば、上位M個のスコアを示す)区間シーケンス候補のリストを、ユーザインタフェース部130を介してユーザに呈示してもよい。
図9は、区間シーケンスをユーザに指定させるためのGUIの一例である、シーケンス指定ウィンドウW1を示している。シーケンス指定ウィンドウW1の左には、選択部170によりフィルタリングされた4つの区間シーケンス候補SSC2、SSC3、SSC4及びSSC6が表示されている。シーケンス指定ウィンドウW1の右には、区間シーケンス候補ごとの、時間差(Difference)及びスコアが表示されている。また、所望の区間シーケンスをユーザが指定するためのチェックボックスU1及び決定ボタンU2も表示されている。このようなGUIが提供される結果として、ユーザは、表示された情報を参照し、楽曲の再構成のために使用すべき所望の区間シーケンスを指定することができる。
選択部170は、上述した選択基準に従って自動的に選択し又はユーザによる指定に従って選択した区間シーケンスSSを、再構成部180へ出力する。
(5)再構成部
再構成部180は、選択部170から入力される区間シーケンスSSに対応する楽曲を原曲から再構成する。より具体的には、再構成部180は、楽曲DB120から対象曲の原曲データOVを取得する。そして、再構成部180は、区間シーケンスSSに含まれる区間に対応する部分を原曲データOVから抽出し、抽出した部分を連結する。原曲の時間長よりも目標時間長が短い場合には、再構成の結果として、短縮バージョンSVが生成される。なお、後に説明する応用例では、原曲の時間長よりも目標時間長が長い場合に、再構成の結果として、伸長バージョンもまた生成され得る。
図10は、本実施形態に係る再構成処理の一例について説明するための説明図である。図10の最上段には、図3に例示したものと同じ原曲の区間シーケンスが示されている。2段目には、選択部170により選択された区間シーケンスSSが示されている。区間シーケンスSSは、区間M1、M2、M3、M7及びM8を含む。3段目には、原曲データOVに含まれる波形データの一例が示されている。再構成部180は、区間シーケンスSSに含まれる区間M1、M2、M3、M7及びM8に対応する部分を、原曲データOVから抽出する(4段目参照)。区間M3と区間M7との間は、不連続点となる。そこで、再構成部180は、区間M3と区間M7との間を連結する(5段目参照)。連結に際して、再構成部180は、区間M3の末尾及び区間M7の先頭にクロスフェードを適用してもよく、又は区間M3の末尾にフェードアウトを適用してもよい。それにより、不連続点における音声の急峻な変化を緩和し、再生時にユーザに感知され得る不自然さを軽減することができる。さらに、再構成部180は、区間シーケンスSSの時間長が目標時間長と等しくない場合には、連結後のデータのテンポを調整することにより、目標時間長に等しい時間長を有する短縮バージョンSVを生成する(6段目参照)。なお、連結後のデータの時間長が目標時間長よりも長い場合には、再構成部180は、テンポを調整する代わりに、終了区間を途中でフェードアウトさせることにより、短縮バージョンSVの時間長を目標時間長に一致させてもよい。
このように再構成部180により再構成される短縮バージョンは、代替区間と等しい数の不連続点を含む。しかし、その不連続点の前後の2つの区間のメロディ種別の組合せは、原曲に存在しているいずれかの連続区間のメロディ種別の組合せに等しい。従って、不連続点の前後で新たなメロディ種別の組合せが発生するケースと比較して、不連続点に起因する再生時の不自然さを回避し又は緩和することができる。また、楽曲の音楽的展開を短縮バージョンにおいても維持することができる。
再構成部180は、上述した再構成処理の結果として生成される短縮バージョンSVを、楽曲DB120に記憶させてもよい。その代わりに、再構成部180は、短縮バージョンSVを再生部190へ出力し、短縮バージョンSVを再生部190に再生させてもよい。短縮バージョンSVは、例えば、試聴若しくは早聴きのために再生部190により再生され、又はBGMとしてムービーに付加され得る。
(6)再生部
再生部190は、再構成部180により原曲から再構成された楽曲を再生する。再生部190は、例えば、楽曲DB120又は再構成部180から取得される短縮バージョンSVを再生し、短縮された楽曲の音声をユーザインタフェース部130を介して出力する。なお、短縮バージョンSVは、予めファイル出力される代わりに、区間シーケンスSSを用いて原曲データOVからリアルタイムで(例えば、区間シーケンスSSに従ったジャンプ再生を行うことにより)再生されてもよい。かかる構成は、原曲の非破壊及び非複製が望まれる場合に有益である。また、図10を用いて説明した再構成処理の一部(例えば、テンポの調整)が、再生部190による楽曲の再生の際に行われてもよい。
[1−5.楽曲の伸長への適用]
上述したように、本開示に係る技術は、楽曲の時間長を伸長しようとするケースにも適用可能である。楽曲の時間長を伸長しようとするケースでは、探索部160による探索処理において、現在ノードよりも前方に存在する代替区間を子ノードとして選択することが許容される。より具体的には、探索部160は、設定部145により設定される目標時間長が原曲の時間長よりも長い場合、現在ノードの隣接区間、現在ノードよりも前方に存在する代替区間及び隣接区間よりも後方に存在する代替区間を、現在ノードの子ノードとして選択し得る。あるブランチにおいて、現在ノードよりも前方に存在する代替区間が子ノードとして選択されると、そのブランチの時間長は原曲の時間長よりも長くなり得る。典型的には、前方の代替区間の選択は、トラッキング中のブランチの時間長が目標時間長に応じて決定される切替え閾値を上回るまで許容される。ここでの切替え閾値は、例えば、目標時間長から(原曲の時間長のある割合などに相当し得る)時間オフセットを減ずることにより決定されてよい。トラッキング中のブランチの時間長が切替え閾値を上回った後には、隣接区間及び後方の代替区間のみが、当該ブランチにおける現在ノードの子ノードとして選択可能となる。
楽曲の時間長を伸長しようとするケースでの上述した探索ルールが、図11に概念的に示されている。図11の例では、現在ノードは区間M4に位置する。トラッキング中のブランチの時間長Tseqが切替え閾値Tを下回る場合には、区間M4よりも前方の代替区間M2及びM3が、区間M4の子ノード(区間シーケンスにおける次の区間)として選択可能である。一方、トラッキング中のブランチの時間長Tseqが切替え閾値Tを上回ると、区間M4の隣接区間M5及び後方の代替区間M9のみが、区間M4の子ノードとして選択可能となる。このような探索範囲の切替えによって、楽曲の時間長を伸長することを可能にしつつ、必要以上に長いブランチの探索のために無駄な処理時間を要することを防止することができる。
図12は、図3に例示した原曲の区間シーケンスに基づいて伸長される伸長バージョンのための区間シーケンスの一例を示している。図12の上段に示した原曲の区間シーケンスは、8個の区間M1〜M8を含む。これに対し、図12の下段に示した区間シーケンスSSにおいて、初めて現れる区間M4の次に、(原曲では区間M4の前方に存在していた)代替区間M2が位置している。また、初めて現れる区間M6の次に、(原曲では区間M6の前方に存在していた)代替区間M4が位置している。結果として、区間シーケンスSSは14個の区間を含み、その時間長は原曲の時間長よりも伸長されている。
このように伸長された区間シーケンスを用いて再構成部180により再構成される伸長バージョンは、代替区間と等しい数の不連続点を含む。しかし、この場合にも、不連続点の前後で新たなメロディ種別の組合せが発生しない。そのため、不連続点に起因する再生時の不自然さを回避し又は緩和することができる。楽曲の音楽的展開もまた伸長バージョンにおいて維持される。
なお、本明細書では、主にメロディ種別に基づいて探索処理が実行される例を説明しているが、コードなどの他の種類の属性に基づいて探索処理が実行されてもよい。
<2.一実施形態に係る処理の流れの例>
[2−1.全体的な流れ]
図13は、本実施形態に係る情報処理装置100により実行される処理の全体的な流れの一例を示すフローチャートである。
図13を参照すると、まず、データ取得部150は、対象曲に含まれる複数の区間の各々のメロディ種別を示す属性データを取得する(ステップS110)。また、設定部145は、対象曲について目標時間長を設定する(ステップS120)。
次に、探索部160は、データ取得部150により取得された属性データを用いて、探索処理を実行する(ステップS130)。ここで実行される探索処理について、後により詳細に説明する。探索部160は、探索処理の結果として、複数の区間シーケンス候補を生成する。
次に、選択部170は、探索部160により生成された各区間シーケンス候補について、スコアを算出する(ステップS150)。ここで算出されるスコアは、各区間シーケンス候補の時間長と目標時間長との間の単純な時間差であってもよく、又は上述した式(1)若しくは式(2)に従って算出されるようなより高度なスコアであってもよい。
次に、選択部170は、ステップS150において算出したスコアを用いて、楽曲の再構成のために使用すべき区間シーケンスを選択する(ステップS160)。選択部170は、区間シーケンス候補ごとのスコアに従って区間シーケンスを自動的に選択してもよく、又は、スコアをユーザに呈示して、選択すべき区間シーケンスをユーザに指定させてもよい。
次に、再構成部180は、ステップS160において選択された区間シーケンスに含まれる区間に対応する部分を、原曲データから抽出する(ステップS170)。次に、再構成部180は、原曲データから抽出した部分を連結する(ステップS180)。そして、再構成部180は、連結されたデータのテンポを目標時間長に合わせて調整することにより、短縮バージョンを生成する(ステップS190)。
[2−2.探索処理]
図14は、図13に示した探索処理の詳細な流れの一例を示すフローチャートである。なお、ここでは深さ優先探索法に従った処理の流れを説明するが、かかる例に限定されず、探索処理は、幅優先探索法又はその他の種類の探索法に従って行われてもよい。
図14を参照すると、まず、探索部160は、開始区間を現在ノードに設定する(ステップS131)。ここでの開始区間は、原曲の先頭の区間又はその他の区間であってよい。
次に、探索部160は、現在ノードが、未探索の隣接区間又は代替区間を有するかを判定する(ステップS132)。現在ノードが未探索の隣接区間又は代替区間を有する場合には、探索部160は、未探索のいずれかの区間(現在ノードの子ノード)へ現在ノードを移動させる(ステップS133)。次に、探索部160は、現在ノードが終了区間に到達したかを判定する(ステップS134)。現在ノードが終了区間に到達していない場合には、探索部160は、さらに探索中のブランチの時間長Tseqを打ち切り閾値Tと比較する(ステップS135)。探索中のブランチの時間長Tseqが打ち切り閾値Tを上回る場合には、当該ブランチのトラッキングが打ち切られ、処理はステップS138へ進む。探索中のブランチの時間長Tseqが打ち切り閾値Tを上回らない場合には、当該ブランチのトラッキングは継続され、処理はステップS132へ進む。ステップS134において、現在ノードが終了区間に到達した場合には、探索部160は、現在のブランチを区間シーケンス候補の1つとして記憶する(ステップS136)。そして、処理はステップS137へ進む。
ステップS137では、探索部160は、探索処理を終了するか否かを判定する。例えば、探索の開始から所定の上限値を超える処理時間が経過した場合、又は区間シーケンス候補の数が所定の上限値に到達した場合には、探索部160は、探索処理を途中で終了してもよい。探索処理を終了しない場合には、処理はステップS138へ移動する。
ステップS138では、探索中のブランチの時間長Tseqが打ち切り閾値Tを上回り、又は現在ノードが終了区間に到達したため、探索部160は、現在ノードを親ノードへ移動させる。親ノードへの移動は、現在ノードが未探索の隣接区間又は代替区間を有する状態となるまで繰り返される。
そして、ステップS137における終了条件が満たされ、又は打ち切られたブランチ以外の全てのブランチが探索されると(ステップS139)、探索部160は、探索処理を終了する。
<3.第1の変形例>
本開示に係る技術は、個別の楽曲の試聴、早聴き、又はムービーへのBGMの付加などの用途のみならず、複数の楽曲をまとめて早聴きするような用途にも応用され得る。例えば、楽曲アルバム又はプレイリストのように、楽曲のセットが予め定義されているものとする。ユーザは、通勤若しくは通学、ドライブ、食事又は入浴などの様々な場面で、限られた時間内に楽曲のセットの全体を聴きたいと望むことがある。本節で説明する第1の変形例では、そのようなニーズを充足するための仕組みが提供される。
図15は、第1の変形例に係る情報処理装置200の構成の一例を示すブロック図である。図15を参照すると、情報処理装置200は、楽曲メモリ220、ユーザインタフェース部130及び制御部240を備える。
[3−1.楽曲メモリ]
楽曲メモリ220は、楽曲アルバム又はプレイリストなどの楽曲のセットを構成する複数の楽曲の楽曲データを記憶する記憶媒体である。楽曲データに加えて、楽曲メモリ220は、各楽曲についてのレーティングを示すレーティングデータを記憶してもよい。各楽曲のレーティングは、当該楽曲若しくは類似する他の楽曲の再生回数、ユーザのプリファレンス、又はサービスプロバイダ若しくは他のユーザからの推薦などの様々な要因に基づいて決定されてよい。楽曲メモリ220は、複数の楽曲のうち設定部245により選択される1つ以上の対象曲の原曲データOVを再構成部280へ出力する。また、楽曲メモリ220は、対象曲についてのレーティングデータRATをデータ取得部250へ出力する。
[3−2.制御部]
制御部240は、CPU又はDSPなどのプロセッサに相当する。制御部240は、記憶媒体に記憶されるプログラムを実行することにより、情報処理装置200の様々な機能を動作させる。本実施形態において、制御部240は、設定部245、データ取得部250、探索部260、選択部270、再構成部280及び再生部290を含む。
(1)設定部
設定部245は、情報処理装置200により実行される処理をセットアップする。設定部245は、例えば、対象曲の識別子のリスト、目標総時間長、対象曲ごとの目標時間長、及び区間シーケンスの選択基準などの、様々な設定を保持する。設定部245は、楽曲のセットを構成する複数の楽曲の全てを対象曲に設定してもよい。その代わりに、設定部245は、再構成されるべき一部の楽曲のみを対象曲に設定してもよい。例えば、設定部245は、複数の楽曲の各々についてレーティングデータRATにより示されるレーティングに基づいて、対象曲に設定される楽曲を選択してもよい。
目標総時間長は、ユーザインタフェース部130を介してユーザにより指定される。ユーザは、例えば、通勤又は通学などに要する時間に応じて、楽曲のセットを聴くための目標総時間長を指定し得る。設定部245は、指定された目標総時間長に基づいて、再構成される楽曲ごとの目標時間長を計算する。
図16Aは、設定部245による時間長計算処理の第1の例について説明するための説明図である。図16Aには、それぞれ時間長TL(n=1,…,N)を有するN個のトラックTr〜Trを含むアルバムAL1が概念的に示されている。総時間長TLtotalは、アルバムAL1全体の時間長である。比率Rは、総時間長TLtotalに対する、目標総時間長TLtargetの比である(R=TLtarget/TLtotal)。第1の例において、設定部245は、アルバムAL1を構成する全てのトラックを対象曲に設定する。そして、設定部245は、対象曲Trの目標時間長STLを、各原曲の時間長TLに比率Rを乗算することにより計算する(STL=TL×R)。
図16Bは、設定部245による時間長計算処理の第2の例について説明するための説明図である。図16Bには、それぞれ時間長TL(n=1,…,N)を有するN個のトラックTr〜Trを含むアルバムAL2が概念的に示されている。また、アルバムAL2の各トラックには、レーティングが付与されている。例えば、トラックTr及びTrのレーティングは、他のトラックのレーティングよりも高い。そこで、第2の例において、設定部245は、より高いレーティングを有するトラックTr及びTr以外のトラックを、時間長を短縮すべき対象曲に設定する。一方、設定部245は、トラックTr及びTrを対象曲から除外し、これらトラックを短縮させない。第2の例によれば、ユーザがより気に入っている楽曲(あるいはより気に入ると予測される楽曲)については当該楽曲の全体を再生し、その他の楽曲について短縮バージョンを用いた再生を行うことが可能となる。なお、設定部245は、レーティングに応じて対象曲ごとの目標時間長を変化させてもよい。
(2)データ取得部
データ取得部250は、設定部245により設定された対象曲の各々の属性データATTを取得する。図15の例では、属性データATTは、外部のデータサーバから取得される。そして、データ取得部250は、取得した属性データATTを探索部260へ出力する。なお、かかる例に限定されず、属性データATTは、楽曲メモリ220又は他の記憶媒体により記憶されていてもよい。また、データ取得部250は、楽曲メモリ220から対象曲の各々についてのレーティングデータRATを取得し、レーティングデータRATを設定部245へ出力してもよい。
(3)探索部
探索部260は、データ取得部250から入力される属性データの各々について、図3〜図5を用いて説明した探索処理を実行する。その結果、設定部245により設定された対象曲ごとに、図6に例示したような区間シーケンス候補のセットSSCsが生成される。
(4)選択部
選択部270は、図1に示した選択部170と同様、各対象曲について、区間シーケンス候補SSCsから区間シーケンスSSを選択する。区間シーケンスSSの選択は、目標時間長との時間長の差、代替区間の数、又はサビ区間の数などのいかなる評価パラメータの値に基づいて行われてもよい。いずれの評価パラメータを優先的に用いるかが、ユーザにより指定されてもよい。選択部270は、典型的には、対象曲の短縮バージョン及び非対象曲のオリジナルバージョンを含み得る楽曲のセットの総時間長が目標総時間長により近くなるように、各対象曲の区間シーケンスSSを選択する。そして、選択部270は、選択した各対象曲の区間シーケンスSSを、再構成部280へ出力する。
(5)再構成部
再構成部280は、各対象曲について、図1に示した再構成部180と同様、選択部270から入力される区間シーケンスSSに対応する楽曲を原曲から再構成する。より具体的には、再構成部280は、楽曲メモリ220から各対象曲の原曲データOVを取得する。そして、再構成部280は、区間シーケンスSSに含まれる区間に対応する部分を原曲データOVから抽出し、抽出した部分を連結することにより、対象曲の短縮バージョンSVを生成する。再構成部280により生成された各対象曲の短縮バージョンSVは、再生部290へ出力される。
(6)再生部
再生部290は、早聴きされる楽曲のセットのうちの(短縮の対象である)対象曲の短縮バージョンSVを再構成部280から取得する。また、再生部290は、非対象曲のオリジナルバージョンOVを楽曲メモリ220から取得する。そして、再生部290は、楽曲のセットの順序に従って、各楽曲の短縮バージョンSV又はオリジナルバージョンOVを順に再生し、各楽曲の音声をユーザインタフェース部130を介して出力する。
第1の変形例によれば、楽曲アルバム又はプレイリストのような楽曲のセットを、限られた時間内でダイジェスト再生することが可能となる。即ち、生活の様々なシーンにおいて、ユーザの所望の再生時間に合わせて目的とする楽曲のセットを聴くというような、新たな音楽体験のスタイルを実現することができる。例えば、通勤又は通学の時間を活用して、ダイジェスト再生が途中で終了してしまうことなく、楽曲のセットの全体をユーザが手軽に把握することができる。
<4.第2の変形例>
本開示に係る技術において、属性データを用いて探索処理を実行する装置と、楽曲を再構成する装置とは、必ずしも同じ装置でなくてよい。本節では、第2の変形例として、サーバ装置において探索処理が実行され、当該サーバ装置と通信する端末装置において再構成処理が実行される例を説明する。
[4−1.サーバ装置]
図17は、第2の変形例に係るサーバ装置300の構成の一例を示すブロック図である。図17を参照すると、サーバ装置300は、属性DB110、楽曲DB120、通信部330及び制御部340を備える。制御部340は、設定部145、データ取得部150、探索部160、選択部170及び端末制御部380を含む。
通信部330は、後に説明する端末装置400との間で通信する通信インタフェースである。
端末制御部380は、端末装置400からの要求に応じて、設定部145に対象曲を設定させ、探索部160により生成される1つ以上の区間シーケンス候補から、対象曲を再構成するために使用される区間シーケンスを選択部170に選択させる。そして、端末制御部380は、対象曲について選択された区間シーケンスを特定する区間シーケンスデータを、通信部330を介して端末装置400へ送信する。区間シーケンスデータは、例えば、原曲から抽出すべき区間の開始時点と終了時点とを識別するデータであってよい。端末制御部380は、端末装置400が対象曲の楽曲データ(即ち、原曲データ)を有しない場合には、楽曲DB120から取得される当該原曲データを、通信部330を介して端末装置400へ送信してもよい。
[4−2.端末装置]
図18は、第2の変形例に係る端末装置400の構成の一例を示すブロック図である。図18を参照すると、端末装置400は、通信部410、記憶部420、ユーザインタフェース部430及び制御部440を備える。制御部440は、再構成部450及び再生部460を含む。
通信部410は、上述したサーバ装置300との間で通信する通信インタフェースである。通信部410は、サーバ装置300から、上述した区間シーケンスデータ、及び必要に応じて原曲データを受信する。
記憶部420は、通信部410により受信されるデータを記憶する。なお、記憶部420は、原曲データを予め記憶していてもよい。
ユーザインタフェース部430は、端末装置400を利用するユーザに、ユーザインタフェースを提供する。例えば、ユーザインタフェース部430により提供されるユーザインタフェースは、対象曲及び目標時間長をユーザに指定させるためのGUIを含み得る。
再構成部450は、ユーザインタフェース部430を介して入力されるユーザからの指示に応じて、対象曲を再構成するために使用される区間シーケンスデータをサーバ装置300に要求する。そして、再構成部450は、区間シーケンスデータがサーバ装置300から受信されると、対象曲の再構成を実行する。より具体的には、再構成部450は、記憶部420から対象曲の原曲データを取得する。そして、再構成部450は、区間シーケンスデータにより特定される区間に対応する部分を原曲データから抽出し、抽出した部分を連結することにより、対象曲の短縮バージョンを生成する。再構成部450により生成される対象曲の短縮バージョンは、再生部460へ出力される。
再生部460は、対象曲の短縮バージョンを再構成部450から取得し、取得した短縮バージョンを再生する。
<5.まとめ>
ここまで、本開示に係る技術の様々な実施形態について詳細に説明した。上述した実施形態によれば、原曲に含まれる複数の区間の各々について、隣接区間及び当該隣接区間と同じ属性を有する代替区間を探索することにより、複数の区間シーケンスが生成される。そして、複数の区間シーケンスから、楽曲の再構成のために使用され得る少なくとも1つの区間シーケンスが選択される。かかる構成によれば、選択された区間シーケンスを用いて楽曲の短縮バージョンが生成される場合に、不連続点の前後で、原曲において存在しなかった新たなメロディ種別(又は他の属性値)の組合せが発生することがない。従って、短縮バージョンが再生される際に、不連続点に起因する不自然さが生じることを回避し、又はそうした不自然さを軽減することができる。
また、上述した実施形態によれば、短縮バージョンにおけるメロディ種別の進行が、原曲におけるメロディ種別の進行に近い形で再現される。従って、起承転結のような楽曲の音楽的展開を、短縮バージョンにおいても維持することができる。例えば、楽曲配信サービスにおいて提供される視聴用バージョンの生成のために本開示に係る技術が適用される場合には、視聴用バージョンを通じて楽曲の特徴をより的確にユーザに伝えることができるため、ユーザの購買意欲をより効果的に刺激することが可能となる。
また、上述した実施形態によれば、原曲に含まれる1つ以上の小節の単位で楽曲が再構成されるため、不連続点においても、音楽性を維持するために重要なビート感が損なわれることがない。従って、再構成された楽曲を一層自然に再生することが可能である。
また、上述した実施形態によれば、楽曲の目標時間長に近い時間長を有する区間シーケンスが楽曲の再構成のために選択される。従って、視聴用バージョンの生成、早聴き又はムービーへのBGMの付加などの様々なニーズに合わせて、多様な時間長を有するバージョンを生成することができる。また、代替区間の数に基づいて区間シーケンスが選択される場合には、再構成されるバージョンにおける不連続点の数を抑制し、より自然なバージョンを提供することができる。また、特徴的な区間(例えば、サビ区間)の数に基づいて区間シーケンスが選択される場合には、再構成されるバージョンに楽曲の特徴的な部分をより確実に残すことができる。
また、上述した実施形態によれば、楽曲に含まれる複数の区間をツリー状に探索することができるため、既存の様々な探索アルゴリズムを活用して、本開示に係る技術を容易に実装することができる。また、目標時間長に応じて決定される閾値を基準とする探索の打ち切りによって、探索処理に必要以上の時間を要することを防止することができる。また、ハイエンドコンピュータのようなプロセッサ性能及びメモリ容量を有しない装置においても、探索を実行することができる。さらに、探索の開始区間及び終了区間の設定を変更することにより、再構成されるバージョンにとって不要な区間(例えば、イントロ又はアウトロなど)を自在に除外することができる。
また、上述した実施形態によれば、楽曲の時間長を短縮するのみならず、楽曲の時間長を伸長することもできる。従って、例えば原曲よりも長い時間にわたって再生することをユーザが望む場合(例えば、長いムービーにBGMを付加する場合など)にも、本開示に係る技術は有益である。
なお、本明細書において説明した各装置による一連の制御処理は、ソフトウェア、ハードウェア、及びソフトウェアとハードウェアとの組合せのいずれを用いて実現されてもよい。ソフトウェアを構成するプログラムは、例えば、各装置の内部又は外部に設けられる記憶媒体に予め格納される。そして、各プログラムは、例えば、実行時にRAM(Random Access Memory)に読み込まれ、CPUなどのプロセッサにより実行される。
以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
なお、以下のような構成も本開示の技術的範囲に属する。
(1)
原曲に含まれる複数の区間の各々について、前記原曲内で時間的に隣接する隣接区間及び当該隣接区間と同じ属性を有する代替区間を探索することにより、複数の区間シーケンスを生成する探索部と、
前記複数の区間シーケンスから少なくとも1つの区間シーケンスを選択する選択部と、
を備える情報処理装置。
(2)
前記情報処理装置は、
前記複数の区間の各々のメロディ種別を示す属性データを取得するデータ取得部、
をさらに備え、
前記探索部は、前記属性データを用いて、各隣接区間と同じメロディ種別を有する他の区間を、前記代替区間として探索する、
前記(1)に記載の情報処理装置。
(3)
前記情報処理装置は、
前記原曲から再構成されるべき楽曲の目標時間長を設定する設定部、
をさらに備え、
前記選択部は、各区間シーケンスの時間長と前記目標時間長との差に基づいて、前記少なくとも1つの区間シーケンスを選択する、
前記(2)に記載の情報処理装置。
(4)
前記選択部は、各区間シーケンス内の前記代替区間の数にさらに基づいて、前記少なくとも1つの区間シーケンスを選択する、前記(3)に記載の情報処理装置。
(5)
前記選択部は、各区間シーケンス内の所定のメロディ種別の区間の数にさらに基づいて、前記少なくとも1つの区間シーケンスを選択する、前記(3)又は前記(4)に記載の情報処理装置。
(6)
前記探索部は、前記複数の区間から選択される開始区間を起点として、前記隣接区間及び前記代替区間をツリー状に探索する、前記(3)〜(5)のいずれか1項に記載の情報処理装置。
(7)
前記探索部は、探索中の区間シーケンスの時間長が前記目標時間長に応じて決定される第1の閾値を上回った場合に、当該探索中の区間シーケンスについて探索を打ち切る、前記(6)に記載の情報処理装置。
(8)
前記目標時間長が前記原曲の時間長よりも短い場合には、前記探索部は、前記代替区間として、各隣接区間と同じ属性を有し、当該隣接区間よりも後方に存在する区間を探索する、前記(6)又は前記(7)に記載の情報処理装置。
(9)
前記目標時間長が前記原曲の時間長よりも長い場合には、前記探索部は、前記代替区間として、各隣接区間と同じ属性を有し、当該隣接区間よりも前方又は後方に存在する区間を探索する、前記(6)〜(8)のいずれか1項に記載の情報処理装置。
(10)
前記探索部は、探索中の区間シーケンスの時間長が前記目標時間長に応じて決定される第2の閾値を上回った後、当該探索中の区間シーケンスについて前方の前記代替区間を探索しない、前記(9)に記載の情報処理装置。
(11)
前記設定部は、ユーザインタフェースを介して前記目標時間長をユーザに指定させる、前記(3)〜(10)のいずれか1項に記載の情報処理装置。
(12)
前記設定部は、前記原曲を含む複数の楽曲についての目標総時間長に基づいて、前記原曲についての前記目標時間長を計算する、前記(3)〜(10)のいずれか1項に記載の情報処理装置。
(13)
前記設定部は、前記複数の楽曲のうち再構成されるべき1つ以上の楽曲を対象曲に設定し、
前記探索部は、設定された当該1つ以上の対象曲の各々の属性データについて、探索を実行する、
前記(12)に記載の情報処理装置。
(14)
前記設定部は、前記複数の楽曲の各々に付与されるレーティングに基づいて、前記対象曲を選択する、前記(13)に記載の情報処理装置。
(15)
前記情報処理装置は、
前記選択部により選択された前記少なくとも1つの区間シーケンスに対応する楽曲を前記原曲から再構成する再構成部、
をさらに備える、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(16)
前記再構成部は、選択された各区間シーケンスに含まれる区間を前記原曲から抽出することにより、各区間シーケンスに対応する楽曲を再構成する、前記(15)に記載の情報処理装置。
(17)
前記情報処理装置は、
前記少なくとも1つの区間シーケンスに対応する楽曲を前記原曲から再構成する装置へ、前記少なくとも1つの区間シーケンスを特定する区間シーケンスデータを送信する通信部、
をさらに備える、前記(1)〜(14)のいずれか1項に記載の情報処理装置。
(18)
前記複数の区間の各々は、前記原曲に含まれる1つ以上の小節によりそれぞれ構成される、前記(1)〜(17)のいずれか1項に記載の情報処理装置。
(19)
情報処理装置の制御部により実行される情報処理方法であって、
原曲に含まれる複数の区間の各々について、前記原曲内で時間的に隣接する隣接区間及び当該隣接区間と同じ属性を有する代替区間を探索することにより、複数の区間シーケンスを生成することと、
前記複数の区間シーケンスから少なくとも1つの区間シーケンスを選択することと、
を含む情報処理方法。
(20)
情報処理装置を制御するコンピュータを、
原曲に含まれる複数の区間の各々について、前記原曲内で時間的に隣接する隣接区間及び当該隣接区間と同じ属性を有する代替区間を探索することにより、複数の区間シーケンスを生成する探索部と、
前記複数の区間シーケンスから少なくとも1つの区間シーケンスを選択する選択部と、
として機能させるためのプログラム。
100,200,300 情報処理装置(サーバ装置)
145,245 設定部
150,250 データ取得部
160,260 探索部
170,270 選択部
180,280 再構成部
190,290 再生部
330 通信部

Claims (20)

  1. 原曲に含まれる複数の区間の各々について、前記原曲内で時間的に隣接する隣接区間及び当該隣接区間と同じ属性を有する代替区間を探索することにより、複数の区間シーケンスを生成する探索部と、
    前記複数の区間シーケンスから少なくとも1つの区間シーケンスを選択する選択部と、
    を備える情報処理装置。
  2. 前記情報処理装置は、
    前記複数の区間の各々のメロディ種別を示す属性データを取得するデータ取得部、
    をさらに備え、
    前記探索部は、前記属性データを用いて、各隣接区間と同じメロディ種別を有する他の区間を、前記代替区間として探索する、
    請求項1に記載の情報処理装置。
  3. 前記情報処理装置は、
    前記原曲から再構成されるべき楽曲の目標時間長を設定する設定部、
    をさらに備え、
    前記選択部は、各区間シーケンスの時間長と前記目標時間長との差に基づいて、前記少なくとも1つの区間シーケンスを選択する、
    請求項2に記載の情報処理装置。
  4. 前記選択部は、各区間シーケンス内の前記代替区間の数にさらに基づいて、前記少なくとも1つの区間シーケンスを選択する、請求項3に記載の情報処理装置。
  5. 前記選択部は、各区間シーケンス内の所定のメロディ種別の区間の数にさらに基づいて、前記少なくとも1つの区間シーケンスを選択する、請求項3に記載の情報処理装置。
  6. 前記探索部は、前記複数の区間から選択される開始区間を起点として、前記隣接区間及び前記代替区間をツリー状に探索する、請求項3に記載の情報処理装置。
  7. 前記探索部は、探索中の区間シーケンスの時間長が前記目標時間長に応じて決定される第1の閾値を上回った場合に、当該探索中の区間シーケンスについて探索を打ち切る、請求項6に記載の情報処理装置。
  8. 前記目標時間長が前記原曲の時間長よりも短い場合には、前記探索部は、前記代替区間として、各隣接区間と同じ属性を有し、当該隣接区間よりも後方に存在する区間を探索する、請求項6に記載の情報処理装置。
  9. 前記目標時間長が前記原曲の時間長よりも長い場合には、前記探索部は、前記代替区間として、各隣接区間と同じ属性を有し、当該隣接区間よりも前方又は後方に存在する区間を探索する、請求項6に記載の情報処理装置。
  10. 前記探索部は、探索中の区間シーケンスの時間長が前記目標時間長に応じて決定される第2の閾値を上回った後、当該探索中の区間シーケンスについて前方の前記代替区間を探索しない、請求項9に記載の情報処理装置。
  11. 前記設定部は、ユーザインタフェースを介して前記目標時間長をユーザに指定させる、請求項3に記載の情報処理装置。
  12. 前記設定部は、前記原曲を含む複数の楽曲についての目標総時間長に基づいて、前記原曲についての前記目標時間長を計算する、請求項3に記載の情報処理装置。
  13. 前記設定部は、前記複数の楽曲のうち再構成されるべき1つ以上の楽曲を対象曲に設定し、
    前記探索部は、設定された当該1つ以上の対象曲の各々の属性データについて、探索を実行する、
    請求項12に記載の情報処理装置。
  14. 前記設定部は、前記複数の楽曲の各々に付与されるレーティングに基づいて、前記対象曲を選択する、請求項13に記載の情報処理装置。
  15. 前記情報処理装置は、
    前記選択部により選択された前記少なくとも1つの区間シーケンスに対応する楽曲を前記原曲から再構成する再構成部、
    をさらに備える、請求項1に記載の情報処理装置。
  16. 前記再構成部は、選択された各区間シーケンスに含まれる区間を前記原曲から抽出することにより、各区間シーケンスに対応する楽曲を再構成する、請求項15に記載の情報処理装置。
  17. 前記情報処理装置は、
    前記少なくとも1つの区間シーケンスに対応する楽曲を前記原曲から再構成する装置へ、前記少なくとも1つの区間シーケンスを特定する区間シーケンスデータを送信する通信部、
    をさらに備える、請求項1に記載の情報処理装置。
  18. 前記複数の区間の各々は、前記原曲に含まれる1つ以上の小節によりそれぞれ構成される、請求項1に記載の情報処理装置。
  19. 情報処理装置の制御部により実行される情報処理方法であって、
    原曲に含まれる複数の区間の各々について、前記原曲内で時間的に隣接する隣接区間及び当該隣接区間と同じ属性を有する代替区間を探索することにより、複数の区間シーケンスを生成することと、
    前記複数の区間シーケンスから少なくとも1つの区間シーケンスを選択することと、
    を含む情報処理方法。
  20. 情報処理装置を制御するコンピュータを、
    原曲に含まれる複数の区間の各々について、前記原曲内で時間的に隣接する隣接区間及び当該隣接区間と同じ属性を有する代替区間を探索することにより、複数の区間シーケンスを生成する探索部と、
    前記複数の区間シーケンスから少なくとも1つの区間シーケンスを選択する選択部と、
    として機能させるためのプログラム。
JP2012146545A 2012-06-29 2012-06-29 情報処理装置、情報処理方法及びプログラム Pending JP2014010275A (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012146545A JP2014010275A (ja) 2012-06-29 2012-06-29 情報処理装置、情報処理方法及びプログラム
US13/894,552 US20140000442A1 (en) 2012-06-29 2013-05-15 Information processing apparatus, information processing method, and program
CN201310271851.5A CN103531219A (zh) 2012-06-29 2013-06-21 信息处理设备、信息处理方法和程序

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012146545A JP2014010275A (ja) 2012-06-29 2012-06-29 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
JP2014010275A true JP2014010275A (ja) 2014-01-20

Family

ID=49776791

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012146545A Pending JP2014010275A (ja) 2012-06-29 2012-06-29 情報処理装置、情報処理方法及びプログラム

Country Status (3)

Country Link
US (1) US20140000442A1 (ja)
JP (1) JP2014010275A (ja)
CN (1) CN103531219A (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015197472A (ja) * 2014-03-31 2015-11-09 ヤマハ株式会社 楽曲処理装置

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003275089A1 (en) * 2002-09-19 2004-04-08 William B. Hudak Systems and methods for creation and playback performance
JP5967564B2 (ja) * 2010-04-17 2016-08-10 Nl技研株式会社 電子オルゴール
JP2014006480A (ja) * 2012-06-27 2014-01-16 Sony Corp 情報処理装置、情報処理方法及びプログラム
US8927846B2 (en) * 2013-03-15 2015-01-06 Exomens System and method for analysis and creation of music
US9570059B2 (en) * 2015-05-19 2017-02-14 Spotify Ab Cadence-based selection, playback, and transition between song versions
US12061588B1 (en) * 2023-04-11 2024-08-13 Honeywell International Inc. Systems and methods for automatically selecting and creating secondary indexes

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2743680B2 (ja) * 1992-01-16 1998-04-22 ヤマハ株式会社 自動演奏装置
EP0907160B1 (en) * 1997-09-30 2004-05-19 Yamaha Corporation Tone data making method and device and recording medium
EP1343139B1 (en) * 1997-10-31 2005-03-16 Yamaha Corporation audio signal processor with pitch and effect control
JP3546739B2 (ja) * 1999-02-24 2004-07-28 ヤマハ株式会社 自動演奏装置と記録媒体
JP3491553B2 (ja) * 1999-03-02 2004-01-26 ヤマハ株式会社 演奏データ処理装置及びその記録媒体
DE19948974A1 (de) * 1999-10-11 2001-04-12 Nokia Mobile Phones Ltd Verfahren zum Erkennen und Auswählen einer Tonfolge, insbesondere eines Musikstücks
JP4808868B2 (ja) * 2001-06-29 2011-11-02 株式会社河合楽器製作所 自動演奏装置
JP4649859B2 (ja) * 2004-03-25 2011-03-16 ソニー株式会社 信号処理装置および方法、記録媒体、並びにプログラム
JP2005339732A (ja) * 2004-05-28 2005-12-08 Sony Corp データ再生装置、情報配信サーバ及びコンテンツ再生システム
JP2006106818A (ja) * 2004-09-30 2006-04-20 Toshiba Corp 音楽検索装置、音楽検索方法及び音楽検索プログラム
JP4243862B2 (ja) * 2004-10-26 2009-03-25 ソニー株式会社 コンテンツ利用装置およびコンテンツ利用方法
JP2006127574A (ja) * 2004-10-26 2006-05-18 Sony Corp コンテンツ利用装置、コンテンツ利用方法、配信サーバー装置、情報配信方法および記録媒体
JP4626376B2 (ja) * 2005-04-25 2011-02-09 ソニー株式会社 音楽コンテンツの再生装置および音楽コンテンツ再生方法
JP4465626B2 (ja) * 2005-11-08 2010-05-19 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4650270B2 (ja) * 2006-01-06 2011-03-16 ソニー株式会社 情報処理装置および方法、並びにプログラム
JP4487958B2 (ja) * 2006-03-16 2010-06-23 ソニー株式会社 メタデータ付与方法及び装置
US7842874B2 (en) * 2006-06-15 2010-11-30 Massachusetts Institute Of Technology Creating music by concatenative synthesis
JP5007563B2 (ja) * 2006-12-28 2012-08-22 ソニー株式会社 音楽編集装置および方法、並びに、プログラム
JP4375471B2 (ja) * 2007-10-05 2009-12-02 ソニー株式会社 信号処理装置、信号処理方法、およびプログラム
JP5282548B2 (ja) * 2008-12-05 2013-09-04 ソニー株式会社 情報処理装置、音素材の切り出し方法、及びプログラム
JP2012103603A (ja) * 2010-11-12 2012-05-31 Sony Corp 情報処理装置、楽曲区間抽出方法、及びプログラム
US8710343B2 (en) * 2011-06-09 2014-04-29 Ujam Inc. Music composition automation including song structure

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015197472A (ja) * 2014-03-31 2015-11-09 ヤマハ株式会社 楽曲処理装置

Also Published As

Publication number Publication date
CN103531219A (zh) 2014-01-22
US20140000442A1 (en) 2014-01-02

Similar Documents

Publication Publication Date Title
JP5594052B2 (ja) 情報処理装置、楽曲再構成方法及びプログラム
US9355627B2 (en) System and method for combining a song and non-song musical content
JP7265987B2 (ja) 強化型コンテンツ追跡システム及び方法
US8173883B2 (en) Personalized music remixing
AU2014253227B2 (en) A system and method for generating an audio file
CN106023969B (zh) 用于将音频效果应用于音乐合辑的一个或多个音轨的方法
JP2014010275A (ja) 情報処理装置、情報処理方法及びプログラム
US9459828B2 (en) Musically contextual audio advertisements
CN106708894B (zh) 电子书配置背景音乐的方法和装置
JP2005321668A (ja) 情報処理装置および方法、並びにプログラム
HK1200588A1 (en) System and method for providing audio for a requested note using a render cache
JP2014006480A (ja) 情報処理装置、情報処理方法及びプログラム
JP2011043710A (ja) 音声処理装置、音声処理方法及びプログラム
JP2003015666A (ja) プレイリスト生成装置、オーディオ情報提供装置、オーディオ情報提供システムおよびその方法、プログラム、記録媒体
EP3759706A1 (en) Method of combining audio signals
US20240055024A1 (en) Generating and mixing audio arrangements
JP4412128B2 (ja) 再生装置および再生方法
EP2159797B1 (en) Audio signal generator, method of generating an audio signal, and computer program for generating an audio signal
CN112528631B (zh) 一种基于深度学习算法的智能伴奏系统
JP4364838B2 (ja) 楽曲リミックス可能な音楽再生装置ならびに楽曲リミックス方法およびプログラム
Sporka et al. Design and implementation of a non-linear symphonic soundtrack of a video game
JP4447540B2 (ja) カラオケ唱歌録音作品の鑑賞システム
Kosonen et al. Rhythm metadata enabled intra-track navigation and content modification in a music player
JP6858567B2 (ja) 情報出力装置及び情報出力方法
Wun et al. Musical extrapolation of speech with auto-DJ