特許法第30条第2項適用 令和5年12月14日にアップル社のウェブサイトApp Storeに本願の発明に関するアプリケーションVersion 3.0.0を申請
以下、本開示に係る情報処理装置及び楽曲再生プログラムを実施するための形態(以下、「実施形態」と記載)について添付図面を参照して説明する。なお、この実施形態には、あくまで1つの例や1つの側面を示すに過ぎず、以下の説明により、本開示に係る構成や作用、機能、性質、特性、方法、用途などは限定されない。
<実施形態1>
<情報処理装置10の構成>
図1は、実施形態に係る情報処理装置10の機能構成例を示す図である。例えば、情報処理装置10は、音楽編集・動画撮影ソフトウェアがインストールされたユーザ端末、例えばスマートフォンなどのモバイル端末である。情報処理装置10は、楽曲を編集する編集機能、楽曲を再生する再生制御機能、及び動画を撮影する動画撮影機能を有する。図1には、情報処理装置10が有する編集機能、再生制御機能及び動画撮影機能に関連するブロックが模式化されている。図1に示すように、情報処理装置10は、表示部11と、入力部12と、通信部13と、カメラ部14と、記憶部15と、制御部16とを有する。なお、図1には、上記の楽曲再生機能に関連する機能部が抜粋して示されているに過ぎず、情報処理装置10は図示以外の機能部を有してもよい。
表示部11は、各種の情報を表示する機能部である。一例として、表示部11は、液晶ディスプレイや有機EL(Electro Luminescence)ディスプレイなどにより実現される。例えば、表示部11は、編集機能、再生制御機能及び動画撮影機能に関する各種の操作画面を表示する。
入力部12は、各種の操作を入力する機能部である。情報処理装置10をモバイル端末により実現される場合、表示部11及び入力部12は、一体化することにより、タッチパネルとして実現される。例えば、入力部12は、表示部11に表示された各種の操作画面に対する各種の入力を受け付ける。
通信部13は、不図示のネットワークと有線又は無線で接続され、ネットワークを介して、他の装置などとの間で情報の送受信を行う機能部である。一例として、通信部13は、通信モジュールやNIC(Network Interface Card)などによって実現される。
カメラ部14は、画像を撮影する機能部である。例えば、カメラ部14は、撮像素子を内蔵し、撮像素子により画像を撮影し、撮影された画像の画像データを出力する。
記憶部15は、各種のデータを記憶する機能部である。1つの態様として、記憶部15は、RAM(Random Access Memory)やフラッシュメモリなどの半導体メモリ素子またはストレージにより実現される。例えば、記憶部15は、プロジェクトデータ15aを記憶する。
情報処理装置10は、編集機能により楽曲の編集が可能されており、楽曲をプロジェクトとして管理する。プロジェクトデータ15aは、編集機能により編集された楽曲を記憶したデータである。
制御部16は、情報処理装置10の全体制御を行う機能部である。例えば、制御部16は、ハードウェアプロセッサにより実現され得る。図1に示すように、制御部16は、表示制御部16aと、編集部16bと、再生部16cと、動画撮影部16dと、生成部16eとを有する。なお、制御部16は、ハードワイヤードロジックなどにより実現されることを妨げない。
表示制御部16aは、各種の情報を表示部11に表示する制御を行う。例えば、表示制御部16aは、楽曲編集画面及び再生制御画面を含む操作画面を表示部11に表示する。
ここで、表示部11に表示する楽曲編集画面及び再生制御画面の一例を説明する。最初に、楽曲編集画面の一例を説明する。図2A及び図2Bは、実施形態に係る楽曲編集画面50の一例を示す図である。
楽曲編集画面50は、切り替えコントロール51と、フッター60と、編集操作部70と、トラック表示部80とを有する。
切り替えコントロール51には、「プレイヤー」と「編集」が表示され、選択可能とされている。「プレイヤー」が選択されると、後述する再生制御画面が表示され、「編集」が選択されると、楽曲編集画面50が表示される。
フッター60は、トラック追加ボタン61と、元に戻すボタン62と、再生・停止ボタン63と、やり直すボタン64と、フェードボタン65とを有する。
トラック追加ボタン61は、トラック表示部80へのトラック81の追加を指示するボタンである。元に戻すボタン62は、1つ前に実施した操作をキャンセルして1つ前の操作の操作前の状態に戻すことを指示するボタンである。再生・停止ボタン63は、編集中の楽曲の再生、及び、再生停止を指示するボタンである。再生・停止ボタン63には、楽曲を再生していない未再生の状態で「再生」が表示され、楽曲の再生中、「停止」が表示される。やり直すボタン64は、元に戻すボタン62によりキャンセルした1つ前の操作を再度やり直すことを指示するボタンである。フェードボタン65は、楽曲にフェードのエフェクトを追加することを指示するボタンである。
編集操作部70は、コピーボタン71と、貼り付けボタン72と、分割ボタン73と、削除ボタン74とを有する。編集操作部70は、トラック81に表示された楽曲をタッチ操作した際に表示される。
コピーボタン71は、楽曲のコピーを指示するボタンである。貼り付けボタン72は、コピーボタン71によりコピーした楽曲の貼り付けを指示するボタンである。分割ボタン73は、指定された位置での楽曲の分割を指示するボタンである。削除ボタン74は、指定された楽曲の削除を指示するボタンである。
楽曲編集画面50は、楽曲に使用する音源をトラック81により管理する。トラック表示部80には、トラック追加ボタン61へのタッチ操作によりトラック81が追加される。トラック表示部80には、トラック81が表示される。
トラック81には、音源とする1又は複数の楽曲が登録される。例えば、トラック81には、不図示のネットワークを介して楽曲を提供するWebサービスにアクセスして、ユーザの指定する楽曲がダウンロードされて登録される。トラック81には、登録された楽曲のタイムラインに沿って楽曲の音声の変化を示す音声波形が表示される。
各トラック81に登録された楽曲は、編集操作部70のコピーボタン71、貼り付けボタン72、分割ボタン73及ぶ削除ボタン74により編集が可能とされている。例えば、トラック81に登録された楽曲は、タッチ操作されると、編集操作部70によるコピー、貼り付け、分割、削除の各操作が可能となり、各操作を組み合わせて編集をされる。例えば、トラック81に登録されたcは、一部分を切り取って抽出する編集を行うことにより、楽曲の長さを変更できる。
また、各トラック81は、楽曲にエフェクトを追加する編集が可能とされている。例えば、トラック81に登録された楽曲は、タッチ操作されると、フェードボタン65により、フェードイン、フェードアウトの追加が可能とされている。フェードインは、徐々に音量を上げていくことであり、フェードアウトは、徐々に音量を下げることである。フェードのエフェクトは、(1)徐々に音量を上げたい時、(2)違和感なく2つの楽曲を繋げたい時、(3)徐々に楽曲を終わらせたい時などに利用可能である。たとえば、(1)徐々に音量を上げたい時には、フェードインを設定する。(2)違和感なく2つの楽曲を繋げたい時には、先行楽曲にフェードアウトを設定し、後続楽曲にフェードインを設定する。(3)徐々に楽曲を終わらせたい時には、フェードアウトを設定する。楽曲にエフェクトを追加した場合、トラック81には、追加したエフェクトを示すマークが表示される。また、各トラック81は、音量バランスや音色などを調整する編集が可能とされている。例えば、トラック81は、タッチ操作した後、所定操作が行われると、最大音量を指定するサブ画面が表示され、最大音量の調整可能とされている。
楽曲編集画面50は、1つ又は複数のトラック81に複数の楽曲を登録し、登録した各楽曲をそれぞれ編集することで、複数の楽曲を繋ぎ合わせる編集ができる。また、楽曲編集画面50は、複数のトラック81にそれぞれ楽曲を登録することにより、複数の楽曲ミキシングする編集ができる。
図2Aに示す楽曲編集画面50には、2つのトラック81a、81bが示されている。トラック81aには、曲Aが登録されている。トラック81bには、曲Bの一部に続けて、曲Cの一部が登録されている。
図2Bは、図2Aに示したトラック81a、81bの楽曲を編集し、エフェクトを追加した結果の一例を示している。図2Bでは、トラック81aの曲Aの一部分を抽出し、トラック81bから曲Bを削除し、トラック81aの曲Aの抽出した一部分とトラック81bの曲Cを繋げた場合を示している。また、図2Bでは、トラック81aの曲Aの終盤に始点及び終点を選択してフェードアウトするエフェクトが追加されている。トラック81aの曲Aには、フェードアウトの始点から終点の位置に対応してフェードアウトを示す三角形状のマーク82が表示される。また、トラック81bの曲Cに始点及び終点を選択してフェードインするエフェクトが追加されている。トラック81bの曲Cには、フェードインの始点から終点の位置に対応してフェードインを示す三角形状のマーク83が表示される。マーク82、83は、三角形の斜辺が音量レベルの変化を表している。
情報処理装置10は、楽曲編集画面50の切り替えコントロール51を「プレイヤー」に切り替えることで、楽曲編集画面50により編集した楽曲を再生制御画面で再生できる。
次に、再生制御画面の一例を説明する。情報処理装置10は、再生制御画面として、アドバンスモード画面とベーシックモード画面を用意しており、切り替え指示に応じて、アドバンスモード画面又はベーシックモード画面を表示部11に表示する。
図3A及び図3Bは、実施形態に係るアドバンスモード画面100の一例を示す図である。アドバンスモード画面100は、切り替えコントロール101と、ヘッダ110と、フッター120と、波形表示部130と、テンポ操作部140と、マーカー操作部150と、ループ操作部160とを有する。アドバンスモード画面100は、メニューボタン102からベーシックモード画面に切り替えることが可能とされている。
切り替えコントロール101には、「プレイヤー」と「編集」が表示され、選択可能とされている。「プレイヤー」が選択されると、アドバンスモード画面100が表示され、「編集」が選択されると、楽曲編集画面50が表示される。
ヘッダ110には、再生する楽曲の名称などの楽曲の情報が表示される。
フッター120は、再生・停止ボタン121と、始点ボタン122と、進むボタン123と、戻るボタン124と、録画ボタン125とを有する。
再生・停止ボタン121は、楽曲の再生、及び、再生停止を指示するボタンである。再生・停止ボタン121には、楽曲を再生していない未再生の状態で「再生」が表示され、楽曲の再生中、「停止」が表示される。
始点ボタン122は、再生位置を楽曲の最初に戻すことを指示するボタンである。進むボタン123は、楽曲の再生位置を所定秒後に進めることを指示するボタンである。進むボタン123は、楽曲の再生位置を所定秒前に戻することを指示するボタンである。所定秒は、不図示の設定画面から指定可能とされている。本実施形態では、所定秒を5秒と設定した場合を示している。
録画ボタン125は、動画撮影を指示するボタンである。動画撮影については、後述する。
波形表示部130には、楽曲のタイムラインに沿って楽曲全体の音声の変化を示す音声波形が表示される。また、波形表示部130には、タイムライン上に現在の再生位置にシークバー131が表示される。また、波形表示部130には、楽曲の再生位置での再生時間と残り時間が表示される。シークバー131は、スライド操作が可能とされている。波形表示部130は、シークバー131がスライド移動されることにより、楽曲の再生位置の変更を受け付ける。
テンポ操作部140には、楽曲のテンポを表すBPM(Beats Per Minute)の数値が表示される。また、テンポ操作部140は、楽曲のテンポアップを指示するテンポアップボタン141と、楽曲のテンポダウンを指示するテンポダウンボタン142と、スライド移動により楽曲のテンポの変更を受け付けるスライダーバー143とを有する。テンポ操作部140は、テンポアップボタン141、テンポダウンボタン142及びスライダーバー143により楽曲のテンポを変えることで、楽曲の再生速度の変更を受け付ける。
マーカー操作部150には、4つのマーカー151として「1」から「4」の数値が表示されている。楽曲の再生中にマーカー151がタッチ操作されると、タッチ操作されたタイミングの再生位置がマーカー151に登録される。再生位置が登録されたマーカー151がタッチ操作されると、タッチ操作されたマーカー151に登録された再生位置から楽曲が再生される。図3Aの例では、「1」のマーカー151は、再生位置が未登録の状態であり、「2」から「4」のマーカー151は、再生位置が登録済みの状態である。波形表示部130のタイムラインには、「2」から「4」のマーカー151の再生位置を示す「2」から「4」の数値が表示されている。マーカー操作部150は、マーカー151がタッチ操作されることにより、楽曲の再生位置の登録、及び再生位置の指定を受け付ける。また、マーカー操作部150には、ごみ箱ボタン152が表示される。ごみ箱ボタン152がタッチ操作された後、マーカー151がタッチ操作されることで、マーカー151に登録された再生位置が削除される。
ループ操作部160は、ループ再生の開始位置を指定する開始位置ボタン161と、ループ再生の終了位置を指定する終了位置ボタン162と、ループ再生を指定するループボタン163とを有する。楽曲の再生中に開始位置ボタン161がタッチ操作されると、タッチ操作されたタイミングの再生位置が開始位置ボタン161に開始位置として登録される。また、開始位置以降の楽曲の再生中に終了位置ボタン162がタッチ操作されると、タッチ操作されたタイミングの再生位置が終了位置ボタン162に登録される。ループボタン163は、タッチ操作により選択状態と未選択状態に切り替かわる。ループボタン163が選択状態で楽曲が再生されると、開始位置ボタン161に登録された開始位置と終了位置ボタン162に登録された終了位置の間でループ再生される。図3Aの例では、波形表示部130のタイムラインに、ループの開始位置を示す「A」とループ再生の終了位置を示す「B」が表示されている。ループ操作部160は、開始位置ボタン161、終了位置ボタン162、ループボタン163がタッチ操作されることにより、ループ再生の開始位置、終了位置の登録、及びループ再生の指定を受け付ける。ループ操作部160には、ごみ箱ボタン164が表示される。ループ操作部160は、ごみ箱ボタン164がタッチ操作された後、開始位置ボタン161、終了位置ボタン162がタッチ操作されることで、開始位置ボタン161、終了位置ボタン162に登録された再生位置が削除される。
また、波形表示部130には、音声波形の拡大表示を指示する切替ボタン132が設けられている。切替ボタン132が選択されると、波形表示部130には、音声波形が拡大表示される。
図3Bは、図3Aに示した切替ボタン132を選択した結果の一例を示している。図3Bに示すように、波形表示部130には、現在の再生位置を中心として前後所定時間の楽曲の音声波形が表示される。また、波形表示部130には、楽曲の拍位置に対応してビートグリッド133がプロットされている。波形表示部130には、音声波形の全体表示を指示する切替ボタン134が設けられている。切替ボタン134が選択されると、図3Aに戻り、波形表示部130には、楽曲全体の音声波形が表示される。
アドバンスモード画面100は、切り替えコントロール101の右側に点が3つ縦に並んだメニューボタン102が設けられ、メニューボタン102が選択されるとメニュー170が表示される。メニュー180には、ベーシックモード画面への切り替えを指示する切り替えボタン181と、楽曲の音楽ファイルとして書き出しを指示する書き出しボタン182が設けられている。再生制御画面として、ベーシックモード画面を表示部11に表示させる場合、切り替えボタン181が選択される。
図4A~図4Cは、実施形態に係るベーシックモード画面200の一例を示す図である。ベーシックモード画面200は、フッター120と、切り替えコントロール201と、アートワーク表示部210と、タグ部220と、操作部230と、タイムライン表示部240とを有する。ベーシックモード画面200は、メニューボタン102からアドバンスモード画面100に切り替えることが可能とされている。
切り替えコントロール201には、「プレイヤー」と「編集」が表示され、選択可能とされている。「プレイヤー」が選択されると、ベーシックモード画面200が表示され、「編集」が選択されると、楽曲編集画面50が表示される。
アートワーク表示部210には、楽曲のアルバムジャケットなどのアートワークが表示される。例えば、楽曲編集画面50により複数の楽曲を繋げて楽曲が作成された場合、アートワーク表示部210には、再生位置の楽曲のアートワークが表示される。
タグ部220は、タグとして、テンポ221と、マーカー222と、ループ223を有する。操作部230は、タグ部220で選択されたタグにより表示が切り替わる。
図4Aは、タグ部22でテンポ221が選択された状態を示している。操作部230は、テンポ221が選択された場合、上述したアドバンスモード画面100のテンポ操作部140として機能し、テンポアップボタン141と、テンポダウンボタン142と、スライダーバー143とが表示される。操作部230は、テンポアップボタン141、テンポダウンボタン142及びスライダーバー143により楽曲のテンポを変えることで、楽曲の再生速度の変更を受け付ける。
図4Bは、タグ部220でマーカー222が選択された状態を示している。操作部230は、マーカー222が選択された場合、上述したアドバンスモード画面100のマーカー操作部150として機能し、4つのマーカー151として「1」から「4」の数値が表示されている。操作部230は、マーカー151がタッチ操作されることにより、楽曲の再生位置の登録、及び再生位置の指定を受け付ける。また、操作部230には、ごみ箱ボタン152が表示される。ごみ箱ボタン152がタッチ操作された後、マーカー151がタッチ操作されることで、マーカー151に登録された再生位置が削除される。
図4Cは、タグ部220でループ223が選択された状態を示している。操作部230は、ループ223が選択された場合、上述したアドバンスモード画面100のループ操作部160として機能し、開始位置ボタン161と、終了位置ボタン162と、ループボタン163が表示されている。操作部230は、開始位置ボタン161、終了位置ボタン162、ループボタン163がタッチ操作されることにより、ループ再生の開始位置、終了位置の登録、及びループ再生の指定を受け付ける。操作部230には、ごみ箱ボタン164が表示される。操作部230は、ごみ箱ボタン164がタッチ操作された後、開始位置ボタン161、終了位置ボタン162がタッチ操作されることで、開始位置ボタン161、終了位置ボタン162に登録された再生位置が削除される。
タイムライン表示部240には、楽曲のタイムラインが表示され、タイムライン上に現在の再生位置にシークバー241が表示される。また、タイムライン表示部240には、楽曲の再生位置での再生時間と楽曲全体の再生時間が表示される。タイムライン表示部240のタイムラインには、マーカー151に再生位置が登録された場合、及びループ再生の開始位置、終了位置が登録された場合、それそれぞれの開始位置が表示される。図4Cでは、ループの開始位置を示す「A」とループ再生の終了位置を示す「B」が表示されている。
ベーシックモード画面200は、切り替えコントロール201の右側に点が3つ縦に並んだメニューボタン202が設けられ、メニューボタン202が選択されるとメニュー270が表示される。メニュー180には、アドバンスモード画面100への切り替えを指示する切り替えボタン183と、楽曲の音楽ファイルとして書き出しを指示する書き出しボタン182が設けられている。再生制御画面として、アドバンスモード画面100を表示部11に表示させる場合、切り替えボタン183が選択される。
アドバンスモード画面100及びベーシックモード画面200には、楽曲を再生するテンポや、ループ再生などの楽曲の再生する際の再生条件が設定される。
図1に戻る。表示制御部16aは、操作に応じて、楽曲編集画面50を表示部11に表示する制御を行う。また、表示制御部16aは、操作に応じて、楽曲編集画面として、アドバンスモード画面100又はベーシックモード画面200を表示部11に表示する制御を行う。
編集部16bは、楽曲編集画面50に対する操作に応じて、楽曲を編集する。編集部16bは、楽曲編集画面50で編集された楽曲のデータをプロジェクトデータ15aとして記憶部15に記憶する。例えば、編集部16bは、楽曲編集画面50のトラック81ごとに、トラック81に登録された楽曲のデータをプロジェクトデータ15aに格納する。また、編集部16bは、楽曲編集画面50で楽曲が編集された場合、編集内容を示すデータをプロジェクトデータ15aに格納する。例えば、編集部16bは、楽曲の一部分を切り取って抽出された場合、抽出された楽曲の一部分のデータをプロジェクトデータ15aに格納する。また、編集部16bは、楽曲にエフェクトを追加する編集がされた場合、追加されたエフェクトに関するデータをプロジェクトデータ15aに格納する。例えば、編集部16bは、楽曲にフェードインが追加された場合、楽曲でのフェードインの始点の位置、終点の位置、楽曲にフェードインを実施することを示すデータをプロジェクトデータ15aに格納する。これにより、記憶部15には、編集部16bにより編集された楽曲及び編集内容がプロジェクトデータ15aに記憶される。
再生部16cは、再生・停止ボタン121で楽曲の再生が指示されると、楽曲編集画面50により編集された楽曲の再生を開始する。再生部16cは、再生制御画面の再生条件で楽曲を再生する。再生制御画面の再生条件で再生するとは、楽曲を特定の形式で書き出す前に再生部16cで再生することである。例えば、再生部16cは、アドバンスモード画面100又はベーシックモード画面200に設定された再生条件でプロジェクトデータ15aに記憶された楽曲を再生する。例えば、再生部16cは、アドバンスモード画面100又はベーシックモード画面200に設定されたテンポで、プロジェクトデータ15aに記憶された楽曲を再生する。再生部16cは、プロジェクトデータ15aに記憶された各トラックの楽曲を再生位置の順に、プロジェクトデータ15aに記憶されたエフェクトを反映して再生する。再生部16cは、アドバンスモード画面100又はベーシックモード画面200でループ再生の指定されている場合、ループ再生の開始位置、終了位置で楽曲をループ再生する。
動画撮影部16dは、撮影指示に応じて、カメラ部14を制御し、動画を撮影する。例えば、表示制御部16aは、アドバンスモード画面100又はベーシックモード画面200のフッター120の録画ボタン125がタッチ操作されると、動画撮影画面を表示部11に表示する制御を行う。
図5は、実施形態に係る動画撮影画面300の一例を示す図である。動画撮影画面300は、映像表示領域301と、撮影ボタン310とを有する。
映像表示領域301には、ライブビューが表示される。例えば、録画ボタン125がタッチ操作されると、動画撮影部16dは、カメラ部14を制御して動画を撮影する。例えば、動画撮影部16dは、カメラ部14を制御して、動画として、所定のフレームレートで画像を撮影する。映像表示領域301には、カメラ部14で撮影された動画がライブビューとして表示される。
撮影ボタン310は、動画撮影の開始及び終了を指示するボタンである。
再生部16cは、撮影ボタン310がタッチ操作されると、楽曲編集画面50により編集された楽曲の再生を開始する。再生部16cは、再生制御画面の再生条件で楽曲を再生する。例えば、再生部16cは、アドバンスモード画面100又はベーシックモード画面200に設定された再生条件でプロジェクトデータ15aに記憶された楽曲を再生する。例えば、再生部16cは、アドバンスモード画面100又はベーシックモード画面200に設定されたテンポで、プロジェクトデータ15aに記憶された楽曲を再生する。再生部16cは、プロジェクトデータ15aに記憶された各トラックの楽曲を再生位置の順に、プロジェクトデータ15aに記憶されたエフェクトを反映して再生する。再生部16cは、アドバンスモード画面100又はベーシックモード画面200でループ再生の指定されている場合、ループ再生の開始位置、終了位置で楽曲をループ再生する。
動画撮影部16dは、撮影ボタン310がタッチ操作されると、再生部16cにより再生される楽曲を音声として含んだ動画を撮影し、撮影した動画を所定の動画ファイル形成の動画データとして記憶部15に保存する。動画ファイル形成としては、例えば、MPEG-4(Moving Picture Experts Group phase 4)、M4V、MOVなどが挙げられる。
生成部16eは、操作画面に対する書き出し指示に応じて、記憶部15に記憶されたプロジェクトデータ15aから所定の音楽ファイル形成の音楽データを生成する。音楽ファイル形成としては、例えば、MP3(MPEG Audio Layer-3)、AAC(Advanced Audio Coding)などが挙げられる。例えば、生成部16eは、アドバンスモード画面100又はベーシックモード画面200のメニュー180から書き出しボタン182がタッチ操作されると、プロジェクトデータ15aから所定の音楽ファイル形成の音楽データを生成する。生成部16eは、生成した音楽データを記憶部15に保存する。
次に、例えばダンサーなどのダンスに関わるユーザが実施形態に係る情報処理装置10の使用する一例を説明する。最初に、ユーザがダンスに使用する楽曲を編集し、編集した楽曲に合わせてダンスする動画を撮影する流れの一例を説明する。
ユーザは、楽曲編集画面50のトラック81に楽曲を登録し、楽曲にエフェクトをかけたり、楽曲の長さを変えるなど楽曲編集画面50を用いて楽曲を編集する。編集部16bは、楽曲編集画面50で編集された楽曲のデータをプロジェクトデータ15aとして記憶部15に記憶する。
ユーザは、楽曲に合わせてダンスを練習する際、アドバンスモード画面100又はベーシックモード画面200を用いて楽曲のテンポを変えたり、楽曲の特定部分から再生したり、特定部分を繰り返し再生する。再生部16cは、アドバンスモード画面100又はベーシックモード画面200に設定された再生条件でプロジェクトデータ15aに記憶された楽曲を再生する。
ユーザは、編集した楽曲に合わせてダンスする動画を撮影する際、アドバンスモード画面100又はベーシックモード画面200から録画ボタン125を選択して動画撮影画面300を表示させ、撮影ボタン310をタッチ操作する。再生部16cは、アドバンスモード画面100又はベーシックモード画面200に設定された再生条件でプロジェクトデータ15aに記憶された楽曲を再生する。動画撮影部16dは、再生部16cにより再生される楽曲を音声として含んだ動画を撮影し、撮影した動画を所定の動画ファイル形成の動画データとして記憶部15に保存する。
このように、情報処理装置10は、編集した楽曲を音楽ファイル形成で書き出す前に、編集した楽曲で動画撮影を行うことができる。
次に、ユーザが、楽曲編集と動画撮影を繰り返す際の流れの一例を説明する。ユーザは、撮影した動画を確認し、必要に応じてダンスの振り付けの見直しや、楽曲の編集を繰り返す。例えば、ユーザは、楽曲編集画面50を用いて再楽曲を編集する。そして、ユーザは、再編集した楽曲に合わせてダンスする動画を撮影する。例えば、ユーザは、動画撮影画面300を用いて動画を撮影する。
情報処理装置10は、アドバンスモード画面100の切り替えコントロール101やベーシックモード画面200の切り替えコントロール201で「編集」を選択することで楽曲編集画面50を表示する。これにより、ユーザは、楽曲編集画面50を用いて楽曲の再編集を容易に行うことができる。ユーザは、再編集した楽曲に合わせてダンスする動画を撮影する際、動画撮影画面300を表示させ、撮影ボタン310をタッチ操作する。情報処理装置10は、撮影ボタン310がタッチ操作されると、再編集された楽曲を音声として含んだ動画を撮影し、撮影した動画を所定の動画ファイル形成の動画データとして記憶部15に保存する。
図6は、ユーザが楽曲を編集して動画を撮影する流れの一例を示す図である。図6(A)は、ユーザが従来のように編集ソフトウェアを用いて楽曲を編集し、撮影ソフトウェアを用いて動画を撮影する流れの一例を時系列で示している。図6(B)は、ユーザが実施形態に係る情報処理装置10を用いて楽曲を編集して動画を撮影する流れの一例を時系列で示している。
従来のように編集ソフトウェアと撮影ソフトウェアを用いる場合、図6(A)に示すように、ユーザは、編集ソフトウェアを用いて楽曲を編集し、編集した楽曲を編集ソフトウェアで音楽ファイル形成の音楽データとして書き出して保存する。編集ソフトウェアで編集した楽曲は、例えば、MP3などの音楽ファイル形成の音楽データとして書き出して保存しなければ、他のソフトウェアで再生できない。このため、ユーザは、編集した楽曲を編集ソフトウェアで音楽ファイル形成の音楽データとして書き出して保存する。ユーザは、動画撮影を行う場合、再生機能を有する他のソフトウェアで、保存した音楽データを再生しつつ、撮影ソフトウェアで動画撮影を行う。再生機能を有する他のソフトウェアは撮影ソフトウェアであってもよい。
このように、編集ソフトウェアと撮影ソフトウェアを用いる場合、ユーザは、編集した楽曲を音楽ファイル形成の音楽データとして書き出して保存する必要があり、保存した音楽データを再生しつつ動画撮影を行うため、手間がかかる。
ユーザは、編集した楽曲を書き出して動画撮影後、例えば、楽曲と動画が合わない場合、楽曲を再編集して書き出して動画撮影を繰り返す。音楽ファイル形成の音楽データは、編集された楽曲の音声が記録されたデータである。ユーザは、編集ソフトウェアを用いなければ、楽曲の再編集を行うことができない。このため、楽曲の再編集と動画撮影を繰り返す場合、ユーザは、編集ソフトウェアを用いて楽曲を再編集し、再編集した楽曲を編集ソフトウェアで音楽ファイル形成の音楽データとして書き出して保存する。そして、ユーザは、保存した音楽データを他のソフトウェアで再生しつつ撮影ソフトウェアで動画撮影を行う。
このように、楽曲の再編集と動画撮影を繰り返す場合、ユーザは、再編集ごとに、再編集した楽曲を音楽ファイル形成の音楽データとして再度書き出して保存して動画撮影を行うため、手間がかかる。
一方、実施形態に係る情報処理装置10を用いて楽曲編集と動画撮影を行う場合、図6(B)に示すように、ユーザは、楽曲編集画面50を用いて楽曲を編集する。そして、ユーザは、動画撮影画面300に画面を切り替えて、編集した楽曲で動画撮影を行う。
情報処理装置10は、楽曲編集画面50により編集された楽曲をプロジェクトデータ15aとして記憶部15に記憶する。情報処理装置10は、動画撮影画面300により動画撮影する際、プロジェクトデータ15aに記憶された編集された楽曲を再生しつつ動画撮影を行う。このように、情報処理装置10は、楽曲編集画面50により楽曲の編集を行うことができ、楽曲を音楽ファイル形成で書き出す前に、動画撮影画面300により、編集した楽曲で動画撮影を行うことができる。これにより、情報処理装置10は、ユーザが楽曲を編集して動画撮影する場合の負荷を軽減できる。
ユーザは、編集した楽曲で動画撮影後、例えば、楽曲と動画が合わない場合、楽曲を再編集して動画撮影を繰り返す。楽曲の再編集と動画撮影を繰り返す場合、ユーザは、楽曲編集画面50に画面を切り替えて楽曲を再編集する。再編集の際、楽曲編集画面50には、プロジェクトデータ15aに記憶された楽曲及び編集内容が表示される。ユーザは、楽曲編集画面50により、一旦編集した楽曲に対して、楽曲にエフェクトをかけたり、楽曲の長さを変えるなどの再編集を行うことができる。ユーザは、動画撮影画面300に画面を切り替えて、再編集した楽曲で動画撮影を行う。
情報処理装置10は、楽曲編集画面50により再編集された楽曲をプロジェクトデータ15aとして記憶部15に記憶し、動画撮影する際、プロジェクトデータ15aに記憶された再編集された楽曲を再生する。このように、情報処理装置10は、楽曲編集画面50により楽曲の再編集を行うことができ、楽曲を再編集した場合も再編集した楽曲を音楽ファイル形成で書き出す前に、動画撮影画面300により、再編集した楽曲で動画撮影を行うことができる。これにより、情報処理装置10は、ユーザが楽曲の再編集と動画撮影を繰り返す場合の負荷を軽減できる。
ユーザは、楽曲編集画面50を用いて編集した楽曲を音楽ファイルとして書き出す場合、アドバンスモード画面100又はベーシックモード画面200のメニュー180から書き出しボタン182をタッチ操作する。生成部16eは、書き出しボタン182がタッチ操作されると、プロジェクトデータ15aから所定の音楽ファイル形成の音楽データを生成し、生成した音楽データを記憶部15に保存する。
記憶部15に保存された音楽データは、音楽ファイル形成のデータであるため、他の装置でも再生できる。これにより、ユーザは、記憶部15に保存された音楽データを他の装置にコピー又は移動することで、楽曲編集画面50を用いて編集した楽曲を他の装置で再生できる。
<処理の流れ>
次に、本実施形態に係る情報処理装置10の楽曲再生処理を含む制御処理の流れについて説明する。図7は、実施形態に係る楽曲再生処理を含む制御処理の手順の一例を示すフローチャートである。図7に示す楽曲再生処理は、動画撮影画面300の撮影ボタン310をタッチ操作されて動画撮影の開始が指示されたタイミングで実施される。
表示制御部16aは、再生制御画面の表示が指示されているか否かを判定する(ステップS10)。例えば、表示制御部16aは、切り替えコントロール51、101、201で「プレイヤー」が選択されている場合、再生制御画面の表示が指示されていると判定する。
再生制御画面の表示が指示されていない場合(ステップS10:No)、切り替えコントロール51、101、201で「編集」が選択されているため、表示制御部16aは、楽曲編集画面50を表示する制御を行う(ステップS11)。編集部16bは、楽曲編集画面50に対する操作に応じて、楽曲を編集する。編集部16bは、楽曲編集画面50で編集された楽曲のデータをプロジェクトデータ15aとして記憶部15に記憶する。
表示制御部16aは、楽曲編集画面50での楽曲編集が完了していない場合(ステップS12:No)、上述のステップS10へ移行し、楽曲編集画面50での楽曲編集が完了した場合(ステップS12:Yes)、後述するステップS21へ移行する。
一方、再生制御画面の表示が指示された場合(ステップS10:Yes)、表示制御部16aは、楽曲編集画面として、アドバンスモード画面100又はベーシックモード画面200を表示する制御を行う(ステップS13)。アドバンスモード画面100及びベーシックモード画面200は、楽曲の再生する際の再生条件の設定を受け付ける。再生部16cは、再生・停止ボタン121で楽曲の再生が指示されると、アドバンスモード画面100又はベーシックモード画面200に設定された再生条件でプロジェクトデータ15aに記憶された楽曲を再生する。
表示制御部16aは、動画撮影画面の表示が指示されたか否かを判定する(ステップS14)。例えば、表示制御部16aは、アドバンスモード画面100又はベーシックモード画面200で録画ボタン125が選択された場合、動画撮影画面の表示が指示されたと判定する。動画撮影画面の表示が指示されていない場合(ステップS14:No)、後述するステップS21へ移行する。
一方、動画撮影画面の表示が指示された場合(ステップS14:Yes)、表示制御部16aは、動画撮影画面300を表示する制御を行う(ステップS15)。
動画撮影部16dは、動画撮影の開始が指示されたか否かを判定する(ステップS16)。例えば、動画撮影部16dは、動画撮影画面300で撮影ボタン310がタッチ操作された場合、動画撮影の開始が指示されたと判定する。動画撮影の開始が指示されていない場合(ステップS16:No)、再度ステップS15へ移行して開始の指示待ちを行う。
動画撮影の開始が指示された場合(ステップS16:Yes)、再生部16cは、再生制御画面の再生条件で楽曲編集画面50により編集された楽曲の再生を開始する(ステップS17)。例えば、再生部16cは、アドバンスモード画面100又はベーシックモード画面200に設定された再生条件でプロジェクトデータ15aに記憶された楽曲を再生する。
動画撮影部16dは、再生部16cにより再生される楽曲を音声として含んだ動画を撮影する(ステップS18)。
動画撮影部16dは、撮影終了が指示されたか否かを判定する(ステップS19)。例えば、動画撮影部16dは、動画撮影の開始後に動画撮影画面300の撮影ボタン310をタッチ操作された場合、撮影終了が指示されたと判定する。撮影終了が指示されていない場合(ステップS19:No)、ステップS17へ移行して動画の撮影を継続する。
一方、撮影終了が指示された場合(ステップS19:Yes)、再生部16cは、楽曲の再生を終了する。動画撮影部16dは、動画の撮影を終了し、撮影した動画を所定の動画ファイル形成の動画データとして記憶部15に保存する(ステップS20)。
表示制御部16aは、処理を終了するか否かを判定する(ステップS21)。例えば、表示制御部16aは、処理終了を指示する所定操作が行われた場合、処理終了と判定し(ステップS21:Yes)、処理を終了する。一方、処理終了が指示されていない場合(ステップS21:No)、上述のステップS10へ移行する。
<まとめ>
上述してきたように、本実施形態に係る情報処理装置10は、楽曲編集画面50により編集された楽曲を再生制御画面(アドバンスモード画面100及びベーシックモード画面200)の再生条件で再生し、再生される楽曲を音声として含んだ動画を撮影する。これにより、情報処理装置10は、編集した楽曲を音楽ファイル形成で書き出す前に、編集した楽曲で動画撮影を行うことができる。
<実施形態2>
さて、これまで本開示の実施形態1について説明したが、種々の応用が可能であり、さらに、上述した実施形態1以外にも、種々の異なる形態にて実施されてよいものである。
<創作能力の発揮>
上記の実施形態1で説明した事項、例えば、楽曲編集画面50、アドバンスモード画面100、ベーシックモード画面200、動画撮影画面300の画面構成は、あくまで一例であり、変更することができる。また、楽曲編集画面50による楽曲の編集内容も、あくまで一例であり、変更することができる。また、ベーシックモード画面200及び動画撮影画面300により設定可能な再生条件も、あくまで一例であり、変更することができる。また、上記の実施形態1で説明したフローチャートも、矛盾のない範囲内で処理の順序を変更することができる。
<他の利用シーンへの適用>
上記の実施形態1では、情報処理装置10をスマートフォンなどのモバイル端末とした例に挙げたが、情報処理装置10の編集機能、再生制御機能及び動画撮影機能はWebサービスなどのクラウドサービスにより提供されてもよい。
図8は、実施形態に係る情報処理装置400の機能構成例を示すブロック図である。例えば、図8には、クラウドサービスを提供する情報処理装置400が示されている。
情報処理装置400は、サーバ装置により実現されてよい。例えば、情報処理装置400は、PaaS(Platform as a Service)型のミドルウェア、あるいはSaaS(Software as a Service)型のアプリケーションを実行することで、編集機能、再生制御機能及び動画撮影機能をクラウドサービスとして提供できる。
図8に示すように、情報処理装置400は、ネットワークNWを介して、ユーザ端末420と通信可能に接続され得る。例えば、ネットワークNWは、有線または無線を問わず、インターネットやLAN(Local Area Network)などの任意の種類の通信網であってよい。
ユーザ端末420は、クラウドサービスの提供を受けるユーザにより使用される端末装置である。ユーザ端末420は、スマートフォンやタブレット端末、ウェアラブル端末、パーソナルコンピュータなどの任意のコンピュータにより実現されてよい。
このような全体構成の下、図8に示す情報処理装置400は、図1に示す情報処理装置10に比べて、各種のリクエストがネットワークNW経由で受け付けられる点、並びに、処理の実行結果がネットワークNW経由で出力される点が異なる。
例えば、情報処理装置400は、楽曲編集画面及び再生制御画面を含む操作画面の画面情報を、通信部413を介してユーザ端末420へ送信してユーザ端末420に操作画面を表示させ、操作画面に対する操作情報をユーザ端末420から通信部413を介して受け付ける。また、情報処理装置400は、通信部413を介してユーザ端末420のカメラを制御して動画を撮影し、撮影した動画のデータをユーザ端末420から通信部413を介して受け付ける。
情報処理装置400は、編集機能、再生制御機能及び動画撮影機能をユーザ端末420に提供する。例えば、情報処理装置400の制御部416が有する表示制御部416a、編集部416b、再生部416c、動画撮影部416d及び生成部416eは、情報処理装置10の制御部16が有する表示制御部16a、編集部16b、再生部16c、動画撮影部16d及び生成部16eと同様の機能を有してよい。また、情報処理装置400の記憶部415が有するプロジェクトデータ415aは、情報処理装置10の記憶部15が有するプロジェクトデータ15aと同様の機能を有してよい。
以上のような情報処理装置400においても、編集した楽曲を音楽ファイル形成で書き出す前に、編集した楽曲で動画撮影を行うことができる。
<システム>
上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、情報処理装置10が有する表示制御部16a、編集部16b、再生部16c、動画撮影部16d及び生成部16eのうちいずれか1つ以上の機能部は、別々の装置で構成されていてもよい。
また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散や統合の具体的形態は図示のものに限られない。つまり、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散および統合して構成することができる。なお、各構成は、物理的な構成であってもよい。
さらに、図示した装置にて行なわれる処理は、その全部または任意の一部が、MPU(Micro-Processing Unit)やCPU(Central Processing Unit)などのハードウェアプロセッサにより実行されるプログラムにて実現され、あるいは、ワイヤードロジックによるハードウェアとして実現され得る。
<ハードウェア>
次に、上記の実施形態で説明した情報処理装置のハードウェア構成例を説明する。図9は、ハードウェア構成例を示す図である。図9に示すように、情報処理装置10は、通信装置10a、記憶装置10b、メモリ10c、プロセッサ10dを有する。なお、図9に示す各部は、バス等で相互に接続されてよい。
通信装置10aは、ネットワークインタフェイスカードなどである。記憶装置10bは、HDD(Hard Disk Drive)やSSD(Solid State Drive)などのストレージ装置である。例えば、記憶装置10bは、図1に示す機能を動作させるプログラムやDBなどを記憶する。
プロセッサ10dは、図1に示す処理部と同様の処理を実行するプログラムを記憶装置10b等から読み出してメモリ10cに展開することで、図1で説明した機能を実行するプロセスを動作させる。
このようなプロセスは、情報処理装置10が有する処理部と同様の機能を実現する。例えば、プロセッサ10dは、表示制御部16a、編集部16b、再生部16c、動画撮影部16d及び生成部16e等と同様の機能を有するプログラムを記憶装置10b等から読み出す。そして、プロセッサ10dは、表示制御部16a、編集部16b、再生部16c、動画撮影部16d及び生成部16e等と同様の処理を実行するプロセスを実行する。
このように、情報処理装置10は、プログラムを読み出して実行することで、上記した実施形態と同様の機能を実現する。また、情報処理装置10は、媒体読取装置によって記録媒体から上記プログラムを読み出し、読み出された上記プログラムを実行することで上記した実施形態と同様の機能を実現することもできる。なお、この他の実施形態でいうプログラムは、情報処理装置10によって実行されることに限定されるものではない。例えば、他のコンピュータまたはサーバがプログラムを実行する場合や、これらが協働してプログラムを実行するような場合にも、本開示の機能を同様に適用することができる。
上記のプログラムは、インターネットなどのネットワークを介して配布することができる。また、上記のプログラムは、任意の記録媒体に記録され、コンピュータによって記録媒体から読み出されることによって実行することができる。例えば、記録媒体は、ハードディスク、フレキシブルディスク(FD)、CD-ROM、MO(Magneto-Optical disk)、DVD(Digital Versatile Disc)などにより実現され得る。