[go: up one dir, main page]

CN104170006A - 演奏评价装置、卡拉ok装置及服务器装置 - Google Patents

演奏评价装置、卡拉ok装置及服务器装置 Download PDF

Info

Publication number
CN104170006A
CN104170006A CN201380015347.7A CN201380015347A CN104170006A CN 104170006 A CN104170006 A CN 104170006A CN 201380015347 A CN201380015347 A CN 201380015347A CN 104170006 A CN104170006 A CN 104170006A
Authority
CN
China
Prior art keywords
performance
data
expression
pitch
reference data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201380015347.7A
Other languages
English (en)
Other versions
CN104170006B (zh
Inventor
松本秀一
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Publication of CN104170006A publication Critical patent/CN104170006A/zh
Application granted granted Critical
Publication of CN104170006B publication Critical patent/CN104170006B/zh
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/04—Sound-producing devices
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00—Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/155—User input interfaces for electrophonic musical instruments
    • G10H2220/441—Image sensing, i.e. capturing images or optical patterns for musical purposes or musical control purposes
    • G10H2220/455—Camera input, e.g. analyzing pictures from a video camera and using the analysis results as control data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computational Linguistics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Auxiliary Devices For Music (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

演奏评价装置具备：表情演奏参考数据获取单元，获取以乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数据；音调音量数据生成单元，根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量的音调音量数据；及演奏评价单元，在由所述音调音量数据生成单元生成的所述音调音量数据所表示的音调和音量的至少一方的特性表示应在所述乐曲中的由所述表情演奏参考数据表示的预定时间范围内根据所述表情演奏参考数据而进行的表情演奏的特性的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价。

Description

演奏评价装置、卡拉OK装置及服务器装置
技术领域
本发明涉及对乐曲演奏的优劣进行评价的技术。
背景技术
例如，提出了各种关于具备对歌唱者的歌唱演奏的优劣进行评分的评分功能的歌唱用的卡拉OK装置(以下，只要没有特别说明，就简称为“卡拉OK装置”)的技术。作为公开了这种技术的文献，有专利文献1。该文献公开的卡拉OK装置按照歌唱曲的各音符来算出从利用者的歌唱音提取的音调与从作为引导旋律而预先准备的数据提取的音调之差，基于该差来算出基本得分。而且，该卡拉OK装置在进行运用了颤音、上滑音等技法的歌唱的情况下算出与进行该歌唱的次数对应的奖赏分。该卡拉OK装置将基本得分与奖赏分的总分作为最终的评价结果而向利用者提示。根据该技术，能够将运用了颤音或上滑音等这样的难度高的技法的歌唱反映到评价结果中。
另外，作为公开了根据表示歌唱音的波形来检测进行了运用颤音、上滑音等技法的歌唱这一情况的技术的文献，例如有专利文献2至6。
专利文献
专利文献1：日本国特开2005-107334号公报
专利文献2：日本国特开2005-107330号公报
专利文献3：日本国特开2005-107087号公报
专利文献4：日本国特开2008-268370号公报
专利文献5：日本国特开2005-107336号公报
专利文献6：日本国特开2008-225115号公报
发明内容
发明要解决的课题
然而，在专利文献1的技术的情况下，即使在对本来不优选进行运用了颤音或上滑音等技法的歌唱的歌唱部位进行了这样的歌唱的情况下，也加上奖赏分。因此，存在作为评价结果而提示的得分与由人类的感受性产生的得分发生背离这样的问题。
本发明鉴于这样的课题而作出，目的是在卡拉OK歌唱等的乐曲演奏的评价中能够提示更接近由人类的感受性产生的得分的评价结果。
用于解决课题的方案
为了解决上述课题，本发明提供一种演奏评价装置，具备：表情演奏参考数据获取单元，获取以乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数据；音调音量数据生成单元，根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量的音调音量数据；及演奏评价单元，在由所述音调音量数据生成单元生成的所述音调音量数据所表示的音调和音量的至少一方的特性表示应在所述乐曲中的由所述表情演奏参考数据表示的预定时间范围内根据所述表情演奏参考数据而进行的表情演奏的特性的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价。
另外，本发明提供一种卡拉OK装置，具备：上述的演奏评价装置；伴奏数据获取单元，获取对乐曲的伴奏进行指示的伴奏数据；及声音信号输出单元，按照所述伴奏数据的指示来输出表示伴奏的乐音的声音信号，所述音调音量数据生成单元按照从所述声音信号输出单元输出的声音信号，根据从扬声器放出的伴奏，生成表示由所述演奏者进行的所述乐曲的演奏音的音调及音量的音调音量数据。
另外，本发明一种服务器装置，具备：表情演奏出现数据获取单元，对于任意数量的任意的演奏者演奏乐曲的演奏音，分别获取表示在以所述乐曲中包含的音符或音符组的发音开始时刻为基准的一个时机出现了一个表情演奏这一情况的表情演奏出现数据；表情演奏参考数据生成单元，基于由所述表情演奏出现数据获取单元获取的任意数量的表情演奏出现数据，对于所述乐曲中包含的音符或音符组，分别确定在以该音符或音符组的发音开始时刻为基准的哪一时机、哪一表情演奏以哪一频率出现，按照该确定出的信息，生成以所述乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数据；及发送单元，将由所述表情演奏参考数据生成单元生成的表情演奏参考数据向演奏评价装置发送。
另外，本发明提供一种歌唱评价系统，具备：表情演奏参考数据获取单元，获取以乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的第一表情演奏参考数据；音调音量数据生成单元，根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量的音调音量数据；演奏评价单元，在由所述音调音量数据生成单元生成的所述音调音量数据所表示的音调及音量的至少一方的特性表示应在所述乐曲中的由所述第一表情演奏参考数据表示的预定时间范围内根据所述第一表情演奏参考数据而进行的表情演奏的特性的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价；表情演奏出现数据获取单元，对于任意数量的任意的演奏者演奏乐曲的演奏音，分别获取表示在以所述任意的演奏者演奏的所述乐曲中包含的音符或音符组的发音开始时刻为基准的一个时机出现了一个表情演奏这一情况的表情演奏出现数据；及表情演奏参考数据生成单元，基于由所述表情演奏出现数据获取单元获取的任意数量的表情演奏出现数据，对于所述任意的演奏者演奏的乐曲中包含的音符或音符组，分别确定在以该音符或音符组的发音开始时刻为基准的哪一时机、哪一表情演奏以哪一频率出现，按照该确定出的信息，生成以所述任意的演奏者演奏的乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述任意的演奏者演奏乐曲的演奏中进行的表情演奏和该表情演奏应在所述任意的演奏者演奏的乐曲中进行的时机的第二表情演奏参考数据。
另外，本发明提供一种演奏评价方法，获取以乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数据，根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量的音调音量数据，在由所述音调音量数据表示的音调和音量的至少一方的特性表示应在所述乐曲中的由所述表情演奏参考数据表示的预定时间范围内根据所述表情演奏参考数据而进行的表情演奏的特性的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价。
另外，本发明提供一种计算机能够执行的程序，使所述计算机执行：表情演奏参考数据获取处理，获取以乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数据；音调音量数据生成处理，根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量的音调音量数据；及演奏评价处理，在由所述音调音量数据生成单元生成的所述音调音量数据所表示的音调和音量的至少一方的特性表示应在所述乐曲中的由所述表情演奏参考数据表示的预定时间范围内根据所述表情演奏参考数据而进行的表情演奏的特性的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价。
发明效果
根据本发明，实现一种演奏评价装置，在各个乐曲的演奏中，当在希望的时机进行希望的表情演奏时，对演奏者给予高的评价。其结果是，在由演奏者进行了表情演奏的情况下，进行与人类的感受性的背离少的评价。
附图说明
图1是表示本发明的一实施方式的歌唱评价系统的结构的图。
图2是表示顿音的歌唱音的波形的图。
图3是表示颤音的歌唱音的波形的图。
图4是表示花腔的歌唱音的波形的图。
图5是表示上滑音的歌唱音的波形的图。
图6是表示下滑音的歌唱音的波形的图。
图7是表示本发明的一实施方式的歌唱评价系统的动作的流程图。
图8是关于顿音而生成的统计数据的一例。
图9是关于颤音而生成的统计数据的一例。
图10是关于花腔而生成的统计数据的一例。
图11是关于上滑音而生成的统计数据的一例。
图12是关于下滑音而生成的统计数据的一例。
图13是表示本发明的演奏评价装置的框图。
具体实施方式
以下，参照附图，说明本发明的实施方式。
图1是表示本发明的一实施方式的歌唱评价系统1的结构的图。该歌唱评价系统1具有卡拉OK装置10-m(m＝1，2…M：M为卡拉OK装置的总数)和服务器装置30。卡拉OK装置10-m在各卡拉OK店各设置一台或多台。服务器装置30设置在系统运营中心内。卡拉OK装置10-m和服务器装置30与网络90连接，相互能够收发各种数据。
卡拉OK装置10-m是进行通过对利用者的歌唱进行支援的伴奏曲的放音和歌词的显示的歌唱演出、利用者的歌唱的优劣的评价的装置。在此，卡拉OK装置10-m在歌唱的优劣的评价中，进行以利用者的歌唱音的音调及音量的良好与否为评价对象的评价、以以下所示的5种表情歌唱的良好与否为评价对象的评价，并将2个评价的评价结果即得分与评论消息一起向利用者提示。
a1.顿音
这是使歌唱曲内的特定音的唱出故意延迟的表情歌唱。如图2所示，在进行该歌唱的情况下，使歌唱音的音调从前一个音向该音变化的时刻比乐谱(模范的歌唱)中的两音所对应的2个音符(音符)的转变时刻稍微延迟一点时间。
b1.颤音
这是将歌唱曲内的特定音保持外观的音调且细微地震动的表情歌唱。如图3所示，在进行该歌唱的情况下，歌唱音的音调横跨乐谱中的该音所对应的音符的高度而周期性地变化。
c1.花腔
这是使歌唱曲内的特定音的声色以在发音的中途吼出的方式变化的表情歌唱。如图4所示，在进行该歌唱的情况下，歌唱音的音调在乐谱中的该音所对应的音符的中途一下子上升。
d1.上滑音
这是使歌唱曲内的特定音以比本来的高度低的声音发音之后接近本来的高度的歌唱手法。如图5所示，在进行该歌唱的情况下，歌唱音的发音开始时刻的音调比乐谱中的该音所对应的音符的高度低。并且，该歌唱音的音调在发音开始后平缓上升而达到与音符的高度大致相同的高度。
e1.下滑音
这是使歌唱曲内的特定音以比本来的高度高的声音发音之后接近本来的高度的歌唱手法。如图6所示，在进行该歌唱的情况下，歌唱音的发音开始时刻的音调比乐谱中的该音所对应的音符的高度高。并且，该歌唱音的音调在发音开始后平缓地下降而达到与音符的高度大致相同的高度。
返回到图1，继续进行歌唱评价系统1整体的说明。卡拉OK装置10-m具有声源11、扬声器12、麦克风13、显示部14、通信接口15、声音适配器16、CPU17、RAM18、ROM19、硬盘20、定序器21。声源11输出与MIDI(Musical Instrument Digital Interface)的各种消息对应的声音信号SA。扬声器12将被提供的信号作为声音而放出。麦克风13接收声音而输出收音信号SM。显示部14显示与图像信号SI对应的图像。通信接口15在其与连接于网络90的装置之间收发数据。
声音适配器16测定声音信号SM的音调及音量，并生成表示它们的时间性的变化的音调音量数据。具体而言，声音适配器16每隔时间TS(例如，TS＝30毫秒)检测从麦克风13提供的声音信号SM的音调，并将该检测结果作为信号SP而输出。而且，声音适配器16每隔时间TS检测从麦克风13提供的声音信号SM的音量，并将该检测结果作为信号SL而输出。
CPU17利用RAM18作为工作区域并执行存储于ROM19或硬盘20的程序。该CPU17的动作的详情在后文叙述。在ROM19中存储有IPL(Initial Program Loader)等。在硬盘20中存储有各种歌唱曲的歌曲数据MD-n(n＝1～N)(N为歌唱曲的种类的总数)、参考数据库DBRK及歌唱评价程序VPG。各歌唱曲的歌曲数据MD-n是以SMF(StandardMIDI File)形式记录有歌唱曲的伴奏内容、歌唱曲的歌词及歌唱曲的模范的歌唱内容的数据。
具体而言，如图1的框内所示，歌曲数据MD-n具有标题HD、伴奏音轨TRAC、歌词音轨TRLY、模范歌唱参考音轨TRNR。在标题HD中记载有歌曲编号、曲名、种类、演奏时间、时基(与一个4分音符的时间相当的滴答(tick)数)等信息。
在伴奏音轨TRAC中，以时序的顺序记载有指示歌唱曲的乐谱的伴奏声部中的各音符NT(i)(i表示从乐谱的对应声部的开头的音符NT(1)起计数的顺序)的音的发音的事件EV(i)ON和指示其消音的事件EV(i)OFF及表示紧挨着前后的事件的执行时间差(滴答数)的增量时间DT。
在歌词音轨TRLY中，以时序的顺序记载有表示歌唱曲的歌词的各数据DLY、表示各歌词的显示时刻(更具体而言，各歌词的显示时刻与该各歌词的前面的歌词的显示时刻之间的时间差(滴答数))的增量时间DT。
在模范歌唱参考音轨TRNR中，以时序的顺序记载有指示歌唱曲的乐谱的歌唱声部的各音符NT(i)的音的发音的事件EV(i)ON、指示其消音的事件EV(i)OFF及表示紧挨着前后的事件的执行时间差(滴答数)的增量时间DT。
在参考数据库DBRK存储有5种表情歌唱参考数据DDa1、DDa2、DDa3、DDa4、DDa5。表情歌唱参考数据DDa1是表示以歌唱曲中包含的音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t与在这些时刻t进行了基于顿音的歌唱时的评价分VSR(t)的各对的数据。表情歌唱参考数据DDa2是表示以歌唱曲中包含的音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t与在这些时刻t进行了基于颤音的歌唱时的评价分VSR(t)的各对的数据。表情歌唱参考数据DDa3是表示以歌唱曲中包含的音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t与在这些时刻t进行了基于花腔的歌唱时的评价分VSR(t)的各对的数据。表情歌唱参考数据DDa4是表示以歌唱曲中包含的音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t与在这些时刻t进行了基于上滑音的歌唱时的评价分VSR(t)的各对的数据。表情歌唱参考数据DDa5是表示以歌唱曲中包含的音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t与在这些时刻t进行了基于下滑音的歌唱时的评价分VSR(t)的各对的数据。以下，在不对5种表情歌唱参考数据DDa1、DDa2、DDa3、DDa4、DDa5进行区别的情况下记为表情歌唱参考数据DD。
歌唱评价程序VPG具有如下的3个功能。
a2.标准评价功能
这是如下的功能：对声音适配器16的输出信号SL及SP表示的音调及音量与通过模范歌唱参考音轨TRNR内的各事件EV(i)ON及EV(i)OFF决定的各音符NT(i)的模范音调PCHREF及模范音量LVREF进行比较，并基于该比较的结果来评价歌唱的优劣。
b2.表情歌唱评价功能
这是如下的功能：每当在声音适配器16的输出信号SP表示的音调波形中出现表情歌唱的特征波形时，求出以成为表情歌唱的对象的音符NT(i)的发音开始时刻为基准点tBS的时间轴上的表情歌唱的特征波形的出现时刻，从参考数据库DBRK内的对应的表情歌唱参考数据DD的各评价分VSR(t)之中选择与该出现时刻对应的评价分VSR(t)，并基于该评价分VSR(t)来评价歌唱的优劣。
c2.评价结果提示功能
这是如下的功能：根据a2的评价的评价结果及b2的评价的评价结果来算出得分，将该得分与评论消息一起显示在显示部14。
在以遥控器(未图示)对歌唱曲的歌唱开始操作为契机而将对应歌曲的歌曲数据MD-n从硬盘20传送到RAM18的情况下，定序器21将该歌曲数据MD-n内的事件EV(i)ON、EV(i)OFF及数据DLY向装置各部供给。具体而言，当在RAM18中存储有歌曲数据MD-n时，定序器21基于该歌曲数据MD-n的标题HD中记述的时基和由遥控器(未图示)指定的拍子来决定1滴答的时间长，根据该时间长的经过而对滴答进行计数并进行如下的3个处理。
在第一处理中，每当滴答的计数值与伴奏音轨TRAC内的增量时间DT一致时，定序器21将其后续的事件EV(i)ON(或EV(i)OFF)读出而向声源11供给。声源11当从定序器21被供给事件EV(i)ON时，将该事件EV(i)ON指定的声音信号SA向扬声器12供给，当从定序器21被供给事件EV(i)OFF时，停止向扬声器12供给声音信号SA。
在第二处理中，每当滴答的计数值与歌词音轨TRLY内的增量时间DT一致时，定序器21将其后续的数据DLY读出而向显示部14供给。显示部14当从定序器21被供给数据DLY时，将该数据DLY转换成歌词反射式字幕的图像，并将该图像显示在显示器(未图示)。
通过定序器21进行该第一及第二处理，而进行来自扬声器12的伴奏音的放音和歌词向显示器的显示。利用者听取从扬声器12放出的伴奏音并朝向麦克风13歌唱显示于显示器的歌词。在利用者朝向麦克风13进行歌唱期间，麦克风13输出利用者的歌唱音的收音信号SM，声音适配器16输出表示该信号SM的音调及音量的信号SP及SL。
在第三处理中，每当滴答的计数值与模范歌唱参考音轨TRNR内的增量时间DT一致时，定序器21将其后续的事件EV(i)ON(或EV(i)OFF)读出而向CPU17供给。CPU17使用从定序器21供给的事件EV(i)ON及EV(i)OFF、声音适配器16的输出信号SP及SL，来评价利用者的歌唱的优劣。详情在后文叙述。
服务器装置30是起到对卡拉OK店铺的服务的提供进行支援的作用的装置。服务器装置30具有通信接口35、CPU37、RAM38、ROM39、硬盘40。通信接口35在其与连接于网络90的装置之间收发数据。CPU37利用RAM38作为工作区域，并执行存储于ROM39或硬盘40的各种程序。该CPU37的动作的详情在后文叙述。在ROM39中存储有IPL等。
在硬盘40中存储有歌唱采样数据库DBS、参考数据库DBRS及歌唱分析程序APG。在歌唱采样数据库DBS单独存储有分别与1个歌唱曲对应的歌唱采样数据DS组。歌唱采样数据DS是记录了具有一定水准以上的歌唱力的人对歌唱曲进行歌唱时的歌唱音的音调波形及音量波形的数据。在参考数据库DBRS存储有应在各卡拉OK装置10-m的参考数据库DBRK内存储的最新的表情歌唱参考数据DD。
歌唱分析程序APG具有如下的3个功能。
a3.蓄积功能
这是如下的功能：从卡拉OK装置10-m一曲曲地获取各歌唱曲的歌唱采样数据DS，并将获取的歌唱采样数据DS蓄积于歌唱采样数据库DBS。
b3.改写功能
这是如下的功能：对于蓄积在歌唱采样数据库DBS中的歌唱采样数据DS，分别从该歌唱采样数据DS表示的波形内搜索表情歌唱的特征波形，根据该搜索结果，生成表示以成为表情歌唱的对象的音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t与这些时刻t的表情歌唱的出现数Num的关系的统计数据，基于统计数据的内容来改写参考数据库DBR内的表情歌唱参考数据DD中的与各时刻t对应的评价分VSR(t)。
c3.发送功能
这是如下的功能：根据来自卡拉OK装置10-m的要求，将通过改写功能改写后的表情歌唱参考数据DD向卡拉OK装置10-m发送。
接下来，说明本实施方式的动作。图7是表示本实施方式的动作的流程图。在图7中，在进行了歌唱曲的歌唱开始操作的情况下(S100为“是”)，卡拉OK装置10-m的CPU17向定序器21供给控制信号SO而使定序器21开始处理(上述的第一～第三处理)(S120)。当基于定序器21的处理开始时，CPU17进行标准歌唱评价处理(S130)和表情歌唱评价处理(S140)这两个处理。这两个处理的详情如下所述。
a4.标准歌唱评价处理(S130)
在该处理中，CPU17将从定序器21被供给事件EV(i)ON起到被供给下一事件EV(i)OFF为止的时间设为相当于第一个音符NT(i)的音的发音时间TNT(i)。CPU17求出发音时间TNT(i)期间的声音适配器16的输出信号SP表示的音调与对事件EV(i)ON的音符标号进行了变换的模范音调PCHREF之差PCHDEF、及此期间的信号SP表示的音量与对事件EV(i)ON的速率进行了变换的模范音量LVREF之差LVDEF，在该差PCHDEF及差LVDEF收敛于预定范围的情况下，判定为音符NT(i)的歌唱合格。CPU17在从利用者的歌唱的开始起到结束为止的期间进行该音符判定，将歌唱的结束时刻的全部音符TN(i)的数目除以判定为合格的音符NT(i)的数目所得到的值乘以100，并将所得到的值作为基本得分SRBASE。
另外，在该处理中，CPU17判定在声音适配器16的输出信号SP表示的音调波形内是否出现了顿音、颤音、花腔、上滑音、下滑音中的任一个表情歌唱的特征波形。在此，顿音的特征波形的判定手法的详情参照专利文献2，颤音的特征波形的判定手法的详情参照专利文献3，花腔的特征波形的判定手法的详情参照专利文献4，上滑音的特征波形的判定手法的详情参照专利文献5，下滑音的特征波形的判定手法的详情参照专利文献6。CPU17在利用者的歌唱的开始起到结束为止的期间进行该特征波形判定，将歌唱的结束时刻的表情歌唱的出现数乘以预定的系数所得到的值作为加算分SRADD。并且，在该处理中，将基本得分SRBASE与加算分SRADD的总计作为标准得分SRNOR。
b4.表情歌唱评价处理(S140)
在该处理中，CPU17将从声源事件EV(i)ON的输出起到下一事件EV(i)OFF的输出为止的时间作为相当于第一个音符NT(i)的音的发音时间TNT(i)。并且，在发音时间TNT(i)期间的声音适配器16的输出信号SP表示的音调波形内出现了表情歌唱的特征波形的情况下，CPU17求出发音时间TNT(i)内的表情歌唱的出现时刻和出现的表情歌唱的种类。CPU17生成表示如此确定出的表情歌唱的种类和出现时刻的表情歌唱出现数据。
并且，CPU17从表情歌唱参考数据DD表示的一连串的评价分VSR(t)之中选择与生成的表情歌唱出现数据所示的表情歌唱及其出现时刻对应的评价分VSR(t)。CPU在利用者的歌唱的开始起到结束为止的期间进行这样的评价分VSR(t)的选择，将歌唱的结束时刻的评价分VSR(t)的平均值作为表情得分SREX。
当利用者的歌唱曲的歌唱结束时，CPU17进行评价结果提示处理(S150)。在评价结果提示处理中，CPU17选择通过标准歌唱评价处理而评分的标准得分SRNOR和通过表情歌唱评价处理而评分的表情得分SREX中的高的一方的得分。并且，在选择了标准得分SRNOR的情况下，CPU17将该得分SRNOR和例如“真是极妙且精致的歌啊”这样的与得分SRNOR对应的评论消息显示在显示部14。而且，在选择了表情得分SREX的情况下，CPU17将该得分SREX和例如“真是富有人情味啊”这样的与表情得分SREX对应的评论消息显示在显示部14。
接着，CPU17进行采样发送处理(S160)。在采样发送处理中，CPU17在从歌唱曲的歌唱的开始到结束期间将声音适配器16输出的信号SP及SL作为该歌唱曲的歌唱采样数据DS，将包含该歌唱采样数据DS和在步骤S130中求出的基本得分SRBASE(歌唱评价数据)的消息MS1向服务器装置30发送。
服务器装置30的CPU37在从卡拉OK装置10-m获取消息MS1时(S200为“是”)，从该消息MS1取出歌唱采样数据DS和基本得分SRBASE，将该基本得分SRBASE与区分上等者和不是上等者的基准得分SRTH(例如80分)进行比较(S220)。在基本得分SRBASE高于基准得分SRTH的情况下(S220为“是”)，CPU37将从消息MS1取出的歌唱采样数据DS蓄积于歌唱采样数据库DBS(S230)。
接着，CPU37进行改写处理(S240)。在改写处理中，CPU37进行如下的5个处理。在第一处理中，CPU37从蓄积于歌唱采样数据库DBS的各歌唱采样数据DS表示的音调波形内搜索顿音的特征波形，生成表示该搜索结果的表情歌唱出现数据(表示以顿音出现的音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t的数据)。接着，CPU37基于关于顿音而生成的表情歌唱出现数据，生成表示以音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t与这些时刻t的表情歌唱“顿音”的出现数Num的关系的统计数据，并基于该统计数据的内容来改写表情歌唱参考数据DDa1的与各时刻t对应的评价分VSR(t)。
图8是表示关于顿音的统计数据的一例的图。在该例子的统计数据中，在比基准点tBS提前时间T1a1的时刻t1a1与比基准点tBS延迟时间T4a1的时刻t4a1之间分布有表情歌唱的出现数Num。并且，在该例子的统计数据中，在紧接着基准点tBS之后的时刻t2a1表现出出现数Num的最大峰值，在比时刻t2a1晚的时刻t3a1表现出出现数Num的第二个峰值。由此，在该例子的统计数据的改写后的表情歌唱参考数据DDa1中，时刻t2a1的评价分VSR(t2a1)为最高，时刻t3a1的评价分VSR(t3a1)为第二高。
在第二处理中，CPU37从蓄积于歌唱采样数据库DBS的各歌唱采样数据DS表示的音调波形内搜索颤音的特征波形，生成表示该搜索结果的表情歌唱出现数据(表示以颤音出现的音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t的数据)。接着，CPU37基于关于颤音而生成的表情歌唱出现数据，生成表示以音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t与这些时刻t的表情歌唱的出现数Num的关系的统计数据，并基于该统计数据的内容来改写表情歌唱参考数据DDa2的与各时刻t对应的评价分VSR(t)。
图9是表示关于颤音的统计数据的一例的图。在该例子的统计数据中，在基准点tBS与比基准点tBS延迟时间T2a2的时刻t2a2之间分布有表情歌唱的出现数Num。并且，在该例子的统计数据中，在比基准点tBS延迟时间T1a2的时刻t1a2表现出出现数Num的最大峰值。由此，在该例子的统计数据的改写后的表情歌唱参考数据DDa2中，时刻t1a2的评价分VSR(t1a2)为最高。
在第三处理中，CPU37从蓄积于歌唱采样数据库DBS的各歌唱采样数据DS表示的音调波形内搜索花腔的特征波形，生成表示该搜索结果的表情歌唱出现数据(表示以花腔出现的音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t的数据)。接着，CPU37基于关于花腔而生成的表情歌唱出现数据，生成表示以音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t与这些时刻t的表情歌唱的出现数Num的关系的统计数据，并基于该统计数据的内容来改写表情歌唱参考数据DDa3的与各时刻t对应的评价分VSR(t)。
图10是表示关于花腔的统计数据的一例的图。在该例子的统计数据中，在基准点tBS与比基准点tBS延迟时间T2a3的时刻t2a3之间分布有表情歌唱的出现数Num。并且，在该例子的统计数据中，在比基准点tBS延迟时间T1a3的时刻t1a3表现出出现数Num的最大峰值。由此，在该例子的统计数据的改写后的表情歌唱参考数据DDa3中，时刻t1a3的评价分VSR(t1a3)为最高。
在第四处理中，CPU37从蓄积于歌唱采样数据库DBS的各歌唱采样数据DS表示的音调波形内搜索上滑音的特征波形，生成以表示该搜索结果的表情歌唱出现数据(表示以上滑音出现的音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t的数据)。接着，CPU37基于关于上滑音而生成的表情歌唱出现数据，生成表示以音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t与这些时刻t的表情歌唱的出现数Num的关系的统计数据，并基于该统计数据的内容来改写表情歌唱参考数据DDa4的与各时刻t对应的评价分VSR(t)。
图11是表示关于上滑音的统计数据的一例的图。在该例子的统计数据中，在基准点tBS与比基准点tBS延迟时间T2a4的时刻t2a4之间分布有表情歌唱的出现数Num。并且，在该例子的统计数据中，在基准点tBS表现出出现数Num的最大峰值，在比基准点tBS延迟了时间T1a4的时刻t1a4表现出出现数Num的第二个峰值。由此，在该例子的统计数据的改写后的表情歌唱参考数据DDa4中，时刻tBS的评价分VSR(tBS)为最高，时刻t1a4的评价分VSR(t1a4)为第二高。
在第五处理中，CPU37从蓄积于歌唱采样数据库DBS的各歌唱采样数据DS表示的音调波形内搜索下滑音的特征波形，生成表示该搜索结果的表情歌唱出现数据(表示以下滑音出现的音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t的数据)。接着，CPU37基于关于下滑音而生成的表情歌唱出现数据，生成表示以音符NT(i)的发音开始时刻为基准点tBS的时间轴上的各时刻t与这些时刻t的表情歌唱的出现数Num的关系的统计数据，并基于该统计数据的内容来改写表情歌唱参考数据DDa5的与各时刻对应的评价分VSR(t)。
图12是表示关于下滑音的统计数据的一例的图。在该例子的统计数据中，在比基准点tBS延迟时间T1a5的时刻t1a5与从时刻tBS延迟时间T2a5的时刻t2a5之间分布有表情歌唱的出现数Num。并且，在该例子的统计数据中，在时刻t2a5表现出出现数Num的最大峰值。由此，在该例子的统计数据的改写后的表情歌唱参考数据DDa5中，时刻t2a5的评价分VSR(t2a5)为最高。
在图7中，每当预先规定的查询时刻到来时(S110为“是”)，卡拉OK装置10-m的CPU17进行查询处理(S170)。在该查询处理中，CPU17将要求最新数据的发送的消息MS2向服务器装置30发送(S170)。服务器装置30的CPU37当从卡拉OK装置10-m接收到消息MS2时(S210为“是”)，将从上次的消息MS2的接收时刻到本次的消息MS2的接收时刻为止的期间改写了内容的表情歌唱参考数据DD向消息M2的发送源的卡拉OK装置10-m发送(S250)。卡拉OK装置10-m的CPU17当从服务器装置30接收到表情歌唱参考数据DD时，将该表情歌唱参考数据DD向参考数据库DBRK覆盖而对其内容进行更新(S180)。
以上是本实施方式的结构的详情。根据本实施方式，能得到如下的效果。
第一，在本实施方式的带表情的歌唱评价处理中，每当在声音适配器16的输出信号的波形中出现表情歌唱的特征波形时，求出以成为表情歌唱的对象的音符NT(i)的发音开始时刻为基准点的时间轴上的表情歌唱的特征波形的出现时刻，从歌唱参考数据DD内的各评价分VSR(t)之中选择与该出现时刻对应的评价分VSR(t)，基于该选择的评价分VSR(t)来评价歌唱的优劣。由此，根据本实施方式，即使利用者进行了表情歌唱，若其时机不适当，则也无法得到良好的评价。因此，根据本实施方式，能够提示出更接近人的感受性的评价结果。
第二，在本实施方式中，对于蓄积于歌唱采样数据库DBS内的表情歌唱参考数据DD，分别从该数据DD表示的波形内搜索表情歌唱的特征波形，根据该搜索结果，生成表示以成为表情歌唱的对象的音符NT(i)的发音开始时刻为基准点的时间轴上的各时刻与这些时刻的表情歌唱的出现数的关系的统计数据，并基于统计数据的内容来改写歌唱参考数据DD的与各时刻对应的评价分VSR(t)。由此，根据本实施方式，能够将演唱了歌唱曲的上等者们的演唱方法的倾向的变化反映到评价结果中。
以上，说明了本发明的一实施方式，但本发明也可以包括其他实施方式。例如，如以下所述。
(1)在上述实施方式中，CPU17从声音适配器16的输出信号SP中检测出顿音、颤音、花腔、上滑音、下滑音这5种表情歌唱。然而，也可以检测这5种以外的表情歌唱。例如，可以检测带有抑扬的歌唱。
(2)在上述实施方式中，CPU17使用声音适配器16的输出信号SP及SL这两方进行标准歌唱评价处理，并仅使用声音适配器16的输出信号SP及SL中的表示音调的信号SP来进行表情歌唱评价处理。然而，CPU17也可以仅使用信号SP及SL中的一方进行标准歌唱评价处理。而且，CPU17也可以使用信号SP及SL这两方进行表情歌唱评价处理。
(3)在上述实施方式的表情歌唱评价处理中，基于表情歌唱的特征波形的出现时刻而评价了歌唱的优劣。然而，也可以进行加入了表情歌唱的特征波形的出现时刻以外的要素(例如，顿音、颤音、花腔、上滑音、下滑音各自的长度、深度等)的评价。
(4)在上述实施方式的表情歌唱评价处理中，采用检测在歌唱曲中包含的音符各自所对应的歌唱音中出现的表情歌唱的结构，但也可以采用检测在歌唱曲中包含的一连串的多个音符(音符组)所对应的歌唱音中出现的表情歌唱的结构。例如，渐强/渐弱那样的表情歌唱是在一连串的多个音符的歌唱中进行的表情歌唱，因此这些表情歌唱的检测及评价优选以音符组为单位进行。因此，与这样的表情歌唱相关的表情歌唱参考数据DD也优选由音符组单位构成。
(5)在上述实施方式中，采用如下结构：从卡拉OK装置10对服务器装置30发送包含在歌唱曲的歌唱的开始到结束期间声音适配器16输出的信号SP及SL的歌唱采样数据DS(音调音量数据)，在服务器装置30中根据歌唱采样数据DS进行各表情歌唱的检测及其出现的时机的确定处理。也可以取而代之，采用如下结构：从卡拉OK装置10对服务器装置30发送表示由麦克风13收到的声音的声音信号SM(表示歌唱音的声音波形数据)，在服务器装置30中进行根据声音信号SM生成信号Sp及信号SL的处理(上述实施方式的声音适配器16进行的处理)。而且，也可以采用如下结构：从卡拉OK装置10对服务器装置30发送在按照歌唱评价程序VPG进行的表情歌唱评价处理(S140)时确定出的表示表情歌唱的类别及其出现的时机的数据(表情歌唱出现数据)，在服务器装置30中不进行表情歌唱的检测处理而基于从卡拉OK装置10发送来的表情歌唱出现数据来进行表情歌唱参考数据DD的更新处理。
(6)在上述实施方式中，服务器装置30进行统计数据的生成和基于该生成的表情歌唱参考数据DD的改写。然而，也可以将各卡拉OK装置10-m过去自身生成、或从其他卡拉OK装置10-m直接或经由服务器装置30获取的表示歌唱音的声音信号SM、根据这些声音信号SM生成的信号Sp及信号SL、或使用这些信号确定出的表示表情歌唱的类别及其出现的时机的数据(表情歌唱出现数据)存储于硬盘20，CPU17将它们读出而使用，进行与服务器装置30在S240中进行的处理同样的处理、即统计数据的生成和基于该生成的表情歌唱参考数据DD的改写。
(7)上述实施方式中的歌唱的评价方法及评价结果向歌唱者提示的形态可以进行各种变更。例如，在上述实施方式中，采用在标准歌唱评价处理(S130)中将基于表情歌唱的出现次数而算出的加算分SRADD与基本得分SRBASE相加、由此算出标准得分SRNOR的结构，但也可以采用在标准歌唱评价处理中不考虑表情歌唱的出现而仅算出基本得分SRBASE的结构。而且，在上述实施方式中，对于歌唱者，显示了通过标准歌唱评价处理而评分的标准得分SRNOR和通过表情歌唱评价处理而评分的表情得分SREX中的高的一方的得分，但也可以显示这两方、显示它们的总分数等在其他形态中进行对歌唱者的评价结果的提示。
(8)在上述实施方式中，在更新表情歌唱参考数据DD时，采用将基本得分SRBASE比基准得分SRTH高的歌唱者作为上等者而仅使用与上等者相关的歌唱采样数据DS进行表情歌唱参考数据DD的更新的结构。表情歌唱参考数据DD的更新所用的歌唱采样数据DS的选择方法并不局限于此。例如，也可以取代基本得分SRBASE而使用基本得分SRBASE加上加算分SRADD所得到的标准得分SRNOR作为上等者的推定的基准。而且，为了将完全未进行表情歌唱而基本得分SRBASE为高得分的上等者排除在外，也可以采用如下结构：除了下侧的阈值(基准得分SRTH)之外，还设置上侧的阈值，比上侧的阈值高的基本得分SRBASE(或其他得分)的歌唱者的歌唱采样数据DS不用于表情歌唱参考数据DD的更新。而且，也可以取代如上述那样将歌唱者分为上等者和上等者以外这两类的情况，例如将基本得分SRBASE高的歌唱者的歌唱采样数据DS附加大的权重而用于表情歌唱参考数据DD的更新。
(9)在上述实施方式中，作为评价乐曲演奏的演奏评价装置的一例，示出了设于歌唱用的卡拉OK装置并评价歌唱演奏的演奏评价装置，但本发明的演奏评价装置没有限定于歌唱演奏的评价，也可以适用于使用了各种乐器的乐曲演奏的评价。即，在上述实施方式中使用的“歌唱”这样的语言由更一般的“演奏”这样的语言来置换。另外，在评价器乐演奏的演奏评价装置中，进行例如吉他的推弦等与各个乐器所对应的表情演奏相关的评价。而且，在乐曲不是歌唱曲而是乐器用的乐曲的情况下，乐器演奏用的卡拉OK装置将歌曲数据MD取代为歌词音轨TRLY，例如包含表示乐谱的数据、表示乐谱的各区间(例如，2小节或4小节的块等)的显示时刻的增量时间以时序依次记载的数据即乐谱音轨，定序器21及显示部14按照乐谱音轨，伴随着乐曲的进展而将表示与伴奏部位对应的乐谱的图像信号向显示器输出。另外，在歌唱用的卡拉OK装置及乐器演奏用的卡拉OK装置中，在不需要歌词或乐谱的显示的情况下，可以不进行定序器21及显示部14对图像信号的输出处理。
(10)根据以上的例示可知，本发明的优选形态的演奏评价装置如图13例示那样，包括性地表现作为具备表情演奏参考数据获取单元101、音调音量数据生成单元102及演奏评价单元103的装置，其他要素的有无、其他要素的具体的形态任意，该表情演奏参考数据获取单元101获取以乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数据，该音调音量数据生成单元102根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量的音调音量数据，该演奏评价单元103在由所述音调音量数据生成单元102生成的所述音调音量数据所表示的音调和音量的至少一方的特性表示应在所述乐曲中的由所述表情演奏参考数据表示的预定时间范围内根据所述表情演奏参考数据而进行的表情演奏的特性的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价。
(11)在上述实施方式中，示出了在作为所谓专用机的卡拉OK装置设有本发明的演奏评价装置的例子，但本发明的演奏评价装置并不局限于专用机。例如，也可以采用通过使个人计算机、便携信息终端(例如便携电话机或智能电话)或游戏装置等各种装置进行按照程序的处理来实现本发明的演奏评价装置的结构。而且，该程序可以存储于CD-ROM等记录介质进行发布，或者也可以利用互联网等电气通信线路进行发布。
本申请基于2012年4月18日提出的日本专利申请特愿2012-094853，并将其内容作为参照而并入到本文中。
工业实用性
根据本发明，在由演奏者进行了表情演奏的情况下，能够进行与人类的感受性的背离少的评价。
附图标记说明
1…歌唱评价系统，10…卡拉OK装置，11…声源，12…扬声器，13…麦克风，14…显示部，15…通信接口，16…声音适配器，17…CPU，18…RAM，19…ROM，20…硬盘，21…定序器，30…服务器装置，35…通信接口，37…CPU，38…RAM，39…ROM，40…硬盘，90…网络

Claims (12)

1.一种演奏评价装置，具备：
表情演奏参考数据获取单元，获取以乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数据；
音调音量数据生成单元，根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量的音调音量数据；及
演奏评价单元，在由所述音调音量数据生成单元生成的所述音调音量数据所表示的音调和音量的至少一方的特性表示应在所述乐曲中的由所述表情演奏参考数据表示的预定时间范围内根据所述表情演奏参考数据而进行的表情演奏的特性的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价。
2.根据权利要求1所述的演奏评价装置，其中，具备：
音调音量数据获取单元，对于任意数量的任意的演奏者演奏乐曲的演奏音，分别获取表示该演奏音的音调及音量的音调音量数据；
表情演奏出现数据生成单元，在由所述音调音量数据获取单元获取的音量音调数据所表示的音调和音量的至少一方的特性表示在所述乐曲中的任意的时机预先规定的一个以上的表情演奏的特性中的一个特性的情况下，生成表示该表情演奏与以所述乐曲中包含的音符或音符组的发音开始时刻为基准的该时机的对的表情演奏出现数据；及
表情演奏参考数据生成单元，基于由所述表情演奏出现数据生成单元生成的任意数量的表情演奏出现数据，对于所述乐曲中包含的音符或音符组，分别确定在以该音符或音符组的发音开始时刻为基准的哪一时机、哪一表情演奏以哪一频率出现，并按照该确定出的信息来生成表情演奏参考数据。
3.根据权利要求2所述的演奏评价装置，其中，
所述演奏评价装置具备存储表情演奏参考数据的表情演奏参考数据存储单元，
基于由所述表情演奏参考数据生成单元生成的所述表情演奏参考数据，改写存储在所述表情演奏参考数据存储单元中的所述表情演奏参考数据。
4.根据权利要求1～3中任一项所述的演奏评价装置，其中，
所述演奏评价装置具备获取表示所述乐曲的成为模范的音调的模范演奏参考数据的模范演奏参考数据获取单元，
所述演奏评价单元基于由所述音调音量数据生成单元生成的音调音量数据所表示的音调与由所述模范演奏参考数据所表示的音调的比较结果，来进行对所述演奏者进行的所述乐曲的演奏的评价。
5.根据权利要求2所述的演奏评价装置，其中，
所述演奏评价装置具备获取表示所述乐曲的成为模范的音调的模范演奏参考数据的模范演奏参考数据获取单元，
所述演奏评价单元基于由所述音调音量数据生成单元生成的音调音量数据所表示的音调与由所述模范演奏参考数据所表示的音调的比较结果，来进行对所述演奏者进行的所述乐曲的演奏的评价，
由所述音调音量数据获取单元获取的音调音量数据伴有演奏评价数据，该演奏评价数据表示由所述演奏评价单元使用所述模范演奏参考数据而进行的评价的结果、或由具备与所述演奏评价单元同样的单元的其他设备使用与所述模范演奏参考数据同样的数据而进行的评价的结果，
所述表情演奏参考数据生成单元使用由所述音调音量数据获取单元获取的音调音量数据中的伴有满足预定的条件的演奏评价数据的音调音量数据，基于由所述表情演奏出现数据生成单元生成的表情演奏出现数据，来生成所述表情演奏参考数据。
6.一种卡拉OK装置，具备：
权利要求1～5中任一项所述的演奏评价装置；
伴奏数据获取单元，获取对乐曲的伴奏进行指示的伴奏数据；及
声音信号输出单元，按照所述伴奏数据的指示来输出表示伴奏的乐音的声音信号，
所述音调音量数据生成单元按照从所述声音信号输出单元输出的声音信号，根据从扬声器放出的伴奏，生成表示由所述演奏者进行的所述乐曲的演奏音的音调及音量的音调音量数据。
7.根据权利要求6所述的卡拉OK装置，其中，
所述乐曲是歌唱曲，
所述卡拉OK装置具备：
歌词数据获取单元，获取表示所述歌唱曲的歌词的歌词数据；及
图像信号输出单元，输出图像信号，该图像信号表示由所述歌词数据表示的歌词、即应与由所述声音信号输出单元当前输出的声音信号所表示的伴奏一起被歌唱的歌词。
8.根据权利要求6所述的卡拉OK装置，其中，
所述乐曲是由乐器演奏的乐曲，
所述卡拉OK装置具备：
乐谱数据获取单元，获取表示所述乐曲的乐谱的乐谱数据，及
图像信号输出单元，输出图像信号，该图像信号表示由所述乐谱数据表示的乐谱、即指示应与由所述声音信号输出单元当前输出的声音信号所表示的伴奏一起进行的演奏的乐谱。
9.一种服务器装置，具备：
表情演奏出现数据获取单元，对于任意数量的任意的演奏者演奏乐曲的演奏音，分别获取表示在以所述乐曲中包含的音符或音符组的发音开始时刻为基准的一个时机出现了一个表情演奏这一情况的表情演奏出现数据；
表情演奏参考数据生成单元，基于由所述表情演奏出现数据获取单元获取的任意数量的表情演奏出现数据，对于所述乐曲中包含的音符或音符组，分别确定在以该音符或音符组的发音开始时刻为基准的哪一时机、哪一表情演奏以哪一频率出现，按照该确定出的信息，生成以所述乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数据；及
发送单元，将由所述表情演奏参考数据生成单元生成的表情演奏参考数据向演奏评价装置发送。
10.一种歌唱评价系统，具备：
表情演奏参考数据获取单元，获取以乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的第一表情演奏参考数据；
音调音量数据生成单元，根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量的音调音量数据；
演奏评价单元，在由所述音调音量数据生成单元生成的所述音调音量数据所表示的音调和音量的至少一方的特性表示应在所述乐曲中的由所述第一表情演奏参考数据表示的预定时间范围内根据所述第一表情演奏参考数据而进行的表情演奏的特性的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价；
表情演奏出现数据获取单元，对于任意数量的任意的演奏者演奏乐曲的演奏音，分别获取表示在以所述任意的演奏者演奏的所述乐曲中包含的音符或音符组的发音开始时刻为基准的一个时机出现了一个表情演奏这一情况的表情演奏出现数据；及
表情演奏参考数据生成单元，基于由所述表情演奏出现数据获取单元获取的任意数量的表情演奏出现数据，对于所述任意的演奏者演奏的乐曲中包含的音符或音符组，分别确定在以该音符或音符组的发音开始时刻为基准的哪一时机、哪一表情演奏以哪一频率出现，按照该确定出的信息，生成以所述任意的演奏者演奏的乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述任意的演奏者演奏乐曲的演奏中进行的表情演奏和该表情演奏应在所述任意的演奏者演奏的乐曲中进行的时机的第二表情演奏参考数据。
11.一种演奏评价方法，
获取以乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数据，
根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量的音调音量数据，
在由所述音调音量数据表示的音调和音量的至少一方的特性表示应在所述乐曲中的由所述表情演奏参考数据表示的预定时间范围内根据所述表情演奏参考数据而进行的表情演奏的特性的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价。
12.一种程序，是计算机能够执行的程序，使所述计算机执行：
表情演奏参考数据获取处理，获取以乐曲中包含的音符或音符组的发音开始时刻为基准来表示应在所述乐曲的演奏中进行的表情演奏和该表情演奏应在所述乐曲中进行的时机的表情演奏参考数据；
音调音量数据生成处理，根据演奏者演奏所述乐曲的演奏音来生成表示该演奏音的音调及音量的音调音量数据；及
演奏评价处理，在由所述音调音量数据生成单元生成的所述音调音量数据所表示的音调和音量的至少一方的特性表示应在所述乐曲中的由所述表情演奏参考数据表示的预定时间范围内根据所述表情演奏参考数据而进行的表情演奏的特性的情况下，提高对所述演奏者进行的所述乐曲的演奏的评价。
CN201380015347.7A 2012-04-18 2013-04-18 演奏评价装置、卡拉ok装置及服务器装置 Expired - Fee Related CN104170006B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2012094853A JP5958041B2 (ja) 2012-04-18 2012-04-18 表情演奏リファレンスデータ生成装置、演奏評価装置、カラオケ装置及び装置
JP2012-094853 2012-04-18
PCT/JP2013/061488 WO2013157602A1 (ja) 2012-04-18 2013-04-18 演奏評価装置、カラオケ装置及びサーバ装置

Publications (2)

Publication Number Publication Date
CN104170006A true CN104170006A (zh) 2014-11-26
CN104170006B CN104170006B (zh) 2017-05-17

Family

ID=49383554

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201380015347.7A Expired - Fee Related CN104170006B (zh) 2012-04-18 2013-04-18 演奏评价装置、卡拉ok装置及服务器装置

Country Status (5)

Country Link
JP (1) JP5958041B2 (zh)
KR (1) KR101666535B1 (zh)
CN (1) CN104170006B (zh)
TW (1) TWI497484B (zh)
WO (1) WO2013157602A1 (zh)

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392731A (zh) * 2014-11-30 2015-03-04 陆俊 一种练习唱歌的方法和系统
CN105938429A (zh) * 2015-03-04 2016-09-14 国际商业机器公司 用于快速认知移动应用评论的方法和系统
CN106210941A (zh) * 2015-07-15 2016-12-07 株式会社万代 歌唱能力评价装置以及存储装置
CN108665747A (zh) * 2017-04-01 2018-10-16 上海伍韵钢琴有限公司 一种在线钢琴陪练系统及使用方法
CN108694384A (zh) * 2018-05-14 2018-10-23 芜湖岭上信息科技有限公司 一种基于图像和声音的观众满意度调查装置和方法
CN109478399A (zh) * 2016-07-22 2019-03-15 雅马哈株式会社 演奏分析方法、自动演奏方法及自动演奏系统
CN109804427A (zh) * 2016-10-11 2019-05-24 雅马哈株式会社 演奏控制方法以及演奏控制装置
CN109887524A (zh) * 2019-01-17 2019-06-14 深圳壹账通智能科技有限公司 一种演唱评分方法、装置、计算机设备及存储介质
CN109903778A (zh) * 2019-01-08 2019-06-18 北京雷石天地电子技术有限公司 实时演唱评分的方法与系统
CN110083772A (zh) * 2019-04-29 2019-08-02 北京小唱科技有限公司 基于演唱技巧的歌手推荐方法及装置
CN110120216A (zh) * 2019-04-29 2019-08-13 北京小唱科技有限公司 用于演唱评价的音频数据处理方法及装置
CN110959172A (zh) * 2017-07-25 2020-04-03 雅马哈株式会社 演奏解析方法及程序
CN112037609A (zh) * 2020-08-26 2020-12-04 钮小静 一种基于物联网的音乐教学装置
CN115210803A (zh) * 2020-03-04 2022-10-18 雅马哈株式会社 对观众针对演奏数据的评价进行推论的方法、系统及程序

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101459324B1 (ko) * 2013-08-28 2014-11-07 이성호 음원 평가방법 및 이를 이용한 음원의 평가장치
JP6428066B2 (ja) * 2014-09-05 2018-11-28 オムロン株式会社 採点装置及び採点方法
JP6352164B2 (ja) * 2014-11-28 2018-07-04 株式会社第一興商 聴取者評価を考慮したカラオケ採点システム
CN104485090B (zh) * 2014-12-12 2020-01-17 上海斐讯数据通信技术有限公司 乐谱生成方法及装置、移动终端
JP5715296B1 (ja) * 2014-12-16 2015-05-07 行秘 大田 替え歌通信カラオケサーバ及び替え歌通信カラオケシステム
JP6701864B2 (ja) * 2016-03-25 2020-05-27 ヤマハ株式会社 音評価装置および音評価方法
JP6867900B2 (ja) * 2017-07-03 2021-05-12 株式会社第一興商 カラオケ装置
JP7232653B2 (ja) * 2019-01-31 2023-03-03 株式会社第一興商 カラオケ装置
JP7232654B2 (ja) * 2019-01-31 2023-03-03 株式会社第一興商 カラオケ装置
JP7169243B2 (ja) * 2019-03-29 2022-11-10 株式会社第一興商 カラオケ装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1173008A (zh) * 1996-08-06 1998-02-11 雅马哈株式会社 分析相对于旋律数据的演唱声的卡拉ok评分装置
CN1178357A (zh) * 1996-08-30 1998-04-08 雅马哈株式会社 对二重唱歌手进行单独评分的卡拉ok装置
CN1380642A (zh) * 2001-04-11 2002-11-20 华邦电子股份有限公司 跟唱学习评分装置及方法
JP2003058155A (ja) * 2001-08-13 2003-02-28 Casio Comput Co Ltd 演奏教習装置及び演奏教習処理のプログラム
CN1423808A (zh) * 2000-01-13 2003-06-11 雅马哈株式会社 便携电话机和便携电话系统
JP2005241848A (ja) * 2004-02-25 2005-09-08 Daiichikosho Co Ltd 通信カラオケシステムにおける投稿作品編集式の模範ボーカル提供装置
JP2007271977A (ja) * 2006-03-31 2007-10-18 Yamaha Corp 評価基準判定装置、制御方法及びプログラム
JP2007334364A (ja) * 2007-08-06 2007-12-27 Yamaha Corp カラオケ装置
JP2008139426A (ja) * 2006-11-30 2008-06-19 Yamaha Corp 評価用データのデータ構造、カラオケ装置及び記録媒体

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2915773B2 (ja) * 1993-12-25 1999-07-05 日本コロムビア株式会社 カラオケ装置
JP4204941B2 (ja) 2003-09-30 2009-01-07 ヤマハ株式会社 カラオケ装置
JP4209751B2 (ja) * 2003-09-30 2009-01-14 ヤマハ株式会社 カラオケ装置
JP4222915B2 (ja) * 2003-09-30 2009-02-12 ヤマハ株式会社 歌唱音声評価装置、カラオケ採点装置及びこれらのプログラム
JP4163584B2 (ja) 2003-09-30 2008-10-08 ヤマハ株式会社 カラオケ装置
TWI232430B (en) * 2004-03-19 2005-05-11 Sunplus Technology Co Ltd Automatic grading method and device for audio source
JP2007256617A (ja) * 2006-03-23 2007-10-04 Yamaha Corp 楽曲練習装置および楽曲練習システム
JP2008015388A (ja) * 2006-07-10 2008-01-24 Dds:Kk 歌唱力評価方法及びカラオケ装置
JP2008026622A (ja) * 2006-07-21 2008-02-07 Yamaha Corp 評価装置
JP4865607B2 (ja) 2007-03-13 2012-02-01 ヤマハ株式会社 カラオケ装置、歌唱評価方法およびプログラム
JP4910854B2 (ja) 2007-04-17 2012-04-04 ヤマハ株式会社 こぶし検出装置、こぶし検出方法及びプログラム
TWI394141B (zh) * 2009-03-04 2013-04-21 Wen Hsin Lin Karaoke song accompaniment automatic scoring method
JP5244738B2 (ja) * 2009-08-24 2013-07-24 株式会社エクシング 歌唱評価装置、歌唱評価方法及びコンピュータプログラム

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1173008A (zh) * 1996-08-06 1998-02-11 雅马哈株式会社 分析相对于旋律数据的演唱声的卡拉ok评分装置
CN1178357A (zh) * 1996-08-30 1998-04-08 雅马哈株式会社 对二重唱歌手进行单独评分的卡拉ok装置
CN1423808A (zh) * 2000-01-13 2003-06-11 雅马哈株式会社 便携电话机和便携电话系统
CN1380642A (zh) * 2001-04-11 2002-11-20 华邦电子股份有限公司 跟唱学习评分装置及方法
JP2003058155A (ja) * 2001-08-13 2003-02-28 Casio Comput Co Ltd 演奏教習装置及び演奏教習処理のプログラム
JP2005241848A (ja) * 2004-02-25 2005-09-08 Daiichikosho Co Ltd 通信カラオケシステムにおける投稿作品編集式の模範ボーカル提供装置
JP2007271977A (ja) * 2006-03-31 2007-10-18 Yamaha Corp 評価基準判定装置、制御方法及びプログラム
JP2008139426A (ja) * 2006-11-30 2008-06-19 Yamaha Corp 評価用データのデータ構造、カラオケ装置及び記録媒体
JP2007334364A (ja) * 2007-08-06 2007-12-27 Yamaha Corp カラオケ装置

Cited By (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104392731A (zh) * 2014-11-30 2015-03-04 陆俊 一种练习唱歌的方法和系统
US10373213B2 (en) 2015-03-04 2019-08-06 International Business Machines Corporation Rapid cognitive mobile application review
CN105938429A (zh) * 2015-03-04 2016-09-14 国际商业机器公司 用于快速认知移动应用评论的方法和系统
US10380657B2 (en) 2015-03-04 2019-08-13 International Business Machines Corporation Rapid cognitive mobile application review
CN106210941A (zh) * 2015-07-15 2016-12-07 株式会社万代 歌唱能力评价装置以及存储装置
CN109478399A (zh) * 2016-07-22 2019-03-15 雅马哈株式会社 演奏分析方法、自动演奏方法及自动演奏系统
CN109804427A (zh) * 2016-10-11 2019-05-24 雅马哈株式会社 演奏控制方法以及演奏控制装置
CN108665747A (zh) * 2017-04-01 2018-10-16 上海伍韵钢琴有限公司 一种在线钢琴陪练系统及使用方法
CN110959172B (zh) * 2017-07-25 2023-10-31 雅马哈株式会社 演奏解析方法、演奏解析装置以及存储介质
CN110959172A (zh) * 2017-07-25 2020-04-03 雅马哈株式会社 演奏解析方法及程序
CN108694384A (zh) * 2018-05-14 2018-10-23 芜湖岭上信息科技有限公司 一种基于图像和声音的观众满意度调查装置和方法
CN109903778A (zh) * 2019-01-08 2019-06-18 北京雷石天地电子技术有限公司 实时演唱评分的方法与系统
CN109903778B (zh) * 2019-01-08 2020-09-25 北京雷石天地电子技术有限公司 实时演唱评分的方法与系统
CN109887524A (zh) * 2019-01-17 2019-06-14 深圳壹账通智能科技有限公司 一种演唱评分方法、装置、计算机设备及存储介质
CN110120216A (zh) * 2019-04-29 2019-08-13 北京小唱科技有限公司 用于演唱评价的音频数据处理方法及装置
CN110083772A (zh) * 2019-04-29 2019-08-02 北京小唱科技有限公司 基于演唱技巧的歌手推荐方法及装置
CN115210803A (zh) * 2020-03-04 2022-10-18 雅马哈株式会社 对观众针对演奏数据的评价进行推论的方法、系统及程序
CN112037609A (zh) * 2020-08-26 2020-12-04 钮小静 一种基于物联网的音乐教学装置

Also Published As

Publication number Publication date
JP2013222140A (ja) 2013-10-28
TWI497484B (zh) 2015-08-21
WO2013157602A1 (ja) 2013-10-24
KR20140124843A (ko) 2014-10-27
JP5958041B2 (ja) 2016-07-27
TW201407602A (zh) 2014-02-16
CN104170006B (zh) 2017-05-17
KR101666535B1 (ko) 2016-10-14

Similar Documents

Publication Publication Date Title
CN104170006B (zh) 演奏评价装置、卡拉ok装置及服务器装置
JP5286793B2 (ja) 採点装置及びプログラム
JP6060867B2 (ja) 情報処理装置，データ生成方法，及びプログラム
CN101203904A (zh) 音乐谱写设备的操作方法
JP6102076B2 (ja) 評価装置
JP6288197B2 (ja) 評価装置及びプログラム
JP5297662B2 (ja) 楽曲データ加工装置、カラオケ装置、及びプログラム
JP6365483B2 (ja) カラオケ装置，カラオケシステム，及びプログラム
JP6075313B2 (ja) プログラム，情報処理装置，及び評価データ生成方法
JP3879524B2 (ja) 波形生成方法、演奏データ処理方法および波形選択装置
JP5618743B2 (ja) 歌唱音声評価装置
JP2015060200A (ja) 演奏データファイル調整装置、方法、およびプログラム
JP6459162B2 (ja) 演奏データとオーディオデータの同期装置、方法、およびプログラム
JP5994343B2 (ja) 演奏評価装置及びカラオケ装置
JP5416396B2 (ja) 歌唱評価装置およびプログラム
JP6075314B2 (ja) プログラム，情報処理装置，及び評価方法
JP6439239B2 (ja) 演奏データファイル検索方法、システム、プログラム、端末装置、およびサーバ装置
JP5585320B2 (ja) 歌唱音声評価装置
JP6011506B2 (ja) 情報処理装置，データ生成方法，及びプログラム
JP6074835B2 (ja) 楽曲練習支援装置
JP2007233078A (ja) 評価装置、制御方法及びプログラム
JP2015191170A (ja) プログラム、情報処理装置、及びデータ生成方法
JP2004102147A (ja) メロディーアレンジ採点機能を有するカラオケ採点装置
JP2023033877A (ja) カラオケ装置
JP6175034B2 (ja) 歌唱評価装置

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant
CF01 Termination of patent right due to non-payment of annual fee
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20170517