[go: up one dir, main page]

WO2017047447A1 - 評価装置および記録媒体 - Google Patents

評価装置および記録媒体 Download PDF

Info

Publication number
WO2017047447A1
WO2017047447A1 PCT/JP2016/076135 JP2016076135W WO2017047447A1 WO 2017047447 A1 WO2017047447 A1 WO 2017047447A1 JP 2016076135 W JP2016076135 W JP 2016076135W WO 2017047447 A1 WO2017047447 A1 WO 2017047447A1
Authority
WO
WIPO (PCT)
Prior art keywords
evaluation
unit
feature amount
sound
input sound
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2016/076135
Other languages
English (en)
French (fr)
Inventor
隆一 成山
辰弥 寺島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to CN201680052018.3A priority Critical patent/CN108028051A/zh
Publication of WO2017047447A1 publication Critical patent/WO2017047447A1/ja
Priority to US15/894,291 priority patent/US10497348B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/361—Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/36—Accompaniment arrangements
    • G10H1/40—Rhythm
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B15/00—Teaching music
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09B—EDUCATIONAL OR DEMONSTRATION APPLIANCES; APPLIANCES FOR TEACHING, OR COMMUNICATING WITH, THE BLIND, DEAF OR MUTE; MODELS; PLANETARIA; GLOBES; MAPS; DIAGRAMS
    • G09B19/00—Teaching not covered by other main groups of this subclass
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/005—Musical accompaniment, i.e. complete instrumental rhythm synthesis added to a performed melody, e.g. as output by drum machines
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/051—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction or detection of onsets of musical sounds or notes, i.e. note attack timings
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/066—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for pitch analysis as part of wider processing for musical purposes, e.g. transcription, musical performance evaluation; Pitch recognition, e.g. in polyphonic sounds; Estimation or use of missing fundamental
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/076—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for extraction of timing, tempo; Beat detection
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2210/00—Aspects or methods of musical processing having intrinsic musical character, i.e. involving musical theory or musical parameters or relying on musical knowledge, as applied in electrophonic musical tools or instruments
    • G10H2210/031—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal
    • G10H2210/091—Musical analysis, i.e. isolation, extraction or identification of musical elements or musical parameters from a raw acoustic signal or from an encoded audio signal for performance evaluation, i.e. judging, grading or scoring the musical qualities or faithfulness of a performance, e.g. with respect to pitch, tempo or other timings of a reference performance
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/48—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use
    • G10L25/51—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00 specially adapted for particular use for comparison or discrimination
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L25/00—Speech or voice analysis techniques not restricted to a single one of groups G10L15/00 - G10L21/00
    • G10L25/90—Pitch determination of speech signals

Definitions

  • the present invention relates to a technique for evaluating a sense of rhythm.
  • Karaoke devices equipped with a function to analyze and evaluate singing voices are increasing. For example, the singing voice is evaluated based on the degree of coincidence by comparing the pitch of the singing voice with the pitch of the melody to be sung. Moreover, more accurate evaluation can be performed by using various evaluation methods. As one of various evaluation methods, for example, a technique for evaluating song singing that emphasizes a sense of rhythm has been developed (for example, Patent Document 1).
  • a rhythm feeling is evaluated by comparing a voice that serves as an example of music and a voice that has been sung by a feature amount. According to this evaluation, it is possible to evaluate whether or not the singing is close to the model sound of music from the viewpoint of rhythm. On the other hand, it is also desired to evaluate rhythm feeling without using model sounds.
  • One of the objects of the present invention is to evaluate the rhythmic feeling of the input sound regardless of the model sound.
  • an acquisition unit that acquires an input sound
  • a feature amount calculation unit that calculates a feature amount from the input sound acquired by the acquisition unit
  • a feature amount calculated by the feature amount calculation unit Based on the detection unit that detects the break position corresponding to the start point of each sound included in the input sound acquired by the acquisition unit, and based on the plurality of break positions detected by the detection unit,
  • an evaluation device comprising: an evaluation value calculation unit that calculates an evaluation value related to the regularity of the separation positions.
  • the feature amount includes a value corresponding to a volume level of the input sound, and the detection unit causes the volume level corresponding to the feature amount to transition from a level lower than a predetermined threshold to a higher level.
  • the separation position may be detected based on the position.
  • the detection unit may change the threshold value according to a predetermined rule for each predetermined section when detecting the break position.
  • the volume level may be a volume level of the input sound in a predetermined frequency band.
  • the feature amount includes a value corresponding to an SN ratio of the frequency distribution of the input sound, and the detection unit is based on a position where the SN ratio has started to increase after decreasing to a predetermined ratio or more. Further, the separation position may be detected.
  • the feature amount includes a value corresponding to the frequency distribution of the input sound, and the detection unit is based on a position where the intensity of the fundamental sound of the frequency distribution has changed from a lower intensity than a predetermined threshold to a higher intensity. Further, the separation position may be detected.
  • the feature amount includes a value corresponding to the pitch of the input sound, and the detection unit may further detect the separation position based on a position where the change in pitch has changed beyond a predetermined width. Good.
  • An accompaniment sound output unit that outputs an accompaniment sound may be further provided, and the acquisition unit may acquire the input sound at least during a period in which the accompaniment sound is output.
  • an input sound is acquired by a computer, a feature amount is calculated from the acquired input sound, and the acquired input sound is calculated based on the calculated feature amount.
  • a feature amount is calculated from the acquired input sound
  • the acquired input sound is calculated based on the calculated feature amount.
  • the evaluation apparatus which concerns on 1st Embodiment is an apparatus which evaluates the rhythm feeling of the singing voice of the user who sings (it may be called a singer hereafter). This evaluation apparatus can evaluate the rhythm feeling of the singing voice even if there is no voice that serves as an example in the song to be sung. Hereinafter, such an evaluation apparatus will be described.
  • FIG. 1 is a block diagram showing the configuration of the evaluation apparatus according to the first embodiment of the present invention.
  • the evaluation device 1 is, for example, a karaoke device.
  • portable apparatuses such as a smart phone, may be sufficient.
  • the evaluation device 1 includes a control unit 11, a storage unit 13, an operation unit 15, a display unit 17, a communication unit 19, and a signal processing unit 21. Each of these components is connected via a bus.
  • a microphone 23 and a speaker 25 are connected to the signal processing unit 21.
  • the control unit 11 includes an arithmetic processing circuit such as a CPU.
  • the control unit 11 causes the CPU to execute the control program stored in the storage unit 13 to realize various functions in the evaluation device 1.
  • the realized functions include a function for evaluating the rhythm feeling of the singing voice (hereinafter sometimes referred to as a rhythm evaluation function).
  • the storage unit 13 is a storage device such as a nonvolatile memory or a hard disk.
  • the storage unit 13 stores a control program for realizing the rhythm evaluation function.
  • the control program only needs to be executable by a computer, and may be provided in a state stored in a computer-readable recording medium such as a magnetic recording medium, an optical recording medium, a magneto-optical recording medium, or a semiconductor memory.
  • the evaluation device 1 only needs to include a device that reads the recording medium.
  • the control program may be downloaded via a network.
  • storage part 13 memorize
  • the music data includes data related to the karaoke song, for example, guide melody data, accompaniment data, and lyrics data.
  • the guide melody data is data indicating the melody of the song.
  • Accompaniment data is data indicating the accompaniment of a song.
  • the guide melody data and accompaniment data may be data expressed in the MIDI format.
  • the lyric data is data for displaying the lyrics of the song and data indicating the timing for changing the color of the displayed lyrics telop. These data may be acquired from an external server.
  • the singing voice data is data indicating the singing voice input from the microphone 23 by the singer.
  • the singing voice data is buffered in the storage unit 13 until the singing voice is evaluated by the rhythm evaluation function.
  • the evaluation reference information is information used by the rhythm evaluation function as a reference for evaluating the singing voice. For example, information specifying a rule for determining a threshold, which will be described later, information on an arithmetic expression for calculating an evaluation value, and the like are included.
  • the operation unit 15 is a device such as operation buttons, a keyboard, and a mouse provided on the operation panel and the remote controller, and outputs a signal corresponding to the input operation to the control unit 11. With this operation unit 15, for example, an input operation generally performed in a karaoke apparatus such as selection of music can be performed.
  • the display unit 17 is a display device such as a liquid crystal display or an organic EL display, and displays a screen based on control by the control unit 11. Note that the operation unit 15 and the display unit 17 may integrally form a touch panel.
  • the communication unit 19 is connected to a communication line such as the Internet based on the control of the control unit 11 and transmits / receives information to / from an external device such as a server.
  • the function of the storage unit 13 may be realized by an external device that can communicate with the communication unit 19.
  • the signal processing unit 21 includes a sound source that generates an audio signal from a MIDI format signal, an A / D converter, a D / A converter, and the like.
  • the singing voice is converted into an electric signal by the microphone 23 and input to the signal processing unit 21, and A / D converted by the signal processing unit 21 and output to the control unit 11.
  • the singing voice is buffered in the storage unit 13 as singing voice data.
  • the accompaniment data is read out by the control unit 11, D / A converted by the signal processing unit 21, and output from the speaker 25 as an accompaniment of the song.
  • a guide melody may be output from the speaker 25.
  • FIG. 2 is a block diagram showing the configuration of the rhythm evaluation function in the first embodiment of the present invention.
  • the rhythm evaluation function 100 includes an acquisition unit 101, a feature amount calculation unit 103, a detection unit 105, and an evaluation value calculation unit 107.
  • the acquisition unit 101 acquires singing voice data indicating the singing voice input from the microphone 23. In this example, the input sound to the microphone 23 during the period in which the accompaniment sound is output is recognized as the singing sound to be evaluated.
  • the acquisition unit 101 acquires singing voice data buffered in the storage unit 13. It may be acquired after the singing voice data of the entire song is stored in the storage unit 13 or may be acquired after the singing voice data for a predetermined time is buffered.
  • the acquisition unit 101 is not limited to acquiring singing voice data indicating an input sound to the microphone 23, and may acquire singing voice data indicating an input sound to the external device via the network. .
  • the feature amount calculation unit 103 analyzes the singing voice data acquired by the acquisition unit 101 and calculates a temporal change in the feature amount.
  • the feature amount is a volume level of the singing voice.
  • the detection unit 105 detects a break position corresponding to the start point of each sound included in the singing voice based on the volume level calculated by the feature amount calculation unit 103.
  • Each sound corresponds to the pronunciation of each character of the lyrics, for example.
  • the start point of each sound corresponds to the timing at which the consonant is switched to the vowel, that is, the portion where the vowel begins.
  • the break position corresponding to the start point of each sound is not limited to the case where it coincides with this start point, but is a position determined by a process determined in advance based on the start point.
  • the volume level during the consonant pronunciation period tends to be smaller than the volume level during the vowel pronunciation period. This tendency is not limited to a case where a single character is pronounced alone, but is also a tendency seen when a plurality of characters are pronounced continuously.
  • the detecting unit 105 uses such characteristics to detect a break position corresponding to the start point of each sound.
  • FIG. 3 is a diagram for explaining an evaluation method in the first embodiment of the present invention.
  • the time change of the volume level was illustrated. This volume change is the spectrum VS shown in FIG. This time indicates the time that has elapsed since the singing voice was input (from the evaluation start timing).
  • any character pronunciation there is a tendency for the volume level to decrease during the consonant pronunciation period.
  • the detection unit 105 detects the break position by using the portion where the volume level is reduced in the consonant portion.
  • the detection unit 105 determines the threshold value Vth of the volume level, and detects a point where the level has changed from a level lower than Vth to a higher level as a break position.
  • the delimiter positions are detected as times ts1, ts2, ts3,.
  • Vth may be a predetermined volume level. In this example, Vth is determined based on the background level Vb of the volume level and the maximum level Vp of the volume level.
  • Vth Vp ⁇ 0.9 (Vp ⁇ Vb) may be determined by a predetermined arithmetic expression.
  • Vp is the maximum value of the volume level in the entire song.
  • one song may be divided into a plurality of evaluation sections, and Vth may be changed corresponding to each evaluation section in accordance with a predetermined rule. In this case, Vth may be determined using Vb and Vp for each evaluation section.
  • the evaluation value calculation unit 107 calculates an evaluation value related to the regularity of the plurality of delimiter positions detected by the detection unit 105.
  • the evaluation value calculation unit 107 calculates a frequency distribution of time intervals between adjacent delimiter positions, and calculates an evaluation value based on the distribution. In the example of FIG. 3, this time interval corresponds to Tw1, Tw2, and Tw3.
  • FIG. 4 is a diagram showing an example of a frequency distribution of time intervals between adjacent delimiter positions.
  • the horizontal axis indicates the time interval between adjacent separation positions
  • the vertical axis indicates the frequency.
  • peaks appear at times tp1, tp2, tp3, and tp4.
  • tp1 corresponds to the length of an eighth note
  • tp2 corresponds to the length of a quarter note
  • tp3 corresponds to the length of a dotted quarter note
  • tp4 corresponds to the length of a half note. Therefore, when each peak deviates from an integer multiple of tp1, it indicates that the singing rhythm is deviated.
  • a peak exists at a time shorter than tp1
  • the evaluation value calculation unit 107 evaluates according to the above-described peak positional relationship (for example, the dispersion value of the peak interval) and the width of each peak (for example, the dispersion value of the peak or the half-value width). Is calculated.
  • the evaluation value may be calculated such that the regularity is higher, that is, the rhythm is better, as the peak intervals are equal and the peak width is narrower.
  • the evaluation may be performed by using a frequency distribution autocorrelation coefficient or a comb filter to eliminate the spread of a peak due to a dotted note.
  • the tempo may be further estimated based on the coefficient and the peak interval.
  • the evaluation device 1 that realizes the rhythm evaluation function 100, even if a song that continuously pronounces a plurality of characters is included, the change from the volume level of the singing voice to the starting point of each sound. Corresponding break positions can be detected. Therefore, according to the evaluation device 1, the singer can be obtained by calculating an evaluation value regarding the regularity of the plurality of division positions without using data serving as a reference for comparison such as model sounds for each music piece. You can evaluate the sense of rhythm. The result based on the evaluation value may be presented on the display unit 17.
  • FIG. 5 is a diagram for explaining an example when the threshold value is low in the evaluation method according to the first embodiment of the present invention.
  • Vthb a relatively low threshold value
  • the separation position is detected as a large unit such as a phrase, for example, by detecting a plurality of sounds collectively.
  • the delimiter positions are detected at ts5 and ts6, and the interval between them is Tw5.
  • FIG. 6 is a diagram for explaining an example when the threshold is high in the evaluation method according to the first embodiment of the present invention.
  • a relatively high threshold value Vthu when employed, a sound with a low volume level is not detected.
  • a break position a part of the break position of each sound in the continuous sounding section is not detected.
  • the time interval at the delimiter position becomes longer, or the frequency when the frequency distribution is taken decreases.
  • FIG. 6 shows an example in which ts7 and ts8 are detected and the interval between them is Tw7. This Tw7 corresponds to Tw3 in FIG.
  • the threshold value Vth needs to be set appropriately. However, even if there is a deviation, the frequency is reduced or the position of the break is detected in units of a plurality of sounds, so the influence on the result is small.
  • the threshold value Vth may be set as a plurality of values in advance, and the separation position may be detected in each of them. Then, a value to be formally set as the threshold value Vth may be determined by a predetermined method with reference to the detected separation position.
  • the threshold value Vth may be a value at which the calculation result of the evaluation value is the highest, or may be a value at which the peak of a predetermined frequency or more is the highest when the frequency distribution is calculated.
  • the threshold value Vth can be variously set. However, the setting may be determined in any way as long as it is determined according to a predetermined rule.
  • FIG. 7 is a block diagram showing the configuration of the rhythm evaluation function in the second embodiment of the present invention.
  • the rhythm evaluation function 100A includes the filter unit 102 that removes a partial frequency band of the singing voice indicated by the singing voice data acquired by the acquiring unit 101.
  • the filter unit 102 is a low-pass filter or a band-pass filter, and removes high-frequency components of the singing voice.
  • the feature amount calculation unit 103 receives the data indicating the singing voice in the specific frequency band from which the high frequency component has been removed, and calculates the volume level. This volume level corresponds to the power of a specific frequency band. Since the consonant includes more harmonic components and noise components than the vowel, the difference in volume level between the consonant and the vowel can be expanded by removing the high frequency component.
  • FIG. 8 is a diagram for explaining an evaluation method in the second embodiment of the present invention. Due to the presence of the filter unit 102, as shown in FIG. 8, the volume level of the first part (consonant part) of each sound is relatively greatly reduced compared to the volume level of the other parts. As a result, the margin of the threshold value Vth that can accurately detect the break position of each sound is widened. In languages other than Japanese, for example, in Chinese, the difference in volume level between consonants and vowels is small. By applying the filter unit 102 to such a language, the volume level of the consonant part can be reduced, and the detection of the break position is facilitated. When the filter unit 102 is not applied as in the first embodiment, that is, when the filter level is not filtered into a specific frequency band, the separation position detection method using the volume level is used in combination with the detection method in the second embodiment. Also good.
  • FIG. 9 is a diagram for explaining an example when lyrics that do not include consonants are included in the evaluation method according to the first embodiment of the present invention.
  • the lyrics are “sa (consonant“ s ”+ vowel“ a ”)”, “i (vowel“ i ”)”, “ta” (consonant “t” + vowel “a”) ”. Yes. Accordingly, there is no consonant between “sa” and “i”, and therefore no decrease in volume level is observed. Therefore, in the rhythm evaluation function 100 in the first embodiment, the break position is detected at the positions ts8, ts10, and ts11, and the break position corresponding to the start point of the sound “I” is not detected.
  • the time intervals of the delimiter positions used when taking the frequency distribution are Tw8 and Tw10.
  • the detection of the break position is attempted by a further different method.
  • the rhythm evaluation function 100B in the third embodiment will be described.
  • FIG. 10 is a block diagram showing the configuration of the rhythm evaluation function in the third embodiment of the present invention.
  • the feature amount calculation unit 103B includes a volume level calculation unit 1031 and a frequency distribution calculation unit 1032 corresponding to the function of the feature amount calculation unit 103 in the first embodiment.
  • the frequency distribution calculation unit 1032 analyzes the singing voice data acquired by the acquisition unit 101, calculates a temporal change of the frequency distribution using FFT (Fast Fourier Transform), and further calculates the SN ratio of the frequency distribution. To do. The SN ratio of the frequency distribution will be described.
  • FIG. 11 is a diagram for explaining the SN ratio used in the third embodiment of the present invention.
  • the spectrum FS of the frequency distribution of the singing voice includes harmonics f1, f2,.
  • an integrated value of a region (hatched portion) included in the half-value widths Vf0, Vf1, Vf2,... Is a signal S (Sf0, Sf1, Sf2,...), And other portions are noise N.
  • S / N is calculated as the SN ratio.
  • the S / N ratio is calculated in a predetermined frequency range, for example, by setting up to a peak of a predetermined harmonic (for example, third harmonic).
  • the detecting unit 105B detects the break position using the volume level calculated by the volume level calculating unit 1031 and the SN ratio calculated by the frequency distribution calculating unit 1032.
  • FIG. 12 is a diagram for explaining an evaluation method according to the third embodiment of the present invention.
  • the SN ratio calculated as described above is low at the start point of each sound (the noise N component is large), and then has a tendency to increase rapidly. Even a vowel-only sound has such a tendency.
  • the detecting unit 105B uses such a tendency when detecting the break position using the SN ratio.
  • the detecting unit 105B detects the break position based on the volume level by the same method as in the first embodiment. Then, the detection unit 105B detects another partition position using the SN ratio between the partition positions that cannot be detected using the volume level, that is, between the adjacent partition positions. For example, the detection unit 105B determines a predetermined threshold Vthf for the SN ratio. Then, the detection unit 105B detects a position where the SN ratio has decreased to a predetermined ratio or more and then started to increase, in this example, a position where a transition from a value lower than Vthf to a higher value is detected as a break position.
  • the delimiter position is detected only at a position deviated from the delimiter position detected based on the volume level by a predetermined time or more.
  • tsp9 is detected as a break position based on the SN ratio.
  • ts8 and ts10 are close to the break position, and are not detected as break positions based on the SN ratio.
  • the time intervals between adjacent delimiter positions are “Tw8”, “Tw9”, and “Tw10”.
  • the SN ratio CP8 at the time of “ts8” is the threshold Vthf8, and the section after “ts10” is the SN at the time of “ts10”.
  • the ratio CP10 may be set to the threshold value Vthf10. In this way, the threshold value Vth and the threshold value Vthf can be indirectly correlated. As a result, even if the delimiter position is detected by a different method, the regularity of the delimiter position can be evaluated without correction due to the difference in the method.
  • the rhythm evaluation function 100B using the SN ratio is used.
  • the delimiter position can be detected.
  • the detection of the separation position using the volume level is not necessarily used together when the separation position using the SN ratio is detected.
  • the volume level calculation unit 1031 is not necessary. It is not necessary to detect the separation position based on the volume level in the detection unit 105B.
  • detection of a break position by the configuration of the second embodiment may be used together.
  • ⁇ Fourth embodiment> 4th Embodiment demonstrates the example in the case of evaluating singing voice
  • an example in which a change in pitch of the singing voice is added to the evaluation will be described.
  • a description will be given of a configuration in the case where the object of the pitch comparison of the singing voice is not the melody of the music, that is, the evaluation of the pitch of the singing voice is possible without depending on the melody of the music.
  • the evaluation criterion information further includes information used by the evaluation function as a criterion for evaluating the singing voice.
  • the evaluation reference information includes information for specifying a change in singing pitch (singing pitch waveform) for detecting a singing technique.
  • a singing technique such as vibrato, kobushi, shakuri, or fall
  • the following singing pitch waveform is shown.
  • Vibrato The pitch changes finely (within a predetermined period or less).
  • a specific example of vibrato detection is disclosed in Japanese Patent Application Laid-Open No. 2005-107087.
  • Kobushi The pitch temporarily increases (within a predetermined time), and then returns to the original pitch.
  • Kobushi detection is disclosed in Japanese Patent Laid-Open No. 2008-268370.
  • Shaking The pitch increases over a predetermined time and then stabilizes.
  • a specific example of shackle detection is disclosed in Japanese Patent Laid-Open No. 2005-107334.
  • Fall The pitch is lowered over a predetermined time, and then the singing is interrupted.
  • a specific example of fall detection is disclosed in Japanese Patent Laid-Open No. 2008-225115.
  • FIG. 13 is a block diagram showing the configuration of the evaluation function in the fourth embodiment of the present invention.
  • the evaluation function 200 includes a rhythm evaluation function unit 100C having functions equivalent to the rhythm evaluation function 100 described above, and further includes an accompaniment output unit 201, an input sound acquisition unit 203, a pitch calculation unit 205, a specific section detection unit 207, a pitch A comparison unit 209 and an evaluation unit 211 are included.
  • the accompaniment output unit 201 reads the accompaniment data corresponding to the song tune designated by the singer, and outputs the accompaniment sound from the speaker 25 via the signal processing unit 21.
  • the input sound acquisition unit 203 acquires singing voice data indicating the singing voice input from the microphone 23.
  • the input sound to the microphone 23 during the period in which the accompaniment sound is output is recognized as the singing sound to be evaluated.
  • the input sound acquisition unit 203 acquires the singing voice data buffered in the storage unit 13, but may be acquired after the singing voice data of the entire song is stored in the storage unit 13, or may be a signal processing unit. You may acquire directly from 21.
  • the singing voice data acquired by the function corresponding to the acquiring unit 101 in the rhythm evaluation function unit 100C is the same as the singing voice data acquired by the input sound acquiring unit 203.
  • the pitch calculation unit 205 analyzes the singing voice data acquired by the input sound acquisition unit 203, and calculates a temporal change of the singing pitch (frequency), that is, a singing pitch waveform. Specifically, the singing pitch waveform is calculated by a known method such as a method using a zero cross of the waveform of the singing voice or a method using FFT. If the rhythm evaluation function of the rhythm evaluation function unit 100C corresponds to the rhythm evaluation function 100B in the third embodiment, the singing pitch may be calculated using the frequency distribution acquired by the frequency distribution calculation unit 1032. Good.
  • the specific section detection unit 207 analyzes the singing pitch waveform and detects a section (specific section) including the singing technique defined by the evaluation reference information in the singing voice input period.
  • the specific section detected at this time may be associated with each type of singing technique.
  • the pitch comparison unit 209 sets a section excluding the specific section detected by the specific section detection unit 207 in the singing voice input period as an evaluation section.
  • the pitch comparison unit 209 compares the singing pitch waveform in the evaluation section with the reference pitch.
  • the degree of mismatch between the singing pitch waveform and the reference pitch is calculated.
  • a plurality of reference pitches exist at 100 cent intervals. Therefore, the reference pitch closest to the singing pitch among the plurality of reference pitches is selected as a comparison target of the singing pitch. The greater the difference between the singing pitch waveform and the reference pitch, the higher the discrepancy. For example, the difference between the singing pitch and the reference pitch in each sample of the singing pitch waveform is added in the evaluation section, and the added value is divided by the number of samples in the evaluation section, thereby calculating the degree of inconsistency.
  • the singing pitch and the reference pitch are compared not in the entire singing voice input period but in a section excluding the specific section. Therefore, the intentional singing pitch shift by the singing technique in the specific section can be prevented from increasing the degree of inconsistency.
  • the evaluation unit 211 Based on the evaluation value (the evaluation value output from the evaluation value calculation unit 107) regarding the rhythm feeling of the song output from the rhythm evaluation function unit 100C and the comparison result in the pitch comparison unit 209, the evaluation unit 211 An evaluation value serving as an evaluation index is calculated.
  • the evaluation unit 211 may calculate an evaluation value based on another element. As other elements, a singing technique and other parameters that can be extracted from the singing voice data are assumed. When reflecting the singing technique in the evaluation value, the singing technique corresponding to the specific section detected by the specific section detecting unit 207 may be used. Another parameter is, for example, volume change. If volume change is used, singing intonation can be added to the evaluation.
  • the evaluation result by the evaluation unit 211 may be presented on the display unit 17.
  • FIG. 14 is a diagram for explaining an evaluation method in the fourth embodiment of the present invention.
  • the waveform shown in FIG. 14 is an example of a singing pitch waveform in a part of a song.
  • the vertical axis represents the pitch.
  • the broken lines arranged every 100 cents in the pitch direction indicate a plurality of reference pitches.
  • the horizontal axis shows the passage of time.
  • the specific section detection unit 207 detects a specific section where the singing technique exists from the singing pitch waveform.
  • the section S shown in FIG. 14 is a specific section corresponding to “shakuri”, the section F is “fall”, the section K is “Kobushi”, and the section V is “vibrato”. Therefore, the evaluation section is other than the specific section corresponding to the sections S, F, K, and V.
  • the inconsistency calculated in the pitch comparison unit 209 corresponds to the added value of the difference between the singing pitch and the reference pitch in each sample.
  • this added value becomes larger due to the characteristic of the vibrato pitch change. Therefore, when the section V is included in the comparison target of the singing pitch and the reference pitch, the disagreement degree is greatly calculated and the evaluation of the singing is lowered despite the rich singing using the vibrato singing technique. May end up. Even in such a case, if the singing pitch is compared with the reference pitch in the evaluation section excluding the specific section including the section V as in the evaluation device 1 in the present embodiment, the singing technique is used. It is also possible not to lower the evaluation.
  • the volume level may change differently from the normal singing. Therefore, even in the evaluation of the rhythm feeling in the rhythm evaluation function unit 100C, it may be excluded from the evaluation in a specific section using a specific singing technique. For example, the break position detected in the specific section may not be reflected in the frequency distribution calculated by the evaluation value calculation unit 107.
  • the break position is detected based on the SN ratio by calculating the SN ratio based on the frequency distribution of the singing voice data.
  • the dividing position may be detected by using the frequency distribution obtained in this way for another purpose.
  • the pitch of the singing voice may be calculated based on the frequency distribution of the singing voice
  • the break position may be detected based on the pitch.
  • the separation position may be detected based on a position where the change in pitch has changed beyond a predetermined width. This is because the positions where the pitch changes greatly are often different sounds.
  • the break position may be detected based on a position where the intensity of the fundamental tone f0 changes from a level lower than a predetermined threshold to a higher level based on the frequency distribution. This is because the position where the intensity of the fundamental tone f0 changes from a low level to a high level is often caused by a new pronunciation.
  • these separation position detection methods can be used in combination with the separation position detection methods in the above embodiments.
  • each detection method can also be used independently.
  • the break position may be detected based on the pitch or the fundamental tone f0 without using the volume level.
  • the separation position is detected based on the relationship between the volume level and the threshold value Vth.
  • the separation position may be detected based on the relationship between the volume level and another parameter.
  • the detection unit 105 identifies a region (flat region) in which the fluctuation of the volume level is within a predetermined range. Then, when a plurality of flat areas are arranged with a dip area that is lower than the sound volume level, the separation position may be detected immediately after the dip area.
  • the sound indicated by the singing voice data acquired by the input sound acquisition unit 203 is not limited to the voice by the singer, but may be a voice by singing synthesis or an instrument sound. If it is a musical instrument sound, it is desirable to be a single note performance. In the case of instrument sounds, there is no concept of consonants and vowels, but depending on the performance method, there is a tendency similar to singing at the starting point of pronunciation of each sound. Therefore, the same determination may be made for musical instrument sounds. Also, the detection of the break position based on the above-described pitch and the detection of the break position based on the fundamental tone f0 can be applied to the musical instrument sound. In particular, in a musical instrument having a structure in which the pitch cannot be continuously changed (clarinet, trumpet, etc.), the pitch often changes stepwise in units of 100 cents. Therefore, it is easy to detect the break position.
  • the instrument sound may contain noise that is specific to the operation of the instrument.
  • the operation sound of the trumpet piston may be included in the instrument sound as noise.
  • Such noise may be included in a specific frequency band. Therefore, in the same manner as in the second embodiment, the delimiter position is detected based on the timing at which the volume level of the specific frequency band (the power of the specific frequency band) reaches the peak or the timing when the volume level increases beyond a predetermined threshold. You may make it do.
  • the above noise may show a characteristic change in the SN ratio shown in the third embodiment. Therefore, as in the third embodiment, the separation position may be detected by detecting a characteristic change in the SN ratio.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Acoustics & Sound (AREA)
  • Auxiliary Devices For Music (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Business, Economics & Management (AREA)
  • Educational Administration (AREA)
  • Educational Technology (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)

Abstract

一実施形態に係る評価装置は、入力音を取得する取得部と、取得部によって取得された入力音から特徴量を算出する特徴量算出部と、特徴量算出部によって算出された特徴量に基づいて、取得部によって取得された入力音に含まれる各音の開始点に対応する区切位置を検出する検出部と、検出部によって検出された複数の区切位置に基づいて、当該複数の区切位置の規則性の高さに関する評価値を算出する評価値算出部と、を備える。

Description

評価装置および記録媒体
　本発明は、リズム感を評価する技術に関する。
　歌唱音声を解析して評価する機能が備えられているカラオケ装置が増加している。歌唱音声は、例えば、歌唱音声のピッチと歌唱すべきメロディのピッチとを比較し、これらの一致の程度に基づいて評価される。また、様々な評価方法を用いることにより、より精度の高い評価ができる。様々な評価方法の一つとして、例えば、リズム感が重視されるような楽曲の歌唱を評価する技術が開発されている（例えば、特許文献１）。
特開２０１３－１９０５６４号公報
　特許文献１に開示された技術では、楽曲の模範となる音声と歌唱した音声とを特徴量で比較してリズム感の評価を行っている。この評価によれば、楽曲の模範音に近い歌唱ができているか否かの評価を、リズム感という観点から行うことができる。一方、模範音を用いずにリズム感の評価を行うことも望まれている。
　本発明の目的の一つは、模範音とは関係なく、入力音のリズム感を評価することにある。
　本発明の一実施形態によると、入力音を取得する取得部と、前記取得部によって取得された入力音から特徴量を算出する特徴量算出部と、前記特徴量算出部によって算出された特徴量に基づいて、前記取得部によって取得された入力音に含まれる各音の開始点に対応する区切位置を検出する検出部と、前記検出部によって検出された複数の区切位置に基づいて、当該複数の区切位置の規則性の高さに関する評価値を算出する評価値算出部と、を備えることを特徴とする評価装置が提供される。
　また、前記特徴量は、前記入力音の音量レベルに対応する値を含み、前記検出部は、前記特徴量に対応する前記音量レベルが、予め決められた閾値より低いレベルから高いレベルに遷移する位置に基づいて、前記区切位置を検出してもよい。
　前記検出部は、前記区切位置を検出する際に、所定の区間毎に、予め決められたルールにしたがって前記閾値を変更してもよい。
　前記音量レベルは、所定の周波数帯域における前記入力音の音量レベルであってもよい。
　前記特徴量は、前記入力音の周波数分布のＳＮ比に対応する値を含み、前記検出部は、前記ＳＮ比が予め決められた割合以上に減少してから増加に転じた位置に基づいて、さらに前記区切位置を検出してもよい。
　前記特徴量は、前記入力音の周波数分布に対応する値を含み、前記検出部は、前記周波数分布の基音の強度が予め決められた閾値より低い強度から高い強度に変化した位置に基づいて、さらに前記区切位置を検出してもよい。
　前記特徴量は、前記入力音のピッチに対応する値を含み、前記検出部は、前記ピッチの変化が予め決められた幅以上に変化した位置に基づいて、さらに前記区切位置を検出してもよい。
　伴奏音を出力する伴奏音出力部をさらに備え、前記取得部は、少なくとも前記伴奏音が出力されている期間に前記入力音を取得してもよい。
　また、本発明の一実施形態によると、コンピュータに、入力音を取得し、取得された前記入力音から特徴量を算出し、算出された前記特徴量に基づいて、取得された前記入力音に含まれる各音の開始点に対応する区切位置を検出し、検出された複数の前記区切位置に基づいて、当該複数の区切位置の規則性の高さに関する評価値を算出することを実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体が提供される。
　本発明の一実施形態によれば、模範音とは関係なく、入力音のリズム感を評価することができる。
本発明の第１実施形態における評価装置の構成を示すブロック図である。 本発明の第１実施形態におけるリズム評価機能の構成を示すブロック図である。 本発明の第１実施形態における評価方法を説明する図である。 隣接する区切位置の時間間隔の度数分布の例を示す図である。 本発明の第１実施形態における評価方法において閾値が低い場合の例を説明する図である。 本発明の第１実施形態における評価方法において閾値が高い場合の例を説明する図である。 本発明の第２実施形態におけるリズム評価機能の構成を示すブロック図である。 本発明の第２実施形態における評価方法を説明する図である。 本発明の第１実施形態における評価方法において、子音を含まない歌詞が含まれる場合の例を説明する図である。 本発明の第３実施形態におけるリズム評価機能の構成を示すブロック図である。 本発明の第３実施形態において用いられるＳＮ比を説明する図である。 本発明の第３実施形態における評価方法を説明する図である。 本発明の第４実施形態における評価機能の構成を示すブロック図である。 本発明の第４実施形態における評価方法を説明する図である。
　以下、本発明の一実施形態における評価装置について、図面を参照しながら詳細に説明する。以下に示す実施形態は本発明の実施形態の一例であって、本発明はこれらの実施形態に限定されるものではない。なお、本実施形態で参照する図面において、同一部分または同様な機能を有する部分には同一の符号または類似の符号（数字の後にＡ、Ｂ等を付しただけの符号）を付し、その繰り返しの説明は省略する場合がある。
＜第１実施形態＞
　本発明の第１実施形態における評価装置について、図面を参照しながら詳細に説明する。第１実施形態に係る評価装置は、歌唱するユーザ（以下、歌唱者という場合がある）の歌唱音声のリズム感を評価する装置である。この評価装置は、歌唱する楽曲において模範となる音声が無くても、歌唱音声のリズム感を評価することができる。以下、このような評価装置について説明する。
［ハードウエア］
　図１は、本発明の第１実施形態における評価装置の構成を示すブロック図である。評価装置１は、例えば、カラオケ装置である。なお、スマートフォン等の携帯装置であってもよい。評価装置１は、制御部１１、記憶部１３、操作部１５、表示部１７、通信部１９、および信号処理部２１を含む。これらの各構成は、バスを介して接続されている。また、信号処理部２１には、マイクロフォン２３およびスピーカ２５が接続されている。
　制御部１１は、ＣＰＵなどの演算処理回路を含む。制御部１１は、記憶部１３に記憶された制御プログラムをＣＰＵにより実行して、各種機能を評価装置１において実現させる。実現される機能には、歌唱音声のリズム感を評価する機能（以下、リズム評価機能という場合がある）が含まれる。記憶部１３は、不揮発性メモリ、ハードディスク等の記憶装置である。記憶部１３は、リズム評価機能を実現するための制御プログラムを記憶する。制御プログラムは、コンピュータにより実行可能であればよく、磁気記録媒体、光記録媒体、光磁気記録媒体、半導体メモリなどのコンピュータ読み取り可能な記録媒体に記憶した状態で提供されてもよい。この場合には、評価装置１は、記録媒体を読み取る装置を備えていればよい。また、制御プログラムは、ネットワーク経由でダウンロードされてもよい。
　また、記憶部１３は、歌唱に関するデータとして、楽曲データ、歌唱音声データ、および評価基準情報を記憶する。楽曲データは、カラオケの歌唱曲に関連するデータ、例えば、ガイドメロディデータ、伴奏データ、歌詞データなどが含まれている。ガイドメロディデータは、歌唱曲のメロディを示すデータである。伴奏データは、歌唱曲の伴奏を示すデータである。ガイドメロディデータおよび伴奏データは、ＭＩＤＩ形式で表現されたデータであってもよい。歌詞データは、歌唱曲の歌詞を表示させるためのデータ、および表示させた歌詞テロップを色替えするタイミングを示すデータである。これらのデータは、外部サーバから取得してもよい。歌唱音声データは、歌唱者がマイクロフォン２３から入力した歌唱音声を示すデータである。この例では、歌唱音声データは、リズム評価機能によって歌唱音声が評価されるまで、記憶部１３にバッファされる。評価基準情報は、リズム評価機能が歌唱音声の評価の基準として用いる情報である。例えば、後述する閾値を決定するためのルールを規定した情報、および評価値を算出するための演算式の情報等が含まれる。
　操作部１５は、操作パネルおよびリモコンなどに設けられた操作ボタン、キーボード、マウスなどの装置であり、入力された操作に応じた信号を制御部１１に出力する。この操作部１５によって、例えば、楽曲の選択等、カラオケ装置において一般的に行われる入力操作が可能である。表示部１７は、液晶ディスプレイ、有機ＥＬディスプレイ等の表示装置であり、制御部１１による制御に基づいた画面が表示される。なお、操作部１５と表示部１７とは一体としてタッチパネルを構成してもよい。通信部１９は、制御部１１の制御に基づいて、インターネットなどの通信回線と接続して、サーバ等の外部装置と情報の送受信を行う。なお、記憶部１３の機能は、通信部１９において通信可能な外部装置で実現されてもよい。
　信号処理部２１は、ＭＩＤＩ形式の信号からオーディオ信号を生成する音源、Ａ／Ｄコンバータ、Ｄ／Ａコンバータ等を含む。歌唱音声は、マイクロフォン２３において電気信号に変換されて信号処理部２１に入力され、信号処理部２１においてＡ／Ｄ変換されて制御部１１に出力される。上述したように、歌唱音声は、歌唱音声データとして記憶部１３にバッファされる。また、伴奏データは、制御部１１によって読み出され、信号処理部２１においてＤ／Ａ変換され、スピーカ２５から歌唱曲の伴奏として出力される。このとき、ガイドメロディもスピーカ２５から出力されるようにしてもよい。
［リズム評価機能］
　評価装置１の制御部１１が制御プログラムを実行することによって実現されるリズム評価機能について説明する。なお、以下に説明するリズム評価機能を実現する構成の一部または全部は、ハードウエアによって実現されてもよい。
　図２は、本発明の第１実施形態におけるリズム評価機能の構成を示すブロック図である。リズム評価機能１００は、取得部１０１、特徴量算出部１０３、検出部１０５、および評価値算出部１０７を含む。取得部１０１は、マイクロフォン２３から入力された歌唱音声を示す歌唱音声データを取得する。この例では、伴奏音が出力されている期間におけるマイクロフォン２３への入力音を、評価対象の歌唱音声として認識する。なお、取得部１０１は、記憶部１３にバッファされた歌唱音声データを取得する。記憶部１３に１曲全体の歌唱音声データが記憶された後に取得してもよいし、所定時間の歌唱音声データがバッファされた後に取得してもよい。また、取得部１０１は、マイクロフォン２３へ入力音を示す歌唱音声データを取得する場合に限らず、外部装置への入力音を示す歌唱音声データを、通信部１９によりネットワーク経由で取得してもよい。
　特徴量算出部１０３は、取得部１０１によって取得された歌唱音声データを解析し、特徴量の時間的な変化を算出する。この例では、特徴量は、歌唱音声の音量レベルである。
　検出部１０５は、特徴量算出部１０３において算出された音量レベルに基づいて、歌唱音声に含まれる各音の開始点に対応する区切位置を検出する。各音とは例えば歌詞の各文字の発音に対応する。また、この例では、各音の開始点は子音から母音に切り替わるタイミング、すなわち母音が始まる部分に相当する。各音の開始点に対応する区切位置とは、この開始点と一致する場合に限らず、開始点に基づいて予め決められた処理によって決められる位置である。
　日本語では、子音および母音の組み合わせによって発音されるときに、子音の発音期間の音量レベルが、母音の発音期間の音量レベルに比べて小さくなる傾向にある。この傾向は、１文字を単独で発音する場合に限らず、複数文字を連続して発音する場合においても見られる傾向である。検出部１０５は、このような特徴を利用して、各音の開始点に対応する区切位置を検出する。
　図３は、本発明の第１実施形態における評価方法を説明する図である。ここでは、「さ（子音「ｓ」＋母音「ａ」）」、「く（子音「ｋ」＋母音「ｕ」）」、「ら（子音「ｌ」＋母音「ａ」）」の文字を歌唱した場合において、音量レベルの時間変化を例示した。この音量変化は、図３に示すスペクトルＶＳである。この時間は、歌唱音声が入力されてから（評価開始のタイミングから）経過した時間を示している。いずれの文字の発音においても、子音の発音期間において音量レベルが下がる傾向が見られている。
　検出部１０５は、複数の文字が連続して発音される場合であっても、このように子音部分で音量レベルが低下する部分を利用して、区切位置を検出する。この例では、検出部１０５は、音量レベルの閾値Ｖｔｈを決定し、Ｖｔｈより低いレベルから高いレベルに遷移した点を区切位置として検出する。図３の例では、区切位置は、時間ｔｓ１、ｔｓ２、ｔｓ３、・・・として検出される。Ｖｔｈは、予め決められた音量レベルであればよく、この例では、音量レベルのバックグラウンドのレベルＶｂと音量レベルの最大レベルＶｐとに基づいて決められる。例えば、単位をｄＢとした場合に、Ｖｔｈ＝Ｖｐ×０．９（Ｖｐ－Ｖｂ）などとして、所定の演算式によって決められればよい。Ｖｐは、この例では、１曲全体における音量レベルの最大値である。なお、１曲を複数の評価区間に分けておき、予め決められたルールにしたがって、それぞれの評価区間に対応してＶｔｈが変更されていってもよい。この場合には、評価区間毎のＶｂおよびＶｐを用いてＶｔｈが決められればよい。
　図２に戻って説明を続ける。評価値算出部１０７は、検出部１０５によって検出された複数の区切位置の規則性の高さに関する評価値を算出する。この例では、評価値算出部１０７は、隣接する区切位置の時間間隔の度数分布を算出し、その分布に基づいて評価値を算出する。この時間間隔は、図３の例であれば、Ｔｗ１、Ｔｗ２、Ｔｗ３が対応している。
　図４は、隣接する区切位置の時間間隔の度数分布の例を示す図である。図４は、横軸が隣接する区切位置の時間間隔を示し、縦軸が度数を示している。このように時間間隔の度数分布をとると、周期的なピークが現れる。この例では、時間ｔｐ１、ｔｐ２、ｔｐ３、ｔｐ４にピークが現れている。ｔｐ１が八分音符の長さに対応する場合、ｔｐ２は四分音符の長さ、ｔｐ３は付点四分音符の長さ、ｔｐ４は二分音符の長さに対応する。したがって、それぞれのピークが、ｔｐ１の整数倍からずれている場合には、歌唱のリズムがずれていることを示している。ｔｐ１より短い時間においてピークが存在するような場合、最も短い時間のピークを基準として判断することが望ましい。例えば、ｔｐ１の１／２の位置にピークが存在する場合、ｔｐ１の整数倍以外のピーク、すなわち、１．５倍、２．５倍にもピークが生じやすくなるためである。
　また、ピークがずれていなくても、それぞれのピークの幅（例えば、半値幅Ｗ１、Ｗ２、Ｗ３、Ｗ４）が大きいほど、歌唱のリズムが安定していないことを示している。このように、評価値算出部１０７は、上記のピークの位置関係（例えば、ピーク間隔の分散値など）、および各ピークの幅（例えば、ピークの分散値または半値幅など）に応じて評価値を算出する。例えば、ピーク間隔が揃っているほど、またピーク幅が狭いほど、規則性が高い、すなわちリズム感がよいという評価値が算出されるようにすればよい。なお、度数分布の自己相関係数を用いたり、コムフィルタを用いたりすることによって、付点音符などによるピークの拡がりを排除して評価するようにしてもよい。自己相関係数を用いた場合には、係数とピーク間隔とに基づいて、さらにテンポの推定を行ってもよい。
　このように、リズム評価機能１００を実現した評価装置１によれば、複数文字を連続して発音するような歌唱が含まれていても、歌唱音声の音量レベルの変化から各音の開始点に対応する区切位置を検出することができる。そのため、評価装置１によれば、楽曲毎の模範音のような比較の基準となるデータを用いなくても、複数の区切位置の規則性の高さに関する評価値を算出することによって、歌唱者のリズム感の評価をすることができる。なお、この評価値に基づく結果は、表示部１７において提示されてもよい。
［閾値Ｖｔｈによる影響］
　ここで、音量レベルの閾値Ｖｔｈに関し、低めに設定した場合の閾値Ｖｔｈｂおよび高めに設定した場合の閾値Ｖｔｈｕの影響を説明する。
　図５は、本発明の第１実施形態における評価方法において閾値が低い場合の例を説明する図である。図５に示すように、相対的に低い閾値Ｖｔｈｂが採用されると、連続した発音の区間において各音の区切位置の検出が困難になる。その結果、区切位置は、複数の音がまとめて検出され、例えば、フレーズ毎などの大きな単位として検出されることになる。図５の例では、例えば、ｔｓ５およびｔｓ６に区切位置が検出されて、それらの間隔がＴｗ５となる。このような検出結果になったとしても、一部の区間において、上記のＴｗ１に相当する区切位置の検出ができれば、Ｔｗ５がＴｗ１の整数倍からどの程度ずれているかによって、リズム感の程度を判定することができる。
　図６は、本発明の第１実施形態における評価方法において閾値が高い場合の例を説明する図である。図６に示すように相対的に高い閾値Ｖｔｈｕが採用されると、音量レベルが小さい音が検出されなくなる。その結果、区切位置は、連続した発音区間における各音の区切位置の一部が検出されなくなる。区切位置の時間間隔が長くなったり、度数分布をとったときの度数が少なくなったりする。図６では、ｔｓ７およびｔｓ８が検出されて、それらの間隔がＴｗ７となった例である。このＴｗ７は、図３におけるＴｗ３に対応するものである。
　このように、閾値Ｖｔｈは、適切に設定される必要がある。しかしながら、ずれていたとしても、度数が減ったり、複数の音を単位として区切位置が検出されたりするため、結果に与える影響は少ない。なお、上記の閾値Ｖｔｈを予備的に複数の値で設定し、それぞれにおいて区切位置を検出してもよい。そして、検出された区切位置を参照して、予め決められた方法で、閾値Ｖｔｈとして正式に設定すべき値を決定してもよい。例えば、閾値Ｖｔｈを、評価値の算出結果が最も高くなる値としてもよいし、度数分布を算出したときに、所定の度数以上のピークが最も多くなる値としてもよい。このように、閾値Ｖｔｈは様々に設定可能であるが、その設定については、予め決められたルールに従って決められていれば、どのように決められてもよい。
＜第２実施形態＞
　第２実施形態では、特徴量算出部１０３において音量レベルを算出する前に、歌唱音声の一部の周波数帯域を除去する機能を備えるリズム評価機能１００Ａについて説明する。
　図７は、本発明の第２実施形態におけるリズム評価機能の構成を示すブロック図である。上述したように、リズム評価機能１００Ａは、取得部１０１によって取得された歌唱音声データが示す歌唱音声の一部の周波数帯域を除去するフィルタ部１０２を含む。この例では、フィルタ部１０２は、ローパスフィルタまたはバンドパスフィルタであって、歌唱音声の高周波成分を除去する。特徴量算出部１０３は、高周波成分が除去された特定周波数帯域の歌唱音声を示すデータが入力されて、音量レベルを算出する。この音量レベルは、特定周波数帯域のパワーに対応する。子音は、母音に比べて基音に対して倍音成分およびノイズ成分を多く含むため、高周波成分を除去することにより、子音と母音との音量レベルの差を拡大することができる。
　図８は、本発明の第２実施形態における評価方法を説明する図である。フィルタ部１０２の存在によって、図８に示すように、各音の最初の部分（子音の部分）の音量レベルが他の部分の音量レベルに比べて、相対的に大きく減少する。これによって各音の区切位置を正確に検出することができる閾値Ｖｔｈのマージンが広がる。また、日本語以外の言語において、例えば中国語では、子音と母音との音量レベルの差が小さい。このような言語に、フィルタ部１０２を適用することによって、子音部分の音量レベルを低下させることができ、区切位置の検出が容易になる。なお、第１実施形態のようにフィルタ部１０２を適用しない場合、すなわち、特定周波数帯域にフィルタしない場合の音量レベルを用いた区切位置の検出方法を、第２実施形態における検出方法と併用してもよい。
＜第３実施形態＞
　上記の実施形態では、連続した音であっても子音における音量レベルの減少を利用して、各音の区切位置を検出したが、第３実施形態では、子音がない母音のみの音が含まれていても、区切位置を検出できるようにしたリズム評価機能１００Ｂについて説明する。まず、このような状況に置いて、第１実施形態のリズム評価機能１００で区切位置を検出した場合の例を説明する。
　図９は、本発明の第１実施形態における評価方法において、子音を含まない歌詞が含まれる場合の例を説明する図である。ここでは、歌詞が「さ（子音「ｓ」＋母音「ａ」）」、「い（母音「ｉ」）」、「た（子音「ｔ」＋母音「ａ」）」である例を示している。したがって、「さ」と「い」との間には子音が存在しないため、音量レベルの減少が見られない。そのため、第１実施形態におけるリズム評価機能１００では、区切位置は、ｔｓ８、ｔｓ１０、ｔｓ１１の位置で検出され、「い」の音の開始点に対応する区切位置は検出されない。そのため、度数分布をとる際に用いられる区切位置の時間間隔は、Ｔｗ８、Ｔｗ１０となる。第３実施形態では、このような場合に、さらに異なる方法で区切位置の検出を試みるようになっている。以下、第３実施形態におけるリズム評価機能１００Ｂについて説明する。
　図１０は、本発明の第３実施形態におけるリズム評価機能の構成を示すブロック図である。この例では、特徴量算出部１０３Ｂは、第１実施形態における特徴量算出部１０３の機能に対応する音量レベル算出部１０３１、および周波数分布算出部１０３２を含む。周波数分布算出部１０３２では、取得部１０１において取得された歌唱音声データを解析し、ＦＦＴ（Fast Fourier Transform）を用いて周波数分布の時間的な変化を算出し、さらに、周波数分布のＳＮ比を算出する。周波数分布のＳＮ比について説明する。
　図１１は、本発明の第３実施形態において用いられるＳＮ比を説明する図である。歌唱音声の周波数分布のスペクトルＦＳは、基音ｆ０の他、整数倍の倍音ｆ１、ｆ２、・・・をピークとして含む。それぞれのピークにおいて、半値幅Ｖｆ０、Ｖｆ１、Ｖｆ２、・・・に含まれる領域（ハッチング部分）の積分値をシグナルＳ（Ｓｆ０、Ｓｆ１、Ｓｆ２，・・・）とし、それ以外の部分をノイズＮとして、Ｓ／ＮをＳＮ比として算出する。このとき、所定の倍音（例えば、３倍音）のピークまでを範囲とするなどして、所定の周波数範囲でＳＮ比を算出する。
　検出部１０５Ｂは、音量レベル算出部１０３１において算出された音量レベルと、周波数分布算出部１０３２において算出されたＳＮ比とを用いて、区切位置を検出する。
　図１２は、本発明の第３実施形態における評価方法を説明する図である。上記のようにして算出されたＳＮ比は、スペクトルＤＳに示すように、各音の開始点では低く（ノイズＮ成分が多く）、その後、急激に増加するという傾向を有している。母音のみの音であっても、このような傾向を有している。検出部１０５Ｂは、ＳＮ比を用いて区切位置を検出するときには、このような傾向を利用している。
　検出部１０５Ｂは、音量レベルに基づいて、第１実施形態と同様な方法で区切位置を検出する。そして、検出部１０５Ｂは、音量レベルを用いて検出できなかった区切位置、すなわち、隣接する区切位置の間において、ＳＮ比を用いて他の区切位置を検出する。例えば、検出部１０５Ｂは、ＳＮ比に対して所定の閾値Ｖｔｈｆを決定する。そして、検出部１０５Ｂは、ＳＮ比が予め決められた割合以上に減少してから増加に転じた位置、この例ではＶｔｈｆより低い値から高い値に遷移した位置を区切位置として検出する。このとき、音量レベルに基づいて検出した区切位置から所定時間以上ずれた位置においてのみ区切位置を検出する。例えば、図１２の例では、「ｔｓｐ９」がＳＮ比に基づく区切位置として検出される。この例では「ｔｓ８」および「ｔｓ１０」は、区切位置に近いため、ＳＮ比に基づく区切位置としては検出されない。この結果、隣接する区切位置の時間間隔は「Ｔｗ８」、「Ｔｗ９」、「Ｔｗ１０」となる。
　閾値Ｖｔｈｆは、ＳＮ比の最小値と最大値とに基づいて、決められてもよい。例えば、最小値をＳＮｍ、最大値をＳＮｐとすると、Ｖｔｈｆ＝ＳＮｐ×０．９（ＳＮｐ－ＳＮｍ）などとして、所定の演算式によって決められればよい。なお、次に述べるように決められてもよい。音量レベルに基づいて決められた区切位置（図１２の例では、「ｔｓ８」および「ｔｓ１０」）のいずれかにおいて、ＳＮ比のレベル（図１２の例において、区切位置「ｔｓ８」であれば、ＣＰ８）を閾値Ｖｔｈｆとしてもよい。また、音量レベルに基づいて決められた区切位置に到達する度に閾値Ｖｔｈｆを更新していってもよい。例えば、「ｔｓ８」を経過した後「ｔｓ１０」を経過するまで区間は、「ｔｓ８」の時点でのＳＮ比ＣＰ８を閾値Ｖｔｈｆ８とし、「ｔｓ１０」の後の区間は「ｔｓ１０」の時点でのＳＮ比ＣＰ１０を閾値Ｖｔｈｆ１０とすればよい。このようにすると、閾値Ｖｔｈおよび閾値Ｖｔｈｆにおいて間接的に相関関係を持たせることもできる。その結果、異なる方法で区切位置を検出したとしても、その方法の違いによる補正をせずに、区切位置の規則性の評価をすることができる。
　このように、連続する音に母音のみの音が含まれることで、リズム評価機能１００では音量レベルに基づいて検出できない区切位置があったとしても、ＳＮ比を用いたリズム評価機能１００Ｂを用いることで、その区切位置を検出することができる。なお、ＳＮ比を用いた区切位置の検出の際に、音量レベルを用いた区切位置の検出については、必ずしも併用する必要はない。この場合には、音量レベル算出部１０３１は不要である。検出部１０５Ｂにおける音量レベルに基づく区切位置の検出も不要である。一方、第３実施形態の構成において、さらに、第２実施形態の構成（特定周波数帯域のパワー）による区切位置の検出を併用してもよい。
＜第４実施形態＞
　第４実施形態では、リズム感以外についても歌唱音声の評価を行う場合の例を説明する。この例では、歌唱音声のピッチの変化についても評価に加えた例について説明する。ここでは、特に、歌唱音声のピッチの比較の対象が楽曲のメロディではない場合、すなわち、楽曲のメロディに依存せずに、歌唱音声のピッチの評価を可能とした場合の構成を説明する。
　この例では、評価基準情報は、評価機能が歌唱音声の評価の基準として用いる情報をさらに含む。例えば、評価基準情報には、歌唱技法を検出するための歌唱ピッチの変化（歌唱ピッチ波形）を特定するための情報が含まれる。ビブラート、コブシ、シャクリ、フォールといった歌唱技法であれば、例えば、以下のような歌唱ピッチ波形を示す。
（１）ビブラート：ピッチが細かく（所定周期以下で）高低に変化する。ビブラート検出の具体的な例は、特開２００５－１０７０８７号公報に開示されている。
（２）コブシ：ピッチが一時的に（所定時間以内で）高くなり、その後、元のピッチに戻る。コブシ検出の具体的な例は、特開２００８－２６８３７０号公報に開示されている。
（３）シャクリ：ピッチが所定時間かけて高くなり、その後安定する。シャクリ検出の具体的な例は、特開２００５－１０７３３４号公報に開示されている。
（４）フォール：ピッチが所定時間かけて低くなり、その後、歌唱が途切れる。フォール検出の具体的な例は、特開２００８－２２５１１５号公報に開示されている。
　図１３は、本発明の第４実施形態における評価機能の構成を示すブロック図である。評価機能２００は、上記のリズム評価機能１００と同等の機能を有するリズム評価機能部１００Ｃを備え、さらに、伴奏出力部２０１、入力音取得部２０３、ピッチ算出部２０５、特定区間検出部２０７、ピッチ比較部２０９、および評価部２１１を含む。伴奏出力部２０１は、歌唱者に指定された歌唱曲に対応する伴奏データを読み出し、信号処理部２１を介して、伴奏音をスピーカ２５から出力させる。
　入力音取得部２０３は、マイクロフォン２３から入力された歌唱音声を示す歌唱音声データを取得する。この例では、伴奏音が出力されている期間におけるマイクロフォン２３への入力音を、評価対象の歌唱音声として認識する。なお、入力音取得部２０３は、記憶部１３にバッファされた歌唱音声データを取得するが、記憶部１３に１曲全体の歌唱音声データが記憶された後に取得してもよいし、信号処理部２１から直接取得してもよい。なお、リズム評価機能部１００Ｃにおける取得部１０１に相当する機能によって取得される歌唱音声データは、入力音取得部２０３によって取得された歌唱音声データと同じである。
　ピッチ算出部２０５は、入力音取得部２０３によって取得された歌唱音声データを解析し、歌唱ピッチ（周波数）の時間的な変化、すなわち歌唱ピッチ波形を算出する。具体的には、歌唱音声の波形のゼロクロスを用いた方法、ＦＦＴを用いた方法等、公知の方法で歌唱ピッチ波形が算出される。なお、リズム評価機能部１００Ｃのリズム評価機能が、第３実施形態におけるリズム評価機能１００Ｂに対応する場合には、周波数分布算出部１０３２において取得された周波数分布を用いて歌唱ピッチを算出してもよい。
　特定区間検出部２０７は、歌唱ピッチ波形を解析し、歌唱音声の入力期間のうち、評価基準情報によって規定された歌唱技法を含む区間（特定区間）を検出する。このとき検出される特定区間は、歌唱技法の種類ごとに対応付けられていてもよい。
　ピッチ比較部２０９は、歌唱音声の入力期間のうち、特定区間検出部２０７において検出された特定区間を除いた区間を、評価区間として設定する。ピッチ比較部２０９は、評価区間における歌唱ピッチ波形を、基準ピッチと比較する。比較結果として、この例では、歌唱ピッチ波形と基準ピッチとの不一致度を算出する。複数の基準ピッチが１００ｃｅｎｔ間隔で存在する。そのため、複数の基準ピッチのうち、歌唱ピッチに最も近い基準ピッチが歌唱ピッチの比較対象として選択される。歌唱ピッチ波形と基準ピッチとの差が大きいほど、不一致度が高くなるように算出される。例えば、歌唱ピッチ波形の各サンプルにおける歌唱ピッチと基準ピッチとの差分を評価区間において加算し、加算値を評価区間のサンプル数で除算することによって、不一致度が算出される。
　このようにして、メロディに依存しない歌唱評価を行うこともできる。また、この例では、歌唱ピッチと基準ピッチとが、歌唱音声の入力期間全体ではなく、特定区間を除いた区間において比較している。したがって、特定区間における歌唱技法による意図的な歌唱ピッチのずれが、不一致度を増加させてしまわないようにすることもできる。
　評価部２１１は、リズム評価機能部１００Ｃから出力される歌唱のリズム感に関する評価値（評価値算出部１０７から出力される評価値）と、ピッチ比較部２０９における比較結果に基づいて、歌唱音声の評価の指標となる評価値を算出する。この例では、ピッチ比較部２０９で算出された不一致度が低いほど、また、リズム評価機能部１００Ｃから出力される評価値が、リズム感がよい評価であるほど、評価値が高く算出され、歌唱音声の評価が良くなる。
　なお、評価部２１１は、さらに他の要素に基づいて評価値を算出してもよい。他の要素は、歌唱技法および歌唱音声データから抽出可能な他のパラメータなどが想定される。歌唱技法を評価値に反映させる場合には、特定区間検出部２０７において検出された特定区間に対応する歌唱技法を用いればよい。他のパラメータとしては、例えば、音量変化がある。音量変化を用いれば、歌唱の抑揚を評価に加えることもできる。評価部２１１による評価結果は、表示部１７において提示されてもよい。
　上述した評価機能２００による歌唱音声の評価方法について、図１４に示す具体的な歌唱ピッチの例を用いて説明する。
　図１４は、本発明の第４実施形態における評価方法を説明する図である。図１４に示す波形は、歌唱の一部における歌唱ピッチ波形の例である。縦軸はピッチを示す。ピッチ方向に１００ｃｅｎｔごとに配置された破線は複数の基準ピッチを示している。横軸は時間の経過を示している。特定区間検出部２０７は、歌唱ピッチ波形から、歌唱技法が存在する特定区間を検出する。図１４に示す区間Ｓは「シャクリ」、区間Ｆは「フォール」、区間Ｋは「コブシ」、区間Ｖは「ビブラート」にそれぞれ対応する特定区間である。したがって、評価区間は、区間Ｓ、Ｆ、Ｋ、Ｖに対応する特定区間以外となる。
　ピッチ比較部２０９において算出される不一致度は、各サンプルにおける歌唱ピッチと基準ピッチとの差分の加算値に対応している。区間Ｖにおいては、ビブラートのピッチ変化の特徴から、この加算値が大きくなる。そのため、区間Ｖを歌唱ピッチと基準ピッチとの比較の対象に含める場合に、ビブラートの歌唱技法を用いた豊かな歌唱であるにもかかわらず、不一致度が大きく算出されて歌唱の評価を下げてしまう場合がある。このような場合であっても、本実施形態における評価装置１のように、区間Ｖを含む特定区間を除いた評価区間において歌唱ピッチと基準ピッチとの比較をすれば、歌唱技法を用いることによって評価を下げないようにすることもできる。
　特定区間では、歌唱ピッチが特定の変化をする場合に、音量レベルについても通常の歌唱とは異なる変化が生じる場合がある。そのため、リズム評価機能部１００Ｃにおけるリズム感の評価においても、特定の歌唱技法を用いている特定区間においては、評価の対象外としてもよい。例えば、特定区間において検出される区切位置については、評価値算出部１０７が算出する度数分布に反映されないようにすればよい。
＜その他の実施形態＞
　第３実施形態においては、歌唱音声データの周波数分布に基づいてＳＮ比を算出することによって、区切位置をＳＮ比に基づいて検出していた。このように得られた周波数分布を別の用途に用いて区切位置を検出するようにしてもよい。例えば、歌唱音声の周波数分布に基づいて歌唱音声のピッチを算出し、ピッチに基づいて区切位置を検出してもよい。例えば、ピッチの変化が予め決められた幅以上に変化した位置に基づいて、区切位置を検出してもよい。大きくピッチが変化する位置は、異なる音である場合が多いためである。
　また、周波数分布に基づいて、基音ｆ０の強度が、予め決められた閾値より低いレベルから高いレベルに変化した位置に基づいて、区切位置を検出してもよい。基音ｆ０の強度が低いレベルから高いレベルに変化する位置は、新たな発音がされた場合が多いためである。なお、これらの区切位置の検出方法は、上記の各実施形態における区切位置の検出方法と併用することもできる。また、それぞれの検出方法を単独で用いることもできる。例えば、音量レベルを用いずに、ピッチまたは基音ｆ０に基づいて、区切位置が検出されてもよい。
　第１実施形態では、音量レベルと閾値Ｖｔｈとの関係に基づいて、区切位置を検出していたが、音量レベルと別のパラメータとの関係に基づいて、区切位置を検出するようにしてもよい。例えば、検出部１０５は、音量レベルの変動が所定範囲に収まっている領域（フラット領域）を特定する。そして、複数のフラット領域が音量レベルより低くなるディップ領域を挟んで配置されている場合に、ディップ領域の直後において区切位置が検出されてもよい。
　入力音取得部２０３によって取得される歌唱音声データが示す音は、歌唱者による音声に限られず、歌唱合成による音声であってもよいし、楽器音であってもよい。楽器音である場合には、単音演奏であることが望ましい。なお、楽器音である場合には、子音および母音の概念が存在しないが、演奏方法によっては、各音の発音の開始点において歌唱と同様な傾向を有する。したがって、楽器音においても同様の判定ができる場合もある。また、上記のピッチに基づく区切位置の検出、また、基音ｆ０に基づく区切位置の検出についても、楽器音に適用することができる。特に、ピッチが連続的に変化させられない構造の楽器（クラリネット、トランペット等）においては、１００ｃｅｎｔ単位で階段状に変化することが多い。したがって、区切位置の検出が容易である。
　また、楽器の操作により特有のノイズが楽器音に含まれる場合がある。例えば、トランペットのピストンの操作音がノイズとして楽器音に含まれる場合がある。このようなノイズは特定周波数帯域に含まれる場合がある。そのため、第２実施形態と同様にして、特定周波数帯域の音量レベル（特定周波数帯域のパワー）のピークとなるタイミング、または所定の閾値を超えて増加するタイミング等を基準として、区切位置が検出されるようにしてもよい。また、上記のノイズは、第３実施形態で示したＳＮ比において特徴的な変化を示す場合がある。そのため、第３実施形態と同様にして、ＳＮ比の特徴的な変化を検出することによって、区切位置が検出されるようにしてもよい。
１…評価装置、１１…制御部、１３…記憶部、１５…操作部、１７…表示部、１９…通信部、２１…信号処理部、２３…マイクロフォン、２５…スピーカ、１００…リズム評価機能、１０１…取得部、１０２…フィルタ部、１０３…特徴量算出部、１０５…検出部、１０７…評価値算出部、２００…評価機能、２０１…伴奏出力部、２０３…入力音取得部、２０５…ピッチ算出部、２０７…特定区間検出部、２０９…ピッチ比較部、２１１…評価部、１０３１…音量レベル算出部、１０３２…周波数分布算出部

Claims (9)

  1. 　入力音を取得する取得部と、
    　前記取得部によって取得された入力音から特徴量を算出する特徴量算出部と、
    　前記特徴量算出部によって算出された特徴量に基づいて、前記取得部によって取得された入力音に含まれる各音の開始点に対応する区切位置を検出する検出部と、
    　前記検出部によって検出された複数の区切位置に基づいて、当該複数の区切位置の規則性の高さに関する評価値を算出する評価値算出部と、
    　を備えることを特徴とする評価装置。
  2. 　前記特徴量は、前記入力音の音量レベルに対応する値を含み、
    　前記検出部は、前記特徴量に対応する前記音量レベルが、予め決められた閾値より低いレベルから高いレベルに遷移する位置に基づいて、前記区切位置を検出することを特徴とする請求項１に記載の評価装置。
  3. 　前記検出部は、前記区切位置を検出する際に、所定の区間毎に、予め決められたルールにしたがって前記閾値を変更することを特徴とする請求項２に記載の評価装置。
  4. 　前記音量レベルは、所定の周波数帯域における前記入力音の音量レベルであることを特徴とする請求項２または請求項３に記載の評価装置。
  5. 　前記特徴量は、前記入力音の周波数分布のＳＮ比に対応する値を含み、
    　前記検出部は、前記ＳＮ比が予め決められた割合以上に減少してから増加に転じた位置に基づいて、さらに前記区切位置を検出することを特徴とする請求項１に記載の評価装置。
  6. 　前記特徴量は、前記入力音の周波数分布に対応する値を含み、
    　前記検出部は、前記周波数分布の基音の強度が予め決められた閾値より低い強度から高い強度に変化した位置に基づいて、さらに前記区切位置を検出することを特徴とする請求項１に記載の評価装置。
  7. 　前記特徴量は、前記入力音のピッチに対応する値を含み、
    　前記検出部は、前記ピッチの変化が予め決められた幅以上に変化した位置に基づいて、さらに前記区切位置を検出することを特徴とする請求項１に記載の評価装置。
  8. 　伴奏音を出力する伴奏出力部をさらに備え、
    　前記取得部は、少なくとも前記伴奏音が出力されている期間に前記入力音を取得することを特徴とする請求項１に記載の評価装置。
  9. 　コンピュータに、
    　入力音を取得し、
    　取得された前記入力音から特徴量を算出し、
    　算出された前記特徴量に基づいて、取得された前記入力音に含まれる各音の開始点に対応する区切位置を検出し、
    　検出された複数の前記区切位置に基づいて、当該複数の区切位置の規則性の高さに関する評価値を算出すること
    　を実行させるためのプログラムを記録したコンピュータ読み取り可能な記録媒体。
PCT/JP2016/076135 2015-09-15 2016-09-06 評価装置および記録媒体 Ceased WO2017047447A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201680052018.3A CN108028051A (zh) 2015-09-15 2016-09-06 评估装置和记录介质
US15/894,291 US10497348B2 (en) 2015-09-15 2018-02-12 Evaluation device and evaluation method

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015181642A JP6759545B2 (ja) 2015-09-15 2015-09-15 評価装置およびプログラム
JP2015-181642 2015-09-15

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/894,291 Continuation US10497348B2 (en) 2015-09-15 2018-02-12 Evaluation device and evaluation method

Publications (1)

Publication Number Publication Date
WO2017047447A1 true WO2017047447A1 (ja) 2017-03-23

Family

ID=58289218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/076135 Ceased WO2017047447A1 (ja) 2015-09-15 2016-09-06 評価装置および記録媒体

Country Status (4)

Country Link
US (1) US10497348B2 (ja)
JP (1) JP6759545B2 (ja)
CN (1) CN108028051A (ja)
WO (1) WO2017047447A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6728754B2 (ja) * 2015-03-20 2020-07-22 ヤマハ株式会社 発音装置、発音方法および発音プログラム
JP6759545B2 (ja) * 2015-09-15 2020-09-23 ヤマハ株式会社 評価装置およびプログラム
JP6690181B2 (ja) * 2015-10-22 2020-04-28 ヤマハ株式会社 楽音評価装置及び評価基準生成装置
CN108630191B (zh) * 2018-07-23 2025-01-24 深圳市聚声科技有限公司 一种模拟不同距离的语音识别成功率的测试系统及方法
JP7169243B2 (ja) * 2019-03-29 2022-11-10 株式会社第一興商 カラオケ装置
US10805223B1 (en) * 2019-04-10 2020-10-13 Dell Products L.P. Systems and methods for handling data congestion for shared buffer switches with dynamic thresholding
CN110111813B (zh) * 2019-04-29 2020-12-22 北京小唱科技有限公司 节奏检测的方法及装置
US12046221B2 (en) * 2021-03-25 2024-07-23 Yousician Oy User interface for displaying written music during performance

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102148A (ja) * 2002-09-12 2004-04-02 Taito Corp リズム感採点機能を有するカラオケ採点装置
JP2007519048A (ja) * 2004-01-21 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音楽入力信号の速度の曖昧さの指標を決定する方法及びシステム、音声処理装置、運動器具、コンピュータープログラム、記憶媒体
JP2008132088A (ja) * 2006-11-28 2008-06-12 Taito Corp リズムゲーム装置
JP2009233339A (ja) * 2009-05-29 2009-10-15 Namco Bandai Games Inc コンピュータ読み取り可能な記録媒体
JP2013190564A (ja) * 2012-03-13 2013-09-26 Yamaha Corp 音声評価装置

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5521323A (en) * 1993-05-21 1996-05-28 Coda Music Technologies, Inc. Real-time performance score matching
KR950009596A (ko) * 1993-09-23 1995-04-24 배순훈 노래반주용 비디오 기록재생장치 및 방법
KR0144223B1 (ko) * 1995-03-31 1998-08-17 배순훈 가라오케의 채점 방법
JP3299890B2 (ja) * 1996-08-06 2002-07-08 ヤマハ株式会社 カラオケ採点装置
JP3952523B2 (ja) * 1996-08-09 2007-08-01 ヤマハ株式会社 カラオケ装置
US6151571A (en) * 1999-08-31 2000-11-21 Andersen Consulting System, method and article of manufacture for detecting emotion in voice signals through analysis of a plurality of voice signal parameters
DE10123366C1 (de) * 2001-05-14 2002-08-08 Fraunhofer Ges Forschung Vorrichtung zum Analysieren eines Audiosignals hinsichtlich von Rhythmusinformationen
US7421304B2 (en) * 2002-01-21 2008-09-02 Kenwood Corporation Audio signal processing device, signal recovering device, audio signal processing method and signal recovering method
EP1455504B1 (en) * 2003-03-07 2014-11-12 Samsung Electronics Co., Ltd. Apparatus and method for processing audio signal and computer readable recording medium storing computer program for the method
JP4163584B2 (ja) 2003-09-30 2008-10-08 ヤマハ株式会社 カラオケ装置
JP4222915B2 (ja) 2003-09-30 2009-02-12 ヤマハ株式会社 歌唱音声評価装置、カラオケ採点装置及びこれらのプログラム
WO2007080764A1 (ja) * 2006-01-12 2007-07-19 Matsushita Electric Industrial Co., Ltd. 対象音分析装置、対象音分析方法および対象音分析プログラム
JP4672613B2 (ja) * 2006-08-09 2011-04-20 株式会社河合楽器製作所 テンポ検出装置及びテンポ検出用コンピュータプログラム
JP4427530B2 (ja) * 2006-09-21 2010-03-10 株式会社東芝 音声認識装置、プログラムおよび音声認識方法
JP4865607B2 (ja) 2007-03-13 2012-02-01 ヤマハ株式会社 カラオケ装置、歌唱評価方法およびプログラム
JP4910854B2 (ja) 2007-04-17 2012-04-04 ヤマハ株式会社 こぶし検出装置、こぶし検出方法及びプログラム
CN101441865A (zh) * 2007-11-19 2009-05-27 盛趣信息技术（上海）有限公司 演唱类游戏的评分方法及系统
US9253560B2 (en) * 2008-09-16 2016-02-02 Personics Holdings, Llc Sound library and method
CA2685779A1 (en) * 2008-11-19 2010-05-19 David N. Fernandes Automated sound segment selection method and system
US9286911B2 (en) * 2008-12-15 2016-03-15 Audio Analytic Ltd Sound identification systems
CN101859560B (zh) * 2009-04-07 2014-06-04 林文信 卡拉ok歌曲伴唱自动评分方法
CN102640211B (zh) * 2010-12-01 2013-11-20 雅马哈株式会社 根据与节奏模式的相似度搜索乐音数据组
US8964998B1 (en) * 2011-06-07 2015-02-24 Sound Enhancement Technology, Llc System for dynamic spectral correction of audio signals to compensate for ambient noise in the listener's environment
CN103514866B (zh) * 2012-06-28 2018-01-16 深圳市咪发发科技有限公司 一种乐器演奏评分的方法及装置
CN103871426A (zh) * 2012-12-13 2014-06-18 上海八方视界网络科技有限公司 对比用户音频与原唱音频相似度的方法及其系统
US20150327802A1 (en) * 2012-12-15 2015-11-19 Tokyo Institute Of Technology Evaluation apparatus for mental state of human being
JP6123995B2 (ja) * 2013-03-14 2017-05-10 ヤマハ株式会社 音響信号分析装置及び音響信号分析プログラム
US9785706B2 (en) * 2013-08-28 2017-10-10 Texas Instruments Incorporated Acoustic sound signature detection based on sparse features
JP2015128507A (ja) * 2014-01-07 2015-07-16 富士通株式会社 評価プログラム、評価方法および評価装置
JP6539941B2 (ja) * 2014-01-07 2019-07-10 富士通株式会社 評価プログラム、評価方法及び評価装置
CN104882147A (zh) * 2015-06-05 2015-09-02 福建星网视易信息系统有限公司 一种演唱评分显示方法、装置及系统
JP6759545B2 (ja) * 2015-09-15 2020-09-23 ヤマハ株式会社 評価装置およびプログラム
JP6705142B2 (ja) * 2015-09-17 2020-06-03 ヤマハ株式会社 音質判定装置及びプログラム
JP6690181B2 (ja) * 2015-10-22 2020-04-28 ヤマハ株式会社 楽音評価装置及び評価基準生成装置
JP6759560B2 (ja) * 2015-11-10 2020-09-23 ヤマハ株式会社 調律推定装置及び調律推定方法
JP6631199B2 (ja) * 2015-11-27 2020-01-15 ヤマハ株式会社 技法判定装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004102148A (ja) * 2002-09-12 2004-04-02 Taito Corp リズム感採点機能を有するカラオケ採点装置
JP2007519048A (ja) * 2004-01-21 2007-07-12 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ 音楽入力信号の速度の曖昧さの指標を決定する方法及びシステム、音声処理装置、運動器具、コンピュータープログラム、記憶媒体
JP2008132088A (ja) * 2006-11-28 2008-06-12 Taito Corp リズムゲーム装置
JP2009233339A (ja) * 2009-05-29 2009-10-15 Namco Bandai Games Inc コンピュータ読み取り可能な記録媒体
JP2013190564A (ja) * 2012-03-13 2013-09-26 Yamaha Corp 音声評価装置

Also Published As

Publication number Publication date
JP2017058441A (ja) 2017-03-23
CN108028051A (zh) 2018-05-11
US20180174561A1 (en) 2018-06-21
US10497348B2 (en) 2019-12-03
JP6759545B2 (ja) 2020-09-23

Similar Documents

Publication Publication Date Title
JP6759545B2 (ja) 評価装置およびプログラム
US7582824B2 (en) Tempo detection apparatus, chord-name detection apparatus, and programs therefor
EP3048607B1 (en) Automatic transcription of musical content .
US9741327B2 (en) Automatic transcription of musical content and real-time musical accompaniment
US20090193959A1 (en) Audio recording analysis and rating
JP2017090671A (ja) 調律推定装置、評価装置およびデータ処理装置
US10643638B2 (en) Technique determination device and recording medium
JP6690181B2 (ja) 楽音評価装置及び評価基準生成装置
JP2017111268A (ja) 技法判定装置
JP2016180965A (ja) 評価装置およびプログラム
Müller Tempo and Beat Tracking
JP5618743B2 (ja) 歌唱音声評価装置
JP5585320B2 (ja) 歌唱音声評価装置
JP5034642B2 (ja) カラオケ装置
JP2017129787A (ja) 音採譜装置
JP6144592B2 (ja) 歌唱採点システム
JP5262875B2 (ja) 追従性評価システム，カラオケシステムおよびプログラム
JP5697395B2 (ja) 歌唱音声評価装置およびプログラム
JP6175034B2 (ja) 歌唱評価装置
JP2017111274A (ja) データ処理装置
JP6836467B2 (ja) カラオケ装置
JP2016173562A (ja) 評価装置およびプログラム
WO2016148256A1 (ja) 評価装置およびプログラム
JP2015169867A (ja) 歌唱解析装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16846318

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16846318

Country of ref document: EP

Kind code of ref document: A1