[go: up one dir, main page]

WO2019003348A1 - 歌唱音効果生成装置及び方法、プログラム - Google Patents

歌唱音効果生成装置及び方法、プログラム Download PDF

Info

Publication number
WO2019003348A1
WO2019003348A1 PCT/JP2017/023779 JP2017023779W WO2019003348A1 WO 2019003348 A1 WO2019003348 A1 WO 2019003348A1 JP 2017023779 W JP2017023779 W JP 2017023779W WO 2019003348 A1 WO2019003348 A1 WO 2019003348A1
Authority
WO
WIPO (PCT)
Prior art keywords
sound
instruction
singing
performance
generation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2017/023779
Other languages
English (en)
French (fr)
Inventor
一輝 柏瀬
桂三 濱野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Yamaha Corp
Original Assignee
Yamaha Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Yamaha Corp filed Critical Yamaha Corp
Priority to PCT/JP2017/023779 priority Critical patent/WO2019003348A1/ja
Publication of WO2019003348A1 publication Critical patent/WO2019003348A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10H—ELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00—Details of electrophonic musical instruments
    • G10H1/02—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos
    • G10H1/04—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation
    • G10H1/053—Means for controlling the tone frequencies, e.g. attack or decay; Means for producing special musical effects, e.g. vibratos or glissandos by additional modulation during execution only
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L13/00—Speech synthesis; Text to speech systems

Definitions

  • the present invention relates to a singing sound effect generating apparatus, method and program for generating an effect to be applied to a singing sound to be pronounced based on a performance operation.
  • Patent Document 1 There is known an apparatus for producing a singing sound based on data for singing using a speech synthesis technology. Further, there is also known a device that can easily perform a richly expressive sound at the time of real-time performance by using the sound generation control parameter (Patent Document 1 below). This device sings the corresponding lyrics in the music on note-on / off. Syllable information and sound control parameters are stored in association with each syllable of the lyrics. The apparatus reads the sound generation control parameter associated with the syllable information in accordance with the sound generation start instruction, and imparts an effect (an expression) by sounding in the sound generation mode according to the read sound control parameter.
  • the syllables sequentially read out in response to the sound generation instruction are provided with facial expression associated beforehand, and the effect given to the singing sound can not be changed by the user's intention. Therefore, regardless of the rendition style, only a fixed effect is given to the singing sound, and there is room for improvement in improving the musical expression when the singing sound is pronounced.
  • An object of the present invention is to provide a singing sound effect generating apparatus and method capable of generating an effect to be given to a sound produced by a performance based on a performance mode.
  • a detection unit for detecting a performance operation on a performance operator and an instruction to start singing syllable based on the performance operation indicating a sound generation instruction detected by the detection unit
  • An instruction unit and a generation unit for specifying a performance mode based on the performance operation detected by the detection unit, and generating an effect to be applied to the singing sound based on the instruction of the instruction unit based on the specified performance mode;
  • a singing sound effect generator having the same.
  • the effect given to the sound produced by the performance can be generated based on the performance mode.
  • generation apparatus It is a block diagram of an electronic musical instrument. It is a flowchart which shows an example of the flow of a process in case a performance is performed. It is a flowchart of single tone processing. It is a figure which shows an example of lyric text data. It is a figure which shows an example of the kind of voice
  • FIG. 1 is a schematic view of a singing sound effect generating apparatus according to an embodiment of the present invention.
  • This singing sound effect generating device is configured as an electronic musical instrument 100 which is a keyboard instrument as an example, and has a main body portion 30 and a neck portion 31.
  • the main body portion 30 has a first surface 30a, a second surface 30b, a third surface 30c, and a fourth surface 30d.
  • the first surface 30a is a keyboard mounting surface on which a keyboard section KB composed of a plurality of keys is disposed.
  • the second surface 30 b is the back surface. Hooks 36 and 37 are provided on the second surface 30 b.
  • a strap (not shown) can be placed between the hooks 36 and 37, and the player usually puts the strap on his shoulder and performs performance such as operating the keyboard KB. Therefore, at the time of use with shoulders, particularly when the scale direction (key arrangement direction) of the keyboard KB is in the left-right direction, the first surface 30a and the keyboard KB face the listener side, the third surface 30c, the fourth The faces 30d face generally downward and upward, respectively.
  • the neck portion 31 is extended from the side of the main body 30.
  • the neck portion 31 is provided with various operators including the advance operator 34 and the return operator 35.
  • a display unit 33 composed of liquid crystal or the like is disposed on the fourth surface 30 d of the main body 30.
  • the electronic musical instrument 100 is a musical instrument that simulates singing in response to an operation on a performance operator.
  • the song simulation is to output a voice simulating a human voice by song synthesis.
  • White keys and black keys are arranged in the order of pitches of the keys of the keyboard section KB, and the keys are associated with different pitches.
  • the user presses a desired key on the keyboard KB.
  • the electronic musical instrument 100 detects a key operated by the user, and produces a singing sound of a pitch corresponding to the operated key.
  • the order of the syllables of the singing voice to be pronounced is predetermined.
  • FIG. 2 is a block diagram of the electronic musical instrument 100.
  • the electronic musical instrument 100 includes a central processing unit (CPU) 10, a timer 11, a read only memory (ROM) 12, a random access memory (RAM) 13, a data storage unit 14, a performance control 15, and other operations.
  • a slave 16 a parameter value setting operator 17, a display unit 33, a sound source 19, an effect circuit 20, a sound system 21, a communication I / F (Interface), and a bus 23.
  • the CPU 10 is a central processing unit that controls the entire electronic musical instrument 100.
  • the timer 11 is a module that measures time.
  • the ROM 12 is a non-volatile memory that stores control programs and various data.
  • the RAM 13 is a volatile memory used as a work area of the CPU 10 and various buffers.
  • the display unit 33 is a display module such as a liquid crystal display panel or an organic EL (Electro-Luminescence) panel.
  • the display unit 33 displays the operation state of the electronic musical instrument 100, various setting screens, a message for the user, and the like.
  • the performance operator 15 is a module that mainly accepts a performance operation that designates a pitch.
  • the keyboard portion KB, the advance operator 34, and the return operator 35 are included in the performance operator 15.
  • the performance operation element 15 when the performance operation element 15 is a keyboard, the performance operation element 15 may be a note on / note off based on sensor on / off corresponding to each key, a key depression strength (speed, velocity), etc.
  • Output performance information may be in the form of a MIDI (musical instrument digital interface) message.
  • the other operator 16 is, for example, an operation module such as an operation button or an operation knob for performing settings other than performance, such as settings relating to the electronic musical instrument 100.
  • the parameter value setting operation unit 17 is an operation module such as an operation button or an operation knob that is mainly used to set parameters for the attribute of the singing voice. Examples of this parameter include harmonics, brightness, resonance, and gender factor.
  • the harmony is a parameter for setting the balance of the harmonic component contained in the voice. Brightness is a parameter for setting the tone of the voice and gives a tone change.
  • the resonance is a parameter for setting timbre and strength of singing voice and musical instrument sound.
  • the gender element is a parameter for setting formants, and changes the thickness and texture of the voice in a feminine or male manner.
  • the external storage device 3 is, for example, an external device connected to the electronic musical instrument 100, and is, for example, a device that stores audio data.
  • the communication I / F 22 is a communication module that communicates with an external device.
  • the bus 23 transfers data between the units in the electronic musical instrument 100.
  • the data storage unit 14 stores singing data 14a.
  • the song data 14a includes lyric text data, a phonological information database, and the like.
  • the lyric text data is data describing the lyric, and is data to be sung by the singing part (the sound source 19, the effect circuit 20 and the sound system 21).
  • the lyrics of each song are described divided in syllable units. That is, the lyric text data has character information obtained by dividing the lyrics into syllables, and the character information is also information for display corresponding to the syllables.
  • the syllable is a group of sounds output in response to one performance operation.
  • the phonological information database is a database storing speech segment data (syllable information).
  • the voice segment data is data indicating a waveform of voice, and includes, for example, spectrum data of a sample string of the voice segment as waveform data.
  • the speech segment data includes segment pitch data indicating the pitch of the waveform of the speech segment.
  • the lyrics text data and the speech segment data may each be managed by a database.
  • the sound source 19 is a module having a plurality of tone generation channels. Under the control of the CPU 10, one sound generation channel is assigned to the sound source 19 in accordance with the user's performance. In the case of producing a singing voice, the sound source 19 reads voice segment data corresponding to a performance from the data storage unit 14 in the assigned tone generation channel to generate singing voice data.
  • the effect circuit 20 applies the acoustic effect designated by the parameter value setting operator 17 to the singing voice data generated by the sound source 19.
  • the sound system 21 converts the singing sound data processed by the effect circuit 20 into an analog signal by a digital / analog converter. Then, the sound system 21 amplifies the singing sound converted into the analog signal and outputs it from a speaker or the like.
  • FIG. 3 is a flowchart showing an example of the flow of processing when the electronic musical instrument 100 performs a performance.
  • the processing in the case where the user performs the selection of the musical composition and the performance of the selected musical composition will be described. Further, in order to simplify the description, a case where only a single sound is output will be described even if a plurality of keys are simultaneously operated. In this case, only the highest pitch among the pitches of keys operated simultaneously may be processed, or only the lowest pitch may be processed.
  • the processing described below is realized, for example, by the CPU 10 executing a program stored in the ROM 12 or the RAM 13 and functioning as a control unit that controls various components provided in the electronic musical instrument 100.
  • the CPU 10 waits until an operation of selecting a song to be played is received from the user (step S101). Note that if there is no song selection operation even after a certain time has elapsed, the CPU 10 may determine that a song set by default has been selected.
  • the CPU 10 receives the selection of the song, it reads the lyric text data of the song data 14a of the selected song. Then, the CPU 10 sets the cursor position at the top syllable described in the lyric text data (step S102). Here, the cursor is a virtual index indicating the position of the syllable to be pronounced next.
  • the CPU 10 determines whether note-on has been detected based on the operation of the keyboard section KB (step S103). When the note-on is not detected, the CPU 10 determines whether the note-off is detected (step S109).
  • the CPU 10 determines whether there is a singing sound being output (step S104).
  • the song sound being output is a song sound being pronounced based on the key depression immediately before the new key depression. Therefore, having the song sound being output means that the performance operation indicating the sound generation instruction is continuing.
  • the CPU 10 identifies a playing mode, and generates an effect to be given to the singing sound based on the identified playing mode.
  • the performance mode specified in the present embodiment in addition to a performance operation (single tone) instructing a new sound generation, temporary double key depression (legato performance etc.) is assumed.
  • step S104 when there is no song sound being output, the CPU 10 specifies a performance mode in which a performance operation indicating a new sound generation instruction is performed when the performance operation indicating the sound generation instruction is not continued. Do. Therefore, the CPU 10 proceeds to step S105 and executes note-off processing of the sound corresponding to the key if there is an exceptionally depressed key (a key not indicating a sound generation instruction but a depressed state continues). Then, single tone processing is performed (step S106). This single sound processing will be described later with reference to FIG. Thereafter, the CPU 10 updates the cursor position (read position) (step S107), and advances the process to step S109.
  • step S104 when there is a song sound being output, a performance operation indicating a pronunciation instruction of a pitch different from the pitch corresponding to the ongoing performance operation is performed (predetermined performance mode Means that is specified). Therefore, the CPU 10 executes heavy tone processing shown in FIG. 7 described later (step S108), and advances the process to step S109.
  • FIG. 4 is a flowchart of the single-tone processing performed in step S106 of FIG.
  • the CPU 10 acquires the note-on velocity value detected in step S103 (step S201). Then, the CPU 10 determines whether the acquired velocity value is equal to or more than a first predetermined value (for example, 100) (step S202). If the acquired velocity value is less than the first predetermined value, the CPU 10 determines whether the acquired velocity value is equal to or less than a second predetermined value (e.g., 60) smaller than the first predetermined value. (Step S204). Then, if the acquired velocity value is not equal to or less than the second predetermined value, the CPU 10 advances the process to step S207.
  • a first predetermined value for example, 100
  • a second predetermined value e.g. 60
  • the CPU 10 executes a normal output sound generation process without applying an effect in step S207. Specifically, the CPU 10 reads the syllable information at the reading position, and generates and outputs a singing sound at the detected note-on pitch. That is, the CPU 10 instructs the start of syllable singing based on the performance operation indicating the sound generation instruction. Thereafter, the process shown in FIG. 4 ends.
  • the CPU 10 reads voice segment data (waveform data) of the syllable corresponding to the cursor position, and outputs the sound of the waveform indicated by the read voice segment data at a pitch corresponding to note-on. Specifically, the CPU 10 obtains the difference between the pitch indicated by the segment pitch data included in the voice segment data and the pitch corresponding to the operated key, and the waveform data is obtained by the frequency corresponding to this difference. The spectral distribution shown is moved in the frequency axis direction. Thus, the electronic musical instrument 100 can output a singing sound at the pitch corresponding to the operated key.
  • FIG. 5 is a view showing an example of lyrics text data.
  • the lyrics of the five syllables c1 to c5 are described in the lyrics text data.
  • Each character "ha”, “ru”, “yo”, “ko”, "i” indicates one Japanese hiragana character and each character corresponds to one syllable.
  • the CPU 10 updates the cursor position in syllable units.
  • the CPU 10 moves the cursor position to the next syllable c4.
  • the CPU 10 sequentially moves the cursor position to the next syllable in response to the note-on.
  • FIG. 6 is a diagram showing an example of the type of speech segment data.
  • the CPU 10 extracts speech segment data corresponding to syllables from the phonological information database in order to pronounce syllables corresponding to the cursor position.
  • phoneme chain data is data indicating a speech segment when the pronunciation changes, such as "silence (#) to consonant", “consonant to vowel", "vowel to consonant or vowel (of the next syllable)" .
  • the steady part data is data indicating a speech segment when the pronunciation of the vowel continues.
  • the sound source 19 includes voice chain data “# -h” corresponding to “silence ⁇ consonant h”, “consonant h ⁇ vowel a
  • the voice chain data “ha” corresponding to “” and the stationary partial data “a” corresponding to “vowel a” are selected.
  • the CPU 10 operates the singing voice based on the voice chain data “# -h”, the voice chain data “ha,” and the steady part data “a”. Output according to the pitch according to, the velocity according to the operation.
  • the determination of the cursor position and the sounding of the singing sound are performed.
  • step S202 If it is determined in step S202 that the acquired velocity value is equal to or greater than the first predetermined value, the CPU 10 executes an output sound generation process that applies a first type of effect (e.g., squashing). That is, in step S203, the CPU 10 reads the syllable information at the reading position, and generates and outputs a singing sound so as to start the sound generation of the detected note-on pitch with "speaking". As a result, it is possible to apply a scribbling effect to the singing sound produced by the new key depression in a state where there is no singing sound being output. Thereafter, the process proceeds to step S204.
  • a first type of effect e.g., squashing
  • step S204 If it is determined in step S204 that the acquired velocity value is equal to or less than the second predetermined value, the CPU 10 executes an output sound generation process for giving a second type (for example, a fist). That is, first, in step S205, the CPU 10 reads syllable information at the read position, and detects a vowel start position from the waveform data indicated by the syllable information (step S205). Furthermore, the CPU 10 starts generation of the singing sound at the detected note-on pitch, and outputs a singing sound by adding “fist” at the vowel start position in the process of generating the singing sound (step S206) ). As a result, it is possible to give a fist effect to the singing sound to be produced by the new key depression in a state where there is no singing sound being output. Thereafter, the process shown in FIG. 4 ends.
  • a second type for example, a fist
  • FIG. 7 is a flowchart of the heavy tone processing performed in step S108 of FIG.
  • the CPU 10 stands by until the legato determination period (predetermined time) has elapsed (step S301).
  • the measurement of the legato determination period is started when a new note-on is detected in step S103 of FIG.
  • the legato determination period is stored in advance in the ROM 12 or the like.
  • the legato determination period is not limited to the absolute time, and may have a length (for example, a sixty-fourth note length) according to the tempo.
  • the CPU 10 detects note-on and note-off and stores the detection result.
  • the CPU 10 acquires the pitch of the note-on detected in step S103 (step S302). Then, the CPU 10 determines whether or not there is a note-off with respect to the song sound being output during the legato determination period (step S303). If there is a note-off with respect to the song sound being output during the legato determination period, it can be determined that a so-called legato playing method has been performed. Therefore, the CPU 10 stops the song sound being output (step S304), and shifts to an effect imparting process corresponding to the legato style (steps S305, S306, and S308). First, the CPU 10 determines whether the pitch of the detected note-on is higher than the pitch of the song sound being output (step S305).
  • the CPU 10 When the detected note-on pitch is higher than the pitch of the singing voice being output, it can be determined that the legato playing in the direction of the high-pitched sound has been made. Therefore, the CPU 10 generates and outputs a singing sound so as to be stable by connecting the pitch during output from the pitch of the note-on detected as described above with “sharkling”. As a result, the pitch changes to the high-pitched sound side in the form of scoop. Thereafter, the processing proceeds to step S307.
  • step S307 the CPU 10 updates the cursor position (read position) and ends the process shown in FIG. If the note-off for the song sound being output and the note-off for the detected note-on are both performed during the legato determination period, the CPU 10 does not generate an effect in steps S306 and S308. Therefore, it is premised that the above-mentioned detected note-on continues to apply the closing and falling.
  • step S303 when there is no note-off with respect to the song sound being output during the legato determination period, it can be determined that it does not correspond to the legato playing style. For example, it is possible to determine that there is a note-on operation of a different pitch while the note-on to the song sound being output continues, and the key-on state is made redundantly.
  • the CPU 10 proceeds to the effect imparting process corresponding to the non-legato duplicate key depression (steps S309 to S316). In this effect imparting process, as an example, a vibrato effect of a speed according to the pitch of the key pressed later is imparted to the singing voice being outputted.
  • the CPU 10 determines whether or not the note-off with respect to the detected note-on is detected (step S309). Then, if note-off with respect to the detected note-on is not detected, it is determined whether a vibrato is being added to the song sound being output (step S310). When the vibrato is not added to the song sound being output, the CPU 10 determines whether the detected note-on pitch is higher than the pitch of the song sound being output (step S311). . Then, when the detected note-on pitch is not higher than the pitch of the song sound being output, the CPU 10 vibrato the first speed (late) with respect to the song sound being output. The assignment is started (step S312), and the process proceeds to step S314.
  • step S313 the CPU 10 causes the second velocity to be faster than the first velocity with respect to the singing voice being output ( Fast application of the vibrato is started (step S313), and the process proceeds to step S314.
  • step S314 the CPU 10 determines whether or not the note-off with respect to the song sound being output has been detected, and returns the process to step S309 if the note-off with respect to the song sound being output has not been detected.
  • step S309 when the note-off with respect to the detected note-on is detected, the application of the vibrato to the singing sound being outputted is stopped (step S316), and the process proceeds to step S307. Therefore, vibrato continues to be applied to the song sound being output while the pressed state of the key pressed later is continued.
  • step S315 when the note-off to the song sound being output is detected, the song sound being output is stopped (step S315), and the process proceeds to step S307.
  • step S109 of FIG. 3 the CPU 10 stops outputting the sound if it is outputting the sound (step S110), and determines whether the performance has ended (step S111). ).
  • step S111 the CPU 10 advances the process to step S111.
  • step S111 the CPU 10 returns the process to step S103 if the performance has not ended.
  • step S112 the processing shown in FIG. 3 is ended. Note that the CPU 10 determines whether the performance has ended, for example, whether the last syllable of the selected song has been pronounced, or whether the operation to end the performance has been performed by the other operating element 16 or the like. It can be determined based on
  • CPU 10 produces an effect given to the singing sound (song sound during output) of the syllable started based on the performance operation indicating the sound generation instruction from the performance operation indicating the sound generation instruction or the subsequent performance operation It is generated based on the specified playing mode.
  • the effect given to the sound produced by the performance can be generated based on the performance mode, and the performance expression at the time of producing the singing sound can be improved.
  • the CPU 10 when there is a performance operation indicating a new sound generation instruction when the performance operation indicating the sound generation instruction is not continued, the CPU 10 gives an effect (vibrato or hibernation) to the singing sound corresponding to the new sound generation instruction.
  • the CPU 10 To generate (speech processing).
  • the CPU 10 generates an effect (shuffle / knive) according to the speed (velocity) of the performance operation indicating a new sound generation instruction.
  • the effect according to the mode of the performance operation indicating the sound generation instruction can be given to the sound based on the sound generation instruction.
  • a sound is being generated by a performance operation other than the sound generation instruction, that is, a performance operation indicating a sound generation instruction of a pitch different from the pitch corresponding to the ongoing performance operation.
  • Effects can be added to the sound of
  • the performance operation indicating the sound generation instruction is canceled without canceling the performance operation indicating the sound generation instruction of another pitch within the legato determination period, it corresponds to the legato rendition style.
  • an effect (fall or squealing) relating to a transition aspect from the started singing to a singing operation based on a performance operation indicating a sound generation instruction of another pitch is generated (S306, S308), so an effect suitable for legato performance is given can do.
  • the mode of the effect generated to be applied to the singing sound in the single tone processing (FIG. 4) in step S106 in FIG. 3 (FIG. 4) and the heavy tone processing (FIG. 7) in step S108 is an example, and other effects are generated.
  • the detected note-on velocity value is divided into two steps, and the effects can be generated in two modes, but three or more modes may be generated by dividing into three or more stages.
  • the vibrato speed is determined depending on whether the detected note-on pitch is higher or lower than the pitch being output. Were determined.
  • the present invention is not limited to this, and the detected note-on pitch may be divided into two or more stages, and the type and degree of the effect may be changed according to the pitch.
  • the detected note-on velocity may be reflected on the effect to be generated.
  • an effect may be generated according to a combination of the two or more key presses.
  • the present invention is applicable to an apparatus having a configuration in which a performance operation element that is not an effect-only operation element is used for both a sound generation instruction and an effect generation. Therefore, the sound generation instruction is issued by the operation of the performance operation element that is not the effect-only operation element, and in response to the performance operation element being operated in the predetermined performance mode, the effect applied to the singing sound generated by the sound generation instruction is
  • the present invention is applicable to various devices generated.
  • the performance operation element 15 may have a shape in which strings are arranged side by side like a guitar.
  • the instruction for sound generation or sound generation cancellation designating the pitch is not limited to the configuration in which the input is made with an operator such as a key.
  • the performance control 15 may be a keyboard, a string, or a plurality of buttons for pitch designation displayed on the touch panel.
  • the CPU 10 may acquire the instruction of the sound generation or the sound generation cancellation by extracting the timing of sound generation, the pitch, and the strength of the operation from the performance operation on the performance operation element.
  • the performance control 15 may be one in which operation receiving units for inputting a plurality of different pitches are spatially arranged side by side. Therefore, the apparatus to which the singing sound effect generating apparatus of the present invention is applied is not limited to the keyboard instrument.
  • Japanese lyrics are exemplified as the lyrics to be sung, but the present invention is not limited to this, and other languages may be used.
  • One letter and one syllable do not necessarily correspond.
  • two letters "ta” (ta) and "" "correspond to one syllable For example, when the English lyrics are “september", it becomes three syllables of "sep" "tem” "ber”.
  • "sep" is one syllable, three characters “s” "e” "p” correspond to one syllable.
  • the CPU 10 sequentially pronounces each syllable at the pitch of the operated key.
  • the storage medium storing the control program represented by the software for achieving the present invention may be read out to the present instrument to achieve the same effect, in which case, the storage medium is read from the storage medium.
  • the program code itself implements the novel functions of the present invention, and the non-transitory computer readable recording medium storing the program code constitutes the present invention.
  • the program code may be supplied via a transmission medium or the like, in which case the program code itself constitutes the present invention.
  • ROMs, floppy disks, hard disks, optical disks, magneto-optical disks, CD-ROMs, CD-Rs, magnetic tapes, non-volatile memory cards, etc. can be used as storage media in these cases.
  • non-transitory computer readable recording medium is a volatile memory (for example, a server or client internal to the computer system when the program is transmitted via a network such as the Internet or a communication line such as a telephone line) It also includes one that holds a program for a fixed time, such as a dynamic random access memory (DRAM).
  • DRAM dynamic random access memory

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Electrophonic Musical Instruments (AREA)

Abstract

演奏により発音する音に対して与える効果を演奏態様に基づき生成することができる歌唱音効果生成装置を提供する。ＣＰＵ１０は、ノートオンを検出すると、出力中の歌唱音があるかどうか、また、出力中の歌唱音があれば、検出したノートオンと出力中の歌唱音のノートオフのタイミングの関係から、レガート奏法に該当するかどうか、等を判定し、演奏態様を特定する。そして、ＣＰＵ１０は、特定した演奏態様に基づいて、歌唱音に与える効果を生成する。

Description

歌唱音効果生成装置及び方法、プログラム
　本発明は、演奏操作に基づき発音する歌唱音に対して、付与する効果を生成する歌唱音効果生成装置及び方法、プログラムに関する。
　音声合成技術を用い、歌唱用データに基づき歌唱音を発音する装置が知られている。また、発音制御パラメータを用いて、リアルタイム演奏時に、簡単に、表情豊かな音の演奏を行えるようにした装置も知られている（下記特許文献１）。この装置は、ノートオン・オフに合わせて演奏曲中の対応する歌詞を歌唱する。歌詞の各音節には音節情報及び音制御パラメータが対応付けられて記憶されている。この装置は、発音開始指示に応じて、音節情報に対応付けされた発音制御パラメータを読み出し、読み出した発音制御パラメータに従った発音態様で発音することで、効果（表情）を付与する。
特開２０１６－１７７２７６号公報
　しかしながら、上記従来の装置では、発音指示により順番に読み出される音節に対し、予め対応付けられた表情付けが付与されるのであり、歌唱音に付与する効果をユーザの意図で変えることはできない。そのため、奏法に拘わらず、歌唱音に対して決まった効果しか付与されず、歌唱音を発音させる際の演奏表現を向上させる上で改善の余地があった。
　本発明の目的は、演奏により発音する音に対して与える効果を演奏態様に基づき生成することができる歌唱音効果生成装置及び方法を提供することである。
　上記目的を達成するために本発明によれば、演奏操作子に対する演奏操作を検出する検出部と、前記検出部により検出された、発音指示を示す演奏操作に基づいて、音節の歌唱開始を指示する指示部と、前記検出部により検出された演奏操作に基づいて演奏態様を特定し、特定した演奏態様に基づいて前記指示部の指示に基づく歌唱音に与える効果を生成する生成部と、を有する歌唱音効果生成装置が提供される。
　なお、上記括弧内の符号は例示である。
　本発明によれば、演奏により発音する音に対して与える効果を演奏態様に基づき生成することができる。
歌唱音効果生成装置の模式図である。 電子楽器のブロック図である。 演奏が行われる場合の処理の流れの一例を示すフローチャートである。 単音処理のフローチャートである。 歌詞テキストデータの一例を示す図である。 音声素片データの種類の一例を示す図である。 重音処理のフローチャートである。
　以下、図面を参照して本発明の実施の形態を説明する。
　図１は、本発明の一実施の形態に係る歌唱音効果生成装置の模式図である。この歌唱音効果生成装置は、一例として鍵盤楽器である電子楽器１００として構成され、本体部３０及びネック部３１を有する。本体部３０は、第１面３０ａ、第２面３０ｂ、第３面３０ｃ、第４面３０ｄを有する。第１面３０ａは、複数の鍵から成る鍵盤部ＫＢが配設される鍵盤配設面である。第２面３０ｂは裏面である。第２面３０ｂにはフック３６、３７が設けられる。フック３６、３７間には不図示のストラップを架けることができ、演奏者は通常、ストラップを肩に掛けて鍵盤部ＫＢの操作等の演奏を行う。従って、肩掛けした使用時で、特に鍵盤部ＫＢの音階方向（鍵の配列方向）が左右方向となるとき、第１面３０ａ及び鍵盤部ＫＢが聴取者側を向き、第３面３０ｃ、第４面３０ｄはそれぞれ概ね下方、上方を向く。ネック部３１は本体部３０の側部から延設される。ネック部３１には、進み操作子３４、戻し操作子３５をはじめとする各種の操作子が配設される。本体部３０の第４面３０ｄには、液晶等で構成される表示ユニット３３が配設される。
　電子楽器１００は、演奏操作子への操作に応じて歌唱模擬を行う楽器である。ここで、歌唱模擬とは、歌唱合成により人間の声を模擬した音声を出力することである。鍵盤部ＫＢの各鍵は白鍵、黒鍵が音高順に並べられ、各鍵は、それぞれ異なる音高に対応付けられている。電子楽器１００を演奏する場合、ユーザは、鍵盤部ＫＢの所望の鍵を押下する。電子楽器１００はユーザにより操作された鍵を検出し、操作された鍵に応じた音高の歌唱音を発音する。なお、発音される歌唱音の音節の順番は予め定められている。
　図２は、電子楽器１００のブロック図である。電子楽器１００は、ＣＰＵ（Central Processing Unit）１０と、タイマ１１と、ＲＯＭ（Read Only Memory）１２と、ＲＡＭ（Random Access Memory）１３と、データ記憶部１４と、演奏操作子１５と、他操作子１６と、パラメータ値設定操作子１７と、表示ユニット３３と、音源１９と、効果回路２０と、サウンドシステム２１と、通信Ｉ／Ｆ（Interface）と、バス２３と、を備える。ＣＰＵ１０は、電子楽器１００全体の制御を行う中央処理装置である。タイマ１１は、時間を計測するモジュールである。ＲＯＭ１２は制御プログラムや各種のデータなどを格納する不揮発性のメモリである。ＲＡＭ１３はＣＰＵ１０のワーク領域及び各種のバッファなどとして使用される揮発性のメモリである。表示ユニット３３は、液晶ディスプレイパネル、有機ＥＬ（Electro-Luminescence）パネルなどの表示モジュールである。表示ユニット３３は、電子楽器１００の動作状態、各種設定画面、ユーザに対するメッセージなどを表示する。
　演奏操作子１５は、主として音高を指定する演奏操作を受け付けるモジュールである。本実施の形態では、鍵盤部ＫＢ、進み操作子３４、戻し操作子３５は演奏操作子１５に含まれる。一例として、演奏操作子１５が鍵盤である場合、演奏操作子１５は、各鍵に対応するセンサのオン／オフに基づくノートオン／ノートオフ、押鍵の強さ（速さ、ベロシティ）などの演奏情報を出力する。この演奏情報は、ＭＩＤＩ（musical instrument digital interface）メッセージ形式であってもよい。他操作子１６は、例えば、電子楽器１００に関する設定など、演奏以外の設定を行うための操作ボタンや操作つまみなどの操作モジュールである。パラメータ値設定操作子１７は、主として歌唱音の属性についてのパラメータを設定するために使用される、操作ボタンや操作つまみなどの操作モジュールである。このパラメータとしては、例えば、和声（Harmonics）、明るさ（Brightness）、共鳴（Resonance）、性別要素（Gender Factor）等がある。和声とは、声に含まれる倍音成分のバランスを設定するパラメータである。明るさとは、声の明暗を設定するパラメータであり、トーン変化を与える。共鳴とは、歌唱音声や楽器音の、音色や強弱を設定するパラメータである。性別要素とは、フォルマントを設定するパラメータであり、声の太さ、質感を女性的、或いは、男性的に変化させる。外部記憶装置３は、例えば、電子楽器１００に接続される外部機器であり、例えば、音声データを記憶する装置である。通信Ｉ／Ｆ２２は、外部機器と通信する通信モジュールである。バス２３は電子楽器１００における各部の間のデータ転送を行う。
　データ記憶部１４は、歌唱用データ１４ａを格納する。歌唱用データ１４ａには歌詞テキストデータ、音韻情報データベースなどが含まれる。歌詞テキストデータは、歌詞を記述するデータであり、歌唱部（音源１９、効果回路２０及びサウンドシステム２１）により歌唱されるためのデータである。歌詞テキストデータには、曲ごとの歌詞が音節単位で区切られて記述されている。すなわち、歌詞テキストデータは歌詞を音節に区切った文字情報を有し、この文字情報は音節に対応する表示用の情報でもある。ここで音節とは、１回の演奏操作に応じて出力する音のまとまりである。音韻情報データベースは、音声素片データ（音節情報）を格納するデータベースである。音声素片データは音声の波形を示すデータであり、例えば、音声素片のサンプル列のスペクトルデータを波形データとして含む。また、音声素片データには、音声素片の波形のピッチを示す素片ピッチデータが含まれる。歌詞テキストデータ、音声素片データは、それぞれ、データベースにより管理されてもよい。
　音源１９は、複数の発音チャンネルを有するモジュールである。音源１９には、ＣＰＵ１０の制御の基で、ユーザの演奏に応じて１つの発音チャンネルが割り当てられる。歌唱音を発音する場合、音源１９は、割り当てられた発音チャンネルにおいて、データ記憶部１４から演奏に対応する音声素片データを読み出して歌唱音データを生成する。効果回路２０は、音源１９が生成した歌唱音データに対して、パラメータ値設定操作子１７により指定された音響効果を適用する。サウンドシステム２１は、効果回路２０による処理後の歌唱音データを、デジタル／アナログ変換器によりアナログ信号に変換する。そして、サウンドシステム２１は、アナログ信号に変換された歌唱音を増幅してスピーカなどから出力する。
　図３は、電子楽器１００による演奏が行われる場合の処理の流れの一例を示すフローチャートである。ここでは、ユーザにより、演奏曲の選択と選択した曲の演奏とが行われる場合の処理について説明する。また、説明を簡単にするため、複数の鍵が同時に操作された場合であっても、単音のみを出力する場合について説明する。この場合、同時に操作された鍵の音高のうち、最も高い音高のみについて処理してもよいし、最も低い音高のみについて処理してもよい。なお、以下に説明する処理は、例えば、ＣＰＵ１０がＲＯＭ１２やＲＡＭ１３に記憶されたプログラムを実行し、電子楽器１００が備える各種構成を制御する制御部として機能することにより実現される。
　電源がオンにされると、ＣＰＵ１０は、演奏する曲を選択する操作がユーザから受け付けられるまで待つ（ステップＳ１０１）。なお、一定時間経過しても曲選択の操作がない場合は、ＣＰＵ１０は、デフォルトで設定されている曲が選択されたと判断してもよい。ＣＰＵ１０は、曲の選択を受け付けると、選択された曲の歌唱用データ１４ａの歌詞テキストデータを読み出す。そして、ＣＰＵ１０は、歌詞テキストデータに記述された先頭の音節にカーソル位置を設定する（ステップＳ１０２）。ここで、カーソルとは、次に発音する音節の位置を示す仮想的な指標である。次に、ＣＰＵ１０は、鍵盤部ＫＢの操作に基づくノートオンを検出したか否かを判定する（ステップＳ１０３）。ＣＰＵ１０は、ノートオンが検出されない場合、ノートオフを検出したか否かを判別する（ステップＳ１０９）。
　一方、ノートオンを検出した場合、すなわち新たな押鍵を検出した場合は、ＣＰＵ１０は、出力中の歌唱音があるか否かを判別する（ステップＳ１０４）。ここで、出力中の歌唱音とは、新たな押鍵がされる直前の押鍵に基づき発音されている歌唱音である。従って、出力中の歌唱音があることは、発音指示を示す演奏操作が継続していることを意味する。詳細は後述するが、ステップＳ１０４、Ｓ１０５、Ｓ１０６、Ｓ１０８では、ＣＰＵ１０は、演奏態様を特定し、特定した演奏態様に基づいて、歌唱音に与える効果を生成する。本実施の形態で特定される演奏態様として、新たな発音を指示する演奏操作（単音）のほか、一時的な重複押鍵（レガート奏法等）を想定している。
　ステップＳ１０４での判別の結果、出力中の歌唱音がない場合は、ＣＰＵ１０は、発音指示を示す演奏操作が継続していない場合に新たな発音指示を示す演奏操作がなされるという演奏態様を特定する。そこでＣＰＵ１０は、ステップＳ１０５に進み、例外的に押下状態の鍵（発音指示を示すものではないが押下状態が継続している鍵）が存在すればその鍵に対応する音のノートオフ処理を実行し、その後、単音処理を実行する（ステップＳ１０６）。この単音処理については図４で後述する。その後ＣＰＵ１０は、カーソル位置（読出位置）を更新し（ステップＳ１０７）、処理をステップＳ１０９に進める。ステップＳ１０４での判別の結果、出力中の歌唱音がある場合は、継続している演奏操作に対応する音高とは別の音高の発音指示を示す演奏操作がなされた（所定の演奏態様が特定された）ことを意味する。そこでＣＰＵ１０は、後述する図７に示す重音処理を実行して（ステップＳ１０８）、処理をステップＳ１０９に進める。
　図４は、図３のステップＳ１０６で実行される単音処理のフローチャートである。まずＣＰＵ１０は、ステップＳ１０３で検出したノートオンのベロシティ値を取得する（ステップＳ２０１）。そしてＣＰＵ１０は、取得したベロシティ値が第１の所定値（例えば、１００）以上であるか否かを判別する（ステップＳ２０２）。取得したベロシティ値が第１の所定値未満である場合は、ＣＰＵ１０は、取得したベロシティ値が第１の所定値より小さい第２の所定値（例えば、６０）以下であるか否かを判別する（ステップＳ２０４）。そしてＣＰＵ１０は、取得したベロシティ値が第２の所定値以下でない場合は、処理をステップＳ２０７に進める。すなわち、ベロシティ値が第１の所定値未満で第２の所定値より大きい場合は、ＣＰＵ１０は、ステップＳ２０７で、効果付与をしない通常の出力音生成処理を実行する。具体的には、ＣＰＵ１０は、読み出し位置の音節情報を読み出し、上記検出したノートオンの音高で歌唱音を生成し、出力する。すなわち、ＣＰＵ１０は、発音指示を示す演奏操作に基づいて、音節の歌唱開始を指示する。その後、図４に示す処理は終了する。
　ここで、ステップＳ２０７、Ｓ２０３、Ｓ２０６に共通する出力音生成処理について説明する。ＣＰＵ１０はまず、カーソル位置に対応する音節の音声素片データ（波形データ）を読み出し、ノートオンに対応する音高で、読み出した音声素片データが示す波形の音を出力する。具体的には、ＣＰＵ１０は、音声素片データに含まれる素片ピッチデータが示す音高と、操作された鍵に対応する音高との差分を求め、この差分に相当する周波数だけ波形データが示すスペクトル分布を周波数軸方向に移動させる。これにより、電子楽器１００は、操作された鍵に対応する音高で歌唱音を出力することができる。
　ここで、カーソル位置の決定と歌唱音の発音について、具体例を用いて説明する。まず、カーソル位置の更新について説明する。図５は、歌詞テキストデータの一例を示す図である。図の例では、歌詞テキストデータには、５つの音節ｃ１～ｃ５の歌詞が記述されている。各字「は」、「る」、「よ」、「こ」、「い」は、日本語のひらがなの１字を示し、各字が１音節に対応する。ＣＰＵ１０は、音節単位でカーソル位置を更新する。例えば、カーソルが音節ｃ３に位置している場合、「よ」に対応する音声素片データをデータ記憶部１４から読み出し、「よ」の歌唱音を発音する。ＣＰＵ１０は、「よ」の発音が終了すると、次の音節ｃ４にカーソル位置を移動させる。このように、ＣＰＵ１０は、ノートオンに応じて次の音節にカーソル位置を順次移動させる。
　次に、歌唱音の発音について説明する。図６は、音声素片データの種類の一例を示す図である。ＣＰＵ１０は、カーソル位置に対応する音節を発音させるために、音韻情報データベースから、音節に対応する音声素片データを抽出する。音声素片データには、音素連鎖データと、定常部分データの２種類が存在する。音素連鎖データとは、「無音（＃）から子音」、「子音から母音」、「母音から（次の音節の）子音又は母音」など、発音が変化する際の音声素片を示すデータである。定常部分データは、母音の発音が継続する際の音声素片を示すデータである。例えば、カーソル位置が音節ｃ１の「は（ｈａ）」に設定されている場合、音源１９は、「無音→子音ｈ」に対応する音声連鎖データ「＃－ｈ」と、「子音ｈ→母音ａ」に対応する音声連鎖データ「ｈ－ａ」と、「母音ａ」に対応する定常部分データ「ａ」と、を選択する。そして、ＣＰＵ１０は、演奏が開始されて押鍵を検出すると、音声連鎖データ「＃－ｈ」、音声連鎖データ「ｈ－ａ」、定常部分データ「ａ」に基づく歌唱音を、操作された鍵に応じた音高、操作に応じたベロシティで出力する。このようにして、カーソル位置の決定と歌唱音の発音が実行される。
　ステップＳ２０２での判別の結果、取得したベロシティ値が第１の所定値以上である場合は、ＣＰＵ１０は、第１種類の効果（例えば、しゃくり）を付与する出力音生成処理を実行する。すなわち、ステップＳ２０３で、ＣＰＵ１０は、読み出し位置の音節情報を読み出し、上記検出したノートオンの音高の発音を「しゃくり」で開始するように、歌唱音を生成し、出力する。これにより、出力中の歌唱音が無い状態での新たな押鍵により発音する歌唱音に対して、しゃくりの効果を付与することができる。その後、処理はステップＳ２０４に進む。
　ステップＳ２０４での判別の結果、取得したベロシティ値が第２の所定値以下である場合は、ＣＰＵ１０は、第２の種類（例えば、こぶし）を付与する出力音生成処理を実行する。すなわち、まずＣＰＵ１０は、ステップＳ２０５で、読み出し位置の音節情報を読み出し、その音節情報が示す波形データから母音開始位置を検出する（ステップＳ２０５）。さらにＣＰＵ１０は、上記検出したノートオンの音高で歌唱音の生成を開始し、歌唱音生成の過程で母音開始位置にて「こぶし」を追加するようにして、歌唱音を出力する（ステップＳ２０６）。これにより、出力中の歌唱音が無い状態での新たな押鍵により発音する歌唱音に対して、こぶしの効果を付与することができる。その後、図４に示す処理は終了する。
　図７は、図３のステップＳ１０８で実行される重音処理のフローチャートである。まず、ＣＰＵ１０は、レガート判定期間（所定時間）が経過するまで待機する（ステップＳ３０１）。レガート判定期間の計時は、図３のステップＳ１０３で新たなノートオンが検出されたとき開始される。ここで、レガート判定期間は予めＲＯＭ１２等に格納されているとする。なお、レガート判定期間は絶対時間に限定されず、テンポに応じた長さ（例えば、６４分音符長）としてもよい。レガート判定期間中に、ＣＰＵ１０は、ノートオン・ノートオフを検出し、検出結果を記憶しておく。
　レガート判定期間が経過すると、ＣＰＵ１０は、ステップＳ１０３で検出したノートオンの音高を取得する（ステップＳ３０２）。そしてＣＰＵ１０は、レガート判定期間中に、出力中の歌唱音に対するノートオフがあったか否かを判別する（ステップＳ３０３）。レガート判定期間中に、出力中の歌唱音に対するノートオフがあった場合は、いわゆるレガート奏法がなされたと判断できる。そこでＣＰＵ１０は、出力中の歌唱音を停止し（ステップＳ３０４）、レガート奏法に対応する効果付与処理へ移行する（ステップＳ３０５、Ｓ３０６、Ｓ３０８）。まず、ＣＰＵ１０は、出力中の歌唱音の音高よりも上記検出したノートオンの音高の方が高いか否かを判別する（ステップＳ３０５）。そして、出力中の歌唱音の音高よりも上記検出したノートオンの音高の方が高い場合は、高音方向へのレガート奏法がなされたと判断できる。そこでＣＰＵ１０は、出力中の音高から上記検出したノートオンの音高までを「しゃくり」でつないで安定するように、歌唱音を生成し、出力する。これにより、しゃくりの態様で高音側へ音高が変化する。その後、処理はステップＳ３０７に進む。
　一方、出力中の歌唱音の音高よりも上記検出したノートオンの音高の方が高くない場合は、低音方向へのレガート奏法がなされたと判断できる。そこでＣＰＵ１０は、出力中の音高から上記検出したノートオンの音高までを「フォール」でつないで安定するように、歌唱音を生成し、出力する。これにより、フォールの態様で低音側へ音高が変化する。その後、処理はステップＳ３０７に進む。ＣＰＵ１０は、ステップＳ３０７で、カーソル位置（読出位置）を更新し、図７に示す処理を終了させる。なお、レガート判定期間中に、出力中の歌唱音に対するノートオフと、上記検出したノートオンに対するノートオフとが共にあった場合は、ＣＰＵ１０は、ステップＳ３０６、Ｓ３０８では効果の生成をしない。従って、しゃくりやフォールを付与するのは、上記検出したノートオンが継続していることが前提となる。
　ステップＳ３０３での判別の結果、レガート判定期間中に、出力中の歌唱音に対するノートオフがなかった場合は、レガート奏法に該当しないと判断できる。例えば、出力中の歌唱音に対するノートオンが継続したまま、それと異なる音高のノートオンの操作があり、重複して押鍵状態となっていると判断できる。この場合、ＣＰＵ１０は、非レガート重複押鍵に対応する効果付与処理へ移行する（ステップＳ３０９～Ｓ３１６）。この効果付与処理では、出力中の歌唱音に対して、一例として、後から押下された鍵の音高に応じた速さのビブラート効果を付与する。
　まず、ＣＰＵ１０は、上記検出したノートオンに対するノートオフを検出したか否かを判別する（ステップＳ３０９）。そして、上記検出したノートオンに対するノートオフを検出しない場合は、出力中の歌唱音にビブラートを付与中であるか否かを判別する（ステップＳ３１０）。そして出力中の歌唱音にビブラートを付与中でない場合は、ＣＰＵ１０は、出力中の歌唱音の音高よりも上記検出したノートオンの音高の方が高いか否かを判別する（ステップＳ３１１）。そしてＣＰＵ１０は、出力中の歌唱音の音高よりも上記検出したノートオンの音高の方が高くない場合は、出力中の歌唱音に対して、第１の速度（遅め）のビブラートの付与を開始し（ステップＳ３１２）、処理をステップＳ３１４に進める。一方、出力中の歌唱音の音高よりも上記検出したノートオンの音高の方が高い場合は、ＣＰＵ１０は、出力中の歌唱音に対して、第１の速度より速い第２の速度（速め）のビブラートの付与を開始し（ステップＳ３１３）、処理をステップＳ３１４に進める。
　ステップＳ３１４では、ＣＰＵ１０は、出力中の歌唱音に対するノートオフを検出したか否かを判別し、出力中の歌唱音に対するノートオフを検出していない場合は処理をステップＳ３０９に戻す。ステップＳ３０９での判別の結果、上記検出したノートオンに対するノートオフを検出した場合は、出力中の歌唱音に対するビブラートの付与を停止し（ステップＳ３１６）、処理をステップＳ３０７に進める。従って、出力中の歌唱音に対して、後から押下した鍵の押下状態が継続している間、ビブラートの付与が継続する。ステップＳ３１４での判別の結果、出力中の歌唱音に対するノートオフを検出した場合は、出力中の歌唱音を停止し（ステップＳ３１５）、処理をステップＳ３０７に進める。
　図３のステップＳ１０９でノートオフを検出した場合は、ＣＰＵ１０は、音を出力中であればその音の出力を停止して（ステップＳ１１０）、演奏が終了したか否かを判別する（ステップＳ１１１）。一方、ノートオフを検出しない場合は、ＣＰＵ１０は処理をステップＳ１１１に進める。なお、レガート奏法における最初のノートオンに対するノートオフ処理には、ステップＳ１１１でなく図７のステップＳ３１５が該当する。ＣＰＵ１０は、ステップＳ１１１で、演奏を終了していない場合は処理をステップＳ１０３に戻す。一方、演奏を終了した場合は、ＣＰＵ１０は、音を出力中であればその音の出力を停止して（ステップＳ１１２）、図３に示す処理を終了する。なお、ＣＰＵ１０は、演奏を終了したか否かを、例えば、選択曲の最後尾の音節が発音されたか否か、あるいは他操作子１６により演奏を終了する操作が行われた否か、などに基づき判別できる。
　本実施の形態によれば、ＣＰＵ１０は、発音指示を示す演奏操作に基づいて開始した音節の歌唱音（出力中の歌唱音）に与える効果を、発音指示を示す演奏操作またはその後の演奏操作から特定される演奏態様に基づいて生成する。これにより、演奏により発音する音に対して与える効果を演奏態様に基づき生成することができ、歌唱音を発音させる際の演奏表現を向上させることができる。
　すなわち、ＣＰＵ１０は、発音指示を示す演奏操作が継続していない場合に新たな発音指示を示す演奏操作があった場合は、その新たな発音指示に対応する歌唱音に与える効果（ビブラートまたはしゃくり）を生成する（単音処理）。特にＣＰＵ１０は、新たな発音指示を示す演奏操作の速さ（ベロシティ）に応じた効果（しゃくり／こぶし）を生成する。これにより、発音指示を示す演奏操作の態様に応じた効果を、発音指示に基づく音に付与することができる。
　また、重音処理（図７）においては、発音指示とは別の演奏操作、すなわち、継続している演奏操作に対応する音高とは別の音高の発音指示を示す演奏操作により、発音中の音に効果を付与することができる。特に、レガート判定期間内に、別の音高の発音指示を示す演奏操作が解除されることなく発音指示を示す演奏操作が解除された場合は、レガート奏法に該当する。この場合、開始した歌唱から別の音高の発音指示を示す演奏操作に基づく歌唱への移行態様に関する効果（フォールまたはしゃくり）が生成される（Ｓ３０６、Ｓ３０８）ので、レガート演奏に適する効果を付与することができる。また、レガート判定期間が経過した時点で、発音指示を示す演奏操作及び別の音高の発音指示を示す演奏操作のいずれも解除されていない場合（重複状態）は、上記別の音高に応じた効果（音高に応じた速さのビブラート）が生成される（Ｓ３１２、Ｓ３１３）。これにより、ユーザは、発音指示のための押鍵中に別の鍵を押下することでビブラートをかけることができる。また、発音指示のための押鍵中に別の鍵の押下を解除すればビブラートが止まるので（Ｓ３１６）、ユーザは所望の期間だけビブラートをかけることができる。
　なお、図３のステップＳ１０６での単音処理（図４）、ステップＳ１０８での重音処理（図７）で歌唱音に付与するために生成される効果の態様は例示であり、他の効果を生成してもよい。例えば、単音処理において、効果はしゃくりやこぶしに限らない。なお、単音処理において、検出したノートオンのベロシティ値を２段階に分け、生成し得る効果の態様を２つとしたが、３段階以上に分けて３以上の態様を生成可能にしてもよい。
　また、重音処理の非レガート重複押鍵に対応する効果付与処理（ステップＳ３０９～Ｓ３１６）において、検出したノートオンの音高を出力中の音高と比べて高いか低いかによってビブラートの速さを決定した。しかしこれに限らず、検出したノートオンの音高を２以上の段階に分け、その音高に応じて効果の種類や程度を変えてもよい。また、重音処理においても、検出したノートオンのベロシティを、生成する効果に反映させてもよい。また、出力中の音高とは別の音高の鍵が２つ以上押下された場合に、それら２つ以上の押鍵の組み合わせに応じて効果を生成してもよい。なお、一度に付与する効果の種類は複数であってもよい。
　なお、本発明は、効果専用操作子でない演奏操作子が発音指示と効果生成の双方に用いられる構成の装置に適用可能である。従って、効果専用操作子でない演奏操作子の操作により発音指示がなされ、所定の演奏態様で演奏操作子が操作されたことに応じて、発音指示により発音される歌唱音に対して付与する効果が生成される各種の装置に本発明を適用可能である。
　なお、本実施の形態では、演奏操作子１５が鍵盤である場合について説明したが、演奏操作子１５は、ギターのように弦が並べて配置された形状であってもよい。また、音高を指定した発音または発音解除の指示は、鍵のような操作子で入力される構成に限定されない。また、演奏操作子１５は、鍵盤や弦、或いは、音高指定用の複数のボタンをタッチパネルに表示したものであってもよい。演奏操作子に対する演奏操作から、ＣＰＵ１０が、発音のタイミング、音高、操作の強弱を抽出することで、発音または発音解除の指示を取得してもよい。また、演奏操作子１５は、複数の異なる音高を入力するための操作受付部が空間的に並べて配置されたものであってもよい。従って、本発明の歌唱音効果生成装置が適用される装置は鍵盤楽器に限らない。
　また、本実施の形態では、歌唱される歌詞として日本語の歌詞を例示したがこれには限らず、他言語であってもよい。１文字と１音節とは必ずしも対応しない。例えば、濁点を有する「だ」（ｄａ）は、「た」（ｔａ）と「"」の２文字が１音節に対応する。また、例えば英語の歌詞が「september」の場合、「sep」「tem」「ber」の３音節となる。「sep」は１音節であるが、「s」「e」「p」の３文字が１音節に対応する。ＣＰＵ１０は、演奏操作子１５をユーザが操作する度に、各音節を、操作された鍵の音高で順次発音する。
　以上、本発明をその好適な実施形態に基づいて詳述してきたが、本発明はこれら特定の実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の様々な形態も本発明に含まれる。上述の実施形態の一部を適宜組み合わせてもよい。
　なお、本発明を達成するためのソフトウェアによって表される制御プログラムを記憶した記憶媒体を、本楽器に読み出すことによって同様の効果を奏するようにしてもよく、その場合、記憶媒体から読み出されたプログラムコード自体が本発明の新規な機能を実現することになり、そのプログラムコードを記憶した、非一過性のコンピュータ読み取り可能な記録媒体は本発明を構成することになる。また、プログラムコードを伝送媒体等を介して供給してもよく、その場合は、プログラムコード自体が本発明を構成することになる。なお、これらの場合の記憶媒体としては、ＲＯＭのほか、フロッピディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ－ＲＯＭ、ＣＤ－Ｒ、磁気テープ、不揮発性のメモリカード等を用いることができる。「非一過性のコンピュータ読み取り可能な記録媒体」は、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（例えばＤＲＡＭ（Ｄｙｎａｍｉｃ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ））のように、一定時間プログラムを保持しているものも含む。
１０　ＣＰＵ（検出部、指示部、生成部、取得部）
１４ａ　歌唱用データ
１５　演奏操作子
１９　音源
２０　効果回路
２１　サウンドシステム
 
 
 
 
 
 
 
 

Claims (12)

  1. 　演奏操作子に対する演奏操作を検出する検出部と、
    　前記検出部により検出された、発音指示を示す演奏操作に基づいて、音節の歌唱開始を指示する指示部と、
    　前記検出部により検出された演奏操作に基づいて演奏態様を特定し、特定した演奏態様に基づいて前記指示部の指示に基づく歌唱音に与える効果を生成する生成部と、を有する歌唱音効果生成装置。
  2. 　前記生成部は、発音指示を示す演奏操作が継続している場合における所定の演奏態様に基づいて前記効果を生成する請求項１に記載の歌唱音効果生成装置。
  3. 　前記所定の演奏態様は、前記継続している演奏操作に対応する音高とは別の音高の発音指示を示す演奏操作である請求項２に記載の歌唱音効果生成装置。
  4. 　前記生成部は、前記音節の歌唱開始から所定時間が経過する前に、前記別の音高の発音指示を示す演奏操作が解除されることなく前記発音指示を示す演奏操作が解除された場合は、前記開始した歌唱から前記別の音高の発音指示を示す演奏操作に基づく歌唱への移行態様に関する前記効果を生成する請求項３に記載の歌唱音効果生成装置。
  5. 　前記生成部は、前記音節の歌唱開始から所定時間が経過した時点で前記発音指示を示す演奏操作及び前記別の音高の発音指示を示す演奏操作のいずれも解除されていない場合は、前記別の音高に応じて前記効果を生成する請求項３に記載の歌唱音効果生成装置。
  6. 　前記生成部は、前記音節の歌唱開始から前記所定時間が経過した後、前記発音指示を示す演奏操作が解除されることなく前記別の音高の発音指示を示す演奏操作が解除されると、前記別の音高に応じた前記効果の生成を停止する請求項５に記載の歌唱音効果生成装置。
  7. 　前記生成部は、発音指示を示す演奏操作が継続していない場合に新たな発音指示を示す演奏操作がなされるという演奏態様を特定した場合、前記新たな発音指示を示す演奏操作に基づいて、前記新たな発音指示に対応する歌唱音に与える効果を生成する請求項１～６のいずれか１項に記載の歌唱音効果生成装置。
  8. 　前記生成部は、前記新たな発音指示を示す演奏操作の速さに応じて、前記新たな発音指示に対応する歌唱音に与える効果を生成する請求項７に記載の歌唱音効果生成装置。
  9. 　複数の音節情報の中から、予め定められた順番で、前記音節に対応付けられた音節情報を取得する取得部と、
    　前記取得部により取得された音節情報と前記指示部の指示とに基づいて歌唱合成して発音する歌唱部と、を有する請求項１～８のいずれか１項に記載の歌唱音効果生成装置。
  10. 　前記指示部は、前記検出された、音高を指定した発音指示を示す演奏操作に基づいて、前記指定された音高で前記音節の歌唱開始を指示する請求項９に記載の歌唱音効果生成装置。
  11. 　演奏操作子に対する演奏操作を検出する検出ステップと、
    　前記検出ステップにより検出された、発音指示を示す演奏操作に基づいて、音節の歌唱開始を指示する指示ステップと、
    　前記検出ステップにより検出された演奏操作に基づいて演奏態様を特定し、特定した演奏態様に基づいて前記指示ステップによる指示に基づく歌唱音に与える効果を生成する生成ステップと、を有する歌唱音効果生成方法。
  12. 　演奏操作子に対する演奏操作を検出する検出ステップと、
    　前記検出ステップにより検出された、発音指示を示す演奏操作に基づいて、音節の歌唱開始を指示する指示ステップと、
    　前記検出ステップにより検出された演奏操作に基づいて演奏態様を特定し、特定した演奏態様に基づいて前記指示ステップによる指示に基づく歌唱音に与える効果を生成する生成ステップと、をコンピュータに実行させるプログラム。
PCT/JP2017/023779 2017-06-28 2017-06-28 歌唱音効果生成装置及び方法、プログラム Ceased WO2019003348A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023779 WO2019003348A1 (ja) 2017-06-28 2017-06-28 歌唱音効果生成装置及び方法、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2017/023779 WO2019003348A1 (ja) 2017-06-28 2017-06-28 歌唱音効果生成装置及び方法、プログラム

Publications (1)

Publication Number Publication Date
WO2019003348A1 true WO2019003348A1 (ja) 2019-01-03

Family

ID=64740482

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2017/023779 Ceased WO2019003348A1 (ja) 2017-06-28 2017-06-28 歌唱音効果生成装置及び方法、プログラム

Country Status (1)

Country Link
WO (1) WO2019003348A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6426896A (en) * 1988-05-13 1989-01-30 Yamaha Corp Electronic musical instrument
JPH02163799A (ja) * 1988-12-19 1990-06-25 Yamaha Corp 電子楽器
JPH05341779A (ja) * 1992-06-05 1993-12-24 Yamaha Corp 電子楽器
JP2016177276A (ja) * 2015-03-20 2016-10-06 ヤマハ株式会社 発音装置、発音方法および発音プログラム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS6426896A (en) * 1988-05-13 1989-01-30 Yamaha Corp Electronic musical instrument
JPH02163799A (ja) * 1988-12-19 1990-06-25 Yamaha Corp 電子楽器
JPH05341779A (ja) * 1992-06-05 1993-12-24 Yamaha Corp 電子楽器
JP2016177276A (ja) * 2015-03-20 2016-10-06 ヤマハ株式会社 発音装置、発音方法および発音プログラム

Similar Documents

Publication Publication Date Title
JP6728754B2 (ja) 発音装置、発音方法および発音プログラム
US12106745B2 (en) Electronic musical instrument and control method for electronic musical instrument
CN107146598B (zh) 一种多音色混合的智能演奏系统和方法
JP7619395B2 (ja) 電子楽器、方法及びプログラム
US12499858B2 (en) Electronic musical instrument, method, and storage medium
CN113160780A (zh) 电子乐器、方法及存储介质
JP2020144346A (ja) 情報処理装置、情報処理方法、演奏データ表示システム、およびプログラム
JP2013210501A (ja) 素片登録装置，音声合成装置，及びプログラム
JP2022145465A (ja) 情報処理装置、電子楽器、情報処理システム、情報処理方法、及びプログラム
JP6809608B2 (ja) 歌唱音生成装置及び方法、プログラム
JP4259532B2 (ja) 演奏制御装置、およびプログラム
WO2019003348A1 (ja) 歌唱音効果生成装置及び方法、プログラム
WO2016152708A1 (ja) 音制御装置、音制御方法、および音制御プログラム
JP6582517B2 (ja) 制御装置およびプログラム
JPH1185174A (ja) 利用者が伴奏音楽を演奏できるカラオケ装置
JP6787491B2 (ja) 音発生装置及び方法
JP6732216B2 (ja) 歌詞表示装置及び歌詞表示装置における歌詞表示方法、電子楽器
WO2023120121A1 (ja) 子音長変更装置、電子楽器、楽器システム、方法及びプログラム
JP6578725B2 (ja) 制御用端末装置、合成歌唱生成装置
JP2004177984A (ja) カラオケ装置
WO2018198380A1 (ja) 歌詞表示装置及び方法
WO2019026233A1 (ja) 効果制御装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17915920

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17915920

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP