[go: up one dir, main page]

WO2016051534A1 - 音響システム、通信機器及びプログラム - Google Patents

音響システム、通信機器及びプログラム Download PDF

Info

Publication number
WO2016051534A1
WO2016051534A1 PCT/JP2014/076181 JP2014076181W WO2016051534A1 WO 2016051534 A1 WO2016051534 A1 WO 2016051534A1 JP 2014076181 W JP2014076181 W JP 2014076181W WO 2016051534 A1 WO2016051534 A1 WO 2016051534A1
Authority
WO
WIPO (PCT)
Prior art keywords
output
data
acoustic
unit
control unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/076181
Other languages
English (en)
French (fr)
Inventor
迅 斉藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Six Inc
Original Assignee
Six Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Six Inc filed Critical Six Inc
Priority to EP14903120.5A priority Critical patent/EP3203468B1/en
Priority to PCT/JP2014/076181 priority patent/WO2016051534A1/ja
Priority to US15/515,752 priority patent/US10181312B2/en
Publication of WO2016051534A1 publication Critical patent/WO2016051534A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/36Accompaniment arrangements
    • G10H1/361Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems
    • G10H1/365Recording/reproducing of accompaniment for use with an external source, e.g. karaoke systems the accompaniment information being stored on a host computer and transmitted to a reproducing terminal by means of a network, e.g. public telephone lines
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/165Management of the audio stream, e.g. setting of volume, audio stream path
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H1/00Details of electrophonic musical instruments
    • G10H1/0008Associated control or indicating means
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10KSOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00Acoustics not otherwise provided for
    • G10K15/04Sound-producing devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04MTELEPHONIC COMMUNICATION
    • H04M1/00Substation equipment, e.g. for use by subscribers
    • H04M1/72Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72442User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality for playing music files
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/233Processing of audio elementary streams
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2220/00Input/output interfacing specifically adapted for electrophonic musical tools or instruments
    • G10H2220/005Non-interactive screen display of musical or status data
    • G10H2220/011Lyrics displays, e.g. for karaoke applications
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/171Transmission of musical instrument data, control or status information; Transmission, remote access or control of music data for electrophonic musical instruments
    • G10H2240/201Physical layer or hardware aspects of transmission to or from an electrophonic musical instrument, e.g. voltage levels, bit streams, code words or symbols over a physical link connecting network nodes or instruments
    • G10H2240/211Wireless transmission, e.g. of music parameters or control data by radio, infrared or ultrasound
    • GPHYSICS
    • G10MUSICAL INSTRUMENTS; ACOUSTICS
    • G10HELECTROPHONIC MUSICAL INSTRUMENTS; INSTRUMENTS IN WHICH THE TONES ARE GENERATED BY ELECTROMECHANICAL MEANS OR ELECTRONIC GENERATORS, OR IN WHICH THE TONES ARE SYNTHESISED FROM A DATA STORE
    • G10H2240/00Data organisation or data communication aspects, specifically adapted for electrophonic musical tools or instruments
    • G10H2240/325Synchronizing two or more audio tracks or files according to musical features or musical timings

Definitions

  • the present invention relates to an acoustic system, a communication device, and a program.
  • portable music playback devices are known.
  • portable communication devices typified by smartphones generally have a function as a music playback device.
  • the communication device reproduces music data stored in the storage device and outputs music corresponding to the music data from a built-in speaker.
  • the acoustic system includes an output unit, a communication unit, a first output control unit, and a second output control unit.
  • the output unit is configured to be able to output sound and images.
  • the communication unit is configured to be able to communicate with an external device.
  • the first output control unit is configured to receive a reproduction signal via a communication unit from a communication device that transmits an acoustic data reproduction signal, and to output sound based on the reproduction signal to the output unit.
  • the first output control unit can operate so that a series of sounds represented by the acoustic data is reproduced through the output unit.
  • the first output control unit may be configured to output sound based on the reproduction signal to the output unit in response to reception of the reproduction signal (for example, in a chain).
  • the second output control unit is configured to cause the output unit to output, as an image, words corresponding to the sound output from the output unit among the series of sounds represented by the acoustic data.
  • the second output control unit may be configured to acquire or generate a word corresponding to the sound output from the output unit out of a series of sounds represented by the acoustic data, and output the generated word as an image to the output unit.
  • the acoustic system can output words corresponding to the sound as an image corresponding to the output of a series of sounds represented by the acoustic data, so that the user for listening to the sound enjoyment can increase.
  • Examples of acoustic data include music data.
  • the second output control unit may be configured to cause the output unit to output words of lyrics corresponding to a portion output by the output unit in the music represented by the music data.
  • the audio system can output music according to a reproduction signal generated by reproduction processing on music data in a communication device, while displaying lyrics corresponding to the music. it can.
  • the user can enjoy the music as sound using the acoustic system, and can enjoy watching the lyrics.
  • the acoustic system can increase user enjoyment.
  • the communication device include a communication device having a music playback function such as a smartphone and a tablet, and a music playback device having a communication function.
  • Examples of acoustic data include moving image data with audio.
  • the second output control unit may be configured to cause the output unit to output subtitles corresponding to a portion (moving image audio) output by the output unit in the moving image represented by the moving image data. Therefore, according to one aspect of the present invention, the sound system can increase the enjoyment of the user for viewing a moving image, for example.
  • the communication device may be configured to transmit a reproduction position signal indicating a reproduction position in the sound data of the sound output based on the reproduction signal.
  • the second output control unit receives the reproduction position signal from the communication device via the communication unit, and based on the reproduction position signal, the output unit outputs a word corresponding to the sound output from the output unit as an image. It can be made to be made to output.
  • the sound system may include a counter that counts the playback time.
  • the second output control unit may be configured to correct the reproduction time counted by the counter to a time corresponding to the reproduction position represented by the received reproduction position signal. Further, the second output control unit may be configured to output words corresponding to the sound output from the output unit as an image to the output unit based on the reproduction time counted by the counter.
  • the acoustic system can display words corresponding to the output sound at an appropriate timing. Therefore, according to one aspect of the present invention, the acoustic system can suppress an inappropriate shift in the display timing of words with respect to sound.
  • the acoustic system may include an acquisition control unit that acquires image output data corresponding to the acoustic data.
  • the image output data can be configured to include a plurality of words corresponding to a series of sounds represented by the acoustic data.
  • the acquisition control unit may be configured to acquire image output data corresponding to acoustic data from at least one of the communication device and a server device different from the communication device via the communication unit.
  • the acquisition control unit may be configured to acquire image output data from the server device by wide area communication via the communication unit.
  • the acquisition control unit may be configured to acquire image output data from a communication device by narrow-area communication via the communication unit.
  • the first output control unit may be configured to receive a reproduction signal from a peripheral communication device by narrow-area communication via the communication unit.
  • the acquisition control unit may be configured to transmit the image output data acquired from the server device to the communication device via the communication unit.
  • the second output control unit is configured to cause the output unit to output, as an image, a word corresponding to the sound output from the output unit among the plurality of words based on the image output data acquired by the acquisition control unit. obtain.
  • the second output control unit may be configured to analyze the sound output by the output unit and output the words represented by the sound as an image to the output unit according to the analysis result. In this way, the second output control unit may be configured to generate words corresponding to the sound output by the output unit. In this case, the image output data may not be used.
  • the acquisition control unit may be configured to receive identification data capable of identifying the image output data corresponding to the acoustic data from the communication device via the communication unit.
  • the acquisition control unit may be configured to acquire image output data corresponding to the acoustic data based on the received identification data.
  • the acquisition control unit may be configured to identify image output data corresponding to acoustic data by analyzing at least one of a reproduction signal from the communication device and an output sound from the output unit. .
  • the image output data may be configured to include information defining the correspondence between the sound reproduction position and the words in the acoustic data for each of the plurality of words.
  • the second output control unit is configured to cause the output unit to output, as an image, a word corresponding to the reproduction position of the sound output from the output unit, based on the information defining the correspondence relationship. Can be.
  • Examples of image output data include lyrics data.
  • the second output control unit is a portion that the output unit outputs from among the music represented by the music data based on the lyrics data corresponding to the music data
  • the words of the lyrics corresponding to may be output to the output unit as an image.
  • the communication device is configured to reproduce the sound data on the condition that an instruction to reproduce the sound data is input, and to output a series of sounds represented by the sound data to the sound system.
  • a transmission control unit for transmitting a reproduction signal to the acoustic system is provided.
  • the communication device may be configured to include a storage unit for storing acoustic data.
  • the communication device further includes a transmission control unit that transmits, to the acoustic system, a reproduction position signal that represents a reproduction position in the acoustic data of the sound that is output based on the reproduction signal, among the series of sounds that the acoustic data represents. It may be configured.
  • the communication device may include a display unit that can output an image. Receives image output data corresponding to the sound data from the sound system, and outputs words corresponding to the sound output by the output unit of the sound system as an image to the display unit of the communication device based on the received image output data.
  • the communication device may include a display control unit configured to be configured. In this case, the sound system can display words corresponding to the sound in accordance with the sound output, and further, the communication device can display words corresponding to the sound.
  • the communication device acquires image output data corresponding to the sound data, transmits the image output data to the sound system, and corresponds to the sound output by the output unit of the sound system based on the image output data. You may provide the display control unit which outputs a word to a display unit as an image.
  • the communication device transmits the reproduction signal and the reproduction position signal of the acoustic data to the acoustic system, and one of the communication device and the acoustic system corresponds to the acoustic data from the server device.
  • the image output data is acquired, and the other of the communication device and the sound system can acquire the image output data from one of the communication device and the sound system.
  • the communication device and the sound system can synchronously output words corresponding to the output sound as images in accordance with the sound output by the sound system (or according to the sound reproduction position).
  • the communication device may be configured to include a computer (or processor) and a memory that stores a program for causing the computer (or processor) to function as at least one of the units related to the communication device described above.
  • the program may be a program for causing a computer of the communication device to execute a first transmission control procedure and a second transmission control procedure, for example.
  • the first transmission control procedure on the condition that an instruction to reproduce acoustic data is input, the acoustic data is reproduced, and a reproduction signal for outputting a series of sounds represented by the acoustic data to the acoustic system is transmitted to the acoustic system.
  • the second transmission control procedure may be a procedure of transmitting a reproduction position signal representing a reproduction position in the sound data of the output sound to the sound system.
  • the recording medium may be a tangible non-transitory recording medium.
  • Examples of the tangible non-transitory recording medium include a semiconductor memory, a magnetic disk, and an optical disk.
  • the music playback system 1 of this embodiment shown in FIG. A portion indicated by a broken line in FIG. 1 will be used later in the description of the modification.
  • the communication terminal 10 a smart phone, a tablet terminal, etc. can be mentioned as an example.
  • the communication terminal 10 plays back the music data DM and transmits a playback signal of the music data DM to the acoustic system 50.
  • the communication terminal 10 further transmits a reproduction position signal of the music data DM to the sound system 50 in accordance with the transmission of the reproduction signal.
  • the communication terminal 10 is configured to transmit music piece data of music to be reproduced based on the music data DM to the acoustic system 50.
  • the acoustic system 50 acquires the lyric data DL corresponding to the music data DM to be played back from the server device 90 via the wide area network NT based on the music data received from the communication terminal 10. Thereafter, the acoustic system 50 receives a reproduction signal of the music data DM transmitted from the communication terminal 10, and outputs the corresponding music from the built-in speaker 53 (see FIG. 2) based on the reproduction signal. .
  • the acoustic system 50 further receives a reproduction position signal from the communication terminal 10, and based on the reproduction position signal and the lyrics data DL acquired from the server device 90, generates a character string of lyrics corresponding to the output sound from the speaker 53. This is displayed on the built-in display 55 (see FIG. 2).
  • the music playback system 1 of the present embodiment is configured to realize output of music and display of lyrics corresponding to the music data DM to be played back by the communication terminal 10 using an acoustic system 50 different from the communication terminal 10.
  • the Communication between the communication terminal 10 and the acoustic system 50 is realized by narrow area communication, and communication between the acoustic system 50 and the server apparatus 90 is realized by wide area communication through the wide area network NT.
  • the wide area network NT is, for example, the Internet.
  • the narrow-area communication can be realized by at least one of short-range wireless communication in accordance with a short-range communication standard represented by Bluetooth (registered trademark) and wireless LAN communication in accordance with the IEEE 802.11 communication standard.
  • the narrow area communication realized by the wireless LAN communication mentioned here indicates communication within the local area network.
  • the music reproduction system 1 functions significantly when the communication terminal 10 and the sound system 50 are in a close positional relationship such as when they are located in the same room.
  • the communication terminal 10 of this embodiment includes a control unit 11, a storage unit 13, a user interface 15, and a communication unit 17.
  • the control unit 11 includes a CPU 11A and a memory 11B.
  • the CPU 11A executes processing according to various programs stored in the storage unit 13.
  • the memory 11B includes a RAM that is used as a work area when the CPU 11A executes processing. Below, the process which CPU11A performs according to a program is demonstrated by making the control unit 11 into an operation subject.
  • the storage unit 13 is configured so that data can be read and written by the control unit 11.
  • the storage unit 13 stores programs for realizing various functions in the communication terminal 10 and various data.
  • Various data includes one or a plurality of music data DM.
  • the storage unit 13 is configured by a large-capacity flash memory, for example.
  • the user interface 15 is configured to be able to display various screens for the user and accept operations from the user.
  • the user interface 15 is configured to include, for example, a liquid crystal display and a touch panel (not shown).
  • the user interface 15 is controlled by the control unit 11, displays various screens, and inputs operation signals from the user to the control unit 11.
  • the communication unit 17 includes a short-range wireless communication module and a wireless LAN communication module (not shown). That is, the communication unit 17 is configured to be able to realize short-range wireless communication in accordance with the short-range communication standard and wireless LAN communication in accordance with the IEEE 802.11 communication standard.
  • the control unit 11 communicates wirelessly with the acoustic system 50 via the communication unit 17.
  • the acoustic system 50 includes a control unit 51, a speaker 53, a display 55, and a communication unit 57.
  • the control unit 51 includes a CPU 51A and a memory 51B, as well as a circuit (not shown).
  • the CPU 51A executes processing according to various programs.
  • the memory 51B includes a ROM that stores various programs and a RAM that is used as a work area when the CPU 51A executes processing. Below, the process which CPU51A performs according to a program is demonstrated by making the control unit 51 into an operation subject.
  • the speaker 53 is configured to include a plurality of speaker units and amplifiers corresponding to a plurality of different sound ranges.
  • the speaker 53 operates to convert the audio signal input from the control unit 51 into sound and output the sound.
  • the display 55 is configured as a liquid crystal display, for example.
  • the display 55 is controlled by the control unit 51 and displays lyrics when the music is played.
  • the display 55 is controlled by the control unit 51 to display a visual effect during music reproduction.
  • the visual effect refers to an animation that changes at least one of a color and a geometric pattern in accordance with the rhythm of the music.
  • the communication unit 57 includes a short-range wireless communication module and a wireless LAN communication module (not shown). That is, the communication unit 57 is configured to be able to realize short-range wireless communication according to the short-range communication standard and wireless LAN communication according to the IEEE 802.11 communication standard.
  • the control unit 51 performs near field communication or wireless LAN communication with the communication terminal 10 via the communication unit 57. Further, the control unit 51 performs wide area communication with the server device 90 disposed in the wide area network NT by communication via the communication unit 57.
  • the server device 90 includes a control unit 91 and a database 95.
  • the control unit 91 is configured to be able to communicate with the acoustic system 50 through the wide area network NT.
  • the control unit 91 receives a request signal for the lyrics data DL from the acoustic system 50 through the wide area network NT, the control unit 91 operates to search the database 95 for the lyrics data DL requested from the acoustic system 50 according to the request signal. .
  • the control unit 91 transmits a response signal including the lyrics data DL to the acoustic system 50.
  • the response signal indicating that is transmitted to the acoustic system 50 through the wide area network NT.
  • the database 95 is configured to have lyrics data DL for each music piece as shown in FIG.
  • the lyrics data DL includes metadata and a lyrics data body.
  • the metadata includes song information such as a song name, a composer name, and a songwriter name.
  • the music information is used to specify the lyric data DL requested from the acoustic system 50.
  • the lyrics data body has a group of character strings representing the lyrics corresponding to the music.
  • the lyrics data body is configured to have line data for each line defined by dividing the lyrics of the entire music into a plurality of lines.
  • the row data is configured to have information on the reproduction start time of the music portion (part) corresponding to the row as the row start time.
  • the line start time is represented by the time when the beginning of the music is set to zero, that is, the reproduction time from the beginning of the music.
  • the line data is configured to have, for each phrase, information indicating the start time and end time of the phrase and a character string of the lyrics corresponding to the phrase with respect to the lyrics area corresponding to the line.
  • the start time and end time of the phrase are also expressed by the time (reproduction time) with the beginning of the music as the origin.
  • the character string of each clause is defined as a character string to be displayed in the period from the start time to the end time of this clause.
  • control unit 11 functions as the main control unit 111, the first transmission control unit 113, and the second transmission control unit 115 by executing the program.
  • the main control unit 111 is configured to execute the processing shown in FIG. 5 on condition that a reproduction instruction for one of the music data DM stored in the storage unit 13 is input from the user through the user interface 15. .
  • the main control unit 111 refers to the music data DM to be played back specified by the playback instruction (S110), and attaches music data corresponding to the music data DM.
  • An operation command is transmitted to the acoustic system 50 via the communication unit 17 (S120).
  • the operation command and the music piece data are transmitted by wireless LAN communication based on, for example, an OSC (OpenSound Control) communication protocol.
  • OSC OpenSound Control
  • the music data DM has a structure in which metadata is added to the music data body.
  • the metadata includes song information such as a song name, a composer name, and a composer name.
  • the main control unit 111 refers to this metadata, and transmits an operation command attached with music piece data corresponding to the music data DM to be played back to the acoustic system 50 via the communication unit 17.
  • the music piece data is provided to the sound system 50 so that the sound system 50 can acquire the lyrics data DL corresponding to the music data DM to be reproduced from the server device 90. That is, the song data is transmitted as identification data that can be identified by the sound system 50 and the server device 90 by using the lyrics data DL corresponding to the song data DM.
  • the music piece data may be configured to include music information such as a music title, a composer name, and a songwriter name.
  • the acoustic system 50 fails to acquire the acquisition completion notification indicating that the acquisition of the lyrics data DL from the server device 90 is completed and the acquisition of the lyrics data DL from the server device 90 as the notification signal.
  • One of the acquisition failure notifications indicating that it has been sent is sent.
  • the main control unit 111 receives this notification signal from the acoustic system 50 via the communication unit 17 (S130).
  • the main control unit 111 switches processing according to whether the received notification signal is an acquisition completion notification or an acquisition failure notification (S140). If the received notification signal is an acquisition completion notification (Yes in S140), the main control unit 111 proceeds to S150 and instructs the start of the music reproduction process and the reproduction position transmission process. An instruction to start the music playback process is input to the first transmission control unit 113. An instruction to start the reproduction position transmission process is input to the second transmission control unit 115.
  • the first transmission control unit 113 reproduces the music data DM according to the start instruction to generate a reproduction signal for the music data DM, and sends the reproduction signal to the acoustic system 50 via the communication unit 17. Send.
  • the reproduction process mentioned here may be a process for realizing a process to be completed on the communication terminal 10 side in the reproduction process until the speaker 53 outputs the music.
  • the reproduction process executed by the first transmission control unit 113 can be mainly a process of decoding the music data DM.
  • the reproduction process may be a process of decoding the music data DM until the sound system 50 can output the music from the speaker 53.
  • the first transmission control unit 113 executes a process for realizing stream playback of the music data DM.
  • AirPlay registered trademark of Apple Inc. is known as a technique for reproducing the music data DM in a stream.
  • the first transmission control unit 113 may be configured to convert the music data DM into a reproduction signal by using this type of technology and transmit the music signal DM to the acoustic system 50 through short-range wireless communication or wireless LAN communication.
  • the second transmission control unit 115 is configured to transmit a reproduction position signal indicating the reproduction position of the music data DM to be reproduced by the first transmission control unit 113 in accordance with the start instruction. That is, the second transmission control unit 115 transmits a reproduction position signal indicating the position (reproduction position) of the sound output by the reproduction signal transmitted by the first transmission control unit 113 in the entire music.
  • the second transmission control unit 115 may be configured to acquire information on the reproduction position managed by the first transmission control unit 113 from the first transmission control unit 113 and transmit a reproduction position signal indicating the reproduction position.
  • the playback position signal can be configured, for example, as a signal in which the playback position is represented by the time when the beginning of the music is zero, that is, the playback time from the beginning of the music.
  • the second transmission control unit 115 may be configured to transmit a reproduction position signal indicating a reproduction position at that time to the acoustic system 50 every certain time Tc of about 1 second to several seconds.
  • the inverted triangular figure shown in FIG. 6 represents the transmission timing of the reproduction position signal.
  • the reproduction position signal is transmitted at each of times t0, t1, t2, t3, t4, t5, t6, t7, and t8 having a certain time interval Tc.
  • the time t0 corresponds to the beginning of the music (music reproduction start timing).
  • the user may input an instruction regarding trick play such as a backward reproduction instruction and a skip instruction through the user interface 15.
  • the first transmission control unit 113 performs a reproduction process on the music data DM so as to change the reproduction position in accordance with the instruction from the user.
  • the second transmission control unit 115 may be configured to transmit a playback position signal representing the changed playback position at the time of the event occurrence.
  • the second transmission control unit 115 transmits the reproduction position signal at each of the times t0, t2, and t4 having a constant time interval 2Tc. Thereafter, when the playback position in the first transmission control unit 113 is changed due to the input of the reverse playback instruction, the second transmission control unit 115 operates as follows. That is, the second transmission control unit 115 operates so as to deviate from the periodical transmission operation of the reproduction position signal and transmit the reproduction position signal when the reproduction position is changed (time t10). Thereafter, the second transmission control unit 115 transmits the reproduction position signal at a constant time interval 2Tc based on the time t10 (that is, at each of the times t12, t14, and 16).
  • the second transmission control unit 115 transmits the reproduction position signal at each of the times t0 and t2 having a certain time interval 2Tc. Thereafter, when the playback position in the first transmission control unit 113 is changed due to the input of the skip playback instruction, the second transmission control unit 115 operates as follows. That is, the second transmission control unit 115 operates so as to deviate from the periodical transmission operation of the reproduction position signal and transmit the reproduction position signal when the reproduction position is changed (time t20). Thereafter, the second transmission control unit 115 transmits the reproduction position signal at regular time intervals 2Tc with the time t20 as a base point (for example, at the time t22).
  • the reproduction position signal transmission cycle 2Tc shown in the middle region (II) and the lower region (III) in FIG. 6 is longer than the transmission cycle Tc of the reproduction position signal shown in the upper region (I). This is because if the second transmission control unit 115 is configured to transmit the playback position signal at the time of occurrence of an event in which the playback position changes discontinuously, the transmission position signal transmission cycle at the regular transmission is lengthened. Suggest to get. This is because a difference between the actual reproduction position and the reproduction position grasped by the acoustic system 50 hardly occurs even by trick play or the like.
  • the first transmission control unit 113 and the second transmission control unit 115 start the above-described processing, and this processing is performed until the reproduction of the music ends.
  • the main control unit 111 proceeds to S160 and executes the lyrics display process to display the lyrics on the user interface 15 in accordance with the reproduction of the music.
  • the acoustic system 50 transmits the lyrics data DL acquired from the server device 90 to the communication terminal 10 together with the acquisition completion notification.
  • This lyrics data DL is received together with the notification signal in S130.
  • the lyrics display process executed by the main control unit 111 in S160 is a process for displaying lyrics on the user interface 15 (liquid crystal display) based on the lyrics data DL.
  • the main control unit 111 acquires information on the reproduction position from the first transmission control unit 113, and controls the user interface 15 so that the character string of the lyrics corresponding to the reproduction position is displayed.
  • the main control unit 111 specifies the phrase of the lyrics corresponding to the reproduction position based on the phrase start time and the phrase end time for each phrase indicated by the lyrics data DL. Specifically, the phrase whose playback time (playback time) from the beginning of the music represented by the playback position is within the period from the phrase start time to the phrase end time is specified as the phrase corresponding to the playback position. Then, the main control unit 111 controls the user interface 15 so that the character string of the specified phrase indicated by the lyrics data DL is displayed on the liquid crystal display as a character image. The main control unit 111 continues this lyric display process until the reproduction of the music ends, and thereafter ends the lyric display process (S160) and the process shown in FIG.
  • S160 lyric display process
  • the main control unit 111 proceeds to S170 and instructs the start of the music reproduction process in the same manner as S150. Thereafter, the process shown in FIG.
  • the acquisition failure notification is received, the acoustic system 50 does not have the lyrics data DL corresponding to the music data DM to be played back. In this case, the sound system 50 cannot display the lyrics on the display 55 in accordance with the reproduction of the music.
  • the start instruction is not input to the second transmission control unit 115 but the start instruction is issued to the first transmission control unit 113. input.
  • the control unit 51 of the acoustic system 50 functions as a data acquisition unit 511, a reproduction control unit 513, a display control unit 515, and a counter 517 by executing the program.
  • the data acquisition unit 511 acquires the lyric data DL from the server device 90 in response to an operation command from the communication terminal 10. In order to acquire the lyrics data DL, the data acquisition unit 511 repeatedly executes the process shown in FIG. When this process is started, the data acquisition unit 511 waits until the operation command and music data transmitted from the communication terminal 10 in S120 are received via the communication unit 57, and receives the operation command and music data (S210). Yes), the process proceeds to S220.
  • the data acquisition unit 511 requests the server device 90 for the lyric data DL corresponding to the music data DM to be played back by the communication terminal 10 based on the music piece data received from the communication terminal 10. For example, the data acquisition unit 511 transmits a request signal including the song name indicated by the received song data to the server device 90 via the communication unit 57.
  • the response signal described above is transmitted from the server device 90.
  • the data acquisition unit 511 receives the response signal from the server device 90 via the communication unit 57 (S230). Thereafter, it is determined whether or not the lyrics data DL is included in the response signal (S240).
  • the data acquisition unit 511 proceeds to S250, and the communication terminal 10 that is the operation command transmission source is communicated via the communication unit 57. Send an acquisition completion notification.
  • the data acquisition unit 511 can transmit the lyrics completion data DL acquired from the server device 90 to the acquisition completion notification.
  • the data acquisition unit 511 proceeds to S260 and transmits the lyrics to the communication terminal 10 that is the operation command transmission source via the communication unit 57.
  • An acquisition failure notification indicating that acquisition of the data DL has failed is transmitted. After the acquisition completion notification or acquisition failure notification is transmitted, the data acquisition unit 511 once terminates the processing illustrated in FIG.
  • the reproduction control unit 513 receives the reproduction signal transmitted from the communication terminal 10 after transmitting the acquisition completion notification or the acquisition failure notification via the communication unit 57, and receives the sound based on the reproduction signal. Accordingly, the music is reproduced through the speaker 53 by causing the speaker 53 to output it in a chained manner.
  • the playback control unit 513 converts the received playback signal into an analog audio signal and inputs the analog audio signal to the speaker 53, thereby causing the speaker 53 to output a sound (sound) based on the playback signal.
  • the playback control unit 513 can operate to sequentially convert playback signals transmitted in accordance with this standard into input signals to the speaker 53.
  • the display control unit 515 receives the reproduction position signal transmitted from the communication terminal 10 after transmitting the acquisition completion notification via the communication unit 57, and based on the reproduction position signal and the lyrics data DL, The display 55 is controlled so that the character string of the lyrics corresponding to the output sound from the speaker 53 is displayed on the display 55.
  • the display control unit 515 can be configured to correct the time counted by the counter 517 to the time corresponding to the reproduction position represented by the received reproduction position signal.
  • the counter 517 is reset to zero by the operation of the display control unit 515 based on the reproduction position signal transmitted from the communication terminal 10 when reproduction of music is started (time t0).
  • the counter 517 counts the elapsed time thereafter.
  • the time counted by the counter 517 is corrected to the time corresponding to the reproduction position indicated by the reproduction position signal by the operation of the display control unit 515 every time the display control unit 515 receives the reproduction position signal.
  • the time counted by the counter 517 is corrected to a time that basically matches the playback time from the beginning of the music, and functions as a parameter that represents the playback position of the music that is not greatly affected by trick play.
  • the display control unit 515 may be configured to display the character string of the lyrics corresponding to the output sound from the speaker 53 on the display 55 based on the time counted by the counter 517 and the lyrics data.
  • This counter 517 is useful in that the display control unit 515 can specify the playback position of the sound output from the speaker 53 during the non-reception period of the playback position signal. Accordingly, the counter 517 functions particularly effectively when the reproduction position signal transmission interval is long. On the other hand, when the reproduction position signal transmission interval is short, the counter 517 may not be provided.
  • the display control unit 515 corresponds to the reproduction position of the sound output from the speaker 53 based on the lyrics data DL acquired by the data acquisition unit 511 in the same manner as the lyrics display processing executed in S160 of the communication terminal 10.
  • the display 55 can be controlled so that the character string of the lyrics is displayed on the display 55.
  • the music output from the speaker 53 on the user interface 15 and the display 55 is almost synchronized between the communication terminal 10 and the acoustic system 50.
  • the character string of the lyrics corresponding to the playback section is displayed.
  • “substantially synchronized” is expressed because there is a possibility that a minute error occurs between the reproduction position grasped by the communication terminal 10 and the reproduction position grasped by the acoustic system 50 due to a time lag due to communication. Because.
  • the music playback system 1 has been described above.
  • music playback can be realized by the audio system 50 using the music data DM of the communication terminal 10.
  • the sound system 50 can output words (character strings) of lyrics corresponding to the output sound as an image in accordance with the output of a series of sounds (music) represented by the music data DM. Therefore, according to this music reproduction system 1, a new way of enjoying music can be provided to the user, and the user's enjoyment of listening to music can be increased.
  • the user can enjoy the music as sound by using the acoustic system 50, and at the same time can enjoy watching the lyrics. Further, the user can share music and lyrics with other users in the same space as the sound system 50. In other words, according to the acoustic system 50, some music providers want to enjoy the music with the lyrics, and some consumers desire to enjoy the music with the lyrics. I can answer enough.
  • the sound system 50 by providing the playback position signal from the communication terminal 10 to the sound system 50, the sound system 50 is adapted to the music playback while using the existing music data DM and the existing stream playback technology. It is also worth noting that the lyrics can be displayed.
  • the acoustic system 50 acquires the lyrics data DL from the server device 90 and provides it to the communication terminal 10. Based on the lyrics data DL received from the acoustic system 50, the communication terminal 10 causes the user interface 15 to display a lyrics character string corresponding to the output sound from the speaker 53. This lyric display is performed substantially synchronously between the acoustic system 50 and the communication terminal 10.
  • the music reproduction system 1 of the present embodiment is very useful in that it provides an effect that allows the user to enjoy music comfortably.
  • the 1st modification with respect to the said Example is demonstrated.
  • the music reproduction system 1 of the first modified example has the lyrics system DL and the reproduction position when the acoustic system 50 is different from the communication terminal 10 ⁇ / b> A different from the communication instruction source 10.
  • the signal is configured to be transmitted via the communication unit 57.
  • the data acquisition unit 511 is configured to transmit the lyric data DL to the other communication terminal 10A in addition to the operation instruction source communication terminal 10 in S250 (see FIG. 7).
  • Examples of the other communication terminal 10 ⁇ / b> A include a communication terminal in the same local area network as the acoustic system 50 and a communication terminal capable of short-range communication with the acoustic system 50.
  • the display control unit 515 is further configured to transmit the reproduction position signal received from the communication terminal 10 to the other communication terminal 10 ⁇ / b> A via the communication unit 57.
  • the communication terminal 10A can display lyrics on the built-in display in accordance with the music reproduction by the acoustic system 50, similarly to the communication terminal 10.
  • the communication terminal 10 ⁇ / b> A can display lyrics on a built-in display using the same method as the display control unit 515.
  • lyrics can be displayed on a plurality of communication terminals 10 and 10A, music and lyrics can be shared among a plurality of users who own the communication terminals 10 and 10A, and the enjoyment of the music increases.
  • the acoustic system 50 may be configured to provide the music piece data acquired from the communication terminal 10 to the communication terminal 10A instead of the lyrics data DL.
  • the communication terminal 10A can be configured to acquire the lyrics data DL corresponding to the music data DM to be reproduced from the server device 90 based on the received music data.
  • the music reproduction system 1 according to the second modification is configured such that the communication terminal 10 acquires the lyrics data DL from the server device 90.
  • the configuration and operation of the music reproduction system 1 of the present modification configurations and operations different from those of the above embodiment will be described, and description of the same configuration and operation will be omitted as appropriate.
  • control unit 11 of the communication terminal 10 functions as the main control unit 611 instead of the main control unit 111.
  • the main control unit 611 refers to the metadata of the music data DM to be played back on condition that a playback instruction for one of the music data DM stored in the storage unit 13 is input from the user through the user interface 15. Then, the server device 90 is requested for the lyrics data DL corresponding to the music data DM.
  • the main control unit 611 can transmit a request signal including the song name indicated by the metadata to the server device 90 via the communication unit 17.
  • the communication unit 17 is configured to be capable of wide area communication.
  • the main control unit 611 receives a response signal to the request signal from the server device 90, and transmits the lyrics data DL to the acoustic system 50 via the communication unit 17 when the response signal includes the lyrics data DL. After that, the same processing as S150 and S160 is executed. When the lyrics signal DL is not included in the response signal, the main control unit 611 performs the same process as in S170.
  • the main control unit 611 causes the user interface 15 to display a text string of lyrics corresponding to the output sound from the acoustic system 50 based on the lyrics data DL acquired from the server device 90 by itself. Processing can be executed.
  • the control unit 51 of the acoustic system 50 functions as the data acquisition unit 711 instead of the data acquisition unit 511.
  • the data acquisition unit 711 receives the lyrics data DL from the communication terminal 10 via the communication unit 57, and provides the lyrics data DL to the display control unit 515.
  • the lyric data DL can be provided to the acoustic system 50 without configuring the acoustic system 50 to be capable of wide area communication.
  • the present invention can be further implemented in various modes.
  • the above embodiment and the first and second modified examples deal with music data DM and lyric data DL.
  • the technical idea corresponding to the present invention is in a video reproduction system that handles video data with audio and subtitle data.
  • the sound system may be configured to display a caption corresponding to the moving image while reproducing the moving image.
  • subtitles for example, a translated sentence and a commentary sentence of a moving image audio can be cited as an example.
  • the lyrics data DL may be data for accurately displaying the lyrics that are reproduced by voice, or the lyrics that are reproduced by voice. It may be data for displaying lyrics in a different language.
  • the lyrics data DL can be configured so that English lyrics can be displayed for music sung in Japanese. Such a display form of the lyrics functions significantly when the original music corresponding to the music to be reproduced exists as a song in a different language.
  • the lyric data DL having a data structure in which the character strings constituting the lyrics are divided for each phrase is exemplified, but the lyric data DL defines the correspondence between each part of the lyrics and the reproduction position. It is sufficient if it has a data structure including the information to be performed, and the information structure is not limited to that illustrated.
  • the above-described line data of the lyric data DL does not have a character string divided for each phrase, but describes the start time (and end time) of the line and the character string of the line. May be.
  • the playback position signal may not be used, assuming an environment where there is no trick play in which the playback position changes irregularly. That is, the acoustic system 50 measures the elapsed time from this time with the counter 517 with reference to the time when the output of the music based on the reproduction signal from the speaker 53 is started, and reproduces the measured elapsed time. It can be considered that the time corresponds to the position, and the lyric character string corresponding to the output sound can be displayed on the display 55.
  • the acoustic system 50 can be configured to analyze the reproduction signal from the communication terminal 10 or the output sound from the speaker 53 and extract the lyrics. In this case, the acoustic system 50 can display the lyrics extracted by the analysis. Therefore, the lyrics data DL may not be acquired from the server device 90.
  • the acoustic system 50 may be configured to analyze the reproduction signal from the communication terminal 10 or the output sound from the speaker 53 to identify the music title. In this case, the acoustic system 50 can acquire the corresponding lyric data DL from the server device 90 without receiving the piece data from the communication terminal 10.
  • the lyrics display in the acoustic system 50 may be realized in such a form that a part of the lyrics is highlighted.
  • a character string to be highlighted can be marked.
  • the sound system 50 can be configured to control the display 55 so as to highlight part of the lyrics according to the mark.
  • Such highlighting can be performed on the part of the lyrics including the message that the music provider particularly wants to convey.
  • the visual effect displayed on the display 55 of the acoustic system 50 may be changed according to an operation from the user through the user interface 15.
  • the communication terminal 10 may be configured to transmit an operation signal for a visual effect input through the user interface 15 to the acoustic system 50 via the communication unit 17.
  • the sound system 50 may be configured to control the display 55 so as to change the visual effect based on the operation signal received from the communication terminal 10. For example, when the user of the communication terminal 10 performs a tapping operation on the user interface 15, the display 55 is displayed so that an animation as if the vibration when tapped is transmitted appears in the visual effect. Can be controlled. Such an animation can also be added to a character string image of lyrics.
  • a part or all of the functions realized on the control units 11 and 51 by the program may be realized by a dedicated hardware circuit.
  • the program for causing the control unit 11 to function as the main control unit 111, the first transmission control unit 113, and the second transmission control unit 115 can be recorded in any form of a computer-readable recording medium.
  • this program can be stored in a portable semiconductor memory, a magnetic disk, an optical disk or the like and provided to the user.
  • the program may be provided or installed in the communication terminal 10 through a network.
  • the communication between the communication terminal 10 and the sound system 50 can be realized using any communication technique within an appropriate range, and this communication is not limited to the illustrated Airplay or Bluetooth communication. It is not something.
  • communication between the communication terminal 10 and the acoustic system 50 can be realized using a plurality of communication standards or a single communication standard. Communication may be performed according to different communication standards depending on the type of data and signals to be transmitted and received.
  • the communication between the communication terminal 10 and the acoustic system 50 has been described, but the same applies to the communication between the acoustic system 50 and the server device 90 and the communication between the communication terminal 10 and the server device 90. I can say that.
  • the speaker 53 and the display 55 correspond to an example of an output unit
  • the user interface 15 corresponds to an example of a display unit.
  • the reproduction control unit 513 corresponds to an example of a first output control unit
  • the display control unit 515 corresponds to an example of a second output control unit
  • the data acquisition units 511 and 711 correspond to an example of an acquisition control unit.
  • the first transmission control unit 113 corresponds to an example of the first transmission control unit
  • the second transmission control unit 115 corresponds to an example of the second transmission control unit
  • the main control units 111 and 611 are displayed. This corresponds to an example of a control unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Reverberation, Karaoke And Other Acoustics (AREA)
  • Electrophonic Musical Instruments (AREA)
  • Telephonic Communication Services (AREA)

Abstract

 音響システムは、出力ユニットと、通信ユニットと、第一出力制御ユニットと、第二出力制御ユニットと、を備える。出力ユニットは、音及び画像を出力可能な構成にされる。通信ユニットは、外部装置と通信可能な構成にされる。第一出力制御ユニットは、音響データの再生用信号を送信する通信機器から、通信ユニットを介して再生用信号を受信し、再生用信号に基づく音を出力ユニットに出力させることにより、音響データが表す一連の音の再生を実現する構成にされる。第二出力制御ユニットは、音響データが表す一連の音の内、出力ユニットが出力する音に対応する言葉を、画像として出力ユニットに出力させる構成にされる。

Description

音響システム、通信機器及びプログラム
 本発明は、音響システム、通信機器及びプログラムに関する。
 従来、携帯型の楽曲再生装置が知られている。スマートフォンに代表される近年の携帯型の通信機器は、楽曲再生装置としての機能を備えていることが一般的である。この通信機器は、例えば、ストレージ装置に記憶される楽曲データを再生処理して、楽曲データに対応する楽曲を、内蔵するスピーカから出力する。
 楽曲再生装置と無線通信し、楽曲再生装置が再生処理した楽曲データに対応する楽曲を出力するスピーカシステムもまた知られている(例えば特許文献1参照)。
特開2008-278328号公報
 ところで、近年では、消費者がネットワークを通じて楽曲データを購入して、好きな楽曲を聴くケースが多くなってきている。このケースでは、楽曲データに通常歌詞データが付されていないことにも起因して、楽曲に対応する歌詞を消費者が詳しく知る機会は、少ない。これに対し、一部の楽曲提供者には、楽曲を歌詞と共に楽しんでほしいという願いがある。更に、一部の消費者には、楽曲を歌詞と共に楽しみたいという欲求がある。
 本発明の一局面では、ユーザの楽しみを増大し得る音響システム、及び、その音響システムを利用可能な通信機器の少なくとも一方を提供できることが望ましい。
 本発明の一局面に従う音響システムは、出力ユニットと、通信ユニットと、第一出力制御ユニットと、第二出力制御ユニットと、を備える。出力ユニットは、音及び画像を出力可能に構成される。通信ユニットは、外部装置と通信可能に構成される。
 第一出力制御ユニットは、音響データの再生用信号を送信する通信機器から、通信ユニットを介して再生用信号を受信し、この再生用信号に基づく音を出力ユニットに出力させる構成にされる。この構成によって、第一出力制御ユニットは、音響データが表す一連の音の再生が出力ユニットを通じて実現されるように動作し得る。第一出力制御ユニットは、再生用信号に基づく音を、再生用信号の受信に応じて(例えば連鎖的に)出力ユニットに出力させる構成にされてもよい。
 第二出力制御ユニットは、音響データが表す一連の音の内、出力ユニットが出力する音に対応する言葉を、画像として出力ユニットに出力させる構成にされる。第二出力制御ユニットは、音響データが表す一連の音の内、出力ユニットが出力する音に対応する言葉を取得又は生成して、これを画像として出力ユニットに出力させる構成にされてもよい。
 本発明の一局面によれば、音響システムは、音響データが表す一連の音の出力に対応して、この音に対応する言葉を、画像として出力することができるので、音を聴くことに対するユーザの楽しみが増大し得る。
 音響データの例には、楽曲データが含まれる。第二出力制御ユニットは、楽曲データが表す楽曲の内、出力ユニットが出力する部分に対応する歌詞の言葉を、出力ユニットに出力させる構成にされ得る。
 本発明の一局面によれば、音響システムは、通信機器での楽曲データに対する再生処理により生成される再生用信号に従って、楽曲を出力することができる一方、楽曲に対応する歌詞を表示することができる。この場合、ユーザは、例えば、音響システムを利用して楽曲を音として楽しむことができ、その歌詞を見て楽しむことができる。従って、本発明の一局面によれば、音響システムは、ユーザの楽しみを増大し得る。通信機器の例には、スマートフォンやタブレット等の楽曲再生機能を有する通信機器、及び、通信機能を有する楽曲再生装置が含まれる。
 音響データの例には、音声付動画データも含まれる。第二出力制御ユニットは、動画データが表す動画の内、出力ユニットが出力する部分(動画音声)に対応する字幕を、画像として出力ユニットに出力させる構成にされ得る。従って、本発明の一局面によれば、音響システムは、例えば、動画視聴に対するユーザの楽しみを増大し得る。
 通信機器は、再生用信号に基づいて出力される音の音響データにおける再生位置を表す再生位置信号を送信する構成にされ得る。この場合、第二出力制御ユニットは、通信機器から、通信ユニットを介して再生位置信号を受信し、この再生位置信号に基づいて、出力ユニットが出力する音に対応する言葉を、画像として出力ユニットに出力させる構成にされ得る。
 更に言えば、音響システムは、再生時間をカウントするカウンタを備えてもよい。この場合、第二出力制御ユニットは、カウンタがカウントする再生時間を、受信した再生位置信号が表す再生位置に対応した時間に補正する構成にされ得る。更に、第二出力制御ユニットは、カウンタがカウントする再生時間に基づいて、出力ユニットが出力する音に対応する言葉を、画像として出力ユニットに出力させる構成にされ得る。
 このような構成によれば、再生位置信号が少ない頻度で通信機器から送信される場合でも、音響システムは、適切なタイミングで出力音に対応する言葉を表示し得る。従って、本発明の一局面によれば、音響システムは、音に対して言葉の表示タイミングが不適切にずれるのを抑制することができる。
 音響システムは、音響データに対応する画像出力用データを取得する取得制御ユニットを有してもよい。画像出力用データは、音響データが表す一連の音に対応する複数の言葉を含んだ構成にされ得る。例えば、取得制御ユニットは、通信機器、及び、通信機器とは異なるサーバ装置の少なくとも一方から、通信ユニットを介して、音響データに対応する画像出力用データを取得する構成にされ得る。
 取得制御ユニットは、通信ユニットを介して広域通信によりサーバ装置から画像出力用データを取得する構成にされてもよい。あるいは、取得制御ユニットは、通信ユニットを介して狭域通信により通信機器から画像出力用データを取得する構成にされてもよい。第一出力制御ユニットは、通信ユニットを介して狭域通信により周辺の通信機器から再生用信号を受信する構成にされ得る。この他、取得制御ユニットは、サーバ装置から取得した画像出力用データを、通信機器に、通信ユニットを介して送信する構成にされてもよい。
 第二出力制御ユニットは、上記取得制御ユニットが取得した画像出力用データに基づき、上記複数の言葉の内、出力ユニットが出力する音に対応する言葉を、画像として出力ユニットに出力させる構成にされ得る。あるいは、第二出力制御ユニットは、出力ユニットが出力する音を解析し、その解析結果に従って、当該音が表す言葉を、画像として出力ユニットに出力させる構成にされ得る。このようにして、第二出力制御ユニットは、出力ユニットが出力する音に対応する言葉を生成する構成にされてもよい。この場合、画像出力用データは、用いられなくてもよい。
 取得制御ユニットは、音響データに対応する画像出力用データを識別可能な識別用データを、通信機器から通信ユニットを介して受信する構成にされてもよい。この場合、取得制御ユニットは、受信した識別用データに基づき、音響データに対応する画像出力用データを取得する構成にされ得る。別例として、取得制御ユニットは、通信機器からの再生用信号及び出力ユニットからの出力音の少なくとも一方を解析することにより、音響データに対応する画像出力用データを識別する構成にされてもよい。
 この他、画像出力用データは、上記複数の言葉の夫々に関して、音響データにおける音の再生位置と言葉との対応関係を規定する情報を含んだ構成にされ得る。この場合、第二出力制御ユニットは、上記対応関係を規定する情報に基づき、上記複数の言葉の内、出力ユニットが出力する音の再生位置に対応する言葉を、画像として出力ユニットに出力させる構成にされ得る。
 画像出力用データの例には、歌詞データが含まれる。音響データが楽曲データであり、画像出力用データが歌詞データである場合、第二出力制御ユニットは、楽曲データに対応する歌詞データに基づき、楽曲データが表す楽曲の内、出力ユニットが出力する部分に対応する歌詞の言葉を、画像として出力ユニットに出力させる構成にされてもよい。
 また、本発明の一局面に従う通信機器は、音響データの再生指示が入力されたことを条件に、この音響データを再生処理して、音響データが表す一連の音を音響システムに出力させるための再生用信号を音響システムに送信する送信制御ユニットを備える。通信機器は、音響データを記憶するための記憶ユニットを備えた構成にされ得る。
 通信機器は、音響データが表す一連の音の内、上記再生用信号に基づいて出力される音の音響データにおける再生位置を表す再生位置信号を、音響システムに送信する送信制御ユニットを更に備えた構成にされてもよい。
 通信機器は、画像を出力可能な表示ユニットを備えてもよい。音響データに対応する画像出力用データを音響システムから受信し、受信した画像出力用データに基づき、音響システムの出力ユニットによって出力される音に対応する言葉を、画像として通信機器の表示ユニットに出力させる構成にされた表示制御ユニットを、通信機器は備えてもよい。この場合には、音響システムが音出力に合わせて、音に対応する言葉を表示し、更に、通信機器が上記音に対応する言葉を表示し得る。
 通信機器は、音響データに対応する画像出力用データを取得して、画像出力用データを音響システムに送信すると共に、画像出力用データに基づき、音響システムの出力ユニットによって出力される音に対応する言葉を、画像として表示ユニットに出力させる表示制御ユニットを備えてもよい。
 本発明の一局面によれば、通信機器は、上記音響データの再生用信号及び再生位置信号を音響システムに送信し、通信機器及び音響システムの内の一方は、サーバ装置から音響データに対応する画像出力用データを取得し、通信機器及び音響システムの内の他方は、通信機器及び音響システムの内の一方から画像出力用データを取得し得る。この場合、通信機器及び音響システムは、互いに、音響システムによる音出力に合わせて(又は音の再生位置に応じて)、出力音に対応する言葉を、画像として同期出力し得る。
 本発明の別局面によれば、音響システム及び通信機器が有する機能の少なくとも一部は、プログラムによりコンピュータに実現させることができる。例えば、通信機器は、コンピュータ(又はプロセッサ)と、コンピュータ(又はプロセッサ)を上述した通信機器に係るユニットの少なくとも一つとして機能させるためのプログラムを記憶するメモリと、を備えた構成にされ得る。
 上記プログラムは、例えば、第一送信制御手順と、第二送信制御手順と、を通信機器のコンピュータに実行させるためのプログラムであり得る。第一送信制御手順は、音響データの再生指示が入力されたことを条件に、音響データを再生処理して、音響データが表す一連の音を音響システムに出力させるための再生用信号を音響システムに送信する手順であり得る。第二送信制御手順は、出力される音の音響データにおける再生位置を表す再生位置信号を音響システムに送信する手順であり得る。
 これらのプログラムは、コンピュータが読取可能なあらゆる形態の記録媒体に記録され得る。記録媒体は、有形の非一時的な記録媒体であり得る。有形の非一時的な記録媒体の例には、半導体製メモリ、磁気ディスク、及び、光ディスク等が含まれる。
楽曲再生システムの概略構成を表すブロック図である。 通信端末、音響システム及びサーバ装置の概略構成を表すブロック図である。 歌詞データの概略構成を表す図である。 通信端末及び音響システムの制御ユニットで実現される機能を表すブロック図である。 主制御部にて実行される処理を表すフローチャートである。 再生位置信号の送信タイミングを例示した図である。 データ取得部にて実行される処理を表すフローチャートである。 第二変形例の楽曲再生システムが有する通信端末及び音響システムの制御ユニットで実現される機能を表すブロック図である。
1…楽曲再生システム、10,10A…通信端末、11…制御ユニット、11A…CPU、11B…メモリ、13…記憶ユニット、15…ユーザインタフェース、17…通信ユニット、50…音響システム、51…制御ユニット、51A…CPU、51B…メモリ、53…スピーカ、55…ディスプレイ、57…通信ユニット、90…サーバ装置、91…制御ユニット、95…データベース、111,611…主制御部、113…第一送信制御部、115…第二送信制御部、511,711…データ取得部、513…再生制御部、515…表示制御部、517…カウンタ、DL…歌詞データ、DM…楽曲データ、NT…広域ネットワーク。
 以下に、本発明の実施例を図面と共に説明する。但し、本発明は、下記実施例によって何ら限定して解釈されない。下記実施例の一部を省略した態様も本発明の実施形態である。特許請求の範囲に記載した文言のみによって特定される発明の本質を逸脱しない範囲において考え得るあらゆる態様も本発明の実施形態である。
 図1に示す本実施例の楽曲再生システム1は、携帯型の通信端末10と、音響システム50と、サーバ装置90と、を備える。図1において破線で示される部位は、後に変形例の説明で用いられる。通信端末10としては、スマートフォンやタブレット端末等を一例に挙げることができる。
 この楽曲再生システム1では、通信端末10が楽曲データDMを再生処理して、楽曲データDMの再生用信号を音響システム50に送信する。通信端末10は、この再生用信号の送信に合わせて、更に、楽曲データDMの再生位置信号を音響システム50に送信する。通信端末10は、上記再生処理の実行に先駆けて、楽曲データDMに基づいて再生される楽曲の曲目データを音響システム50に送信する構成にされる。
 音響システム50は、通信端末10から受信した曲目データに基づき、再生処理対象の楽曲データDMに対応する歌詞データDLをサーバ装置90から広域ネットワークNTを介して取得する。その後、音響システム50は、通信端末10から送信されてくる楽曲データDMの再生用信号を受信し、この再生用信号に基づき、対応する楽曲を、内蔵するスピーカ53(図2参照)から出力する。
 音響システム50は、更に、通信端末10からの再生位置信号を受信し、この再生位置信号及びサーバ装置90から取得した歌詞データDLに基づき、スピーカ53からの出力音に対応する歌詞の文字列を、内蔵するディスプレイ55(図2参照)に表示する。
 即ち、本実施例の楽曲再生システム1は、通信端末10が再生処理する楽曲データDMに対応する楽曲の出力及び歌詞の表示を、通信端末10とは別の音響システム50で実現する構成にされる。通信端末10と音響システム50との間の通信は、狭域通信により実現され、音響システム50とサーバ装置90との間の通信は、広域ネットワークNTを通じた広域通信により実現される。
 広域ネットワークNTは、例えばインターネットである。狭域通信は、ブルートゥース(登録商標)に代表される近距離通信規格に従う近距離無線通信、及び、IEEE802.11通信規格に従う無線LAN通信の少なくとも一方によって実現され得る。ここで言う無線LAN通信により実現される狭域通信は、ローカルエリアネットワーク内の通信を示す。楽曲再生システム1は、通信端末10及び音響システム50が、互いに同一室内に位置する場合等の距離的に近い位置関係にあるとき、有意義に機能する。
 図2に示すように、本実施例の通信端末10は、制御ユニット11と、記憶ユニット13と、ユーザインタフェース15と、通信ユニット17と、を備える。制御ユニット11は、CPU11Aと、メモリ11Bと、を備える。CPU11Aは、記憶ユニット13が記憶する各種プログラムに従う処理を実行する。メモリ11Bは、CPU11Aによる処理実行時に作業領域として使用されるRAMを含む。以下では、CPU11Aがプログラムに従って実行する処理を、制御ユニット11を動作主体として説明する。
 記憶ユニット13は、制御ユニット11によりデータ読取及び書込可能な構成にされる。記憶ユニット13は、通信端末10において各種機能を実現するためのプログラム、及び、各種データを記憶する。各種データには、一つ又は複数の楽曲データDMが含まれる。記憶ユニット13は、例えば大容量のフラッシュメモリによって構成される。
 ユーザインタフェース15は、ユーザに対して各種画面を表示可能、且つ、ユーザからの操作を受付可能に構成される。ユーザインタフェース15は、例えば、液晶ディスプレイ及びタッチパネル(図示せず)を備えた構成にされる。ユーザインタフェース15は、制御ユニット11に制御されて、各種画面を表示し、ユーザからの操作信号を制御ユニット11に入力する。
 通信ユニット17は、近距離無線通信モジュール及び無線LAN通信モジュール(図示せず)を備える。即ち、通信ユニット17は、上記近距離通信規格に従う近距離無線通信、及び、IEEE802.11通信規格に従う無線LAN通信を実現可能な構成にされる。制御ユニット11は、この通信ユニット17を介して音響システム50と無線通信する。
 音響システム50は、制御ユニット51と、スピーカ53と、ディスプレイ55と、通信ユニット57と、を備える。制御ユニット51は、CPU51A及びメモリ51Bを備える他、図示しない回路を備える。
 CPU51Aは、各種プログラムに従う処理を実行する。メモリ51Bは、各種プログラムを記憶するROM、及び、CPU51Aによる処理実行時に作業領域として使用されるRAMを含む。以下では、CPU51Aがプログラムに従って実行する処理を、制御ユニット51を動作主体として説明する。
 スピーカ53は、異なる複数の音域に対応した複数のスピーカユニット及びアンプを備えた構成にされる。スピーカ53は、制御ユニット51から入力されるオーディオ信号を音に変換して出力するように動作する。
 ディスプレイ55は、例えば液晶ディスプレイとして構成される。ディスプレイ55は、制御ユニット51に制御されて、楽曲再生時に歌詞を表示する。この他、ディスプレイ55は、制御ユニット51に制御されて、楽曲再生時に視覚エフェクトを表示する。ここで言う視覚エフェクトは、楽曲のリズムに合わせて、色及び幾何学模様の少なくとも一方を変化させるアニメーションのことを言う。
 通信ユニット57は、通信端末10と同様に、近距離無線通信モジュール及び無線LAN通信モジュール(図示せず)を備える。即ち、通信ユニット57は、上記近距離通信規格に従う近距離無線通信、及び、IEEE802.11通信規格に従う無線LAN通信を実現可能な構成にされる。制御ユニット51は、通信ユニット57を介して通信端末10と近距離通信又は無線LAN通信を行う。更に、制御ユニット51は、通信ユニット57を介した通信により、広域ネットワークNTに配置されたサーバ装置90と広域通信する。
 サーバ装置90は、制御ユニット91及びデータベース95を備えた構成にされる。制御ユニット91は、広域ネットワークNTを通じて音響システム50と通信可能な構成にされる。制御ユニット91は、音響システム50から広域ネットワークNTを通じて歌詞データDLの要求信号を受信すると、その要求信号に従って、音響システム50から要求された歌詞データDLを、データベース95内で検索するように動作する。
 制御ユニット91は、上記検索により、上記要求された歌詞データDLをデータベース95内で見つけることができた場合には、当該歌詞データDLを含む応答信号を、音響システム50に送信する。一方、歌詞データDLを見つけることができなかった場合には、その旨の応答信号を、広域ネットワークNTを通じて音響システム50に送信するように動作する。
 データベース95は、図3に示すように、楽曲毎の歌詞データDLを有した構成にされる。図3に示すように、歌詞データDLは、メタデータと、歌詞データ本体と、を有する。メタデータは、楽曲名、作曲者名及び作詞者名等の楽曲情報を含む。楽曲情報は、音響システム50から要求された歌詞データDLを特定するために用いられる。
 歌詞データ本体は、楽曲に対応する歌詞を表す文字列の一群を有する。具体的に、歌詞データ本体は、楽曲全体の歌詞を、複数行に区切って定義される行毎に、行データを有した構成にされる。行データは、行開始時刻として、その行に対応する楽曲部分(パート)の再生開始時刻の情報を有した構成にされる。行開始時刻は、楽曲の先頭を原点ゼロとした時刻、即ち、楽曲先頭からの再生時間で表される。
 行データは、この行に対応する歌詞領域に関して、文節毎に、この文節の開始時刻及び終了時刻を表す情報、並びに、この文節に対応する歌詞の文字列を有した構成にされる。文節の開始時刻及び終了時刻も、楽曲の先頭を原点とした時刻(再生時間)で表される。行データにおいて、各文節の文字列は、この文節の開始時刻から終了時刻までの期間において表示されるべき文字列として定義される。
 続いて、通信端末10の制御ユニット11により実現される機能の詳細を、図4を用いて説明する。制御ユニット11は、プログラムの実行により、主制御部111、第一送信制御部113、及び、第二送信制御部115として機能する。
 主制御部111は、記憶ユニット13が記憶する楽曲データDMの一つに対する再生指示が、ユーザインタフェース15を通じてユーザから入力されたことを条件に、図5に示す処理を実行するように構成される。
 具体的に、主制御部111は、再生指示が入力されると、再生指示により指定された再生処理対象の楽曲データDMを参照し(S110)、この楽曲データDMに対応する曲目データを付した動作命令を、音響システム50に、通信ユニット17を介して送信する(S120)。この動作命令及び曲目データの送信は、例えば、OSC(OpenSound Control)通信プロトコルに基づいて、無線LAN通信により行われる。
 楽曲データDMは、図4に示すように、楽曲データ本体にメタデータが付された構成にされる。メタデータは、楽曲名、作曲者名及び作詞者名等の楽曲情報を有する。主制御部111は、このメタデータを参照して、再生処理対象の楽曲データDMに対応する曲目データを付した動作命令を、音響システム50に通信ユニット17を介して送信する。
 曲目データは、音響システム50が再生処理対象の楽曲データDMに対応する歌詞データDLをサーバ装置90から取得できるようにするために、音響システム50に提供される。即ち、曲目データは、楽曲データDMに対応する歌詞データDLを音響システム50及びサーバ装置90が識別可能な識別用データとして送信される。曲目データは、例えば楽曲名、作曲者名及び作詞者名等の楽曲情報を含んだ構成にされ得る。
 動作命令を送信すると、音響システム50からは、通知信号として、歌詞データDLのサーバ装置90からの取得が完了したことを表す取得完了通知、及び、歌詞データDLのサーバ装置90からの取得に失敗したことを表す取得失敗通知のいずれかが送信されてくる。主制御部111は、この通知信号を、通信ユニット17を介して音響システム50から受信する(S130)。
 その後、主制御部111は、受信した通知信号が取得完了通知及び取得失敗通知のいずれであるかに応じて処理を切り替える(S140)。主制御部111は、受信した通知信号が取得完了通知である場合には(S140でYes)、S150に移行し、楽曲再生処理及び再生位置送信処理の開始を指示する。楽曲再生処理の開始指示は、第一送信制御部113に入力される。再生位置送信処理の開始指示は、第二送信制御部115に入力される。
 第一送信制御部113は、上記開始指示に従って、楽曲データDMを再生処理することにより、楽曲データDMの再生用信号を生成し、この再生用信号を、通信ユニット17を介して音響システム50に送信する。ここで言う再生処理は、楽曲をスピーカ53が出力するまでの再生過程の内、通信端末10側で完了すべき過程を実現するための処理であり得る。
 従って、第一送信制御部113が実行する再生処理は、主に楽曲データDMをデコードする処理であり得る。例えば、再生処理は、音響システム50が楽曲をスピーカ53から出力可能な形態まで、楽曲データDMをデコードする処理であり得る。
 本実施例では、上記再生処理として、楽曲データDMのストリーム再生を実現するための処理が、第一送信制御部113により実行される。楽曲データDMをストリーム再生するための技術としては、アップル社のAirPlay(登録商標)が知られている。第一送信制御部113は、この種の技術を用いて、楽曲データDMを再生用信号に変換し、これを近距離無線通信又は無線LAN通信により、音響システム50に送信する構成にされ得る。
 一方、第二送信制御部115は、上記開始指示に従って、第一送信制御部113により再生処理される楽曲データDMの再生位置を表す再生位置信号を送信する構成にされる。即ち、第二送信制御部115は、第一送信制御部113が送信する再生用信号によって出力される音の楽曲全体における位置(再生位置)を表す再生位置信号を送信する。
 第二送信制御部115は、第一送信制御部113が管理する再生位置の情報を、第一送信制御部113から取得して、その再生位置を表す再生位置信号を送信する構成にされ得る。再生位置信号は、例えば、再生位置を、楽曲先頭を原点ゼロとした時刻、即ち楽曲先頭からの再生時間で表した信号として構成され得る。
 付言すると、第二送信制御部115は、1秒から数秒程度の一定時間Tc毎に、その時点での再生位置を表す再生位置信号を音響システム50に送信するように構成され得る。図6に示す逆三角図形は、再生位置信号の送信タイミングを表す。上段領域(I)に示す例によれば、再生位置信号は、一定の時間間隔Tcを有する時刻t0,t1,t2,t3,t4,t5,t6,t7,t8の夫々で送信される。時刻t0は、楽曲先頭(楽曲の再生開始タイミング)に対応する。
 ところで、ユーザからは、ユーザインタフェース15を通じて、戻し再生指示、及び、スキップ指示等のトリックプレイに関する指示が入力される場合がある。この場合、第一送信制御部113は、ユーザからの上記指示に従って、再生位置を変更するように、楽曲データDMに対する再生処理を実行する。
 こういったケースを想定すると、再生位置信号を一定の時間間隔Tcで送信する方法では、実際の再生位置と音響システム50が再生位置信号に基づいて把握する再生位置との間にずれが生じやすい。そこで、第二送信制御部115は、再生位置が不規則に変化する事象の発生時には、その事象発生時点で、変化後の再生位置を表す再生位置信号を送信するように構成されてもよい。
 図6の中段領域(II)に示す例によれば、第二送信制御部115は、再生位置信号を、一定の時間間隔2Tcを有する時刻t0,t2,t4の夫々で送信する。その後、戻し再生指示が入力されたことに起因して第一送信制御部113での再生位置が変更されると、第二送信制御部115は、次のように動作する。即ち、第二送信制御部115は、再生位置が変更された時点(時刻t10)で、再生位置信号の定期送信動作を逸脱して、再生位置信号を送信するように動作する。第二送信制御部115は、その後、時刻t10を基点にした一定の時間間隔2Tcで(即ち、時刻t12,t14,16の夫々で)、再生位置信号を送信する。
 図6の下段領域(III)に示す例によれば、第二送信制御部115は、再生位置信号を一定の時間間隔2Tcを有する時刻t0,t2の夫々で送信する。その後、スキップ再生指示が入力されたことに起因して第一送信制御部113での再生位置が変更されると、第二送信制御部115は、次のように動作する。即ち、第二送信制御部115は、再生位置が変更された時点(時刻t20)で、再生位置信号の定期送信動作を逸脱して、再生位置信号を送信するように動作する。第二送信制御部115は、その後、時刻t20を基点にした一定の時間間隔2Tc毎に(例えば時刻t22で)、再生位置信号を送信する。
 図6の中段領域(II)及び下段領域(III)に示される再生位置信号の送信周期2Tcは、上段領域(I)に示される再生位置信号の送信周期Tcより長い。このことは、再生位置が不連続に変化する事象の発生時点で再生位置信号を送信するように、第二送信制御部115を構成すれば、定期送信時の再生位置信号の送信周期を長くし得ることを示唆している。なぜなら、トリックプレイ等によっても、実際の再生位置と、音響システム50が把握する再生位置との間にずれが生じにくいためである。
 S150(図5参照)における開始指示により、第一送信制御部113及び第二送信制御部115では、上述した処理が開始され、この処理は、楽曲の再生が終了するまで行われる。主制御部111は、S150の処理により楽曲の再生が開始されると、S160に移行し、歌詞表示処理を実行することにより、楽曲の再生に合わせて、ユーザインタフェース15に、歌詞を表示させる。
 本実施例では、音響システム50が、サーバ装置90から取得した歌詞データDLを上記取得完了通知と共に通信端末10に送信する。この歌詞データDLは、S130において通知信号と共に受信される。S160において主制御部111が実行する歌詞表示処理は、この歌詞データDLに基づいて、ユーザインタフェース15(液晶ディスプレイ)に、歌詞を表示させる処理である。主制御部111は、歌詞表示処理において、第一送信制御部113から再生位置の情報を取得し、再生位置に応じた歌詞の文字列が表示されるように、ユーザインタフェース15を制御する。
 具体的に、主制御部111は、再生位置に対応する歌詞の文節を、歌詞データDLが示す文節毎の文節開始時刻及び文節終了時刻に基づいて特定する。具体的には、再生位置が表す楽曲先頭からの再生時間(再生時刻)が、文節開始時刻から文節終了時刻までの期間内にある文節を、再生位置に対応する文節に特定する。そして、主制御部111は、歌詞データDLが示す上記特定した文節の文字列を、文字画像として液晶ディスプレイに表示させるように、ユーザインタフェース15を制御する。主制御部111は、この歌詞表示処理を楽曲の再生が終了するまで継続し、その後、歌詞表示処理(S160)及び図5に示す処理を終了する。
 この他、主制御部111は、音響システム50から受信した通知信号が取得失敗通知である場合(S140でNo)、S170に移行し、S150と同様に、楽曲再生処理の開始を指示する。その後、図5に示す処理を終了する。取得失敗通知を受信した場合には、再生処理対象の楽曲データDMに対応する歌詞データDLを音響システム50が有していない。この場合、音響システム50では、楽曲の再生に合わせて、ディスプレイ55に歌詞を表示することができない。
 S170では、音響システム50に、歌詞表示なしで楽曲をスピーカ53から出力させるために、第二送信制御部115に対して開始指示を入力せず、第一送信制御部113に対して開始指示を入力する。
 続いて、音響システム50の制御ユニット51により実現される機能の詳細を、図4を用いて説明する。音響システム50の制御ユニット51は、プログラムの実行により、データ取得部511、再生制御部513、表示制御部515、及び、カウンタ517として機能する。
 データ取得部511は、通信端末10からの動作命令に応じて、サーバ装置90から歌詞データDLを取得する。歌詞データDLの取得のために、データ取得部511は、図7に示す処理を繰返し実行する。この処理を開始すると、データ取得部511は、通信端末10からS120で送信される動作命令及び曲目データを、通信ユニット57を介して受信するまで待機し、動作命令及び曲目データを受信すると(S210でYes)、S220に移行する。
 S220において、データ取得部511は、通信端末10から受信した曲目データに基づき、通信端末10が再生処理しようとする楽曲データDMに対応する歌詞データDLを、サーバ装置90に要求する。例えば、データ取得部511は、受信した曲目データが示す楽曲名等を含む要求信号をサーバ装置90に通信ユニット57を介して送信する。
 この要求信号が送信されると、サーバ装置90からは上述した応答信号が送信されてくる。データ取得部511は、サーバ装置90からの応答信号を、通信ユニット57を介して受信する(S230)。その後、応答信号に歌詞データDLが含まれるか否かを判断する(S240)。
 ここで、応答信号に歌詞データDLが含まれると判断すると(S240でYes)、データ取得部511は、S250に移行し、動作命令送信元の通信端末10に対して、通信ユニット57を介して取得完了通知を送信する。データ取得部511は、取得完了通知に、サーバ装置90から取得した歌詞データDLを付して送信することができる。
 一方、応答信号に歌詞データDLが含まれない場合(S240でNo)、データ取得部511は、S260に移行し、動作命令送信元の通信端末10に対して、通信ユニット57を介して、歌詞データDLの取得に失敗した旨の取得失敗通知を送信する。上記取得完了通知又は取得失敗通知の送信後、データ取得部511は、図7に示す処理を一旦終了する。
 再生制御部513は、上記取得完了通知又は取得失敗通知の送信後に、通信端末10から送信されてくる再生用信号を、通信ユニット57を介して受信し、この再生用信号に基づく音を、受信に応じて連鎖的にスピーカ53に出力させることにより、スピーカ53を通じた楽曲再生を実現する。例えば、再生制御部513は、受信した再生用信号を、アナログのオーディオ信号に変換して、これをスピーカ53に入力することにより、再生用信号に基づく音(サウンド)をスピーカ53に出力させる。楽曲データDMのストリーム再生に、Airplayを用いる場合には、この規格に従って送信されてくる再生用信号を、逐次スピーカ53への入力信号に変換するように、再生制御部513は動作し得る。
 一方、表示制御部515は、上記取得完了通知の送信後に、通信端末10から送信されてくる再生位置信号を、通信ユニット57を介して受信し、この再生位置信号及び歌詞データDLに基づいて、スピーカ53からの出力音に対応する歌詞の文字列がディスプレイ55に表示されるように、ディスプレイ55を制御する。
 例えば、表示制御部515は、カウンタ517がカウントする時間を、受信した再生位置信号が表す再生位置に対応した時間に補正する構成にされ得る。カウンタ517は、楽曲の再生が開始される時(時刻t0)に、通信端末10から送信されてくる再生位置信号に基づく表示制御部515の動作によってゼロにリセットされる。カウンタ517は、その後の経過時間をカウントする。
 カウンタ517によりカウントされる時間は、表示制御部515が再生位置信号を受信する度、表示制御部515の動作によって、その再生位置信号が示す再生位置に対応する時間に補正される。この補正により、カウンタ517がカウントする時間は、楽曲先頭からの再生時間に基本的に一致した時間に補正され、トリックプレイの影響を大きくは受けない、楽曲の再生位置を表すパラメータとして機能する。
 表示制御部515は、このカウンタ517がカウントする時間及び歌詞データに基づいて、スピーカ53からの出力音に対応する歌詞の文字列を、ディスプレイ55に表示させる構成にされ得る。このカウンタ517は、再生位置信号の非受信期間において、スピーカ53から出力される音の再生位置を、表示制御部515が特定することを可能にする点で有益である。従って、カウンタ517は、再生位置信号の送信間隔が長い場合に特に有効に機能する。逆に、再生位置信号の送信間隔が短い場合、カウンタ517は、設けられなくてもよい。
 表示制御部515は、通信端末10のS160において実行される歌詞表示処理と同様の手法で、データ取得部511が取得した歌詞データDLに基づき、スピーカ53から出力される音の再生位置に応じた歌詞の文字列を、ディスプレイ55に表示させるように、ディスプレイ55を制御することができる。
 通信端末10から音響システム50に再生位置信号が提供されることにより、通信端末10及び音響システム50の間では、ほぼ同期して、ユーザインタフェース15及びディスプレイ55上に、スピーカ53から出力される楽曲の再生区間に対応した歌詞の文字列が表示される。ここで「ほぼ同期して」と表現したのは、通信によるタイムラグによって、通信端末10が把握する再生位置と、音響システム50が把握する再生位置との間に微小な誤差が生じる可能性があるためである。
 以上、本実施例の楽曲再生システム1について説明したが、この楽曲再生システム1によれば、通信端末10が有する楽曲データDMを利用して、楽曲再生を、音響システム50に実現させることができる。しかも、音響システム50は、楽曲データDMが表す一連の音(楽曲)の出力に合わせて、出力音に対応する歌詞の言葉(文字列)を、画像として出力することができる。従って、この楽曲再生システム1によれば、楽曲に対する新たな楽しみ方をユーザに提供することができ、楽曲を聴くことに対するユーザの楽しみを増大することができる。
 例えば、ユーザは、音響システム50を利用して楽曲を音として楽しむことができ、同時に、その歌詞を見て楽しむことができる。更に、ユーザは、この音響システム50と同一空間内にいる他のユーザとの間で、楽曲及び歌詞を共有することができる。付言すれば、この音響システム50によれば、楽曲を歌詞と共に楽しんでほしいという一部の楽曲提供者の願いに答えることができ、楽曲を歌詞と共に楽しみたいという一部の消費者の欲求にも十分答えることができる。
 上記実施例では、通信端末10から音響システム50に対して再生位置信号を提供することで、既存の楽曲データDM及び既存のストリーム再生技術を利用しつつ、音響システム50で、楽曲再生に合わせて歌詞表示を行うことができるようにした点も、注目すべき点である。
 また、上記実施例では、音響システム50がサーバ装置90から歌詞データDLを取得して、これを通信端末10に提供する。通信端末10は、この音響システム50から受信した歌詞データDLに基づき、スピーカ53からの出力音に対応する歌詞の文字列を、ユーザインタフェース15に表示させる。この歌詞表示は、音響システム50と通信端末10との間でほぼ同期して行われる。
 従って、ユーザは、音響システム50が表示する歌詞を見ることもできるし、手元の通信端末10が表示する歌詞も見ることもできる。このように、本実施例の楽曲再生システム1は、ユーザが快適に楽曲を楽しむことができる効果をもたらす点で、非常に有益である。
 [第一変形例]
 続いて、上記実施例に対する第一変形例を説明する。第一変形例の楽曲再生システム1は、図1の破線で示すように、音響システム50が、動作命令元の通信端末10とは異なる別の通信端末10Aに対して、歌詞データDL及び再生位置信号を、通信ユニット57を介して送信するように構成されたものである。以下では、本変形例の楽曲再生システム1が備える構成及び動作に関して、上記実施例とは異なる構成及び動作を説明し、同一の構成及び動作の説明を適宜省略する。
 本変形例によれば、データ取得部511が、S250(図7参照)において、歌詞データDLを動作命令元の通信端末10に加えて他の通信端末10Aにも送信するように構成される。他の通信端末10Aの例としては、音響システム50と同じローカルエリアネットワーク内の通信端末や、音響システム50と近距離通信可能な通信端末を一例に挙げることができる。本変形例では、更に、表示制御部515が、通信端末10から受信した再生位置信号を、通信ユニット57を介して他の通信端末10Aに送信するように構成される。
 このように構成された楽曲再生システム1によれば、通信端末10Aは、通信端末10と同様に、音響システム50による楽曲再生に合わせて、内蔵するディスプレイに歌詞を表示することができる。例えば、通信端末10Aは、表示制御部515と同様の手法で、内蔵するディスプレイに歌詞を表示することができる。
 複数の通信端末10,10Aで歌詞表示を行うことができれば、通信端末10,10Aを所有する複数のユーザ同士で、楽曲及び歌詞を共有することができ、楽曲の楽しみが増大する。本変形例に対する更なる変形例として、音響システム50は、通信端末10から取得した曲目データを、歌詞データDLに代えて、通信端末10Aに提供する構成にされてもよい。この場合、通信端末10Aは、受信した曲目データに基づき、サーバ装置90から、再生処理対象の楽曲データDMに対応する歌詞データDLを取得するように構成され得る。
 [第二変形例]
 続いて、上記実施例に対する第二変形例を説明する。第二変形例の楽曲再生システム1は、図8に示すように、通信端末10が、サーバ装置90から歌詞データDLを取得するように構成される。以下では、本変形例の楽曲再生システム1が備える構成及び動作に関して、上記実施例とは異なる構成及び動作を説明し、同一の構成及び動作の説明を適宜省略する。
 本変形例では、通信端末10の制御ユニット11が、主制御部111に代えて主制御部611として機能する。主制御部611は、記憶ユニット13が記憶する楽曲データDMの一つに対する再生指示がユーザインタフェース15を通じてユーザから入力されたことを条件に、再生処理対象の楽曲データDMが有するメタデータを参照して、この楽曲データDMに対応する歌詞データDLを、サーバ装置90に要求する。
 例えば、主制御部611は、メタデータが示す楽曲名等を含む要求信号をサーバ装置90に、通信ユニット17を介して送信することができる。通信ユニット17は広域通信可能に構成される。主制御部611は、この要求信号に対する応答信号をサーバ装置90から受信し、応答信号に歌詞データDLが含まれる場合には、この歌詞データDLを、通信ユニット17を介して音響システム50に送信した後、S150,S160と同様の処理を実行する。応答信号に歌詞データDLが含まれない場合、主制御部611は、S170と同様の処理を実行する。
 S160と同様の処理として、主制御部611は、自己がサーバ装置90から取得した歌詞データDLに基づいて、音響システム50からの出力音に対応する歌詞の文字列を、ユーザインタフェース15に表示させる処理を実行することができる。
 本変形例によれば、音響システム50の制御ユニット51は、データ取得部511に代えてデータ取得部711として機能する。データ取得部711は、通信ユニット57を介して通信端末10から歌詞データDLを受信し、この歌詞データDLを、表示制御部515に提供する。本変形例によれば、音響システム50を広域通信可能に構成しなくても、音響システム50に歌詞データDLを提供することができる。
 [他の実施形態]
 本発明は、更に様々な態様にて実施することが可能である。上記実施例並びに第一及び第二変形例は、楽曲データDM及び歌詞データDLを取り扱うものであったが、本発明に対応する技術思想は、音声付動画データ及び字幕データを取り扱う動画再生システムにも適用することができる。この場合、音響システムは、動画を再生する一方、動画に対応する字幕を表示するように構成され得る。字幕の例としては、例えば、動画音声の翻訳文及び解説文を一例に挙げることができる。
 上記実施例並びに第一及び第二変形例に関して言及すると、歌詞データDLは、音声で再生される歌詞を、正確に文字で表示するためのデータであってもよいし、音声で再生される歌詞とは異なる言語で歌詞を表示するためのデータであってもよい。例えば、日本語で歌われる楽曲に対して、英語の歌詞を表示可能であるように、歌詞データDLは構成され得る。このような歌詞の表示形態は、再生される楽曲に対応する原曲が異なる言語の歌として存在する場合に有意義に機能する。
 また、上記実施例では、歌詞を構成する文字列が文節毎に分割されたデータ構造を有する歌詞データDLを例示したが、歌詞データDLは、歌詞の各部位と再生位置との対応関係を規定する情報が含まれるデータ構造を有するものであれば十分であり、例示されたデータ構造を有するものに限定されない。例えば、上述した歌詞データDLの行データは、文節毎に分割された文字列を有するものではなく、行の開始時刻(及び終了時刻)、並びに、その行の文字列が記載されたものであってもよい。
 この他、再生位置が不規則に変化するようなトリックプレイが存在しない環境を前提とすれば、再生位置信号は、用いられなくてもよい。即ち、音響システム50は、再生用信号に基づく楽曲のスピーカ53からの出力が開始される時点を基準に、この時点からの経過時間をカウンタ517にて計測し、計測される経過時間を、再生位置に対応する時間であるとみなして、出力音に対応する歌詞の文字列をディスプレイ55に表示するように動作し得る。
 また、音響システム50は、通信端末10からの再生用信号又はスピーカ53からの出力音を解析して歌詞を抽出するように構成され得る。この場合、音響システム50は、解析により抽出した歌詞を表示することができる。従って、歌詞データDLは、サーバ装置90から取得されなくてもよい。
 同様に、音響システム50は、通信端末10からの再生用信号又はスピーカ53からの出力音を解析して楽曲名を特定するように構成され得る。この場合、音響システム50は、曲目データを通信端末10から受信しなくても、サーバ装置90から対応する歌詞データDLを取得可能である。
 音響システム50における歌詞表示は、歌詞の一部を強調表示するような形態で実現されてもよい。例えば、歌詞データDLには、強調表示すべき文字列に目印を付しておくことができる。そして、音響システム50は、この目印に従って、歌詞の一部を強調表示するように、ディスプレイ55を制御する構成にされ得る。こうした強調表示は、楽曲提供者が特に伝いたいメッセージを含む歌詞の部分に対して行い得る。
 音響システム50のディスプレイ55に表示される視覚エフェクトは、ユーザインタフェース15を通じたユーザからの操作に応じて変更されてもよい。例えば、通信端末10は、ユーザインタフェース15を通じて入力される、視覚エフェクトに対する操作信号を、音響システム50に通信ユニット17を介して送信する構成にされ得る。
 一方、音響システム50は、通信端末10から受信した上記操作信号に基づき、視覚エフェクトを変更するように、ディスプレイ55を制御する構成にされ得る。例えば、通信端末10のユーザが、ユーザインタフェース15に対して叩く操作を行うと、これに対応して、叩いたときの振動が伝わっているかのようなアニメーションが視覚エフェクトに現れるように、ディスプレイ55は制御され得る。このようなアニメーションは、歌詞の文字列画像に対しても加えられ得る。
 プログラムにより制御ユニット11,51上で実現される機能の一部又は全部は、専用のハードウェア回路により実現されてもよい。
 この他、制御ユニット11を、主制御部111、第一送信制御部113及び第二送信制御部115として機能させるためのプログラムは、コンピュータが読取可能なあらゆる形態の記録媒体に記録され得る。例えば、このプログラムは、持ち運び可能な半導体製メモリ、磁気ディスク、及び、光ディスク等に格納されて、ユーザに提供され得る。プログラムは、ネットワークを通じて通信端末10に提供又はインストールされてもよい。
 更に、通信端末10と音響システム50との間の通信は、適切な範囲内で任意の通信技術を用いて実現することができ、この通信は、例示されたAirplayやブルートゥース通信等に何ら限定されるものでない。勿論、通信端末10と音響システム50との間の通信は、複数の通信規格又は単一の通信規格を用いて実現可能である。送受信するデータ及び信号の種類に応じて、異なる通信規格で通信が行われてもよい。ここでは、通信端末10と音響システム50との間の通信について言及したが、音響システム50とサーバ装置90との間の通信、通信端末10とサーバ装置90との間の通信に対しても同様のことが言える。
 [対応関係]
 最後に、用語間の対応関係について説明する。スピーカ53及びディスプレイ55は、出力ユニットの一例に対応し、ユーザインタフェース15は、表示ユニットの一例に対応する。再生制御部513は、第一出力制御ユニットの一例に対応し、表示制御部515は、第二出力制御ユニットの一例に対応し、データ取得部511,711は、取得制御ユニットの一例に対応する。この他、第一送信制御部113は、第一送信制御ユニットの一例に対応し、第二送信制御部115は、第二送信制御ユニットの一例に対応し、主制御部111,611は、表示制御ユニットの一例に対応する。

Claims (15)

  1.  音響システムであって、
     音及び画像を出力可能な出力ユニットと、
     外部装置と通信可能な通信ユニットと、
     音響データの再生用信号を送信する通信機器から、前記通信ユニットを介して前記再生用信号を受信し、前記再生用信号に基づく音を前記受信に応じて前記出力ユニットに出力させることにより、前記音響データが表す一連の音の再生を実現する第一出力制御ユニットと、
     前記音響データが表す前記一連の音の内、前記出力ユニットが出力する音に対応する言葉を、前記画像として前記出力ユニットに出力させる第二出力制御ユニットと、
     を備える音響システム。
  2.  前記通信機器は、前記再生用信号に基づいて出力される音の前記音響データにおける再生位置を表す再生位置信号を送信する構成にされ、
     前記第二出力制御ユニットは、前記通信機器から、前記通信ユニットを介して前記再生位置信号を受信し、前記再生位置信号に基づいて、前記出力ユニットが出力する音に対応する言葉を、前記画像として前記出力ユニットに出力させる請求項1記載の音響システム。
  3.  前記通信機器は、前記再生用信号に基づいて出力される音の前記音響データにおける再生位置を表す再生位置信号を送信する構成にされ、
     前記音響システムは、
     再生時間をカウントするカウンタを備え、
     前記第二出力制御ユニットは、前記カウンタがカウントする再生時間を、前記受信した前記再生位置信号が表す前記再生位置に対応した時間に補正し、前記カウンタがカウントする前記再生時間に基づいて、前記出力ユニットが出力する音に対応する言葉を、前記画像として前記出力ユニットに出力させる請求項1記載の音響システム。
  4.  前記通信機器とは異なるサーバ装置から、前記通信ユニットを介して、前記音響データに対応する画像出力用データを取得する取得制御ユニット
     を備え、
     前記画像出力用データは、前記音響データが表す前記一連の音に対応する複数の言葉を含み、
     前記第二出力制御ユニットは、前記画像出力用データに基づき、前記複数の言葉の内、前記出力ユニットが出力する音に対応する言葉を、前記画像として前記出力ユニットに出力させる請求項1~請求項3のいずれか一項記載の音響システム。
  5.  前記取得制御ユニットは、前記サーバ装置から取得した前記画像出力用データを、前記通信機器に、前記通信ユニットを介して送信する請求項4記載の音響システム。
  6.  前記通信機器から、前記通信ユニットを介して、前記音響データに対応する画像出力用データを取得する取得制御ユニットを備え、
     前記画像出力用データは、前記音響データが表す前記一連の音に対応する複数の言葉を含み、
     前記第二出力制御ユニットは、前記画像出力用データに基づき、前記複数の言葉の内、前記出力ユニットが出力する音に対応する言葉を、前記画像として前記出力ユニットに出力させる請求項1~請求項3のいずれか一項記載の音響システム。
  7.  前記取得制御ユニットは、前記音響データに対応する前記画像出力用データを識別可能な識別用データを、前記通信機器から前記通信ユニットを介して受信し、前記受信した前記識別用データに基づき、前記音響データに対応する前記画像出力用データを前記サーバ装置から取得する請求項4又は請求項5記載の音響システム。
  8.  前記画像出力用データは、前記複数の言葉の夫々に関して、前記音響データにおける音の再生位置と言葉との対応関係を規定する情報を含み、
     前記第二出力制御ユニットは、前記対応関係を規定する情報に基づき、前記複数の言葉の内、前記出力ユニットが出力する音の再生位置に対応する言葉を、前記画像として前記出力ユニットに出力させる請求項4~請求項7のいずれか一項記載の音響システム。
  9.  前記音響データは、楽曲データであり、
     前記第二出力制御ユニットは、前記一連の音としての前記楽曲データが表す楽曲の内、前記出力ユニットが出力する部分に対応する歌詞の言葉を、前記画像として前記出力ユニットに出力させる請求項1~請求項8のいずれか一項記載の音響システム。
  10.  前記音響データは、楽曲データであり、
     前記画像出力用データは、歌詞データであり、
     前記第二出力制御ユニットは、前記楽曲データに対応する前記歌詞データに基づき、前記一連の音としての前記楽曲データが表す楽曲の内、前記出力ユニットが出力する部分に対応する歌詞の言葉を、前記画像として前記出力ユニットに出力させる請求項4~請求項8のいずれか一項記載の音響システム。
  11.  請求項2又は請求項3記載の音響システムと通信可能な通信機器であって、
     前記音響データを記憶する記憶ユニットと、
     前記音響データの再生指示が入力されたことを条件に、前記音響データを再生処理して、前記音響データが表す一連の音を前記音響システムに出力させるための再生用信号を前記音響システムに送信する第一送信制御ユニットと、
     前記一連の音の内、前記再生用信号に基づいて出力される音の前記音響データにおける再生位置を表す再生位置信号を前記音響システムに送信する第二送信制御ユニットと、
     を備える通信機器。
  12.  請求項5記載の音響システムと通信可能な通信機器であって、
     画像を出力可能な表示ユニットと、
     前記音響データを記憶する記憶ユニットと、
     前記音響データの再生指示が入力されたことを条件に、前記音響データを再生処理して、前記音響データが表す一連の音を前記音響システムに出力させるための再生用信号を前記音響システムに送信する送信制御ユニットと、
     前記音響データに対応する前記画像出力用データを前記音響システムから受信し、前記受信した前記画像出力用データに基づき、前記音響システムの前記出力ユニットによって出力される音に対応する言葉を、前記画像として前記表示ユニットに出力させる表示制御ユニットと、
     を備える通信機器。
  13.  請求項6記載の音響システムと通信可能な通信機器であって、
     画像を出力可能な表示ユニットと、
     前記音響データを記憶する記憶ユニットと、
     前記音響データの再生指示が入力されたことを条件に、前記音響データを再生処理して、前記音響データが表す一連の音を前記音響システムに出力させるための再生用信号を前記音響システムに送信する送信制御ユニットと、
     前記音響データに対応する前記画像出力用データを取得して、前記画像出力用データを前記音響システムに送信すると共に、前記画像出力用データに基づき、前記音響システムの前記出力ユニットによって出力される音に対応する言葉を、前記画像として前記表示ユニットに出力させる表示制御ユニットと、
     を備える通信機器。
  14.  前記一連の音の内、前記再生用信号に基づいて出力される音の前記音響データにおける再生位置を表す再生位置信号を、前記音響システムに送信する更なる送信制御ユニットを備え、
     前記音響システムは、前記出力される音に対応する言葉を、前記再生位置信号及び前記画像出力用データに基づき、画像として出力する構成にされ、
     前記表示制御ユニットは、前記出力される音に対応する言葉を、前記再生位置に応じて前記表示ユニットに出力させることにより、前記言葉についての前記音響システム及び前記通信機器における同期した画像出力を実現する
     請求項12又は請求項13記載の通信機器。
  15.  請求項2又は請求項3記載の音響システムと通信可能な通信機器のコンピュータに、
     音響データの再生指示が入力されたことを条件に、前記音響データを再生処理して、前記音響データが表す一連の音を前記音響システムに出力させるための再生用信号を前記音響システムに送信する第一送信制御手順と、
     前記一連の音の内、前記再生用信号に基づいて出力される音の前記音響データにおける再生位置を表す再生位置信号を前記音響システムに送信する第二送信制御手順と、
     を実行させるためのプログラム。
PCT/JP2014/076181 2014-09-30 2014-09-30 音響システム、通信機器及びプログラム Ceased WO2016051534A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP14903120.5A EP3203468B1 (en) 2014-09-30 2014-09-30 Acoustic system, communication device, and program
PCT/JP2014/076181 WO2016051534A1 (ja) 2014-09-30 2014-09-30 音響システム、通信機器及びプログラム
US15/515,752 US10181312B2 (en) 2014-09-30 2014-09-30 Acoustic system, communication device, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/076181 WO2016051534A1 (ja) 2014-09-30 2014-09-30 音響システム、通信機器及びプログラム

Publications (1)

Publication Number Publication Date
WO2016051534A1 true WO2016051534A1 (ja) 2016-04-07

Family

ID=55629625

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/076181 Ceased WO2016051534A1 (ja) 2014-09-30 2014-09-30 音響システム、通信機器及びプログラム

Country Status (3)

Country Link
US (1) US10181312B2 (ja)
EP (1) EP3203468B1 (ja)
WO (1) WO2016051534A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016051534A1 (ja) * 2014-09-30 2016-04-07 株式会社Six 音響システム、通信機器及びプログラム
US10186246B2 (en) * 2015-03-12 2019-01-22 Cotodama Inc. Musical piece reproducing system, data outputting apparatus, and musical piece reproducing method
WO2021107172A1 (ko) * 2019-11-26 2021-06-03 엘지전자 주식회사 디스플레이 장치 및 디스플레이 시스템

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004177586A (ja) * 2002-11-26 2004-06-24 Matsushita Electric Ind Co Ltd 携帯通信端末、コンテンツ再生装置およびコンテンツ再生システム
JP2006106286A (ja) * 2004-10-04 2006-04-20 Xing Inc 携帯式情報端末を用いたカラオケシステム
JP2006106039A (ja) * 2004-09-30 2006-04-20 Toshiba Corp 情報処理装置
JP2008197501A (ja) * 2007-02-14 2008-08-28 Yamaha Corp 電子楽器及び演奏データ利用プログラム
JP2010286812A (ja) * 2009-05-15 2010-12-24 Fujitsu Ltd 携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラム
JP2011158669A (ja) * 2010-01-29 2011-08-18 Toshiba Corp オーディオデータ再生装置及び歌詞表示方法
JP2013068900A (ja) * 2011-09-26 2013-04-18 Yamaha Corp 情報処理装置及びプログラム
JP2013160890A (ja) * 2012-02-03 2013-08-19 Brother Ind Ltd 情報処理プログラム、情報処理装置、歌詞表示方法、及び通信システム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU633828B2 (en) * 1988-12-05 1993-02-11 Ricos Co., Ltd. Apparatus for reproducing music and displaying words
US5610986A (en) * 1994-03-07 1997-03-11 Miles; Michael T. Linear-matrix audio-imaging system and image analyzer
US7098392B2 (en) * 1996-07-10 2006-08-29 Sitrick David H Electronic image visualization system and communication methodologies
US6668158B1 (en) * 1998-07-16 2003-12-23 Sony Corporation Control method, control apparatus, data receiving and recording method, data receiver and receiving method
JP3627636B2 (ja) * 2000-08-25 2005-03-09 ヤマハ株式会社 楽曲データ生成装置及び方法並びに記憶媒体
JP2002073049A (ja) 2000-08-31 2002-03-12 Casio Comput Co Ltd 音楽配信サーバ、音楽再生端末、及びサーバ処理プログラムを記憶した記憶媒体、端末処理プログラムを記憶した記憶媒体
EP1619599A1 (en) * 2000-11-27 2006-01-25 Yamaha Corporation Information retrieval system and information retrieval method using network
JP3753039B2 (ja) * 2001-09-21 2006-03-08 ヤマハ株式会社 電子音楽装置
JP2003228375A (ja) 2002-02-04 2003-08-15 Sony Corp 音楽データ送受信システム及び音楽データ送受信方法
JP3915695B2 (ja) * 2002-12-26 2007-05-16 ヤマハ株式会社 自動演奏装置及びプログラム
US20040266337A1 (en) * 2003-06-25 2004-12-30 Microsoft Corporation Method and apparatus for synchronizing lyrics
US7605322B2 (en) * 2005-09-26 2009-10-20 Yamaha Corporation Apparatus for automatically starting add-on progression to run with inputted music, and computer program therefor
JP2008083297A (ja) 2006-09-27 2008-04-10 Yamaha Corp 音楽プレーヤー及びサーバー装置
US20080113325A1 (en) 2006-11-09 2008-05-15 Sony Ericsson Mobile Communications Ab Tv out enhancements to music listening
JP2008278328A (ja) 2007-05-01 2008-11-13 Toshiba Corp スピーカーシステム
US8158872B2 (en) * 2007-12-21 2012-04-17 Csr Technology Inc. Portable multimedia or entertainment storage and playback device which stores and plays back content with content-specific user preferences
US7973230B2 (en) * 2007-12-31 2011-07-05 Apple Inc. Methods and systems for providing real-time feedback for karaoke
JP2010250023A (ja) * 2009-04-14 2010-11-04 Fujitsu Ltd テキスト表示機能付情報処理装置、データ取得方法およびデータ取得プログラム
US9026942B2 (en) * 2011-02-25 2015-05-05 Cbs Interactive Inc. Song lyric processing with user interaction
US20130065213A1 (en) * 2011-09-13 2013-03-14 Harman International Industries, Incorporated System and method for adapting audio content for karaoke presentations
US9224374B2 (en) * 2013-05-30 2015-12-29 Xiaomi Inc. Methods and devices for audio processing
JP6484958B2 (ja) * 2014-08-26 2019-03-20 ヤマハ株式会社 音響処理装置、音響処理方法およびプログラム
WO2016051534A1 (ja) * 2014-09-30 2016-04-07 株式会社Six 音響システム、通信機器及びプログラム
US10186246B2 (en) * 2015-03-12 2019-01-22 Cotodama Inc. Musical piece reproducing system, data outputting apparatus, and musical piece reproducing method
US9975002B2 (en) * 2015-05-08 2018-05-22 Ross Philip Pinkerton Synchronized exercising and singing
JP6732564B2 (ja) * 2016-06-29 2020-07-29 キヤノン株式会社 信号処理装置および信号処理方法

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004177586A (ja) * 2002-11-26 2004-06-24 Matsushita Electric Ind Co Ltd 携帯通信端末、コンテンツ再生装置およびコンテンツ再生システム
JP2006106039A (ja) * 2004-09-30 2006-04-20 Toshiba Corp 情報処理装置
JP2006106286A (ja) * 2004-10-04 2006-04-20 Xing Inc 携帯式情報端末を用いたカラオケシステム
JP2008197501A (ja) * 2007-02-14 2008-08-28 Yamaha Corp 電子楽器及び演奏データ利用プログラム
JP2010286812A (ja) * 2009-05-15 2010-12-24 Fujitsu Ltd 携帯型情報処理装置、コンテンツ再生方法およびコンテンツ再生プログラム
JP2011158669A (ja) * 2010-01-29 2011-08-18 Toshiba Corp オーディオデータ再生装置及び歌詞表示方法
JP2013068900A (ja) * 2011-09-26 2013-04-18 Yamaha Corp 情報処理装置及びプログラム
JP2013160890A (ja) * 2012-02-03 2013-08-19 Brother Ind Ltd 情報処理プログラム、情報処理装置、歌詞表示方法、及び通信システム

Also Published As

Publication number Publication date
US20170301328A1 (en) 2017-10-19
EP3203468B1 (en) 2023-09-27
EP3203468A4 (en) 2018-04-25
US10181312B2 (en) 2019-01-15
EP3203468A1 (en) 2017-08-09

Similar Documents

Publication Publication Date Title
US12250530B2 (en) Portable playback devices with network operation modes
US20200204938A1 (en) Audio Playback Settings for Voice Interaction
KR102702658B1 (ko) 디스플레이 장치, 디스플레이 장치의 배경음악 제공방법 및 배경음악 제공 시스템
US20130301392A1 (en) Methods and apparatuses for communication of audio tokens
WO2014161282A1 (zh) 视频文件播放进度的调整方法及装置
US12010492B2 (en) Systems and methods for coordinated playback of analog and digital media content
JP5943050B2 (ja) 音楽再生装置、及び、音楽再生プログラム
WO2016051534A1 (ja) 音響システム、通信機器及びプログラム
JP5986387B2 (ja) 情報処理プログラム、情報処理装置、歌詞表示方法、及び通信システム
WO2017166686A1 (zh) 外接扬声器切换方法及装置
JP5728120B1 (ja) 音響システム、通信機器及びプログラム
KR101573868B1 (ko) 노래 가사 자동 디스플레이 방법, 노래 가사를 인식하는 서버 및 이 서버를 포함하는 노래 가사 자동 디스플레이 시스템
US20240267416A1 (en) Content discovery though prompts
JP6474292B2 (ja) カラオケ装置
JP2007199574A (ja) 楽曲再生装置、楽曲テロップ検索サーバ
KR20130050539A (ko) 음원 정보를 제공하는 이동 단말기 및 시스템, 및 음원 정보 제공 방법
JP5777532B2 (ja) オーディオ装置
JP2016099502A (ja) コンテンツ再生システム
JP2013195887A (ja) 音響再生装置
JP2016213569A (ja) コンテンツ再生システム
CN105491445A (zh) 一种媒体文件播放的方法、装置及终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14903120

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 15515752

Country of ref document: US

REEP Request for entry into the european phase

Ref document number: 2014903120

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: JP