[go: up one dir, main page]

WO2023032266A1 - 情報処理装置、情報処理方法およびプログラム - Google Patents

情報処理装置、情報処理方法およびプログラム Download PDF

Info

Publication number
WO2023032266A1
WO2023032266A1 PCT/JP2022/009107 JP2022009107W WO2023032266A1 WO 2023032266 A1 WO2023032266 A1 WO 2023032266A1 JP 2022009107 W JP2022009107 W JP 2022009107W WO 2023032266 A1 WO2023032266 A1 WO 2023032266A1
Authority
WO
WIPO (PCT)
Prior art keywords
seat
information processing
sound field
purchased
cheers
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2022/009107
Other languages
English (en)
French (fr)
Inventor
正行 佐賀野
裕美 深谷
秀平 宮崎
寛菜 富永
丈 松井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Group Corp
Original Assignee
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Group Corp filed Critical Sony Group Corp
Priority to CN202280057555.2A priority Critical patent/CN117897971A/zh
Priority to JP2023545025A priority patent/JPWO2023032266A1/ja
Priority to EP22863856.5A priority patent/EP4387277A4/en
Priority to US18/683,542 priority patent/US20240357303A1/en
Publication of WO2023032266A1 publication Critical patent/WO2023032266A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/02—Reservations, e.g. for tickets, services or events
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10K—SOUND-PRODUCING DEVICES; METHODS OR DEVICES FOR PROTECTING AGAINST, OR FOR DAMPING, NOISE OR OTHER ACOUSTIC WAVES IN GENERAL; ACOUSTICS NOT OTHERWISE PROVIDED FOR
    • G10K15/00—Acoustics not otherwise provided for
    • G10K15/02—Synthesis of acoustic waves
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/478—Supplemental services, e.g. displaying phone caller identification, shopping application
    • H04N21/4788—Supplemental services, e.g. displaying phone caller identification, shopping application communicating with other users, e.g. chatting
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R27/00—Public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field

Definitions

  • the present invention relates to an information processing device, an information processing method, and a program.
  • the present disclosure proposes an information processing device, an information processing method, and a program capable of providing highly realistic content.
  • an information processing device has a processor that reproduces a sound field generated in a seat purchased by a ticket purchaser. Further, according to the present disclosure, there are provided an information processing method in which the information processing of the information processing device is executed by a computer, and a program for causing the computer to implement the information processing of the information processing device.
  • FIG. 10 is an explanatory diagram of a seat exchange application using chat
  • FIG. 10 is an explanatory diagram of simultaneous viewing application using chat
  • FIG. 11 is a diagram for explaining an experience example of online live viewing
  • FIG. 11 is a diagram for explaining an experience example of online live viewing
  • It is a figure explaining an example of a virtual cheer system.
  • It is a figure explaining an example of a remote virtual live system.
  • It is a figure which shows the hardware structural example of a server.
  • FIG. 1 is a diagram showing an example of a content distribution service DS.
  • the content distribution service DS is a service that distributes content such as concerts, stage performances and talk events online to ticket purchasers TP.
  • Content to be distributed may include both live events and past events, but an example in which live events are distributed will be described below.
  • the content distribution service DS is implemented by an information processing system including a server SV and terminals TM.
  • the user US accesses the ticket purchase site using a terminal TM such as a smartphone.
  • the user US designates a seat position and purchases a ticket while referring to the seating chart SC of the venue CV of the event.
  • the user US can apply for a friend FD to be registered in the server SV.
  • the seat (purchased seat ST) specified by the ticket purchaser TP can be changed after purchasing the ticket using the "seat change" button BT3 (see FIG. 3).
  • the ticket purchaser TP can change his seat ST-1 to a position closer to his friend's seat ST-2.
  • the user can enjoy conversation with the friend FD during the live performance.
  • Information about the seat position (for example, seat number) of the ticket purchaser TP is registered in the server SV as seat information.
  • Live video data LV and live audio data LS of the venue CV are transmitted to the server SV from a plurality of cameras and microphones installed in the venue CV.
  • audio data representing the cheers (cheers data CH) is transmitted from the terminal TM of the ticket purchaser TM to the server SV.
  • voice data (conversation data TD) representing the conversation is transmitted from the terminal TM of the ticket purchaser TM to the server SV.
  • the server SV uses various data received from the venue CV and the terminal TM to generate video and audio to be viewed at the seat position of the ticket purchaser TP.
  • the volume is set based on the distances from the performer PM (stage) serving as the sound source, the friend FD, and the audience.
  • Information processing of the server SV is performed by the processor PR.
  • the server SV generates sound data that three-dimensionally reproduces the sound field of the sound heard from the stage based on the positional relationship between the purchased seat ST and the stage.
  • the server SV Based on the positional relationship between the purchased seat ST and the friend's seat, the server SV generates audio data that three-dimensionally reproduces the sound field of the conversation heard from the friend's seat.
  • a cheering sound is generated such that the cheering can be heard from the direction of the purchased seat ST (spectator seat) of the audience member AU.
  • the server SV generates sound data stereoscopically reproducing the sound field of the cheers heard from each spectator seat based on the positional relationship between the purchased seat ST and each spectator seat.
  • the server SV uses the generated video and audio to generate distribution data SF.
  • the distribution data SF is associated with the seat.
  • the server SV transmits the distribution data SF to the terminal TM of the ticket purchaser TP who purchased the corresponding seat.
  • the ticket purchaser TP can obtain a high sense of realism as if he were watching at the venue CV.
  • FIG. 2 is a diagram for explaining the ticket purchase procedure.
  • the user US operates the touch panel DP of the terminal TM to log in to the ticket purchase site (STEP A1).
  • the user US confirms the contents of the ticket and selects whether to watch the live performance online (online live viewing) or go directly to the venue to watch the live performance (venue participation) (STEP A2). In the example of FIG. 2, online live viewing is selected.
  • the user US designates the seat ST (STEP A3).
  • seats with seat numbers "A9", “A18” and “F11” are designated.
  • “Free” means that all seats can be freely moved and viewed.
  • the position of the viewing seat can be instantly switched by operating the terminal TM. Therefore, the user US can purchase multiple seats at the same time.
  • the cost of purchasing a ticket will vary depending on the number of seats purchased. The more seats you purchase, the higher the ticket purchase cost. Ticket prices may vary depending on seat location. For example, there is a possibility that a particular seat will be popular because the closer to the stage the larger the image is and the easier it is to see, or the more three-dimensional sound is heard in the center of the venue CV. In that case, the operator can sell tickets for popular seats at a higher price.
  • the operator can arbitrarily decide whether to sell one ticket or multiple tickets for each seat. Since the ticket purchaser TP views the video and audio to be viewed on the seat at home via the terminal TM, the same seat can be shared by a plurality of people.
  • the user US can confirm the venue information by tapping the "venue information" button BT1.
  • the venue information includes various information about the venue (word-of-mouth information about the venue, etc.).
  • the user US can decide which seats to purchase while confirming the venue information.
  • the user US sets the method for releasing the purchased ticket (STEP A4).
  • information to be disclosed includes ticket information (ticket content, viewing method) and seat number information.
  • ticket information ticket content, viewing method
  • seat number information As for the disclosure range, it is possible to select from four options: “not disclosed”, “disclosed only to friends”, “disclosed to friends of friends", and “disclosed to all”.
  • a new communication may occur, such as a friend FD who sees the published contents purchases the same ticket or purchases an adjacent seat.
  • a function may be provided for notifying that a friend FD who has applied for a friend is participating in the same event after ticket purchase.
  • the seats to be sold may be virtual seats such as high seats or backstage seats that are not in the actual venue CV.
  • the operator can arbitrarily determine the number of seats, the arrangement pattern of the seats, and the like.
  • the ticket purchaser TP may select a preferred seat arrangement pattern from a plurality of seat arrangement patterns prepared by the operator.
  • FIG. 3 is a diagram for explaining seat change based on venue information.
  • the user US logs into the ticket purchase site and checks the ticket purchase history (STEP B1).
  • a list of purchased tickets is displayed on the touch panel DP of the terminal TM.
  • the user US can check the venue CV of the event, the seat number of the purchased seat ST, and the comments of others participating in the same event (STEP B2). Others' comments can be filtered based on seat search and viewing style.
  • the user US can create a comment by tapping the "edit comment" button BT2.
  • a "seat change” button BT3 is displayed below the seat number display position.
  • the user US can change the purchased seat ST using the "change seat” button BT3.
  • the user US taps the "venue information" button BT1 to display comment information on past events held at the same venue (STEP B3).
  • the order of display of comments is determined based on the positional relationship between the seat of the person who posted the comment and the seat of the user US. For example, if there is a contributor with the same seat number as the user US, the comments of the contributor with the same seat number are preferentially displayed.
  • the user US can use the "seat search" button BT4 to narrow down the comments. For example, when the user US taps the "seat search” button BT4, the seating chart SC is displayed (STEP B4). The user US taps the seat to designate the poster's seat. The server SV extracts the comment of the contributor of the designated seat and transmits it to the terminal TM (STEP B5). In the example of FIG. 3, the comments of the contributor in seat "A1" are selectively displayed. The comment may display the posting date.
  • FIG. 4 is an explanatory diagram of a seat exchange application using chat.
  • the user US operates the ticket purchase history screen and confirms other people's comments about the event to be attended (STEP C1-C2).
  • the user US confirms the participation status and seat position of the friend FD based on the comment information.
  • the user US When the user US wishes to sit next to the friend FD, the user US confirms the reservation status of the seat next to the friend FD. For example, the user US uses the "seat search" button BT4 to search for the comments of the person who posted the seat next to the friend FD (STEP C3). If the comment hits, it can be understood that the seat next to the friend FD has been purchased by this contributor. In the example of FIG. 4, the friend FD's seat number is "A1". As a result of the user US searching for the comments of the person who posted the seat "A2", one comment was hit.
  • the user US uses the chat function to request this poster to change seats. For example, the user US activates the chat function by tapping the poster's comment, and writes a seat exchange request message in the reply column of the comment. If the contributor has accepted the request, the user US uses the "seat exchange request" button BT5 to apply for a seat exchange between the user US and the contributor (STEP C4).
  • FIG. 5 is an explanatory diagram of simultaneous viewing application using chat.
  • the user US confirms the participation status and seat position of the friend FD using the same method as STEP C1-C2 in FIG. 4 (STEP D1-D2).
  • the user US uses the chat function to request the friend FD to view the program simultaneously.
  • the user US taps the friend FD's comment to activate the chat function, and writes a simultaneous viewing request message in the reply column of the comment.
  • the friend FD accepts the request, the user US applies for simultaneous viewing by the user US and the friend FD using the "apply for simultaneous viewing" button BT6 (STEP D3).
  • 6 and 7 are diagrams for explaining examples of online live viewing experiences.
  • the ticket purchaser TP uses the terminal TM to view the video and audio of the live venue.
  • a plurality of cameras are installed in the venue CV so as to surround the stage.
  • the server SV uses a free-viewpoint video technique or the like to generate a viewpoint video (viewpoint video) according to the seat position of the ticket purchaser TP from the videos captured by a plurality of cameras.
  • the server SV transmits the generated viewpoint video as a live video VID to the terminal TM of the ticket purchaser TP.
  • the server SV may generate a live video VID that changes according to the movement of the head (change in viewpoint). good.
  • the server SV can determine whether or not to change the live video VID following the movement of the head based on the user input information transmitted from the terminal TM.
  • the server SV acquires the live audio data LS from the venue CV.
  • the server SV acquires cheer data and conversation data from the terminal TM of each ticket purchaser TP.
  • the server SV identifies individual sound sources included in the voice. In the example of FIG. 6, the sound sources are the performer PM who plays and talks, the friend FD who converses, and the audience AU who cheers.
  • the server SV associates the position of the sound source with the sound for each sound source that generates the sound field.
  • the server SV calculates the positional relationship between the purchased seat ST and the sound source for each sound source.
  • the server SV generates audio data that three-dimensionally reproduces the sound field produced by the sound source based on the calculated positional relationship.
  • Stereophonic data of each sound source is thereby generated.
  • the stereophonic data is sound data for stereoscopically reproducing the sound of the sound source at the purchased seat ST.
  • the server SV transmits the stereophonic data of each sound source together with the live video LV as distribution data SF to the terminal TM of the ticket purchaser TP. As a result, the server SV reproduces the sound field generated at the purchased seat ST of the ticket purchaser TP.
  • the reproduced sound field includes the sound field of the voice heard from the stage, the sound field of the conversation heard from the friend's seat, and the sound field of the cheers.
  • the performer PM is performing on the stage. Sounds heard from the stage include performance songs and stage banter (performer PM chatting between songs). Cheers include a conversation with the performer PM during the stage banter.
  • the terminal TM reproduces the live video LV and audio transmitted from the server SV. If there is a friend FD who has applied for simultaneous viewing, the thumbnail FV of the friend FD is displayed on the touch panel DP together with the live video LV.
  • the display position of the thumbnail FV is determined based on the positional relationship with the friend's seat. For example, if the friend's seat is on the left side of his/her own seat, the thumbnail FV is displayed on the lower left corner of the touch panel DP. If the friend's seat is on the right side of his/her own seat, the thumbnail FV is displayed on the lower right of the touch panel DP.
  • the user US can display the "Settings" button BT7 by tapping the upper right corner of the touch panel DP.
  • a setting window SW as shown in FIG. 7 is displayed on the right side of the touch panel DP.
  • the setting window SW displays a UI (User Interface) for independently adjusting the volume of each sound source.
  • a UI is displayed for adjusting the volume of the live performance, the volume of the conversation with the friend FD, and the volume of the cheers.
  • the server SV independently adjusts the volume of each sound source included in the sound field based on user input information input using the setting window SW.
  • the adjustment window SW also displays a switch BT8 for switching the conversation concentration mode and a switch BT9 for switching the cheering mode.
  • Conversation concentration mode is a mode that eliminates the directionality of voice caused by the positional relationship between the seat of the user and the seat of a friend. Turning on the conversation concentration mode makes it easier to hear the voice of the conversation.
  • the cheers mode is a mode for approving the audio distribution of the voice of the user US of the terminal TM as cheers. When the cheers mode is turned on, the voice of the user US is reproduced as cheers together with the voices of other audience members AU.
  • FIG. 8 is a diagram illustrating an example of a virtual cheering system.
  • the distribution data SF includes the cheer data CH of each audience member AU.
  • the audience AU can select whether or not to deliver their own voice as cheers by switching the cheering mode. Therefore, the cheers viewed through the terminal TM selectively include the cheers of one or more spectators AUs who have approved the audio distribution (the cheers mode has been turned ON) among all the spectator AUs who have purchased tickets.
  • the server SV acquires the cheer data CH as data linked to the seat position.
  • the server SV synthesizes the cheering data CH of all the spectators AU whose voice distribution has been approved based on the seat position of each spectator AU. As a result, audio data that can stereoscopically reproduce cheers having directivity according to the seat position at any position is generated.
  • the server SV synthesizes the cheering data CH of all the audience members AU whose voice distribution has been approved based on the positional relationship between the purchased seat ST of each audience member AU and the purchased seat ST of the user US. As a result, the server SV generates audio data capable of stereoscopically reproducing the sound field of the cheers generated at the purchased seat ST of the user US.
  • the server SV includes the generated audio data representing the cheers in the distribution data SF of the user US and transmits the distribution data SF.
  • the server SV synthesizes the cheering data CH of all the audience members AU whose voice distribution has been approved, based on the positional relationship between the purchased seat ST of each audience member AU and the stage. As a result, the server SV generates sound data (total cheer data TCH) capable of stereoscopically reproducing the sound field of cheers occurring on the stage.
  • the server SV transmits the generated total cheer data TCH to the speakers in the venue CV.
  • the performer PM performs while listening to the cheers of the audience AU. Since the voice of the audience AU can be heard, the performer PM can communicate with the audience AU during the stage banter.
  • the server SV can remove inappropriate utterances included in the cheers using a speech recognition technique as described in WO2018/088319. At this time, the server SV issues a warning to the speaker who has made inappropriate remarks, and if the same speaker makes inappropriate remarks the number of times exceeding the allowable standard (for example, three times), the speaker is dismissed. (lost the right to speak).
  • the server SV When the server SV detects inappropriate remarks, it can replace cheers obtained live with past similar cheers and distribute them.
  • the delivered cheers are past cheers that do not contain inappropriate remarks, similar to the lively captured cheers.
  • the server SV stores past live cheer data, and uses AI (Artificial Intelligence) to extract cheers similar to currently acquired cheers from the past cheer data.
  • AI Artificial Intelligence
  • FIG. 9 is a diagram illustrating an example of a remote virtual live system.
  • the video and audio of the performance performed at the venue CV of the event were delivered to the terminal TM.
  • the performance is performed at a place other than the venue CV of the event.
  • Performer PMs also perform at places separated from each other.
  • the video and audio of each performer PM's performance are synthesized and delivered to the terminal TM.
  • the position PO of each performer PM on the stage is predetermined.
  • the server SV generates stereophonic data of the performance of each performer PM based on the positional relationship between the seat of the ticket purchaser TP and each performer PM (sound source).
  • the server SV synthesizes the stereophonic data of each performer PM and transmits it to the terminal TM of the ticket purchaser TP. As a result, the server SV reproduces the sound field generated at the purchased seat ST of the ticket purchaser TP.
  • the server SV reproduces the sound field generated at the purchased seat ST based on the acoustic characteristics of the venue CV (reverberation time, ST (support), echo time pattern), the position PO of the performer PM, and the position of the purchased seat ST.
  • the acoustic characteristics of the venue CV are measured in advance by the operator of the venue CV.
  • the server SV acquires the acoustic characteristics of a plurality of measurement points MP set in the venue CV as the acoustic characteristics of the venue CV.
  • the server SV corrects the performer data of the performer PM acquired at another location based on the acoustic characteristics of the measurement point MP closest to the position PO of the performer PM on the stage.
  • the server SV uses the corrected performance data as voice data of the performer PM.
  • the server SV uses the acoustic characteristics of the measurement point MP closest to the seat position of the ticket purchaser TP to generate stereophonic data for stereoscopically reproducing the corrected performance data at the seat position.
  • the distribution data SF may be generated based on the background video and audio characteristics of the virtual venue CV designed by the operator.
  • FIG. 10 is a diagram illustrating a hardware configuration example of the server SV.
  • the server SV functions as an information processing device that processes various types of information.
  • Server SV is realized by computer 1000 as shown in FIG.
  • the computer 1000 has a CPU 1100 , a RAM 1200 , a ROM (Read Only Memory) 1300 , a HDD (Hard Disk Drive) 1400 , a communication interface 1500 and an input/output interface 1600 .
  • Each part of computer 1000 is connected by bus 1050 .
  • the CPU 1100 operates based on programs stored in the ROM 1300 or HDD 1400 and controls each section. For example, the CPU 1100 loads programs stored in the ROM 1300 or HDD 1400 into the RAM 1200 and executes processes corresponding to various programs.
  • CPU 1100 may form a processor PR.
  • the ROM 1300 stores a boot program such as BIOS (Basic Input Output System) executed by the CPU 1100 when the computer 1000 is started, and programs dependent on the hardware of the computer 1000.
  • BIOS Basic Input Output System
  • the HDD 1400 is a computer-readable recording medium that non-temporarily records programs executed by the CPU 1100 and data used by such programs.
  • HDD 1400 is a recording medium that records an information processing program according to the present disclosure, which is an example of program data 1450 .
  • a communication interface 1500 is an interface for connecting the computer 1000 to an external network 1550 (for example, the Internet).
  • the CPU 1100 receives data from another device via the communication interface 1500, and transmits data generated by the CPU 1100 to another device.
  • the input/output interface 1600 is an interface for connecting the input/output device 1650 and the computer 1000 .
  • the CPU 1100 receives data from input devices such as a keyboard and mouse via the input/output interface 1600 .
  • the CPU 1100 transmits data to an output device such as a display, a speaker, or a printer via the input/output interface 1600 .
  • the input/output interface 1600 may function as a media interface for reading a program or the like recorded on a predetermined recording medium.
  • Media include, for example, optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk), magneto-optical recording media such as MO (Magneto-Optical disk), tape media, magnetic recording media, semiconductor memories, etc. is.
  • optical recording media such as DVD (Digital Versatile Disc) and PD (Phase change rewritable disk)
  • magneto-optical recording media such as MO (Magneto-Optical disk)
  • tape media magnetic recording media
  • magnetic recording media semiconductor memories, etc. is.
  • the CPU 1100 implements various functions of the computer 1000 by executing programs loaded onto the RAM 1200 .
  • the HDD 1400 also stores a program for causing the computer 1000 to function as the server SV.
  • CPU 1100 reads and executes program data 1450 from HDD 1400 , as another example, these programs may be obtained from another device via external network 1550 .
  • the server SV has a processor PR.
  • the processor PR reproduces the sound field generated at the purchased seat ST of the ticket purchaser TP.
  • the processor PR calculates the positional relationship between the purchased seat ST and the sound source for each sound source that generates the sound field.
  • the processor PR generates sound data that three-dimensionally reproduces the sound field produced by the sound source based on the calculated positional relationship.
  • the processing of the server SV is executed by a computer.
  • the program of the present disclosure causes a computer to implement the processing of the server SV.
  • the sound field includes the sound field of the voice heard from the stage, the sound field of the conversation heard from the friend's seat, and the sound field of the cheers.
  • the processor PR generates audio data that three-dimensionally reproduces the sound field of the audio heard from the stage based on the positional relationship between the purchased seat ST and the stage. Based on the positional relationship between the purchased seat ST and the friend's seat, the processor PR generates audio data that three-dimensionally reproduces the sound field of the conversation heard from the friend's seat. Based on the positional relationship between the purchased seat ST and each spectator seat, the processor PR generates audio data that three-dimensionally reproduces the sound field of cheers heard from each spectator seat.
  • Cheers selectively include the cheers of one or more spectator AUs who have approved audio distribution among all spectator AUs who have purchased tickets.
  • the processor PR removes inappropriate remarks included in the cheers.
  • the processor PR issues a warning to the speaker who made the inappropriate remark.
  • Cheers are past cheers that do not contain inappropriate remarks, similar to the cheers captured live.
  • the processor PR reproduces the sound field based on the acoustic characteristics of the venue CV, the positions of the performers PM, and the positions of the purchased seats ST.
  • the processor PR independently adjusts the volume of each sound source included in the sound field based on user input information.
  • An information processing device having a processor that reproduces a sound field generated in a seat purchased by a ticket purchaser.
  • the processor calculates the positional relationship between the purchased seat and the sound source for each sound source that generates the sound field, and based on the positional relationship, generates audio data that stereoscopically reproduces the sound field generated by the sound source. generate, The information processing apparatus according to (1) above.
  • the sound field includes a sound field of audio heard from a stage; The information processing apparatus according to (1) or (2) above.
  • the processor generates audio data that three-dimensionally reproduces the sound field of the audio heard from the stage based on the positional relationship between the purchased seat and the stage.
  • the information processing device according to (3) above.
  • the sound field includes a sound field of a conversation heard from a friend's seat, The information processing apparatus according to any one of (1) to (4) above.
  • the processor generates audio data that three-dimensionally reproduces the sound field of the conversation heard from the friend's seat, based on the positional relationship between the purchased seat and the friend's seat.
  • the sound field includes a cheering sound field;
  • the processor generates audio data stereoscopically reproducing a sound field of cheers heard from each spectator seat based on the positional relationship between the purchased seat and each spectator seat.
  • the cheers selectively include cheers of one or more spectators who have approved audio distribution among all the spectators who have purchased tickets.
  • the information processing apparatus according to (7) or (8) above. The processor removes inappropriate remarks included in the cheers, The information processing apparatus according to any one of (7) to (9) above. (11) the processor warns the speaker who made the inappropriate remark; The information processing apparatus according to (10) above. (12) The cheers are past cheers that do not contain inappropriate remarks, similar to the cheers captured live. The information processing apparatus according to (7) above. (13) the processor reproduces the sound field based on the acoustic properties of the venue, the positions of the performers and the positions of the purchased seats; The information processing apparatus according to any one of (1) to (12) above.
  • the processor independently adjusts the volume of each sound source included in the sound field based on user input information.
  • the information processing apparatus according to any one of (1) to (13) above.
  • a computer-implemented information processing method comprising reproducing a sound field occurring at a purchased seat of a ticket purchaser.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Business, Economics & Management (AREA)
  • Tourism & Hospitality (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Operations Research (AREA)
  • General Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Quality & Reliability (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Development Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Health & Medical Sciences (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

情報処理装置（ＳＶ）は、プロセッサ（ＰＲ）を有する。プロセッサ（ＰＲ）は、チケット購入者（ＴＰ）の購入座席（ＳＴ）に生じる音場を再現する。

Description

情報処理装置、情報処理方法およびプログラム
　本発明は、情報処理装置、情報処理方法およびプログラムに関する。
　インターネットの普及により、ネットワークを介して様々なコンテンツが配信されている。最近では、コンサート、舞台およびトークイベントなどのコンテンツをチケット購入者に対してオンラインで配信するサービスも提供されている。
国際公開第２０１６／０３９１５６号
　従来の配信サービスでは、主催者が提供する特定のアングルの映像および音声がコンテンツとして配信される。そのため、チケット購入者が実際に会場に行って、購入した席で視聴するような臨場感は得られない。
　そこで、本開示では、臨場感の高いコンテンツを提供することが可能な情報処理装置、情報処理方法およびプログラムを提案する。
　本開示によれば、チケット購入者の購入座席に生じる音場を再現するプロセッサを有する情報処理装置が提供される。また、本開示によれば、前記情報処理装置の情報処理がコンピュータにより実行される情報処理方法、ならびに、前記情報処理装置の情報処理をコンピュータに実現させるプログラムが提供される。
コンテンツ配信サービスの一例を示す図である。 チケット購入手続きを説明する図である。 会場情報に基づく座席変更を説明する図である。 チャットを用いた座席交換申請の説明図である。 チャットを用いた同時視聴申請の説明図である。 オンラインライブ視聴の体験例を説明する図である。 オンラインライブ視聴の体験例を説明する図である。 仮想歓声システムの一例を説明する図である。 遠隔バーチャルライブシステムの一例を説明する図である。 サーバのハードウェア構成例を示す図である。
　以下に、本開示の実施形態について図面に基づいて詳細に説明する。以下の各実施形態において、同一の部位には同一の符号を付することにより重複する説明を省略する。
　なお、説明は以下の順序で行われる。
［１．コンテンツ配信サービス］
［２．チケット購入］
［３．会場情報に基づく座席変更］
［４．チャットを用いた座席交換申請］
［５．チャットを用いた同時視聴申請］
［６．オンラインライブ視聴の体験例］
［７．仮想歓声システム］
［８．遠隔バーチャルライブシステム］
［９．ハードウェア構成例］
［１０．効果］
［１．コンテンツ配信サービス］
　図１は、コンテンツ配信サービスＤＳの一例を示す図である。
　コンテンツ配信サービスＤＳは、コンサート、舞台およびトークイベントなどのコンテンツをオンラインでチケット購入者ＴＰに配信するサービスである。配信の対象となるコンテンツにはライブイベントおよび過去イベントの双方が含まれ得るが、以下ではライブイベントが配信される例が説明される。コンテンツ配信サービスＤＳは、サーバＳＶおよび端末ＴＭを含む情報処理システムによって実施される。
　例えば、ユーザＵＳは、スマートフォンなどの端末ＴＭを用いてチケット購入サイトにアクセスする。ユーザＵＳは、イベントの会場ＣＶの座席表ＳＣを参照しながら、座席位置を指定してチケットを購入する。ユーザＵＳは、友人ＦＤをフレンド申請してサーバＳＶに登録することができる。
　チケット購入者ＴＰが指定した座席（購入座席ＳＴ）は、「座席変更」ボタンＢＴ３（図３参照）を用いてチケット購入後に変更することができる。例えば、チケット購入者ＴＰは、自分の座席ＳＴ－１を友人席ＳＴ－２と近い位置に変更することができる。これにより、ライブ中に友人ＦＤとの会話を楽しむことができる。
　チケット購入者ＴＰの座席位置（例えば座席番号）に関する情報は、座席情報としてサーバＳＶに登録される。サーバＳＶには、会場ＣＶに設置された複数のカメラおよびマイクから会場ＣＶのライブ映像データＬＶおよびライブ音声データＬＳが送信される。観客ＡＵであるチケット購入者ＴＰが歓声をあげた場合には、歓声を示す音声データ（歓声データＣＨ）がチケット購入者ＴＭの端末ＴＭからサーバＳＶに送信される。チケット購入者ＴＰが友人ＦＤと会話する場合には、会話を示す音声データ（会話データＴＤ）がチケット購入者ＴＭの端末ＴＭからサーバＳＶに送信される。
　サーバＳＶは、会場ＣＶおよび端末ＴＭから受信された各種データを用いて、チケット購入者ＴＰの座席位置において視聴されるべき映像および音声を生成する。音量は、音源となる演者ＰＭ（ステージ）、友人ＦＤおよび観客との距離に基づいて設定される。サーバＳＶの情報処理はプロセッサＰＲによって実施される。
　例えば、購入座席ＳＴから見てステージが右側にある場合には、ステージを左側から見た映像、および、演奏が右側から聞こえるような演奏音が生成される。サーバＳＶは、購入座席ＳＴとステージとの位置関係に基づいて、ステージから聞こえる音声の音場を立体的に再現する音声データを生成する。
　友人ＦＤの購入座席ＳＴが右側にある場合には、友人ＦＤの会話が右側から聞こえるような会話の音声が生成される。サーバＳＶは、購入座席ＳＴと友人席との位置関係に基づいて、友人席から聞こえる会話の音場を立体的に再現する音声データを生成する。
　歓声をあげている観客ＡＵが存在する場合には、観客ＡＵの購入座席ＳＴ（観客席）の方向から歓声が聞こえるような歓声の音声が生成される。サーバＳＶは、購入座席ＳＴと各観客席との位置関係に基づいて、各観客席から聞こえる歓声の音場を立体的に再現する音声データを生成する。
　サーバＳＶは、生成された映像および音声を用いて配信データＳＦを生成する。配信データＳＦは、座席に紐づけられている。サーバＳＶは、配信データＳＦを、対応する座席を購入したチケット購入者ＴＰの端末ＴＭに送信する。チケット購入者ＴＰは、サーバＳＶから取得した配信データＳＦを再生することにより、会場ＣＶで視聴しているかのような高い臨場感を得ることができる。
［２．チケット購入］
　図２は、チケット購入手続きを説明する図である。
　ユーザＵＳは、端末ＴＭのタッチパネルＤＰを操作して、チケット購入サイトにログインする（ＳＴＥＰ　Ａ１）。ユーザＵＳは、チケット内容を確認し、オンラインでライブ演奏を視聴するか（オンラインライブ視聴）、直接会場に出向いてライブ演奏を視聴するか（会場参加）を選択する（ＳＴＥＰ　Ａ２）。図２の例では、オンラインライブ視聴が選択されている。
　視聴方法を選択したら、ユーザＵＳは座席ＳＴの指定を行う（ＳＴＥＰ　Ａ３）。図２の例では、座席番号が「Ａ９」、「Ａ１８」および「Ｆ１１」の座席が指定されている。「フリー」は、全ての座席を自由に移動して視聴できることを意味する。オンラインライブ視聴の場合には、視聴する座席の位置が端末ＴＭの操作によって瞬時に切り替えられる。そのため、ユーザＵＳは、複数の座席を同時に購入することができる。
　チケットの購入費用は、購入する座席の数に応じて変わる。購入する座席の数が多いほどチケット購入費用は高くなる。座席の位置によってチケットの値段を変えてもよい。例えば、ステージに近いほうが映像が大きくて見やすくなる、あるいは、会場ＣＶの中央のほうが音が立体的に聞こえるなどの理由により、特定の座席に人気が集まる可能性がある。その場合、運営者は、人気の座席のチケットの値段を高くして販売することができる。
　１つの座席に対して販売するチケットの数を１枚とするか複数枚とするかは運営者が任意に決めることができる。チケット購入者ＴＰは、座席で視聴されるべき映像および音声を端末ＴＭを介して在宅で視聴するため、同じ座席を複数人で共有することができる。
　１つの座席に対して複数のチケットを販売すると、他人の購入状況を気にせずに好きな座席を購入することができる。チケットの売り上げの増加にも貢献する。場所の異なる複数の座席を同時に購入し、席移動して視聴するという楽しみ方も可能となる。１つの座席に対して販売するチケットの数を１枚とすると、上述のような効果は得られないが、チケット購入者ＴＰに対して特別感を与えることができる。
　友人ＦＤとの会話を希望する場合には、追加料金を支払うようにすることもできる。自分の声を会場の歓声に含めることを希望する場合にも、追加料金を支払うようにすることができる。歓声は演者ＰＭに聞こえるため、ステージバンター時に演者ＰＭとコミュニケーションすることができる可能性がある。ただし、運営者が多くの観客の歓声を希望する場合には、歓声を配信する購入者のチケットの値段を下げることもできる。
　ユーザＵＳは、「会場情報」ボタンＢＴ１をタップして会場情報を確認することができる。会場情報には、会場に関する様々な情報（会場に関する口コミ情報など）が含まれる。ユーザＵＳは、会場情報を確認しながら購入する座席を決めることができる。
　座席の指定が終了したら、ユーザＵＳは、購入したチケットの公開方法について設定を行う（ＳＴＥＰ　Ａ４）。例えば、公開の対象となる情報（公開内容）には、チケット情報（チケット内容、視聴方法）および座席番号の情報が含まれる。公開範囲については、「公開しない」、「友達のみ公開」、「友達の友達まで公開」および「全公開」の４つから選択することができる。購入したチケットを公開することで、公開内容を見た友人ＦＤなどが、同じチケットを購入したり、隣の座席を購入したりするなど、新しいコミュニケーションが生まれる可能性がある。チケット購入後に、フレンド申請済みの友人ＦＤが同じイベントに参加していることが通知されるような機能が設けられてもよい。
　なお、販売する座席は、実際の会場ＣＶにはない高い位置にある座席やバックステージなどの仮想的な座席でもよい。座席数や座席の配置パターンなどは運営者が任意に決定することができる。また、チケット購入者ＴＰの選択により、運営者が用意した複数の座席の配置パターンから好みの座席の配置パターンを選択できるようにしてもよい。
［３．会場情報に基づく座席変更］
　図３は、会場情報に基づく座席変更を説明する図である。
　ユーザＵＳは、チケットの購入サイトにログインして、チケットの購入履歴を確認する（ＳＴＥＰ　Ｂ１）。端末ＴＭのタッチパネルＤＰには、購入済みのチケットのリストが表示される。ユーザＵＳは、リスト内のチケットをタップすることで、イベントの会場ＣＶ、購入座席ＳＴの座席番号、および、同じイベントに参加する他人のコメントを確認することができる（ＳＴＥＰ　Ｂ２）。他人のコメントは、座席検索および視聴形式に基づいて絞り込むことができる。ユーザＵＳは、「コメント編集」ボタンＢＴ２をタップしてコメントを作成することができる。
　タップされたチケットが、これから実施されるイベントのチケットである場合には、座席番号の表示位置の下に「座席変更」ボタンＢＴ３が表示される。ユーザＵＳは、「座席変更」ボタンＢＴ３を用いて購入座席ＳＴを変更することができる。例えば、ユーザＵＳは「会場情報」ボタンＢＴ１をタップし、同じ会場で実施された過去のイベントのコメント情報を表示する（ＳＴＥＰ　Ｂ３）。コメントの表示順位は、コメントの投稿者の座席とユーザＵＳの座席との位置関係に基づいて決定される。例えば、ユーザＵＳと同じ座席番号の投稿者がいる場合には、座席番号の同じ投稿者のコメントが優先して表示される。
　ユーザＵＳは、「座席検索」ボタンＢＴ４を用いて、コメントの絞り込みを行うことができる。例えば、ユーザＵＳが「座席検索」ボタンＢＴ４をタップすると、座席表ＳＣが表示される（ＳＴＥＰ　Ｂ４）。ユーザＵＳは、座席をタップして、投稿者の座席を指定する。サーバＳＶは、指定された座席の投稿者のコメントを抽出し、端末ＴＭに送信する（ＳＴＥＰ　Ｂ５）。図３の例では、「Ａ１」の座席の投稿者のコメントが選択的に表示されている。コメントには、投稿日が表示されてもよい。
［４．チャットを用いた座席交換申請］
　図４は、チャットを用いた座席交換申請の説明図である。
　ユーザＵＳは、チケットの購入履歴の画面を操作し、これから参加するイベントについての他人のコメントを確認する（ＳＴＥＰ　Ｃ１～Ｃ２）。ユーザＵＳは、コメントの情報に基づいて、友人ＦＤの参加状況と座席位置を確認する。
　ユーザＵＳが友人ＦＤの隣の座席を希望する場合には、ユーザＵＳは友人ＦＤの隣の座席の予約状況を確認する。例えば、ユーザＵＳは、「座席検索」ボタンＢＴ４を用いて、友人ＦＤの隣の座席の投稿者のコメントを検索する（ＳＴＥＰ　Ｃ３）。コメントがヒットすれば、友人ＦＤの隣の座席はこの投稿者によって購入されていることがわかる。図４の例では、友人ＦＤの座席番号は「Ａ１」である。ユーザＵＳが「Ａ２」の座席の投稿者のコメントを検索した結果、１件のコメントがヒットしている。
　友人ＦＤの隣の座席の投稿者のコメントが存在する場合には、ユーザＵＳは、チャット機能を用いてこの投稿者に座席変更の依頼を行う。例えば、ユーザＵＳは、投稿者のコメントをタップしてチャット機能を起動し、コメントの返信欄に座席交換の依頼メッセージを書き込む。投稿者が依頼に応じた場合には、ユーザＵＳは、「座席交換申請」ボタンＢＴ５を用いて、ユーザＵＳと投稿者の座席交換の申請を行う（ＳＴＥＰ　Ｃ４）。
［５．チャットを用いた同時視聴申請］
　図５は、チャットを用いた同時視聴申請の説明図である。
　ユーザＵＳは、図４のＳＴＥＰ　Ｃ１～Ｃ２と同様の方法を用いて、友人ＦＤの参加状況と座席位置を確認する（ＳＴＥＰ　Ｄ１～Ｄ２）。ユーザＵＳがライブ中に友人ＦＤとの会話を楽しみたい場合には、ユーザＵＳは、チャット機能を用いて友人ＦＤに同時視聴の依頼を行う。例えば、ユーザＵＳは、友人ＦＤのコメントをタップしてチャット機能を起動し、コメントの返信欄に同時視聴の依頼メッセージを書き込む。友人ＦＤが依頼に応じた場合には、ユーザＵＳは、「同時視聴申請」ボタンＢＴ６を用いて、ユーザＵＳと友人ＦＤの同時視聴の申請を行う（ＳＴＥＰ　Ｄ３）。
［６．オンラインライブ視聴の体験例］
　図６および図７は、オンラインライブ視聴の体験例を説明する図である。
　チケット購入者ＴＰは、端末ＴＭを用いてライブ会場の映像および音声を視聴する。会場ＣＶには、ステージを囲むように複数のカメラが設置されている。サーバＳＶは、自由視点映像技術などを用いて、複数のカメラの撮影映像から、チケット購入者ＴＰの座席位置に応じた視点の映像（視点映像）を生成する。サーバＳＶは、生成された視点映像をライブ映像ＶＩＤとしてチケット購入者ＴＰの端末ＴＭに送信する。
　端末ＴＭがＨＭＤ（Ｈｅａｄ　Ｍｏｕｎｔｅｄ　Ｄｉｓｐｌａｙ）などの頭部装着型の端末である場合には、サーバＳＶは、頭部の動き（視点の変化）に追随して変化するライブ映像ＶＩＤを生成してもよい。サーバＳＶは、頭部の動きに追随してライブ映像ＶＩＤを変化させるか否かを、端末ＴＭから送信されたユーザ入力情報に基づいて決定することができる。
　サーバＳＶは、会場ＣＶからライブ音声データＬＳを取得する。サーバＳＶは、各チケット購入者ＴＰの端末ＴＭから歓声データおよび会話データを取得する。サーバＳＶは、音声に含まれる個々の音源を特定する。図６の例では、演奏やトークを行う演者ＰＭ、会話を行う友人ＦＤ、および、歓声をあげる観客ＡＵがそれぞれ音源となる。サーバＳＶは、音場を生成する音源ごとに、音源の位置と音声との紐づけを行う。
　サーバＳＶは、音源ごとに、購入座席ＳＴと音源との位置関係を算出する。サーバＳＶは、算出された位置関係に基づいて、音源によって生じる音場を立体的に再現する音声データを生成する。これにより、各音源の立体音響データが生成される。立体音響データは、音源の音声を購入座席ＳＴにおいて立体的に再現するための音声データである。サーバＳＶは、各音源の立体音響データを、ライブ映像ＬＶとともに配信データＳＦとしてチケット購入者ＴＰの端末ＴＭに送信する。これにより、サーバＳＶは、チケット購入者ＴＰの購入座席ＳＴに生じる音場を再現する。
　再現される音場には、ステージから聞こえる音声の音場、友人席から聞こえる会話の音場、および、歓声の音場が含まれる。図６の例では、ステージ上で演者ＰＭが演奏を行っている。ステージから聞こえる音声には、演奏曲およびステージバンター（曲と曲との間に行われる演者ＰＭのおしゃべり）が含まれる。歓声には、ステージバンター時の演者ＰＭとの会話も含まれる。
　端末ＴＭは、サーバＳＶから送信されたライブ映像ＬＶおよび音声を再生する。同時視聴申請した友人ＦＤがいる場合には、友人ＦＤのサムネイルＦＶがライブ映像ＬＶとともにタッチパネルＤＰに表示される。サムネイルＦＶの表示位置は、友人席との位置関係に基づいて決定される。例えば、友人席が自分の座席の左側にある場合には、サムネイルＦＶはタッチパネルＤＰの左下に表示される。友人席が自分の座席の右側にある場合には、サムネイルＦＶはタッチパネルＤＰの右下に表示される。
　ユーザＵＳは、タッチパネルＤＰの右上をタップすることで、「設定」ボタンＢＴ７を表示させることができる。「設定」ボタンＢＴ７をタップすると、図７に示すような設定ウィンドウＳＷがタッチパネルＤＰの右辺に表示される。設定ウィンドウＳＷには、個々の音源の音量を独立に調整するためのＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）が表示される。図７の例では、ライブ演奏の音量、友人ＦＤとの会話の音量および歓声の音量を調整するためのＵＩが表示されている。サーバＳＶは、設定ウィンドウＳＷを用いて入力されたユーザ入力情報に基づいて、音場に含まれる個々の音源の音量を独立に調整する。
　調整ウィンドウＳＷには、会話集中モードの切り替え用のスイッチＢＴ８、および、歓声モードの切り替え用のスイッチＢＴ９も表示されている。会話集中モードは、自分の座席と友人席との位置関係に起因する音声の方向性を消失させるモードである。会話集中モードをＯＮにすると、会話の音声が聞き取りやすくなる。歓声モードは、端末ＴＭのユーザＵＳの声を歓声として音声配信することを承認するモードである。歓声モードをＯＮにすると、ユーザＵＳの声が他の観客ＡＵの声とともに歓声として再生される。
［７．仮想歓声システム］
　図８は、仮想歓声システムの一例を説明する図である。
　配信データＳＦは、各観客ＡＵの歓声データＣＨを含む。観客ＡＵは、歓声モードの切り替えによって、自身の音声を歓声として配信するか否かを選択することができる。そのため、端末ＴＭを介して視聴される歓声は、チケットを購入した全ての観客ＡＵのうち音声配信を承認した（歓声モードをＯＮにした）１以上の観客ＡＵの歓声を選択的に含む。
　サーバＳＶは、歓声データＣＨを座席位置に紐づけられたデータとして取得する。サーバＳＶは、音声配信を承認した全ての観客ＡＵの歓声データＣＨを各観客ＡＵの座席位置に基づいて合成する。これにより、座席位置に応じた方向性を持つ歓声を任意の位置で立体的に再現可能な音声データが生成される。
　例えば、サーバＳＶは、音声配信を承認した全ての観客ＡＵの歓声データＣＨを各観客ＡＵの購入座席ＳＴとユーザＵＳの購入座席ＳＴとの位置関係に基づいて合成する。これにより、サーバＳＶは、ユーザＵＳの購入座席ＳＴに生じる歓声の音場を立体的に再現可能な音声データを生成する。サーバＳＶは、生成された歓声を表す音声データをユーザＵＳの配信データＳＦに含めて送信する。
　サーバＳＶは、音声配信を承認した全ての観客ＡＵの歓声データＣＨを各観客ＡＵの購入座席ＳＴとステージとの位置関係に基づいて合成する。これにより、サーバＳＶは、ステージに生じる歓声の音場を立体的に再現可能な音声データ（総歓声データＴＣＨ）を生成する。サーバＳＶは、生成された総歓声データＴＣＨを会場ＣＶのスピーカに送信する。演者ＰＭは、観客ＡＵの歓声を聴きながら演奏を行う。観客ＡＵの声が聞こえるので、演者ＰＭはステージバンター時に観客ＡＵとコミュニケーションすることができる。
　サーバＳＶは、ＷＯ２０１８／０８８３１９号に記載されるような音声認識手法を用いて、歓声に含まれる不適切発言を除去することができる。この際、サーバＳＶは、不適切発言を行った発言者に対して警告を行い、同じ発言者が許容基準を超える回数（例えば３回）の不適切発言を行った場合に発言者を退場させる（発言権をなくす）ことができる。
　サーバＳＶは、不適切発言を検出した場合に、ライブで取得される歓声を過去の類似の歓声と差し替えて配信することもできる。配信される歓声は、ライブで取得される歓声に類似する、不適切発言を含まない過去の歓声である。サーバＳＶは、過去のライブの歓声のデータを記憶しており、ＡＩ（Ａｒｔｉｆｉｃｉａｌ　Ｉｎｔｅｌｌｉｇｅｎｃｅ）を用いて、現在取得されている歓声に類似の歓声を過去の歓声のデータから抽出する。
［８．遠隔バーチャルライブシステム］
　図９は、遠隔バーチャルライブシステムの一例を説明する図である。
　図８の例では、イベントの会場ＣＶで行われた演奏の映像および音声が端末ＴＭに配信された。図９の例では、演奏はイベントの会場ＣＶとは別の場所で行われる。演者ＰＭどうしも離れた場所で演奏を行う。端末ＴＭには、個々の演者ＰＭの演奏の映像および音声が合成されて配信される。
　個々の演者ＰＭのステージ上での位置ＰＯは予め決められている。サーバＳＶは、チケット購入者ＴＰの座席と個々の演者ＰＭ（音源）との位置関係に基づいて、演者ＰＭごとに、演者ＰＭの演奏の立体音響データを生成する。サーバＳＶは、各演者ＰＭの立体音響データを合成し、チケット購入者ＴＰの端末ＴＭに送信する。これにより、サーバＳＶは、チケット購入者ＴＰの購入座席ＳＴに生じる音場を再現する。
　サーバＳＶは、会場ＣＶの音響特性（残響時間、ＳＴ（ｓｕｐｐｏｒｔ）、エコータイムパターン）、演者ＰＭの位置ＰＯおよび購入座席ＳＴの位置に基づいて、購入座席ＳＴに生じる音場を再現する。会場ＣＶの音響特性は、会場ＣＶの運営者によって予め計測される。
　例えば、サーバＳＶは、会場ＣＶに設定された複数の計測ポイントＭＰの音響特性を会場ＣＶの音響特性として取得する。サーバＳＶは、別の場所で取得された演者ＰＭの演者データを、演者ＰＭのステージ上の位置ＰＯから最も近い計測ポイントＭＰの音響特性に基づいて補正する。サーバＳＶは、補正後の演奏データを演者ＰＭの音声データとして用いる。サーバＳＶは、チケット購入者ＴＰの座席位置に最も近い計測ポイントＭＰの音響特性を用いて、補正後の演奏データを座席位置において立体的に再現するための立体音響データを生成する。
　図９の例では、会場ＣＶは実際に存在する会場でなくてもよい。運営者がデザインした仮想的な会場ＣＶの背景映像および音響特性に基づいて配信データＳＦが生成されてもよい。
［９．ハードウェア構成例］
　図１０は、サーバＳＶのハードウェア構成例を示す図である。
　サーバＳＶは、各種情報を処理する情報処理装置として機能する。サーバＳＶは、図１０に示すようなコンピュータ１０００によって実現される。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）１３００、ＨＤＤ（Ｈａｒｄ　Ｄｉｓｋ　Ｄｒｉｖｅ）１４００、通信インタフェース１５００、及び入出力インタフェース１６００を有する。コンピュータ１０００の各部は、バス１０５０によって接続される。
　ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。例えば、ＣＰＵ１１００は、ＲＯＭ１３００又はＨＤＤ１４００に格納されたプログラムをＲＡＭ１２００に展開し、各種プログラムに対応した処理を実行する。ＣＰＵ１１００は、プロセッサＰＲを形成し得る。
　ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるＢＩＯＳ（Ｂａｓｉｃ　Ｉｎｐｕｔ　Ｏｕｔｐｕｔ　Ｓｙｓｔｅｍ）等のブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。
　ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を非一時的に記録する、コンピュータが読み取り可能な記録媒体である。具体的には、ＨＤＤ１４００は、プログラムデータ１４５０の一例である本開示に係る情報処理プログラムを記録する記録媒体である。
　通信インタフェース１５００は、コンピュータ１０００が外部ネットワーク１５５０（例えばインターネット）と接続するためのインタフェースである。例えば、ＣＰＵ１１００は、通信インタフェース１５００を介して、他の機器からデータを受信したり、ＣＰＵ１１００が生成したデータを他の機器へ送信したりする。
　入出力インタフェース１６００は、入出力デバイス１６５０とコンピュータ１０００とを接続するためのインタフェースである。例えば、ＣＰＵ１１００は、入出力インタフェース１６００を介して、キーボードやマウス等の入力デバイスからデータを受信する。また、ＣＰＵ１１００は、入出力インタフェース１６００を介して、ディスプレイやスピーカやプリンタ等の出力デバイスにデータを送信する。また、入出力インタフェース１６００は、所定の記録媒体（メディア）に記録されたプログラム等を読み取るメディアインタフェースとして機能してもよい。メディアとは、例えばＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ＰＤ（Ｐｈａｓｅ　ｃｈａｎｇｅ　ｒｅｗｒｉｔａｂｌｅ　Ｄｉｓｋ）等の光学記録媒体、ＭＯ（Ｍａｇｎｅｔｏ-Ｏｐｔｉｃａｌ　ｄｉｓｋ）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。
　ＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラムを実行することにより、コンピュータ１０００の各種の機能を実現する。また、ＨＤＤ１４００には、コンピュータ１０００をサーバＳＶとして機能させるためのプログラムが格納される。なお、ＣＰＵ１１００は、プログラムデータ１４５０をＨＤＤ１４００から読み取って実行するが、他の例として、外部ネットワーク１５５０を介して、他の装置からこれらのプログラムを取得してもよい。
［１０．効果］
　サーバＳＶは、プロセッサＰＲを有する。プロセッサＰＲは、チケット購入者ＴＰの購入座席ＳＴに生じる音場を再現する。例えば、プロセッサＰＲは、音場を生成する音源ごとに、購入座席ＳＴと音源との位置関係を算出する。プロセッサＰＲは、算出された位置関係に基づいて、音源によって生じる音場を立体的に再現する音声データを生成する。本開示の情報処理方法は、サーバＳＶの処理がコンピュータにより実行される。本開示のプログラムは、サーバＳＶの処理をコンピュータに実現させる。
　この構成によれば、実際にチケット予約した座席で視聴しているかのような臨場感が得られる。
　音場は、ステージから聞こえる音声の音場、友人席から聞こえる会話の音場および歓声の音場を含む。例えば、プロセッサＰＲは、購入座席ＳＴとステージとの位置関係に基づいて、ステージから聞こえる音声の音場を立体的に再現する音声データを生成する。プロセッサＰＲは、購入座席ＳＴと友人席との位置関係に基づいて、友人席から聞こえる会話の音場を立体的に再現する音声データを生成する。プロセッサＰＲは、購入座席ＳＴと各観客席との位置関係に基づいて、各観客席から聞こえる歓声の音場を立体的に再現する音声データを生成する。
　この構成によれば、ステージの音声を自席で聴いているかのような臨場感が得られる。また、自席と友人席との間で会話が行われていたり、周囲に他の観客が存在したりするかのような臨場感が得られる。
　歓声は、チケットを購入した全ての観客ＡＵのうち音声配信を承認した１以上の観客ＡＵの歓声を選択的に含む。
　この構成によれば、音声配信を承認しない観客ＡＵのプライバシーが保護される。
　プロセッサＰＲは、歓声に含まれる不適切発言を除去する。
　この構成によれば、不適切発言を含まないコンテンツの配信が可能となる。
　プロセッサＰＲは、不適切発言を行った発言者に対して警告を行う。
　この構成によれば、発言者について不適切発言について認識が促される。
　歓声は、ライブで取得される歓声に類似する、不適切発言を含まない過去の歓声である。
　この構成によれば、不適切発言を含まないコンテンツの配信が可能となる。
　プロセッサＰＲは、会場ＣＶの音響特性、演者ＰＭの位置および購入座席ＳＴの位置に基づいて音場を再現する。
　この構成によれば、座席位置で視聴されるべき音場がリアルに再現される。
　プロセッサＰＲは、ユーザ入力情報に基づいて、音場に含まれる個々の音源の音量を独立に調整する。
　この構成によれば、ユーザＵＳが視聴したい音源の音声（友人ＦＤとの会話など）をクリアに再現することができる。
　なお、本明細書に記載された効果はあくまで例示であって限定されるものでは無く、また他の効果があってもよい。
［付記］
　なお、本技術は以下のような構成も採ることができる。
（１）
　チケット購入者の購入座席に生じる音場を再現するプロセッサを有する情報処理装置。
（２）
　前記プロセッサは、前記音場を生成する音源ごとに、前記購入座席と前記音源との位置関係を算出し、前記位置関係に基づいて、前記音源によって生じる音場を立体的に再現する音声データを生成する、
　上記（１）に記載の情報処理装置。
（３）
　前記音場は、ステージから聞こえる音声の音場を含む、
　上記（１）または（２）に記載の情報処理装置。
（４）
　前記プロセッサは、前記購入座席と前記ステージとの位置関係に基づいて、前記ステージから聞こえる音声の音場を立体的に再現する音声データを生成する、
　上記（３）に記載の情報処理装置。
（５）
　前記音場は、友人席から聞こえる会話の音場を含む、
　上記（１）ないし（４）のいずれか１つに記載の情報処理装置。
（６）
　前記プロセッサは、前記購入座席と前記友人席との位置関係に基づいて、前記友人席から聞こえる前記会話の音場を立体的に再現する音声データを生成する、
　上記（５）に記載の情報処理装置。
（７）
　前記音場は、歓声の音場を含む、
　上記（１）ないし（６）のいずれか１つに記載の情報処理装置。
（８）
　前記プロセッサは、前記購入座席と各観客席との位置関係に基づいて、各観客席から聞こえる歓声の音場を立体的に再現する音声データを生成する、
　上記（７）に記載の情報処理装置。
（９）
　前記歓声は、チケットを購入した全ての観客のうち音声配信を承認した１以上の観客の歓声を選択的に含む、
　上記（７）または（８）に記載の情報処理装置。
（１０）
　前記プロセッサは、前記歓声に含まれる不適切発言を除去する、
　上記（７）ないし（９）のいずれか１つに記載の情報処理装置。
（１１）
　前記プロセッサは、前記不適切発言を行った発言者に対して警告を行う、
　上記（１０）に記載の情報処理装置。
（１２）
　前記歓声は、ライブで取得される歓声に類似する、不適切発言を含まない過去の歓声である、
　上記（７）に記載の情報処理装置。
（１３）
　前記プロセッサは、会場の音響特性、演者の位置および前記購入座席の位置に基づいて前記音場を再現する、
　上記（１）ないし（１２）のいずれか１つに記載の情報処理装置。
（１４）
　前記プロセッサは、ユーザ入力情報に基づいて、前記音場に含まれる個々の音源の音量を独立に調整する、
　上記（１）ないし（１３）のいずれか１つに記載の情報処理装置。
（１５）
　チケット購入者の購入座席に生じる音場を再現することを有する、コンピュータにより実行される情報処理方法。
（１６）
　チケット購入者の購入座席に生じる音場を再現することをコンピュータに実現させるプログラム。
ＡＵ　観客
ＣＶ　会場
ＰＭ　演者
ＰＲ　プロセッサ
ＳＴ　購入座席
ＳＶ　サーバ（情報処理装置）
ＴＰ　チケット購入者

Claims (16)

  1. 　チケット購入者の購入座席に生じる音場を再現するプロセッサを有する情報処理装置。
  2. 　前記プロセッサは、前記音場を生成する音源ごとに、前記購入座席と前記音源との位置関係を算出し、前記位置関係に基づいて、前記音源によって生じる音場を立体的に再現する音声データを生成する、
    　請求項１に記載の情報処理装置。
  3. 　前記音場は、ステージから聞こえる音声の音場を含む、
    　請求項１に記載の情報処理装置。
  4. 　前記プロセッサは、前記購入座席と前記ステージとの位置関係に基づいて、前記ステージから聞こえる音声の音場を立体的に再現する音声データを生成する、
    　請求項３に記載の情報処理装置。
  5. 　前記音場は、友人席から聞こえる会話の音場を含む、
    　請求項１に記載の情報処理装置。
  6. 　前記プロセッサは、前記購入座席と前記友人席との位置関係に基づいて、前記友人席から聞こえる前記会話の音場を立体的に再現する音声データを生成する、
    　請求項５に記載の情報処理装置。
  7. 　前記音場は、歓声の音場を含む、
    　請求項１に記載の情報処理装置。
  8. 　前記プロセッサは、前記購入座席と各観客席との位置関係に基づいて、各観客席から聞こえる歓声の音場を立体的に再現する音声データを生成する、
    　請求項７に記載の情報処理装置。
  9. 　前記歓声は、チケットを購入した全ての観客のうち音声配信を承認した１以上の観客の歓声を選択的に含む、
    　請求項７に記載の情報処理装置。
  10. 　前記プロセッサは、前記歓声に含まれる不適切発言を除去する、
    　請求項７に記載の情報処理装置。
  11. 　前記プロセッサは、前記不適切発言を行った発言者に対して警告を行う、
    　請求項１０に記載の情報処理装置。
  12. 　前記歓声は、ライブで取得される歓声に類似する、不適切発言を含まない過去の歓声である、
    　請求項７に記載の情報処理装置。
  13. 　前記プロセッサは、会場の音響特性、演者の位置および前記購入座席の位置に基づいて前記音場を再現する、
    　請求項１に記載の情報処理装置。
  14. 　前記プロセッサは、ユーザ入力情報に基づいて、前記音場に含まれる個々の音源の音量を独立に調整する、
    　請求項１に記載の情報処理装置。
  15. 　チケット購入者の購入座席に生じる音場を再現することを有する、コンピュータにより実行される情報処理方法。
  16. 　チケット購入者の購入座席に生じる音場を再現することをコンピュータに実現させるプログラム。
PCT/JP2022/009107 2021-09-03 2022-03-03 情報処理装置、情報処理方法およびプログラム Ceased WO2023032266A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
CN202280057555.2A CN117897971A (zh) 2021-09-03 2022-03-03 信息处理装置、信息处理方法和程序
JP2023545025A JPWO2023032266A1 (ja) 2021-09-03 2022-03-03
EP22863856.5A EP4387277A4 (en) 2021-09-03 2022-03-03 INFORMATION PROCESSING DEVICE, INFORMATION PROCESSING METHOD AND PROGRAM
US18/683,542 US20240357303A1 (en) 2021-09-03 2022-03-03 Information processing apparatus, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021144271 2021-09-03
JP2021-144271 2021-09-03

Publications (1)

Publication Number Publication Date
WO2023032266A1 true WO2023032266A1 (ja) 2023-03-09

Family

ID=85411128

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/009107 Ceased WO2023032266A1 (ja) 2021-09-03 2022-03-03 情報処理装置、情報処理方法およびプログラム

Country Status (5)

Country Link
US (1) US20240357303A1 (ja)
EP (1) EP4387277A4 (ja)
JP (1) JPWO2023032266A1 (ja)
CN (1) CN117897971A (ja)
WO (1) WO2023032266A1 (ja)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588432B1 (en) * 2012-10-12 2013-11-19 Jeffrey Franklin Simon Apparatus and method for authorizing reproduction and controlling of program transmissions at locations distant from the program source
WO2016039156A1 (ja) 2014-09-11 2016-03-17 株式会社ソニー・コンピュータエンタテインメント 動画像送信装置、端末、動画像送信システム、制御方法、プログラム及び情報記憶媒体
WO2018088319A1 (ja) 2016-11-11 2018-05-17 ソニーモバイルコミュニケーションズ株式会社 再生端末及び再生方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7684577B2 (en) * 2001-05-28 2010-03-23 Mitsubishi Denki Kabushiki Kaisha Vehicle-mounted stereophonic sound field reproducer
JP5568915B2 (ja) * 2009-07-29 2014-08-13 ヤマハ株式会社 外部機器制御装置
US10531220B2 (en) * 2016-12-05 2020-01-07 Magic Leap, Inc. Distributed audio capturing techniques for virtual reality (VR), augmented reality (AR), and mixed reality (MR) systems
US10621784B2 (en) * 2017-09-29 2020-04-14 Sony Interactive Entertainment America Llc Venue mapping for virtual reality spectating of live events
US10953322B2 (en) * 2018-02-28 2021-03-23 Sony Interactive Entertainment LLC Scaled VR engagement and views in an e-sports event
US10687145B1 (en) * 2019-07-10 2020-06-16 Jeffery R. Campbell Theater noise canceling headphones

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8588432B1 (en) * 2012-10-12 2013-11-19 Jeffrey Franklin Simon Apparatus and method for authorizing reproduction and controlling of program transmissions at locations distant from the program source
WO2016039156A1 (ja) 2014-09-11 2016-03-17 株式会社ソニー・コンピュータエンタテインメント 動画像送信装置、端末、動画像送信システム、制御方法、プログラム及び情報記憶媒体
WO2018088319A1 (ja) 2016-11-11 2018-05-17 ソニーモバイルコミュニケーションズ株式会社 再生端末及び再生方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4387277A4

Also Published As

Publication number Publication date
EP4387277A1 (en) 2024-06-19
CN117897971A (zh) 2024-04-16
JPWO2023032266A1 (ja) 2023-03-09
EP4387277A4 (en) 2024-08-14
US20240357303A1 (en) 2024-10-24

Similar Documents

Publication Publication Date Title
US11683443B2 (en) Methods to improve person-to-person interactions in video conferences
JP4745375B2 (ja) 対話型立体的オーディオビジュアル・システム
US20250211702A1 (en) Wireless networked record session device
WO2021207156A1 (en) Integration of remote audio into a performance venue
US20090094375A1 (en) Method And System For Presenting An Event Using An Electronic Device
JP2011215701A (ja) イベント参加支援システムおよびイベント参加支援サーバ
JP7790516B2 (ja) ライブデータ配信方法、ライブデータ配信システム、ライブデータ配信装置、およびライブデータ再生装置
JP7689845B2 (ja) 再生装置、再生システム、再生方法および再生プログラム
Roquet Acoustics of the one person space: headphone listening, detachable ambience, and the binaural prehistory of VR
JP6951610B1 (ja) 音声処理システム、音声処理装置、音声処理方法、及び音声処理プログラム
Turner et al. Spatial audio production for immersive media experiences: Perspectives on practice-led approaches to designing immersive audio content
WO2023032266A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2018028646A (ja) 会場別カラオケ
JP2021021870A (ja) コンテンツ収集・配信システム
CN117409804A (zh) 音频信息的处理方法、介质、服务器、客户端及系统
JP7768324B2 (ja) 音信号処理方法および音信号処理装置
JP7748402B2 (ja) 配信用音源制作システム
KR102559015B1 (ko) 공연과 영상에 몰입감 향상을 위한 실감음향 처리 시스템
Wuolio et al. On the potential of spatial audio in enhancing virtual user experiences
Toole Sound Reproduction: Part One—Mono to Stereo
JP2005331826A (ja) 学習システム
Aoki et al. MR Kabuki: Mixed Reality Enabled Performing Arts
Duchêne Leveraging immersive audio production techniques to enhance cultural and historical understandings in a museum setting
Barbour Applying aural research: the aesthetics of 5.1 surround
Anderson Surround Sound Recording: Is It Worth It?

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22863856

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023545025

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18683542

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 202280057555.2

Country of ref document: CN

ENP Entry into the national phase

Ref document number: 2022863856

Country of ref document: EP

Effective date: 20240313

NENP Non-entry into the national phase

Ref country code: DE