KR20100000991A

KR20100000991A - Audial and visual information transfer system for audience

Info

Publication number: KR20100000991A
Application number: KR1020080060708A
Authority: KR
Inventors: 이동훈; 신호; 장태수; 피정훈
Original assignee: 이동훈; 장태수; 신호; 피정훈
Priority date: 2008-06-26
Filing date: 2008-06-26
Publication date: 2010-01-06
Anticipated expiration: 2028-06-26
Also published as: KR100962698B1

Abstract

공연 관람을 위한 비디오 및 오디오 정보 전달 시스템이 개시된다. 공연 관람을 위한 오디오 정보 전달 시스템에 있어서, 현장 사운드(sound) 신호를 입력 받아, 상기 오디오 정보 전달 시스템으로 출력하는 사운드 입력 모듈 상기 현장 사운드 신호의 출력 시점을 결정하는 신호인 사운드 큐를 생성하여 출력하는 사운드 큐(Cue) 실시 모듈 상기 현장 사운드 신호를 입력 받아, 상기 현장 사운드 신호의 다이내믹 레인지(dynamic range)를 줄여 향상된 음압 이득을 갖는 보정 사운드 신호로 출력하는 사운드 신호 처리 모듈 상기 공연의 공연자 위치를 추적하여 산출된 상기 공연자의 위치 정보에 따라 입력된 상기 보정 사운드 신호를 가공하여 최종 사운드 신호로 출력하는 위치 추적 모듈 및 상기 최종 사운드 신호를 상기 공연의 관람객에게 전달하기 위한 송수신 모듈을 포함하는 오디오 정보 전달 시스템은 공연 관람에 방해 되지 않고, 관람객이 효율적으로 공연 관람을 할 수 있게 해준다. Disclosed is a video and audio information delivery system for viewing a performance. In an audio information transmission system for viewing a performance, a sound input module that receives a sound signal from a scene and outputs it to the audio information transmission system generates and outputs a sound cue, which is a signal for determining a point of time of outputting the sound signal. A sound cue executing module that receives the field sound signal and reduces the dynamic range of the field sound signal to output a corrected sound signal having an improved sound pressure gain. Audio information comprising a position tracking module for processing the corrected sound signal input according to the calculated position information of the performer and output as a final sound signal and a transmission and reception module for delivering the final sound signal to the audience of the performance Delivery system hinders performance If not, allowing the visitors can be efficiently performing arts.

Description

Audio and Visual Information Transfer System for Audience

본 발명은 연극, 뮤지컬, 음악회 등의 공연을 관람하는 관람객에게 시청각정보를 전달하는 비디오 및 오디오 정보 전달 시스템에 관한 것이다.The present invention relates to a video and audio information delivery system that delivers audiovisual information to a visitor who is watching a performance such as a play, a musical, a concert.

최근 문화에 대한 일반 대중들의 관심이 증대함에 따라, 음악회, 연극, 뮤지컬 등의 공연을 관람하는 관람객의 숫자도 증가하고 있다. As the general public's interest in culture has recently increased, the number of visitors to concerts, plays, musicals, etc. has increased.

공연을 관람하게 되는 공연장은 대부분 층별로 많은 수의 좌석을 열과 행으로 배치하고 있다. 따라서, 공연장의 뒷좌석에 앉은 관람객들에게는 공연 무대로부터 관람석까지의 거리가 멀고, 공연 무대와 관람석 사이에 앉아있는 다른 관람객들의 영향으로, 공연 실황이 제대로 전달되기 힘들다.Most of the venues where you can watch the performance are arranged in rows and rows with many seats per floor. Therefore, the audience sitting in the back seat of the performance hall is far from the performance stage to the audience seats, and due to the influence of other viewers sitting between the performance stage and the audience seats, it is difficult to properly deliver the performance.

이에, 보다 효과적인 시각전달을 위하여, 공연 무대의 좌, 우 측에 프롬프터(prompter)를 설치하는 기술을 현재 사용하고 있으나 프롬프터의 크기가 작아 뒷좌석에 앉은 관람객에게 효과적으로 시각 정보가 전달되지 않으며, 공연을 방해 하 지 않는 위치에 설치되어야 한다는 설치 장소 제약의 문제점이 있다. Therefore, for more effective visual transmission, the technology of installing prompters on the left and right sides of the performance stage is currently used, but the small size of the prompter does not effectively transmit visual information to the viewers sitting in the rear seats. There is a problem of installation site restriction that it should be installed in an unobstructed location.

청각 정보를 전달함에 있어서도, 뒷좌석의 관람객에는 효과적인 청각 정보의 전달이 어렵다는 문제점이 있으며, 현재 공연장에서는 이를 보완하기 위한 어떠한 장치도 사용되지 않고 있는 실정이다. In transmitting the auditory information, there is a problem that it is difficult to effectively transmit the auditory information to the rear seat spectators, and at the present stage, no device is used to compensate for this.

그리고, 공연 실황을 기록하는 방법으로는 제작사가 일반인이 관람하지 않는 공연을 촬영하여 저장하는 방법이나, 공연 중 고정 카메라를 이용하여 촬영하는 방법이 사용되고 있다. 그러나 이러한 두 가지의 방법 모두 관람객의 선택에 의하여 형성된 시청각 정보를 저장할 수 없어, 관람객의 선택 권한이 무시되고 일방적인 촬영이 진행되고 있다는 문제점이 있다. As a method of recording the performance status, a method of photographing and storing a performance that a production company does not watch is used, or a method of photographing using a fixed camera during a performance is used. However, both of these methods cannot store the audiovisual information formed by the selection of the viewers, and thus, there is a problem in that the selection authority of the viewers is ignored and the unilateral shooting is in progress.

본 발명은 시각 또는 청각 장애를 가진 관객뿐만 아니라, 일반 관객이 공연관람에 방해 받지 않고, 효과적으로 공연을 관람할 수 있는 비디오, 오디오 정보 전달 시스템을 제공하는 데에 그 목적이 있다.An object of the present invention is to provide a video and audio information transmission system capable of effectively watching a performance, as well as an audience with a visual or hearing impairment, without being disturbed by viewing a performance.

또한, 본 발명은 관람객의 선택에 의하여, 획득된 비디오 및 오디오 정보를 저장할 수 있는 비디오, 오디오 정보 전달 시스템을 제공하는 데에 그 목적이 있다.Another object of the present invention is to provide a video and audio information transmission system capable of storing video and audio information obtained by a visitor's selection.

본 발명의 일 측면에 따르면, 공연 관람을 위한 오디오 정보 전달 시스템에 있어서, 현장 사운드(sound) 신호를 입력받아, 상기 오디오 정보 전달 시스템으로 출력하는 사운드 입력 모듈 상기 현장 사운드 신호의 출력 시점을 결정하는 신호인 사운드 큐를 생성하여 출력하는 사운드 큐(Cue) 실시 모듈 상기 현장 사운드 신호를 입력 받아, 상기 현장 사운드 신호의 다이내믹 레인지(dynamic range)를 줄여 향상된 음압 이득을 갖는 보정 사운드 신호로 출력하는 사운드 신호 처리 모듈 상기 공연의 공연자 위치를 추적하여 산출된 상기 공연자의 위치 정보에 따라 입력된 상기 보정 사운드 신호를 가공하여 최종 사운드 신호로 출력하는 위치 추적 모듈 및 상기 최종 사운드 신호를 상기 공연의 관람객에게 전달하기 위한 송수신 모듈을 포함하는 오디오 정보 전달 시스템이 제공된다. According to an aspect of the invention, in the audio information delivery system for viewing the performance, the sound input module for receiving a field sound (sound) signal, and outputs to the audio information delivery system to determine the output time of the field sound signal Sound cue execution module for generating and outputting a sound cue, which is a signal, and receiving the field sound signal and reducing the dynamic range of the field sound signal and outputting it as a corrected sound signal having an improved sound pressure gain. Processing module Transmitting the corrected sound signal according to the position information of the performer calculated by tracking the performer position of the performance and outputting the final sound signal as a final sound signal and delivering the final sound signal to the audience of the performance Audio information transmission including a transmission and reception module for A system is provided.

여기서, 상기 현장 사운드 신호 및 상기 사운드 큐가 입력되며, 상기 사운드 큐가 입력되면 상기 현장 사운드 신호를 출력하는 사운드 동작 모듈을 더 포함 할 수 있으며, 상기 위치 추적 모듈은, 상기 사운드 큐 값 및 위치 추적 센서에 의한 추적 값을 기초로 상기 공연자의 위치 정보를 얻되, 상기 사운드 큐 값은 미리 설정된 상기 공연자의 위치 정보를 포함하며, 상기 사운드 큐 실시 모듈에서 생성되어, 위치 추적 모듈로 입력될 수 있다. Here, the scene sound signal and the sound cue are input, the sound cue may further include a sound operation module for outputting the scene sound signal, the location tracking module, the sound cue value and location tracking The location information of the performer may be obtained based on the tracking value by the sensor, and the sound cue value may include the preset location information of the performer, and may be generated by the sound cue implementation module and input to the location tracking module.

또한, 상기 사운드 신호 처리 모듈은, 각각 통과 대역이 상이한 네 개의 대역 통과 필터(Band Pass Filter)를 포함할 수 있으며, 상기 현장 사운드 신호 중 인성(Human Voice)이 전달되는 주파수 영역의 다이내믹 레인지(dynamic range)를 줄여 보정 사운드 신호를 얻을 수 있다. In addition, the sound signal processing module may include four band pass filters each having a different pass band, and a dynamic range of a frequency domain through which human voice is transmitted among the field sound signals. range can be reduced to obtain a corrected sound signal.

그리고, 상기 송수신 모듈은, 상기 최종 사운드 신호를 입력받아 출력하는 분배기(distributor); 및 상기 분배기에서 출력되는 최종 사운드 신호를 수신하는 수신기를 포함할 수 있으며, 상기 송수신 모듈은 무선 통신을 이용하여 상기 최종 사운드 신호를 전달하고, 상기 무선 통신은 블루투스(Bluetooth)일 수 있으며, 상기 최종 사운드 신호를 저장하는사운드 저장 모듈을 더 포함할 수 있다. The transceiver module may include: a distributor configured to receive and output the final sound signal; And a receiver configured to receive the final sound signal output from the distributor, wherein the transmission / reception module transmits the final sound signal using wireless communication, and the wireless communication may be Bluetooth. The apparatus may further include a sound storage module configured to store a sound signal.

본 발명의 다른 측면에 따르면, 공연 관람을 위한 비디오 정보 전달 시스템에 있어서, 자막 신호를 상기 비디오 정보 전달 시스템으로 출력하는 자막 입력 모듈 상기 자막 신호의 출력 시점을 결정하는 신호인 비디오 큐를 생성하는 비디오 큐(Cue) 실시 모듈 현장 비디오 신호를 입력 받아 출력하는 비디오 입력 모듈 상기 공연을 관람하는 관람객의 위치를 관람객 좌표 정보로 변환하여 출력하는 좌표 산출 모듈 상기 관람객 좌표 정보가 입력되며, 상기 관람객에 의하여 입력된 명령 신호에 따라 상기 현장 비디오 신호를 가공하여 가공 비디오 신호를 생성하는 비디오 제어 모듈 상기 비디오 제어 모듈에서 출력된 가공 비디오 신호 및 상기 자막 신호가 입력되고, 통합되어 통합 비디오 신호로 출력되는 비디오 생성 모듈 및 상기 통합 비디오 신호가 입력되며, 상기 통합 비디오 신호가 디스플레이 되도록 하는 비디오 출력 모듈을 포함할 수 있다. According to another aspect of the present invention, a video information delivery system for viewing a performance, a caption input module for outputting a caption signal to the video information delivery system to generate a video cue which is a signal for determining the output time of the caption signal Video input module for receiving and outputting a cue execution module field video signal Coordinate calculation module for converting and outputting the position of a visitor who is watching the performance into visitor coordinate information The visitor coordinate information is input and input by the visitor The video control module for processing the field video signal according to the received command signal and generating a processed video signal. The video generating module outputs the processed video signal and the caption signal output from the video control module and is integrated and output as an integrated video signal. And the integrated video signal is input And, it may include a video output module that integrates the video signal to be displayed.

또한, 상기 비디오 큐 실시 모듈에 의하여 생성된 비디오 큐가 입력되는 순간부터, 상기 자막 입력 모듈로부터 입력된 자막 신호를 으로 출력하는 비디오 동작 모듈을 더 포함할 수 있으며, 상기 좌표 산출모듈은, 상기 관람객에 부착된 센서를 통하여 입력되는 상기 관람객 위치 정보의 좌표 행렬(transform matrix)변화량 산출하여, 상기 관람객 좌표 정보를 산출하는 오일러(Euler)방식을 사용하고, 상기 좌표 산출 모듈에서 산출되는 상기 관람객 좌표 정보는, 사원수(quaternion)로 변환되어 산출될 수 있다. The video queue module may further include a video operation module configured to output a caption signal input from the caption input module to a video cue generated by the video cue execution module, wherein the coordinate calculation module is configured to include the viewer. The visitor coordinate information calculated by the coordinate calculation module by using an Euler method of calculating a transform matrix change amount of the visitor position information input through a sensor attached to the same, and calculating the visitor coordinate information. May be converted into a quaternion and calculated.

그리고, 상기 통합 비디오 신호를 저장하는 비디오 저장 모듈을 더 포함할 수 있으며, 상기 비디오 큐(Cue) 실시 모듈은 자동 또는 수동으로 상기 비디오 큐를 생성하며, 상기 비디오 큐 실시 모듈이 자동으로 비디오 큐를 생성하는 경우, 미리 설정되어 있는 공연자의 위치 정보, 위치 추적 센서를 통해 얻어진 공연자의 위치 정보, 조명의 동작을 명령하는 조명 큐 값 및 비디오 추적에 의한 위치 추적 값을 통하여 비디오 큐 생성 시점이 결정될 수 있다. The apparatus may further include a video storage module configured to store the integrated video signal, wherein the video cue execution module automatically or manually generates the video cue, and the video cue execution module automatically generates a video cue. When generating, the video cue generation time can be determined through preset performer position information, performer position information obtained through the position tracking sensor, an illumination cue value for instructing lighting operation, and a position tracking value by video tracking. have.

본 발명에 따르면, 시각 또는 청각 장애를 가진 관람객뿐만 아니라, 일반 관람객이 공연관람을 하는 경우, 공연 관람에 방해 되지 않고 효율적으로 공연 관람을 할 수 있다. According to the present invention, in addition to the viewers with visual or hearing impairments, when general viewers watch the performances, the performances can be efficiently viewed without being disturbed.

또한, 본 발명에 따르면, 관람객의 선택에 의하여 획득된 비디오, 오디오 정보를 저장 할 수 있다. In addition, according to the present invention, it is possible to store the video, audio information obtained by the selection of the viewer.

본 발명은 다양한 변환을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변환, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.As the invention allows for various changes and numerous embodiments, particular embodiments will be illustrated in the drawings and described in detail in the written description. However, this is not intended to limit the present invention to specific embodiments, it should be understood to include all transformations, equivalents, and substitutes included in the spirit and scope of the present invention. In the following description of the present invention, if it is determined that the detailed description of the related known technology may obscure the gist of the present invention, the detailed description thereof will be omitted.

제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.Terms such as first and second may be used to describe various components, but the components should not be limited by the terms. The terms are used only for the purpose of distinguishing one component from another. For example, without departing from the scope of the present invention, the first component may be referred to as the second component, and similarly, the second component may also be referred to as the first component. The term and / or includes a combination of a plurality of related items or any item of a plurality of related items.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used herein is for the purpose of describing particular example embodiments only and is not intended to be limiting of the present invention. Singular expressions include plural expressions unless the context clearly indicates otherwise. In this application, the terms "comprise" or "have" are intended to indicate that there is a feature, number, step, operation, component, part, or combination thereof described in the specification, and one or more other features. It is to be understood that the present invention does not exclude the possibility of the presence or the addition of numbers, steps, operations, components, components, or a combination thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art. Terms such as those defined in the commonly used dictionaries should be construed as having meanings consistent with the meanings in the context of the related art, and are not construed in ideal or excessively formal meanings unless expressly defined in this application. Do not.

이하, 본 발명의 실시예를 첨부한 도면들을 참조하여 상세히 설명하기로 한다. Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1을 참조하여, 본 발명의 일 실시예에 따른 오디오 정보 전달 시스템의 구성에 대하여 살펴보도록 한다. 도 1은 본 발명의 일 실시예에 따른 오디오 정보 전달 시스템의 구성도 이다.Referring to FIG. 1, the configuration of an audio information delivery system according to an embodiment of the present invention will be described. 1 is a block diagram of an audio information transmission system according to an embodiment of the present invention.

본 실시예에 따른 오디오 정보 전달 시스템(100)은, 사운드 입력 모듈(110), 사운드 큐(Cue) 실시 모듈(120), 사운드 동작 모듈(130), 사운드 신호 처리 모듈(140), 위치 추적 모듈(150), 송수신 모듈(160) 및 저장 모듈(170)을 포함할 수 있다.The audio information transmission system 100 according to the present embodiment includes a sound input module 110, a sound cue execution module 120, a sound operation module 130, a sound signal processing module 140, and a location tracking module. 150, a transmission / reception module 160, and a storage module 170 may be included.

사운드 입력 모듈(110)은 현장 사운드 신호를 입력받아, 오디오 정보 전달 시스템으로 출력한다. 즉, 오디오 정보 전달 시스템을 통하여 전달될 현장 사운드 신호가 사운드 입력 모듈(110)을 통하여, 오디오 정보 전달 시스템 전체로 입력된다. 사운드 입력 모듈(110)에서 출력하는 현장 사운드 신호는 공연 무대에서 연주되는 음악 또는 연극 무대에서 공연하는 공연자의 목소리 등과 같은 라이브(live) 사운드 신호일 수 있으며, 미리 녹음된 사운드 신호가 역시 현장 사운드 신호로 사 용될 수 있다. 이하, 본 명세서 상에서 현장 사운드 신호는 오디오 정보 전달 시스템에 처음 입력되는 사운드 신호를 말하며, 본 발명의 목적 범위 내에서 현장 사운드 신호에는 다양한 종류의 사운드 신호가 포함될 수 있다. The sound input module 110 receives a field sound signal and outputs it to an audio information transmission system. That is, the on-site sound signal to be transmitted through the audio information transmission system is input to the entire audio information transmission system through the sound input module 110. The on-site sound signal output from the sound input module 110 may be a live sound signal such as music played on a performance stage or a voice of an performer performing on a theater stage, and the pre-recorded sound signal may also be a site sound signal. Can be used. Hereinafter, in the present specification, the field sound signal refers to a sound signal first input to the audio information transmission system, and the field sound signal may include various kinds of sound signals within the scope of the present invention.

사운드 큐(Cue) 실시 모듈(120)은 공연의 상황에 적합하게 자동 또는수동으로 사운드 큐를 생성한다. 사운드 큐는 현장 사운드 신호의 출력 시점을 결정하는 신호이며, 이하 본 명세서에서 사운드 큐는 상기와 같은 의미로 사용된다. 사운드 큐 실시 모듈(120)은 도 1에 도시된 바와 같이, 자동 또는 수동으로 사운드 큐를 생성할 수 있으며, 이렇게 생성된 사운드 큐는 현장 사운드 신호의 출력 시점을 결정할 수 있으므로, 오디오 정보 전달 시스템의 동작의 시점을 결정할 수 있게 된다. The sound cue execution module 120 generates sound cues automatically or manually according to the situation of the performance. The sound cue is a signal for determining the output time of the field sound signal, and the sound cue is used herein in the same sense as the above. The sound cue implementation module 120 may generate a sound cue automatically or manually, as shown in FIG. 1, and the generated sound cue may determine an output time point of an on-site sound signal. The timing of the operation can be determined.

즉, 사운드 큐는 공연에서 현장 사운드 신호가 어느 시점에 출력되어야 할지를 결정하게 되는데, 이러한 사운드 큐는 수동으로 공연 디렉터(director)에 의하여 생성되어 오디오 전달 시스템으로 입력되거나, 미리 사전에 현장 사운드 신호가 출력될 시점을 기록한 타임 코드(time code)에 의해 자동으로 생성되어 오디오 전달 시스템으로 입력될 수 있다. 또한, 사운드 큐는 미리 설정된 공연자의 위치 정보를 포함할 수 있다. 공연이 시작되기 전, 사전에 공연 기획자들에 의하여 정해진 공연자의 위치 정보를 사운드 큐에 저장하여 이를 통하여 공연자의 위치 정보를 얻을 수도 있다. That is, the sound cue determines at which point in time the scene sound signal should be output in the performance. The sound cue is manually generated by a performance director and input to an audio delivery system, or the scene sound signal may be pre-selected in advance. It can be automatically generated by a time code recording the time point to be output and input to the audio delivery system. In addition, the sound cue may include preset location information of the performer. Before the performance starts, the location information of the performer determined by the performance planners in advance may be stored in the sound queue, thereby obtaining the location information of the performer.

본 실시예에 따르면, 사운드 입력 모듈(110)에서 출력되는 현장 사운드 신호 및 사운드 큐 실시 모듈(120)에서 출력되는 사운드 큐는 사운드 동작 모듈(130)로 입력될 수 있다. 사운드 동작 모듈(130)은 사운드 큐가 입력되면, 현장 사운드 신호를 사운드 신호 처리 모듈(140)로 출력할 수 있다. According to the present exemplary embodiment, the on-site sound signal output from the sound input module 110 and the sound cue output from the sound cue execution module 120 may be input to the sound operation module 130. When a sound cue is input, the sound operation module 130 may output a field sound signal to the sound signal processing module 140.

사운드 신호 처리 모듈(140)은 현장 사운드 신호를 입력 받아, 현장 사운드 신호의 다이내믹 레인지(Dynamic range)를 줄여 향상된 음압 이득을 갖는 보정 사운드 신호로 출력한다. 다이내믹 레인지는 가청 프로그램 레벨의 최대 변화로 정의되며, 특히 사운드 시스템에서는 시스템의피크 출력 레벨(Peak output level)과 전기 음향 잡음 레벨(electro-acoustic noise level) 사이의 차이 값과 동일하다. 현장 사운드 신호의 다이내믹 레인지를 줄여 얻어진 보정 사운드 신호는, 현장 사운드 신호에 비하여 보다 향상된 음압 이득을 갖게 된다.The sound signal processing module 140 receives the field sound signal and outputs the corrected sound signal having an improved sound pressure gain by reducing the dynamic range of the field sound signal. Dynamic range is defined as the maximum change in audible program level, and in sound systems in particular is equal to the difference between the peak output level of the system and the electro-acoustic noise level. The corrected sound signal obtained by reducing the dynamic range of the field sound signal has a more improved sound pressure gain than the field sound signal.

공연장에서 사용되는 일반적인 스피커 시스템과 비교하여 본 실시예에 사용되는 헤드폰 및 골전도 헤드폰은 사운드 전달 효율이 떨어지기에 사운드 신호 처리 모듈(140)은 이러한 점을 고려하여 음원의 손실을 막고 증폭하여 정확히 전달하고자 현장 사운드 신호를 입력 받아, 보정 사운드 신호로 출력한다. The headphone and the bone conduction headphone used in the present embodiment are inferior in sound transmission efficiency compared to the general speaker system used in the performance hall, so the sound signal processing module 140 prevents the loss of the sound source and amplifies it accurately in consideration of this point. To receive the site sound signal, output as a correction sound signal.

본 발명의 일 실시예에 따르면, 사운드 신호 처리 모듈(140)은 각각 통과 대역이 상이한 네 개의 대역 통과 필터(band pass filter, 151~154)를 포함할 수 있다. 이때, 네 개의 대역 통과 필터의 통과 대역은 주파수에 따라, Low, Lo-Mid, Hi-Mid, High로 나누어 질 수 있다. 사운드 신호 처리 모듈(140)은 입력된 현장 사운드 신호를 주파수에 따라 4개 대역(Low, Lo-Mid, Hi-Mid, High)으로 구분된 대역 통과 필터(151, 152, 153, 154)에 통과시키며, 이때 각각 대역 통과 필터 통과 대역을 통과한 신호 각각의 다이내믹 레인지를 줄인다. 이때, 4개의 주파수 대역 중 High 대역은 자음 인식에 중요한 치찰음이 존재하는 대역일 수 있으며, Hi-Mid대역은 여성의 인성과 고음역 악기들의 소리, Lo-Mid대역은 남성의 인성과 중저음 악기들의 소리, Low 대역은 타악기의 저음이나 Sub-Woofer 효과음의 진동을 전달하는 대역 일 수 있다. 이와 같이, 4개 대역의 다이내믹 레인지는 각각 실시간으로 조정(Realtime Compression)될 수 있으며, 이러한 과정을 통해 공연에서 가장 중요한 대사나 음악연주를 상황에 맞게 효과적으로 강조하여 전달할 수 있다. According to an embodiment of the present invention, the sound signal processing module 140 may include four band pass filters 151 to 154 having different pass bands. At this time, the pass band of the four band pass filter may be divided into Low, Lo-Mid, Hi-Mid, High according to the frequency. The sound signal processing module 140 passes the input field sound signal to the band pass filters 151, 152, 153, and 154 divided into four bands (Low, Lo-Mid, Hi-Mid, and High) according to the frequency. In this case, the dynamic range of each signal passing through the band pass filter pass band is reduced. At this time, the high band of the four frequency bands may be a band in which the sibilant sound important for consonant recognition exists. For example, the low band may be a band for transmitting vibrations of percussion bass or sub-woofer effect sound. As such, the dynamic range of each of the four bands can be adjusted in real time (Realtime Compression), and through this process, the most important words and performances in the performance can be effectively emphasized and delivered to the situation.

또한, 주파수 특성을 조정하여 네 개의 대역 중 공연 관람에 가장 중요한 주파수 영역의 다이내믹 레인지를 집중적으로 줄여, 음압 이득을 향상 시킬 수 있다. 예를 들어, 연극 공연 같은 경우, 사운드 신호 처리 모듈(140)은 사람의 목소리에 의하여 전달되는 인성(human voice)범위 주파수 영역의 다이내믹 레인지를 집중적으로 줄여 얻어진 보정 사운드 신호를 출력할 수 있다. In addition, it is possible to improve the sound pressure gain by adjusting the frequency characteristics to intensively reduce the dynamic range of the frequency domain which is most important for performance viewing among the four bands. For example, in the case of a theatrical performance, the sound signal processing module 140 may output a corrected sound signal obtained by intensively reducing the dynamic range of the human voice range frequency region delivered by a human voice.

위치 추적 모듈(150)은 본 실시예에 따른 오디오 정보 전달 시스템(100)이 사용되는 공연의 공연자 위치를 추적하여 산출되는 공연자의 위치 정보에 따라 현장 사운드 신호를 필터링(filtering) 등과 같은 가공 처리 하여, 최종 사운드 신호로 출력한다. 공연자의 위치 정보는 사운드 큐 실시 모듈(120)에서 생성된 사운드 큐에 의한 위치 추적값, 위치를 감지하는 센서를 이용한 센서 위치 추적값을 바탕으로 그 결과를 비교하여 상호 보완하여 결정할 수 있다. 전술한 바와 같이, 사운드 큐 값에 미리 설정된 공연자의 위치 정보가 포함될 수 있기에, 공연 전에 미리 정해져 사운드 큐에 포함되어 있던 공연자의 위치 정보에 따라 현장 사운드 신호를 가공 처리 할 수 있다. 또한, 위치를 감지하는 센서를 이용하여 공연자의 위치를 실시간으로 감지하여 이를 기초로 현장 사운드 신호를 가공 처리할 수도 있다. 공연자에게 부착된 센서를 통하여 공연자의 위치를 감지 할 수도 있고, 비디오 카메라에 포함된 센서를 통하여 공연자의 위치를 감지할 수도 있다. 이와 같은 방법 이외에도 본 발명의 목적 범위 내에서 다양한 위치 감지 센서를 통하여 공연자의 위치를 감지할 수 있다. Position tracking module 150 is processed by the audio information delivery system 100 according to the present embodiment by filtering the on-site sound signal according to the location information of the performer calculated by tracking the performer position of the performance used; To output the final sound signal. The performer's location information may be determined by comparing the results based on the location tracking value by the sound cue generated by the sound cue implementation module 120 and the sensor location tracking value using the sensor for detecting the location. As described above, since the location information of the performer preset in the sound cue value may be included, the site sound signal may be processed according to the location information of the performer previously determined and included in the sound cue. In addition, by using a sensor for detecting the position in real time to detect the position of the performer may be processed on-site sound signal based on this. The position of the performer may be detected through a sensor attached to the performer, or the position of the performer may be detected through a sensor included in the video camera. In addition to the above method, the position of the performer may be sensed through various position sensors within the scope of the present invention.

위치 추적 모듈(150)은 산출된 공연자의 위치 정보에 상응하여, 사운드 신호처리 모듈(140)로부터 입력된 보정 사운드 신호를 가공하여 입체감을 가진 최종 사운드 신호로 출력한다. 위치 추적 모듈(150)은 공연자의무대 위 움직임을 감지, 이를 반영하여 현장 사운드 신호를 가공(필터링과 같은) 하게 되며, 이를 통하여 거리감 및공연자의 움직임에 따른 움직임 여부 등이 느껴져 공연자 바로 옆에서 공연을 보는 듯한 느낌을 줄 수 있는 최종 사운드 신호를 얻을 수 있다.The position tracking module 150 processes the corrected sound signal input from the sound signal processing module 140 according to the calculated position information of the performer and outputs the final sound signal having a three-dimensional effect. The position tracking module 150 detects the movement on the stage of the performer and processes the sound signal (such as filtering) by reflecting it, thereby feeling the sense of distance and the movement according to the movement of the performer, and performing right next to the performer. You can get the final sound signal that makes you feel as if you are watching.

위치 추적 모듈(150)에서 출력된 최종 사운드 신호가 송수신 모듈(160)로 입력된다. 본 실시예에 다른 송수신 모듈(160)은 분배기(distributor, 161) 및 수신기(162)를 포함할 수 있다. 송수신 모듈로 입력된 최종 사운드 신호는 분배기(161)로 전달되어, 저장되고 분배기(161)에서 출력된 최종 사운드 신호는 각각 관람객의 좌석에 배치된 수신기(162)로 전달될 수 있다. 이때, 공유기(161) 및 수신기(162)는 무선 통신을 이용하여, 최종 사운드 신호를 송수신 할 수 있다. 본 실시예에 따르면, 공유기(161) 및 수신기(162)는 블루투스(blue tooth) 통신을 사용할 수 있으나, 본 발명의 목적 범위 내에서 다양한 통신 방법이 사용될 수 있음은 당업자에게 자명하다. The final sound signal output from the position tracking module 150 is input to the transmission / reception module 160. The transmission / reception module 160 according to the present embodiment may include a distributor 161 and a receiver 162. The final sound signal input to the transmission / reception module may be transmitted to the distributor 161, and the final sound signal stored and output from the distributor 161 may be transmitted to the receiver 162 disposed in the seat of the viewer, respectively. At this time, the router 161 and the receiver 162 may transmit and receive the final sound signal by using wireless communication. According to the present embodiment, the router 161 and the receiver 162 may use Bluetooth communication, but it is apparent to those skilled in the art that various communication methods may be used within the scope of the present invention.

수신기(162)는 관람객이 편하게 착용할 수 있는 헤드셋 또는 골전도 헤드폰의 형태일 수 있으며, 수신기(162)를 착용 또는 소지한 관람객은 최종 사운드 신호를 수신하여, 보다 현장감 있는 공연 관람을 할 수 있다. The receiver 162 may be in the form of a headset or bone conduction headphones that the viewer can comfortably wear, and the viewer who wears or possesses the receiver 162 may receive a final sound signal to watch a more realistic performance. .

이하, 도 2를 참조하여 본 발명의 일 실시예에 따른 비디오 정보 전달 시스템(200)의 구성에 대하여 살펴보도록 한다. 도 2는 본 발명의 일 실시예에 따른 비디오 정보 전달 시스템(200)의 구성도 이다. Hereinafter, a configuration of a video information delivery system 200 according to an embodiment of the present invention will be described with reference to FIG. 2. 2 is a block diagram of a video information delivery system 200 according to an embodiment of the present invention.

본 발명의 일 실시예에 따른 비디오 정보 전달 시스템(200)은 자막 입력 모듈(210), 비디오 큐 실시 모듈(220), 비디오 동작 모듈(230), 좌표 산출 모듈(240), 비디오 제어 모듈(250), 비디오 생성 모듈(260), 비디오 출력 모듈(270), 비디오 저장 모듈(280) 및 비디오 입력 모듈(290)을 포함할 수 있다. Video information delivery system 200 according to an embodiment of the present invention is a subtitle input module 210, video cue implementation module 220, video operation module 230, coordinate calculation module 240, video control module 250 ), A video generation module 260, a video output module 270, a video storage module 280, and a video input module 290.

자막 입력 모듈(210)은 자막 신호를 비디오 정보 전달 시스템(200)으로 출력한다. 즉, 비디오 정보 전달 시스템(200)을 통하여 전달될 자막 신호가 자막 입력 모듈(210)을 통하여, 비디오 정보 전달 시스템(200) 전체로 입력된다. 자막 입력 모듈(210)에서 출력하는 자막 신호는 단순 공연의 대사뿐 아니라 공연 정보 등을 포함하는 개념일 수 있다. 또한, 자막 신호는 그래픽 파일 또는 텍스트 파일 형태일 수 있으며, 본 발명의 목적 범위 내에서 다양한 형태의 자막 신호가 존재할 수 있다. The caption input module 210 outputs a caption signal to the video information transmission system 200. That is, the caption signal to be transmitted through the video information delivery system 200 is input to the entire video information delivery system 200 through the caption input module 210. The caption signal output from the caption input module 210 may be a concept including not only dialogue of a simple performance but also performance information. Also, the caption signal may be in the form of a graphic file or a text file, and various types of caption signals may exist within the scope of the present invention.

비디오 큐 실시 모듈(220)은 공연의 상황에 적합하게 자동 또는 수동으로 비디오 큐를 생성한다. 비디오 큐는 본 실시예에 따른 자막 신호의 출력 시점을 결정 하는 신호이며, 이하 본 명세서에서 비디오 큐는 상기와 같은 의미로 사용된다. 비디오 큐 실시 모듈(220)은 도 2에 도시된 바와 같이, 자동 또는 수동으로 비디오 큐를 생성할 수 있으며, 이렇게 생성된 비디오 큐는 자막 신호의 출력 시점을 결정할 수 있게 된다. The video cue implementation module 220 generates a video cue automatically or manually according to the situation of the performance. The video cue is a signal for determining an output time point of the caption signal according to the present embodiment. Hereinafter, the video cue is used as described above. As shown in FIG. 2, the video cue implementing module 220 may generate a video cue automatically or manually. The generated video cue may determine an output time point of the caption signal.

비디오 큐 실시 모듈(220)에서 수동으로 비디오 큐를 생성하는 것은, 공연의 디렉터(director)가 공연의 상황을 지켜보면서, 그 상황에 따라 큐 생성 시점을 결정하는 것을 말한다.Manually creating a video cue in the video cue execution module 220 refers to determining a cue generation time according to the situation while a director of the performance watches the status of the performance.

비디오 큐 실시 모듈(220)에서 자동으로 비디오 큐를 생성하는 것은, 비디오 큐에 의한 공연자의 위치 추적 값, 위치 추적 센서를 이용한 위치 추적 값 비디오를 이용한 추적에 의한 위치 추적 값 그리고 조명 큐를 참조하여 상호 보완하여 비디오 큐의 출력 시점이 결정될 수 있다. 비디오 큐에 의한 공연자의 위치 추적 값은 비디오 큐에 포함된 공연 전 미리 설정된 공연자의 위치 정보 값을 이용한 위치 추적 값을 말하며, 조명 큐는 각 공연의 장면 별로 조명이 언제, 어떻게 들어와야 하는지에 대한 정보를 포함하고 있어 이를 기초로 어느 시점에 비디오 큐를 생성할지를 결정할 수 있게 된다. 비디오 큐에 의한 공연자의 위치 추적 값, 위치 추적 센서를 이용한 위치 추적 값 비디오를 이용한 추적에 의한 위치 추적 값 그리고 조명 큐들의 값들을 상호 보완하여 비디오 큐 생성 시점을 결정하기 위하여, 유클리디언 디스턴스(Euclidean Distance) 알고리즘을 이용하여, 네 개의 값 중 가장 근사값을 결정하는 방법을 사용할 수 있다. Automatically generating a video cue in the video cue implementation module 220 refers to a performer's location tracking value by the video cue, location tracking value using a location tracking sensor, location tracking value by tracking using video, and lighting cue. Complementary with each other, the output time point of the video queue may be determined. The location tracking value of the performer by the video cue refers to a location tracking value using the location information of a preset performer before the performance included in the video cue, and the lighting cue is information on when and how the lighting should come in for each scene of the performance. It is possible to determine when to create a video cue based on this. Positioning value of performer by video cue, position tracking value by using position tracking sensor Positioning value by tracking using video and values of lighting cues complement each other to determine when to create video cue distance. Using the Euclidean Distance) algorithm, we can use the method of determining the approximation of the four values.

비디오 동작 모듈(230)은 비디오 큐 실시 모듈(220)에 의하여 생성된 비디오 큐가 입력되는 순간부터, 자막 입력 모듈(210)로부터 입력된 자막 신호를 출력할 수 있다. 즉, 비디오 동작 모듈(230)은 비디오 큐 실시 모듈(220)에 의하여 생성된 비디오 큐에 의하여, 비디오 생성 모듈(260)로 자막 신호를 출력할 수 있다. The video operation module 230 may output the caption signal input from the caption input module 210 from the moment the video cue generated by the video cue execution module 220 is input. That is, the video operation module 230 may output the caption signal to the video generation module 260 by the video cue generated by the video cue implementation module 220.

좌표 산출 모듈(240)은 공연을 관람하는 관람객의 위치를 좌표 정보로 변환하여 산출한다. 좌표 산출 모듈(240)에 의하여 산출된 관람객의 좌표 정보는 관람객의 시야 방향에서 현장 비디오 신호를 줌-인(zoom in)하여 출력하여 관람객에게 제공하는 등과 같이, 관람객의 위치에 상응하여 비디오 정보를 가공할 수 있게 해준다. The coordinate calculation module 240 converts the position of the viewer who is watching the performance into coordinate information and calculates the coordinate information. The coordinate information of the visitor calculated by the coordinate calculating module 240 may be configured to display video information corresponding to the position of the visitor, such as to zoom-in and output an on-site video signal in the viewing direction of the visitor to provide the visitor. It allows for processing.

본 실시예에 따르면, 좌표 산출 모듈(240)은 관람객의 위치를 나타내는 관람객 좌표 정보를 얻기 위하여, 먼저 관람객에게 부착된 센서를 이용하여 관람객 위치정보를 획득하게 된다. 다음으로, 좌표 산출 모듈(240)은 오일러(Euler)방식을 사용하여 관람객 위치 정보의 좌표 행렬(Transform Matrix) 변화량을 산출하여 관람객의 위치를 나타내는 관람객 좌표 정보를 얻을 수 있다. 이때, 오일러 방식을 통하여 생성된 관람객 좌표 정보는 사원수(quaternion)로 변환되어, 비디오 제어 모듈(240)로 전송될 수 있다. 이와 같이, 관람객 좌표 정보를 사원수로 변환하여비디오 제어 모듈(240)로 전송하는 것은, 사원수로 변환하지 않고 전송하는 경우 회전 중에 두 개의 축이 일치되면서 회전이 정지하는 현상이 발생할 확률이 존재하기 때문이다. 이러한 방식은 일반적인 방법으로, 당업자에게 자명하다.According to the present embodiment, the coordinate calculation module 240 first obtains the visitor position information using a sensor attached to the visitor in order to obtain the visitor coordinate information indicating the position of the visitor. Next, the coordinate calculation module 240 may calculate the amount of change in the coordinate matrix of the visitor position information by using the Euler method to obtain visitor coordinate information indicating the position of the visitor. In this case, the visitor coordinate information generated through the Euler scheme may be converted into a quaternion and transmitted to the video control module 240. As described above, converting the visitor coordinate information to the number of employees to transmit to the video control module 240, there is a possibility that the rotation stops while the two axes coincide during the rotation without transmitting to the number of employees. Because. This method is a general method and is obvious to those skilled in the art.

비디오 입력 모듈(290)은 카메라에 의하여 현장 비디오 신호가 입력되는 모듈로, 현장 비디오 신호는 공연 실황을 담은 영상 정보일 수 있다. 이때, 비디오 입력 모듈(290)에 포함되는 카메라는 HD 카메라 일 수 있으며, 이외에도 다양한 카메라가 비디오 입력 모듈(290)에 포함될 수 있다. 비디오 입력 모듈(290)로 입력된 현장 비디오 신호는 후에 비디오 제어 모듈(250)로 출력된다. The video input module 290 is a module in which an on-site video signal is input by a camera, and the on-site video signal may be image information including a live performance. In this case, the camera included in the video input module 290 may be an HD camera, and various cameras may be included in the video input module 290. The field video signal input to the video input module 290 is later output to the video control module 250.

비디오 제어 모듈(250)은 좌표 산출 모듈(240)에서 출력된 관람객의 좌표정보가 입력되며, 관람객에 의하여 입력된 명령 신호에 따라 관람객 좌표 정보에 상응하도록 현장 비디오 신호를 선택 및 가공하여 가공 비디오 신호를 생성한다. 즉, 관람객의 좌표 정보에 따라, 그 좌표 정보에 상응하는 카메라에 의하여 입력된 현장 비디오 신호를 가공하여, 가공 비디오 신호를 생성하게 된다. 여기서, 관람객의 좌표 정보에 상응하는 카메라는 관람객의 시야방향과 동일 범위 내에 위치한 카메라를 말하는 것을 의미한다. 이와 같이, 현장 비디오 신호를 가공하는 동작에는 줌인(zoom-in) 뿐 아니라, 트랙킹(tracking) 동작이 포함될 수 있으며, 이외에도 본 발명의 목적 범위 내에서 다양한 가공 동작이 포함될 수 있다. The video control module 250 inputs the coordinate information of the viewer output from the coordinate calculation module 240, selects and processes the field video signal to correspond to the viewer coordinate information according to the command signal input by the viewer, and processes the processed video signal. Create That is, according to the coordinate information of the visitor, the field video signal input by the camera corresponding to the coordinate information is processed to generate a processed video signal. Here, the camera corresponding to the coordinate information of the visitor means a camera located within the same range as the viewing direction of the visitor. As such, the processing of the field video signal may include not only a zoom-in, but also a tracking operation. In addition, various processing operations may be included within the scope of the present invention.

또한, 가공 비디오 신호는 관람객에 의하여 입력된 명령 신호에 따라 생성된다. 예를 들어, 관람객이 특정 장면을 가까이 보기 위하여 줌인 명령 신호를 입력하면, 명령 신호가 입력된 시점의 관람객 좌표 정보에 상응하는 카메라에 의해 입력된 현장 비디오 신호를 확대한 가공 비디오 신호를 획득할 수 있다. 이때, 줌인 명령 신호에 의해 확대된 가공 비디오 신호는 카메라에 의하여 이미 촬영된 영상을 디지털 방식으로 줌을 하는 것으로, 이미 촬영된 일정 해상도의 영상을 그 해상도를 유지하면서, 특정 부분만을 확대하여 보여주는 것을 말한다. 이외에도 카메라 자체에 포함되어 있는 렌즈에 의하여 광학적 방식으로 줌을 행할 수 있다. In addition, the processed video signal is generated according to the command signal input by the viewer. For example, when the viewer inputs a zoom-in command signal to closely view a specific scene, the processed video signal obtained by enlarging the field video signal input by the camera corresponding to the visitor coordinate information at the time when the command signal is input may be obtained. have. At this time, the processed video signal enlarged by the zoom-in command signal is to digitally zoom the image already taken by the camera, and to enlarge and display only a specific part of the image having a predetermined resolution while maintaining the resolution. Say. In addition, the lens included in the camera itself may zoom in an optical manner.

비디오 생성 모듈(260)은 비디오 제어 모듈(250)에서 생성된 가공 비디오 신호 및 비디오 동작 모듈(230)에서 출력된 자막 신호를 실시간으로 통합하여, 통합 비디오 신호로 출력한다. 통합 비디오 신호는 비디오 출력 모듈(270)로 입력될 수 있으며, 관람객의 좌석에 배치된 표시부에 출력되어 디스플레이 된다. 이때, 관람객의 좌석에 배치되는 표시부는 투명 LCD 등 일 수 있으며, 본 발명의 목적 범위 내에서 다양한 종류가 표시부에 해당할 수 있다. The video generation module 260 integrates the processed video signal generated by the video control module 250 and the subtitle signal output from the video operation module 230 in real time and outputs the integrated video signal. The integrated video signal may be input to the video output module 270, and may be output and displayed on a display unit disposed in the seat of the viewer. At this time, the display unit disposed on the seat of the viewer may be a transparent LCD, etc., various kinds may correspond to the display unit within the scope of the present invention.

비디오 저장 모듈(280)은 비디오 생성 모듈(260)에서 출력된 통합 비디오 신호를 입력 받아, 기록 매체에 기록되도록 한다. 이와 같이, 비디오 저장 모듈(270)에 의하여 통합 비디오 신호가 기록 매체에 기록 됨으로써, 관람객이 후에 이를 소장할 수 있게 된다. 이때, 통합 비디오 신호가 기록되는 기록 매체에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다.The video storage module 280 receives the integrated video signal output from the video generation module 260 to be recorded on the recording medium. In this way, the integrated video signal is recorded on the recording medium by the video storage module 270, so that the audience can later collect it. At this time, the recording medium on which the integrated video signal is recorded may include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and floppy disks. Magnetic-optical media such as and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like.

이하, 도 3을 참조하여, 본 발명의 일 실시예에 따른 공연 정보 전달 시스템의 구성에 대하여 살펴보도록 한다. 도 3은 본 발명의 또 다른 실시예에 따른 공연 정보 전달 시스템의 구성도 이다.Hereinafter, a configuration of a performance information delivery system according to an embodiment of the present invention will be described with reference to FIG. 3. 3 is a block diagram of a performance information delivery system according to another embodiment of the present invention.

도 3에 도시된 공연 정보 전달 시스템은 도 1을 참조하여 설명한 오디오 정 보 전달 시스템 및 도 2를 참조하여 설명한 비디오 정보 전달 시스템을 포함하는 하나의 시스템으로써, 전술한 바 있는 오디오 정보 전달 시스템 및 비디오 정보 전달 시스템과 그 기능 및 작동 과정이 유사하므로 중복되는 설명을 생략하고 간략하게 살펴보도록 한다. 3 is a system including the audio information delivery system described with reference to FIG. 1 and the video information delivery system described with reference to FIG. 2, and the audio information delivery system and the video described above. Since the information delivery system and its functions and operations are similar, duplicate descriptions will be omitted and briefly discussed.

본 실시예에 따른 공연 정보 전달 시스템(300)은 오디오 정보 전달 시스템(310) 및 비디오 정보 전달 시스템(320)를 포함한다. The performance information delivery system 300 according to the present embodiment includes an audio information delivery system 310 and a video information delivery system 320.

오디오 정보 전달 시스템(310)는 사운드 입력 모듈(311), 사운드 큐(Cue) 실시 모듈(312), 사운드 동작 모듈(313), 사운드 신호 처리 모듈(314), 위치 추적 모듈(315) 및 송수신 모듈(316)을 포함할 수 있다. The audio information transmitting system 310 includes a sound input module 311, a sound cue execution module 312, a sound operation module 313, a sound signal processing module 314, a location tracking module 315, and a transmission / reception module. 316 may include.

사운드 입력 모듈(311)은 오디오 정보 전달 시스템(310)으로 현장 사운드 신호를 출력한다. 현장 사운드 신호는 전술한 바와 같이, 공연 무대에서 연주되는 음악 또는 연극 무대에서 공연하는 공연자의 목소리 등과 같은 라이브(live) 사운드 신호일 수 있으며, 미리 녹음된 사운드 신호 역시 현장 사운드 신호로 사용될 수 있다.The sound input module 311 outputs a field sound signal to the audio information transmission system 310. As described above, the field sound signal may be a live sound signal such as music played on a performance stage or a voice of an performer performing on a theater stage, and a pre-recorded sound signal may also be used as a field sound signal.

사운드 큐 실시 모듈(312)은, 자동 또는 수동으로 사운드 큐를 생성할 수 있으며, 이렇게 생성된 사운드 큐는 현장 사운드 신호의 출력 시점을 결정할 수 있게 된다. The sound cue execution module 312 may generate a sound cue automatically or manually, and the generated sound cue may determine an output time point of a field sound signal.

사운드 입력 모듈(311)에서 출력되는 현장 사운드 신호 및 사운드 큐 실시 모듈(312)에서 출력되는 사운드 큐는 사운드 동작 모듈(313)로 입력된다. 사운드 동작 모듈(313)은 사운드 큐가 입력되면, 현장 사운드 신호를 사운드 신호 처리 모 듈(314)로 출력할 수 있다. The on-site sound signal output from the sound input module 311 and the sound cue output from the sound cue execution module 312 are input to the sound operation module 313. When a sound cue is input, the sound operation module 313 may output a field sound signal to the sound signal processing module 314.

사운드 신호 처리 모듈(314)은 현장 사운드 신호를 입력 받아, 현장 사운드 신호의 다이내믹 레인지(Dynamic range)를 줄여 향상된 음압 이득을 갖는 보정 사운드 신호로 출력한다. 본 실시예에 따르면, 사운드 신호 처리 모듈(314)은 각각 통과 대역이 상이한 네 개의 대역 통과 필터(band pass filter, 151~154)를 포함할 수 있다. 이 때, 각각의 대역 통과 필터의 주파수 특성을 조정하여 네 개의 대역 중 공연 관람에 가장 중요한 주파수 영역의 다이내믹 레인지를 집중적으로 줄여, 음압 이득을 향상 시킬 수 있다. The sound signal processing module 314 receives the field sound signal and outputs the field sound signal as a corrected sound signal having an improved sound pressure gain by reducing the dynamic range of the field sound signal. According to the present embodiment, the sound signal processing module 314 may include four band pass filters 151 to 154 having different pass bands. At this time, by adjusting the frequency characteristics of each band pass filter to reduce the dynamic range of the frequency range that is most important for the performance of the four bands, it is possible to improve the sound pressure gain.

위치 추적 모듈(315)은 공연자 위치를 추적하여 산출되는 공연자의 위치 정보에 따라 사운드 신호 처리 모듈(314)로부터 입력된 보정 신호를 필터링(filtering)등과 같이 가공하여 최종 사운드 신호로 출력한다. 위치 추적 모듈(315)은 산출된 공연자의 위치 정보에 상응하여, 보정 사운드 신호를 가공하여 입체감을 가진 최종 사운드 신호로 출력한다. The position tracking module 315 processes the correction signal input from the sound signal processing module 314 according to the position information of the performer calculated by tracking the position of the performer, such as filtering, and outputs the final sound signal. The position tracking module 315 processes the corrected sound signal according to the calculated position information of the performer and outputs the corrected sound signal as a final sound signal having a three-dimensional effect.

최종 사운드 신호는 송수신 모듈(316)로 입력된다. 송수신 모듈(316)로 입력된 최종 사운드 신호는 분배기(미도시)로 전달되어, 저장되고 분배기(미도시)에서 출력된 최종 사운드 신호는 각각 관람객의 좌석에 배치된 수신기(미도시) 및 후술할 비디오 정보 전달 시스템 (320)의 비디오 출력 모듈(327)로 전달될 수 있다. 이때, 공유기(미도시) 및 수신기(미도시)를 포함하는 송수신 모듈(316)은 블루투스(blue tooth) 통신 등과 같은 무선 통신을 이용하여, 최종 사운드 신호를 송수신 할 수 있다. The final sound signal is input to the transmit / receive module 316. The final sound signal input to the transmission / reception module 316 is transmitted to the distributor (not shown), and the final sound signal stored and output from the distributor (not shown) may be respectively described in the receiver (not shown) and the following description. And to a video output module 327 of the video information delivery system 320. In this case, the transmission / reception module 316 including a router (not shown) and a receiver (not shown) may transmit and receive the final sound signal by using wireless communication such as Bluetooth (blue tooth) communication.

공연 정보 전달 시스템(300)에 포함된 비디오 정보 전달 시스템(320)은 자막 입력 모듈(321), 비디오 큐 실시 모듈(322), 비디오 동작 모듈(323), 좌표 산출 모듈(324), 비디오 제어 모듈(325), 비디오 생성 모듈(326), 비디오 출력 모듈(327), 비디오 저장 모듈(328) 및 비디오 입력 모듈(329)을 포함할 수 있다. The video information delivery system 320 included in the performance information delivery system 300 includes a subtitle input module 321, a video cue implementation module 322, a video operation module 323, a coordinate calculation module 324, and a video control module. 325, video generation module 326, video output module 327, video storage module 328, and video input module 329.

자막 입력 모듈(321)은 자막 신호를 비디오 정보 전달 시스템으로 출력한다. 자막 입력 모듈(321)에서 출력하는 자막 신호는 공연의 대사 또는 공연의 정보일 수 있으며, 그래픽, 텍스트 파일의 형태일 수 있다. The caption input module 321 outputs the caption signal to the video information transmission system. The caption signal output from the caption input module 321 may be dialogue performance or performance information, and may be in the form of a graphic or text file.

비디오 큐 실시 모듈(322)은 공연의 상황에 적합하게 자동 또는 수동으로 비디오 큐를 생성한다. 비디오 큐 실시 모듈(322)은 자동 또는 수동으로 비디오 큐를 생성할 수 있으며, 이렇게 생성된 비디오 큐는 자막 신호의 출력 시점을 결정할 수 있게 된다. The video cue implementation module 322 generates video cues automatically or manually to suit the situation of the performance. The video cue execution module 322 may automatically or manually generate a video cue, and the generated video cue may determine an output time point of the caption signal.

비디오 동작 모듈(323)은 비디오 큐 실시 모듈(322)에 의하여 생성된 비디오 큐가 입력되는 순간부터, 자막 입력 모듈(321)로부터 입력된 자막 신호를 출력한다. The video operation module 323 outputs a caption signal input from the caption input module 321 from the moment the video cue generated by the video cue execution module 322 is input.

좌표 산출 모듈(324)은 공연을 관람하는 관람객의 위치를 좌표 정보로 변환하여 산출한다. 본 실시예에 따르면, 좌표 산출 모듈(324)이 관람객의 위치를 나타내는 관람객 좌표 정보를 얻기 위하여, 먼저 관람객에게 부착된 센서를 이용하여 관람객 위치 정보를 획득할 수 있다. 오일러(Euler)방식을 사용하여 관람객 위치 정보의 좌표 행렬(Transform Matrix) 변화량을 산출하여 좌표 산출 모듈(324)은 관 람객의 위치를 나타내는 관람객 좌표 정보를 얻을 수 있다. 이때, 오일러 방식을 통하여 생성된 관람객 좌표 정보는 사원수(quaternion)로 변환되어, 비디오 제어 모듈(325)로 전송된다. The coordinate calculation module 324 calculates and converts the position of the viewer who is watching the performance into coordinate information. According to the present exemplary embodiment, the coordinate calculation module 324 may first obtain visitor position information using a sensor attached to the visitor in order to obtain visitor coordinate information indicating the position of the visitor. The coordinate calculation module 324 may obtain the visitor coordinate information indicating the position of the visitor by calculating an amount of change in the transform matrix of the visitor position information using the Euler method. At this time, the visitor coordinate information generated through the Euler scheme is converted into a quaternion and transmitted to the video control module 325.

비디오 입력 모듈(329)은 공연 실황을 담은 현장 비디오 신호를 비디오 카메라를 통하여 입력 받아, 비디오 제어 모듈(325)로 출력할 수 있다. The video input module 329 may receive an on-site video signal containing a live performance through a video camera and output the video signal to the video control module 325.

비디오 제어 모듈(325)은 좌표 산출 모듈(324)에서 출력된 관람객 좌표 정보가 입력되며, 관람객에 의하여 입력된 명령 신호에 따라 관람객의 좌표 정보에 상응하도록 현장 비디오 신호를 선택 및 가공하여 가공 비디오 신호를 생성한다. 즉, 관람객의 좌표 정보에 따라, 그 좌표 정보에 상응하는 카메라에 의하여 입력 받은 현장 비디오 신호를 가공하여 가공 비디오 신호를 생성하게 된다. 가공 비디오 신호는 관람객에 의하여 입력된 명령 신호에 따라 생성된다. The video control module 325 receives the visitor coordinate information output from the coordinate calculation module 324, and selects and processes a field video signal corresponding to the coordinate information of the visitor according to a command signal input by the visitor, thereby processing the processed video signal. Create That is, the processed video signal is generated by processing the field video signal input by the camera corresponding to the coordinate information according to the viewer's coordinate information. The processed video signal is generated according to the command signal input by the viewer.

비디오 생성 모듈(326)은 비디오 제어 모듈(325)에서 생성된 가공 비디오 신호 및 비디오 동작 모듈(323)에서 출력된 자막 비디오 신호를 실시간으로 통합하여, 통합 비디오 신호로 출력한다. The video generation module 326 integrates the processed video signal generated by the video control module 325 and the subtitle video signal output from the video operation module 323 in real time and outputs the integrated video signal.

통합 비디오 신호는 비디오 출력 모듈(327)로 입력되어, 관람객의 좌석에 배치된 표시부로 출력, 디스플레이 된다. 또한, 통합 비디오 신호 이외에 오디오 정보 전달 시스템 (310)에서 출력된 최종 사운드 신호도 비디오 출력 모듈(327)로 입력되어, 통합 비디오 신호와 함께 관람객에게 출력할 수 있다. 이때, 관람객의 좌석에 배치되는 표시부는 투명 LCD 등 일 수 있으며, 최종 사운드 신호를 출력하기 위하여, 본 발명의 목적 범위 내에서 다양한 종류가 표시부에 해당할 수 있다.The integrated video signal is input to the video output module 327 and output and displayed on the display unit disposed in the seat of the viewer. In addition to the integrated video signal, the final sound signal output from the audio information transmission system 310 may also be input to the video output module 327 and output to the viewer along with the integrated video signal. In this case, the display unit disposed on the seat of the viewer may be a transparent LCD, etc., in order to output the final sound signal, various kinds may correspond to the display unit within the scope of the present invention.

비디오 정보 전달 시스템(320)에서 출력되는 통합 비디오 신호 및 오디오 정보 전달 시스템(310)에서 출력되는 최종 사운드 신호는 저장 모듈(328)로 입력되어, 기록 매체에 기록/저장 된다. 이와 같이, 저장 모듈(328)에 의하여 통합 비디오 신호 및 최종 사운드 신호가 기록 매체에 기록 됨으로써, 관람객이 후에 이를 소장할 수 있게 된다. 이때, 통합 비디오 신호 및 최종 사운드 신호가 기록되는 기록 매체에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media) 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함될 수 있다.The integrated video signal output from the video information transmission system 320 and the final sound signal output from the audio information transmission system 310 are input to the storage module 328 and recorded / stored in the recording medium. As such, the integrated video signal and the final sound signal are recorded on the recording medium by the storage module 328, so that the viewer can later collect them. At this time, the recording medium on which the integrated video signal and the final sound signal are recorded may include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical media such as CD-ROMs, DVDs, and floppy disks. magneto-optical media, such as floppy disks, and hardware devices specifically configured to store and execute program instructions, such as ROM, RAM, flash memory, and the like.

이하, 도 4 내지 도 7을 참조하여 본 실시예에 따른 오디오 및 비디오 정보 전달 시스템의 실제 구현예에 대하여 살펴보도록 한다. 도 4 는 본 발명의 일 실시예에 따른 오디오 정보 전달 시스템의 수신기를 나타낸 예시도 이고, 도 5 내지 도 7은 본 발명의 일 실시예에 따른 비디오 정보 전달 시스템의 비디오 출력 모듈을 나타낸 예시도 이다. Hereinafter, an embodiment of an audio and video information transmitting system according to the present embodiment will be described with reference to FIGS. 4 to 7. 4 is an exemplary view showing a receiver of an audio information delivery system according to an embodiment of the present invention, Figures 5 to 7 is an exemplary view showing a video output module of a video information delivery system according to an embodiment of the present invention. .

도 4를 참조하여 살펴보면, 본 실시예에 따른 오디오 정보 전달 시스템의 수신기는 사용자 즉, 관람객의 귀에 부착형으로 제작될 수 있다. 전술한 바와 같이 오디오 정보 전달 시스템의 수신기는 블루투스 통신을 사용하여, 오디오 정보 전달 시스템에서 입체감있게 생성된 최종 사운드 신호를 수신 받을 수 있다. 블루투스 이외에도, 무선 통신, 유선 통신 어느 것이라도 최종 사운드 신호를 송수신할 수 있는 통신 방법이라면 오디오 정보 전달 시스템의 수신부에 사용될 수 있다. 또한, 본 실시예에 따른 오디오 정보 전달 시스템의 수신기는 골전도 헤드폰, 일반적인 헤드폰 및 이어폰 등 어느 형태이더라도 본 발명의 목적 범위 내에서 다양한 형태로 제작 가능하다. Referring to FIG. 4, the receiver of the audio information transmission system according to the present embodiment may be manufactured to be attached to an ear of a user, that is, a visitor. As described above, the receiver of the audio information transmission system may receive the final sound signal generated in three dimensions in the audio information transmission system using Bluetooth communication. In addition to Bluetooth, any communication method capable of transmitting / receiving a final sound signal may be used in a receiver of an audio information transmission system in any of wireless communication and wired communication. In addition, the receiver of the audio information transmission system according to the present embodiment can be produced in various forms within the scope of the present invention, even if any form, such as bone conduction headphones, general headphones and earphones.

도 5를 참조하여 살펴보면, 본 실시예에 따른 비디오 정보 출력 모듈은 고글(goggle)형태로 제작될 수 있다. 고글 형태로 제작된 비디오 정보 출력 모듈은 고글의 렌즈 부분에 부착된 표시부에서 통합 비디오 신호가 출력될 수 있다. 이외에도, 도 6에 도시된 바와 같이, 본 실시예에 따른 비디오 정보 출력 모듈은 관람객의 좌석 앞에 투명 LCD 형태로 제작될 수 있으며, 도 7에 도시된 바와 같이 관람객의 좌석 앞의 테이블에 매몰된 형태로 제작될 수도 있다. 비디오 정보 출력 모듈은 이외에도, 본 발명의 목적 범위 내에서 다양한 형태로 제작 될 수 있음은 당업자에게 자명하다. Referring to FIG. 5, the video information output module according to the present embodiment may be manufactured in the form of goggles. The video information output module manufactured in the form of goggles may output an integrated video signal from a display unit attached to the lens portion of the goggles. In addition, as shown in FIG. 6, the video information output module according to the present embodiment may be manufactured in the form of a transparent LCD in front of the seat of the visitor, and is buried in the table in front of the seat of the visitor as shown in FIG. 7. It may be produced as. In addition, it is apparent to those skilled in the art that the video information output module may be manufactured in various forms within the scope of the present invention.

상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야에서 통상의 지식을 가진 자라면 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을것이다.Although the above has been described with reference to a preferred embodiment of the present invention, those skilled in the art to which the present invention pertains without departing from the spirit and scope of the present invention as set forth in the claims below It will be appreciated that modifications and changes can be made.

전술한 실시예 외의 많은 실시예들이 본 발명의 특허청구범위 내에 존재한다.Many embodiments other than the above-described embodiments are within the scope of the claims of the present invention.

도 1은 본 발명의 일 실시예에 따른 오디오 정보 전달 시스템의 구성도.1 is a block diagram of an audio information delivery system according to an embodiment of the present invention.

도 2는 본 발명의 일 실시예에 따른 비디오 정보 전달 시스템의 구성도.2 is a block diagram of a video information delivery system according to an embodiment of the present invention.

도 3은 본 발명의 또 다른 실시예에 따른 공연 정보 전달 시스템의 구성도.3 is a block diagram of a performance information delivery system according to another embodiment of the present invention.

도 4 는 본 발명의 일 실시예에 따른 오디오 정보 전달 시스템의 수신기를 나타낸 예시도.4 is an exemplary view showing a receiver of an audio information transmitting system according to an embodiment of the present invention.

도 5 내지 도 7은 본 발명의 일 실시예에 따른 비디오 정보 전달 시스템의 비디오 출력 모듈을 나타낸 예시도.5 to 7 are exemplary diagrams showing a video output module of a video information delivery system according to an embodiment of the present invention.

<도면의 주요부분에 대한 부호의 설명><Description of the symbols for the main parts of the drawings>

110: 사운드 입력 모듈210: 자막 입력 모듈110: sound input module 210: subtitle input module

120: 사운드 큐(Cue) 실시 모듈 220: 비디오 큐(Cue) 실시 모듈120: sound cue implementation module 220: video cue implementation module

130: 사운드 동작 모듈 230: 비디오 동작 모듈130: sound operation module 230: video operation module

140: 사운드 신호 처리 모듈 240: 좌표 산출 모듈140: sound signal processing module 240: coordinate calculation module

150: 위치 추적 모듈 250: 비디오 제어 모듈150: location tracking module 250: video control module

160: 송수신 모듈 260: 비디오 생성 모듈 160: transceiver module 260: video generation module

270: 비디오 출력 모듈 270 video output module

Claims

In the audio information transmission system for viewing a performance,

A sound input module which receives a field sound signal and outputs the sound signal to the audio information transmission system;

A sound cue implementation module for generating and outputting a sound cue which is a signal for determining an output time point of the field sound signal;

A sound signal processing module which receives the field sound signal and outputs the corrected sound signal having an improved sound pressure gain by reducing a dynamic range of the field sound signal;

A position tracking module for processing the corrected sound signal input according to the position information of the performer calculated by tracking the performer position of the performer and outputting the corrected sound signal as a final sound signal; And

And a transmission / reception module for transmitting the final sound signal to the viewers of the performance.

The method of claim 1,

And a sound operation module configured to input the field sound signal and the sound cue, and output the field sound signal when the sound cue is input.

The method of claim 1,

The location tracking module,

The location information of the performer is obtained based on the sound cue value and the tracking value by the location tracking sensor.

The sound cue value includes preset position information of the performer, and is generated by the sound cue implementation module and input to the location tracking module.

The method of claim 1,

The sound signal processing module,

An audio information transfer system comprising four band pass filters each having a different pass band.

The method of claim 1,

The sound signal processing module,

And a correction sound signal is obtained by reducing a dynamic range of a frequency domain in which human voice is transmitted among the field sound signals.

The method of claim 1,

The transmission and reception module,

A distributor for receiving and outputting the final sound signal;

And a receiver for receiving the final sound signal output from the distributor.

The method of claim 1,

And the transmission / reception module transmits the final sound signal using wireless communication.

The method of claim 7, wherein

The wireless communication is characterized in that the Bluetooth (Bluetooth).

The method of claim 1,

And a sound storage module for storing the final sound signal.

In the video information transmission system for viewing a performance,

A caption input module for outputting a caption signal to the video information transmission system;

A video cue implementing module for generating a video cue which is a signal for determining an output time point of the caption signal;

A video input module for receiving and outputting a field video signal;

A coordinate calculation module for converting and outputting a position of a visitor who views the performance into visitor coordinate information;

A video control module which receives the visitor coordinate information and generates a processed video signal by processing the field video signal according to a command signal input by the visitor;

A video generation module to which the processed video signal and the subtitle signal output from the video control module are input, integrated and output as an integrated video signal; And

And a video output module for inputting the integrated video signal and for displaying the integrated video signal.

The method of claim 10,

And a video operation module configured to output a caption signal input from the caption input module from the moment the video cue generated by the video cue execution module is input.

The method of claim 10,

The coordinate calculation module,

And a Euler method for calculating a transform matrix change amount of the visitor position information input through a sensor attached to the visitor, and calculating the visitor coordinate information.

The method of claim 12,

The visitor coordinate information calculated by the coordinate calculation module,

A video information delivery system, characterized in that it is converted to a quaternion and calculated.

The method of claim 10,

And a video storage module for storing the integrated video signal.

The method of claim 10,

And said video cue implementing module generates said video cue automatically or manually.

The method of claim 15,

If the video cue execution module automatically generates a video cue,

A video cue generation time is determined by a preset video cue including the location information of the performer, the location information of the performer obtained through the location tracking sensor, an illumination cue commanding the operation of the lighting, and a location tracking value by video tracking. Video information delivery system, characterized in that.