[go: up one dir, main page]

WO2014088328A1 - 오디오 제공 장치 및 오디오 제공 방법 - Google Patents

오디오 제공 장치 및 오디오 제공 방법 Download PDF

Info

Publication number
WO2014088328A1
WO2014088328A1 PCT/KR2013/011182 KR2013011182W WO2014088328A1 WO 2014088328 A1 WO2014088328 A1 WO 2014088328A1 KR 2013011182 W KR2013011182 W KR 2013011182W WO 2014088328 A1 WO2014088328 A1 WO 2014088328A1
Authority
WO
WIPO (PCT)
Prior art keywords
audio signal
channel
object audio
rendering
channel number
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2013/011182
Other languages
English (en)
French (fr)
Inventor
조현
김선민
박재하
전상배
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201380072141.8A priority Critical patent/CN104969576B/zh
Priority to KR1020177033842A priority patent/KR102037418B1/ko
Priority to MX2017004797A priority patent/MX368349B/es
Priority to CA2893729A priority patent/CA2893729C/en
Priority to JP2015546386A priority patent/JP6169718B2/ja
Priority to US14/649,824 priority patent/US9774973B2/en
Priority to AU2013355504A priority patent/AU2013355504C1/en
Priority to EP13861015.9A priority patent/EP2930952B1/en
Priority to MX2015007100A priority patent/MX347100B/es
Priority to RU2015126777A priority patent/RU2613731C2/ru
Priority to KR1020157018083A priority patent/KR101802335B1/ko
Priority to BR112015013154-9A priority patent/BR112015013154B1/pt
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to SG11201504368VA priority patent/SG11201504368VA/en
Publication of WO2014088328A1 publication Critical patent/WO2014088328A1/ko
Anticipated expiration legal-status Critical
Priority to AU2016238969A priority patent/AU2016238969B2/en
Priority to US15/685,730 priority patent/US10149084B2/en
Priority to US16/044,587 priority patent/US10341800B2/en
Priority to AU2018236694A priority patent/AU2018236694B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H04S5/005—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation  of the pseudo five- or more-channel type, e.g. virtual surround
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/03—Aspects of down-mixing multi-channel audio to configurations with lower numbers of playback channels, e.g. 7.1 -> 5.1
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]

Definitions

  • the present invention relates to an audio providing apparatus and an audio providing method, and more particularly, to an audio providing apparatus and an audio providing method for rendering and outputting audio signals of various formats optimized for an audio reproduction system.
  • the audio providing apparatus provides a variety of audio formats, ranging from two channel audio formats to 22.2 channel audio formats.
  • audio systems such as 7.1 channels, 11.1 channels, and 22.2 channels, which can represent sound sources in a three-dimensional space, have been provided.
  • the present invention has been made to solve the above-mentioned problems, and the channel audio signal is optimized for the listening environment through upmixing or downmixing, and the object audio signal is rendered according to the trajectory information to provide a sound image optimized for the listening environment.
  • the present invention provides an audio providing method and an audio providing apparatus using the same.
  • an audio providing apparatus includes: an object rendering unit configured to render the object audio signal by using trajectory information of an object audio signal; A channel rendering unit for rendering the audio signal having the first channel number as the audio signal having the second channel number; And a mixing unit mixing the rendered object audio signal and the audio signal having the number of second channels.
  • the object rendering unit may include a trajectory information analyzer configured to convert trajectory information of the object audio signal into 3D coordinate information; A distance controller configured to generate distance control information based on the converted three-dimensional coordinate information; A depth controller configured to generate depth control information based on the converted 3D coordinate information; A positioning unit for generating positioning information for positioning an object audio signal based on the converted three-dimensional coordinate information; And a rendering unit that renders the object audio signal based on the distance control information, depth control information, and positioning information.
  • a trajectory information analyzer configured to convert trajectory information of the object audio signal into 3D coordinate information
  • a distance controller configured to generate distance control information based on the converted three-dimensional coordinate information
  • a depth controller configured to generate depth control information based on the converted 3D coordinate information
  • a positioning unit for generating positioning information for positioning an object audio signal based on the converted three-dimensional coordinate information
  • a rendering unit that renders the object audio signal based on the distance control information, depth control information, and positioning information.
  • the distance controller calculates a distance gain of the object audio signal, and decreases the distance gain of the object audio signal as the distance of the object audio signal increases, and increases the distance of the object audio signal as the distance of the object audio signal increases.
  • the distance gain of the signal can be increased.
  • the depth control unit obtains a depth gain based on the horizontal projection distance of the object audio signal, and the depth gain is expressed as a sum of a negative vector and a positive vector or a sum of a positive vector and a null vector. Can be.
  • the positioning unit may calculate a panning gain for positioning the object audio signal according to a speaker layout of the audio providing apparatus.
  • the renderer may render the object audio signal in a multi channel based on the distance gain, the depth gain, and the panning gain of the object signal.
  • the object rendering unit when there are a plurality of object audio signals, calculates a phase difference between objects having a correlation among the plurality of object audio signals, and calculates one of the plurality of object audio signals.
  • the plurality of object audio signals may be synthesized by moving by a phase difference.
  • the object rendering unit corrects the spectral characteristics of the object audio signal to virtual height information on the object audio signal.
  • a virtual filter unit providing a; And a virtual renderer that renders the object audio signal based on the virtual altitude information provided by the virtual filter.
  • the virtual filter unit may form a tree structure composed of a plurality of steps.
  • the channel rendering unit when the layout of the audio signal having the first channel number is two-dimensional, the audio signal having the second channel number more than the first channel number of the audio signal having the first channel number Up-mixing of the audio signal having the second channel number may be three-dimensional with height information different from that of the audio signal having the first channel number.
  • the channel rendering unit when the layout of the audio signal having the first channel number is three-dimensional, the audio signal having the second channel number less than the first channel number of the audio signal having the first channel number
  • the downmixing of the audio signal having the second channel number may be two-dimensional in which a plurality of channels have the same height component.
  • the at least one of the object audio signal and the audio signal having the first channel number may include information for determining whether to perform virtual 3D rendering on a specific frame.
  • the channel rendering unit may calculate a phase difference between audio signals having a correlation in the process of rendering the audio signal having the first channel number as the audio signal having the second channel number, and the plurality of audio signals One of the plurality of audio signals may be synthesized by moving one of the calculated phase differences.
  • the mixing unit calculates a phase difference between the rendered object audio signal and the audio signal having a correlation while mixing the audio signal having the number of second channels, and calculates one of the plurality of audio signals.
  • the plurality of audio signals may be synthesized by moving by the phase difference.
  • the object audio signal may store at least one of ID and type information of the object audio signal for selecting the object audio signal.
  • rendering the object audio signal using the trajectory information of the object audio signal according to an embodiment of the present invention for achieving the above object; Rendering the audio signal having the first channel number into the audio signal having the second channel number; And mixing the rendered object audio signal and the audio signal having the second channel number.
  • the rendering of the object audio signal may include converting trajectory information of the object audio signal into 3D coordinate information; Generating distance control information based on the converted three-dimensional coordinate information; Generating depth control information based on the converted three-dimensional coordinate information; Generating location information for positioning an object audio signal based on the converted three-dimensional coordinate information; And rendering the object audio signal based on the distance control information, depth control information, and position information.
  • the generating of the distance control information may include calculating a distance gain of the object audio signal, reducing a distance gain of the object audio signal as the distance of the object audio signal increases, and increasing the distance of the object audio signal. The closer it is, the more the distance gain of the object audio signal can be increased.
  • the generating of the depth control information may include obtaining a depth gain based on a horizontal projection distance of the object audio signal, and the depth gain may be expressed as a sum of a negative vector and a positive vector, or may be expressed as a positive vector and a null vector. It can be expressed as the sum of.
  • the panning gain for positioning the object audio signal may be calculated according to the speaker layout of the audio providing apparatus.
  • the rendering may include rendering the object audio signal in a multi channel based on the distance gain, the depth gain, and the panning gain of the object signal.
  • the rendering of the object audio signal may include calculating a phase difference between objects having a correlation among the plurality of object audio signals when a plurality of object audio signals exist, and among the plurality of object audio signals.
  • the plurality of object audio signals may be synthesized by moving one by the calculated phase difference.
  • the rendering of the object audio signal may include correcting the spectral characteristics of the object audio signal to correct the object audio. Calculating virtual altitude information on the signal; And rendering the object audio signal based on the virtual altitude information provided by the virtual filter unit.
  • the calculating may include calculating virtual altitude information of the object audio signal using a virtual filter having a tree structure including a plurality of steps.
  • the rendering of the audio signal having the second channel number may include: when the layout of the audio signal having the first channel number is two-dimensional, the audio signal having the first channel number is greater than the first channel number. Upmixing to an audio signal having a large number of the second channel, the layout of the audio signal having the second channel number may be three-dimensional having a different height information than the audio signal having the first channel number.
  • the rendering of the audio signal having the second channel number may include: when the layout of the audio signal having the first channel number is three-dimensional, the audio signal having the first channel number is greater than the first channel number. Less downmixing into an audio signal having the second channel number, and the layout of the audio signal having the second channel number may be two-dimensional in which a plurality of channels have the same altitude component.
  • At least one of the object audio signal and the audio signal having the first channel number may include information for determining whether to perform virtual 3D rendering on a specific frame.
  • the audio providing apparatus is capable of optimally reproducing audio signals having various formats in the audio system space.
  • FIG. 1 is a block diagram showing a configuration of an audio providing apparatus according to an embodiment of the present invention
  • FIG. 2 is a block diagram showing a configuration of an object rendering unit according to an embodiment of the present invention.
  • FIG. 3 is a diagram for describing trajectory information of an object audio signal according to an embodiment of the present invention.
  • FIG. 4 is a graph illustrating distance gain based on distance information of an object audio signal according to an embodiment of the present invention
  • 5A and 5B are graphs for describing depth gains according to depth information of an object audio signal according to an embodiment of the present invention.
  • FIG. 6 is a block diagram illustrating a configuration of an object rendering unit for providing a virtual three-dimensional object audio signal according to another embodiment of the present invention.
  • FIG. 7A and 7B are views for explaining a virtual filter unit, according to an embodiment of the present invention.
  • 8A to 8G are diagrams for describing channel rendering of an audio signal according to various embodiments of the present disclosure.
  • FIG. 9 is a flowchart illustrating a method of providing an audio signal according to an embodiment of the present invention.
  • FIG. 10 is a block diagram showing a configuration of an audio providing apparatus according to another embodiment of the present invention.
  • the audio providing apparatus 100 may include an input unit 110, a separation unit 120, an object rendering unit 130, a channel rendering unit 140, a mixing unit 150, and an output unit 160. ).
  • the input unit 110 may receive an audio signal from various sources.
  • the audio source may include a channel audio signal and an object audio signal.
  • the channel audio signal is an audio signal including a background sound of a corresponding frame and may have a first channel number (eg, 5.1 channel, 7.1 channel, etc.).
  • the object audio signal may be an object having motion or an audio signal of an important object in a corresponding frame.
  • An example of the object audio signal may include a human voice and a gunshot sound.
  • the object audio signal may include trajectory information of the object audio signal.
  • the separating unit 120 separates the input audio signal into a channel audio signal and an object audio signal.
  • the separation unit 120 may output the separated object audio signal and the channel audio signal to the object rendering unit 130 and the channel rendering unit 140, respectively.
  • the object renderer 130 renders the input object audio signal based on the trajectory information of the input object audio signal.
  • the object rendering unit 130 may render the input object audio signal according to the speaker layout of the audio providing apparatus 100. For example, when the speaker layout of the audio providing apparatus 100 is 2D having the same altitude, the object rendering unit 130 may render the input object audio signal in 2D. In addition, when the speaker layout of the audio providing apparatus 100 is 3D having a plurality of altitudes, the object rendering unit 130 may render the input object audio signal in 3D. In addition, even if the speaker layout of the audio providing apparatus 100 is two-dimensional with the same altitude, the object rendering unit 130 may render virtual three-dimensional information by applying virtual altitude information to the input object audio signal.
  • the object renderer 130 will be described in detail with reference to FIGS. 2 to 7B.
  • the object renderer 130 includes an orbital information analyzer 131, a distance controller 132, a depth controller 133, an orthogonal portion 134, and a renderer 135.
  • the trajectory information analyzer 131 receives and analyzes the trajectory information of the object audio signal.
  • the trajectory information analyzer 131 may convert the trajectory information of the object audio signal into 3D coordinate information required for rendering.
  • the trajectory information analyzer 131 may analyze the input object audio signal O as coordinate information of (r, ⁇ , ⁇ ) as shown in FIG. 3.
  • r is the distance between the origin and the object audio signal
  • ⁇ is the angle on the horizontal plane of the sound image
  • ⁇ is the altitude angle of the sound image.
  • the distance controller 132 generates distance control information based on the converted 3D coordinate information.
  • the distance controller 132 calculates the distance gain of the object audio signal based on the distance r of the three-dimensional image analyzed by the trajectory information analyzer 131.
  • the distance controller 132 may calculate the distance gain in inverse proportion to the distance r of the three-dimensional image. That is, the distance controller 132 may reduce the distance gain of the object audio signal as the distance of the object audio signal is farther away, and increase the distance gain of the object audio signal as the distance of the object audio signal is closer.
  • the distance controller 132 may set the upper limit gain value, not in inverse proportion, so that the distance gain does not diverge when it approaches the origin. For example, the distance controller 132 may calculate the distance gain d g as shown in Equation 1 below.
  • the distance controller 132 may set the distance gain value d g to be 1 or more and 3.3 or less.
  • the depth controller 133 generates depth control information based on the converted 3D coordinate information.
  • the depth controller 133 may acquire the depth gain based on the horizontal projection distance d of the origin and the object audio signal.
  • the depth controller 133 may express the depth gain as the sum of the negative vector and the positive vector. Specifically, when r ⁇ 1 in the three-dimensional coordinates of the object audio signal, that is, when the object audio signal is present in a sphere composed of speakers included in the audio providing apparatus 100, the positive vector is (r, ⁇ , ⁇ ), And the negative vector is defined as (r, ⁇ + 180, ⁇ ).
  • the gain v n can be calculated.
  • the depth gain v p of the positive vector and the depth gain v n of the negative vector may be calculated as in Equation 2 below.
  • the depth controller 133 may calculate the depth gain of the positive vector and the depth gain of the negative vector having the horizontal plane projection distance d from 0 to 1 as shown in FIG. 5A.
  • the depth controller 133 may express the depth gain as the sum of the positive vector and the null vector.
  • the panning gain when the sum of the product of the panning gain and the position of all the channels does not converge to 0 may be defined as a null vector.
  • the depth control unit 133 maps the depth gain of the null vector to 1 when the horizontal projection distance d approaches 0, and the depth gain of the positive vector maps to 1 when the horizontal projection distance d approaches 1.
  • the depth gain v p of the positive vector and the depth gain v nll of the null vector may be calculated as much as possible. In this case, the depth gain v p of the positive vector and the depth gain v nll of the null vector may be calculated as in Equation 3 below.
  • the depth controller 133 may calculate the depth gain of the positive vector and the null gain of the null vector having the horizontal plane projection distance d from 0 to 1, as shown in FIG. 5B.
  • the positioning unit 134 generates positioning information for positioning the object audio signal based on the converted three-dimensional coordinate information.
  • the positioning unit 134 may calculate a panning gain for positioning the object audio signal according to the speaker layout of the audio providing apparatus 100.
  • the positioning unit 134 selects a triplet speaker for orienting a positive vector in the same direction as the trajectory of the object audio signal, and calculates a three-dimensional panning coefficient g p for the triplet speaker of the positive vector. Can be.
  • the orthogonal unit 134 selects a triplet speaker for orienting a negative vector in a direction opposite to the trajectory of the object audio signal.
  • the three-dimensional panning coefficient g n for the triplet speaker of the vector can be calculated.
  • the renderer 135 renders the object audio signal based on the distance control information, the depth control information, and the position information.
  • the rendering unit 135 receives the distance gain d g from the distance control unit 132, receives the depth gain v from the depth control unit 133, and panning gain g from the positioning unit 134.
  • the multi-channel object audio signal may be generated by applying the distance gain d g , the depth gain v, and the panning gain g to the object audio signal.
  • the rendering unit 135 may calculate the final gain Gm of the m-th channel as shown in Equation 4 below.
  • g p, m may be a panning coefficient applied to the m channel when the positive vector is located
  • g n, m may be a panning coefficient applied to the m channel when the negative vector is located.
  • the rendering unit 135 may calculate the final gain Gm of the m-th channel as shown in Equation 5 below.
  • g p, m may be a panning coefficient applied to the m channel when the positive vector is located
  • g nll, m may be a panning coefficient applied to the m channel when the negative vector is located.
  • ⁇ g nll, m may be zero.
  • the rendering unit 135 may be applied to x, which is an object audio signal, and calculate the final output Ym of the object audio signal of the m-th channel as shown in Equation 6 below.
  • the final output Ym of the object audio signal calculated as described above may be output to the mixing unit 150.
  • the object renderer 130 calculates a phase difference between the plurality of object audio signals, moves one of the plurality of object audio signals by the calculated phase difference, and then provides the plurality of objects. Audio signals can be synthesized.
  • the object rendering unit 130 calculates a correlation between the plurality of object audio signals, and when the correlation is greater than or equal to a predetermined value, calculates a phase difference between the plurality of object audio signals, and calculates a plurality of objects.
  • One of the audio signals may be moved by a calculated position difference to synthesize a plurality of object audio signals.
  • the speaker layout of the audio providing apparatus 100 is three-dimensional having a different altitude, but this is only one embodiment, and the speaker layout of the audio providing apparatus 100 is two-dimensional having the same altitude. Can be.
  • the object rendering unit 130 may set the value of ⁇ among the above-described track information of the object audio signal to zero.
  • the speaker layout of the audio providing apparatus 100 may be two-dimensional having the same altitude, the audio providing apparatus 100 may virtually provide a three-dimensional object audio signal through the two-dimensional speaker layout.
  • FIG. 6 is a block diagram illustrating a configuration of an object renderer 130 ′ for providing a virtual 3D object audio signal according to another exemplary embodiment of the present invention.
  • the object renderer 130 ′ includes a virtual filter 136, a 3D renderer 137, a virtual renderer 138, and a mixing unit 139.
  • the 3D rendering unit 137 may render the object audio signal using a method as illustrated in FIGS. 2 to 5B. At this time, the 3D rendering unit 137 outputs an object audio signal that can be output to the physical speaker of the audio providing apparatus 100 to the mixing unit 139, and provides a virtual panning gain of the virtual speaker that provides different altitude. g m, top ) may be output to the virtual rendering unit 137.
  • the virtual filter unit 136 is a block for correcting the tone of the object audio signal, and corrects the spectral characteristics of the input object audio signal based on the psychoacoustic sound to provide a sound image at the position of the virtual speaker.
  • the virtual filter 136 may be implemented as various types of filters such as a head related transfer function (HRTF) and a binaural room impulse response (BRIR).
  • HRTF head related transfer function
  • BRIR binaural room impulse response
  • the virtual filter unit 136 may be applied through block convolution.
  • the virtual filter unit 136 may be applied by multiplication.
  • FFT Fast Fourier Transform
  • MDCT Modified Discrete Cosine Transform
  • QMF Quadrature Mirror Filter
  • the virtual filter unit 136 may generate a plurality of virtual top layer speakers through distribution of one elevation filter and physical speakers.
  • the virtual filter unit 136 may include a plurality of virtual filters and physical filters for applying spectral coloration at different positions.
  • the distribution of speakers may generate a plurality of virtual top layer speakers and a virtual back speaker.
  • the virtual filter unit 136 may be designed in a tree structure to reduce the amount of computation when using N different spectral colorations such as H1, H2, ..., HN. Specifically, as shown in FIG. 7A, the virtual filter unit 136 designs Notch / Peak, which is commonly used to recognize height, as H0, and the remaining components obtained by subtracting the characteristics of H0 from H1 to HN. Phosphorus K1 to KN may be connected to HO and cascade. In addition, the virtual filter unit 136 may form a tree structure composed of a plurality of steps as shown in FIG. 7B according to common components and spectral colourations.
  • the virtual renderer 138 is a rendering block for representing the virtual channel as a physical channel.
  • the virtual rendering unit 138 generates the object audio signal output to the virtual speaker according to the virtual channel distribution equation output from the virtual filter unit 136, and the virtual panning gain (g m) , can be synthesized by multiplying the output signal.
  • the positions of the virtual speakers are different depending on the degree of distribution to the plurality of physical flat speakers, and the degree of distribution may be defined as a virtual channel distribution equation.
  • the mixing unit 139 mixes the object audio signal of the physical channel and the object audio signal of the virtual channel.
  • the object audio signal may be represented as being positioned in three dimensions through the audio providing apparatus 100 having the two-dimensional speaker layout.
  • the channel rendering unit 120 may render a channel audio signal having the first channel number as an audio signal having the second channel number.
  • the channel rendering unit 120 may change the channel audio signal having the first channel number according to the speaker layout into the audio signal having the second channel number.
  • the channel rendering unit 120 may render the channel audio signal without changing the channel.
  • the channel rendering unit 120 may downmix the channel audio signal to perform rendering.
  • the channel renderer 120 may downmix the channel audio signal of the 7.1 channel to 5.1 channel. have.
  • the channel rendering unit 120 may determine that the trajectory of the input channel audio signal is a stationary object and perform the downmixing.
  • the channel renderer 120 removes the altitude component of the channel audio signal and downmixes it in two dimensions or has a virtual sense of altitude as described in FIG. 6. Can be downmixed in virtual three dimensions.
  • the channel renderer 120 may downmix all signals except for the front left channel, the front light channel, and the center channel to form the front audio signal, and may implement the light surround channel and the left surround channel.
  • the channel rendering unit 120 may perform downmixing using a multichannel downmix equation.
  • the channel rendering unit 120 may upmix the channel audio signal to perform rendering.
  • the channel renderer 120 may upmix the 7.1 channel audio signal to 9.1 channel. have.
  • the channel renderer 120 when upmixing a two-dimensional channel audio signal in three dimensions, the channel renderer 120 generates an upmix by generating a top layer having a high component based on a correlation between a front channel and a surround channel.
  • the upmix may be performed by dividing into center and ambience through analysis between channels.
  • the channel rendering unit 140 calculates a phase difference between audio signals having a correlation in the process of rendering the audio signal having the first channel number as the audio signal having the second channel number, and among the plurality of audio signals.
  • One of the audio signals may be synthesized by moving one by the calculated phase difference.
  • At least one of the object audio signal and the channel audio signal having the first channel number may include guide information for determining whether to perform virtual 3D rendering or 2D rendering for a specific frame. Accordingly, each of the object renderer 130 and the channel renderer 140 may perform rendering based on guide information included in the object audio signal and the channel audio signal. For example, when the guide information for performing the virtual three-dimensional rendering of the object audio signal in the first frame is included, the object renderer 140 and the channel renderer 140 may perform the object audio signal and the channel audio in the first frame. Virtual three-dimensional rendering of the signal may be performed. When the second frame includes guide information for two-dimensional rendering of the object audio signal, the object rendering unit 130 and the channel rendering unit 140 two-dimensionally render the object audio signal and the channel audio signal in the second frame. Can be performed.
  • the mixing unit 150 may mix the object audio signal output from the object rendering unit 130 and the channel audio signal having the number of second channels output from the channel rendering unit 140.
  • the mixing unit 150 calculates a phase difference between the rendered object audio signal and the audio signal having a correlation while mixing the audio signal having the number of second channels, and calculates one of the plurality of audio signals.
  • a plurality of audio signals may be synthesized by moving by a phase difference.
  • the output unit 160 outputs the audio signal output from the mixing unit 150.
  • the output unit 160 may include a plurality of speakers.
  • the output unit 160 may be implemented as a speaker such as 5.1 channel, 7.1 channel, 9.1 channel, 22.2 channel, or the like.
  • FIGS. 8A to 8G various embodiments of the present invention will be described with reference to FIGS. 8A to 8G.
  • 8A is a diagram for explaining rendering of an object audio signal and a channel audio signal according to the first embodiment of the present invention.
  • the audio providing apparatus 100 receives a channel audio signal of 9.1 channel and two object audio signals O1 and O2.
  • the channel audio signal of the 9.1 channel is the front left channel (FL), front right channel (FR), front center channel (FC), subwoofer channel (Subwoofer channel: Lfe ), Surround Left channel (SL), Surround Right Channel (SR), Top Front Left channel (TL), Top Front Right channel (TR), And a back left channel (BL) and a back right channel (BR).
  • the audio providing apparatus 100 may be configured as a speaker layout of 5.1 channels. That is, the audio providing apparatus 100 may include a speaker corresponding to each of the front light channel, the front left channel, the front center channel, the subwoofer channel, the surround left channel, and the surround light channel.
  • the audio providing apparatus 100 may perform virtual filtering on signals corresponding to each of the top front left channel, the top front light channel, the back left channel, and the back light channel among the input channel audio signals.
  • the audio providing apparatus 100 may perform virtual three-dimensional rendering of the first object audio signal O1 and the second object audio signal 02.
  • the audio providing apparatus 100 may include a channel audio signal of a front left channel, a channel audio signal of a virtually rendered top front left channel and a top front light channel, a channel audio signal of a virtually rendered back left channel and a back light channel, and a virtually rendered back audio channel.
  • the first object audio signal O1 and the second object audio signal O2 may be mixed and output to the speaker corresponding to the front left channel.
  • the audio providing apparatus 100 may include a channel audio signal of a front light channel, a channel audio signal of a virtually rendered top front left channel and a top front light channel, a channel audio signal of a virtual rendered back left channel and a back light channel, and a virtual
  • the rendered first object audio signal O1 and the second object audio signal O2 may be mixed and output to the speaker corresponding to the front light channel.
  • the audio providing apparatus 100 may output the channel audio signal of each of the front center channel and the subwoofer channel to the speaker corresponding to the front center channel and the subwoofer channel.
  • the audio providing apparatus 100 may include a channel audio signal of a surround left channel, a channel audio signal of a virtually rendered top front left channel and a top front light channel, a channel audio signal of a virtually rendered back left channel and a backlight channel, and a virtual
  • the rendered first object audio signal O1 and the second object audio signal O2 may be mixed and output to the speaker corresponding to the surround left channel.
  • the audio providing apparatus 100 may include a channel audio signal of a surround light channel, a channel audio signal of a virtually rendered top front left channel and a top front light channel, a channel audio signal of a virtually rendered back left channel and a backlight channel, and a virtual
  • the rendered first object audio signal O1 and the second object audio signal O2 may be mixed and output to the speaker corresponding to the surround light channel.
  • the audio providing apparatus 100 may build a virtual three-dimensional audio environment of 9.1 channels by using a speaker of 5.1 channels.
  • 8B is a diagram for describing rendering of an object audio signal and a channel audio signal according to the second embodiment of the present invention.
  • the audio providing apparatus 100 receives a channel audio signal of 9.1 channel and two object audio signals O1 and O2.
  • the audio providing apparatus 100 may be configured with a speaker layout of 7.1 channels. That is, the audio providing apparatus 100 may include a speaker corresponding to each of the front light channel, the front left channel, the front center channel, the subwoofer channel, the surround left channel, the surround light channel, the back left channel, and the back light channel. .
  • the audio providing apparatus 100 may perform virtual filtering on a signal corresponding to each of the top front left channel and the top front light channel among the input channel audio signals.
  • the audio providing apparatus 100 may perform virtual three-dimensional rendering of the first object audio signal O1 and the second object audio signal 02.
  • the audio providing apparatus 100 may include a channel audio signal of a front left channel, a channel audio signal of a virtually rendered top front left channel and a top front light channel, a virtually rendered first object audio signal O1 and a second object audio signal ( O2) can be mixed and output to the speaker corresponding to the front left channel.
  • the audio providing apparatus 100 may include a channel audio signal of a front light channel, a virtually rendered back left channel and a channel audio signal of a back light channel, a virtually rendered first object audio signal O1, and a second object audio signal ( O2) can be mixed and output to the speaker corresponding to the front light channel.
  • the audio providing apparatus 100 may output the channel audio signal of each of the front center channel and the subwoofer channel to the speaker corresponding to the front center channel and the subwoofer channel.
  • the audio providing apparatus 100 may include a channel audio signal of a surround left channel, a channel audio signal of a virtually rendered top front left channel and a top front light channel, a virtually rendered first object audio signal O1, and a second object audio.
  • the signal O2 may be mixed and output to the speaker corresponding to the surround left channel.
  • the audio providing apparatus 100 may include a channel audio signal of a surround light channel, a virtually rendered top front left channel and a channel audio signal of a top front light channel, a virtually rendered first object audio signal O1, and a second object audio.
  • the signal O2 may be mixed and output to the speaker corresponding to the surround light channel.
  • the audio providing apparatus 100 may mix the channel audio signal of the back left channel, the virtually rendered first object audio signal O1, and the second object audio signal O2 to output to a speaker corresponding to the back left channel. Can be.
  • the audio providing apparatus 100 may mix a channel audio signal of a backlight channel, a virtually rendered first object audio signal O1, and a second object audio signal O2 to output a speaker corresponding to the backlight channel. Can be.
  • the audio providing apparatus 100 may establish a virtual three-dimensional audio environment of 9.1 channels by using a speaker of 7.1 channels.
  • 8C is a diagram for describing rendering of an object audio signal and a channel audio signal according to a third embodiment of the present invention.
  • the audio providing apparatus 100 receives a channel audio signal of 9.1 channel and two object audio signals O1 and O2.
  • the audio providing apparatus 100 may be configured as a speaker layout of 9.1 channels. That is, the audio providing apparatus 100 may include a front light channel, a front left channel, a front center channel, a subwoofer channel, a surround left channel, a surround light channel, a back left channel, a back light channel, a top front left channel, and a top front light channel. Each speaker may be provided.
  • the audio providing apparatus 100 may perform 3D rendering on the first object audio signal O1 and the second object audio signal 02.
  • the audio providing apparatus 100 may include a front light channel, a front left channel, a front center channel, a subwoofer channel, a surround left channel, a surround light channel, a back left channel, a back light channel, a top front left channel, and a top front light channel.
  • the 3D-rendered first object audio signal O1 and the second object audio signal O2 may be mixed with each other and output to the corresponding speaker.
  • the audio providing apparatus 100 may output the 9.1 channel audio signal and the object audio signal using the 9.1 channel speaker.
  • 8D is a diagram for describing rendering of an object audio signal and a channel audio signal according to the fourth embodiment of the present invention.
  • the audio providing apparatus 100 receives a channel audio signal of 9.1 channel and two object audio signals O1 and O2.
  • the audio providing apparatus 100 may be configured as a speaker layout of 11.1 channels. That is, the audio providing apparatus 100 may include a front light channel, a front left channel, a front center channel, a subwoofer channel, a surround left channel, a surround light channel, a back left channel, a back light channel, a top front left channel, and a top front light channel.
  • the speaker may include a top surround left channel, a top surround light channel, a top back left channel, and a top back light channel.
  • the audio providing apparatus 100 may perform 3D rendering on the first object audio signal O1 and the second object audio signal 02.
  • the audio providing apparatus 100 may include a front light channel, a front left channel, a front center channel, a subwoofer channel, a surround left channel, a surround light channel, a back left channel, a back light channel, a top front left channel, and a top front light channel.
  • the 3D-rendered first object audio signal O1 and the second object audio signal O2 may be mixed with each other and output to the corresponding speaker.
  • the audio providing apparatus 100 may include the top surround left channel, the top surround light channel, the top back left channel, and the top back light, respectively, for the 3D rendered first object audio signal 01 and the second object audio signal 02. It can be output to the speaker corresponding to each channel.
  • the audio providing apparatus 100 may output the 9.1 channel audio signal and the object audio signal using the 11.1 channel speaker.
  • 8E is a diagram for describing rendering of an object audio signal and a channel audio signal according to the fifth embodiment of the present invention.
  • the audio providing apparatus 100 receives a channel audio signal of 9.1 channel and two object audio signals O1 and O2.
  • the audio providing apparatus 100 may be configured as a speaker layout of 5.1 channels. That is, the audio providing apparatus 100 may include a speaker corresponding to each of the front light channel, the front left channel, the front center channel, the subwoofer channel, the surround left channel, and the surround light channel.
  • the audio providing apparatus 100 performs 2D rendering on signals corresponding to each of the top front left channel, the top front light channel, the back left channel, and the back light channel among the input channel audio signals.
  • the audio providing apparatus 100 may perform 2D rendering on the first object audio signal O1 and the second object audio signal 02.
  • the audio providing apparatus 100 may include a channel audio signal of a front left channel, a channel audio signal of a two-dimensional rendered top front left channel and a top front light channel, a channel audio signal of a two-dimensional rendered back left channel and a back light channel, and The dimensionally rendered first object audio signal O1 and the second object audio signal O2 may be mixed and output to the speaker corresponding to the front left channel. Also, the audio providing apparatus 100 may include a channel audio signal of a front light channel, a channel audio signal of a two-dimensional rendered top front left channel and a top front light channel, a channel audio signal of a two-dimensional rendered back left channel and a back light channel.
  • the first object audio signal O1 and the second object audio signal O2, which are two-dimensionally rendered, may be mixed and output to the speaker corresponding to the front light channel.
  • the audio providing apparatus 100 may output the channel audio signal of each of the front center channel and the subwoofer channel to the speaker corresponding to the front center channel and the subwoofer channel.
  • the audio providing apparatus 100 may include a channel audio signal of a surround left channel, a channel audio signal of a 2D rendered top front left channel and a top front light channel, and a channel audio signal of a 2D rendered back left channel and a backlight channel.
  • the second object audio signal O1 and the second object audio signal O2 rendered in two dimensions may be mixed and output to the speaker corresponding to the surround left channel.
  • the audio providing apparatus 100 may include a channel audio signal of a surround light channel, a channel audio signal of a two-dimensional rendered top front left channel and a top front light channel, a channel audio signal of a two-dimensional rendered back left channel and a backlight channel.
  • the first object audio signal O1 and the second object audio signal O2 that are two-dimensionally rendered may be mixed and output to the speaker corresponding to the surround light channel.
  • the audio providing apparatus 100 may output the 9.1 channel audio signal and the object audio signal using the 5.1 channel speaker. That is, as compared with FIG. 8A, the present embodiment may render a two-dimensional audio signal rather than a virtual three-dimensional audio signal.
  • 8F is a diagram for describing rendering of an object audio signal and a channel audio signal according to the sixth embodiment of the present invention.
  • the audio providing apparatus 100 receives a channel audio signal of 9.1 channel and two object audio signals O1 and O2.
  • the audio providing apparatus 100 may be configured with a speaker layout of 7.1 channels. That is, the audio providing apparatus 100 may include a speaker corresponding to each of the front light channel, the front left channel, the front center channel, the subwoofer channel, the surround left channel, the surround light channel, the back left channel, and the back light channel. .
  • the audio providing apparatus 100 may perform 2D rendering on a signal corresponding to each of the top front left channel and the top front light channel among the input channel audio signals.
  • the audio providing apparatus 100 may perform 2D rendering on the first object audio signal O1 and the second object audio signal 02.
  • the audio providing apparatus 100 may include a channel audio signal of a front left channel, a channel audio signal of a two-dimensional rendered top front left channel and a top front light channel, a two-dimensional rendered first object audio signal O1 and a second object audio.
  • the signal O2 may be mixed and output to the speaker corresponding to the front left channel.
  • the audio providing apparatus 100 may include a channel audio signal of a front light channel, a two-dimensional rendered back left channel and a channel audio signal of a back light channel, a two-dimensional rendered first object audio signal O1, and a second object audio.
  • the signal O2 may be mixed and output to the speaker corresponding to the front light channel.
  • the audio providing apparatus 100 may output the channel audio signal of each of the front center channel and the subwoofer channel to the speaker corresponding to the front center channel and the subwoofer channel.
  • the audio providing apparatus 100 may include a channel audio signal of a surround left channel, a channel audio signal of a 2D rendered top front left channel and a top front light channel, a 2D rendered first object audio signal O1, and a second
  • the object audio signal O2 may be mixed and output to the speaker corresponding to the surround left channel.
  • the audio providing apparatus 100 may include a channel audio signal of a surround light channel, a two-dimensional rendered top front left channel and a channel audio signal of a top front light channel, and a two-dimensional rendered first object audio signal O1 and a second.
  • the object audio signal O2 may be mixed and output to the speaker corresponding to the surround light channel.
  • the audio providing apparatus 100 mixes the channel audio signal of the back left channel, the two-dimensional rendered first object audio signal O1 and the second object audio signal O2, and outputs them to the speaker corresponding to the back left channel. can do.
  • the audio providing apparatus 100 mixes the channel audio signal of the backlight channel, the two-dimensional rendered first object audio signal O1 and the second object audio signal O2, and outputs them to the speaker corresponding to the backlight channel. can do.
  • the audio providing apparatus 100 may output the 9.1 channel audio signal and the object audio signal using the 7.1 channel speaker. That is, as compared with FIG. 8B, the present embodiment may render a two-dimensional audio signal rather than a virtual three-dimensional audio signal.
  • 8G is a diagram for describing rendering of an object audio signal and a channel audio signal according to the seventh embodiment of the present invention.
  • the audio providing apparatus 100 receives a channel audio signal of 9.1 channel and two object audio signals O1 and O2.
  • the audio providing apparatus 100 may be configured as a speaker layout of 5.1 channels. That is, the audio providing apparatus 100 may include a speaker corresponding to each of the front light channel, the front left channel, the front center channel, the subwoofer channel, the surround left channel, and the surround light channel.
  • the audio providing apparatus 100 downmixes a signal corresponding to each of the top front left channel, the top front light channel, the back left channel, and the back light channel among the input channel audio signals in two dimensions to perform rendering.
  • the audio providing apparatus 100 may perform virtual three-dimensional rendering of the first object audio signal O1 and the second object audio signal 02.
  • the audio providing apparatus 100 may include a channel audio signal of a front left channel, a channel audio signal of a two-dimensional rendered top front left channel and a top front light channel, a channel audio signal of a two-dimensional rendered back left channel and a back light channel, and a virtual
  • the 3D rendered first object audio signal O1 and the second object audio signal O2 may be mixed and output to the speaker corresponding to the front left channel.
  • the audio providing apparatus 100 may include a channel audio signal of a front light channel, a channel audio signal of a two-dimensional rendered top front left channel and a top front light channel, a channel audio signal of a two-dimensional rendered back left channel and a back light channel.
  • the virtual 3D rendered first object audio signal O1 and the second object audio signal O2 may be mixed and output to the speaker corresponding to the front light channel.
  • the audio providing apparatus 100 may output the channel audio signal of each of the front center channel and the subwoofer channel to the speaker corresponding to the front center channel and the subwoofer channel.
  • the audio providing apparatus 100 may include a channel audio signal of a surround left channel, a channel audio signal of a 2D rendered top front left channel and a top front light channel, and a channel audio signal of a 2D rendered back left channel and a backlight channel.
  • the virtual 3D rendered first object audio signal O1 and the second object audio signal O2 may be mixed and output to the speaker corresponding to the surround left channel.
  • the audio providing apparatus 100 may include a channel audio signal of a surround light channel, a channel audio signal of a two-dimensional rendered top front left channel and a top front light channel, a channel audio signal of a two-dimensional rendered back left channel and a backlight channel.
  • the virtual 3D rendered first object audio signal O1 and the second object audio signal O2 may be mixed and output to the speaker corresponding to the surround light channel.
  • the audio providing apparatus 100 may output the 9.1 channel audio signal and the object audio signal using the 5.1 channel speaker. That is, compared with FIG. 8A, when it is determined that sound quality is more important than the sound image of the channel audio signal, the audio providing apparatus 100 downmixes the channel audio signal only in two dimensions and renders the object audio signal in virtual three dimensions. Can be.
  • FIG. 9 is a flowchart illustrating a method of providing an audio signal according to an embodiment of the present invention.
  • the audio providing apparatus 100 receives an audio signal (S910).
  • the audio signal may include a channel audio signal and an object audio signal having the first channel number.
  • the audio providing apparatus 100 separates an input audio signal.
  • the audio providing apparatus 100 may separate the input audio signal into a channel audio signal and an object audio signal.
  • the audio providing apparatus 100 renders an object audio signal.
  • the audio providing apparatus 100 may render the object audio signal in two or three dimensions.
  • the audio providing apparatus 100 may render the object audio signal as a virtual three-dimensional audio signal.
  • the audio providing apparatus 100 renders the channel audio signal having the first channel number as the second channel number.
  • the audio providing apparatus 100 may perform a rendering by downmixing or upmixing the input channel audio signal.
  • the audio providing apparatus 100 may perform rendering by maintaining the number of channels of the input channel audio signal.
  • the audio providing apparatus 100 mixes the rendered object audio signal and the channel audio signal having the number of second channels.
  • the audio providing apparatus 100 may mix the rendered object audio signal and the channel audio signal as described with reference to FIGS. 8A to 8G.
  • the audio providing apparatus 100 outputs the mixed audio signal.
  • the audio providing apparatus 100 is capable of optimally reproducing audio signals having various formats in the audio system space.
  • FIG. 10 is a block diagram illustrating a configuration of an audio providing apparatus 1000 according to another exemplary embodiment of the present invention.
  • the audio providing apparatus 1000 may include an input unit 1010, a separation unit 1020, an audio signal decoding unit 1030, an additional information decoding unit 1040, a rendering unit 1050, and a user input unit. 1060, an interface unit 1070, and an output unit 1080.
  • the input unit 1010 receives a compressed audio signal.
  • the compressed audio signal may include additional information as well as a compressed audio signal including a channel audio signal and an object audio signal.
  • the separating unit 1020 separates the compressed audio signal into the audio signal and the additional information, outputs the audio signal to the audio signal decoding unit 1030, and outputs the additional information to the additional information decoding unit 1040.
  • the audio signal decoding unit 1030 releases the compressed audio signal and outputs it to the rendering unit 1050.
  • the audio signal includes a multi-channel channel audio signal and an object audio signal.
  • the multi-channel channel audio signal may be an audio signal such as a background sound and a background music
  • the object audio signal may be an audio signal for a specific object such as a human voice or a gunshot sound.
  • the additional information decoding unit 1040 decodes additional information of the input audio signal.
  • the additional information of the input audio signal may include various information such as the number of channels, the length, the gain value, the panning gain, the position, and the angle of the input audio signal.
  • the rendering unit 1050 may perform rendering based on the input additional information and the audio signal.
  • the rendering unit 1050 may perform rendering using various methods as described with reference to FIGS. 2 to 8G according to a user command input to the user input unit 1060.
  • the rendering unit 1050 according to a user command input through the user input unit 1060.
  • the 7.1-channel audio signal may be downmixed into a two-dimensional 5.1-channel audio signal
  • the 7.1-channel audio signal may be downmixed into a virtual three-dimensional 5.1-channel audio signal.
  • the rendering unit 1050 may render the channel audio signal in two dimensions according to a user command input through the user input unit 1060, and may render the object audio signal in virtual three dimensions.
  • the rendering unit 1050 may directly output the audio signal rendered according to the user command and the speaker layout through the output unit 1080, but transmit the audio signal and additional information to the external device through the interface unit 1070. Can be.
  • the rendering unit 1050 may transmit at least some of the audio signal and the additional information to the external device through the interface unit 1070.
  • the interface unit 1070 may be implemented as a digital interface such as an HDMI interface.
  • the external device may perform rendering using the input audio signal and the additional information, and then output the rendered audio signal.
  • the rendering unit 1050 transmits the audio signal and the additional information to an external device only, and the rendering unit 1050 renders the audio signal using the audio signal and the additional information. After that, the rendered audio signal may be output.
  • the object audio signal may include metadata including ID or type information, priority information, and the like. For example, information indicating whether the type of the object audio signal is dialogue or commentary may be included. In addition, when the audio signal is a broadcast audio signal, information indicating whether the type of the object audio signal is a first anchor, a second anchor, a first caster, a second caster, or a background sound may be included. In addition, when the audio signal is a music audio signal, information indicating whether the type of the object audio signal is a first vocal, a second vocal, a first musical instrument sound, or a second musical instrument sound may be included. In addition, when the audio signal is a game audio signal, information indicating whether the type of the object audio signal is a first sound effect or a second sound effect may be included.
  • the rendering unit 1050 may render the object audio signal according to the priority of the object audio signal by analyzing the metadata included in the object audio signal as described above.
  • the rendering unit 1050 may remove a specific object audio signal by user selection.
  • the audio signal is an audio signal for a sports event
  • the audio providing apparatus 1000 may display a UI for guiding the type of the object audio signal currently input to the user.
  • the object audio signal may include an object audio signal such as a caster voice, a commentary voice, or a shout.
  • the renderer 1050 removes the caster voice among the input audio object audio signals and removes the remaining object audio signals. Can be used to render.
  • the output unit 1080 may increase or decrease the volume of the specific object audio signal by user selection.
  • the audio signal is an audio signal included in movie content
  • the audio providing apparatus 1000 may display a UI for guiding the type of the object audio signal currently input to the user.
  • the object audio signal may include a first main character voice, a second main character voice, a shell sound, an airplane sound, and the like.
  • the output unit ( 1080 may increase the volume of the first main character voice and the second main character voice, and reduce the volume of the shell sound and the plane sound.
  • the user can manipulate the audio signal desired by the user, thereby establishing an audio environment suitable for the user.
  • the audio providing method may be implemented as a program and provided to a display device or an input device.
  • the program including the control method of the display apparatus may be stored and provided in a non-transitory computer readable medium.
  • the non-transitory readable medium refers to a medium that stores data semi-permanently and is readable by a device, not a medium storing data for a short time such as a register, a cache, a memory, and the like.
  • a non-transitory readable medium such as a CD, a DVD, a hard disk, a Blu-ray disk, a USB, a memory card, a ROM, or the like.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Health & Medical Sciences (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Stereophonic System (AREA)

Abstract

오디오 제공 장치 및 이의 오디오 제공 방법이 제공된다. 본 오디오 제공 장치는 오브젝트 오디오 신호의 궤도 정보를 이용하여 오브젝트 오디오 신호를 렌더링하여 오브젝트 렌더링부, 제1 채널 수를 가지는 오디오 신호를 제2 채널 수를 가지는 오디오 신호로 렌더링하는 채널 렌더링부, 렌더링된 오브젝트 오디오 신호 및 제2 채널 수를 가지는 오디오 신호를 믹싱하는 믹싱부를 포함한다.

Description

오디오 제공 장치 및 오디오 제공 방법
본 발명은 오디오 제공 장치 및 오디오 제공 방법에 관한 것으로, 더욱 상세하게는, 다양한 포맷의 오디오 신호를 오디오 재생 시스템에 최적화되게 렌더링하여 출력하는 오디오 제공 장치 및 오디오 제공 방법에 관한 것이다.
현재 멀티미디어 시장은 다양한 오디오 포맷이 혼재되어 있는 상황이다. 예를 들어, 오디오 제공 장치는 2 채널의 오디오 포맷부터 22.2 채널의 오디오 포맷까지 다양한 오디오 포맷을 제공하고 있다. 특히, 근래에는 입체적인 공간에서 음원을 표현할 수 있는 7.1 채널, 11.1 채널 및 22.2 채널과 같은 오디오 시스템이 제공되고 있다.
그러나, 현재 제공되는 대부분의 오디오 신호는 2.1 채널 포맷이나 5.1 채널 포맷으로서, 입체적인 공간에서 음원을 표현하는데 한계가 존재한다. 또한, 7.1 채널, 11.1 채널 및 22.2 채널의 오디오 신호를 재생하기 위한 오디오 시스템을 가정에 설치하기에는 현실적인 어려움이 존재한다.
따라서, 입력 신호의 포맷 및 오디오 제공 장치에 따라 능동적으로 오디오 신호를 렌더링하기 위한 방안의 모색이 요청된다.
본 발명은 상술한 문제점을 해결하기 위해 안출된 것으로, 채널 오디오 신호를 업믹싱 또는 다운믹싱을 통해 청취 환경에 최적화하고, 오브젝트 오디오 신호를 궤도 정보에 따라 렌더링하여 청취 환경에 최적화된 음상을 제공할 수 있는 오디오 제공 방법 및 이를 적용한 오디오 제공 장치를 제공함에 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오디오 제공 장치는, 오브젝트 오디오 신호의 궤도 정보를 이용하여 상기 오브젝트 오디오 신호를 렌더링하여 오브젝트 렌더링부; 제1 채널 수를 가지는 오디오 신호를 제2 채널 수를 가지는 오디오 신호로 렌더링하는 채널 렌더링부; 및 상기 렌더링된 오브젝트 오디오 신호 및 상기 제2 채널 수를 가지는 오디오 신호를 믹싱하는 믹싱부;를 포함한다.
그리고, 상기 오브젝트 렌더링부는, 상기 오브젝트 오디오 신호의 궤도 정보를 3차원 좌표 정보로 변환하는 궤도 정보 분석부; 상기 변환된 3차원 좌표 정보를 바탕으로 거리 제어 정보를 생성하는 거리 제어부; 상기 변환된 3차원 좌표 정보를 바탕으로 뎁스 제어 정보를 생성하는 뎁스 제어부; 상기 변환된 3차원 좌표 정보를 바탕으로 오브젝트 오디오 신호를 정위시키기 위한 정위 정보를 생성하는 정위부; 및 상기 거리 제어 정보, 뎁스 제어 정보 및 정위 정보를 바탕으로 상기 오브젝트 오디오 신호를 렌더링하는 렌더링부;를 포함할 수 있다.
또한, 상기 거리 제어부는, 상기 오브젝트 오디오 신호의 거리 게인을 산출하며, 상기 오브젝트 오디오 신호의 거리가 멀수록 상기 오브젝트 오디오 신호의 거리 게인을 감소시키고, 상기 오브젝트 오디오 신호의 거리가 가까울수록 상기 오브젝트 오디오 신호의 거리 게인을 증가시킬 수 있다.
그리고, 상기 뎁스 제어부는, 상기 오브젝트 오디오 신호의 수평면상 투영 거리를 바탕으로 뎁스 게인을 획득하며, 상기 뎁스 게인은, 네거티브 벡터 및 포지티브 벡터의 합으로 표현되거나 포지티브 벡터 및 널 벡터의 합으로 표현될 수 있다.
또한, 상기 정위부는, 상기 오디오 제공 장치의 스피커 레이아웃에 따라 상기 오브젝트 오디오 신호를 정위시키기 위한 패닝 게인을 산출할 수 있다.
그리고, 상기 렌더링부는, 상기 오브젝트 신호의 거리 게인, 뎁스 게인 및 패닝 게인을 바탕으로 상기 오브젝트 오디오 신호를 멀티 채널로 렌더링할 수 있다.
또한, 상기 오브젝트 렌더링부는, 상기 오브젝트 오디오 신호가 복수 개 존재하는 경우, 상기 복수의 오브젝트 오디오 신호 중 상관도를 갖는 오브젝트 사이의 위상 차이를 산출하고, 상기 복수의 오브젝트 오디오 신호 중 하나를 상기 산출된 위상 차이만큼 이동하여 상기 복수의 오브젝트 오디오 신호를 합성할 수 있다.
그리고, 상기 오디오 제공 장치가 동일한 고도를 가지는 복수의 스피커를 이용하여 오디오를 재생하는 경우, 상기 오브젝트 렌더링부는, 상기 오브젝트 오디오 신호의 스펙트럼 특성(spectral characteristics)을 보정하여 상기 오브젝트 오디오 신호에 가상 고도 정보를 제공하는 가상 필터부; 및 상기 가상 필터부에 의해 제공된 가상 고도 정보를 바탕으로 상기 오브젝트 오디오 신호를 렌더링하는 가상 렌더링부;를 포함할 수 있다.
또한, 상기 가상 필터부는, 복수의 단계로 구성된 트리 구조를 이룰 수 있다.
그리고, 상기 채널 렌더링부는, 상기 제1 채널 수를 가지는 오디오 신호의 레이아웃이 2차원인 경우, 상기 제1 채널 수를 가지는 오디오 신호를 상기 제1 채널 수보다 많은 상기 제2 채널 수를 가지는 오디오 신호로 업믹싱하며, 상기 제2 채널 수를 가지는 오디오 신호의 레이아웃은 상기 제1 채널 수를 가지는 오디오 신호와 상이한 고도 정보를 가지는 3차원일 수 있다.
또한, 상기 채널 렌더링부는, 상기 제1 채널 수를 가지는 오디오 신호의 레이아웃이 3차원인 경우, 상기 제1 채널 수를 가지는 오디오 신호를 상기 제1 채널 수보다 적은 상기 제2 채널 수를 가지는 오디오 신호로 다운믹싱하며, 상기 제2 채널 수를 가지는 오디오 신호의 레이아웃은 복수의 채널이 동일한 고도 성분을 가지는 2차원일 수 있다.
그리고, 상기 오브젝트 오디오 신호 및 상기 제1 채널 수를 가지는 오디오 신호 중 적어도 하나는, 특정 프레임에 대해 가상 3차원 렌더링을 수행할지 여부를 결정하는 정보를 포함할 수 있다.
또한, 상기 채널 렌더링부는, 상기 제1 채널 수를 가지는 오디오 신호를 상기 제2 채널 수를 가지는 오디오 신호로 렌더링하는 과정에서 상관도를 갖는 오디오 신호 사이의 위상 차이를 산출하고, 상기 복수의 오디오 신호 중 하나를 상기 산출된 위상 차이만큼 이동하여 상기 복수의 오디오 신호를 합성할 수 있다.
그리고, 상기 믹싱부는, 상기 렌더링된 오브젝트 오디오 신호와 상기 제2 채널 수를 가지는 오디오 신호를 믹싱하는 동안 상관도를 갖는 오디오 신호 사이의 위상 차이를 산출하고, 상기 복수의 오디오 신호 중 하나를 상기 산출된 위상 차이만큼 이동하여 상기 복수의 오디오 신호를 합성할 수 있다.
또한, 상기 오브젝트 오디오 신호는, 사용자에게 오브젝트 오디오 신호의 선택을 위한 오브젝트 오디오 신호의 ID 및 유형 정보 중 적어도 하나를 저장할 수 있다.
한편, 상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른, 오브젝트 오디오 신호의 궤도 정보를 이용하여 상기 오브젝트 오디오 신호를 렌더링하는 단계; 제1 채널 수를 가지는 오디오 신호를 제2 채널 수를 가지는 오디오 신호로 렌더링하는 단계; 및 상기 렌더링된 오브젝트 오디오 신호 및 상기 제2 채널 수를 가지는 오디오 신호를 믹싱하는 단계;를 포함한다.
그리고, 상기 오브젝트 오디오 신호를 렌더링하는 단계는, 상기 오브젝트 오디오 신호의 궤도 정보를 3차원 좌표 정보로 변환하는 단계; 상기 변환된 3차원 좌표 정보를 바탕으로 거리 제어 정보를 생성하는 단계; 상기 변환된 3차원 좌표 정보를 바탕으로 뎁스 제어 정보를 생성하는 단계; 상기 변환된 3차원 좌표 정보를 바탕으로 오브젝트 오디오 신호를 정위시키기 위한 정위 정보를 생성하는 단계; 및 상기 거리 제어 정보, 뎁스 제어 정보 및 정위 정보를 바탕으로 상기 오브젝트 오디오 신호를 렌더링하는 단계;를 포함할 수 있다.
또한, 상기 거리 제어 정보를 생성하는 단계는, 상기 오브젝트 오디오 신호의 거리 게인을 산출하며, 상기 오브젝트 오디오 신호의 거리가 멀수록 상기 오브젝트 오디오 신호의 거리 게인을 감소시키고, 상기 오브젝트 오디오 신호의 거리가 가까울수록 상기 오브젝트 오디오 신호의 거리 게인을 증가시킬 수 있다.
그리고, 상기 뎁스 제어 정보를 생성하는 단계는, 상기 오브젝트 오디오 신호의 수평면상 투영 거리를 바탕으로 뎁스 게인을 획득하며, 상기 뎁스 게인은, 네거티브 벡터 및 포지티브 벡터의 합으로 표현되거나 포지티브 벡터 및 널 벡터의 합으로 표현될 수 있다.
또한, 상기 정위 정보를 생성하는 단계는, 상기 오디오 제공 장치의 스피커 레이아웃에 따라 상기 오브젝트 오디오 신호를 정위시키기 위한 패닝 게인을 산출할 수 있다.
그리고, 상기 렌더링하는 단계는, 상기 오브젝트 신호의 거리 게인, 뎁스 게인 및 패닝 게인을 바탕으로 상기 오브젝트 오디오 신호를 멀티 채널로 렌더링할 수 있다.
또한, 상기 오브젝트 오디오 신호를 렌더링하는 단계는, 상기 오브젝트 오디오 신호가 복수 개 존재하는 경우, 상기 복수의 오브젝트 오디오 신호 중 상관도를 갖는 오브젝트 사이의 위상 차이를 산출하고, 상기 복수의 오브젝트 오디오 신호 중 하나를 상기 산출된 위상 차이만큼 이동하여 상기 복수의 오브젝트 오디오 신호를 합성할 수 있다.
그리고, 상기 오디오 제공 장치가 동일한 고도를 가지는 복수의 스피커를 이용하여 오디오를 재생하는 경우, 상기 오브젝트 오디오 신호를 렌더링하는 단계는, 상기 오브젝트 오디오 신호의 스펙트럼 특성(spectral characteristics)을 보정하여 상기 오브젝트 오디오 신호에 가상 고도 정보를 산출하는 단계; 상기 가상 필터부에 의해 제공된 가상 고도 정보를 바탕으로 상기 오브젝트 오디오 신호를 렌더링하는 단계;를 포함할 수 있다.
또한, 상기 산출하는 단계는, 복수의 단계로 구성된 트리 구조를 이루는 가상 필터를 이용하여 상기 오브젝트 오디오 신호의 가상 고도 정보를 산출할 수 있다.
그리고, 상기 제2 채널 수를 가지는 오디오 신호로 렌더링하는 단계는, 상기 제1 채널 수를 가지는 오디오 신호의 레이아웃이 2차원인 경우, 상기 제1 채널 수를 가지는 오디오 신호를 상기 제1 채널 수보다 많은 상기 제2 채널 수를 가지는 오디오 신호로 업믹싱하며, 상기 제2 채널 수를 가지는 오디오 신호의 레이아웃은 상기 제1 채널 수를 가지는 오디오 신호와 상이한 고도 정보를 가지는 3차원일 수 있다.
또한, 상기 제2 채널 수를 가지는 오디오 신호로 렌더링하는 단계는, 상기 제1 채널 수를 가지는 오디오 신호의 레이아웃이 3차원인 경우, 상기 제1 채널 수를 가지는 오디오 신호를 상기 제1 채널 수보다 적은 상기 제2 채널 수를 가지는 오디오 신호로 다운믹싱하며, 상기 제2 채널 수를 가지는 오디오 신호의 레이아웃은 복수의 채널이 동일한 고도 성분을 가지는 2차원일 수 있다.
또한, 상기 오브젝트 오디오 신호 및 상기 제1 채널 수를 가지는 오디오 신호 중 적어도 하나는, 특정 프레임에 대해 가상 3차원 렌더링을 수행할지 여부를 결정하는 정보를 포함할 수 있다.
상술한 바와 같은 본 발명의 다양한 실시예에 의해, 오디오 제공 장치는 다양한 포맷을 가지는 오디오 신호를 오디오 시스템 공간에 최적화되게 재생시킬 수 있게 된다.
도 1은 본 발명의 일 실시예에 따른, 오디오 제공 장치의 구성을 나타내는 블럭도,
도 2는 본 발명의 일 실시예에 따른, 오브젝트 렌더링부의 구성을 도시한 블럭도,
도 3은 본 발명의 일 실시예에 따른, 오브젝트 오디오 신호의 궤도 정보를 설명하기 위한 도면,
도 4는 본 발명의 일 실시예에 따른, 오브젝트 오디오 신호의 거리 정보에 따른 거리 게인을 설명하기 위한 그래프,
도 5a 및 도 5b는 본 발명의 일 실시예에 따른, 오브젝트 오디오 신호의 뎁스 정보에 따른 뎁스 게인을 설명하기 위한 그래프,
도 6은 본 발명의 다른 실시예에 따른, 가상 3차원 오브젝트 오디오 신호를 제공하기 위한 오브젝트 렌더링부의 구성을 나타내는 블럭도,
도 7a 및 도 7b는 본 발명의 일 실시예에 따른, 가상 필터부를 설명하기 위한 도면,
도 8a 내지 도 8g는 본 발명의 다양한 실시예에 따른, 오디오 신호의 채널 렌더링을 설명하기 위한 도면,
도 9는 본 발명의 일 실시예에 따른, 오디오 신호 제공 방법을 설명하기 위한 흐름도,
도 10은 보 발명의 다른 실시예에 따른, 오디오 제공 장치의 구성을 도시한 블럭도이다.
이하에서는 도면을 참조하여 본 발명에 대해 더욱 상세히 설명하기로 한다. 도 1은 본 발명의 일 실시예에 따른, 오디오 제공 장치(100)의 구성을 나타내는 블럭도이다. 도 1에 도시된 바와 같이, 오디오 제공 장치(100)는 입력부(110), 분리부(120), 오브젝트 렌더링부(130), 채널 렌더링부(140), 믹싱부(150) 및 출력부(160)를 포함한다.
입력부(110)는 다양한 소스로부터 오디오 신호를 수신할 수 있다. 이때, 오디오 소스는 채널 오디오 신호 및 오브젝트 오디오 신호를 포함할 수 있다. 여기서, 채널 오디오 신호는 해당 프레임의 배경음을 포함하는 오디오 신호로서, 제1 채널수(예를 들어, 5.1채널, 7.1 채널 등)를 가질 수 있다. 또한, 오브젝트 오디오 신호는 모션을 갖는 오브젝트이거나 해당 프레임에서 중요한 오브젝트의 오디오 신호일 수 있다. 오브젝트 오디오 신호의 일 예로 사람 목소리, 총소리 등을 포함할 수 있다. 오브젝트 오디오 신호에는 오브젝트 오디오 신호의 궤도 정보가 포함될 수 있다.
분리부(120)는 입력된 오디오 신호를 채널 오디오 신호와 오브젝트 오디오 신호로 분리한다. 그리고, 분리부(120)는 분리된 오브젝트 오디오 신호 및 채널 오디오 신호를 각각 오브젝트 렌더링부(130) 및 채널 렌더링부(140)로 출력할 수 있다.
오브젝트 렌더링부(130)는 입력된 오브젝트 오디오 신호의 궤도 정보를 바탕으로 입력된 오브젝트 오디오 신호를 렌더링한다. 이때, 오브젝트 렌더링부(130)는 오디오 제공 장치(100)의 스피커 레이아웃에 따라 입력된 오브젝트 오디오 신호를 렌더링할 수 있다. 예를 들어, 오디오 제공 장치(100)의 스피커 레이아웃이 동일한 고도를 가지는 2차원인 경우, 오브젝트 렌더링부(130)는 입력된 오브젝트 오디오 신호를 2차원으로 렌더링할 수 있다. 또한, 오디오 제공 장치(100)의 스피커 레이아웃이 복수의 고도를 가지는 3차원인 경우, 오브젝트 렌더링부(130)는 입력된 오브젝트 오디오 신호를 3차원으로 렌더링할 수 있다. 또한, 오디오 제공 장치(100)의 스피커 레이아웃이 동일한 고도를 가지는 2차원이더라도, 오브젝트 렌더링부(130)는 입력된 오브젝트 오디오 신호에 가상 고도 정보를 부여하여 3차원으로 렌더링할 수 있다. 오브젝트 렌더링부(130)는 도 2 내지 도 7b를 참조하여 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른, 오브젝트 렌더링부(130)의 구성을 나타내는 블럭도이다. 도 2에 도시된 바와 같이, 오브젝트 렌더링부(130)는 궤도 정보 분석부(131), 거리 제어부(132), 뎁스 제어부(133), 정위부(134) 및 렌더링부(135)를 포함한다.
궤도 정보 분석부(131)는 오브젝트 오디오 신호의 궤도 정보를 입력받아 분석한다. 구체적으로, 궤도 정보 분석부(131)는 오브젝트 오디오 신호의 궤도 정보를 렌더링에 필요한 3차원 좌표 정보로 변환할 수 있다. 예를 들어, 궤도 정보 분석부(131)는 도 3에 도시된 바와 같이, 입력된 오브젝트 오디오 신호(O)를 (r,θ,φ)의 좌표 정보로 분석할 수 있다. 이때, r은 원점과 오브젝트 오디오 신호와의 거리이며, θ는 음상의 수평면상의 각도이며, φ는 음상의 고도 각도이다.
거리 제어부(132)는 변환된 3차원 좌표 정보를 바탕으로 거리 제어 정보를 생성한다. 구체적으로, 거리 제어부(132)는 궤도 정보 분석부(131)를 통해 분석된 3차원상의 거리(r)를 바탕으로 오브젝트 오디오 신호의 거리 게인을 산출한다. 이때, 거리 제어부(132)는 3차원 상의 거리(r)에 반비례하여 거리 게인을 산출할 수 있다. 즉 거리 제어부(132)는 오브젝트 오디오 신호의 거리가 멀수록 오브젝트 오디오 신호의 거리 게인을 감소시키고, 오브젝트 오디오 신호의 거리가 가까울수록 오브젝트 오디오 신호의 거리 게인을 증가시킬 수 있다. 또한, 거리 제어부(132)는 원점에 가까워질 경우 거리 게인이 발산하지 않도록 순수 반비례가 아닌 상한 게인 값을 설정할 수 있다. 예를 들어, 거리 제어부(132)는 아래의 수학식 1과 같이 거리 게인(dg)을 산출할 수 있다.
수학식 1
Figure PCTKR2013011182-appb-M000001
즉, 거리 제어부(132)는 상술한 수학식을 바탕으로 도 4에 도시된 바와 같이, 거리 게인값(dg)이 1 이상 3.3 이하가 되도록 설정할 수 있다.
뎁스 제어부(133)는 변환된 3차원 좌표 정보를 바탕으로 뎁스 제어 정보를 생성한다. 이때, 뎁스 제어부(133)는 원점과 오브젝트 오디오 신호의 수평면 투영 거리(d)를 바탕으로 뎁스 게인을 획득할 수 있다.
이때, 뎁스 제어부(133)는 네거티브 벡터 및 포지티브 벡터의 합으로 뎁스 게인을 표현할 수 있다. 구체적으로, 오브젝트 오디오 신호의 3차원 좌표에서 r<1인 경우, 즉, 오브젝트 오디오 신호가 오디오 제공 장치(100)에 포함된 스피커로 구성된 구 안에 존재하는 경우, 포지티브 벡터는 (r,θ,φ)로 정의되고, 네거티브 벡터는 (r,θ+180,φ)이라고 정의된다. 뎁스 제어부(133)는 오브젝트 오디오 신호를 정위하기 위하여, 오브젝트 오디오 신호의 궤도 벡터(trajectory vector)를 포지티브 벡터와 네거티브 벡터의 합으로 표현하기 위한 포지티브 벡터의 뎁스 게인(vp) 및 네거티브 백터의 뎁스 게인(vn)을 계산할 수 있다. 이때, 포지티브 벡터의 뎁스 게인(vp) 및 네거티브 백터의 뎁스 게인(vn)은 아래의 수학식 2와 같이 계산될 수 있다.
수학식 2
Figure PCTKR2013011182-appb-M000002
Figure PCTKR2013011182-appb-I000001
즉, 뎁스 제어부(133)는 수평면 투영 거리(d)가 0부터 1까지인 포지티브 벡터의 뎁스 게인 및 네거티브 벡터의 뎁스 게인을 도 5a에 도시된 바와 같이 산출할 수 있다.
또한, 뎁스 제어부(133)는 포지티브 벡터 및 널 벡터의 합으로 뎁스 게인을 표현할 수 있다. 구체적으로, 모든 채널의 패닝 게인과 위치의 곱의 합이 0으로 수렴되는 방향이 없는 경우의 패닝 게인을 널 벡터(null vector)로 정의할 수 있다. 특히, 뎁스 제어부(133)는 수평면 투영 거리(d)가 0에 가까워지면 널 벡터의 뎁스 게인은 1로 매핑되고, 수평면 투영 거리(d)가 1에 가까워지면 포지티브 벡터의 뎁스 게인이 1로 매핑되도록 포지티브 벡터의 뎁스 게인(vp) 및 널 벡터의 뎁스 게인(vnll)을 계산할 수 있다. 이때, 포지티브 벡터의 뎁스 게인(vp) 및 널 벡터의 뎁스 게인(vnll)은 아래의 수학식 3와 같이 계산될 수 있다.
수학식 3
Figure PCTKR2013011182-appb-M000003
Figure PCTKR2013011182-appb-I000002
즉, 뎁스 제어부(133)는 수평면 투영 거리(d)가 0부터 1까지인 포지티브 벡터의 뎁스 게인 및 널 벡터의 뎁스 게인을 도 5b에 도시된 바와 같이 산출할 수 있다.
한편, 뎁스 제어부(133)에 의해 뎁스 제어를 수행하면, 수평면 투영 거리(d)가 0에 가까워질 경우, 모든 스피커에 소리가 출력된다. 이에 의해, 패닝 경계(panning boundary)에 발생하는 불연속성이 감소될 수 있다.
정위부(134)는 변환된 3차원 좌표 정보를 바탕으로 오브젝트 오디오 신호를 정위시키기 위한 정위 정보를 생성한다. 특히, 정위부(134)는 오디오 제공 장치(100)의 스피커 레이아웃에 따라 오브젝트 오디오 신호를 정위시키기 위한 패닝 게인을 산출할 수 있다. 구체적으로, 정위부(134)는 오브젝트 오디오 신호의 궤도와 동일한 방향의 포지티브 벡터를 정위시키기 위한 트리플렛(triplet) 스피커를 선택하고, 포지티브 벡터의 트리플렛 스피커에 대한 3차원 패닝 계수(gp)를 계산할 수 있다. 그리고, 뎁스 제어부(133)가 포지티브 벡터 및 네거티브의 벡터로 뎁스 게인을 표현하는 경우, 정위부(134)는 오브젝트 오디오 신호의 궤도와 반대 방향의 네거티브 벡터를 정위시키기 위한 트리플렛 스피커를 선택하고, 네거티브 벡터의 트리플렛 스피커에 대한 3차원 패닝 계수(gn)을 계산할 수 있다.
렌더링부(135)는 거리 제어 정보, 뎁스 제어 정보 및 정위 정보를 바탕으로 오브젝트 오디오 신호를 렌더링한다. 특히, 렌더링부(135)는 거리 제어부(132)로부터 거리 게인(dg)을 수신하고, 뎁스 제어부(133)로부터 뎁스 게인(v)을 수신하고, 정위부(134)로부터 패닝 게인(g)을 수신하여, 거리 게인(dg), 뎁스 게인(v), 패닝 게인(g)을 오브젝트 오디오 신호에 적용시켜 멀티채널의 오브젝트 오디오 신호를 생성할 수 있다. 특히, 오브젝트 오디오 신호의 뎁스 게인이 포지티브 벡터와 네거티브 벡터의 합으로 표현되는 경우, 렌더링부(135)는 m번째 채널의 최종 게인(Gm)을 아래의 수학식 4와 같이 산출할 수 있다.
수학식 4
Figure PCTKR2013011182-appb-M000004
이때, gp,m은 포지티브 벡터를 정위하였을 경우, m 채널에 적용되는 패닝 계수이며, gn,m은 네거티브 벡터를 정위하였을 경우, m 채널에 적용되는 패닝 계수일 수 있다.
또한, 오브젝트 오디오 신호의 뎁스 게인이 포지티브 벡터와 널 벡터의 합으로 표현되는 경우, 렌더링부(135)는 m번째 채널의 최종 게인(Gm)을 아래의 수학식 5와 같이 산출할 수 있다.
수학식 5
Figure PCTKR2013011182-appb-M000005
이때, gp,m은 포지티브 벡터를 정위하였을 경우, m 채널에 적용되는 패닝 계수이며, gnll,m은 네거티브 벡터를 정위하였을 경우, m 채널에 적용되는 패닝 계수일 수 있다. 한편, Σgnll,m은 0이 될 수 있다.
그리고, 렌더링부(135)는 오브젝트 오디오 신호인 x에 적용시켜, m번째 채널의 오브젝트 오디오 신호의 최종 출력(Ym)을 아래의 수학식 6과 같이 산출할 수 있다.
수학식 6
Figure PCTKR2013011182-appb-M000006
상술한 바와 같이 산출된 오브젝트 오디오 신호의 최종 출력(Ym)은 믹싱부(150)로 출력될 수 있다.
또한, 오브젝트 오디오 신호가 복수 개 존재하는 경우, 오브젝트 렌더링부(130)는 복수의 오브젝트 오디오 신호 사이의 위상 차이를 산출하고, 복수의 오브젝트 오디오 신호 중 하나를 산출된 위상 차이만큼 이동하여 복수의 오브젝트 오디오 신호를 합성할 수 있다.
구체적으로, 복수의 오브젝트 오디오 신호가 입력되는 동안 복수의 오브젝트 오디오 신호 각각이 동일한 신호이나 위상이 서로 반대인 경우, 복수의 오브젝트 오디오 신호를 그대로 합성하면, 복수의 오브젝트 오디오 신호의 중첩으로 인한 오디오 신호의 왜곡이 발생한다. 따라서, 오브젝트 렌더링부(130)는 복수의 오브젝트 오디오 신호 사이의 상관도(correlation)를 산출하고, 상관도가 기설정된 값 이상인 경우, 복수의 오브젝트 오디오 신호 사이의 위상 차이를 산출하고, 복수의 오브젝트 오디오 신호 중 하나를 산출된 위치 차이만큼 이동하여 복수의 오브젝트 오디오 신호를 합성할 수 있다. 이로 인해, 유사한 복수의 오브젝트 오디오 신호가 입력되는 경우, 복수의 오브젝트 오디오 신호의 합성으로 인한 왜곡을 방지할 수 있게 된다.
한편, 상술한 실시예에서는 오디오 제공 장치(100)의 스피커 레이아웃이 상이한 고도감을 가지는 3차원이나, 이는 일 실시예에 불과할 뿐, 오디오 제공 장치(100)의 스피커 레이아웃이 동일한 고도감을 가지는 2차원일 수 있다. 특히, 오디오 제공 장치(100)의 스피커 레이아웃이 동일한 고도감을 가지는 2차원인 경우, 오브젝트 렌더링부(130)는 상술한 오브젝트 오디오 신호의 궤도 정보 중 φ의 값을 0으로 설정할 수 있다.
또한, 오디오 제공 장치(100)의 스피커 레이아웃이 동일한 고도감을 가지는 2차원일 수 있으나, 오디오 제공 장치(100)는 2차원의 스피커 레이아웃을 통해 가상으로 3차원의 오브젝트 오디오 신호를 제공할 수 있다.
이하에서는 가상의 3차원 오브젝트 오디오 신호를 제공하는 실시예에 대해 도 6 및 도 7을 참조하여 설명하기로 한다.
도 6은 본 발명의 다른 실시예에 따른, 가상 3차원 오브젝트 오디오 신호를 제공하기 위한 오브젝트 렌더링부(130')의 구성을 나타내는 블럭도이다. 도 6에 도시된 바와 같이, 오브젝트 렌더링부(130')는 가상 필터부(136), 3차원 렌더링부(137), 가상 렌더링부(138) 및 믹싱부(139)를 포함한다.
3차원 렌더링부(137)는 도 2 내지 도 5b에 도시된 바와 같은 방법을 이용하여 오브젝트 오디오 신호를 렌더링할 수 있다. 이때, 3차원 렌더링부(137)는 오디오 제공 장치(100)의 물리적인 스피커로 출력할 수 있는 오브젝트 오디오 신호를 믹싱부(139)로 출력하고, 상이한 고도감을 제공하는 가상 스피커의 가상 패닝 게인(gm,top)을 가상 렌더링부(137)로 출력할 수 있다.
가상 필터부(136)는 오브젝트 오디오 신호의 음색을 보정시키는 블록으로, 심리음향을 기반으로 입력된 오브젝트 오디오 신호의 스펙트럼 특성(spectral characteristics)을 보정하여 가상 스피커의 위치에 음상을 제공한다. 이때, 가상 필터부(136)는 HRTF(Head related transfer function), BRIR(Binaural room impulse response) 등의 다양한 형태의 필터로 구현될 수 있다.
또한, 가상 필터부(136)의 길이가 프레임의 길이보다 작을 경우, 가상 필터부(136)를 블럭 컨볼루션(block convolution)을 통해 적용시킬 수 있다.
또한, FFT(Fast Fourier Transform), MDCT(Modified Discrete Cosine Transform), QMF(Quadurature Mirror Filter) 등의 주파수 도메인에서 렌더링을 수행할 경우, 가상 필터부(136)는 곱셈으로 적용될 수 있다.
복수의 가상 탑 레이어 스피커(Virtual top layer speaker)의 경우, 가상 필터부(136)는 하나의 고도 필터(elevation filter) 및 물리적인 스피커들의 배분식을 통해 복수의 가상 탑 레이어 스피커를 생성할 수 있다.
또한, 복수의 가상 탑 레이어 스피커 및 가상 백 스피커(Virtual back speaker)의 경우, 가상 필터부(136)는 각기 다른 위치에서 스펙트럴 컬러레이션(spectral coloration)을 적용시키기 위한 복수의 가상 필터 및 물리적인 스피커들의 배분식을 통해 복수의 가상 탑 레이어 스피커 및 가상 백 스피커를 생성할 수 있다.
또한, 가상 필터부(136)는 H1,H2,...,HN와 같은 N 개의 다른 스펙트럴 컬러레이션을 사용할 경우, 연산량을 줄이기 위하여 트리 구조로 설계가 가능하다. 구체적으로, 가상 필터부(136)는 도 7a에 도시된 바와 같이, 높이(Height)를 인지하는 데에 공통적으로 들어가는 Notch/Peak를 H0로 설계하고, H1 내지 HN에서 H0의 특성을 뺀 나머지 성분인 K1 내지 KN을 HO와 케스케이드(cascade) 형태로 연결할 수 있다. 또한, 가상 필터부(136)는 공통의 성분과 스펙트럴 컬러레이션들에 따라 도 7b에 도시된 바와 같은 복수의 단계로 구성된 트리 구조를 이룰 수 있다.
가상 렌더링부(138)는 가상 채널을 물리적인 채널로 표현하기 위한 렌더링 블럭이다. 특히, 가상 렌더링부(138)는 가상 필터부(136)로부터 출력된 가상 채널 배분식에 따라 가상 스피커로 출력된 오브젝트 오디오 신호를 생성하고, 생성된 가상 스피커의 오브젝트 오디오 신호에 가상 패닝 게인(gm,top)을 곱하여 출력 신호를 합성할 수 있다. 이때, 복수의 물리적인 평면 스피커에 배분해 주는 정도에 따라 가상 스피커의 위치가 상이해지며, 이 배분의 정도를 가상 채널 배분식이라 정의될 수 있다.
믹싱부(139)는 물리적인 채널의 오브젝트 오디오 신호와 가상 채널의 오브젝트 오디오 신호를 믹싱한다.
이에 의해, 2차원의 스피커 레이아웃을 가지는 오디오 제공 장치(100)를 통해 오브젝트 오디오 신호를 3차원 상에 위치하는 것으로 표현할 수 있다.
다시 도 1에 대해 설명하면, 채널 렌더링부(120)는 제1 채널 수를 가지는 채널 오디오 신호를 제2 채널 수를 가지는 오디오 신호로 렌더링할 수 있다. 이때, 채널 렌더링부(120)는 스피커 레이아웃에 따라 입력된 제1 채널 수를 가지는 채널 오디오 신호를 제2 채널 수를 가지는 오디오 신호로 변경할 수 있다.
구체적으로, 채널 오디오 신호의 레이아웃과 오디오 제공 장치(100)의 스피커 레이아웃이 동일한 경우, 채널 렌더링부(120)는 채널 오디오 신호를 채널의 변화없이 렌더링을 수행할 수 있다.
또한, 채널 오디오 신호의 채널 수가 오디오 제공 장치(100)의 스피커 레이아웃의 채널 수보다 많은 경우, 채널 렌더링부(120)는 채널 오디오 신호를 다운믹스하여 렌더링을 수행할 수 있다. 예를 들어, 채널 오디오 신호의 채널이 7.1 채널이고, 오디오 제공 장치(100)의 스피커 레이아웃이 5.1 채널인 경우, 채널 렌더링부(120)는 7.1 채널의 채널 오디오 신호를 5.1 채널로 다운믹스할 수 있다.
특히, 채널 오디오 신호의 다운믹스를 수행할 경우, 채널 렌더링부(120)는 입력된 채널 오디오 신호의 궤도가 일정하게 정지되어 있는 오브젝트라고 판단하여 다운믹스를 수행할 수 있다. 또한, 3차원의 채널 오디오 신호를 2차원으로 다운믹스하는 경우, 채널 렌더링부(120)는 채널 오디오 신호의 고도 성분을 제거하여 2차원으로 다운믹스하거나 도 6에서 설명한 바와 같은 가상의 고도감을 가지도록 가상 3차원으로 다운믹스할 수 있다. 또한, 채널 렌더링부(120)는 정면의 오디오 신호를 형성하는 프론트 레프트 채널, 프론트 라이트 채널, 센터 채널을 제외한 모든 신호를 다운믹스하여 라이트 서라운드 채널 및 레프트 서라운드 채널로 구현할 수 있다. 또한, 채널 렌더링부(120)는 멀티채널 다운믹스 방정식을 이용하여 다운믹스를 수행할 수 있다.
또한, 채널 오디오 신호의 채널 수가 오디오 제공 장치(100)의 스피커 레이아웃의 채널 수보다 적은 경우, 채널 렌더링부(120)는 채널 오디오 신호를 업믹스하여 렌더링을 수행할 수 있다. 예를 들어, 채널 오디오 신호의 채널이 7.1 채널이고, 오디오 제공 장치(100)의 스피커 레이아웃이 9.1 채널인 경우, 채널 렌더링부(120)는 7.1 채널의 채널 오디오 신호를 9.1 채널로 업믹스할 수 있다.
특히, 2차원의 채널 오디오 신호를 3차원으로 업믹스하는 경우, 채널 렌더링부(120)는 프론트 채널 및 서라운드 채널 간의 상관도(correlation)을 기반으로 고도 성분을 가지는 탑 레이어를 생성하여 업믹스를 수행하거나, 채널간의 분석으로 통해 센터 및 앰비언스(ambience)로 나누어 업믹스를 수행할 수 있다.
또한, 채널 렌더링부(140)는 제1 채널 수를 가지는 오디오 신호를 제2 채널 수를 가지는 오디오 신호로 렌더링하는 과정에서 상관도를 갖는 오디오 신호 사이의 위상 차이를 산출하고, 복수의 오디오 신호 중 하나를 산출된 위상 차이만큼 이동하여 복수의 오디오 신호를 합성할 수 있다.
한편, 오브젝트 오디오 신호 및 제1 채널 수를 가지는 채널 오디오 신호 중 적어도 하나는, 특정 프레임에 대해 가상 3차원 렌더링 또는 2차원 렌더링을 수행할지 여부를 결정하는 가이드 정보를 포함할 수 있다. 따라서, 오브젝트 렌더링부(130) 및 채널 렌더링부(140) 각각은 오브젝트 오디오 신호 및 채널 오디오 신호에 포함된 가이드 정보를 바탕으로 렌더링을 수행할 수 있다. 예를 들어, 제1 프레임에서 오브젝트 오디오 신호를 가상 3차원 렌더링을 수행하라는 가이드 정보가 포함된 경우, 오브젝트 렌더링부(140) 및 채널 렌더링부(140)는 제1 프레임에서 오브젝트 오디오 신호 및 채널 오디오 신호를 가상 3차원 렌더링을 수행할 수 있다. 또하느 제2 프레임에서 오브젝트 오디오 신호를 2차원 렌더링하라는 가이드 정보가 포함된 경우, 오브젝트 렌더링부(130) 및 채널 렌더링부(140)는 제2 프레임에서 오브젝트 오디오 신호 및 채널 오디오 신호를 2차원 렌더링을 수행할 수 있다.
믹싱부(150)는 오브젝트 렌더링부(130)로부터 출력된 오브젝트 오디오 신호와 채널 렌더링부(140)로부터 출력된 제2 채널 수를 가지는 채널 오디오 신호를 믹싱할 수 있다.
한편, 믹싱부(150)는 렌더링된 오브젝트 오디오 신호와 제2 채널 수를 가지는 오디오 신호를 믹싱하는 동안 상관도를 갖는 오디오 신호 사이의 위상 차이를 산출하고, 복수의 오디오 신호 중 하나를 상기 산출된 위상 차이만큼 이동하여 복수의 오디오 신호를 합성할 수 있다.
출력부(160)는 믹싱부(150)로부터 출력된 오디오 신호를 출력한다. 이때, 출력부(160)는 복수의 스피커를 포함할 수 있다. 예를 들어, 출력부(160)는 5.1 채널, 7.1 채널, 9.1 채널, 22.2 채널 등과 같은 스피커로 구현될 수 있다.
이하에서는 도 8a 내지 도 8g를 참조하여 본 발명의 다양한 실시예에 대해 설명하도록 한다.
도 8a는 본 발명의 제1 실시예에 따른, 오브젝트 오디오 신호 및 채널 오디오 신호의 렌더링을 설명하기 위한 도면이다.
우선, 오디오 제공 장치(100)는 9.1 채널의 채널 오디오 신호 및 2개의 오브젝트 오디오 신호(O1,O2)를 수신한다. 이때, 9.1 채널의 채널 오디오 신호는 프런트 레프트 채널(Front Left Channel: FL), 프론트 라이트 채널(Front Right Channel: FR), 프론트 센터 채널(Front Center channel: FC), 서브우퍼 채널(Subwoofer channel: Lfe), 서라운드 레프트 채널(Surround Left channel: SL), 서라운드 라이트 채널(Surround Right Channel: SR), 탑 프론트 레프트 채널(Top Front Left channel: TL), 탑 프론트 라이트 채널(Top Front Right channel: TR), 백 레프트 채널(Back Left channel:BL), 백 라이트 채널(Back Right channel: BR)을 포함한다.
한편, 오디오 제공 장치(100)는 5.1 채널의 스피커 레이아웃으로 구성될 수 있다. 즉, 오디오 제공 장치(100)는 프론트 라이트 채널, 프론트 레프트 채널, 프론트 센터 채널, 서브우퍼 채널, 서라운드 레프트 채널 및 서라운드 라이트 채널 각각에 대응되는 스피커를 구비할 수 있다.
오디오 제공 장치(100)는 입력된 채널 오디오 신호 중 탑 프론트 레프트 채널, 탑 프론트 라이트 채널, 백 레프트 채널, 백 라이트 채널 각각에 대응되는 신호에 가상 필터링을 수행하여 렌더링할 수 있다.
그리고, 오디오 제공 장치(100)는 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(02)에 대한 가상 3차원 렌더링을 수행할 수 있다.
오디오 제공 장치(100)는 프론트 레프트 채널의 채널 오디오 신호, 가상 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 가상 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 가상 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 프론트 레프트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 프론트 라이트 채널의 채널 오디오 신호, 가상 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 가상 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 가상 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 프론트 라이트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 프론트 센터 채널 및 서브우퍼 채널 각각의 채널 오디오 신호를 그대로 프론트 센터 채널 및 서브우퍼 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 서라운드 레프트 채널의 채널 오디오 신호, 가상 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 가상 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 가상 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 서라운드 레프트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 서라운드 라이트 채널의 채널 오디오 신호, 가상 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 가상 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 가상 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 서라운드 라이트 채널에 대응되는 스피커로 출력할 수 있다.
상술한 바와 같은 채널 렌더링 및 오브젝트 렌더링을 통해 오디오 제공 장치(100)는 5.1 채널의 스피커를 이용하여 9.1 채널의 가상 3차원 오디오 환경을 구축할 수 있게 된다.
도 8b는 본 발명의 제2 실시예에 따른, 오브젝트 오디오 신호 및 채널 오디오 신호의 렌더링을 설명하기 위한 도면이다.
우선, 오디오 제공 장치(100)는 9.1 채널의 채널 오디오 신호 및 2개의 오브젝트 오디오 신호(O1,O2)를 수신한다.
한편, 오디오 제공 장치(100)는 7.1 채널의 스피커 레이아웃으로 구성될 수 있다. 즉, 오디오 제공 장치(100)는 프론트 라이트 채널, 프론트 레프트 채널, 프론트 센터 채널, 서브우퍼 채널, 서라운드 레프트 채널, 서라운드 라이트 채널, 백 레프트 채널 및 백 라이트 채널 각각에 대응되는 스피커를 구비할 수 있다.
오디오 제공 장치(100)는 입력된 채널 오디오 신호 중 탑 프론트 레프트 채널, 탑 프론트 라이트 채널 각각에 대응되는 신호에 가상 필터링을 수행하여 렌더링할 수 있다.
그리고, 오디오 제공 장치(100)는 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(02)에 대한 가상 3차원 렌더링을 수행할 수 있다.
오디오 제공 장치(100)는 프론트 레프트 채널의 채널 오디오 신호, 가상 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 가상 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 프론트 레프트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 프론트 라이트 채널의 채널 오디오 신호, 가상 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 가상 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 프론트 라이트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 프론트 센터 채널 및 서브우퍼 채널 각각의 채널 오디오 신호를 그대로 프론트 센터 채널 및 서브우퍼 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 서라운드 레프트 채널의 채널 오디오 신호, 가상 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 가상 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 서라운드 레프트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 서라운드 라이트 채널의 채널 오디오 신호, 가상 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 가상 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 서라운드 라이트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 백 레프트 채널의 채널 오디오 신호, 가상 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 백 레프트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 백 라이트 채널의 채널 오디오 신호, 가상 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 백 라이트 채널에 대응되는 스피커로 출력할 수 있다.
상술한 바와 같은 채널 렌더링 및 오브젝트 렌더링을 통해 오디오 제공 장치(100)는 7.1 채널의 스피커를 이용하여 9.1 채널의 가상 3차원 오디오 환경을 구축할 수 있게 된다.
도 8c는 본 발명의 제3 실시예에 따른, 오브젝트 오디오 신호 및 채널 오디오 신호의 렌더링을 설명하기 위한 도면이다.
우선, 오디오 제공 장치(100)는 9.1 채널의 채널 오디오 신호 및 2개의 오브젝트 오디오 신호(O1,O2)를 수신한다.
한편, 오디오 제공 장치(100)는 9.1 채널의 스피커 레이아웃으로 구성될 수 있다. 즉, 오디오 제공 장치(100)는 프론트 라이트 채널, 프론트 레프트 채널, 프론트 센터 채널, 서브우퍼 채널, 서라운드 레프트 채널, 서라운드 라이트 채널, 백 레프트 채널, 백 라이트 채널, 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널 각각에 대응되는 스피커를 구비할 수 있다.
그리고, 오디오 제공 장치(100)는 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(02)에 대한 3차원 렌더링을 수행할 수 있다.
오디오 제공 장치(100)는 프론트 라이트 채널, 프론트 레프트 채널, 프론트 센터 채널, 서브우퍼 채널, 서라운드 레프트 채널, 서라운드 라이트 채널, 백 레프트 채널, 백 라이트 채널, 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호 각각에 3차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 대응되는 스피커로 출력할 수 있다.
상술한 바와 같은 채널 렌더링 및 오브젝트 렌더링을 통해 오디오 제공 장치(100)는 9.1 채널의 스피커를 이용하여 9.1 채널의 채널 오디오 신호 및 오브젝트 오디오 신호를 출력할 수 있게 된다.
도 8d는 본 발명의 제4 실시예에 따른, 오브젝트 오디오 신호 및 채널 오디오 신호의 렌더링을 설명하기 위한 도면이다.
우선, 오디오 제공 장치(100)는 9.1 채널의 채널 오디오 신호 및 2개의 오브젝트 오디오 신호(O1,O2)를 수신한다.
한편, 오디오 제공 장치(100)는 11.1 채널의 스피커 레이아웃으로 구성될 수 있다. 즉, 오디오 제공 장치(100)는 프론트 라이트 채널, 프론트 레프트 채널, 프론트 센터 채널, 서브우퍼 채널, 서라운드 레프트 채널, 서라운드 라이트 채널, 백 레프트 채널, 백 라이트 채널, 탑 프론트 레프트 채널, 탑 프론트 라이트 채널, 탑 서라운드 레프트 채널, 탑 서라운드 라이트 채널, 탑 백 레프트 채널 및 탑 백 라이트 채널 각각에 대응되는 스피커를 구비할 수 있다.
그리고, 오디오 제공 장치(100)는 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(02)에 대한 3차원 렌더링을 수행할 수 있다.
오디오 제공 장치(100)는 프론트 라이트 채널, 프론트 레프트 채널, 프론트 센터 채널, 서브우퍼 채널, 서라운드 레프트 채널, 서라운드 라이트 채널, 백 레프트 채널, 백 라이트 채널, 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호 각각에 3차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 대응되는 스피커로 출력할 수 있다.
그리고, 오디오 제공 장치(100)는 3차원 렌더링된 제1 오브젝트 오디오 신호(01) 및 제2 오브젝트 오디오 신호(02) 각각을 탑 서라운드 레프트 채널, 탑 서라운드 라이트 채널, 탑 백 레프트 채널 및 탑 백 라이트 채널 각각에 대응되는 스피커로 출력할 수 있다.
상술한 바와 같은 채널 렌더링 및 오브젝트 렌더링을 통해 오디오 제공 장치(100)는 11.1 채널의 스피커를 이용하여 9.1 채널의 채널 오디오 신호 및 오브젝트 오디오 신호를 출력할 수 있게 된다.
도 8e는 본 발명의 제5 실시예에 따른, 오브젝트 오디오 신호 및 채널 오디오 신호의 렌더링을 설명하기 위한 도면이다.
우선, 오디오 제공 장치(100)는 9.1 채널의 채널 오디오 신호 및 2개의 오브젝트 오디오 신호(O1,O2)를 수신한다.
한편, 오디오 제공 장치(100)는 5.1 채널의 스피커 레이아웃으로 구성될 수 있다. 즉, 오디오 제공 장치(100)는 프론트 라이트 채널, 프론트 레프트 채널, 프론트 센터 채널, 서브우퍼 채널, 서라운드 레프트 채널 및 서라운드 라이트 채널 각각에 대응되는 스피커를 구비할 수 있다.
오디오 제공 장치(100)는 입력된 채널 오디오 신호 중 탑 프론트 레프트 채널, 탑 프론트 라이트 채널, 백 레프트 채널, 백 라이트 채널 각각에 대응되는 신호에 2차원 렌더링을 수행한다.
그리고, 오디오 제공 장치(100)는 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(02)에 대한 2차원 렌더링을 수행할 수 있다.
오디오 제공 장치(100)는 프론트 레프트 채널의 채널 오디오 신호, 2차원 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 프론트 레프트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 프론트 라이트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 프론트 센터 채널 및 서브우퍼 채널 각각의 채널 오디오 신호를 그대로 프론트 센터 채널 및 서브우퍼 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 서라운드 레프트 채널의 채널 오디오 신호, 2차원 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 서라운드 레프트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 서라운드 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 서라운드 라이트 채널에 대응되는 스피커로 출력할 수 있다.
상술한 바와 같은 채널 렌더링 및 오브젝트 렌더링을 통해 오디오 제공 장치(100)는 5.1 채널의 스피커를 이용하여 9.1 채널의 채널 오디오 신호 및 오브젝트 오디오 신호를 출력할 수 있게 된다. 즉, 도 8a에 비교하여, 본 실시예는 가상 3차원 오디오 신호로 렌더링하는 것이 아닌 2차원 오디오 신호로 렌더링할 수 있다.
도 8f는 본 발명의 제6 실시예에 따른, 오브젝트 오디오 신호 및 채널 오디오 신호의 렌더링을 설명하기 위한 도면이다.
우선, 오디오 제공 장치(100)는 9.1 채널의 채널 오디오 신호 및 2개의 오브젝트 오디오 신호(O1,O2)를 수신한다.
한편, 오디오 제공 장치(100)는 7.1 채널의 스피커 레이아웃으로 구성될 수 있다. 즉, 오디오 제공 장치(100)는 프론트 라이트 채널, 프론트 레프트 채널, 프론트 센터 채널, 서브우퍼 채널, 서라운드 레프트 채널, 서라운드 라이트 채널, 백 레프트 채널 및 백 라이트 채널 각각에 대응되는 스피커를 구비할 수 있다.
오디오 제공 장치(100)는 입력된 채널 오디오 신호 중 탑 프론트 레프트 채널, 탑 프론트 라이트 채널 각각에 대응되는 신호에 2차원 렌더링을 수행할 수 있다.
그리고, 오디오 제공 장치(100)는 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(02)에 대한 2차원 렌더링을 수행할 수 있다.
오디오 제공 장치(100)는 프론트 레프트 채널의 채널 오디오 신호, 2차원 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 프론트 레프트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 프론트 라이트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 프론트 센터 채널 및 서브우퍼 채널 각각의 채널 오디오 신호를 그대로 프론트 센터 채널 및 서브우퍼 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 서라운드 레프트 채널의 채널 오디오 신호, 2차원 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 서라운드 레프트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 서라운드 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 서라운드 라이트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 백 레프트 채널의 채널 오디오 신호, 2차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 백 레프트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 백 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 백 라이트 채널에 대응되는 스피커로 출력할 수 있다.
상술한 바와 같은 채널 렌더링 및 오브젝트 렌더링을 통해 오디오 제공 장치(100)는 7.1 채널의 스피커를 이용하여 9.1 채널의 채널 오디오 신호 및 오브젝트 오디오 신호를 출력할 수 있게 된다. 즉, 도 8b에 비교하여, 본 실시예는 가상 3차원 오디오 신호로 렌더링하는 것이 아닌 2차원 오디오 신호로 렌더링할 수 있다.
도 8g는 본 발명의 제7 실시예에 따른, 오브젝트 오디오 신호 및 채널 오디오 신호의 렌더링을 설명하기 위한 도면이다.
우선, 오디오 제공 장치(100)는 9.1 채널의 채널 오디오 신호 및 2개의 오브젝트 오디오 신호(O1,O2)를 수신한다.
한편, 오디오 제공 장치(100)는 5.1 채널의 스피커 레이아웃으로 구성될 수 있다. 즉, 오디오 제공 장치(100)는 프론트 라이트 채널, 프론트 레프트 채널, 프론트 센터 채널, 서브우퍼 채널, 서라운드 레프트 채널 및 서라운드 라이트 채널 각각에 대응되는 스피커를 구비할 수 있다.
오디오 제공 장치(100)는 입력된 채널 오디오 신호 중 탑 프론트 레프트 채널, 탑 프론트 라이트 채널, 백 레프트 채널, 백 라이트 채널 각각에 대응되는 신호에 2차원으로 다운믹스하여 렌더링을 수행한다.
그리고, 오디오 제공 장치(100)는 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(02)에 대한 가상 3차원 렌더링을 수행할 수 있다.
오디오 제공 장치(100)는 프론트 레프트 채널의 채널 오디오 신호, 2차원 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 가상 3차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 프론트 레프트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 가상 3차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 프론트 라이트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 프론트 센터 채널 및 서브우퍼 채널 각각의 채널 오디오 신호를 그대로 프론트 센터 채널 및 서브우퍼 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 서라운드 레프트 채널의 채널 오디오 신호, 2차원 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 가상 3차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 서라운드 레프트 채널에 대응되는 스피커로 출력할 수 있다. 또한, 오디오 제공 장치(100)는 서라운드 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 탑 프론트 레프트 채널 및 탑 프론트 라이트 채널의 채널 오디오 신호, 2차원 렌더링된 백 레프트 채널 및 백 라이트 채널의 채널 오디오 신호, 가상 3차원 렌더링된 제1 오브젝트 오디오 신호(O1) 및 제2 오브젝트 오디오 신호(O2)를 믹싱하여 서라운드 라이트 채널에 대응되는 스피커로 출력할 수 있다.
상술한 바와 같은 채널 렌더링 및 오브젝트 렌더링을 통해 오디오 제공 장치(100)는 5.1 채널의 스피커를 이용하여 9.1 채널의 채널 오디오 신호 및 오브젝트 오디오 신호를 출력할 수 있게 된다. 즉, 도 8a와 비교하여, 채널 오디오 신호의 음상보다는 음질이 중요하다고 판단된 경우, 오디오 제공 장치(100)는 채널 오디오 신호만을 2차원으로 다운믹스하고, 오브젝트 오디오 신호를 가상 3차원으로 렌더링할 수 있다.
도 9는 본 발명의 일 실시예에 따른, 오디오 신호 제공 방법을 설명하기 위한 흐름도이다.
우선, 오디오 제공 장치(100)는 오디오 신호를 입력받는다(S910). 이때, 오디오 신호는 제1 채널 수를 가지는 채널 오디오 신호 및 오브젝트 오디오 신호를 포함할 수 있다.
그리고, 오디오 제공 장치(100)는 입력된 오디오 신호를 분리한다(S920). 구체적으로, 오디오 제공 장치(100)는 입력된 오디오 신호를 채널 오디오 신호 및 오브젝트 오디오 신호로 분리할 수 있다.
그리고, 오디오 제공 장치(100)는 오브젝트 오디오 신호를 렌더링한다(S930). 구체적으로, 오디오 제공 장치(100)는 도 2 내지 도 5b에서 설명한 바와 같이, 오브젝트 오디오 신호를 2차원 또는 3차원으로 렌더링할 수 있다. 또한, 오디오 제공 장치(100)는 도 6 내지 도 7b에서 설명한 바와 같이, 오브젝트 오디오 신호를 가상의 3차원 오디오 신호로 렌더링할 수 있다.
그리고, 오디오 제공 장치(100)는 제1 채널 수를 가지는 채널 오디오 신호를 제2 채널 수로 렌더링한다(S940). 이때, 오디오 제공 장치(100)는 입력된 채널 오디오 신호를 다운믹스하거나 업믹스하여 렌더링을 수행할 수 있다. 또한, 오디오 제공 장치(100)는 입력된 채널 오디오 신호의 채널 수를 유지하여 렌더링을 수행할 수 있다.
그리고, 오디오 제공 장치(100)는 렌더링된 오브젝트 오디오 신호와 제2 채널 수를 가지는 채널 오디오 신호를 믹싱한다(S950). 구체적으로, 오디오 제공 장치(100)는 도 8a 내지 도 8g에서 설명한 바와 같이, 렌더링된 오브젝트 오디오 신호 및 채널 오디오 신호를 믹싱할 수 있다.
그리고, 오디오 제공 장치(100)는 믹싱된 오디오 신호를 출력한다(S960).
상술한 바와 같은 오디오 제공 방법에 의해, 오디오 제공 장치(100)는 다양한 포맷을 가지는 오디오 신호를 오디오 시스템 공간에 최적화되게 재생시킬 수 있게 된다.
이하에서는 도 10을 참조하여 본 발명의 다른 실시예에 대해 설명하기로 한다. 도 10은 본 발명의 다른 실시예에 따른, 오디오 제공 장치(1000)의 구성을 나타내는 블럭도이다. 도 10에 도시된 바와 같이, 오디오 제공 장치(1000)는 입력부(1010), 분리부(1020), 오디오 신호 디코딩부(1030), 부가정보 디코딩부(1040), 렌더링부(1050), 사용자 입력부(1060), 인터페이스부(1070) 및 출력부(1080)를 포함한다.
입력부(1010)는 압축된 오디오 신호를 입력받는다. 이때, 압축된 오디오 신호에는 채널 오디오 신호와 오브젝트 오디오 신호가 포함된 압축된 형태의 오디오 신호뿐만 아니라 부가정보를 포함할 수 있다.
분리부(1020)는 압축된 오디오 신호를 오디오 신호와 부가정보로 분리하고, 오디오 신호를 오디오 신호 디코딩부(1030)로 출력하며, 부가정보를 부가정보 디코딩부(1040)로 출력한다.
오디오 신호 디코딩부(1030)는 압축된 형태의 오디오 신호를 해제하여 렌더링부(1050)로 출력한다. 한편, 오디오 신호는 멀티 채널의 채널 오디오 신호 및 오브젝트 오디오 신호를 포함한다. 이때, 멀티 채널의 채널 오디오 신호는 배경음 및 배경음악과 같은 오디오 신호일 수 있으며, 오브젝트 오디오 신호는 사람 목소리, 총소리 등과 같은 특정 물체에 대한 오디오 신호일 수 있다.
부가정보 디코딩부(1040)는 입력된 오디오 신호의 부가정보를 디코딩한다. 이때, 입력된 오디오 신호의 부가정보에는 입력된 오디오 신호의 채널 수, 길이, 게인값, 패닝 게인, 위치, 각도 등과 같은 다양한 정보가 포함될 수 있다.
렌더링부(1050)는 입력된 부가 정보 및 오디오 신호를 바탕으로 렌더링을 수행할 수 있다. 이때, 렌더링부(1050)는 사용자 입력부(1060)에 입력된 사용자 명령에 따라 도 2 내지 도 8g에 설명한 바와 같은 다양한 방법을 이용하여 렌더링을 수행할 수 있다. 예를 들어, 입력된 오디오 신호가 7.1 채널의 오디오 신호이고, 오디오 제공 장치(1000)의 스피커 레이아웃이 5.1 채널인 경우, 렌더링부(1050)는 사용자 입력부(1060)를 통해 입력된 사용자 명령에 따라 7.1 채널의 오디오 신호를 2차원의 5.1 채널 오디오 신호로 다운믹스할 수 있고, 7.1 채널의 오디오 신호를 가상 3차원 5.1 채널 오디오 신호로 다운믹스할 수 있다. 또한, 렌더링부(1050)는 사용자 입력부(1060)를 통해 입력된 사용자 명령에 따라 채널 오디오 신호를 2차원으로 렌더링할 수 있으며, 오브젝트 오디오 신호를 가상 3차원으로 렌더링할 수 있다.
또한, 렌더링부(1050)는 사용자 명령 및 스피커 레이아웃에 따라 렌더링된 오디오 신호를 출력부(1080)를 통해 바로 출력할 수 있으나, 오디오 신호 및 부가정보를 인터페이스부(1070)를 통해 외부기기로 전송할 수 있다. 특히, 7.1 채널을 초과하는 스피커 레이아웃을 가지는 오디오 제공 장치(1000)의 경우, 렌더링부(1050)는 오디오 신호 및 부가 정보 중 적어도 일부를 인터페이스부(1070)를 통해 외부 기기로 전송할 수 있다. 이때, 인터페이스부(1070)는 HDMI 인터페이스 등과 같은 디지털 인터페이스로 구현될 수 있다. 외부기기는 입력된 오디오 신호 및 부가정보를 이용하여 렌더링을 수행한 후, 렌더링된 오디오 신호를 출력할 수 있다.
그러나, 상술한 바와 같이, 렌더링부(1050)가 오디오 신호 및 부가정보를 외부 기기로 전송하는 것은 일 실시예에 불과할 뿐, 렌더링부(1050)가 오디오 신호 및 부가정보를 이용하여 오디오 신호를 렌더링한 후 렌더링된 오디오 신호를 출력할 수 있다.
한편, 본 발명의 일 실시예에 따른, 오브젝트 오디오 신호에는 ID 또는 유형 정보, 우선순위 정보 등이 포함된 메타데이터가 포함될 수 있다. 예를 들어, 오브젝트 오디오 신호의 유형이 대화(dialog)인지, 코멘터리(commentary)인지 여부를 나타내는 정보가 포함될 수 있다. 또한, 오디오 신호가 방송 오디오 신호인 경우, 오브젝트 오디오 신호의 유형이 제1 앵커인지, 제2 앵커인지, 제1 캐스터인지, 제2 캐스터인지, 배경음인지 여부 등을 나타내는 정보가 포함될 수 있다. 또한, 오디오 신호가 음악 오디오 신호인 경우, 오브젝트 오디오 신호의 유형이 제1 보컬인지, 제2 보컬인지, 제1 악기음인지, 제2 악기음인지 여부를 나타내는 정보가 포함될 수 있다. 또한, 오디오 신호가 게임 오디오 신호인 경우, 오브젝트 오디오 신호의 유형이 제1 효과음인지, 제2 효과음인지 여부를 나타내는 정보가 포함될 수 있다.
렌더링부(1050)는 상술한 바와 같은 오브젝트 오디오 신호에 포함된 메타데이터를 분석하여 오브젝트 오디오 신호의 우선순위에 따라 오브젝트 오디오 신호를 렌더링할 수 있다.
또한, 렌더링부(1050)는 사용자 선택에 의해 특정 오브젝트 오디오 신호를 제거할 수 있다. 예를 들어, 오디오 신호가 운동경기에 대한 오디오 신호인 경우, 오디오 제공 장치(1000)는 사용자에게 현재 입력되는 오브젝트 오디오 신호의 유형을 안내하는 UI를 디스플레이할 수 있다. 이때, 오브젝트 오디오 신호에는 캐스터 목소리, 해설 목소리, 함성소리 등과 같은 오브젝트 오디오 신호가 포함될 수 있다. 사용자 입력부(1060)를 통해 복수의 오브젝트 오디오 신호 중 캐스터 목소리를 제거하고자 하는 사용자 명령이 입력된 경우, 렌더링부(1050)는 입력된 오디오 오브젝트 오디오 신호 중 캐스터 목소리를 제거하고, 나머지 오브젝트 오디오 신호를 이용하여 렌더링을 수행할 수 있다.
또한, 출력부(1080)는 사용자 선택에 의해 특정 오브젝트 오디오 신호에 대한 볼륨을 증가시키거나 감소시킬 수 있다. 예를 들어, 오디오 신호가 영화 컨텐츠에 포함된 오디오 신호인 경우, 오디오 제공 장치(1000)는 사용자에게 현재 입력되는 오브젝트 오디오 신호의 유형을 안내하는 UI를 디스플레이할 수 있다. 이때, 오브젝트 오디오 신호에는 제1 주인공 목소리, 제2 주인공 목소리, 포탄 소리, 비행기 소리 등이 포함될 수 있다. 사용자 입력부(1060)를 통해 복수의 오브젝트 오디오 신호 중 제1 주인공 목소리, 제2 주인공 목소리의 볼륨을 증가시키고, 포탄 소리, 비행기 소리의 볼륨을 감소시키고자 하는 사용자 명령이 입력된 경우, 출력부(1080)는 제1 주인공 목소리 및 제2 주인공 목소리의 볼륨을 증가시키고, 포탄 소리, 비행기 소리의 볼륨을 감소시킬 수 있다.
상술한 바와 같은 실시예에 의해, 사용자는 자신이 원하는 오디오 신호를 조작할 수 있게 되어 사용자에 적합한 오디오 환경을 구축할 수 있게 된다.
한편, 상술한 다양한 실시 예에 따른 오디오 제공 방법은 프로그램으로 구현되어 디스플레이 장치 또는 입력 장치에 제공될 수 있다. 특히, 디스플레이 장치의 제어 방법을 포함하는 프로그램은 비일시적 판독 가능 매체(non-transitory computer readable medium)에 저장되어 제공될 수 있다.
비일시적 판독 가능 매체란 레지스터, 캐쉬, 메모리 등과 같이 짧은 순간 동안 데이터를 저장하는 매체가 아니라 반영구적으로 데이터를 저장하며, 기기에 의해 판독(reading)이 가능한 매체를 의미한다. 구체적으로는, 상술한 다양한 어플리케이션 또는 프로그램들은 CD, DVD, 하드 디스크, 블루레이 디스크, USB, 메모리카드, ROM 등과 같은 비일시적 판독 가능 매체에 저장되어 제공될 수 있다.
또한, 이상에서는 본 발명의 바람직한 실시예에 대하여 도시하고 설명하였지만, 본 발명은 상술한 특정의 실시예에 한정되지 아니하며, 청구범위에서 청구하는 본 발명의 요지를 벗어남이 없이 당해 발명이 속하는 기술분야에서 통상의 지식을 가진자에 의해 다양한 변형실시가 가능한 것은 물론이고, 이러한 변형실시들은 본 발명의 기술적 사상이나 전망으로부터 개별적으로 이해되어져서는 안될 것이다.

Claims (27)

  1. 오브젝트 오디오 신호의 궤도 정보를 이용하여 상기 오브젝트 오디오 신호를 렌더링하여 오브젝트 렌더링부;
    제1 채널 수를 가지는 오디오 신호를 제2 채널 수를 가지는 오디오 신호로 렌더링하는 채널 렌더링부;
    상기 렌더링된 오브젝트 오디오 신호 및 상기 제2 채널 수를 가지는 오디오 신호를 믹싱하는 믹싱부;를 포함하는 오디오 제공 장치.
  2. 제1항에 있어서,
    상기 오브젝트 렌더링부는,
    상기 오브젝트 오디오 신호의 궤도 정보를 3차원 좌표 정보로 변환하는 궤도 정보 분석부;
    상기 변환된 3차원 좌표 정보를 바탕으로 거리 제어 정보를 생성하는 거리 제어부;
    상기 변환된 3차원 좌표 정보를 바탕으로 뎁스 제어 정보를 생성하는 뎁스 제어부;
    상기 변환된 3차원 좌표 정보를 바탕으로 오브젝트 오디오 신호를 정위시키기 위한 정위 정보를 생성하는 정위부; 및
    상기 거리 제어 정보, 뎁스 제어 정보 및 정위 정보를 바탕으로 상기 오브젝트 오디오 신호를 렌더링하는 렌더링부;를 포함하는 것을 특징으로 하는 오디오 제공 장치.
  3. 제2항에 있어서,
    상기 거리 제어부는,
    상기 오브젝트 오디오 신호의 거리 게인을 산출하며, 상기 오브젝트 오디오 신호의 거리가 멀수록 상기 오브젝트 오디오 신호의 거리 게인을 감소시키고, 상기 오브젝트 오디오 신호의 거리가 가까울수록 상기 오브젝트 오디오 신호의 거리 게인을 증가시키는 것을 특징으로 하는 오디오 제공 장치.
  4. 제3항에 있어서,
    상기 뎁스 제어부는,
    상기 오브젝트 오디오 신호의 수평면상 투영 거리를 바탕으로 뎁스 게인을 획득하며,
    상기 뎁스 게인은,
    네거티브 벡터 및 포지티브 벡터의 합으로 표현되거나 포지티브 벡터 및 널 벡터의 합으로 표현되는 것을 특징으로 하는 오디오 제공 장치.
  5. 제4항에 있어서,
    상기 정위부는,
    상기 오디오 제공 장치의 스피커 레이아웃에 따라 상기 오브젝트 오디오 신호를 정위시키기 위한 패닝 게인을 산출하는 것을 특징으로 하는 오디오 제공 장치.
  6. 제5항에 있어서,
    상기 렌더링부는,
    상기 오브젝트 신호의 거리 게인, 뎁스 게인 및 패닝 게인을 바탕으로 상기 오브젝트 오디오 신호를 멀티 채널로 렌더링하는 것을 특징으로 오디오 제공 장치.
  7. 제2항에 있어서,
    상기 오브젝트 렌더링부는,
    상기 오브젝트 오디오 신호가 복수 개 존재하는 경우, 상기 복수의 오브젝트 오디오 신호 중 상관도를 갖는 오브젝트 사이의 위상 차이를 산출하고, 상기 복수의 오브젝트 오디오 신호 중 하나를 상기 산출된 위상 차이만큼 이동하여 상기 복수의 오브젝트 오디오 신호를 합성하는 것을 특징으로 하는 오디오 제공 장치.
  8. 제1항에 있어서,
    상기 오디오 제공 장치가 동일한 고도를 가지는 복수의 스피커를 이용하여 오디오를 재생하는 경우,
    상기 오브젝트 렌더링부는,
    상기 오브젝트 오디오 신호의 스펙트럼 특성(spectral characteristics)을 보정하여 상기 오브젝트 오디오 신호에 가상 고도 정보를 제공하는 가상 필터부; 및
    상기 가상 필터부에 의해 제공된 가상 고도 정보를 바탕으로 상기 오브젝트 오디오 신호를 렌더링하는 가상 렌더링부;를 포함하는 것을 특징으로 하는 오디오 제공 장치.
  9. 제8항에 있어서,
    상기 가상 필터부는,
    복수의 단계로 구성된 트리 구조를 이루는 것을 특징으로 하는 오디오 제공 장치.
  10. 제1항에 있어서,
    상기 채널 렌더링부는,
    상기 제1 채널 수를 가지는 오디오 신호의 레이아웃이 2차원인 경우, 상기 제1 채널 수를 가지는 오디오 신호를 상기 제1 채널 수보다 많은 상기 제2 채널 수를 가지는 오디오 신호로 업믹싱하며,
    상기 제2 채널 수를 가지는 오디오 신호의 레이아웃은 상기 제1 채널 수를 가지는 오디오 신호와 상이한 고도 정보를 가지는 3차원인 것을 특징으로 하는 오디오 제공 장치.
  11. 제1항에 있어서,
    상기 채널 렌더링부는,
    상기 제1 채널 수를 가지는 오디오 신호의 레이아웃이 3차원인 경우, 상기 제1 채널 수를 가지는 오디오 신호를 상기 제1 채널 수보다 적은 상기 제2 채널 수를 가지는 오디오 신호로 다운믹싱하며,
    상기 제2 채널 수를 가지는 오디오 신호의 레이아웃은 복수의 채널이 동일한 고도 성분을 가지는 2차원인 것을 특징으로 하는 오디오 제공 장치.
  12. 제1항에 있어서,
    상기 오브젝트 오디오 신호 및 상기 제1 채널 수를 가지는 오디오 신호 중 적어도 하나는, 특정 프레임에 대해 가상 3차원 렌더링을 수행할지 여부를 결정하는 정보를 포함하는 것을 특징으로 하는 오디오 제공 장치.
  13. 제1항에 있어서,
    상기 채널 렌더링부는,
    상기 제1 채널 수를 가지는 오디오 신호를 상기 제2 채널 수를 가지는 오디오 신호로 렌더링하는 과정에서 상관도를 갖는 오디오 신호 사이의 위상 차이를 산출하고, 상기 복수의 오디오 신호 중 하나를 상기 산출된 위상 차이만큼 이동하여 상기 복수의 오디오 신호를 합성하는 것을 특징으로 하는 오디오 제공 장치.
  14. 제1항에 있어서,
    상기 믹싱부는,
    상기 렌더링된 오브젝트 오디오 신호와 상기 제2 채널 수를 가지는 오디오 신호를 믹싱하는 동안 상관도를 갖는 오디오 신호 사이의 위상 차이를 산출하고, 상기 복수의 오디오 신호 중 하나를 상기 산출된 위상 차이만큼 이동하여 상기 복수의 오디오 신호를 합성하는 것을 특징으로 하는 오디오 제공 장치.
  15. 제1항에 있어서,
    상기 오브젝트 오디오 신호는,
    사용자에게 오브젝트 오디오 신호의 선택을 위한 오브젝트 오디오 신호의 ID 및 유형 정보 중 적어도 하나를 저장하는 것을 특징으로 하는 오디오 제공 장치.
  16. 오브젝트 오디오 신호의 궤도 정보를 이용하여 상기 오브젝트 오디오 신호를 렌더링하는 단계;
    제1 채널 수를 가지는 오디오 신호를 제2 채널 수를 가지는 오디오 신호로 렌더링하는 단계;
    상기 렌더링된 오브젝트 오디오 신호 및 상기 제2 채널 수를 가지는 오디오 신호를 믹싱하는 단계;를 포함하는 오디오 제공 방법.
  17. 제16항에 있어서,
    상기 오브젝트 오디오 신호를 렌더링하는 단계는,
    상기 오브젝트 오디오 신호의 궤도 정보를 3차원 좌표 정보로 변환하는 단계;
    상기 변환된 3차원 좌표 정보를 바탕으로 거리 제어 정보를 생성하는 단계;
    상기 변환된 3차원 좌표 정보를 바탕으로 뎁스 제어 정보를 생성하는 단계;
    상기 변환된 3차원 좌표 정보를 바탕으로 오브젝트 오디오 신호를 정위시키기 위한 정위 정보를 생성하는 단계; 및
    상기 거리 제어 정보, 뎁스 제어 정보 및 정위 정보를 바탕으로 상기 오브젝트 오디오 신호를 렌더링하는 단계;를 포함하는 것을 특징으로 하는 오디오 제공 방법.
  18. 제17항에 있어서,
    상기 거리 제어 정보를 생성하는 단계는,
    상기 오브젝트 오디오 신호의 거리 게인을 산출하며, 상기 오브젝트 오디오 신호의 거리가 멀수록 상기 오브젝트 오디오 신호의 거리 게인을 감소시키고, 상기 오브젝트 오디오 신호의 거리가 가까울수록 상기 오브젝트 오디오 신호의 거리 게인을 증가시키는 것을 특징으로 하는 오디오 제공 방법.
  19. 제18항에 있어서,
    상기 뎁스 제어 정보를 생성하는 단계는,
    상기 오브젝트 오디오 신호의 수평면상 투영 거리를 바탕으로 뎁스 게인을 획득하며,
    상기 뎁스 게인은,
    네거티브 벡터 및 포지티브 벡터의 합으로 표현되거나 포지티브 벡터 및 널 벡터의 합으로 표현되는 것을 특징으로 하는 오디오 제공 방법.
  20. 제19항에 있어서,
    상기 정위 정보를 생성하는 단계는,
    상기 오디오 제공 장치의 스피커 레이아웃에 따라 상기 오브젝트 오디오 신호를 정위시키기 위한 패닝 게인을 산출하는 것을 특징으로 하는 오디오 제공 방법.
  21. 제20항에 있어서,
    상기 렌더링하는 단계는,
    상기 오브젝트 신호의 거리 게인, 뎁스 게인 및 패닝 게인을 바탕으로 상기 오브젝트 오디오 신호를 멀티 채널로 렌더링하는 것을 특징으로 오디오 제공 방법.
  22. 제17항에 있어서,
    상기 오브젝트 오디오 신호를 렌더링하는 단계는,
    상기 오브젝트 오디오 신호가 복수 개 존재하는 경우, 상기 복수의 오브젝트 오디오 신호 중 상관도를 갖는 오브젝트 사이의 위상 차이를 산출하고, 상기 복수의 오브젝트 오디오 신호 중 하나를 상기 산출된 위상 차이만큼 이동하여 상기 복수의 오브젝트 오디오 신호를 합성하는 것을 특징으로 하는 오디오 제공 단계.
  23. 제16항에 있어서,
    상기 오디오 제공 장치가 동일한 고도를 가지는 복수의 스피커를 이용하여 오디오를 재생하는 경우,
    상기 오브젝트 오디오 신호를 렌더링하는 단계는,
    상기 오브젝트 오디오 신호의 스펙트럼 특성(spectral characteristics)을 보정하여 상기 오브젝트 오디오 신호에 가상 고도 정보를 산출하는 단계;
    상기 가상 필터부에 의해 제공된 가상 고도 정보를 바탕으로 상기 오브젝트 오디오 신호를 렌더링하는 단계;를 포함하는 것을 특징으로 하는 오디오 제공 방법.
  24. 제23항에 있어서,
    상기 산출하는 단계는,
    복수의 단계로 구성된 트리 구조를 이루는 가상 필터를 이용하여 상기 오브젝트 오디오 신호의 가상 고도 정보를 산출하는 것을 특징으로 하는 오디오 제공 방법.
  25. 제16항에 있어서,
    상기 제2 채널 수를 가지는 오디오 신호로 렌더링하는 단계는,
    상기 제1 채널 수를 가지는 오디오 신호의 레이아웃이 2차원인 경우, 상기 제1 채널 수를 가지는 오디오 신호를 상기 제1 채널 수보다 많은 상기 제2 채널 수를 가지는 오디오 신호로 업믹싱하며,
    상기 제2 채널 수를 가지는 오디오 신호의 레이아웃은 상기 제1 채널 수를 가지는 오디오 신호와 상이한 고도 정보를 가지는 3차원인 것을 특징으로 하는 오디오 제공 방법.
  26. 제16항에 있어서,
    상기 제2 채널 수를 가지는 오디오 신호로 렌더링하는 단계는,
    상기 제1 채널 수를 가지는 오디오 신호의 레이아웃이 3차원인 경우, 상기 제1 채널 수를 가지는 오디오 신호를 상기 제1 채널 수보다 적은 상기 제2 채널 수를 가지는 오디오 신호로 다운믹싱하며,
    상기 제2 채널 수를 가지는 오디오 신호의 레이아웃은 복수의 채널이 동일한 고도 성분을 가지는 2차원인 것을 특징으로 하는 오디오 제공 방법.
  27. 제16항에 있어서,
    상기 오브젝트 오디오 신호 및 상기 제1 채널 수를 가지는 오디오 신호 중 적어도 하나는, 특정 프레임에 대해 가상 3차원 렌더링을 수행할지 여부를 결정하는 정보를 포함하는 것을 특징으로 하는 오디오 제공 방법.
PCT/KR2013/011182 2012-12-04 2013-12-04 오디오 제공 장치 및 오디오 제공 방법 Ceased WO2014088328A1 (ko)

Priority Applications (17)

Application Number Priority Date Filing Date Title
KR1020157018083A KR101802335B1 (ko) 2012-12-04 2013-12-04 오디오 제공 장치 및 오디오 제공 방법
MX2017004797A MX368349B (es) 2012-12-04 2013-12-04 Aparato de suministro de audio y metodo de suministro de audio.
CA2893729A CA2893729C (en) 2012-12-04 2013-12-04 Audio providing apparatus and audio providing method
JP2015546386A JP6169718B2 (ja) 2012-12-04 2013-12-04 オーディオ提供装置及びオーディオ提供方法
US14/649,824 US9774973B2 (en) 2012-12-04 2013-12-04 Audio providing apparatus and audio providing method
AU2013355504A AU2013355504C1 (en) 2012-12-04 2013-12-04 Audio providing apparatus and audio providing method
EP13861015.9A EP2930952B1 (en) 2012-12-04 2013-12-04 Audio providing apparatus
MX2015007100A MX347100B (es) 2012-12-04 2013-12-04 Aparato de suministro de audio y método de suministro de audio.
RU2015126777A RU2613731C2 (ru) 2012-12-04 2013-12-04 Устройство предоставления аудио и способ предоставления аудио
CN201380072141.8A CN104969576B (zh) 2012-12-04 2013-12-04 音频提供设备和方法
KR1020177033842A KR102037418B1 (ko) 2012-12-04 2013-12-04 오디오 제공 장치 및 오디오 제공 방법
BR112015013154-9A BR112015013154B1 (pt) 2012-12-04 2013-12-04 Aparelho fornecedor de áudio, e método fornecedor de áudio
SG11201504368VA SG11201504368VA (en) 2012-12-04 2013-12-04 Audio providing apparatus and audio providing method
AU2016238969A AU2016238969B2 (en) 2012-12-04 2016-10-07 Audio providing apparatus and audio providing method
US15/685,730 US10149084B2 (en) 2012-12-04 2017-08-24 Audio providing apparatus and audio providing method
US16/044,587 US10341800B2 (en) 2012-12-04 2018-07-25 Audio providing apparatus and audio providing method
AU2018236694A AU2018236694B2 (en) 2012-12-04 2018-09-24 Audio providing apparatus and audio providing method

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201261732938P 2012-12-04 2012-12-04
US201261732939P 2012-12-04 2012-12-04
US61/732,938 2012-12-04
US61/732,939 2012-12-04

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US14/649,824 A-371-Of-International US9774973B2 (en) 2012-12-04 2013-12-04 Audio providing apparatus and audio providing method
US15/685,730 Continuation US10149084B2 (en) 2012-12-04 2017-08-24 Audio providing apparatus and audio providing method

Publications (1)

Publication Number Publication Date
WO2014088328A1 true WO2014088328A1 (ko) 2014-06-12

Family

ID=50883694

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2013/011182 Ceased WO2014088328A1 (ko) 2012-12-04 2013-12-04 오디오 제공 장치 및 오디오 제공 방법

Country Status (13)

Country Link
US (3) US9774973B2 (ko)
EP (1) EP2930952B1 (ko)
JP (3) JP6169718B2 (ko)
KR (2) KR102037418B1 (ko)
CN (2) CN104969576B (ko)
AU (3) AU2013355504C1 (ko)
BR (1) BR112015013154B1 (ko)
CA (2) CA3031476C (ko)
MX (3) MX347100B (ko)
MY (1) MY172402A (ko)
RU (3) RU2672178C1 (ko)
SG (2) SG11201504368VA (ko)
WO (1) WO2014088328A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016019041A (ja) * 2014-07-04 2016-02-01 日本放送協会 音響信号変換装置、音響信号変換方法、音響信号変換プログラム
WO2016163327A1 (ja) * 2015-04-08 2016-10-13 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
EP3163915A4 (en) * 2014-06-26 2017-12-20 Samsung Electronics Co., Ltd. Method and device for rendering acoustic signal, and computer-readable recording medium
JP2018510532A (ja) * 2015-02-06 2018-04-12 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法
EP2975864B1 (en) * 2014-07-17 2020-05-13 Alpine Electronics, Inc. Signal processing apparatus for a vehicle sound system and signal processing method for a vehicle sound system
JP2021105735A (ja) * 2014-09-30 2021-07-26 ソニーグループ株式会社 受信装置および受信方法

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6174326B2 (ja) * 2013-01-23 2017-08-02 日本放送協会 音響信号作成装置及び音響信号再生装置
US9736609B2 (en) * 2013-02-07 2017-08-15 Qualcomm Incorporated Determining renderers for spherical harmonic coefficients
IL319169A (en) 2013-03-28 2025-04-01 Dolby Laboratories Licensing Corp Transforming audio objects with visible size into arbitrary speaker arrays
WO2014171706A1 (ko) * 2013-04-15 2014-10-23 인텔렉추얼디스커버리 주식회사 가상 객체 생성을 이용한 오디오 신호 처리 방법
US9838823B2 (en) 2013-04-27 2017-12-05 Intellectual Discovery Co., Ltd. Audio signal processing method
EP2879131A1 (en) 2013-11-27 2015-06-03 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Decoder, encoder and method for informed loudness estimation in object-based audio coding systems
EP3075173B1 (en) * 2013-11-28 2019-12-11 Dolby Laboratories Licensing Corporation Position-based gain adjustment of object-based audio and ring-based channel audio
KR20160020377A (ko) 2014-08-13 2016-02-23 삼성전자주식회사 음향 신호를 생성하고 재생하는 방법 및 장치
CN106716525B (zh) * 2014-09-25 2020-10-23 杜比实验室特许公司 下混音频信号中的声音对象插入
EP3286929B1 (en) * 2015-04-20 2019-07-31 Dolby Laboratories Licensing Corporation Processing audio data to compensate for partial hearing loss or an adverse hearing environment
WO2016172254A1 (en) 2015-04-21 2016-10-27 Dolby Laboratories Licensing Corporation Spatial audio signal manipulation
CN106303897A (zh) 2015-06-01 2017-01-04 杜比实验室特许公司 处理基于对象的音频信号
GB2543275A (en) * 2015-10-12 2017-04-19 Nokia Technologies Oy Distributed audio capture and mixing
KR102358283B1 (ko) * 2016-05-06 2022-02-04 디티에스, 인코포레이티드 몰입형 오디오 재생 시스템
US10779106B2 (en) 2016-07-20 2020-09-15 Dolby Laboratories Licensing Corporation Audio object clustering based on renderer-aware perceptual difference
HK1219390A2 (zh) * 2016-07-28 2017-03-31 Sub-Intelligence Robotics (Sir) Corporation (Hong Kong) Limited 终端混音设备
US10979844B2 (en) * 2017-03-08 2021-04-13 Dts, Inc. Distributed audio virtualization systems
US9820073B1 (en) 2017-05-10 2017-11-14 Tls Corp. Extracting a common signal from multiple audio signals
US10602296B2 (en) * 2017-06-09 2020-03-24 Nokia Technologies Oy Audio object adjustment for phase compensation in 6 degrees of freedom audio
KR102409376B1 (ko) * 2017-08-09 2022-06-15 삼성전자주식회사 디스플레이 장치 및 그 제어 방법
CN111133775B (zh) * 2017-09-28 2021-06-08 株式会社索思未来 音响信号处理装置以及音响信号处理方法
JP6431225B1 (ja) * 2018-03-05 2018-11-28 株式会社ユニモト 音響処理装置、映像音響処理装置、映像音響配信サーバおよびそれらのプログラム
BR112020019890A2 (pt) * 2018-04-11 2021-01-05 Dolby International Ab Métodos, aparelho e sistemas para sinal pré-renderizado para renderização de áudio
US11716586B2 (en) 2018-09-28 2023-08-01 Sony Corporation Information processing device, method, and program
JP6678912B1 (ja) * 2019-05-15 2020-04-15 株式会社Ｔｈｄ 拡張サウンドシステム、及び拡張サウンド提供方法
JP7136979B2 (ja) * 2020-08-27 2022-09-13 アルゴリディム ゲー・エム・ベー・ハー オーディオエフェクトを適用するための方法、装置、およびソフトウェア
WO2022179701A1 (en) * 2021-02-26 2022-09-01 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for rendering audio objects
BE1029638B1 (nl) * 2021-07-30 2023-02-27 Areal Werkwijze voor het verwerken van een audiosignaal
US11576005B1 (en) * 2021-07-30 2023-02-07 Meta Platforms Technologies, Llc Time-varying always-on compensation for tonally balanced 3D-audio rendering
CN113889125B (zh) * 2021-12-02 2022-03-04 腾讯科技（深圳）有限公司 音频生成方法、装置、计算机设备和存储介质
TW202348047A (zh) * 2022-03-31 2023-12-01 瑞典商都比國際公司 用於沉浸式3自由度/6自由度音訊呈現的方法和系統

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20080094775A (ko) * 2006-02-07 2008-10-24 엘지전자 주식회사 부호화/복호화 장치 및 방법
KR20090053958A (ko) * 2006-10-16 2009-05-28 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 멀티 채널 파라미터 변환 장치 및 방법
US20090225991A1 (en) * 2005-05-26 2009-09-10 Lg Electronics Method and Apparatus for Decoding an Audio Signal
WO2011095913A1 (en) * 2010-02-02 2011-08-11 Koninklijke Philips Electronics N.V. Spatial sound reproduction
US20120294449A1 (en) * 2006-02-03 2012-11-22 Electronics And Telecommunications Research Institute Method and apparatus for control of randering multiobject or multichannel audio signal using spatial cue

Family Cites Families (55)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5228085A (en) * 1991-04-11 1993-07-13 Bose Corporation Perceived sound
JPH07222299A (ja) 1994-01-31 1995-08-18 Matsushita Electric Ind Co Ltd 音像移動処理編集装置
JPH0922299A (ja) 1995-07-07 1997-01-21 Kokusai Electric Co Ltd 音声符号化通信方式
JPH11220800A (ja) 1998-01-30 1999-08-10 Onkyo Corp 音像移動方法及びその装置
DE69924896T2 (de) 1998-01-23 2005-09-29 Onkyo Corp., Neyagawa Vorrichtung und Verfahren zur Schallbildlokalisierung
MXPA03007064A (es) * 2001-02-07 2004-05-24 Dolby Lab Licensing Corp Conversion de canales de audio.
US7508947B2 (en) * 2004-08-03 2009-03-24 Dolby Laboratories Licensing Corporation Method for combining audio signals using auditory scene analysis
US7283634B2 (en) * 2004-08-31 2007-10-16 Dts, Inc. Method of mixing audio channels using correlated outputs
JP4556646B2 (ja) 2004-12-02 2010-10-06 ソニー株式会社 図形情報生成装置、画像処理装置、情報処理装置、および図形情報生成方法
WO2007089129A1 (en) 2006-02-03 2007-08-09 Electronics And Telecommunications Research Institute Apparatus and method for visualization of multichannel audio signals
BRPI0708047A2 (pt) * 2006-02-09 2011-05-17 Lg Eletronics Inc método para codificar e decodificar sinal de áudio com base em objeto e equipamento para o mesmo
FR2898725A1 (fr) 2006-03-15 2007-09-21 France Telecom Dispositif et procede de codage gradue d'un signal audio multi-canal selon une analyse en composante principale
US9014377B2 (en) * 2006-05-17 2015-04-21 Creative Technology Ltd Multichannel surround format conversion and generalized upmix
US7756281B2 (en) 2006-05-20 2010-07-13 Personics Holdings Inc. Method of modifying audio content
US9565509B2 (en) * 2006-10-16 2017-02-07 Dolby International Ab Enhanced coding and parameter representation of multichannel downmixed object coding
WO2008069596A1 (en) 2006-12-07 2008-06-12 Lg Electronics Inc. A method and an apparatus for processing an audio signal
EP2595152A3 (en) 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Transkoding apparatus
US8270616B2 (en) 2007-02-02 2012-09-18 Logitech Europe S.A. Virtual surround for headphones and earbuds headphone externalization system
MX2008013073A (es) 2007-02-14 2008-10-27 Lg Electronics Inc Metodos y aparatos para codificar y decodificar señales de audio basadas en objeto.
US9015051B2 (en) 2007-03-21 2015-04-21 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Reconstruction of audio channels with direction parameters indicating direction of origin
US8290167B2 (en) * 2007-03-21 2012-10-16 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Method and apparatus for conversion between multi-channel audio formats
EP3712888B1 (en) * 2007-03-30 2024-05-08 Electronics and Telecommunications Research Institute Apparatus and method for coding and decoding multi object audio signal with multi channel
KR101453732B1 (ko) * 2007-04-16 2014-10-24 삼성전자주식회사 스테레오 신호 및 멀티 채널 신호 부호화 및 복호화 방법및 장치
AU2008243406B2 (en) * 2007-04-26 2011-08-25 Dolby International Ab Apparatus and method for synthesizing an output signal
KR20090022464A (ko) 2007-08-30 2009-03-04 엘지전자 주식회사 오디오 신호 처리 시스템
WO2009084916A1 (en) * 2008-01-01 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing an audio signal
WO2009084917A1 (en) 2008-01-01 2009-07-09 Lg Electronics Inc. A method and an apparatus for processing an audio signal
US8483411B2 (en) 2008-01-01 2013-07-09 Lg Electronics Inc. Method and an apparatus for processing a signal
EP2146522A1 (en) 2008-07-17 2010-01-20 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for generating audio output signals using object based metadata
EP2154911A1 (en) 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. An apparatus for determining a spatial output multi-channel audio signal
EP2175670A1 (en) * 2008-10-07 2010-04-14 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Binaural rendering of a multi-channel audio signal
KR20100065121A (ko) 2008-12-05 2010-06-15 엘지전자 주식회사 오디오 신호 처리 방법 및 장치
EP2194526A1 (en) 2008-12-05 2010-06-09 Lg Electronics Inc. A method and apparatus for processing an audio signal
EP2214162A1 (en) 2009-01-28 2010-08-04 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Upmixer, method and computer program for upmixing a downmix audio signal
GB2467534B (en) 2009-02-04 2014-12-24 Richard Furse Sound system
JP5564803B2 (ja) 2009-03-06 2014-08-06 ソニー株式会社 音響機器及び音響処理方法
US8666752B2 (en) 2009-03-18 2014-03-04 Samsung Electronics Co., Ltd. Apparatus and method for encoding and decoding multi-channel signal
US20100324915A1 (en) 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
US20110087494A1 (en) 2009-10-09 2011-04-14 Samsung Electronics Co., Ltd. Apparatus and method of encoding audio signal by switching frequency domain transformation scheme and time domain transformation scheme
WO2011054876A1 (en) * 2009-11-04 2011-05-12 Fraunhofer-Gesellschaft Zur Förderungder Angewandten Forschung E.V. Apparatus and method for calculating driving coefficients for loudspeakers of a loudspeaker arrangement for an audio signal associated with a virtual source
EP2323130A1 (en) 2009-11-12 2011-05-18 Koninklijke Philips Electronics N.V. Parametric encoding and decoding
KR101690252B1 (ko) 2009-12-23 2016-12-27 삼성전자주식회사 신호 처리 방법 및 장치
JP5417227B2 (ja) * 2010-03-12 2014-02-12 日本放送協会 マルチチャンネル音響信号のダウンミックス装置及びプログラム
JP2011211312A (ja) * 2010-03-29 2011-10-20 Panasonic Corp 音像定位処理装置及び音像定位処理方法
CN102222503B (zh) 2010-04-14 2013-08-28 华为终端有限公司 一种音频信号的混音处理方法、装置及系统
CN102270456B (zh) * 2010-06-07 2012-11-21 华为终端有限公司 一种音频信号的混音处理方法及装置
KR20120004909A (ko) 2010-07-07 2012-01-13 삼성전자주식회사 입체 음향 재생 방법 및 장치
JP5658506B2 (ja) 2010-08-02 2015-01-28 日本放送協会 音響信号変換装置及び音響信号変換プログラム
JP5826996B2 (ja) * 2010-08-30 2015-12-02 日本放送協会 音響信号変換装置およびそのプログラム、ならびに、３次元音響パンニング装置およびそのプログラム
US20120093323A1 (en) 2010-10-14 2012-04-19 Samsung Electronics Co., Ltd. Audio system and method of down mixing audio signals using the same
KR20120038891A (ko) 2010-10-14 2012-04-24 삼성전자주식회사 오디오 시스템 및 그를 이용한 오디오 신호들의 다운 믹싱 방법
US20120155650A1 (en) * 2010-12-15 2012-06-21 Harman International Industries, Incorporated Speaker array for virtual surround rendering
EP2661907B8 (en) 2011-01-04 2019-08-14 DTS, Inc. Immersive audio rendering system
TWI651005B (zh) * 2011-07-01 2019-02-11 杜比實驗室特許公司 用於適應性音頻信號的產生、譯碼與呈現之系統與方法
IL319169A (en) * 2013-03-28 2025-04-01 Dolby Laboratories Licensing Corp Transforming audio objects with visible size into arbitrary speaker arrays

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090225991A1 (en) * 2005-05-26 2009-09-10 Lg Electronics Method and Apparatus for Decoding an Audio Signal
US20120294449A1 (en) * 2006-02-03 2012-11-22 Electronics And Telecommunications Research Institute Method and apparatus for control of randering multiobject or multichannel audio signal using spatial cue
KR20080094775A (ko) * 2006-02-07 2008-10-24 엘지전자 주식회사 부호화/복호화 장치 및 방법
KR20090053958A (ko) * 2006-10-16 2009-05-28 프라운호퍼-게젤샤프트 츄어 푀르더룽 데어 안게반텐 포르슝에.파우. 멀티 채널 파라미터 변환 장치 및 방법
WO2011095913A1 (en) * 2010-02-02 2011-08-11 Koninklijke Philips Electronics N.V. Spatial sound reproduction

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3163915A4 (en) * 2014-06-26 2017-12-20 Samsung Electronics Co., Ltd. Method and device for rendering acoustic signal, and computer-readable recording medium
JP2016019041A (ja) * 2014-07-04 2016-02-01 日本放送協会 音響信号変換装置、音響信号変換方法、音響信号変換プログラム
EP2975864B1 (en) * 2014-07-17 2020-05-13 Alpine Electronics, Inc. Signal processing apparatus for a vehicle sound system and signal processing method for a vehicle sound system
JP7310849B2 (ja) 2014-09-30 2023-07-19 ソニーグループ株式会社 受信装置および受信方法
JP2021105735A (ja) * 2014-09-30 2021-07-26 ソニーグループ株式会社 受信装置および受信方法
US11871078B2 (en) 2014-09-30 2024-01-09 Sony Corporation Transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items
US12283282B2 (en) 2014-09-30 2025-04-22 Sony Group Corporation Transmission apparatus, transmission method, reception apparatus and reception method for transmitting a plurality of types of audio data items
JP2018510532A (ja) * 2015-02-06 2018-04-12 ドルビー ラボラトリーズ ライセンシング コーポレイション 適応オーディオ・コンテンツのためのハイブリッドの優先度に基づくレンダリング・システムおよび方法
US11190893B2 (en) 2015-02-06 2021-11-30 Dolby Laboratories Licensing Corporation Methods and systems for rendering audio based on priority
US11765535B2 (en) 2015-02-06 2023-09-19 Dolby Laboratories Licensing Corporation Methods and systems for rendering audio based on priority
US10477269B2 (en) 2015-04-08 2019-11-12 Sony Corporation Transmission apparatus, transmission method, reception apparatus, and reception method
JPWO2016163327A1 (ja) * 2015-04-08 2018-02-01 ソニー株式会社 送信装置、送信方法、受信装置および受信方法
WO2016163327A1 (ja) * 2015-04-08 2016-10-13 ソニー株式会社 送信装置、送信方法、受信装置および受信方法

Also Published As

Publication number Publication date
MX347100B (es) 2017-04-12
JP2020025348A (ja) 2020-02-13
AU2013355504C1 (en) 2016-12-15
MX2015007100A (es) 2015-09-29
CA3031476C (en) 2021-03-09
EP2930952A4 (en) 2016-09-14
US20180007483A1 (en) 2018-01-04
CN107690123B (zh) 2021-04-02
CN104969576B (zh) 2017-11-14
MX2019011755A (es) 2019-12-02
CA2893729A1 (en) 2014-06-12
SG10201709574WA (en) 2018-01-30
AU2016238969B2 (en) 2018-06-28
JP6843945B2 (ja) 2021-03-17
BR112015013154A2 (pt) 2017-07-11
CN104969576A (zh) 2015-10-07
EP2930952A1 (en) 2015-10-14
KR101802335B1 (ko) 2017-11-28
RU2695508C1 (ru) 2019-07-23
BR112015013154B1 (pt) 2022-04-26
RU2613731C2 (ru) 2017-03-21
EP2930952B1 (en) 2021-04-07
JP2016503635A (ja) 2016-02-04
US10149084B2 (en) 2018-12-04
KR20150100721A (ko) 2015-09-02
US9774973B2 (en) 2017-09-26
AU2018236694B2 (en) 2019-11-28
JP2017201815A (ja) 2017-11-09
KR20170132902A (ko) 2017-12-04
RU2672178C1 (ru) 2018-11-12
CA3031476A1 (en) 2014-06-12
CN107690123A (zh) 2018-02-13
KR102037418B1 (ko) 2019-10-28
US20180359586A1 (en) 2018-12-13
AU2018236694A1 (en) 2018-10-18
AU2016238969A1 (en) 2016-11-03
RU2015126777A (ru) 2017-01-13
CA2893729C (en) 2019-03-12
AU2013355504B2 (en) 2016-07-07
MX368349B (es) 2019-09-30
MY172402A (en) 2019-11-23
SG11201504368VA (en) 2015-07-30
US10341800B2 (en) 2019-07-02
AU2013355504A1 (en) 2015-07-23
US20150350802A1 (en) 2015-12-03
JP6169718B2 (ja) 2017-07-26

Similar Documents

Publication Publication Date Title
WO2014088328A1 (ko) 오디오 제공 장치 및 오디오 제공 방법
WO2011115430A2 (ko) 입체 음향 재생 방법 및 장치
WO2015156654A1 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2014157975A1 (ko) 오디오 장치 및 이의 오디오 제공 방법
WO2013019022A2 (en) Method and apparatus for processing audio signal
WO2015152665A1 (ko) 오디오 신호 처리 방법 및 장치
WO2016089180A1 (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
WO2015142073A1 (ko) 오디오 신호 처리 방법 및 장치
WO2018147701A1 (ko) 오디오 신호 처리 방법 및 장치
WO2011139090A2 (en) Method and apparatus for reproducing stereophonic sound
WO2014175669A1 (ko) 음상 정위를 위한 오디오 신호 처리 방법
WO2019004524A1 (ko) 6자유도 환경에서 오디오 재생 방법 및 오디오 재생 장치
WO2019031652A1 (ko) 3차원 오디오 재생 방법 및 재생 장치
WO2015147435A1 (ko) 오디오 신호 처리 시스템 및 방법
US11849301B2 (en) Information processing apparatus and method, and program
WO2015152661A1 (ko) 오디오 오브젝트를 렌더링하는 방법 및 장치
WO2018012727A1 (ko) 디스플레이장치와, 기록매체
WO2016114432A1 (ko) 영상 정보에 기초하여 음향을 처리하는 방법, 및 그에 따른 디바이스
WO2015060696A1 (ko) 입체 음향 재생 방법 및 장치
WO2019147040A1 (ko) 스테레오 오디오를 바이노럴 오디오로 업 믹스하는 방법 및 이를 위한 장치
WO2016204579A1 (ko) 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
WO2019013400A1 (ko) 비디오 화면 줌에 연동되는 오디오 출력 방법 및 출력 장치
WO2020096406A1 (ko) 사운드 생성 방법 및 이를 수행하는 장치들
WO2014171791A1 (ko) 다채널 오디오 신호 처리 장치 및 방법
WO2024014711A1 (ko) 녹음 거리 파라미터 기반 오디오 렌더링 방법 및 이를 수행하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13861015

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2893729

Country of ref document: CA

Ref document number: 2015546386

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14649824

Country of ref document: US

Ref document number: MX/A/2015/007100

Country of ref document: MX

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: IDP00201504108

Country of ref document: ID

Ref document number: 2013861015

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2015126777

Country of ref document: RU

Kind code of ref document: A

Ref document number: 20157018083

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2013355504

Country of ref document: AU

Date of ref document: 20131204

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112015013154

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112015013154

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20150605