[go: up one dir, main page]

WO2016089180A1 - 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법 - Google Patents

바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법 Download PDF

Info

Publication number
WO2016089180A1
WO2016089180A1 PCT/KR2015/013277 KR2015013277W WO2016089180A1 WO 2016089180 A1 WO2016089180 A1 WO 2016089180A1 KR 2015013277 W KR2015013277 W KR 2015013277W WO 2016089180 A1 WO2016089180 A1 WO 2016089180A1
Authority
WO
WIPO (PCT)
Prior art keywords
ipsilateral
audio signal
hrtf
transfer function
contralateral
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2015/013277
Other languages
English (en)
French (fr)
Inventor
오현오
이태규
백용현
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Gaudio Lab Inc
Original Assignee
Gaudi Audio Lab Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Gaudi Audio Lab Inc filed Critical Gaudi Audio Lab Inc
Priority to CN201580065738.9A priority Critical patent/CN107005778B/zh
Priority to EP15865594.4A priority patent/EP3229498B1/en
Priority to JP2017549156A priority patent/JP6454027B2/ja
Priority to ES15865594T priority patent/ES2936834T3/es
Publication of WO2016089180A1 publication Critical patent/WO2016089180A1/ko
Priority to US15/611,783 priority patent/US9961466B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/301—Automatic calibration of stereophonic sound system, e.g. with test microphone
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/008—Systems employing more than two channels, e.g. quadraphonic in which the audio signals are in digital form, i.e. employing more than two discrete digital channels
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S1/00—Two-channel systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S5/00—Pseudo-stereo systems, e.g. in which additional channel signals are derived from monophonic signals by means of phase shifting, time delay or reverberation 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2499/00—Aspects covered by H04R or H04S not otherwise provided for in their subgroups
    • H04R2499/10—General applications
    • H04R2499/15—Transducers incorporated in visual displaying devices, e.g. televisions, computer displays, laptops
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R5/00—Stereophonic arrangements
    • H04R5/033—Headphones for stereophonic communication
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/13—Aspects of volume control, not necessarily automatic, in stereophonic sound systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/01—Enhancing the perception of the sound image or of the spatial distribution using head related transfer functions [HRTF's] or equivalents thereof, e.g. interaural time difference [ITD] or interaural level difference [ILD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/07—Synergistic effects of band splitting and sub-band processing

Definitions

  • the present invention relates to an audio signal processing apparatus and an audio signal processing method for performing binaural rendering.
  • 3D audio is a series of signal processing, transmission, encoding, and playback methods for providing a realistic sound in three-dimensional space by providing another axis corresponding to the height direction to a sound scene on a horizontal plane (2D) provided by conventional surround audio. Also known as technology.
  • a rendering technique is required in which a sound image is formed at a virtual position in which no speaker exists even if a larger number of speakers or a smaller number of speakers are used.
  • 3D audio will be an audio solution for Ultra High Definition Television (UHDTV) and is expected to be used in a variety of applications and devices.
  • UHDTV Ultra High Definition Television
  • a sound source provided to 3D audio, there may be a channel-based signal and an object-based signal.
  • a sound source in which a channel-based signal and an object-based signal are mixed, thereby providing a user with a new type of listening experience.
  • Binaural rendering is the processing that models the input audio signal as a signal delivered to both ears of a person.
  • the user can feel a stereoscopic sound by listening to a binaural rendered 2-channel output audio signal through headphones or earphones. Therefore, if 3D audio can be modeled in the form of an audio signal transmitted to both ears of a human, a stereoscopic sense of 3D audio can be reproduced through a 2-channel output audio signal.
  • An object of the present invention is to provide an audio signal processing apparatus and method for performing binaural rendering.
  • an object of the present invention is to perform efficient binaural rendering of an object signal and a channel signal of 3D audio.
  • an object of the present invention is to implement an immersive binaural rendering of an audio signal of virtual reality (VR) content.
  • VR virtual reality
  • the present invention provides an audio signal processing method and an audio signal processing apparatus as follows.
  • an audio signal processing apparatus for performing binaural filtering on an input audio signal, comprising: generating a first side output signal by filtering the input audio signal with a first side transfer function; 1 filtering unit; And a second filtering unit configured to filter the input audio signal with a second side transfer function to generate a second side output signal.
  • the first side transfer function and the second side transfer function may include an interaural transfer function obtained by dividing a first side HRTF (Head Related Transfer Function) for the input audio signal by a second side HRTF.
  • An apparatus for processing audio signals generated by modifying ITF is provided.
  • the first side transfer function and the second side transfer function are generated by modifying the ITF based on a notch component of at least one of a first side HRTF and a second side HRTF for the input audio signal.
  • the first side transfer function is generated based on a notch component extracted from the first side HRTF
  • the second side transfer function is an envelope extracted from the first side HRTF. Generated based on the division by the (envelope) component.
  • the first side transfer function is generated based on a notch component extracted from the first side HRTF
  • the second side transfer function is a first having the second side HRTF different from the input audio signal. It is generated based on the value divided by the envelope component extracted from the side HRTF.
  • the first side HRTF having the other direction is a first side HRTF having the same azimuth angle as the input audio signal and having an elevation angle of zero.
  • the first side transfer function is a Finite Impulse Response (FIR) filter coefficient or an Infinite Impulse Response (IIR) filter coefficient generated using the notch component of the first side HRTF.
  • FIR Finite Impulse Response
  • IIR Infinite Impulse Response
  • the second side transfer function is a bilateral parameter generated based on an envelope component of a first side HRTF and an envelope component of a second side HRTF for the input audio signal and a notch component of the second side HRTF.
  • Impulse response (IR) filter coefficients generated based on the first side transfer function including IR filter coefficients generated based on the notch components of the first side HRTF.
  • the bilateral parameters include interaural level differences (ILD) and interaural time differences (ITD).
  • an audio signal processing apparatus for performing binaural filtering on an input audio signal, the ipsilateral filtering unit generating an ipsilateral output signal by filtering the input audio signal with an ipsilateral transfer function ; And a contralateral filter for filtering the input audio signal with a contralateral transfer function to generate a contralateral output signal.
  • the ipsilateral and contralateral transfer function is provided based on a different transfer function in the first frequency band and the second frequency band is provided.
  • the ipsilateral and contralateral transfer functions of the first frequency band are generated based on an interaural transfer function (ITF), the ITF confronting an ipsilateral Head Related Transfer Function (HRTF) for the input audio signal. Generated based on division by HRTF.
  • ITF interaural transfer function
  • HRTF Head Related Transfer Function
  • the ipsilateral and contralateral transfer functions of the first frequency band are ipsilateral HRTF and contralateral HRTF for the input audio signal.
  • the ipsilateral and contralateral transfer functions of the second frequency band different from the first frequency band are generated based on a modified interaural transfer function (MITF), the MITF being ipsilateral to the input audio signal.
  • the bilateral transfer function (ITF) is generated by modifying the notch component of at least one of the HRTF and the contralateral HRTF.
  • the ipsilateral transfer function of the second frequency band is generated based on a notch component extracted from the ipsilateral HRTF, and the contralateral transfer function of the second frequency band is an envelope extracted from the ipsilateral HRTF. Generated based on the division by component.
  • the ipsilateral and contralateral transfer functions of the first frequency band may include an ILD (Interaural Level Difference), an Interaural Time Difference (ITD), an Interaural Phase Difference (IPD), for each frequency band of the ipsilateral HRTF and the contralateral HRTF for the input audio signal. It is generated based on the information extracted from at least one of the interaural coherence (IC).
  • ILD Interaural Level Difference
  • IPD Interaural Phase Difference
  • IC interaural coherence
  • the transfer function of the first frequency band and the second frequency band is generated based on information extracted from the same ipsilateral and contralateral HRTF.
  • the first frequency band is a lower frequency band than the second frequency band.
  • the ipsilateral and contralateral transfer functions of the first frequency band are generated based on a first transfer function
  • the ipsilateral and contralateral transfer functions of a second frequency band different from the first frequency band are generated based on a second transfer function
  • the ipsilateral and contralateral transfer functions of the third frequency band between the first and second frequency bands are generated based on a linear combination of the first transfer function and the second transfer function.
  • an audio signal processing method for performing binaural filtering on an input audio signal comprising: receiving an input audio signal; Filtering the input audio signal with an ipsilateral transfer function to generate an ipsilateral output signal; And filtering the input audio signal with a contralateral transfer function to generate a contralateral output signal.
  • the ipsilateral and contralateral transfer function is provided based on a different transfer function in the first frequency band and the second frequency band is provided.
  • an audio signal processing method for performing binaural filtering on an input audio signal comprising: receiving an input audio signal; Filtering the input audio signal with a first side transfer function to generate a first side output signal; And filtering the input audio signal with a second side transfer function to generate a second side output signal.
  • the first side transfer function and the second side transfer function may include an interaural transfer function obtained by dividing a first side HRTF (Head Related Transfer Function) for the input audio signal by a second side HRTF.
  • An audio signal processing method generated by modifying ITF is provided.
  • the binaural rendering process reflecting the movement of the user or the object is possible through efficient operation.
  • FIG. 1 is a block diagram showing an audio signal processing apparatus according to an embodiment of the present invention.
  • FIG. 2 is a block diagram illustrating a binaural renderer according to an exemplary embodiment of the present invention.
  • FIG. 3 is a block diagram illustrating a direction renderer according to an embodiment of the present invention.
  • FIG. 4 is a diagram illustrating a modified ITF generation method according to an embodiment of the present invention.
  • FIG. 5 illustrates a MITF generation method according to another embodiment of the present invention.
  • FIG. 6 is a view showing a binaural parameter generating method according to another embodiment of the present invention.
  • FIG. 7 is a block diagram illustrating a direction renderer according to another embodiment of the present invention.
  • FIG. 8 illustrates a MITF generation method according to another embodiment of the present invention.
  • the audio signal processing apparatus 10 may include a binaural renderer 100, a binaural parameter controller 200, and a personalizer 300.
  • the binaural renderer 100 receives the input audio and performs binaural rendering to generate the two-channel output audio signals L and R.
  • the input audio signal of the binaural renderer 100 may include at least one of an object signal and a channel signal.
  • the input audio signal may be one object signal or a mono signal, or may be a multi-object or multi-channel signal.
  • the binaural renderer 100 when the binaural renderer 100 includes a separate decoder, the input signal of the binaural renderer 100 may be an encoded bitstream of the audio signal.
  • the output audio signal of the binaural renderer 100 is a binaural signal, and is a two-channel audio signal such that each input object / channel signal is represented by a virtual sound source located in three dimensions.
  • the binaural rendering is performed based on the binaural parameter provided from the binaural parameter controller 200 and may be performed in the time domain or the frequency domain. As described above, the binaural renderer 100 performs binaural rendering on various types of input signals to generate 3D audio headphone signals (ie, 3D audio 2-channel signals).
  • post processing on the output audio signal of the binaural renderer 100 may be further performed.
  • Post processing may include crosstalk rejection, dynamic range control (DRC), loudness normalization, peak limiting, and the like.
  • Post processing may also include frequency / time domain conversion for the output audio signal of the binaural renderer 100.
  • the audio signal processing apparatus 10 may include a separate post processing unit that performs post processing, and according to another embodiment, the post processing unit may be included in the binaural renderer 100.
  • the binaural parameter controller 200 generates a binaural parameter for binaural rendering and transmits the binaural parameter to the binaural renderer 100.
  • the binaural parameter to be transmitted includes an ipsilateral transfer function and a contralateral transfer function as in various embodiments to be described later.
  • the transfer function may include a head related transfer function (HRTF), an interaural transfer function (ITF), a modified ITF (MITF), a binaural room transfer function (BRTF), a room impulse response (RIR), a binaural room impulse response (BRIR), and a HRIR. (Head Related Impulse Response) and its modified and edited data may be included, but the present invention is not limited thereto.
  • the transfer function may be measured in an anechoic chamber and may include information on an HRTF estimated by simulation.
  • the simulation techniques used to estimate the HRTF include the spherical head model (SHM), the snowman model, the finite-difference time-domain method (FDTDM), and the boundary element method. Method, BEM) may be at least one.
  • SHM spherical head model
  • snowman model the finite-difference time-domain method
  • BEM boundary element method
  • BEM boundary element method
  • the Snowman model represents a simulation technique that simulates assuming head and torso as spheres.
  • the binaural parameter controller 200 may obtain the transfer function from a database (not shown), and may receive a personalized transfer function from the personalizer 300.
  • the transfer function is assumed to be a fast Fourier transform of the impulse response (IR), but the method of transformation in the present invention is not limited thereto. That is, according to an embodiment of the present invention, the transformation method includes a QMF (Quadratic Mirror Filterbank), Discrete Cosine Transform (DCT), Discrete Sine Transform (DST), Wavelet and the like.
  • QMF Quadrattic Mirror Filterbank
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • the binaural parameter controller 200 generates an ipsilateral transfer function and a contralateral transfer function, and transfers the generated transfer function to the binaural renderer 100.
  • the ipsilateral transfer function and the contralateral transfer function may be generated by modifying the ipsilateral prototype transfer function and the contralateral prototype transfer function, respectively.
  • the binaural parameter may further include an interaural level difference (ILD), an interaural time difference (ITD), a finite impulse response (FIR) filter coefficient, an infinite impulse response (IFR) filter coefficient, and the like.
  • ILD and ITD may also be referred to as bilateral parameters.
  • the transfer function is used as a term interchangeable with the filter coefficients.
  • the circular transfer function is used in terms interchangeable with the circular filter coefficients.
  • the ipsilateral transfer function and the contralateral transfer function may represent the ipsilateral filter coefficient and the contralateral filter coefficient, respectively, and the ipsilateral circular transfer function and the contralateral circular transfer function may each represent the ipsilateral circular filter coefficient and the contralateral circular filter coefficient.
  • the binaural parameter controller 200 may generate the binaural parameter based on the personalized information obtained from the personalizer 300.
  • the personalizer 300 obtains additional information for applying different binaural parameters according to a user, and provides a binaural transfer function determined based on the obtained additional information.
  • the personalizer 300 may select from the database a binaural transfer function (eg, a personalized HRTF) for the user based on the user's physical characteristic information.
  • the physical characteristic information may include information such as the shape and size of the auricle, the shape of the ear canal, the size and type of the skull, the body shape, and the weight.
  • the personalizer 300 provides the determined binaural transfer function to the binaural renderer 100 and / or the binaural parameter controller 200.
  • the binaural renderer 100 may perform binaural rendering of the input audio signal by using a binaural transfer function provided by the personalizer 300.
  • the binaural parameter controller 200 generates a binaural parameter by using a binaural transfer function provided by the personalizer 300 and converts the generated binaural parameter into a binaural renderer. 100).
  • the binaural renderer 100 performs binaural rendering on the input audio signal based on the binaural parameter obtained from the binaural parameter controller 200.
  • the audio signal processing apparatus 10 of the present invention may further include an additional configuration in addition to the configuration shown in FIG. 1.
  • the personalizer 300 illustrated in FIG. 1 may be omitted in the audio signal processing apparatus 10.
  • the binaural renderer 100 includes a direction renderer 120 and a distance renderer 140.
  • the audio signal processing apparatus may represent the binaural renderer 100 of FIG. 2 or may indicate a direction renderer 120 or a distance renderer 140 as a component thereof.
  • the audio signal processing apparatus in a broad sense may refer to the audio signal processing apparatus 10 of FIG. 1 including the binaural renderer 100.
  • the direction renderer 120 performs direction rendering for localizing a sound source direction of an input audio signal.
  • the sound source may represent an audio object corresponding to the object signal or a loud speaker corresponding to the channel signal.
  • the direction renderer 120 performs a direction rendering by applying a binaural cue, that is, a direction cue, to the input audio signal to identify the direction of the sound source based on the listener.
  • the direction queue includes a level difference of both ears, a phase difference between the ears, a spectral envelope, a spectral notch, a peak, and the like.
  • the direction renderer 120 may perform binaural rendering using binaural parameters such as an ipsilateral transfer function and a contralateral transfer function.
  • the distance renderer 140 performs distance rendering reflecting the effect of the sound source distance of the input audio signal.
  • the distance renderer 140 performs distance rendering by applying a distance cue to an input audio signal to identify a distance of a sound source based on the listener.
  • the distance rendering may reflect a change in sound intensity and spectral shaping according to a change in distance of a sound source to the input audio signal.
  • the distance renderer 140 may perform different processing based on whether the distance of the sound source is less than or equal to a preset threshold. If the distance of the sound source exceeds the preset threshold, the sound intensity inversely proportional to the distance of the sound source may be applied with respect to the listener's head. However, when the distance of the sound source is less than or equal to the preset threshold, a separate distance rendering may be performed based on the distance of the sound source measured based on each of the listener's ears.
  • the binaural renderer 100 performs at least one of a direction rendering and a distance rendering on the input signal to generate a binaural output signal.
  • the binaural renderer 100 may sequentially perform direction rendering and distance rendering on the input signal, and may perform processing in which direction rendering and distance rendering are integrated.
  • the term binaural rendering or binaural filtering may be used as a concept including all of direction rendering, distance rendering, and a combination thereof.
  • the binaural renderer 100 may first perform direction rendering on the input audio signal to obtain two channels of output signals, i.e., the ipsilateral output signal D ⁇ I and the contralateral output signal D ⁇ C. .
  • the binaural renderer 100 may generate the binaural output signals B ⁇ I and B ⁇ C by performing distance rendering on two output signals D ⁇ I and D ⁇ C.
  • the input signal of the direction renderer 120 is an object signal and / or a channel signal
  • the input signal of the distance renderer 140 is a two-channel signal D ⁇ I and D ⁇ C in which the direction rendering is performed as a preprocessing step.
  • the binaural renderer 100 may first perform distance rendering on the input audio signal to obtain two channels of output signals, i.e., the ipsilateral output signal d ⁇ I and the contralateral output signal d ⁇ C. .
  • the binaural renderer 100 may generate the binaural output signals B ⁇ I and B ⁇ C by performing direction rendering on the output signals d ⁇ I and d ⁇ C of two channels.
  • the input signal of the distance renderer 140 is an object signal and / or a channel signal
  • the input signal of the direction renderer 120 is a two-channel signal d ⁇ I and d ⁇ C in which distance rendering is performed as a preprocessing step.
  • the direction renderer 120-1 includes an ipsilateral filtering unit 122a and a contralateral filtering unit 122b.
  • the direction renderer 120-1 receives a binaural parameter including an ipsilateral transfer function and a contralateral transfer function, and filters the input audio signal with the received binaural parameter to generate an ipsilateral output signal and a contralateral output signal. That is, the ipsilateral filtering unit 122a filters the input audio signal with an ipsilateral transfer function to generate an ipsilateral output signal, and the contralateral filtering unit 122b filters the input audio signal with a contralateral transfer function to generate a contralateral output signal.
  • the ipsilateral transfer function and the contralateral transfer function may be ipsilateral HRTF and contralateral HRTF, respectively. That is, the direction renderer 120-1 may obtain a binaural signal in a corresponding direction by convolving the input audio signal with HRTF for both ears.
  • the ipsilateral / contralateral filtering units 122a and 122b may represent left / right channel filtering units or right / left channel filtering units, respectively. If the sound source of the input audio signal is located on the left side of the listener, the ipsilateral filtering unit 122a generates a left channel output signal, and the contralateral filtering unit 122b generates a right channel output signal. However, when the sound source of the input audio signal is located on the right side of the listener, the ipsilateral filtering unit 122a generates the right channel output signal, and the contralateral filtering unit 122b generates the left channel output signal. As such, the direction renderer 120-1 may generate two channels of left and right output signals by performing ipsilateral and contralateral filtering.
  • the direction renderer 120-1 may use an interaural transfer function (ITF), a modified amount instead of an HRTF, to prevent the characteristic of the anechoic chamber from being reflected in the binaural signal.
  • ITF interaural transfer function
  • the input audio signal may be filtered using a liver transfer function (Modified ITF, MITF) or a combination thereof.
  • MITF liver transfer function
  • the direction renderer 120-1 may filter the input audio signal using the ITF.
  • ITF may be defined as a transfer function obtained by dividing the contralateral HRTF by the ipsilateral HRTF as shown in Equation 1 below.
  • H_I (k) is the ipsilateral HRTF of frequency k
  • H_C (k) is the contralateral HRTF of frequency k
  • I_I (k) is the ipsilateral ITF of frequency k
  • I_C (k) is the contralateral frequency k Represents an ITF.
  • the value of I_I (k) at each frequency k is defined as 1 (that is, 0 dB), and I_C (k) converts H_C (k) of the corresponding frequency k into H_I (k). It is defined as the divided value.
  • the ipsilateral filter 122a of the direction renderer 120-1 filters the input audio signal with the ipsilateral ITF to generate an ipsilateral output signal, and the contralateral filter 122b filters the input audio signal with the contralateral ITF to produce the contralateral output signal.
  • the ipsilateral filtering unit 122a performs filtering on the input audio signal. You can bypass it. In this way, ipsilateral filtering is bypassed and binaural rendering using the ITF may be performed by performing the contralateral filtering on the input audio signal with the contralateral ITF.
  • the direction renderer 120-1 may obtain the gain of the calculation amount by omitting the calculation of the ipsilateral filtering unit 122a.
  • ITF is a function representing the difference between the ipsilateral prototype transfer function and the contralateral prototype transfer function, and the listener can perceive the sense of direction by the difference between the transfer functions of the bilateral liver.
  • I_C (k) may be defined as 1
  • I_I (k) may be defined as a value obtained by dividing H_I (k) of the corresponding frequency k by H_C (k).
  • the direction renderer 120-1 may bypass contralateral filtering and perform ipsilateral filtering on the input audio signal with the ipsilateral ITF.
  • the ipsilateral transfer function and the contralateral transfer function for binaural filtering may be generated by modifying the ITF for the input audio signal.
  • the direction renderer 120-1 may filter the input audio signal using the modified ITF (ie, MITF).
  • the MITF generator 220 is a component of the binaural parameter controller 200 of FIG. 1, and receives the ipsilateral HRTF and the contralateral HRTF to generate an ipsilateral MITF and a contralateral MITF.
  • the ipsilateral MITF and contralateral MITF generated by the MITF generation unit 220 are transferred to the ipsilateral filtering unit 122a and the contralateral filtering unit 122b of FIG. 3, respectively, and used for ipsilateral filtering and contralateral filtering.
  • the first side represents either the ipsilateral side and the contralateral side
  • the second side represents the other side thereof.
  • this invention is demonstrated on the assumption of the 1st side as the contralateral side, and the 2nd side as the contralateral side for convenience, it is equally implementable also when the 1st side is the opposite side, and the 2nd side is the same side.
  • each of the formulas and embodiments of the present invention can be used by replacing the ipsilateral and contralateral.
  • the operation of obtaining the ipsilateral MITF by dividing the ipsilateral HRTF by the contralateral HRTF may be replaced by an operation of obtaining the contralateral MITF by dividing the contralateral HRTF by the ipsilateral HRTF.
  • the MITF is generated using the prototype transfer function HRTF.
  • HRTF prototype transfer function
  • other circular transfer functions other than HRTF that is, other binaural parameters may be used to generate MITF.
  • the MITF when the value of the contralateral HRTF is greater than the ipsilateral HRTF at a specific frequency index k, the MITF may be generated based on the ipsilateral HRTF divided by the contralateral HRTF. That is, when the magnitude of the ipsilateral HRTF and the contralateral HRTF are reversed due to the notch component of the ipsilateral HRTF, the spectral peak may be prevented by dividing the ipsilateral HRTF by the contralateral HRTF as opposed to the ITF calculation. More specifically, when the ipsilateral HRTF is H_I (k), the contralateral HRTF is H_C (k), the ipsilateral MITF is M_I (k), and the contralateral MITF is M_C (k). It may be generated as shown in Equation 2.
  • H_I (k) when the value of H_I (k) is smaller than the value of H_C (k) at the specific frequency index k (that is, the notched region), M_I (k) equals H_I (k) by H_C ( It is determined by dividing by k), and the value of M_C (k) is determined by 1. However, if the value of H_I (k) is not less than the value of H_C (k), the value of M_I (k) is determined as 1 and the value of M_C (k) is H_C (k) divided by H_I (k). Is determined.
  • the ipsilateral HRTF which is the denominator of the ITF at a specific frequency index k
  • the ipsilateral and contralateral MITF values at the corresponding frequency index k are 1 (that is, 0 dB).
  • Equation 3 A second embodiment of the MITF generation method is represented by Equation 3 below.
  • the values of M_I (k) and M_C (k) are It can be set to one.
  • the ipsilateral and contralateral MITF can be set equal to the ipsilateral and contralateral ITF, respectively. That is, the value of MITF M_I (k) is determined as 1 and the value of M_C (k) is determined as H_C (k) divided by H_I (k).
  • the depth of the notch may be reduced by reflecting the weight of the HRTF having the notch component.
  • the weight function w (k) may be applied as shown in Equation 4 to reflect a weight greater than 1 for the HRTF that is the denominator of the ITF, that is, the ipsilateral HRTF.
  • H_I (k) when the value of H_I (k) is smaller than the value of H_C (k) (that is, notched region) at a specific frequency index k, the value of M_I (k) is determined to be 1; The value of M_C (k) is determined by dividing H_C (k) by the product of w (k) and H_I (k). However, if the value of H_I (k) is not less than the value of H_C (k), the value of M_I (k) is determined as 1 and the value of M_C (k) is H_C (k) divided by H_I (k). Is determined.
  • the weight function w (k) is applied when the value of H_I (k) is smaller than the value of H_C (k).
  • the weight function w (k) may be set to have a larger value as the notch depth of the ipsilateral HRTF is deeper, that is, the smaller the value of the ipsilateral HRTF.
  • the weight function w (k) may be set to have a larger value as the difference between the value of the ipsilateral HRTF and the value of the contralateral HRTF increases.
  • the conditional part of the first, second and third embodiments may be extended to the case where the value of H_I (k) is smaller than a predetermined ratio ⁇ of the H_C (k) value at a specific frequency index k. That is, when the value of H_I (k) is smaller than the ⁇ * H_C (k) value, the ipsilateral and contralateral MITF may be generated based on the equation in the conditional statement of each embodiment. However, when the value of H_I (k) is not smaller than the ⁇ * H_C (k) value, the ipsilateral and contralateral MITF can be set equal to the ipsilateral and contralateral ITF, respectively.
  • the conditional parts of the first, second and third embodiments may be limited to a specific frequency band, and different values may be applied to the predetermined ratio ⁇ according to the frequency band.
  • the notch components of the HRTF can be separated separately and a MITF can be generated based on the separated notch components.
  • 5 is a diagram illustrating a MITF generation method according to a fourth embodiment of the present invention.
  • the MITF generation unit 220-1 may further include an HRTF separation unit 222 and a normalization unit 224.
  • the HRTF separator 222 separates the circular transfer function, that is, the HRTF into an HRTF envelope component and an HRTF notch component.
  • the HRTF separation unit 222 separates the HRTF that is the denominator of the ITF, i.e., the ipsilateral HRTF into an HRTF envelope component and an HRTF notch component, and separates the ipsilateral HRTF envelope component and the ipsilateral HRTF.
  • MITF can be generated based on the notch component.
  • a fourth embodiment of the MITF generation method is represented by Equation 5 below.
  • H_I_notch (k) is the ipsilateral HRTF notch component
  • H_I_env (k) is the ipsilateral HRTF envelope component
  • H_C_notch (k) is the contralateral HRTF notch component
  • H_C_env (k) is the contralateral HRTF envelope. Represents a component. * Denotes multiplication, and H_C_notch (k) * H_C_env (k) may be replaced by undivided contralateral HRTF H_C (k).
  • M_I (k) is determined by the value of the notch component H_I_notch (k) extracted from the ipsilateral HRTF
  • M_C (k) is an envelope extracted from the ipsilateral HRTF H_C (k). It is determined by the value divided by the component H_I_env (k).
  • the HRTF separator 222 extracts an ipsilateral HRTF envelope component from an ipsilateral HRTF and outputs a residual component of the ipsilateral HRTF, that is, a notch component, as an ipsilateral MITF.
  • the normalization unit 224 receives the ipsilateral HRTF envelope component and the contralateral HRTF, and generates and outputs the contralateral MITF according to the embodiment of Equation 5 above.
  • the HRTF separation unit 222 may separate notch components of the HRTF by using homomorphic signal processing or wave interpolation using cepstrum. Can be.
  • the HRTF separation unit 222 may obtain the ipsilateral HRTF envelope component by windowing the cepstrum of the ipsilateral HRTF.
  • the MITF generating unit 200 may generate ipsilateral MITF from which spectral coloration is removed by dividing the ipsilateral HRTF and the contralateral HRTF into the ipsilateral HRTF envelope components.
  • the HRTF separator 222 may include all-pole modeling, pole-zero modeling, group delay function, and the like. It is also possible to separate the notch components of the HRTF.
  • H_I_notch (k) may be approximated as FIR filter coefficients or IIR filter coefficients, and the approximated filter coefficients may be used as the ipsilateral transfer function of binaural rendering. That is, the ipsilateral filtering unit of the direction renderer may generate an ipsilateral output signal by filtering the input audio signal with the approximated filter coefficients.
  • an HRTF envelope component having a direction different from the input audio signal may be used for generating the MITF at a specific angle.
  • the MITF generator 200 normalizes other pairs of HRTFs (ipsilateral HRTF, contralateral HRTF) with HRTF envelope components on the horizontal plane (i.e., at an elevation angle of 0) to produce a flat spectrum of transfer functions located on the horizontal plane. It can be implemented with MITF.
  • the MITF may be generated by the method of Equation 6 below.
  • k is the frequency index
  • ⁇ is the altitude angle
  • ⁇ is the azimuth angle
  • the ipsilateral MITF M_I (k, ⁇ , ⁇ ) of the elevation angle ⁇ and the azimuth angle ⁇ is determined by the notch component H_I_notch (k, ⁇ , ⁇ ) extracted from the ipsilateral HRTF of the elevation angle ⁇ and the azimuth angle ⁇
  • the contralateral MITF M_C (k, ⁇ , ⁇ ) is the envelope component H_I_env (k, 0, ⁇ ) obtained by extracting the contralateral HRTF H_C (k, ⁇ , ⁇ ) of the corresponding elevation angle ⁇ and the azimuth angle ⁇ from the ipsilateral HRTF of the elevation angle 0 and the azimuth angle ⁇ . It can be determined by dividing by).
  • the MITF may also be generated by the method of Equation 7 below.
  • the ipsilateral MITF M_I (k, ⁇ , ⁇ ) of the altitude angle ⁇ and the azimuth angle ⁇ is obtained by dividing the ipsilateral HRTF H_I (k, ⁇ , ⁇ ) of the altitude angle ⁇ and the azimuth angle ⁇ by the H_I_env (k, 0, ⁇ ).
  • the contralateral MITF M_C (k, ⁇ , ⁇ ) can be determined by dividing the contralateral HRTF H_C (k, ⁇ , ⁇ ) of the corresponding elevation angle ⁇ and the azimuth angle ⁇ by the H_I_env (k, 0, ⁇ ). have.
  • Equations 6 and 7 illustrate that HRTF envelope components of the same azimuth and different elevation angles (that is, elevation angle 0) are used to generate MITF.
  • MITF may be generated using HRTF envelope components of other azimuth and / or other elevation angles.
  • the MITF may be generated using wave interpolation represented by the space / frequency axis.
  • the HRTF may be divided into a slowly evolving waveform (SEW) and a rapidly evolving waveform (REW), which are expressed in three dimensions of an elevation angle / frequency axis or an azimuth / frequency axis.
  • a binaural cue for binaural rendering eg ITF, bilateral parameters
  • the notch component may be extracted from the REW.
  • the direction renderer performs binaural rendering using the binaural cue extracted from the SEW, and directly applies the notch component extracted from the REW to each channel (ipsilateral channel / contrast channel). Tone noise can be suppressed.
  • methods such as homogeneous signal processing, low / high pass filtering, and the like may be used.
  • the corresponding circular transfer function in the notch region of the circular transfer function, may be used for binaural filtering, and if not, the MITF according to the above-described embodiments may be used for binaural filtering. have.
  • Equation 8 Equation 8 below.
  • M'_I (k) and M'_C (k) represent the ipsilateral and contralateral MITFs according to the sixth embodiment, respectively, and M_I (k) and M_C (k) according to any one of the above-described embodiments. Ipsilateral and contralateral MITFs are shown. H_I (k) and H_C (k) represent ipsilateral and contralateral HRTFs that are circular transfer functions. That is, in the case of the frequency band including the notch component of the ipsilateral HRTF, the ipsilateral HRTF and the contralateral HRTF are used as the ipsilateral transfer function and the contralateral transfer function of binaural rendering, respectively.
  • ipsilateral MITF and contralateral MITF are used as the ipsilateral transfer function and the contralateral transfer function of binaural rendering, respectively.
  • all-pole modeling, pole-zero modeling, group delay function, etc. may be used as described above.
  • smoothing techniques such as low pass filtering may be used to prevent sound quality degradation due to a sudden spectral change at the boundary between the notched region and the non-notched region.
  • the residual component of the HRTF separation can be processed in a simpler operation.
  • the HRTF residual component is approximated with FIR filter coefficients or IIR filter coefficients, and the approximated filter coefficients may be used as ipsilateral and / or contralateral transfer functions of binaural rendering.
  • 6 is a diagram illustrating a binaural parameter generating method according to a seventh embodiment of the present invention
  • FIG. 7 is a block diagram illustrating a direction renderer according to a seventh embodiment of the present invention.
  • the binaural parameter generator 220-2 may include HRTF separators 222a and 222b, a bilateral parameter calculator 225, and a notch parameterizer 226a and 226b.
  • the binaural parameter generator 220-2 may be used as a configuration that replaces the MITF generator of FIGS. 4 and 5.
  • the HRTF separators 222a and 222b separate the input HRTF into an HRTF envelope component and an HRTF residual component.
  • the first HRTF separator 222a receives the ipsilateral HRTF and separates it into an ipsilateral HRTF envelope component and an ipsilateral HRTF residual component.
  • the second HRTF separation unit 222b receives the contralateral HRTF and separates the contralateral HRTF envelope component into the contralateral HRTF envelope component.
  • the bilateral parameter calculator 225 receives the ipsilateral HRTF envelope component and the contralateral HRTF envelope component and generates bilateral parameters using the bilateral HRTF envelope component.
  • the bilateral parameters include interaural level differences (ILD) and interaural time differences (ITD).
  • ILD interaural level differences
  • ITD interaural time differences
  • the notch parameterization units 226a and 226b receive the HRTF residual component and approximate it with an impulse response (IR) filter coefficient.
  • the HRTF residual component can include an HRTF notch component
  • the IR filter includes a FIR filter and an IIR filter.
  • the first notch parameterization unit 226a receives the ipsilateral HRTF residual component and generates an ipsilateral IR filter coefficient using the ipsilateral HRTF residual component.
  • the second notch parameterization unit 226b receives the contralateral HRTF residual component and generates contralateral IR filter coefficients using the contralateral HRTF residual component.
  • the binaural parameter generated by the binaural parameter generator 220-2 is transferred to the direction renderer.
  • the binaural parameters include bilateral parameters, ipsilateral / contralateral IR filter coefficients.
  • the bilateral parameter includes at least ILD and ITD.
  • the direction renderer 120-2 may include an envelope filtering unit 125 and an ipsilateral / contrast notch filtering unit 126a 126b.
  • the ipsilateral notch filtering unit 126a may be used as a configuration that replaces the ipsilateral filtering unit 122a of FIG. 2, and the envelope filtering unit 125 and the contralateral notch filtering unit 126b are illustrated in FIG. It can be used as a configuration to replace the two side filtering unit (122b).
  • the envelope filtering unit 125 receives a bilateral parameter and filters the input audio signal based on the received bilateral parameter to reflect the envelope difference between the ipsilateral and contralateral sides.
  • the envelope filtering unit 125 may perform filtering for the contralateral signal, but the present invention is not limited thereto. That is, according to another embodiment, the envelope filtering unit 125 may perform filtering for the ipsilateral signal.
  • the bilateral parameter may represent relative information of the contralateral envelope based on the ipsilateral envelope
  • the envelope filtering unit When 125) performs filtering for the ipsilateral signal, the bilateral parameter may indicate relative information of the ipsilateral envelope with respect to the contralateral envelope.
  • the notch filtering units 126a and 126b perform filtering on the ipsilateral and contralateral signals to reflect notches of the ipsilateral and contralateral transfer functions, respectively.
  • the first notch filtering unit 126a filters the input audio signal with an ipsilateral IR filter coefficient to generate an ipsilateral output signal.
  • the second notch filtering unit 126b filters the input audio signal subjected to the envelope filtering with the contralateral IR filter coefficients to generate the contralateral output signal.
  • envelope filtering is performed before notch filtering, but the present invention is not limited thereto.
  • ipsilateral / contralateral notch filtering on the input audio signal may be performed first, and then envelope filtering may be performed on the ipsilateral or contralateral signal.
  • the direction renderer 120-2 may perform ipsilateral filtering using the ipsilateral notch filtering unit 126a.
  • the direction renderer 120-2 may perform contralateral filtering using the envelope filtering unit 125 and the contralateral notch filtering unit 126b.
  • the ipsilateral transfer function used for ipsilateral filtering includes IR filter coefficients generated based on the notch components of the ipsilateral HRTF.
  • the contralateral transfer function used for contralateral filtering includes IR filter coefficients and bilateral parameters generated based on the notch components of the contralateral HRTF.
  • the bilateral parameter is generated based on the envelope component of the ipsilateral HRTF and the envelope component of the contralateral HRTF.
  • a hybrid ITF in which two or more of the above-described ITF and MITF are combined may be used.
  • HITF represents a bilateral transfer function in which the transfer function used in at least one frequency band is different from the transfer function used in another frequency band. That is, ipsilateral and contralateral transfer functions generated based on different transfer functions in the first frequency band and the second frequency band may be used.
  • ITF may be used for binaural rendering of the first frequency band
  • MITF may be used for binaural rendering of the second frequency band.
  • a positive level, a positive phase difference, and the like are important factors for sound positioning, and in the high frequency band, a spectral envelope, a specific notch, a peak, etc. are important clues of the sound position. Therefore, in order to effectively reflect this, the ipsilateral and contralateral transfer functions of the low frequency band may be generated based on the ITF, and the ipsilateral and contralateral transfer functions of the high frequency band may be generated based on the MITF. This is expressed as an equation 9 below.
  • k is a frequency index
  • C0 is a threshold frequency index
  • h_I (k) and h_C (k) represent ipsilateral and contralateral HITF according to an embodiment of the present invention, respectively.
  • I_I (k) and I_C (k) represent the ipsilateral and contralateral ITF, respectively
  • M_I (k) and M_C (k) represent the ipsilateral and contralateral MITF according to any one of the above-described embodiments, respectively.
  • the ipsilateral and contralateral transfer functions of the first frequency band in which the frequency index is lower than the threshold frequency index are generated based on the ITF, and the second frequency is higher than or equal to the threshold frequency index.
  • the ipsilateral and contralateral transfer functions of the bands are generated based on the MITF.
  • the threshold frequency index C0 may indicate a specific frequency between 500 Hz and 2 kHz.
  • the ipsilateral and contralateral transfer functions of the low frequency band are generated based on the ITF
  • the ipsilateral and contralateral transfer functions of the high frequency band are generated based on the MITF, and between the low frequency band and the high frequency band.
  • the ipsilateral and contralateral transfer functions of the frequency bands can be generated based on a linear combination of ITF and MITF. If this is expressed as an equation, Equation 10 below.
  • C1 represents a first threshold frequency index and C2 represents a second threshold frequency index.
  • g1 (k) and g2 (k) represent gains for ITF and MITF at frequency index k, respectively.
  • the ipsilateral and contralateral transfer functions of the first frequency band in which the frequency index is lower than the first threshold frequency index are generated based on the ITF, and the frequency index is higher than the second threshold frequency index.
  • the ipsilateral and contralateral transfer functions of the two frequency bands are generated based on the MITF.
  • the ipsilateral and contralateral transfer functions of the third frequency band, where the frequency index is between the first threshold frequency index and the second frequency index are generated based on the linear combination of the ITF and MITF.
  • the present invention is not limited thereto, and the ipsilateral and contralateral transfer functions of the third frequency band may be generated based on at least one of a logarithmic coupling, a spline coupling, and a lagrange coupling of the ITF and the MITF.
  • the first threshold frequency index C1 may indicate a specific frequency between 500 Hz and 1 kHz
  • the second threshold frequency index C2 may indicate a specific frequency between 1 kHz and 2 kHz.
  • the present invention is not limited thereto.
  • the transfer function generated based on the ITF and the transfer function generated based on the MITF may have different delays.
  • Delay compensation for the ipsilateral / contralateral transfer function with delay may be further performed.
  • the ipsilateral and contralateral transfer functions of the first frequency band are used as ipsilateral and contralateral HRTFs, and the ipsilateral and contralateral transfer functions of the second frequency band may be generated based on the MITF.
  • the ipsilateral and contralateral transfer functions of the first frequency band are generated based on information extracted from at least one of ILD, ITD, Interaural Phase Difference (IPD), and Interaural Coherence (IC) for each frequency band of the ipsilateral and contralateral HRTFs.
  • the ipsilateral and contralateral transfer functions of the second frequency band may be generated based on the MITF.
  • the ipsilateral and contralateral transfer functions of the first frequency band are generated based on the ipsilateral and contralateral HRTFs of the spherical head model, and the ipsilateral and contralateral transfer functions of the second frequency band are measured And contralateral HRTF.
  • the ipsilateral and contralateral transfer functions of the third frequency band between the first and second frequency bands are generated based on linear combining, overlapping, windowing, etc., of the HRTF and measured HRTF of the spherical head model. Can be.
  • a hybrid ITF in which two or more of HRTF, ITF and MITF are combined may be used.
  • the spectral characteristics of a specific frequency band may be emphasized in order to increase the sound localization performance.
  • ITF or MITF reduces the coloration of the sound source, but also causes a trade-off phenomenon that degrades the sound localization performance. Therefore, further refinement of the ipsilateral / contralateral transfer function is needed to improve the stereotactic performance.
  • the ipsilateral and contralateral transfer functions of the low frequency bands dominantly affecting the coloration of the sound source are generated based on MITF (or ITF), and the high frequency bands dominantly affect the sound localization.
  • the ipsilateral and contralateral transfer functions of can be generated based on the HRTF. If this is expressed as an equation, Equation 11 below.
  • k is a frequency index
  • C0 is a threshold frequency index
  • h_I (k) and h_C (k) represent ipsilateral and contralateral HITF according to an embodiment of the present invention, respectively.
  • H_I (k) and H_C (k) represent ipsilateral and contralateral HRTFs, respectively
  • M_I (k) and M_C (k) represent ipsilateral and contralateral MITFs according to any one of the above-described embodiments, respectively.
  • the ipsilateral and contralateral transfer functions of the first frequency band in which the frequency index is lower than the threshold frequency index are generated based on the MITF, and the second frequency is higher than or equal to the threshold frequency index.
  • the ipsilateral and contralateral transfer functions of the bands are generated based on the HRTF.
  • the threshold frequency index C0 may indicate a specific frequency between 2 kHz and 4 kHz, but the present invention is not limited thereto.
  • the ipsilateral and contralateral transfer functions are generated based on the ITF, and separate gains may be applied to the ipsilateral and contralateral transfer functions of the high frequency band. If this is expressed as an equation, Equation 12 below.
  • G represents a gain. That is, according to another embodiment of the present invention, the ipsilateral and contralateral transfer functions of the first frequency band in which the frequency index is lower than the threshold frequency index are generated based on the ITF, and the second frequency is higher than or equal to the threshold frequency index. The ipsilateral and contralateral transfer functions of the band are generated based on the ITF multiplied by the preset gain G.
  • the ipsilateral and contralateral transfer functions are generated based on the MITF according to any one of the above-described embodiments, and separate gains may be applied to the ipsilateral and contralateral transfer functions of the high frequency band. If this is expressed as an equation, Equation 13 below.
  • the ipsilateral and contralateral transfer functions of the first frequency band in which the frequency index is lower than the threshold frequency index are generated based on the MITF, and the second frequency index is higher than or equal to the threshold frequency index.
  • the ipsilateral and contralateral transfer functions of the frequency band are generated based on the product of the MITF multiplied by the preset gain G.
  • the gain G applied to the HITF may be generated according to various embodiments.
  • the average value of the maximum elevation angle HRTF magnitude and the minimum elevation angle HRTF magnitude are respectively calculated in the second frequency band, and the gain G is based on the interpolation using the difference between the two average values. Can be obtained.
  • the gain resolution may be increased by applying different gains for each frequency bin of the second frequency band.
  • a smoothed gain in the frequency axis may be further used.
  • a third frequency band may be set between a first frequency band to which gain is not applied and a second frequency band to which gain is applied. Smoothed gain is applied to the ipsilateral and contralateral transfer functions of the third frequency band.
  • the smoothed gain may be generated based on at least one of linear interpolation, log interpolation, spline interpolation, and lagrange interpolation, and may be represented by G (k) because the frequency bins have different values.
  • gain G may be obtained based on envelope components extracted from HRTFs of different elevation angles.
  • 8 illustrates a MITF generation method using gain according to another embodiment of the present invention.
  • the MITF generator 220-3 may include HRTF separators 222a and 222c, an ELD (Elevation Level Difference) calculator 223, and a normalization unit 224.
  • FIG. 8 illustrates an embodiment in which the MITF generating unit 222-3 generates the ipsilateral and contralateral MITFs of the frequency k, the altitude angle ⁇ 1, and the azimuth angle ⁇ .
  • the first HRTF separating unit 222a separates the ipsilateral HRTF of the altitude angle ⁇ 1 and the azimuth angle ⁇ into an ipsilateral HRTF envelope component and an ipsilateral HRTF notch component.
  • the second HRTF separation unit 222c separates the ipsilateral HRTF of another elevation angle ⁇ 2 into an ipsilateral HRTF envelope component and an ipsilateral HRTF notch component.
  • ⁇ 2 represents an elevation angle different from ⁇ 1, and according to an embodiment, ⁇ 2 may be set to 0 degrees (ie, an angle on a horizontal plane).
  • the ELD calculator 223 receives the ipsilateral HRTF envelope component of the elevation angle ⁇ 1 and the ipsilateral HRTF envelope component of the elevation angle ⁇ 2, and generates a gain G based on this. According to an embodiment, the ELD calculator 223 sets the gain value closer to 1 as the frequency response does not change significantly according to the change in the elevation angle, and sets the gain value to be amplified or attenuated as the frequency response changes greatly.
  • the MITF generator 222-3 may generate the MITF using the gain generated by the ELD calculator 223. Equation 14 shows an embodiment of generating a MITF using the generated gain.
  • the ipsilateral and contralateral transfer functions of the first frequency band in which the frequency index is lower than the threshold frequency index are generated based on the MITF according to the embodiment of equation (5). That is, the ipsilateral MITF M_I (k, ⁇ 1, ⁇ ) of the altitude angle ⁇ 1 and the azimuth angle ⁇ is determined by the notch component H_I_notch (k, ⁇ 1, ⁇ ) value extracted from the ipsilateral HRTF, and the contralateral MITF M_C (k, ⁇ 1, ⁇ ) Is determined by dividing contralateral HRTF H_C (k, ⁇ 1, ⁇ ) by the envelope component H_I_env (k, ⁇ 1, ⁇ ) extracted from the ipsilateral HRTF.
  • the ipsilateral and contralateral transfer functions of the second frequency band where the frequency index is higher than or equal to the threshold frequency index are generated based on the MITF multiplied by the gain G according to the embodiment of Equation 5. That is, M_I (k, ⁇ 1, ⁇ ) is determined by multiplying the value of the notch component H_I_notch (k, ⁇ 1, ⁇ ) extracted from the ipsilateral HRTF by the gain G, and M_C (k, ⁇ 1, ⁇ ) is the contralateral HRTF H_C ( k, ⁇ 1, ⁇ ) multiplied by the gain G is determined by dividing the envelope component H_I_env (k, ⁇ 1, ⁇ ) extracted from the ipsilateral HRTF.
  • the ipsilateral HRTF notch component separated by the first HRTF separation unit 222a is multiplied by the gain G and output as an ipsilateral MITF.
  • the normalization unit 224 calculates the contralateral HRTF value for the ipsilateral HRTF envelope component as shown in Equation 14, and the calculated value is multiplied by the gain G and output as the contralateral MITF.
  • the gain G is a value generated based on the ipsilateral HRTF envelope component of the corresponding elevation angle ⁇ 1 and the ipsilateral HRTF envelope component of another elevation angle ⁇ 2. Equation 15 shows an embodiment of generating the gain G.
  • the gain G is the envelope component H_I_env (k, ⁇ 1, ⁇ ) extracted from the ipsilateral HRTF of altitude ⁇ 1 and the azimuth angle ⁇ , and the envelope component H_I_env (k, extracted from the ipsilateral HRTF of altitude ⁇ 2 and the azimuth angle ⁇ . It can be determined by dividing by ⁇ 2, ⁇ ).
  • gain G is generated using envelope components of ipsilateral HRTFs having different elevation angles, but the present invention is not limited thereto. That is, the gain G may be generated based on envelope components of ipsilateral HRTFs having different azimuth angles, or envelope components of ipsilateral HRTFs having different altitude and azimuth angles. In addition, the gain G may be applied to at least one of ITF, MITF, and HRTF as well as HITF. In addition, the gain G may be applied to all frequency bands as well as a specific frequency band such as a high frequency band.
  • the ipsilateral MITF (or ipsilateral HITF) according to the various embodiments described above is delivered to the direction renderer as an ipsilateral transfer function, and the contralateral MITF (or contralateral HITF) as a contralateral transfer function.
  • the ipsilateral filtering unit of the direction renderer filters the input audio signal with the ipsilateral MITF (or ipsilateral HITF) according to the above-described embodiment to generate the ipsilateral output signal
  • the contralateral filtering unit filters the input audio signal according to the contralateral MITF according to the above-described embodiment. Or by filtering by contralateral HITF) to produce a contralateral output signal.
  • the ipsilateral filtering unit or the contralateral filtering unit may bypass the filtering operation. In this case, whether to bypass the filtering may be determined at the rendering time.
  • the ipsilateral / contralateral filtering unit obtains additional information about the bypass point (eg frequency index) in advance and performs filtering of each point based on the additional information. It is possible to determine whether to bypass.
  • a two channel signal subjected to preprocessing may be received as an input of a direction renderer.
  • the ipsilateral signal d ⁇ I and the contralateral signal d ⁇ C from which the distance rendering is performed as a preprocessing step may be received as an input of the direction renderer.
  • the ipsilateral filtering unit of the direction renderer may filter the received ipsilateral signal d ⁇ I with an ipsilateral transfer function to generate an ipsilateral output signal B ⁇ I.
  • the contralateral filtering unit of the direction renderer may generate the contralateral output signal B ⁇ C by filtering the received contralateral signal d ⁇ C with a contralateral transfer function.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Stereophonic System (AREA)

Abstract

본 발명은 바이노럴 렌더링을 수행하기 위한 오디오 신호 처리 장치 및 오디오 신호 처리 방법에 관한 것이다. 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 장치로서, 상기 입력 오디오 신호를 제1 측 전달 함수로 필터링하여 제1 측 출력 신호를 생성하는 제1 필터링부; 및 상기 입력 오디오 신호를 제2 측 전달 함수로 필터링하여 제2 측 출력 신호를 생성하는 제2 필터링부; 를 포함하되, 상기 제1 측 전달 함수 및 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 양이간 전달 함수(Interaural Transfer Function, ITF)를 변형하여 생성되는 오디오 신호 처리 장치 및 이를 이용한 오디오 신호 처리 방법을 제공한다.

Description

바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
본 발명은 바이노럴 렌더링을 수행하기 위한 오디오 신호 처리 장치 및 오디오 신호 처리 방법에 관한 것이다.
3D 오디오란 기존의 서라운드 오디오에서 제공하는 수평면(2D) 상의 사운드 장면에 높이 방향에 해당하는 또 다른 축을 제공함으로써, 3차원 공간상에서 임장감 있는 사운드를 제공하기 위한 일련의 신호 처리, 전송, 부호화 및 재생기술 등을 통칭한다. 특히, 3D 오디오를 제공하기 위해서는 종래보다 많은 수의 스피커를 사용하거나 혹은 적은 수의 스피커를 사용하더라도 스피커가 존재하지 않는 가상의 위치에서 음상이 맺히도록 하는 렌더링 기술이 요구된다.
3D 오디오는 초고해상도 TV(UHDTV)에 대응되는 오디오 솔루션이 될 것이며, 다양한 분야 및 디바이스에서 사용될 것으로 예상된다. 3D 오디오에 제공되는 음원의 형태로는 채널 기반의 신호와 오브젝트 기반의 신호가 존재할 수 있다. 이 뿐만 아니라, 채널 기반의 신호와 오브젝트 기반의 신호가 혼합된 형태의 음원이 존재할 수 있으며, 이를 통해 유저로 하여금 새로운 형태의 청취 경험을 제공할 수 있다.
한편, 바이노럴 렌더링은 입력 오디오 신호를 사람의 양 귀에 전달되는 신호로 모델링 하는 프로세싱이다. 유저는 바이노럴 렌더링된 2 채널 출력 오디오 신호를 헤드폰이나 이어폰을 통해 청취함으로 소리의 입체감을 느낄 수 있다. 따라서 3D 오디오를 사람의 두 귀에 전달되는 오디오 신호 형태로 모델링할 수 있다면, 2 채널 출력 오디오 신호를 통해서도 3D 오디오의 입체감을 재현할 수 있다.
본 발명은 바이노럴 렌더링을 수행하기 위한 오디오 신호 처리 장치 및 방법을 제공하기 위한 목적을 가지고 있다.
또한, 본 발명은 3D 오디오의 오브젝트 신호 및 채널 신호에 대한 효율적인 바이노럴 렌더링을 수행하기 위한 목적을 가지고 있다.
또한, 본 발명은 가상 현실(Virtual Reality, VR) 콘텐츠의 오디오 신호에 대한 몰입형 바이노럴 렌더링을 구현하기 위한 목적을 가지고 있다.
상기와 같은 과제를 해결하기 위해, 본 발명은 다음과 같은 오디오 신호 처리 방법 및 오디오 신호 처리 장치를 제공한다.
먼저 본 발명의 실시예에 따르면, 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 장치로서, 상기 입력 오디오 신호를 제1 측 전달 함수로 필터링하여 제1 측 출력 신호를 생성하는 제1 필터링부; 및 상기 입력 오디오 신호를 제2 측 전달 함수로 필터링하여 제2 측 출력 신호를 생성하는 제2 필터링부; 를 포함하되, 상기 제1 측 전달 함수 및 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 제1측 HRTF(Head Related Transfer Function)를 제2 측 HRTF로 나눈 양이간 전달 함수(Interaural Transfer Function, ITF)를 변형하여 생성되는 오디오 신호 처리 장치가 제공된다.
상기 제1 측 전달 함수 및 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 제1 측 HRTF 및 제2 측 HRTF 중 적어도 하나의 노치(notch) 성분에 기초하여 상기 ITF를 변형하여 생성된다.
상기 제1 측 전달 함수는 상기 제1 측 HRTF부터 추출된 노치(notch) 성분에 기초하여 생성되고, 상기 제2 측 전달 함수는 상기 제2 측 HRTF를 상기 제1 측 HRTF로부터 추출된 인벨로프(envelope) 성분으로 나눈 값에 기초하여 생성된다.
상기 제1 측 전달 함수는 상기 제1 측 HRTF로부터 추출된 노치(notch) 성분에 기초하여 생성되고, 상기 제2 측 전달 함수는 상기 제2 측 HRTF를 상기 입력 오디오 신호와 다른 방향을 갖는 제1 측 HRTF로부터 추출된 인벨로프 성분으로 나눈 값에 기초하여 생성된다.
상기 다른 방향을 갖는 제1 측 HRTF는 상기 입력 오디오 신호와 동일한 방위각을 갖고, 고도각 0을 갖는 제1 측 HRTF이다.
상기 제1 측 전달 함수는 상기 제1 측 HRTF의 노치 성분을 이용하여 생성된 FIR(Finite Impulse Response) 필터 계수 또는 IIR(Infinite Impulse Response) 필터 계수이다.
상기 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 제1 측 HRTF의 인벨로프 성분과 제2 측 HRTF의 인벨로프 성분에 기초하여 생성된 양이간 파라메터 및 상기 제2 측 HRTF의 노치 성분에 기초하여 생성된 IR(Impulse Response) 필터 계수를 포함하고, 상기 제1 측 전달 함수는 상기 제1 측 HRTF의 노치 성분에 기초하여 생성된 IR 필터 계수를 포함한다.
상기 양이간 파라메터는 ILD(Interaural Level Difference) 및 ITD(Interaural Time Difference)를 포함한다.
다음으로 본 발명의 다른 실시예에 따르면, 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 장치로서, 상기 입력 오디오 신호를 동측 전달 함수로 필터링하여 동측 출력 신호를 생성하는 동측 필터링부; 및 상기 입력 오디오 신호를 대측 전달 함수로 필터링하여 대측 출력 신호를 생성하는 대측 필터링부; 를 포함하되, 상기 동측 및 대측 전달 함수는 제1 주파수 대역과 제2 주파수 대역에서 서로 다른 전달 함수에 기초하여 생성되는 오디오 신호 처리 장치가 제공된다.
상기 제1 주파수 대역의 상기 동측 및 대측 전달 함수는 양이간 전달 함수(Interaural Transfer Function, ITF)에 기초하여 생성되고, 상기 ITF는 상기 입력 오디오 신호에 대한 동측 HRTF(Head Related Transfer Function)를 대측 HRTF로 나눈 값에 기초하여 생성된다.
상기 제1 주파수 대역의 상기 동측 및 대측 전달 함수는 상기 입력 오디오 신호에 대한 동측 HRTF 및 대측 HRTF이다.
상기 제1 주파수 대역과 다른 제2 주파수 대역의 상기 동측 및 대측 전달 함수는 변형된 양이간 전달 함수(Modified Interaural Transfer Function, MITF)에 기초하여 생성되며, 상기 MITF는 상기 입력 오디오 신호에 대한 동측 HRTF 및 대측 HRTF 중 적어도 하나의 노치(notch) 성분에 기초하여 양이간 전달 함수(Interaural Transfer Function, ITF)를 변형하여 생성된다.
상기 제2 주파수 대역의 동측 전달 함수는 상기 동측 HRTF로부터 추출된 노치 성분에 기초하여 생성되고, 상기 제2 주파수 대역의 대측 전달 함수는 상기 대측 HRTF를 상기 동측 HRTF로부터 추출된 인벨로프(envelope) 성분으로 나눈 값에 기초하여 생성된다.
상기 제1 주파수 대역의 상기 동측 및 대측 전달 함수는 상기 입력 오디오 신호에 대한 동측 HRTF 및 대측 HRTF의 각 주파수 밴드 별 ILD(Interaural Level Difference), ITD(Interaural Time Difference), IPD(Interaural Phase Difference) 및 IC(Interaural Coherence) 중 적어도 하나로부터 추출된 정보에 기초하여 생성된다.
상기 제1 주파수 대역과 제2 주파수 대역의 전달 함수는 동일한 동측 및 대측 HRTF로부터 추출된 정보에 기초하여 생성된다.
상기 제1 주파수 대역은 상기 제2 주파수 대역보다 낮은 주파수 대역이다.
상기 제1 주파수 대역의 상기 동측 및 대측 전달 함수는 제1 전달 함수에 기초하여 생성되고, 상기 제1 주파수 대역과 다른 제2 주파수 대역의 상기 동측 및 대측 전달 함수는 제2 전달 함수에 기초하여 생성되며, 상기 제1 주파수 대역과 제2 주파수 대역 사이의 제3 주파수 대역의 상기 동측 및 대측 전달 함수는 제1 전달 함수와 제2 전달 함수의 선형 결합에 기초하여 생성된다.
또한 본 발명의 실시예에 따르면, 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 방법으로서, 입력 오디오 신호를 수신하는 단계; 상기 입력 오디오 신호를 동측 전달 함수로 필터링하여 동측 출력 신호를 생성하는 단계; 및 상기 입력 오디오 신호를 대측 전달 함수로 필터링하여 대측 출력 신호를 생성하는 단계; 를 포함하되, 상기 동측 및 대측 전달 함수는 제1 주파수 대역과 제2 주파수 대역에서 서로 다른 전달 함수에 기초하여 생성되는 오디오 신호 처리 방법이 제공된다.
또한 본 발명의 다른 실시예에 따르면, 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 방법으로서, 입력 오디오 신호를 수신하는 단계; 상기 입력 오디오 신호를 제1 측 전달 함수로 필터링하여 제1 측 출력 신호를 생성하는 단계; 및 상기 입력 오디오 신호를 제2 측 전달 함수로 필터링하여 제2 측 출력 신호를 생성하는 단계; 를 포함하되, 상기 제1 측 전달 함수 및 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 제1측 HRTF(Head Related Transfer Function)를 제2 측 HRTF로 나눈 양이간 전달 함수(Interaural Transfer Function, ITF)를 변형하여 생성되는 오디오 신호 처리 방법이 제공된다.
본 발명의 실시예에 따르면, 낮은 연산량으로 고품질의 바이노럴 사운드를 제공할 수 있다.
또한 본 발명의 실시예에 따르면, 바이노럴 렌더링 시 발생할 수 있는 음성 정위의 열화 및 음질 저하를 방지할 수 있다.
또한 본 발명의 실시예에 따르면, 효율적인 연산을 통해 유저 또는 객체의 움직임을 반영한 바이노럴 렌더링 처리가 가능하다.
도 1은 본 발명의 실시예에 따른 오디오 신호 처리 장치를 나타내는 블록도.
도 2는 본 발명의 실시예에 따른 바이노럴 렌더러를 나타내는 블록도.
도 3은 본 발명의 일 실시예에 따른 방향 렌더러를 나타낸 블록도.
도 4는 본 발명의 일 실시예에 따른 MITF(Modified ITF) 생성 방법을 나타낸 도면.
도 5는 본 발명의 다른 실시예에 따른 MITF 생성 방법을 나타낸 도면.
도 6은 본 발명의 다른 실시예에 따른 바이노럴 파라메터 생성 방법을 나타낸 도면.
도 7은 본 발명의 다른 실시예에 따른 방향 렌더러를 나타낸 블록도.
도 8은 본 발명의 또 다른 실시예에 따른 MITF 생성 방법을 나타낸 도면.
본 명세서에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도, 관례 또는 새로운 기술의 출현 등에 따라 달라질 수 있다. 또한 특정 경우는 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 발명의 설명 부분에서 그 의미를 기재할 것이다. 따라서 본 명세서에서 사용되는 용어는, 단순한 용어의 명칭이 아닌 그 용어가 가진 실질적인 의미와 본 명세서의 전반에 걸친 내용을 토대로 해석되어야 함을 밝혀두고자 한다.
도 1은 본 발명의 실시예에 따른 오디오 신호 처리 장치를 나타낸 블록도이다. 도 1을 참조하면, 오디오 신호 처리 장치(10)는 바이노럴 렌더러(100), 바이노럴 파라메터 컨트롤러(200) 및 퍼스널라이저(300)를 포함할 수 있다.
먼저, 바이노럴 렌더러(100)는 입력 오디오를 수신하고, 이에 대한 바이노럴 렌더링을 수행하여 2채널 출력 오디오 신호 L, R을 생성한다. 바이노럴 렌더러(100)의 입력 오디오 신호는 오브젝트 신호 및 채널 신호 중 적어도 하나를 포함할 수 있다. 이때, 입력 오디오 신호는 1개의 오브젝트 신호 또는 모노 신호일 수도 있고, 멀티 오브젝트 또는 멀티 채널 신호일 수도 있다. 일 실시예에 따르면, 바이노럴 렌더러(100)가 별도의 디코더를 포함할 경우, 바이노럴 렌더러(100)의 입력 신호는 상기 오디오 신호의 부호화된 비트스트림이 될 수 있다.
바이노럴 렌더러(100)의 출력 오디오 신호는 바이노럴 신호로서, 각 입력 오브젝트/채널 신호가 3차원상에 위치한 가상의 음원에 의해 표현되도록 하는 2채널의 오디오 신호이다. 바이노럴 렌더링은 바이노럴 파라메터 컨트롤러(200)로부터 제공된 바이노럴 파라메터를 기초로 수행되며, 시간 도메인 또는 주파수 도메인 상에서 수행될 수 있다. 이와 같이, 바이노럴 렌더러(100)는 다양한 타입의 입력 신호에 대한 바이노럴 렌더링을 수행하여 3D 오디오 헤드폰 신호(즉, 3D 오디오 2채널 신호)를 생성한다
일 실시예에 따르면, 바이노럴 렌더러(100)의 출력 오디오 신호에 대한 포스트 프로세싱이 추가로 수행될 수 있다. 포스트 프로세싱에는 크로스톡 제거, DRC(Dynamic Range Control), 음량 정규화, 피크 제한 등이 포함될 수 있다. 또한, 포스트 프로세싱은 바이노럴 렌더러(100)의 출력 오디오 신호에 대한 주파수/시간 도메인 변환을 포함할 수 있다. 오디오 신호 처리 장치(10)는 포스트 프로세싱을 수행하는 별도의 포스트 프로세싱부를 포함할 수 있으며, 다른 실시예에 따르면 포스트 프로세싱부는 바이노럴 렌더러(100)에 포함될 수도 있다.
바이노럴 파라메터 컨트롤러(200)는 바이노럴 렌더링을 위한 바이노럴 파라메터를 생성하여 이를 바이노럴 렌더러(100)에 전달한다. 이때, 전달되는 바이노럴 파라메터에는 후술하는 다양한 실시예와 같이, 동측(ipsilateral) 전달 함수 및 대측(contralateral) 전달 함수를 포함한다. 이때, 전달 함수는 HRTF(Head Related Transfer Function), ITF(Interaural Transfer Function), MITF(Modified ITF), BRTF(Binaural Room Transfer Function), RIR(Room Impulse Response), BRIR(Binaural Room Impulse Response), HRIR(Head Related Impulse Response) 및 이의 변형 및 편집 된 데이터 중 적어도 하나를 포함할 수 있으며, 본 발명은 이에 한정되지 않는다.
상기 전달함수는 무향실에서 측정된 것일 수 있으며, 시뮬레이션으로 추정된 HRTF에 관한 정보를 포함할 수 있다. HRTF를 추정하는데 사용되는 시뮬레이션 기법은 구형 헤드 모델(Spherical Head Model, SHM), 스노우맨 모델(snowman model), 유한 차이 시간 영역 기법(Finite-Difference Time-Domain Method, FDTDM) 및 경계 요소법(Boundary Element Method, BEM) 중 적어도 하나일 수 있다. 이때, 구형 헤드 모델은 사람의 머리가 구라고 가정하여 시뮬레이션하는 시뮬레이션 기법을 나타낸다. 또한, 스노우맨 모델은 머리와 몸통을 구로 가정하여 시뮬레이션하는 시뮬레이션 기법을 나타낸다.
바이노럴 파라메터 컨트롤러(200)는 데이터베이스(미도시)로부터 상기 전달 함수를 획득할 수도 있으며, 개인화된(personalized) 전달 함수를 퍼스널라이저(300)로부터 수신할 수도 있다. 본 발명에서는 전달함수는 IR(Impulse Response)을 고속 푸리에 변환(Fast Fourier Transform) 한 것으로 전제하나, 본 발명에서 변환의 방법은 이에 한정되지 않는다. 즉 본 발명의 실시예에 따르면, 변환 방법은 QMF(Quadratic Mirror Filterbank), 이산 코사인 변환(Discrete Cosine Transform, DCT), 이산 사인 변환(Discrete Sine Transform, DST), Wavelet 등을 포함한다.
본 발명의 실시예에 따르면, 바이노럴 파라메터 컨트롤러(200)는 동측 전달 함수 및 대측 전달 함수를 생성하고, 생성된 전달 함수를 바이노럴 렌더러(100)에 전달한다. 일 실시예에 따르면, 동측 전달 함수 및 대측 전달 함수는 각각 동측 원형(prototype) 전달 함수 및 대측 원형 전달 함수를 변형하여 생성될 수 있다. 또한, 바이노럴 파라메터는 ILD(Interaural Level Difference), ITD(Interaural Time Difference), FIR(Finite Impulse Response) 필터 계수, IIR(Infinite Impulse Response) 필터 계수 등을 더 포함할 수 있다. 본 발명에서 ILD 및 ITD는 양이간 파라메터로도 지칭될 수 있다.
한편, 본 발명의 실시예에서 전달 함수는 필터 계수와 상호 치환 가능한 용어로 사용된다. 또한, 원형 전달 함수는 원형 필터 계수와 상호 치환 가능한 용어로 사용된다. 따라서, 동측 전달 함수 및 대측 전달 함수는 각각 동측 필터 계수 및 대측 필터 계수를 나타낼 수 있으며, 동측 원형 전달 함수 및 대측 원형 전달 함수는 각각 동측 원형 필터 계수 및 대측 원형 필터 계수를 나타낼 수 있다.
일 실시예에 따르면, 바이노럴 파라메터 컨트롤러(200)는 퍼스널라이저(300)로부터 획득된 개인화된 정보에 기초하여 바이노럴 파라메터를 생성할 수 있다. 퍼스널라이저(300)는 유저에 따라 서로 다른 바이노럴 파라메터를 적용하기 위한 부가 정보를 획득하고, 획득된 부가 정보에 기초하여 결정된 바이노럴 전달 함수를 제공한다. 예를 들어, 퍼스널라이저(300)는 유저의 신체적 특징 정보에 기초하여, 해당 유저를 위한 바이노럴 전달 함수(이를테면, 개인화된 HRTF)를 데이터베이스로부터 선택할 수 있다. 이때, 신체적 특징 정보는 귓바퀴의 모양 및 크기, 외이도의 형태, 두개골의 크기 및 유형, 체형, 체중 등의 정보를 포함할 수 있다.
퍼스널라이저(300)는 결정된 바이노럴 전달 함수를 바이노럴 렌더러(100) 및/또는 바이노럴 파라메터 컨트롤러(200)에 제공한다. 일 실시예에 따르면, 바이노럴 렌더러(100)는 퍼스널라이저(300)에서 제공된 바이노럴 전달 함수를 이용하여 입력 오디오 신호에 대한 바이노럴 렌더링을 수행할 수 있다. 다른 실시예에 따르면, 바이노럴 파라메터 컨트롤러(200)는 퍼스널라이저(300)에서 제공된 바이노럴 전달 함수를 이용하여 바이노럴 파라메터를 생성하고, 생성된 바이노럴 파라메터를 바이노럴 렌더러(100)에 전달할 수 있다. 바이노럴 렌더러(100)는 바이노럴 파라메터 컨트롤러(200)로부터 획득된 바이노럴 파라메터에 기초하여 입력 오디오 신호에 대한 바이노럴 렌더링을 수행한다.
한편, 도 1은 본 발명의 오디오 신호 처리 장치(10)의 구성을 나타낸 일 실시예이며, 본 발명은 이에 한정되지 않는다. 이를테면, 본 발명의 오디오 신호 처리 장치(10)는 도 1에 도시된 구성 이외에 추가적인 구성을 더 포함할 수 있다. 또한, 도 1에 도시된 일부 구성 이를테면, 퍼스널라이저(300) 등은 오디오 신호 처리 장치(10)에서 생략될 수도 있다.
도 2는 본 발명의 실시예에 따른 바이노럴 렌더러를 나타내는 블록도이다. 도 2를 참조하면, 바이노럴 렌더러(100)는 방향 렌더러(120)와 거리 렌더러(140)를 포함한다. 본 발명의 실시예에서 오디오 신호 처리 장치란 도 2의 바이노럴 렌더러(100)를 나타내거나, 그 구성 요소인 방향 렌더러(120) 또는 거리 렌더러(140)를 가리킬 수 있다. 그러나 본 발명의 실시예에서 넓은 의미로의 오디오 신호 처리 장치는 바이노럴 렌더러(100)를 포함하는 도 1의 오디오 신호 처리 장치(10)를 가리킬 수 있다.
먼저, 방향 렌더러(120)는 입력 오디오 신호의 음원 방향을 정위(localizing)하는 방향 렌더링을 수행한다. 음원은 오브젝트 신호에 대응하는 오디오 오브젝트 또는 채널 신호에 대응하는 라우드 스피커를 나타낼 수 있다. 방향 렌더러(120)는 청자를 기준으로 한 음원의 방향을 식별하도록 하는 바이노럴 큐(binaural cue) 즉, 디렉션 큐(direction cue)를 입력 오디오 신호에 적용하여 방향 렌더링을 수행한다. 이때, 디렉션 큐는 양이(both ears)의 레벨차, 양이의 위상차, 스펙트럴 인벨로프(spectral envelope), 스펙트럴 노치(spectral notch), 피크 등을 포함한다. 방향 렌더러(120)는 동측 전달 함수, 대측 전달 함수 등의 바이노럴 파라메터를 이용하여 바이노럴 렌더링을 수행할 수 있다.
다음으로, 거리 렌더러(140)는 입력 오디오 신호의 음원 거리에 따른 효과를 반영하는 거리 렌더링을 수행한다. 거리 렌더러(140)는 청자를 기준으로 한 음원의 거리를 식별하도록 하는 디스턴스 큐(distance cue)를 입력 오디오 신호에 적용하여 거리 렌더링을 수행한다. 본 발명의 실시예에 따르면, 거리 렌더링은 음원의 거리 변화에 따른 음향 강도(sound intensity) 및 스펙트럴 형태(spectral shaping)의 변화를 입력 오디오 신호에 반영할 수 있다. 본 발명의 실시예에 따르면, 거리 렌더러(140)는 음원의 거리가 기 설정된 임계값 이하인지 여부에 기초하여 서로 다른 프로세싱을 수행할 수 있다. 만약 음원의 거리가 기 설정된 임계값을 초과할 경우에는 청자의 머리를 중심으로 하여 음원의 거리에 반비례하는 음향 강도가 적용될 수 있다. 그러나 음원의 거리가 기 설정된 임계값 이하일 경우에는 청자의 양 귀 각각을 기준으로 측정된 음원의 거리에 기초하여 별도의 거리 렌더링이 수행될 수 있다.
본 발명의 실시예에 따르면, 바이노럴 렌더러(100)는 입력 신호에 대한 방향 렌더링 및 거리 렌더링 중 적어도 하나를 수행하여 바이노럴 출력 신호를 생성한다. 바이노럴 렌더러(100)는 입력 신호에 대한 방향 렌더링 및 거리 렌더링을 순차적으로 수행할 수도 있으며, 방향 렌더링 및 거리 렌더링이 통합된 프로세싱을 수행할 수도 있다. 이하, 본 발명의 실시예에서는 방향 렌더링, 거리 렌더링 및 이들의 조합을 모두 포함하는 개념으로 바이노럴 렌더링 또는 바이노럴 필터링이라는 용어가 사용될 수 있다.
일 실시예에 따르면, 바이노럴 렌더러(100)는 입력 오디오 신호에 대한 방향 렌더링을 먼저 수행하여 2채널의 출력 신호 즉, 동측 출력 신호 D^I와 대측 출력 신호 D^C를 획득할 수 있다. 다음으로, 바이노럴 렌더러(100)는 2채널의 출력 신호 D^I 및 D^C에 대한 거리 렌더링을 수행하여 바이노럴 출력 신호 B^I, B^C를 생성할 수 있다. 이때, 방향 렌더러(120)의 입력 신호는 오브젝트 신호 및/또는 채널 신호이며, 거리 렌더러(140)의 입력 신호는 전처리 단계로 방향 렌더링이 수행된 2채널 신호 D^I 및 D^C이다.
다른 실시예에 따르면, 바이노럴 렌더러(100)는 입력 오디오 신호에 대한 거리 렌더링을 먼저 수행하여 2채널의 출력 신호 즉, 동측 출력 신호 d^I와 대측 출력 신호 d^C를 획득할 수 있다. 다음으로, 바이노럴 렌더러(100)는 2채널의 출력 신호 d^I 및 d^C에 대한 방향 렌더링을 수행하여 바이노럴 출력 신호 B^I, B^C를 생성할 수 있다. 이때, 거리 렌더러(140)의 입력 신호는 오브젝트 신호 및/또는 채널 신호이며, 방향 렌더러(120)의 입력 신호는 전처리 단계로 거리 렌더링이 수행된 2채널 신호 d^I 및 d^C이다.
도 3은 본 발명의 일 실시예에 따른 방향 렌더러(120-1)를 나타낸 블록도이다. 도 3을 참조하면, 방향 렌더러(120-1)는 동측 필터링부(122a)와 대측 필터링부(122b)를 포함한다. 방향 렌더러(120-1)는 동측 전달 함수 및 대측 전달 함수를 포함하는 바이노럴 파라메터를 수신하며, 입력 오디오 신호를 수신된 바이노럴 파라메터로 필터링하여 동측 출력 신호와 대측 출력 신호를 생성한다. 즉, 동측 필터링부(122a)는 입력 오디오 신호를 동측 전달 함수로 필터링하여 동측 출력 신호를 생성하며, 대측 필터링부(122b)는 입력 오디오 신호를 대측 전달 함수로 필터링하여 대측 출력 신호를 생성한다. 본 발명의 일 실시예에 따르면, 동측 전달 함수 및 대측 전달 함수는 각각 동측 HRTF 및 대측 HRTF일 수 있다. 즉, 방향 렌더러(120-1)는 입력 오디오 신호를 양쪽 귀에 대한 HRTF로 컨볼루션 함으로 해당 방향의 바이노럴 신호를 획득할 수 있다.
본 발명의 실시예에서, 동측/대측 필터링부(122a, 122b)는 각각 좌/우 채널 필터링부를 나타내거나, 우/좌 채널 필터링부를 나타낼 수 있다. 만약 입력 오디오 신호의 음원이 청자의 좌측에 위치할 경우, 동측 필터링부(122a)는 좌 채널 출력 신호를 생성하고, 대측 필터링부(122b)는 우 채널 출력 신호를 생성한다. 그러나 입력 오디오 신호의 음원이 청자의 우측에 위치할 경우, 동측 필터링부(122a)는 우 채널 출력 신호를 생성하고, 대측 필터링부(122b)는 좌 채널 출력 신호를 생성한다. 이와 같이, 방향 렌더러(120-1)는 동측/대측 필터링을 수행하여 2채널의 좌/우 출력 신호를 생성할 수 있다.
본 발명의 실시예에 따르면, 방향 렌더러(120-1)는 무향실의 특성이 바이노럴 신호에 반영되는 것을 방지하기 위해 HRTF 대신 양이간 전달 함수(Interaural Transfer Function, ITF), 변형된 양이간 전달 함수(Modified ITF, MITF) 또는 이들의 조합을 이용하여 입력 오디오 신호를 필터링할 수 있다. 이하, 본 발명의 다양한 실시예에 따른 전달 함수를 이용한 바이노럴 렌더링 방법에 대해 설명하도록 한다.
<ITF를 이용한 바이노럴 렌더링>
먼저, 방향 렌더러(120-1)는 ITF를 이용하여 입력 오디오 신호를 필터링할 수 있다. ITF는 아래 수학식 1과 같이 대측 HRTF를 동측 HRTF로 나눈 전달 함수로 정의될 수 있다.
Figure PCTKR2015013277-appb-M000001
여기서, k는 주파수 인덱스이며, H_I(k)는 주파수 k의 동측 HRTF, H_C(k)는 주파수 k의 대측 HRTF, I_I(k)는 주파수 k의 동측 ITF, I_C(k)는 주파수 k의 대측 ITF를 나타낸다.
즉, 본 발명의 실시예에 따르면 각 주파수 k에서의 I_I(k)의 값은 1(즉, 0dB)로 정의되며, I_C(k)는 해당 주파수 k의 H_C(k)를 H_I(k)로 나눈 값으로 정의된다. 방향 렌더러(120-1)의 동측 필터링부(122a)는 입력 오디오 신호를 동측 ITF로 필터링하여 동측 출력 신호를 생성하고, 대측 필터링부(122b)는 입력 오디오 신호를 대측 ITF로 필터링하여 대측 출력 신호를 생성한다. 이때, 수학식 1과 같이 동측 ITF가 1인 경우, 즉 동측 ITF가 시간 도메인에서 유닛 델타 함수이거나, 주파수 도메인에서 모든 이득값이 1인 경우 동측 필터링부(122a)는 입력 오디오 신호에 대한 필터링을 바이패스(bypass) 할 수 있다. 이와 같이, 동측 필터링은 바이패스하고, 대측 ITF로 입력 오디오 신호에 대한 대측 필터링을 수행함으로 ITF를 이용한 바이노럴 렌더링이 수행될 수 있다. 방향 렌더러(120-1)는 동측 필터링부(122a)의 연산을 생략함으로 연산량의 이득을 얻을 수 있다.
ITF는 동측 원형(prototype) 전달 함수와 대측 원형 전달 함수의 차이를 나타내는 함수이며, 청자는 양이 간(Interaural)의 전달 함수의 차이를 단서로 방향감을 인지할 수 있다. ITF의 처리 과정에서는 HRTF의 방(room) 특성이 상쇄되며, 따라서 HRTF를 이용한 렌더링에서 어색한 소리(주로 저음이 상실된 소리)가 나타나는 현상을 보완할 수 있다. 한편 본 발명의 다른 실시예에 따르면, I_C(k)가 1로 정의되고, I_I(k)는 해당 주파수 k의 H_I(k)를 H_C(k)로 나눈 값으로 정의될 수도 있다. 이때, 방향 렌더러(120-1)는 대측 필터링을 바이패스하고, 동측 ITF로 입력 오디오 신호에 대한 동측 필터링을 수행할 수 있다.
<MITF를 이용한 바이노럴 렌더링>
ITF를 이용하여 바이노럴 렌더링을 수행하면 L/R 페어 중 한 쪽 채널만 렌더링을 수행하면 되므로 연산량의 큰 이득을 얻게 된다. 그러나 ITF를 이용하면 HRTF의 스펙트럴 피크, 노치(notch) 등의 고유 특성이 상실되어 음상 정위의 열화가 발생할 수 있다. 또한, ITF의 분모가 되는 HRTF(상기 실시예에서 동측 HRTF)에 노치가 존재할 경우, 해당 ITF에는 밴드 폭이 좁은 스펙트럴 피크가 발생하여 톤 노이즈를 유발하는 문제가 있다. 따라서, 본 발명의 다른 실시예에 따르면 바이노럴 필터링을 위한 동측 전달 함수 및 대측 전달 함수는 입력 오디오 신호에 대한 ITF를 변형하여 생성될 수 있다. 방향 렌더러(120-1)는 변형된 ITF(즉, MITF)를 이용하여 입력 오디오 신호를 필터링할 수 있다.
도 4는 본 발명의 일 실시예에 따른 MITF(Modified ITF) 생성 방법을 나타낸 도면이다. MITF 생성부(220)는 도 1의 바이노럴 파라메터 컨트롤러(200)의 일 구성 요소이며, 동측 HRTF 및 대측 HRTF를 수신하여 동측 MITF 및 대측 MITF를 생성한다. MITF 생성부(220)에서 생성된 동측 MITF 및 대측 MITF는 각각 도 3의 동측 필터링부(122a) 및 대측 필터링부(122b)로 전달되어 동측 필터링 및 대측 필터링에 사용된다.
이하, 수학식을 참조로 본 발명의 다양한 실시예에 따른 MITF 생성 방법을 설명한다. 본 발명의 실시예에서 제1 측은 동측 및 대측 중 어느 하나를, 제2 측은 그 중 나머지 다른 하나를 나타낸다. 본 발명은 편의상 제1 측을 동측, 제2 측을 대측으로 가정하여 설명되지만, 제1 측이 대측, 제2 측이 동측인 경우에도 동일하게 실시 가능하다. 즉, 본 발명의 각 수식 및 실시예들은 동측과 대측을 서로 치환하여서도 사용 가능하다. 예를 들어, 동측 HRTF를 대측 HRTF로 나누어서 동측 MITF를 획득하는 연산은, 대측 HRTF를 동측 HRTF로 나누어서 대측 MITF를 획득하는 연산으로 치환될 수 있다.
또한, 이하의 실시예들에서 MITF는 원형 전달 함수 HRTF를 이용하여 생성된다. 그러나 본 발명의 실시예에 따르면 HRTF가 아닌 다른 원형 전달 함수 즉, 다른 바이노럴 파라메터가 MITF의 생성에 이용될 수도 있다.
(MITF 제1 방법 - 조건부 동측 필터링)
본 발명의 제1 실시예에 따르면, 특정 주파수 인덱스 k에서 대측 HRTF의 값이 동측 HRTF의 값보다 큰 경우, MITF는 동측 HRTF를 대측 HRTF로 나눈 값에 기초하여 생성될 수 있다. 즉, 동측 HRTF의 노치 성분으로 인해 동측 HRTF와 대측 HRTF의 크기(magnitude)가 역전되는 경우, ITF의 연산과 반대로 동측 HRTF를 대측 HRTF로 나누어서 스펙트럴 피크 발생을 방지할 수 있다. 더욱 구체적으로, 주파수 인덱스 k에 대하여 동측 HRTF를 H_I(k), 대측 HRTF를 H_C(k), 동측 MITF를 M_I(k), 대측 MITF를 M_C(k)라고 할 때, 동측 및 대측 MITF는 다음 수학식 2와 같이 생성될 수 있다.
Figure PCTKR2015013277-appb-M000002
즉, 제1 실시예에 따르면 특정 주파수 인덱스 k에서 H_I(k)의 값이 H_C(k)의 값보다 작은 경우(즉, 노치 영역인 경우), M_I(k)는 H_I(k)를 H_C(k)로 나눈 값으로 결정되며 M_C(k)의 값은 1로 결정된다. 그러나 H_I(k)의 값이 H_C(k)의 값보다 작지 않을 경우, M_I(k)의 값은 1로 결정되고 M_C(k)의 값은 H_C(k)를 H_I(k)로 나눈 값으로 결정된다.
(MITF 제2 방법 - 절단)
본 발명의 제2 실시예에 따르면, 특정 주파수 인덱스 k에서 ITF의 분모가 되는 HRTF 즉, 동측 HRTF에 노치 성분이 있는 경우, 해당 주파수 인덱스 k에서의 동측 및 대측 MITF의 값은 1로(즉, 0dB로) 설정될 수 있다. MITF 생성 방법의 제2 실시예를 수식적으로 나타내면 아래 수학식 3과 같다.
Figure PCTKR2015013277-appb-M000003
즉, 제2 실시예에 따르면 특정 주파수 인덱스 k에서 H_I(k)의 값이 H_C(k)의 값보다 작은 경우(즉, 노치 영역인 경우), M_I(k) 및 M_C(k)의 값은 1로 설정될 수 있다. 그러나 H_I(k)의 값이 H_C(k)의 값보다 작지 않을 경우, 동측 및 대측 MITF는 각각 동측 및 대측 ITF와 동일하게 설정될 수 있다. 즉, MITF M_I(k)의 값은 1로 결정되고 M_C(k)의 값은 H_C(k)를 H_I(k)로 나눈 값으로 결정된다.
(MITF 제3 방법 - 스케일링)
본 발명의 제3 실시예에 따르면, 노치 성분이 있는 HRTF에 대해 가중치를 반영하여 노치의 깊이를 줄일 수 있다. ITF의 분모가 되는 HRTF 즉, 동측 HRTF의 노치 성분에 대해 1보다 큰 가중치를 반영하기 위해 가중치 함수 w(k)가 수학식 4와 같이 적용될 수 있다.
Figure PCTKR2015013277-appb-M000004
여기서 *는 곱셈을 의미한다. 즉, 제3 실시예에 따르면, 특정 주파수 인덱스 k에서 H_I(k)의 값이 H_C(k)의 값보다 작은 경우(즉, 노치 영역인 경우), M_I(k)의 값은 1로 결정되고 M_C(k)의 값은 H_C(k)를 w(k)와 H_I(k)의 곱으로 나눈 값으로 결정된다. 그러나 H_I(k)의 값이 H_C(k)의 값보다 작지 않을 경우, M_I(k)의 값은 1로 결정되고 M_C(k)의 값은 H_C(k)를 H_I(k)로 나눈 값으로 결정된다. 즉, 가중치 함수 w(k)는 H_I(k)의 값이 H_C(k)의 값보다 작은 경우에 적용된다. 일 실시예에 따르면, 가중치 함수 w(k)는 동측 HRTF의 노치 깊이가 깊을수록 즉, 동측 HRTF의 값이 작을수록 큰 값을 갖도록 설정될 수 있다. 다른 실시예에 따르면, 가중치 함수 w(k)는 동측 HRTF의 값과 대측 HRTF의 값의 차이가 클수록 큰 값을 갖도록 설정될 수 있다.
상기 제1, 제2 및 제3 실시예의 조건 부분은 특정 주파수 인덱스 k에서 H_I(k)의 값이 H_C(k) 값의 일정 비율(α) 보다 작은 경우로 확장될 수 있다. 즉, H_I(k)의 값이 α*H_C(k) 값보다 작은 경우, 동측 및 대측 MITF는 각 실시예의 조건문 안의 수식에 기초하여 생성될 수 있다. 그러나 H_I(k)의 값이 α*H_C(k) 값보다 작지 않을 경우, 동측 및 대측 MITF는 각각 동측 및 대측 ITF와 동일하게 설정될 수 있다. 또한 상기 제1, 제2 및 제3 실시예의 조건 부분은 특정 주파수 대역에 한정되어 사용될 수 있으며 상기 일정 비율(α)은 주파수 대역에 따라 서로 다른 값이 적용 될 수도 있다.
(MITF 제4-1 방법 - 노치 분리)
본 발명의 제4 실시예에 따르면, HRTF의 노치 성분을 따로 분리하고, 분리된 노치 성분에 기초하여 MITF가 생성될 수 있다. 도 5는 본 발명의 제4 실시예에 따른 MITF 생성 방법을 나타낸 도면이다. MITF 생성부(220-1)는 HRTF 분리부(222) 및 노멀라이제이션부(224)를 더 포함할 수 있다. HRTF 분리부(222)는 원형 전달 함수 즉, HRTF를 HRTF 인벨로프(envelope) 성분과 HRTF 노치(notch) 성분으로 분리한다.
본 발명의 실시예에 따르면, HRTF 분리부(222)는 ITF의 분모가 되는 HRTF 즉, 동측 HRTF를 HRTF 인벨로프 성분과 HRTF 노치 성분으로 분리하고, 분리된 동측 HRTF 인벨로프 성분과 동측 HRTF 노치 성분에 기초하여 MITF가 생성될 수 있다. MITF 생성 방법의 제4 실시예를 수식으로 나타내면 아래 수학식 5와 같다.
Figure PCTKR2015013277-appb-M000005
여기서, k는 주파수 인덱스이며, H_I_notch(k)는 동측 HRTF 노치 성분, H_I_env(k)는 동측 HRTF 인벨로프 성분, H_C_notch(k)는 대측 HRTF 노치 성분, H_C_env(k)는 대측 HRTF 인벨로프 성분을 나타낸다. *는 곱셈을 나타내며, H_C_notch(k)*H_C_env(k)는 분리되지 않은 대측 HRTF H_C(k)로 대체될 수 있다.
즉, 제4 실시예에 따르면, M_I(k)는 동측 HRTF로부터 추출된 노치 성분 H_I_notch(k) 값으로 결정되고, M_C(k)는 대측 HRTF H_C(k)를 동측 HRTF로부터 추출된 인벨로프 성분 H_I_env(k)로 나눈 값으로 결정된다. 도 5를 참조하면, HRTF 분리부(222)는 동측 HRTF로부터 동측 HRTF 인벨로프 성분을 추출하고, 동측 HRTF의 잔여 성분 즉, 노치 성분을 동측 MITF로서 출력한다. 또한, 노멀라이제이션부(224)는 동측 HRTF 인벨로프 성분과 대측 HRTF를 수신하고, 상기 수학식 5의 실시예에 따라 대측 MITF를 생성하여 출력한다.
스펙트럴 노치의 경우 일반적으로 외이의 특정 위치에 반사가 일어남으로 인해 발생하며, HRTF의 스펙트럴 노치는 고도감 인지에 큰 기여를 한다. 일반적으로 노치는 스펙트럼 도메인에서 빠르게 변화하는 특징을 갖는다. 반면에, ITF가 나타내는 바이노럴 큐는 스펙트럼 도메인에서 천천히 변화하는 특징을 갖는다. 따라서, 본 발명의 일 실시예에 따르면 HRTF 분리부(222)는 켑스트럼(cepstrum)을 이용한 동형 신호 처리(homomorphic signal processing) 또는 웨이브 인터폴레이션(wave interpolation)을 사용하여 HRTF의 노치 성분을 분리할 수 있다.
예를 들어, HRTF 분리부(222)는 동측 HRTF의 켑스트럼에 윈도잉을 수행하여 동측 HRTF 인벨로프 성분을 획득할 수 있다. MITF 생성부(200)는 동측 HRTF와 대측 HRTF를 각각 상기 동측 HRTF 인벨로프 성분으로 나누어 줌으로 스펙트럴 컬러레이션(coloration)이 제거된 동측 MITF를 생성할 수 있다. 한편, 본 발명의 추가적인 실시예에 따르면, HRTF 분리부(222)는 올-폴 모델링(all-pole modeling), 폴-제로 모델링(pole-zero modeling), 그룹 딜레이 함수(group delay function) 등을 이용하여 HRTF의 노치 성분을 분리할 수도 있다.
한편 본 발명의 추가적인 실시예에 따르면, H_I_notch(k)를 FIR 필터 계수 또는 IIR 필터 계수로 근사하고, 근사된 필터 계수가 바이노럴 렌더링의 동측 전달 함수로 사용될 수 있다. 즉, 방향 렌더러의 동측 필터링부는 입력 오디오 신호를 상기 근사된 필터 계수로 필터링하여 동측 출력 신호를 생성할 수 있다.
(MITF 제4-2 방법 - 노치 분리/다른 고도각 HRTF 사용)
본 발명의 추가적인 실시예에 따르면, 특정 각도의 MITF 생성을 위해 입력 오디오 신호와 다른 방향을 갖는 HRTF 인벨로프 성분이 사용될 수 있다. 예를 들어, MITF 생성부(200)는 수평면 상의(즉, 고도각 0의) HRTF 인벨로프 성분으로 다른 HRTF 쌍(동측 HRTF, 대측 HRTF)을 정규화 함으로 수평면 상에 위치한 전달 함수들을 평탄한 스펙트럼을 갖는 MITF로 구현할 수 있다. 본 발명의 일 실시예에 따르면, MITF는 아래 수학식 6의 방법으로 생성될 수 있다.
Figure PCTKR2015013277-appb-M000006
여기서, k는 주파수 인덱스, θ는 고도각, Φ는 방위각을 나타낸다.
즉, 고도각 θ 및 방위각 Φ의 동측 MITF M_I(k, θ, Φ)는 해당 고도각 θ 및 방위각 Φ의 동측 HRTF로부터 추출된 노치 성분 H_I_notch(k, θ, Φ)으로 결정되고, 대측 MITF M_C(k, θ, Φ)는 해당 고도각 θ 및 방위각 Φ의 대측 HRTF H_C(k, θ, Φ)를 고도각 0 및 방위각 Φ의 동측 HRTF로부터 추출된 인벨로프 성분 H_I_env(k, 0, Φ)으로 나눈 값으로 결정될 수 있다. 본 발명의 다른 실시예에 따르면, MITF는 아래 수학식 7의 방법으로도 생성될 수 있다.
Figure PCTKR2015013277-appb-M000007
즉, 고도각 θ 및 방위각 Φ의 동측 MITF M_I(k, θ, Φ)는 해당 고도각 θ 및 방위각 Φ의 동측 HRTF H_I(k, θ, Φ)를 상기 H_I_env(k, 0, Φ)으로 나눈 값으로 결정되고, 대측 MITF M_C(k, θ, Φ)는 해당 고도각 θ 및 방위각 Φ의 대측 HRTF H_C(k, θ, Φ)을 상기 H_I_env(k, 0, Φ)으로 나눈 값으로 결정될 수 있다. 수학식 6 및 수학식 7에서는 MITF 생성을 위해 동일 방위각 및 다른 고도각(즉, 고도각 0)의 HRTF 인벨로프 성분이 이용되는 것을 예시하였다. 그러나 본 발명은 이에 한정되지 않으며 다른 방위각 및/또는 다른 고도각의 HRTF 인벨로프 성분을 이용하여 MITF가 생성될 수 있다.
(MITF 제5 방법 - 노치 분리 2)
본 발명의 제5 실시예에 따르면, 공간/주파수 축으로 표현되는 웨이브 인터폴레이션을 사용하여 MITF가 생성될 수 있다. 예를 들어, HRTF는 고도각/주파수 축 또는 방위각/주파수 축의 3차원으로 표현되는 SEW(slowly evolving waveform)와 REW(rapidly evolving waveform)로 분리될 수 있다. 이때, 바이노럴 렌더링을 위한 바이노럴 큐(예. ITF, 양이간 파라메터)는 SEW에서, 노치 성분은 REW에서 추출될 수 있다.
본 발명의 실시예에 따르면, 방향 렌더러는 SEW에서 추출된 바이노럴 큐를 이용하여 바이노럴 렌더링을 수행하고, REW에서 추출된 노치 성분을 각 채널(동측 채널/대측 채널)에 직접 적용하여 톤 노이즈를 억제할 수 있다. 공간/주파수 도메인의 웨이브 인터폴레이션에서 SEW와 REW를 분리하기 위해, 동형 신호 프로세싱, 로우/하이 패스 필터링 등의 방법이 사용될 수 있다.
(MITF 제6 방법 - 노치 분리 3)
본 발명의 제6 실시예에 따르면, 원형 전달 함수의 노치 영역에서는 해당 원형 전달 함수가 바이노럴 필터링에 사용되고, 노치 영역이 아닌 경우 전술한 실시예들에 따른 MITF가 바이노럴 필터링에 사용될 수 있다. 이를 수식으로 나타내면 아래 수학식 8과 같다.
Figure PCTKR2015013277-appb-M000008
여기서, M’_I(k) 및 M’_C(k)는 각각 제6 실시예에 따른 동측 및 대측 MITF를 나타내며, M_I(k) 및 M_C(k)는 전술한 실시예들 중 어느 하나에 따른 동측 및 대측 MITF를 나타낸다. H_I(k) 및 H_C(k)는 원형 전달 함수인 동측 및 대측 HRTF를 나타낸다. 즉, 동측 HRTF의 노치 성분이 포함된 주파수 대역의 경우, 동측 HRTF 및 대측 HRTF가 각각 바이노럴 렌더링의 동측 전달 함수 및 대측 전달 함수로 사용된다. 또한, 동측 HRTF의 노치 성분이 포함되지 않은 주파수 대역의 경우, 동측 MITF 및 대측 MITF가 각각 바이노럴 렌더링의 동측 전달 함수 및 대측 전달 함수로 사용된다. 노치 영역의 분리를 위해, 전술한 바와 같이 올-폴 모델링(all-pole modeling), 폴-제로 모델링(pole-zero modeling), 그룹 딜레이 함수(group delay function) 등이 사용될 수 있다. 본 발명의 추가적인 실시예에 따르면, 노치 영역과 비 노치 영역의 경계에서 급격한 스펙트럼 변화에 의한 음질 열화를 방지하기 위하여 로우 패스 필터링과 같은 스무딩(smoothing) 기법들이 사용될 수 있다.
(MITF 제7 방법 - 낮은 복잡도의 노치 분리)
본 발명의 제7 실시예에 따르면, HRTF 분리의 잔여 성분 즉, 노치 성분은 보다 간단한 연산으로 처리될 수 있다. 일 실시예에 따르면, HRTF 잔여 성분은 FIR 필터 계수 또는 IIR 필터 계수로 근사 되고, 근사된 필터 계수가 바이노럴 렌더링의 동측 및/또는 대측 전달 함수로 사용될 수 있다. 도 6은 본 발명의 제7 실시예에 따른 바이노럴 파라메터 생성 방법을 나타낸 도면이며, 도 7은 본 발명의 제7 실시예에 따른 방향 렌더러를 나타낸 블록도이다.
먼저 도 6은 본 발명의 실시예에 따른 바이노럴 파라메터 생성부(220-2)를 나타내고 있다. 도 6을 참조하면, 바이노럴 파라메터 생성부(220-2)는 HRTF 분리부(222a, 222b), 양이간 파라메터 산출부(225) 및 노치 파라메터화부(226a, 226b)를 포함할 수 있다. 일 실시예에 따르면, 바이노럴 파라메터 생성부(220-2)는 도 4 및 도 5의 MITF 생성부를 대체하는 구성으로 사용될 수 있다.
먼저, HRTF 분리부(222a, 222b)는 입력된 HRTF를 HRTF 인벨로프 성분과 HRTF 잔여 성분으로 분리한다. 제1 HRTF 분리부(222a)는 동측 HRTF를 수신하고, 이를 동측 HRTF 인벨로프 성분과 동측 HRTF 잔여 성분으로 분리한다. 제2 HRTF 분리부(222b)는 대측 HRTF를 수신하고, 이를 대측 HRTF 인벨로프 성분과 대측 HRTF 잔여 성분으로 분리한다. 양이간 파라메터 산출부(225)는 동측 HRTF 인벨로프 성분 및 대측 HRTF 인벨로프 성분을 수신하고, 이를 이용하여 양이간 파라메터를 생성한다. 양이간 파라메터는 ILD(Interaural Level Difference) 및 ITD(Interaural Time Difference)를 포함한다. 이때, ILD는 양이간 전달 함수의 크기에 대응되며, ITD는 양이간 전달 함수의 위상(혹은, 시간 도메인에서의 시간차)에 대응될 수 있다.
한편, 노치 파라메터화부(226a, 226b)는 HRTF 잔여 성분을 수신하고, 이를 IR(Impulse Response) 필터 계수로 근사 한다. HRTF 잔여 성분은 HRTF 노치 성분을 포함할 수 있으며, IR 필터는 FIR 필터 및 IIR 필터를 포함한다. 제1 노치 파라메터화부(226a)는 동측 HRTF 잔여 성분을 수신하고, 이를 이용하여 동측 IR 필터 계수를 생성한다. 제2 노치 파라메터화부(226b)는 대측 HRTF 잔여 성분을 수신하고, 이를 이용하여 대측 IR 필터 계수를 생성한다.
이와 같이, 바이노럴 파라메터 생성부(220-2)에 의해 생성된 바이노럴 파라메터는 방향 렌더러로 전달된다. 상기 바이노럴 파라메터는 양이간 파라메터, 동측/대측 IR 필터 계수를 포함한다. 이때, 양이간 파라메터는 ILD 및 ITD를 적어도 포함한다.
도 7은 본 발명의 실시예에 따른 방향 렌더러(120-2)를 나타낸 블록도이다. 도 7을 참조하면, 방향 렌더러(120-2)는 인벨로프 필터링부(125) 및 동측/대측 노치 필터링부(126a 126b)를 포함할 수 있다. 일 실시예에 따르면, 동측 노치 필터링부(126a)는 도 2의 동측 필터링부(122a)를 대체하는 구성으로 사용될 수 있으며, 인벨로프 필터링부(125) 및 대측 노치 필터링부(126b)는 도 2의 대측 필터링부(122b)를 대체하는 구성으로 사용될 수 있다.
먼저, 인벨로프 필터링부(125)는 양이간 파라메터를 수신하고, 수신된 양이간 파라메터에 기초하여 입력 오디오 신호를 필터링 하여 동측/대측 간의 인벨로프 차이를 반영한다. 도 7의 실시예에 따르면, 인벨로프 필터링부(125)는 대측 신호를 위한 필터링을 수행할 수 있으나, 본 발명은 이에 한정되지 않는다. 즉, 다른 실시예에 따르면 인벨로프 필터링부(125)는 동측 신호를 위한 필터링을 수행할 수도 있다. 인벨로프 필터링부(125)가 대측 신호를 위한 필터링을 수행할 경우, 양이간 파라메터는 동측 인벨로프를 기준으로 한 대측 인벨로프의 상대적인 정보를 나타낼 수 있으며, 인벨로프 필터링부(125)가 동측 신호를 위한 필터링을 수행할 경우, 양이간 파라메터는 대측 인벨로프를 기준으로 한 동측 인벨로프의 상대적인 정보를 나타낼 수 있다.
다음으로, 노치 필터링부(126a, 126b)는 동측/대측 신호에 대한 필터링을 수행하여 각각 동측/대측 전달 함수의 노치를 반영한다. 제1 노치 필터링부(126a)는 입력 오디오 신호를 동측 IR 필터 계수로 필터링하여 동측 출력 신호를 생성한다. 제2 노치 필터링부(126b)는 인벨로프 필터링이 수행된 입력 오디오 신호를 대측 IR 필터 계수로 필터링하여 대측 출력 신호를 생성한다. 도 7의 실시예에서는 인벨로프 필터링이 노치 필터링보다 먼저 수행되는 것으로 도시되었으나, 본 발명은 이에 한정하지 않는다. 본 발명의 다른 실시예에 따르면, 입력 오디오 신호에 대한 동측/대측 노치 필터링이 먼저 수행된 후, 동측 또는 대측 신호에 대한 인벨로프 필터링이 수행될 수 있다.
이와 같이, 도 7의 실시예에 따르면, 방향 렌더러(120-2)는 동측 노치 필터링부(126a)를 이용하여 동측 필터링을 수행할 수 있다. 또한, 방향 렌더러(120-2)는 인벨로프 필터링부(125) 및 대측 노치 필터링부(126b)를 이용하여 대측 필터링을 수행할 수 있다. 이때, 동측 필터링에 사용되는 동측 전달 함수는 동측 HRTF의 노치 성분에 기초하여 생성된 IR 필터 계수를 포함한다. 또한, 대측 필터링에 사용되는 대측 전달 함수는 대측 HRTF의 노치 성분에 기초하여 생성된 IR 필터 계수 및 양이간 파라메터를 포함한다. 여기서, 양이간 파라메터는 동측 HRTF의 인벨로프 성분과 대측 HRTF의 인벨로프 성분에 기초하여 생성된다.
(MITF 제8 방법 - 하이브리드 ITF)
본 발명의 제8 실시예에 따르면, 전술한 ITF 및 MITF 중 두 개 이상이 조합된 하이브리드 ITF(HITF)가 사용될 수 있다. 본 발명의 실시예에서 HITF는 적어도 하나의 주파수 대역에서 사용되는 전달 함수가 다른 주파수 대역에서 사용되는 전달 함수와 다른 양이간 전달 함수를 나타낸다. 즉, 제1 주파수 대역과 제2 주파수 대역에서 각각 서로 다른 전달 함수에 기초하여 생성된 동측 및 대측 전달 함수가 사용될 수 있다. 본 발명의 일 실시예에 따르면, 제1 주파수 대역의 바이노럴 렌더링에는 ITF가, 제2 주파수 대역의 바이노럴 렌더링에는 MITF가 사용될 수 있다.
더욱 구체적으로, 저주파 대역의 경우 양이 레벨, 양이 위상 차이 등이 음상 정위에 중요한 요소이며, 고주파 대역의 경우 스펙트럴 인벨로프, 특정 노치, 피크 등이 음상 정위의 중요한 단서가 된다. 따라서 이를 효과적으로 반영하기 위해 저주파 대역의 동측 및 대측 전달 함수는 ITF에 기초하여 생성되고, 고주파 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성될 수 있다. 이를 수식으로 나타내면 아래 수학식 9와 같다.
Figure PCTKR2015013277-appb-M000009
여기서, k는 주파수 인덱스, C0는 임계 주파수 인덱스이며, h_I(k) 및 h_C(k)는 각각 본 발명의 실시예에 따른 동측 및 대측 HITF를 나타낸다. 또한, I_I(k) 및 I_C(k)는 각각 동측 및 대측 ITF를 나타내며, M_I(k) 및 M_C(k)는 각각 전술한 실시예들 중 어느 하나에 따른 동측 및 대측 MITF를 나타낸다.
즉, 본 발명의 일 실시예에 따르면, 주파수 인덱스가 임계 주파수 인덱스보다 낮은 제1 주파수 대역의 동측 및 대측 전달 함수는 ITF에 기초하여 생성되고, 주파수 인덱스가 임계 주파수 인덱스보다 높거나 같은 제2 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성된다. 일 실시예에 따르면, 임계 주파수 인덱스 C0는 500Hz 내지 2kHz 사이의 특정 주파수를 가리킬 수 있다.
한편 본 발명의 다른 실시예에 따르면, 저주파 대역의 동측 및 대측 전달 함수는 ITF에 기초하여 생성되고, 고주파 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성되며, 저주파 대역과 고주파 대역 사이의 중간 주파수 대역의 동측 및 대측 전달 함수는 ITF와 MITF의 선형 결합에 기초하여 생성될 수 있다. 이를 수식으로 나타내면 아래 수학식 10과 같다.
Figure PCTKR2015013277-appb-M000010
여기서, C1은 제1 임계 주파수 인덱스를, C2는 제2 임계 주파수 인덱스를 나타낸다. 또한, g1(k) 및 g2(k)는 각각 주파수 인덱스 k에서 ITF 및 MITF에 대한 게인(gain)을 나타낸다.
즉, 본 발명의 다른 실시예에 따르면, 주파수 인덱스가 제1 임계 주파수 인덱스보다 낮은 제1 주파수 대역의 동측 및 대측 전달 함수는 ITF에 기초하여 생성되며, 주파수 인덱스가 제2 임계 주파수 인덱스보다 높은 제2 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성된다. 또한, 주파수 인덱스가 제1 임계 주파수 인덱스와 제2 주파수 인덱스 사이에 있는 제3 주파수 대역의 동측 및 대측 전달 함수는 ITF와 MITF의 선형 결합에 기초하여 생성된다. 다만, 본 발명은 이에 한정되지 않으며, 제3 주파수 대역의 동측 및 대측 전달 함수는 ITF와 MITF의 로그 결합, 스플라인(spline) 결합, 라그랑주(lagrange) 결합 중 적어도 하나에 기초하여 생성될 수도 있다.
일 실시예에 따르면, 제1 임계 주파수 인덱스 C1은 500Hz 내지 1kHz 사이의 특정 주파수를 가리킬 수 있으며, 제2 임계 주파수 인덱스 C2는 1kHz 내지 2kHz 사이의 특정 주파수를 가리킬 수 있다. 또한, 에너지 보존을 위해 게인 g1(k) 및 g2(k)의 제곱 합산 값 g1(k)^2+g2(k)^2=1을 만족시킬 수 있다. 그러나 본 발명은 이에 한정되지 않는다.
한편, ITF에 기초하여 생성된 전달 함수와 MITF에 기초하여 생성된 전달 함수는 서로 다른 딜레이(delay)를 가질 수 있다. 본 발명의 실시예에 따르면, 특정 주파수 대역의 동측/대측 전달 함수의 딜레이가 다른 주파수 대역의 동측/대측 전달 함수의 딜레이와 서로 다를 경우, 긴 딜레이를 갖는 동측/대측 전달 함수를 기준으로 하여 짧은 딜레이를 갖는 동측/대측 전달 함수에 대한 지연 보상을 추가로 수행할 수 있다.
본 발명의 또 다른 실시예에 따르면, 제1 주파수 대역의 동측 및 대측 전달 함수는 동측 및 대측 HRTF가 사용되고, 제2 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성될 수 있다. 또는, 제1 주파수 대역의 동측 및 대측 전달 함수는 동측 및 대측 HRTF의 각 주파수 밴드 별 ILD, ITD, IPD(Interaural Phase Difference) 및 IC(Interaural Coherence) 중 적어도 하나로부터 추출된 정보에 기초하여 생성되고, 제2 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성될 수 있다.
본 발명의 또 다른 실시예에 따르면, 제1 주파수 대역의 동측 및 대측 전달 함수는 구 형 헤드 모형의 동측 및 대측 HRTF에 기초하여 생성되고, 제2 주파수 대역의 동측 및 대측 전달 함수는 측정된 동측 및 대측 HRTF에 기초하여 생성될 수 있다. 일 실시예에 따르면, 제1 주파수 대역과 제2 주파수 대역 사이의 제3 주파수 대역의 동측 및 대측 전달 함수는 구 형 헤드 모형의 HRTF와 측정된 HRTF의 선형 결합, 중첩, 윈도잉 등에 기초하여 생성될 수 있다.
(MITF 제9 방법 - 하이브리드 ITF 2)
본 발명의 제9 실시예에 따르면, HRTF, ITF 및 MITF 중 두 개 이상이 조합된 하이브리드 ITF(HITF)가 사용될 수 있다. 본 발명의 실시예에 따르면, 음상 정위 성능을 높이기 위해 특정 주파수 대역의 스펙트럴 특성이 강조될 수 있다. 전술한 ITF 또는 MITF를 사용하면 음원의 컬러레이션이 감소되지만 음상 정위 성능도 떨어지는 트레이드 오프 현상이 일어난다. 따라서, 음상 정위 성능 향상을 위해 동측/대측 전달 함수에 대한 추가적인 정제가 필요하다.
본 발명의 일 실시예에 따르면, 음원의 컬러레이션에 지배적인 영향을 미치는 저주파 대역의 동측 및 대측 전달 함수는 MITF(또는, ITF)에 기초하여 생성되고, 음상 정위에 지배적인 영향을 미치는 고주파 대역의 동측 및 대측 전달 함수는 HRTF에 기초하여 생성될 수 있다. 이를 수식으로 나타내면 아래 수학식 11과 같다.
Figure PCTKR2015013277-appb-M000011
여기서, k는 주파수 인덱스, C0는 임계 주파수 인덱스이며, h_I(k) 및 h_C(k)는 각각 본 발명의 실시예에 따른 동측 및 대측 HITF를 나타낸다. 또한, H_I(k) 및 H_C(k)는 각각 동측 및 대측 HRTF를 나타내며, M_I(k) 및 M_C(k)는 각각 전술한 실시예들 중 어느 하나에 따른 동측 및 대측 MITF를 나타낸다.
즉, 본 발명의 일 실시예에 따르면, 주파수 인덱스가 임계 주파수 인덱스보다 낮은 제1 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성되고, 주파수 인덱스가 임계 주파수 인덱스보다 높거나 같은 제2 주파수 대역의 동측 및 대측 전달 함수는 HRTF에 기초하여 생성된다. 일 실시예에 따르면, 임계 주파수 인덱스 C0는 2kHz 내지 4kHz 사이의 특정 주파수를 가리킬 수 있으나, 본 발명은 이에 한정되지 않는다.
본 발명의 다른 실시예에 따르면, 동측 및 대측 전달 함수는 ITF에 기초하여 생성되며, 고주파 대역의 동측 및 대측 전달 함수에 별도의 게인이 적용될 수 있다. 이를 수식으로 나타내면 아래 수학식 12와 같다.
Figure PCTKR2015013277-appb-M000012
여기서, G는 게인을 나타낸다. 즉, 본 발명의 다른 실시예에 따르면, 주파수 인덱스가 임계 주파수 인덱스보다 낮은 제1 주파수 대역의 동측 및 대측 전달 함수는 ITF에 기초하여 생성되고, 주파수 인덱스가 임계 주파수 인덱스보다 높거나 같은 제2 주파수 대역의 동측 및 대측 전달 함수는 ITF에 기 설정된 게인 G를 곱한 값에 기초하여 생성된다.
본 발명의 또 다른 실시예에 따르면, 동측 및 대측 전달 함수는 전술한 실시예들 중 어느 하나에 따른 MITF에 기초하여 생성되며, 고주파 대역의 동측 및 대측 전달 함수에 별도의 게인이 적용될 수 있다. 이를 수식으로 나타내면 아래 수학식 13과 같다.
Figure PCTKR2015013277-appb-M000013
즉, 본 발명의 또 다른 실시예에 따르면, 주파수 인덱스가 임계 주파수 인덱스보다 낮은 제1 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기초하여 생성되고, 주파수 인덱스가 임계 주파수 인덱스보다 높거나 같은 제2 주파수 대역의 동측 및 대측 전달 함수는 MITF에 기 설정된 게인 G를 곱한 값에 기초하여 생성된다.
상기 HITF에 적용되는 게인 G는 다양한 실시예에 따라 생성될 수 있다. 일 실시예에 따르면, 제2 주파수 대역에서 최대 고도각 HRTF 크기(magnitude)의 평균 값과 최소 고도각 HRTF 크기의 평균 값을 각각 산출하고, 두 개의 평균 값의 차이를 이용한 인터폴레이션에 기초하여 게인 G가 획득될 수 있다. 이때, 제2 주파수 대역의 주파수 빈(bin) 별로 서로 다른 게인을 적용함으로 게인의 해상도가 높아질 수 있다.
한편, 제1 주파수 대역과 제2 주파수 대역간의 불연속성으로 인해 왜곡이 발생하는 것을 방지하기 위해, 주파수 축에서 평활화 된 게인이 추가로 사용될 수 있다. 일 실시예에 따르면, 게인이 적용되지 않는 제1 주파수 대역과 게인이 적용되는 제2 주파수 대역 사이에 제3 주파수 대역이 설정될 수 있다. 제3 주파수 대역의 동측 및 대측 전달 함수에는 평활화 된 게인이 적용된다. 평활화 된 게인은 선형 인터폴레이션, 로그 인터폴레이션, 스플라인 인터폴레이션, 라그랑주 인터폴레이션 중 적어도 하나에 기초하여 생성될 수 있으며, 주파수 빈마다 다른 값을 갖기 때문에 G(k)로 표현될 수 있다.
본 발명의 다른 실시예에 따르면, 게인 G는 다른 고도각의 HRTF로부터 추출된 인벨로프 성분에 기초하여 획득될 수 있다. 도 8은 본 발명의 또 다른 실시예에 따라 게인을 적용한 MITF 생성 방법을 나타내고 있다. 도 8을 참조하면, MITF 생성부(220-3)는 HRTF 분리부(222a, 222c), ELD(Elevation Level Difference) 산출부(223) 및 노멀라이제이션부(224)를 포함할 수 있다.
도 8은 MITF 생성부(222-3)가 주파수 k, 고도각 θ1, 방위각 Φ의 동측 및 대측 MITF를 생성하는 실시예를 도시한다. 먼저, 제1 HRTF 분리부(222a)는 고도각 θ1, 방위각 Φ의 동측 HRTF를 동측 HRTF 인벨로프 성분과 동측 HRTF 노치 성분으로 분리한다. 한편, 제2 HRTF 분리부(222c)는 다른 고도각 θ2의 동측 HRTF를 동측 HRTF 인벨로프 성분과 동측 HRTF 노치 성분으로 분리한다. θ2는 θ1과 다른 고도각을 나타내며, 일 실시예에 따르면 θ2는 0도(즉, 수평면 상의 각도)로 설정될 수 있다.
ELD 산출부(223)는 고도각 θ1의 동측 HRTF 인벨로프 성분과 고도각 θ2의 동측 HRTF 인벨로프 성분을 수신하고, 이에 기초하여 게인 G를 생성한다. 일 실시예에 따르면, ELD 산출부(223)는 고도각 변화에 따라 주파수 응답이 크게 변하지 않을수록 게인 값을 1에 가깝게 설정하고, 주파수 응답이 크게 변할수록 게인 값이 증폭되거나 감쇠되도록 설정한다.
MITF 생성부(222-3)는 ELD 산출부(223)에서 생성된 게인을 이용하여 MITF를 생성할 수 있다. 수학식 14는 생성된 게인을 이용한 MITF 생성 실시예를 나타내고 있다.
Figure PCTKR2015013277-appb-M000014
주파수 인덱스가 임계 주파수 인덱스보다 낮은 제1 주파수 대역의 동측 및 대측 전달 함수는 수학식 5의 실시예에 따른 MITF에 기초하여 생성된다. 즉, 고도각 θ1 및 방위각 Φ의 동측 MITF M_I(k, θ1, Φ)는 동측 HRTF로부터 추출된 노치 성분 H_I_notch(k, θ1, Φ) 값으로 결정되고, 대측 MITF M_C(k, θ1, Φ)는 대측 HRTF H_C(k, θ1, Φ)를 동측 HRTF로부터 추출된 인벨로프 성분 H_I_env(k, θ1, Φ)로 나눈 값으로 결정된다.
그러나 주파수 인덱스가 임계 주파수 인덱스보다 높거나 같은 제2 주파수 대역의 동측 및 대측 전달 함수는 수학식 5의 실시예에 따른 MITF에 게인 G를 곱한 값에 기초하여 생성된다. 즉, M_I(k, θ1, Φ)는 동측 HRTF로부터 추출된 노치 성분 H_I_notch(k, θ1, Φ) 값에 게인 G를 곱한 값으로 결정되고, M_C(k, θ1, Φ)는 대측 HRTF H_C(k, θ1, Φ)에 게인 G를 곱한 값을 동측 HRTF로부터 추출된 인벨로프 성분 H_I_env(k, θ1, Φ)로 나눈 값으로 결정된다.
따라서, 도 8을 참조하면 제1 HRTF 분리부(222a)에서 분리된 동측 HRTF 노치 성분은 게인 G와 곱해져서 동측 MITF로 출력된다. 또한, 노멀라이제이션부(224)는 수학식 14와 같이 동측 HRTF 인벨로프 성분에 대비한 대측 HRTF 값을 산출하고, 산출된 값은 게인 G와 곱해져서 대측 MITF로 출력된다. 이때, 게인 G는 해당 고도각 θ1의 동측 HRTF 인벨로프 성분과 다른 고도각 θ2의 동측 HRTF 인벨로프 성분에 기초하여 생성된 값이다. 수학식 15는 상기 게인 G를 생성하는 실시예를 나타내고 있다.
Figure PCTKR2015013277-appb-M000015
즉, 게인 G는 고도각 θ1 및 방위각 Φ의 동측 HRTF로부터 추출된 인벨로프 성분 H_I_env(k, θ1, Φ)를 고도각 θ2 및 방위각 Φ의 동측 HRTF로부터 추출된 인벨로프 성분 H_I_env(k, θ2, Φ)로 나눈 값으로 결정될 수 있다.
한편, 상기 실시예에서는 고도각이 서로 다른 동측 HRTF들의 인벨로프 성분을 이용하여 게인 G가 생성되었으나, 본 발명은 이제 한정되지 않는다. 즉, 게인 G는 방위각이 서로 다른 동측 HRTF들의 인벨로프 성분, 또는 고도각과 방위각이 모두 다른 동측 HRTF들의 인벨로프 성분에 기초하여 생성될 수도 있다. 또한, 상기 게인 G는 HITF뿐만 아니라 ITF, MITF 및 HRTF 중 적어도 하나에 적용될 수도 있다. 뿐만 아니라, 게인 G는 고주파 대역 등의 특정 주파수 대역뿐만 아니라 모든 주파수 대역에도 적용될 수 있다.
전술한 다양한 실시예들에 따른 동측 MITF(또는, 동측 HITF)는 동측 전달 함수로, 대측 MITF(또는, 대측 HITF)는 대측 전달 함수로 방향 렌더러에 전달된다. 방향 렌더러의 동측 필터링부는 입력 오디오 신호를 전술한 실시예에 따른 동측 MITF(또는, 동측 HITF)로 필터링하여 동측 출력 신호를 생성하고, 대측 필터링부는 입력 오디오 신호를 전술한 실시예에 따른 대측 MITF(또는, 대측 HITF)로 필터링하여 대측 출력 신호를 생성한다.
전술한 실시예들에서 동측 MITF 또는 대측 MITF의 값이 1인 경우, 해당 동측 필터링부 또는 대측 필터링부는 필터링 연산을 바이패스할 수 있다. 이때, 필터링의 바이패스 여부는 렌더링 시점에 결정될 수 있다. 그러나 다른 실시예에 따르면, 원형 전달 함수(HRTF)가 미리 결정된 경우 동측/대측 필터링부는 바이패스 지점(e.g. 주파수 인덱스)에 대한 부가 정보를 미리 획득하고 해당 부가 정보에 기초하여 각 지점에서의 필터링의 바이패스 여부를 결정할 수 있다.
한편, 전술한 실시예 및 도면에서는 동측 필터링부 및 대측 필터링부가 동일한 입력 오디오 신호를 수신하여 필터링을 수신하는 것으로 설명되었지만, 본 발명은 이에 한정하지 않는다. 본 발명의 다른 실시예에 따르면, 전 처리가 수행된 2채널 신호가 방향 렌더러의 입력으로 수신될 수 있다. 예를 들어, 전 처리 단계로 거리 렌더링이 수행된 동측 신호 d^I 및 대측 신호 d^C가 방향 렌더러의 입력으로 수신될 수 있다. 이때, 방향 렌더러의 동측 필터링부는 수신된 동측 신호 d^I를 동측 전달 함수로 필터링하여 동측 출력 신호 B^I를 생성할 수 있다. 또한, 방향 렌더러의 대측 필터링부는 수신된 대측 신호 d^C를 대측 전달 함수로 필터링하여 대측 출력 신호 B^C를 생성할 수 있다.
이상에서는 본 발명을 구체적인 실시예를 통하여 설명하였으나, 당업자라면 본 발명의 취지 및 범위를 벗어나지 않고 수정, 변경을 할 수 있다. 즉, 본 발명은 오디오 신호에 대한 바이노럴 렌더링의 실시예에 대하여 설명하였지만, 본 발명은 오디오 신호뿐만 아니라 비디오 신호를 포함하는 다양한 멀티미디어 신호에도 동일하게 적용 및 확장 가능하다. 따라서 본 발명의 상세한 설명 및 실시예로부터 본 발명이 속하는 기술분야에 속한 사람이 용이하게 유추할 수 있는 것은 본 발명의 권리범위에 속하는 것으로 해석된다.

Claims (19)

  1. 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 장치로서,
    상기 입력 오디오 신호를 동측 전달 함수로 필터링하여 동측 출력 신호를 생성하는 동측 필터링부; 및
    상기 입력 오디오 신호를 대측 전달 함수로 필터링하여 대측 출력 신호를 생성하는 대측 필터링부; 를 포함하되,
    상기 동측 및 대측 전달 함수는 제1 주파수 대역과 제2 주파수 대역에서 서로 다른 전달 함수에 기초하여 생성되는,
    오디오 신호 처리 장치.
  2. 제1 항에 있어서,
    상기 제1 주파수 대역의 상기 동측 및 대측 전달 함수는 양이간 전달 함수(Interaural Transfer Function, ITF)에 기초하여 생성되고, 상기 ITF는 상기 입력 오디오 신호에 대한 동측 HRTF(Head Related Transfer Function)를 대측 HRTF로 나눈 값에 기초하여 생성되는 오디오 신호 처리 장치.
  3. 제1 항에 있어서,
    상기 제2 주파수 대역의 상기 동측 및 대측 전달 함수는 상기 입력 오디오 신호에 대한 동측 HRTF 및 대측 HRTF인 오디오 신호 처리 장치.
  4. 제1 항에 있어서,
    상기 제2 주파수 대역의 상기 동측 및 대측 전달 함수는 변형된 양이간 전달 함수(Modified Interaural Transfer Function, MITF)에 기초하여 생성되며, 상기 MITF는 상기 입력 오디오 신호에 대한 동측 HRTF 및 대측 HRTF 중 적어도 하나의 노치(notch) 성분에 기초하여 양이간 전달 함수(Interaural Transfer Function, ITF)를 변형하여 생성되는 오디오 신호 처리 장치.
  5. 제4 항에 있어서,
    상기 제2 주파수 대역의 동측 전달 함수는 상기 동측 HRTF로부터 추출된 노치 성분에 기초하여 생성되고, 상기 제2 주파수 대역의 대측 전달 함수는 상기 대측 HRTF를 상기 동측 HRTF로부터 추출된 인벨로프(envelope) 성분으로 나눈 값에 기초하여 생성되는 오디오 신호 처리 장치.
  6. 제1 항에 있어서,
    상기 제1 주파수 대역의 상기 동측 및 대측 전달 함수는 상기 입력 오디오 신호에 대한 동측 HRTF 및 대측 HRTF의 각 주파수 밴드 별 ILD(Interaural Level Difference), ITD(Interaural Time Difference), IPD(Interaural Phase Difference) 및 IC(Interaural Coherence) 중 적어도 하나로부터 추출된 정보에 기초하여 생성되는 오디오 신호 처리 장치.
  7. 제1 항에 있어서,
    상기 제1 주파수 대역과 제2 주파수 대역의 전달 함수는 동일한 동측 및 대측 HRTF로부터 추출된 정보에 기초하여 생성되는 오디오 신호 처리 장치.
  8. 제1 항에 있어서,
    상기 제1 주파수 대역은 상기 제2 주파수 대역보다 낮은 주파수 대역인 오디오 신호 처리 장치.
  9. 제1 항에 있어서,
    상기 제1 주파수 대역의 상기 동측 및 대측 전달 함수는 제1 전달 함수에 기초하여 생성되고, 상기 제1 주파수 대역과 다른 제2 주파수 대역의 상기 동측 및 대측 전달 함수는 제2 전달 함수에 기초하여 생성되며, 상기 제1 주파수 대역과 제2 주파수 대역 사이의 제3 주파수 대역의 상기 동측 및 대측 전달 함수는 제1 전달 함수와 제2 전달 함수의 선형 결합에 기초하여 생성되는 오디오 신호 처리 장치.
  10. 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 장치로서,
    상기 입력 오디오 신호를 제1 측 전달 함수로 필터링하여 제1 측 출력 신호를 생성하는 제1 필터링부; 및
    상기 입력 오디오 신호를 제2 측 전달 함수로 필터링하여 제2 측 출력 신호를 생성하는 제2 필터링부; 를 포함하되,
    상기 제1 측 전달 함수 및 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 제1측 HRTF(Head Related Transfer Function)를 제2 측 HRTF로 나눈 양이간 전달 함수(Interaural Transfer Function, ITF)를 변형하여 생성되는 오디오 신호 처리 장치.
  11. 제10 항에 있어서,
    상기 제1 측 전달 함수 및 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 제1 측 HRTF 및 제2 측 HRTF 중 적어도 하나의 노치(notch) 성분에 기초하여 상기 ITF를 변형하여 생성되는 오디오 신호 처리 장치.
  12. 제11 항에 있어서,
    상기 제1 측 전달 함수는 상기 제1 측 HRTF부터 추출된 노치(notch) 성분에 기초하여 생성되고, 상기 제2 측 전달 함수는 상기 제2 측 HRTF를 상기 제1 측 HRTF로부터 추출된 인벨로프(envelope) 성분으로 나눈 값에 기초하여 생성되는 오디오 신호 처리 장치.
  13. 제11 항에 있어서,
    상기 제1 측 전달 함수는 상기 제1 측 HRTF로부터 추출된 노치(notch) 성분에 기초하여 생성되고, 상기 제2 측 전달 함수는 상기 제2 측 HRTF를 상기 입력 오디오 신호와 다른 방향을 갖는 제1 측 HRTF로부터 추출된 인벨로프 성분으로 나눈 값에 기초하여 생성되는 오디오 신호 처리 장치.
  14. 제13 항에 있어서,
    상기 다른 방향을 갖는 제1 측 HRTF는 상기 입력 오디오 신호와 동일한 방위각을 갖고, 고도각 0을 갖는 제1 측 HRTF인 오디오 신호 처리 장치.
  15. 제11 항에 있어서,
    상기 제1 측 전달 함수는 상기 제1 측 HRTF의 노치 성분을 이용하여 생성된 FIR(Finite Impulse Response) 필터 계수 또는 IIR(Infinite Impulse Response) 필터 계수인 오디오 신호 처리 장치.
  16. 제 10항에 있어서,
    상기 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 제1 측 HRTF의 인벨로프 성분과 제2 측 HRTF의 인벨로프 성분에 기초하여 생성된 양이간 파라메터 및 상기 제2 측 HRTF의 노치 성분에 기초하여 생성된 IR(Impulse Response) 필터 계수를 포함하고,
    상기 제1 측 전달 함수는 상기 제1 측 HRTF의 노치 성분에 기초하여 생성된 IR 필터 계수를 포함하는 오디오 신호 처리 장치.
  17. 제16 항에 있어서,
    상기 양이간 파라메터는 ILD(Interaural Level Difference) 및 ITD(Interaural Time Difference)를 포함하는 오디오 신호 처리 장치.
  18. 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 방법으로서,
    입력 오디오 신호를 수신하는 단계;
    상기 입력 오디오 신호를 동측 전달 함수로 필터링하여 동측 출력 신호를 생성하는 단계; 및
    상기 입력 오디오 신호를 대측 전달 함수로 필터링하여 대측 출력 신호를 생성하는 단계; 를 포함하되,
    상기 동측 및 대측 전달 함수는 제1 주파수 대역과 제2 주파수 대역에서 서로 다른 전달 함수에 기초하여 생성되는 오디오 신호 처리 방법.
  19. 입력 오디오 신호에 대한 바이노럴 필터링을 수행하기 위한 오디오 신호 처리 방법으로서,
    입력 오디오 신호를 수신하는 단계;
    상기 입력 오디오 신호를 제1 측 전달 함수로 필터링하여 제1 측 출력 신호를 생성하는 단계; 및
    상기 입력 오디오 신호를 제2 측 전달 함수로 필터링하여 제2 측 출력 신호를 생성하는 단계; 를 포함하되,
    상기 제1 측 전달 함수 및 제2 측 전달 함수는 상기 입력 오디오 신호에 대한 제1측 HRTF(Head Related Transfer Function)를 제2 측 HRTF로 나눈 양이간 전달 함수(Interaural Transfer Function, ITF)를 변형하여 생성되는 오디오 신호 처리 방법.
PCT/KR2015/013277 2014-12-04 2015-12-04 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법 Ceased WO2016089180A1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
CN201580065738.9A CN107005778B (zh) 2014-12-04 2015-12-04 用于双耳渲染的音频信号处理设备和方法
EP15865594.4A EP3229498B1 (en) 2014-12-04 2015-12-04 Audio signal processing apparatus and method for binaural rendering
JP2017549156A JP6454027B2 (ja) 2014-12-04 2015-12-04 バイノーラルレンダリングのためのオーディオ信号処理装置及びその方法
ES15865594T ES2936834T3 (es) 2014-12-04 2015-12-04 Aparato de procesamiento de señales de audio y método para la reproducción biaural
US15/611,783 US9961466B2 (en) 2014-12-04 2017-06-01 Audio signal processing apparatus and method for binaural rendering

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR10-2014-0173420 2014-12-04
KR20140173420 2014-12-04
KR20150015566 2015-01-30
KR10-2015-0015566 2015-01-30
KR20150116374 2015-08-18
KR10-2015-0116374 2015-08-18

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/611,783 Continuation US9961466B2 (en) 2014-12-04 2017-06-01 Audio signal processing apparatus and method for binaural rendering

Publications (1)

Publication Number Publication Date
WO2016089180A1 true WO2016089180A1 (ko) 2016-06-09

Family

ID=56092040

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2015/013277 Ceased WO2016089180A1 (ko) 2014-12-04 2015-12-04 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법

Country Status (7)

Country Link
US (1) US9961466B2 (ko)
EP (1) EP3229498B1 (ko)
JP (1) JP6454027B2 (ko)
KR (1) KR101627647B1 (ko)
CN (1) CN107005778B (ko)
ES (1) ES2936834T3 (ko)
WO (1) WO2016089180A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197415A (zh) * 2016-06-10 2017-09-22 西马特尔有限公司 改进为电话呼叫提供双声道声音的电子设备的计算机性能
JP2019523913A (ja) * 2016-06-17 2019-08-29 ディーティーエス・インコーポレイテッドＤＴＳ，Ｉｎｃ． 近／遠距離レンダリングを用いた距離パニング
US20220150658A1 (en) * 2020-11-10 2022-05-12 Sony Interactive Entertainment Inc. Audio personalisation method and system

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10595150B2 (en) 2016-03-07 2020-03-17 Cirrus Logic, Inc. Method and apparatus for acoustic crosstalk cancellation
WO2018038821A1 (en) * 2016-08-24 2018-03-01 Advanced Bionics Ag Systems and methods for facilitating interaural level difference perception by preserving the interaural level difference
US10111001B2 (en) * 2016-10-05 2018-10-23 Cirrus Logic, Inc. Method and apparatus for acoustic crosstalk cancellation
KR102057684B1 (ko) * 2017-09-22 2019-12-20 주식회사 디지소닉 3차원 입체음향 제공이 가능한 입체음향서비스장치
EP3499917A1 (en) 2017-12-18 2019-06-19 Nokia Technologies Oy Enabling rendering, for consumption by a user, of spatial audio content
US10609504B2 (en) * 2017-12-21 2020-03-31 Gaudi Audio Lab, Inc. Audio signal processing method and apparatus for binaural rendering using phase response characteristics
JP7384162B2 (ja) * 2018-08-17 2023-11-21 ソニーグループ株式会社 信号処理装置、信号処理方法、およびプログラム
US11212631B2 (en) 2019-09-16 2021-12-28 Gaudio Lab, Inc. Method for generating binaural signals from stereo signals using upmixing binauralization, and apparatus therefor
WO2021061675A1 (en) * 2019-09-23 2021-04-01 Dolby Laboratories Licensing Corporation Audio encoding/decoding with transform parameters
US10841728B1 (en) * 2019-10-10 2020-11-17 Boomcloud 360, Inc. Multi-channel crosstalk processing
US11337021B2 (en) * 2020-05-22 2022-05-17 Chiba Institute Of Technology Head-related transfer function generator, head-related transfer function generation program, and head-related transfer function generation method
CN113747335A (zh) * 2020-05-29 2021-12-03 华为技术有限公司 音频渲染方法及装置
JP6862021B1 (ja) * 2020-08-07 2021-04-21 ｎｅｘｔ Ｓｏｕｎｄ株式会社 立体音響を生成する方法
WO2022075908A1 (en) * 2020-10-06 2022-04-14 Dirac Research Ab Hrtf pre-processing for audio applications
GB2620796A (en) * 2022-07-22 2024-01-24 Sony Interactive Entertainment Europe Ltd Methods and systems for simulating perception of a sound source

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1014756A2 (en) * 1998-12-22 2000-06-28 Texas Instruments Incorporated Method and apparatus for loudspeaker with positional 3D sound
WO2002003749A2 (en) * 2000-06-13 2002-01-10 Gn Resound Corporation Adaptive microphone array system with preserving binaural cues
WO2007028250A2 (en) * 2005-09-09 2007-03-15 Mcmaster University Method and device for binaural signal enhancement
US20100002886A1 (en) * 2006-05-10 2010-01-07 Phonak Ag Hearing system and method implementing binaural noise reduction preserving interaural transfer functions
WO2014178479A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10136497A (ja) * 1996-10-24 1998-05-22 Roland Corp 音像定位装置
US6243476B1 (en) * 1997-06-18 2001-06-05 Massachusetts Institute Of Technology Method and apparatus for producing binaural audio for a moving listener
JP2003230198A (ja) * 2002-02-01 2003-08-15 Matsushita Electric Ind Co Ltd 音像定位制御装置
US8705748B2 (en) * 2007-05-04 2014-04-22 Creative Technology Ltd Method for spatially processing multichannel signals, processing module, and virtual surround-sound systems
US8295498B2 (en) * 2008-04-16 2012-10-23 Telefonaktiebolaget Lm Ericsson (Publ) Apparatus and method for producing 3D audio in systems with closely spaced speakers
KR101526014B1 (ko) * 2009-01-14 2015-06-04 엘지전자 주식회사 다채널 서라운드 스피커 시스템
EP2489207A4 (en) * 2009-10-12 2013-10-30 Nokia Corp MULTI-WAY ANALYSIS FOR AUDIO WORKING
WO2011116839A1 (en) * 2010-03-26 2011-09-29 Bang & Olufsen A/S Multichannel sound reproduction method and device
US9185490B2 (en) * 2010-11-12 2015-11-10 Bradley M. Starobin Single enclosure surround sound loudspeaker system and method
CN104335606B (zh) * 2012-05-29 2017-01-18 创新科技有限公司 任意配置的扬声器的立体声拓宽
KR101859453B1 (ko) * 2013-03-29 2018-05-21 삼성전자주식회사 오디오 장치 및 이의 오디오 제공 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1014756A2 (en) * 1998-12-22 2000-06-28 Texas Instruments Incorporated Method and apparatus for loudspeaker with positional 3D sound
WO2002003749A2 (en) * 2000-06-13 2002-01-10 Gn Resound Corporation Adaptive microphone array system with preserving binaural cues
WO2007028250A2 (en) * 2005-09-09 2007-03-15 Mcmaster University Method and device for binaural signal enhancement
US20100002886A1 (en) * 2006-05-10 2010-01-07 Phonak Ag Hearing system and method implementing binaural noise reduction preserving interaural transfer functions
WO2014178479A1 (ko) * 2013-04-30 2014-11-06 인텔렉추얼디스커버리 주식회사 헤드 마운트 디스플레이 및 이를 이용한 오디오 콘텐츠 제공 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3229498A4 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107197415A (zh) * 2016-06-10 2017-09-22 西马特尔有限公司 改进为电话呼叫提供双声道声音的电子设备的计算机性能
JP2019523913A (ja) * 2016-06-17 2019-08-29 ディーティーエス・インコーポレイテッドＤＴＳ，Ｉｎｃ． 近／遠距離レンダリングを用いた距離パニング
JP7039494B2 (ja) 2016-06-17 2022-03-22 ディーティーエス・インコーポレイテッド 近／遠距離レンダリングを用いた距離パニング
US20220150658A1 (en) * 2020-11-10 2022-05-12 Sony Interactive Entertainment Inc. Audio personalisation method and system
US11765539B2 (en) * 2020-11-11 2023-09-19 Sony Interactive Entertainment Inc. Audio personalisation method and system

Also Published As

Publication number Publication date
US9961466B2 (en) 2018-05-01
CN107005778A (zh) 2017-08-01
JP6454027B2 (ja) 2019-01-16
JP2018502535A (ja) 2018-01-25
EP3229498A1 (en) 2017-10-11
EP3229498A4 (en) 2018-09-12
KR101627647B1 (ko) 2016-06-07
CN107005778B (zh) 2020-11-27
US20170272882A1 (en) 2017-09-21
ES2936834T3 (es) 2023-03-22
EP3229498B1 (en) 2023-01-04

Similar Documents

Publication Publication Date Title
WO2016089180A1 (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 장치 및 방법
WO2018147701A1 (ko) 오디오 신호 처리 방법 및 장치
WO2018182274A1 (ko) 오디오 신호 처리 방법 및 장치
WO2017191970A2 (ko) 바이노럴 렌더링을 위한 오디오 신호 처리 방법 및 장치
WO2015147533A2 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2015152665A1 (ko) 오디오 신호 처리 방법 및 장치
EP3311593B1 (en) Binaural audio reproduction
WO2015142073A1 (ko) 오디오 신호 처리 방법 및 장치
WO2012005507A2 (en) 3d sound reproducing method and apparatus
WO2014157975A1 (ko) 오디오 장치 및 이의 오디오 제공 방법
WO2015156654A1 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2019004524A1 (ko) 6자유도 환경에서 오디오 재생 방법 및 오디오 재생 장치
WO2015041476A1 (ko) 오디오 신호 처리 방법 및 장치
WO2014175669A1 (ko) 음상 정위를 위한 오디오 신호 처리 방법
WO2014088328A1 (ko) 오디오 제공 장치 및 오디오 제공 방법
WO2015060654A1 (ko) 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
WO2015099424A1 (ko) 오디오 신호의 필터 생성 방법 및 이를 위한 파라메터화 장치
WO2019066348A1 (ko) 오디오 신호 처리 방법 및 장치
WO2015147619A1 (ko) 음향 신호의 렌더링 방법, 장치 및 컴퓨터 판독 가능한 기록 매체
WO2019031652A1 (ko) 3차원 오디오 재생 방법 및 재생 장치
CN113170271A (zh) 用于处理立体声信号的方法和装置
WO2015060696A1 (ko) 입체 음향 재생 방법 및 장치
WO2016182184A1 (ko) 입체 음향 재생 방법 및 장치
WO2024014711A1 (ko) 녹음 거리 파라미터 기반 오디오 렌더링 방법 및 이를 수행하는 장치
Salmon et al. Optimization of interactive binaural processing

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 1020167001055

Country of ref document: KR

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15865594

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017549156

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2015865594

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE