[go: up one dir, main page]

KR20130007526A - 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법 - Google Patents

부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법 Download PDF

Info

Publication number
KR20130007526A
KR20130007526A KR1020120153640A KR20120153640A KR20130007526A KR 20130007526 A KR20130007526 A KR 20130007526A KR 1020120153640 A KR1020120153640 A KR 1020120153640A KR 20120153640 A KR20120153640 A KR 20120153640A KR 20130007526 A KR20130007526 A KR 20130007526A
Authority
KR
South Korea
Prior art keywords
information
audio
signal
bitstream
sac
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020120153640A
Other languages
English (en)
Other versions
KR101309673B1 (ko
Inventor
백승권
서정일
이태진
이용주
장대영
홍진우
김진웅
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Publication of KR20130007526A publication Critical patent/KR20130007526A/ko
Application granted granted Critical
Publication of KR101309673B1 publication Critical patent/KR101309673B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/008—Multichannel audio signal coding or decoding using interchannel correlation to reduce redundancy, e.g. joint-stereo, intensity-coding or matrixing
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/0017—Lossless audio signal coding; Perfect reconstruction of coded audio signal by transmission of coding error
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • G—PHYSICS
    • G10—MUSICAL INSTRUMENTS; ACOUSTICS
    • G10L—SPEECH ANALYSIS TECHNIQUES OR SPEECH SYNTHESIS; SPEECH RECOGNITION; SPEECH OR VOICE PROCESSING TECHNIQUES; SPEECH OR AUDIO CODING OR DECODING
    • G10L19/00—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis
    • G10L19/04—Speech or audio signals analysis-synthesis techniques for redundancy reduction, e.g. in vocoders; Coding or decoding of speech or audio signals, using source filter models or psychoacoustic analysis using predictive techniques
    • G10L19/16—Vocoder architecture
    • G10L19/173—Transcoding, i.e. converting between two coded representations avoiding cascaded coding-decoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2400/00—Details of stereophonic systems covered by H04S but not provided for in its groups
    • H04S2400/11—Positioning of individual sound objects, e.g. moving airplane, within a sound field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S2420/00—Techniques used stereophonic systems covered by H04S but not provided for in its groups
    • H04S2420/03—Application of parametric coding in stereophonic audio systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S3/00—Systems employing more than two channels, e.g. quadraphonic
    • H04S3/002—Non-adaptive circuits, e.g. manually adjustable or static, for enhancing the sound image or the spatial distribution

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Stereophonic System (AREA)
  • Theoretical Computer Science (AREA)
  • Stereo-Broadcasting Methods (AREA)
  • Analysing Materials By The Use Of Radiation (AREA)
  • Transmitters (AREA)
  • Reduction Or Emphasis Of Bandwidth Of Signals (AREA)
  • Transmission Systems Not Characterized By The Medium Used For Transmission (AREA)

Abstract

다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법에 관한 것으로서, 다양한 채널을 갖는 다객체 오디오 신호를 부호화 및 복호화하며, 종래SAC 비트스트림에 대한 역호환성을 제공하는 다양한 채널로 구성된 다객체 오디오 신호 부호화 및 복호화 장치 및 방법이 개시됨.
부호화 장치로 입력되는 오디오 객체 신호를 공간큐 기반으로 부호화하고 상기 부호화된 오디오 객체 신호에 대한 랜더링 정보를 생성하는 오디오 객체 부호화 수단을 포함하되, 상기 랜더링 정보는 상기 오디오 객체 신호에 대한 공간큐 정보; 상기 오디오 객체 신호의 채널 정보; 및 상기 오디오 객체 신호의 식별 정보를 포함하는 부호화 장치가 개시됨.
오디오 신호의 부호화 및 복호화에서 이용됨.

Description

부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법{Apparatus and Method For Coding and Decoding multi-object Audio Signal with various channel Including Information Bitstream Conversion}
본 발명은 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법에 관한 것으로, 보다 상세하게는 부가정보 비트스트림을 변환하고, 변환된 부가정보 비트스트림을 이용하여 원하는 출력 신호, 즉 다양한 채널을 갖는 다객체 오디오 신호를 복원하는 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법에 관한 것이다.
여기서, 다양한 채널을 갖는 다객체 오디오 신호란, 다객체 오디오 신호로서 각각의 오디오 객체가 서로 상이한 채널(예를 들어, 모노, 스테레오, 5.1채널)로 구성된 오디오를 신호를 의미한다.
종래의 오디오 부복호화 기술에 따르면, 사용자는 오디오 컨텐츠를 수동적으로 청취할 수 밖에 없었으므로, 사용자의 필요에 따라 서로 상이한 채널로 구성된 각 오디오 객체를 제어하여 하나의 오디오 컨텐츠를 다양한 방법으로 조합함으로써 다양한 오디오 객체를 소비할 수 있는 다양한 채널로 구성된 복수의 오디오 객체별 부호화 및 복호화 장치 및 방법이 요구된다.
이와 관련하여, 종래의 SAC(Spatial Audio Coding)는 다채널 오디오 신호를 다운믹스된 모노 또는 스테레오 신호 및 공간큐로 표현, 전송 및 복원하는 기술로서 낮은 비트율에서도 고품질의 다채널 오디오 신호를 전송할 수 있다.
그러나, 종래 SAC는 다채널이되 1개 오디오 객체에 대해서만 부호화 및 복호화가 가능한 기술이기 때문에, 다채널이면서 동시에 다객체 오디오 신호, 예를 들어, 모노, 스테레오 및 5.1 채널로 구성된 다양한 객체의 오디오 신호를 부복호화할 수 없다는 문제점이 있다.
또한, 종래의 바이노럴 큐 코딩(Binaural Cue Coding, BCC)은 다객체 오디오 신호를 부복호화할 수 있으나, 당해 오디오 객체는 모노 채널인 경우로 한정되기 때문에, 모노 채널 이외의 다양한 채널로 구성된 다객체 오디오 신호를 부복호화할 수 없다는 단점이 있다.
정리하면, 종래기술에 따르면, 단일 채널로 구성된 다객체 오디오 신호 또는 다채널의 단일 객체 오디오 신호에 대해서만 부복호화를 수행할 수 있기 때문에, 다양한 채널로 구성된 다객체 오디오 신호에 대해서는 부복호화를 수행할 수 없다는 문제점이 있으며, 따라서 종래의 오디오 부복호화 기술에 따르면, 사용자는 오디오 컨텐츠를 수동적으로 청취할 수 밖에 없다는 문제점이 있다.
따라서, 사용자의 필요에 따라 서로 상이한 채널로 구성된 복수의 오디오 객체 각각을 제어하여 하나의 오디오 컨텐츠를 다양한 방법으로 조합함으로써 다양한 오디오 객체를 소비할 수 있는 다양한 채널로 구성된 복수의 오디오 객체별 부호화 및 복호화 장치 및 방법이 요구된다.
또한, 다객체 오디오 부호화기로부터 생성된 부가정보 비트스트림이 종래의SAC 부복호화기의 부가정보 비트스트림에 대한 역호환성을 제공하기 위하여, 다객체 오디오 비트스트림과 종래의 SAC 비트스트림간 변환이 가능한 변환 장치 및 방법이 요구된다.
상기한 바와 같이, 서로 상이한 채널로 구성된 복수의 오디오 객체 각각을 제어하여 하나의 오디오 컨텐츠를 다양한 방법으로 조합할 수 있는 다양한 채널의 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법으로서, 상기 다객체 오디오 부호화 및 복호화 장치 및 방법은 종래 SAC 비트스트림과의 역호환성을 제공하기 위한 비트스트림 변환이 가능한, 다양한 채널의 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법이 요구된다.
본 발명은 상기 요구에 부응하기 위하여 제안된 것으로, 다양한 채널을 갖는 다객체 오디오 신호를 부호화 및 복호화하며, 종래 SAC 비트스트림에 대한 역호환성을 제공하는 다양한 채널로 구성된 다객체 오디오 신호 부호화 및 복호화 장치 및 방법을 제공하는 것을 목적으로 한다.
상기 목적을 달성하기 위한 본 발명은, 다객체 오디오 신호의 부호화 장치에 있어서, 상기 부호화 장치로 입력되는 오디오 객체 신호를 공간큐 기반으로 부호화하고 상기 부호화된 오디오 객체 신호에 대한 랜더링 정보를 생성하는 오디오 객체 부호화 수단을 포함하되, 상기 랜더링 정보는 상기 오디오 객체 신호에 대한 공간큐 정보; 상기 오디오 객체 신호의 채널 정보; 및 상기 오디오 객체 신호의 식별 정보를 포함하는 부호화 장치를 제공한다.
또한, 상기 목적을 달성하기 위한 본 발명은, 다객체 오디오 신호를 복호화하기 위한 랜더링 정보를 생성하는 트랜스코딩 장치에 있어서, 부호화된 오디오 객체 신호에 대한 객체 제어 정보 및 재생 정보에 기초하여 상기 부호화된 오디오 객체 신호에 대한 파워 이득 정보 및 출력 위치 정보를 포함하는 랜더링 정보를 생성하는 제1행렬 수단; 및 상기 제1행렬 수단에 의해 생성된 랜더링 정보 및 부호화 장치로부터 입력되는 상기 부호화된 오디오 객체 신호에 대한 랜더링 정보에 기초하여 복호화 장치에서 출력될 오디오 신호에 대한 공간큐 정보를 생성하는 랜더링 수단을 포함하는 트랜스코딩 장치를 제공한다.
또한, 상기 목적을 달성하기 위한 본 발명은, 다채널 오디오 신호 및 다객체 오디오 신호를 복호화하기 위한 랜더링 정보를 생성하는 트랜스코딩 장치에 있어서, 부호화 장치로부터 입력되는 부호화된 오디오 신호에 대한 랜더링 정보로부터 부호화된 오디오 객체 신호에 대한 랜더링 정보, 및 다채널 오디오 신호에 대한 랜더링 정보를 분리하는 파싱 수단; 부호화된 오디오 객체 신호에 대한 객체 제어 정보 및 재생 정보에 기초하여 상기 부호화된 오디오 객체 신호에 대한 파워 이득 정보 및 출력 위치 정보를 포함하는 랜더링 정보를 생성하는 제1행렬 수단; 상기 파싱 수단에 의해 분리된 부호화된 다채널 오디오 신호에 대한 랜더링 정보에 기초하여 상기 다채널 오디오 신호에 대한 채널별 파워 이득 정보를 포함하는 랜더링 정보를 생성하는 제2행렬 수단; 및 상기 제1행렬 수단에 의해 생성된 랜더링 정보, 상기 제2행렬 수단에 의해 생성된 랜더링 정보, 및 상기 파싱 수단에 의해 분리된 부호화된 오디오 객체 신호에 대한 랜더링 정보에 기초하여 복호화 장치에서 출력될 오디오 신호에 대한 공간큐 정보를 생성하는 랜더링 수단을 포함하는 트랜스코딩 장치를 제공한다.
또한, 상기 목적을 달성하기 위한 본 발명은, 다객체 오디오 신호의 부호화 방법에 있어서, 입력되는 오디오 객체 신호를 공간큐 기반으로 부호화하고 상기 부호화된 오디오 객체 신호에 대한 랜더링 정보를 생성하는 오디오 객체 부호화 단계를 포함하되, 상기 랜더링 정보는 상기 오디오 객체 신호에 대한 공간큐 정보; 상기 오디오 객체 신호의 채널 정보; 및 상기 오디오 객체 신호의 식별 정보를 포함하는 부호화 방법을 제공한다.
또한, 상기 목적을 달성하기 위한 본 발명은, 다객체 오디오 신호를 복호화하기 위한 랜더링 정보를 생성하는 트랜스코딩 방법에 있어서, 부호화된 오디오 객체 신호에 대한 객체 제어 정보 및 재생 정보에 기초하여 상기 부호화된 오디오 객체 신호에 대한 파워 이득 정보 및 출력 위치 정보를 포함하는 랜더링 정보를 생성하는 제1행렬 단계; 및 상기 제1행렬 단계에 의해 생성된 랜더링 정보 및 부호화 단계로부터 입력되는 상기 부호화된 오디오 객체 신호에 대한 랜더링 정보에 기초하여 복호화 단계에서 출력될 오디오 신호에 대한 공간큐 정보를 생성하는 랜더링 단계를 포함하는 트랜스코딩 방법을 제공한다.
또한, 상기 목적을 달성하기 위한 본 발명은, 다채널 오디오 신호 및 다객체 오디오 신호를 복호화하기 위한 랜더링 정보를 생성하는 트랜스코딩 방법에 있어서, 부호화 단계로부터 입력되는 부호화된 오디오 신호에 대한 랜더링 정보로부터 부호화된 오디오 객체 신호에 대한 랜더링 정보, 및 다채널 오디오 신호에 대한 랜더링 정보를 분리하는 파싱 단계; 부호화된 오디오 객체 신호에 대한 객체 제어 정보 및 재생 정보에 기초하여 상기 부호화된 오디오 객체 신호에 대한 파워 이득 정보 및 출력 위치 정보를 포함하는 랜더링 정보를 생성하는 제1행렬 단계; 상기 파싱 단계에 의해 분리된 부호화된 다채널 오디오 신호에 대한 랜더링 정보에 기초하여 상기 다채널 오디오 신호에 대한 채널별 파워 이득 정보를 포함하는 랜더링 정보를 생성하는 제2행렬 단계; 및 상기 제1행렬 단계에 의해 생성된 랜더링 정보, 상기 제2행렬 단계에 의해 생성된 랜더링 정보, 및 상기 파싱 단계에 의해 분리된 부호화된 오디오 객체 신호에 대한 랜더링 정보에 기초하여 복호화 단계에서 출력될 오디오 신호에 대한 공간큐 정보를 생성하는 랜더링 단계를 포함하는 트랜스코딩 방법을 제공한다.
본 발명은 부가정보 비트스트림 변환을 포함하며 다양한 채널을 갖는 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법을 제공함으로써, 다양한 채널을 갖는다객체 오디오 컨텐츠를 효율적으로 부호화 및 복호화하여 사용자의 필요에 따라 능동적으로 오디오 컨텐츠를 소비할 수있으며, 종래 이용되는 비트스트림에 대하여 역호환성을 제공함으로써, 종래 부호화 및 복호화 장치와의 호환성을 제공할 수 있다.
도 1은 본 발명에 따른 다객체 오디오 부호화기 및 복호화기를 나타내는 일실시예 구성도.
도 2는 본 발명에 따른 다객체 오디오 부호화기 및 복호화기를 나타내는 또 다른 일실시예 구성도.
도 3은 도 2의 트랜스코더(103)를 나타내는 일실시예 상세 구성도.
도 4는 도 2의 비트스트림 포맷터(205)로부터 생성되는 대표 SAOC 비트스트림을 나타내는 일실시예 구성도.
도 5는 도 2의 대표 SAOC 비트스트림을 나타내는 또 다른 일실시예 구성도.
도 6은 도 2의 트랜스코더(103)를 나타내는 또 다른 일실시예 구성도.
도 7은 도 2의 다객체 오디오 부호화기 및 복호화기에 오디오 객체 제거부(701)가 추가적으로 포함된 경우를 나타내는 일실시예 구성도.
도 8은 도 2의 SAC 인코더(201) 및 SAC 디코더(105)를 MPEG Surround 인코더 및 디코더로 대체한 경우를 나타내는 일실시예 구성도.
상술한 목적, 특징들 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명한다.
도 1은 본 발명에 따른 다객체 오디오 부호화기 및 복호화기를 나타내는 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명은 SAOC(Spatial Audio Object Coding) 인코더(101), 트랜스코더(103) 및 SAC(Spatial Audio Coding) 디코더(105)를 포함한다.
다객체 공간큐 기반 코딩(SAOC: Spatial Audio Object Coding) 방식은 인코더로 입력되는 신호를 오디오 객체로서 부호화한다. 여기서, 각 오디오 객체들이 디코더에 의해 복원되어 각각 독립적으로 재생되는 것이 아니라, 원하는 오디오 장면을 구성하기 위해 오디오 객체에 대한 정보가 렌더링되어 다양한 채널을 갖는 다객체 오디오 신호가 출력된다. 따라서, SAC 디코더는 원하는 오디오 장면을 얻기 위해 입력되는 오디오 객체에 대한 정보를 렌더링 할 수 있는 장치가 요구된다.
상기 SAOC 인코더(101)는 공간큐 기반의 인코더로서, 입력 오디오 신호를 오디오 객체로서 부호화한다. 여기서, 상기 SAOC 인코더(101)로 입력되는 오디오 객체는 모노 또는 스테레오 신호이다.
상기 SAOC 인코더(101)는 입력되는 1개 이상의 오디오 객체로부터 다운믹스 신호를 출력하고, 공간큐 및 부가정보를 추출하여 SAOC 비트스트림을 생성한다. 여기서, 출력되는 다운믹스 신호는 모노 또는 스테레오 신호이다. 여기서, 상기 SAOC 인코더(101)는 "이질적인 레이아웃 SAOC" 또는 "Faller" 기법을 이용하여 입력되는 오디오 객체 신호를 분석할 수 있다.
상기 추출된 SAOC 비트스트림은 공간큐 및 부가정보를 포함하며, 상기 부가정보는 입력 오디오 객체들의 공간 정보를 포함하며, 상기 공간큐는 일반적으로 주파수 영역 부밴드 단위로 분석되어 추출된다.
여기서, 공간큐(spatial cue)란 오디오 신호를 부호화 및 복호화하는 과정에서 이용되는 정보로서, 주파수 영역에서 추출되며, 입력되는 두 신호의 크기 차, 지연 차, 상관성 등의 정보를포함한다. 예를 들어, 오디오 신호의 파워 이득 정보를 나타내는 오디오 신호간 레벨차(Channel Level Difference, CLD), 오디오 신호간 에너지비(Inter-Channel Level Difference, ICLD), 오디오 신호간 시간차(Inter Channel Time Difference, ICTD), 오디오 신호간 상관성 정보를 나타내는 오디오 신호간 상관성(Inter Channel Correlation, ICC) 및 가상음원 위치 정보(Virtual Source Location Information)가 있으며, 이에 한정되지 않는다.
또한 상기 부가정보는 오디오 신호 복원 및 제어를 위한 정보가 포함된다. 상기 부가정보는 헤더정보를 포함한다. 상기 헤더정보는 다양한 채널로 구성된 다객체 오디오 신호의 복원 및 재생을 위한 정보를 포함하며, 오디오 객체에 대한 채널 정보 및 해당 오디오 객체의 ID를 정의함으로써 모노, 스테레오, 다채널의 오디오 객체에 대한 복호화 정보를 제공할 수 있다. 즉, 예를 들어, 부호화된 특정 오디오 객체가 모노 오디오 신호인지 스테레오 오디오 신호인지 구분될 수 있도록 식별 ID 및 객체별 정보가 정의될 수 있다. 상기 헤더정보는 일실시예로서 SAC(Spatial Audio Coding) 헤더 정보, 오디오 객체 정보 및 프리셋(preset) 정보를 포함할 수 있다.
상기 트랜스코더(103)는 SAOC 인코더(101)로 입력되는 오디오 객체에 대한 렌더링을 수행하고, 외부로부터 입력되는 제어신호, 즉 객체별 음향정보 및 재생환경정보를 이용하여 상기 SAOC 인코더(101)로부터 추출된 SAOC 비트스트림을 SAC 비트스트림으로 변환한다.
즉, 상기 트랜스코더(103)는 SAOC 인코더(101)로 입력되는 오디오 객체를 다양한 채널의 다객체 오디오 신호로 복원하기 위해 추출된 SAOC 비트스트림을 이용하여 렌더링한다. 부가정보를 이용한 렌더링은 파라미터 영역에서 수행될 수 있다.
또한, 상기 트랜스코더(103)는 SAOC 비트스트림을 SAC 비트스트림으로 변환한다. 먼저, 상기 트랜스코더(103)는 SAOC 비트스트림으로부터 입력 오디오 객체들의 정보를 얻고, 입력 오디오 객체들의 정보를 원하는 오디오 장면에 대응되도록 랜더링한다. 상기 렌더링 과정에서 상기 트랜스코더(103)는 원하는 오디오 장면에 대응되는 공간정보를 예측하며, 상기 예측된 공간정보를 변환하여 SAC 비트스트림으로서 출력한다.
상기 트랜스코더(103)에 대해서는 이하 도 3에서 상세하게 설명한다.
상기 SAC 디코더(105)는 공간큐 기반의 다채널 오디오 디코더로서, 상기 트랜스코더(103)로부터 출력되는 SAC 비트스트림을 이용하여, 상기 SAOC 인코더(101)로부터 출력되는 다운믹스 신호를 객체별 오디오 신호로 복원하여 다양한 채널의 다객체 오디오 신호로 복원한다. 상기 SAC 디코더(105)는 MPEG Surround 복호화기, BCC 복호화기 등으로 대체될 수 있다.
도 2는 본 발명에 따른 다객체 오디오 부호화기 및 복호화기를 나타내는 또 다른 일실시예 구성도로서, 입력 신호가 다양한 채널을 갖는 신호인 경우를 나타낸다.
도 2에 도시된 바와 같이, 본 발명은 SAOC 인코더(101), 트랜스코더(103), SAC 디코더(105), SAC 인코더(201), 프리셋 ASI부(203) 및 비트스트림 포맷터(205)를 포함한다.
상기 SAOC 인코더(101)가 모노 또는 스테레오의 오디오 객체만을 지원하는 경우, 상기 SAC 인코더(201)는 입력되는 다채널 오디오 신호로부터 하나의 오디오 객체를 출력한다. 상기 출력된 하나의 오디오 객체는 다운믹스된 모노 또는 스테레오 신호이다. 또한 상기 SAC 인코더(201)는 공간큐 및 부가정보를 추출하여 SAC 비트스트림을 생성한다.
상기 SAOC 인코더(101)는 상기 SAC 인코더(201)로부터 출력되는 하나의 오디오 객체를 포함하는 1개 이상의 오디오 객체로부터 대표 다운믹스 신호를 출력하고, 공간큐 및 부가정보를 추출하여 SAOC 비트스트림을 생성한다.
상기 프리셋 ASI부(203)는 외부로부터 입력되는 제어신호, 즉 객체별 음향정보 및 재생환경정보를 Preset-ASI(Preset-Audio Scene Information) 정보로 구성하고, 상기 Preset-ASI 정보를 포함하는 프리셋 ASI 비트스트림을 생성한다. 상기 Preset-ASI 정보에 대해서는 이하 도 4에서 상세하게 설명한다.
상기 비트스트림 포맷터(205)는 상기 SAOC 인코더(101)에 의해 생성된 SAOC 비트스트림, 상기 SAC 인코더(201)에 의해 생성된 SAC 비트스트림 및 상기 프리셋 ASI부(203)에 의해 생성된 프리셋 ASI 비트스트림를 이용하여 대표 SAOC 비트스트림을 생성한다.
상기 트랜스코더(103)는 SAOC 인코더(101)로 입력되는 오디오 객체에 대한 렌더링을 수행하고, 외부로부터 입력되는 객체별 음향정보 및 재생환경정보를 이용하여 상기 비트스트림 포맷터(205)에 의해 생성된 대표 SAOC 비트스트림을 대표 SAC 비트스트림으로 변환한다. 상기 트랜스코더(103)는 상기 SAC 디코더(105)에 포함되어 상기와 같은 역할을 할 수 있다.
상기 SAC 디코더(105)는 상기 트랜스코더(103)로부터 출력되는 SAC 비트스트림을 이용하여, 상기 SAOC 인코더(101)로부터 출력되는 다운믹스 신호를 다양한 채널의 다객체 오디오 신호로 복원한다. 상기 SAC 디코더(105)는 MPEG Surround 복호화기, BCC 복호화기 등으로 대체될 수 있다.
도 3은 도 2의 트랜스코더(103)를 나타내는 일실시예 상세 구성도이다.
도 3에 도시된 바와 같이, 트랜스코더(103)는 파싱부(301), 렌더링부(303), 제2행렬부(311) 및 제1행렬부(313)를 포함하고, 대표 SAOC 비트스트림을 대표 SAC 비트스트림으로 변환한다.
한편, 도 1의 경우 상기 트랜스코더(103)는 SAOC 비트스트림을 SAC 비트스트림으로 변환한다.
상기 파싱부(301)는 상기 비트스트림 포맷터(205)로부터 생성된 대표 SAOC 비트스트림 또는 도 1의 SAOC 인코더(101)로부터 생성된 SAOC 비트스트림을 파싱하여, 상기 대표 SAOC 비트스트림에 포함된 SAOC 비트스트림과 SAC 비트스트림을 분리한다. 또한 상기 파싱부(301)는 상기 분리된 SAOC 비트스트림으로부터 SAOC 인코더(101)로 입력되는 오디오 객체의 개수에 대한 정보를 추출한다. 여기서, 도 1의 SAOC 인코더(101)로부터 생성된 SAOC 비트스트림을 파싱하는 경우, SAC 비트스트림이 존재하지 않으므로 분리될 필요가 없다.
상기 제2행렬부(311)는 상기 파싱부(301)에 의해 분리된 SAC 비트스트림을 이용하여 제2행렬을 생성한다. 상기 제2행렬은 SAC 인코더(201)에 입력되는 다채널 오디오 신호에 대한 행렬식이다. 만약, 상기 대표 SAOC 비트스트림에 SAC 비트스트림이 포함되지 않은 경우, 즉 도 1의 SAOC 인코더(101)로부터 생성된 SAOC 비트스트림을 파싱하는 경우, 상기 제2행렬부(311)는 불필요하다.
제2행렬은 SAC 인코더(201)에 입력되는 다채널 오디오 신호의 파워 이득 값에 대한 것으로서, 하기 [수학식 1]과 같다.
Figure pat00001
일반적으로, 하나의 프레임을 서브밴드로 분할하여 해석하는 것이 SAC의 기본 분석 과정이다.
여기서,
Figure pat00002
는 SAC 인코더(201)로부터 출력되는 다운믹스 신호로서, k는 주파수 계수 인덱스이며, b는 서브밴드 인덱스이다.
Figure pat00003
는 상기 SAC 비트스트림으로부터 얻을 수 있는 다채널 신호의 공간큐 정보로서, i번째 채널 신호(1≤i≤M)의 주파수 정보를 복원하기 위해 이용된다. 따라서,
Figure pat00004
는 주파수 계수의 크기정보나 위상정보로서 표현될 수 있다. 따라서, [수학식 1]의 오른쪽 항을 보면,
Figure pat00005
는 [수학식 1]의 결과로서, SAC 디코더(105)로부터 출력되는 다채널 오디오 신호를 나타낸다.
상기
Figure pat00006
과
Figure pat00007
는 벡터이며,
Figure pat00008
의 전치 행렬 차원(Transpose Matrix Dimension)이
Figure pat00009
의 차원이 된다. 예를 들어, 하기 [수학식2]와 같이 정의될 수 있다. 여기서, SAC 인코더(201)로부터 출력되는 다운믹스 신호는 모노 또는 스테레오 이므로 m은 1 또는 2이다.
Figure pat00010
상기한 바와 같이,
Figure pat00011
는 SAC 비트스트림에 포함된 공간큐 정보이다.
Figure pat00012
가 각 채널의 서브밴드에서의 파워 이득을 나타내는 경우,
Figure pat00013
는 채널 레벨 차 공간큐 (Channel Level Difference, CLD)로부터 예측될 수 있다.
Figure pat00014
가 주파수 계수들의 위상 차를 보상하기 위한 계수로 이용되는 경우,
Figure pat00015
는 채널 시간차 공간큐 (Channel Time Difference) 또는 상관성 공간큐(Inter-Channel Coherence)로부터 예측될 수 있다.
이하, 예시적으로,
Figure pat00016
를 주파수 계수들의 위상 차를 보상하기 위한 계수로 이용되는 경우를 기준으로 설명한다.
SAC 인코더(201)로부터 출력되는 다운믹스 신호와의 행렬 연산을 통해 출력신호
Figure pat00017
가 생성될 수 있도록, [수학식 1]의 제2행렬은 각 채널별 파워 이득값을 표현하고, 상기 다운믹스 신호의 벡터의 차원에 역이 되어야 한다.
상기 제2행렬부(311)가 [수학식 1] 및 [수학식 2]를 만족하는 제2행렬을 생성하면, 상기 렌더링부(303)는 상기 생성된 제2행렬을 상기 제1행렬부(313)의 출력과 결합한다.
상기 제1행렬부(313)는 제어신호(예를 들어, 객체 제어정보, 재생 시스템 정보)를 이용하여, 상기 SAOC 인코더(101)에 입력되는 1개 이상의 오디오 객체를 원하는 출력, 즉 다양한 채널의 다객체 오디오 신호로 매핑시키기 위한 제1행렬을 생성한다.
상기 SAOC 인코더(101)에 입력된 오디오 객체의 개수가 N인 경우, SAC 인코더(201)로부터 출력되는 다운믹스 신호도 하나의 오디오 객체로 간주되며, 입력되는 N개의 오디오 객체에 포함된다. 이와 같은 경우, SAC 인코더(201)로부터 출력되는 다운믹스 신호를 제외한 각 오디오 객체들은 제1행렬을 이용하여 SAC 디코더(105)로부터 출력되는 채널로 매핑될 수 있다.
SAC 디코더(105)로부터 출력되는 채널의 개수를 M이라 할 때, 제1행렬은 하기의 조건을 만족할 수 있다.
Figure pat00018
여기서,
Figure pat00019
는 b번째 서브밴드의 i번째 오디오 객체 신호(1≤i≤N-1)를 나타내는 벡터로서, 상기 SAOC 비트스트림으로부터 얻을 수 있는 공간큐 정보이다. 만약, 오디오 객체 i가 스테레오라면
Figure pat00020
는 2x1 행렬 벡터이다.
Figure pat00021
는 j번째 오디오 객체가 i번째 출력 채널에 매핑되기 위한 파워이득 정보 또는 위상정보를 나타내는 제1행렬의 요소 벡터로서, 외부에서 입력되거나 초기값으로 설정된 제어정보(예를 들어, 객체 제어정보, 재생 시스템 정보)로부터 얻을 수 있다.
상기 [수학식 3] 조건에 맞는 제1행렬은 상기 렌더링부(303)로 전송되고, 상기 [수학식 3]은 상기 렌더링부(303)에서 연산된다.
[수학식 3]의 연산자
Figure pat00022
및 연산과정은 하기 [수학식4]와 [수학식 5]에서 상세하게 설명한다.
Figure pat00023
Figure pat00024
여기서, 입력되는 오디오 객체가 스테레오인 경우, m은 2가 된다.
예를 들면, 입력되는 오디오 객체의 개수가 Y이며, m=2이고, 출력되는 채널의 개수가 M인 경우, 제1행렬의 차원은 MxY가 되며, Y개의
Figure pat00025
는 2x1 행렬로 구성된다. 여기서, SAC 인코더(201)로부터 출력되는 오디오 객체가 포함되는 경우, Y=Y-1로 간주된다. 상기 [수학식 3]의 연산 결과, 출력되는 채널의 파워 이득 벡터
Figure pat00026
로 구성된 행렬이 표현될 수 있어야 한다. 상기 표현된 벡터의 차원이 Mx2인 경우, 출력되는 채널 개수 M 및 입력되는 오디오 객체의 레이아웃인 2를 반영한다.
다시, 도 3의 설명으로 돌아와서, 상기 렌더링부(303)는 상기 제1행렬부(313) 및 제2행렬부(311)로부터 제1행렬 및 제2행렬을 전송받는다. 상기 렌더링부(303)는 상기 파싱부(301)에 의해 분리된 SAOC 비트스트림으로부터 획득되는 각 오디오객체의 공간큐 정보
Figure pat00027
를 얻고, 제1행렬 및 제2행렬을 이용하여 계산된 출력 벡터를 결합하여 원하는 공간큐 정보를 획득하고, 상기 원하는 공간큐 정보를 포함하는 대표 SAC 비트스트림을 생성한다. 여기서, 원하는 공간큐란, 사용자가 상기 SAC 디코더(105)로부터 출력되기 원하는 출력 다채널 오디오 신호와 관련된 공간큐를 의미한다.
상기 제1행렬 및 제2행렬에 기초하여 원하는 공간큐 정보를 획득하기 위한 연산은 하기 [수학식 6]과 같다.
Figure pat00028
여기서,
Figure pat00029
은 제1행렬을 생성할 때 고려되지 않은 사항으로서, SAC 인코더(201)로부터 출력되는 오디오 객체의 파워와 SAOC 인코더(101)로 직접 입력되는 오디오 객체의 파워 합의 비를 나타낸다.
상기
Figure pat00030
은 [수학식 7]과 같이 나타낼 수 있다.
Figure pat00031
따라서,
Figure pat00032
이 출력되는 채널의 파워라면, 오디오 객체들이 렌더링 된 후 각 채널들의 파워 비는
Figure pat00033
로서 나타난다.
Figure pat00034
로부터 원하는 공간큐 파라미터를 새롭게 추출할 수 있다. 예를 들어, ch_2와 ch_1 사이의 CLD 파라미터를 추출하려 한다면, 하기 [수학식 8]과 같다.
Figure pat00035
만일 전송되는 다운믹스 신호가 모노 신호라면, CLD 파라미터는 하기 [수학식 9]와 같다.
Figure pat00036
출력되는 채널의 파워비는 공간큐 파라미터인 CLD로 표현할 수 있으며, 인접 채널간의 공간큐 파라미터는 주어진
Figure pat00037
정보로부터 다양한 조합의 형태로 나타낼 수 있다. 상기 렌더링부(303)는
Figure pat00038
로부터 추출된 공간큐(예를 들어, CLD 파라미터)를 Huffman 코딩 방식 등을 이용하여 SAC 비트스트림을 생성한다.
상기 렌더링부(303)에 의해 생성된 SAC 비트스트림에 포함되는 공간큐는 디코더의 특성에 따라 분석 및 추출되는 방법이 달라진다.
예를 들어, BCC 디코더의 경우, 하나의 채널을 기준으로 상기 [수학식 8]을 이용하여 N-1개의 CLD 파라미터를 추출할 수 있다. 또한, MPEG Surround 디코더의 경우, MPEG Surround의 채널별 비교 순서에 따라 CLD 파라미터를 추출할 수 있다.
정리하면, 상기 파싱부(301)는 SAC 비트스트림 및 SAOC 비트스트림을 분리하고, 상기 제2행렬부(311)는 상기 파싱부(301)에 의해 분리된 SAC 비트스트림을 이용하여 하기 [수학식 1]에 따라 제2행렬을 생성하고, 상기 제1행렬부(313)는 제어신호에 대응되는 제1행렬을 생성한다. 상기 파싱부(301)에 의해 분리된 SAOC 비트스트림은 상기 렌더링부(303)로 전송되고, 상기 렌더링부(303)는 전송된 SAOC 비트스트림으로부터 객체들의 정보를 얻어 제1행렬과 연산하고, 상기 연산 결과를 제2행렬과 결합하여 상기
Figure pat00039
를 생성하고, 생성된
Figure pat00040
로부터 공간큐를 추출하여 대표 SAC 비트스트림을 생성한다. 즉, 생성된
Figure pat00041
로부터 공간큐가 원하는 공간큐가 된다. 상기 대표 SAC 비트스트림은 MPEG Surround 디코더 또는 BCC 디코더의 특성에 따라 적절하게 변환된 비트스트림으로서, 다양한 채널을 갖는 다객체 신호로 복원될 수 있다.
도 4는 도 2의 비트스트림 포맷터(205)로부터 생성되는 대표 SAOC 비트스트림을 나타내는 일실시예 구성도이다.
도 4에 도시된 바와 같이, 비트스트림 포맷터(205)에 의해 생성된 대표 SAOC 비트스트림은 상기 SAOC 인코더(101)에 의해 생성된 SAOC 비트스트림 및 상기 SAC 인코더(201)에 의해 생성된 SAC 비트스트림을 결합하여 생성되며, 상기 대표 SAOC 비트스트림은 상기 프리셋 ASI부(203)에 의해 생성된 Preset-ASI 비트스트림을 포함한다. 상기 Preset-ASI 비트스트림은 하기 도 5에서 상세하게 설명한다.
상기 SAOC 비트스트림 및 SAC 비트스트림을 결합하는 방법은, 첫째, 각각의 비트스트림을 직접적으로 MUX 시켜 하나의 비트스트림을 생성하는 방법으로서, 대표 SAOC 비트스트림에서 SAOC 비트스트림 및 SAC 비트스트림이 직렬적으로 연결된다(401).
둘째, SAOC 보조 데이터(ancillary data)영역이 존재하는 경우, 상기 보조 영역에 SAC 비트스트림 정보를 포함시켜 하나의 비트스트림을 생성하는 방법으로서, 대표 SAOC 비트스트림에서 SAOC 비트스트림 및 보조 데이터 영역이 직렬적으로 연결되며, 상기 보조 데이터 영역은 SAC 비트스트림을 포함한다(403).
셋째, 상기 SAOC 비트스트림 및 SAC 비트스트림 중에서, 유사한 공간큐를 부호화한 영역을 같은 비트스트림으로 표현하는 방법으로서, 예를 들어, 대표 SAOC 비트스트림의 헤더정보 영역에는 SAOC 비트스트림 헤더정보 및 SAC 비트스트림 헤더정보가 포함되고, 대표 SAOC 비트스트림의 임의의 영역 각각에는 특정 CLD와 관련된 SAOC 비트스트림 및 SAC 비트스트림이 포함된다(405).
도 5는 도 2의 대표 SAOC 비트스트림을 나타내는 또 다른 일실시예 구성도로서, 상기 대표 SAOC 비트스트림이 다수의 Preset-ASI 정보를 포함하는 경우를 나타낸다..
도 5에 도시된 바와 같이, 대표 SAOC 비트스트림은 Preset-ASI 영역을 포함한다. 상기 Preset-ASI 영역은 다수의 Preset-ASI를 포함하며, 상기 Preset-ASI 정보는 오디오 객체의 제어정보 및 레이아웃 정보 등을 포함한다.
상기 트랜스코더(103)를 이용하여 오디오 객체를 렌더링 하는 경우, 각 오디오 객체의 위치 정보 및 제어 정보, 출력되는 재생스피커 레이아웃 정보가 입력되어야 한다. 상기 제어정보 및 재생스피커 레이아웃 정보가 입력되지 않는 경우, 트랜스코더(103)에서 각 오디오 객체의 제어정보 및 레이아웃 정보는 기본값으로 설정된다.
기본값으로 설정된 제어정보 및 레이아웃 정보를 이용하거나, 입력되는 오디오 객체 제어정보 및 레이아웃 정보는 대표 SAOC 비트스트림 또는 대표 SAC 비트스트림의 부가정보 또는 헤더정보에 포함된다. 상기 제어정보는 두 가지로 표현될 수 있다. 첫째, 각 오디오 객체들에 대한 제어정보 (위치 및 레벨) 및 스피커의 레이아웃 정보를 직접적으로 표현하거나, 둘째, 제어정보 및 스피커의 레이아웃 정보를 제1행렬 형태로 표현하여, 상기 제1행렬부(313)의 제1행렬 대신 이용될 수 있다.
Preset-ASI 정보란, 오디오 객체 제어정보 및 스피커의 레이아웃 정보를 나타낸다. 즉, 스피커의 레이아웃 정보 및 스피커의 레이아웃 정보에 적합한 오디오 장면을 구성하기 위한 각 오디오 객체의 위치 및 레벨정보 등을 포함한다.
상기 파싱부(301)에 의해 추출된 Preset-ASI 정보를 대표 SAC 비트스트림으로 전송 하기 위해서, 상기한 바와 같이, 상기 Preset-ASI 정보는 직접적으로 표현되거나, 제1행렬 형태로 표현된다.
Preset-ASI 정보가 직접적으로 표현되는 경우, Preset-ASI 정보는 재생 시스템의 레이아웃(모노/스테레오/멀티채널), 오디오 객체 ID, 오디오 객체 레이아웃 (모노 or 스테레오), 오디오 객체 위치, 방위(Azimuth, 0 degree ~ 360 degree), 스테레오 재생시 높낮이(Elevation, -50 degree ~ 90 degree), 오디오 객체 레벨정보(-50 dB ~ 50dB)를 포함할 수 있다.
Preset-ASI 정보가 제1행렬 형태로 표현되는 경우, 상기 Preset-ASI 정보들을 반영한 [수학식 3]의
Figure pat00042
행렬을 구성하고, 상기
Figure pat00043
행렬을 렌더링부(303)로 전송한다. 상기
Figure pat00044
행렬은 각 오디오 객체들이 출력되는 채널에 매핑되기 위한 파워 이득 정보 또는 위상정보를 요소 벡터로 포함한다.
상기 Preset-ASI 정보는 입력되는 동일한 오디오 객체에 대하여, 원하는 재생 시나리오에 대응되는 여러가지 오디오 장면을 정의할 수 있다. 예를 들어, 스테레오 또는 다채널(5.1, 7.1) 재생 시스템에 요구되는 Preset-ASI 정보가 콘텐츠 제작자 및 재생 서비스의 목적에 맞게 추가적으로 전송될 수 있다.
도 6은 도 2의 트랜스코더(103)를 나타내는 또 다른 일실시예 구성도로서, 외부로부터 입력되는 제어신호가 없는 경우에 Preset-ASI 정보를 활용하는 일실시예 구성도를 나타낸다.
도 6에 도시된 바와 같이, 트랜스코더(103)는 파싱부(301) 및 렌더링부(303)를 포함한다. 상기 트랜스코더(103)는 제2행렬부(311), 제1행렬부(313), Preset-ASI 추출부(601) 및 행렬판단부(603)의 도움을 받을 수 있다.
상기 파싱부(301)는 상기 대표 SAOC 비트스트림에 포함된 SAOC 비트스트림과 SAC 비트스트림을 분리하고, 상기 대표 SAOC 비트스트림에 포함된 Preset-ASI 비트스트림을 파싱하여 Preset-ASI 추출부(601)로 전송한다.
상기 Preset-ASI 추출부(601)는 파싱된 Preset-ASI 비트스트림으로부터 디폴트(default) Preset-ASI를 출력하지만, 만약 Preset-ASI에 대한 분리(selection) 요청이 있는 경우, 분리 요청된 Preset-ASI를 출력한다.
상기 행렬판단부(603)는 상기 Preset-ASI 추출부(601)에 의해 출력된 Preset-ASI가 분리된 Preset-ASI의 경우, 분리된 Preset-ASI가 제1행렬의 형태인지 판단한다. 분리된 Preset-ASI가 정보를 직접적으로 표현한 경우, 상기 제1행렬부(313)로 전송되며, 상기 제1행렬부(313)는 상기 Preset-ASI 정보를 이용하여 제1행렬을 생성한다. 분리된 Preset-ASI가 제1행렬인 경우, 렌더링부(303)로 직접 입력되는 신호로 이용된다.
도 7은 도 2의 다객체 오디오 부호화기 및 복호화기에 오디오 객체 제거부(701)가 추가적으로 포함된 경우를 나타내는 일실시예 구성도이다.
도 7에 도시된 바와 같이, 오디오 객체 제거부(701)는 상기 SAOC 인코더(101)에 의해 생성된 대표 다운믹스 신호로부터 임의의 오디오 객체를 제거하기 위해 이용된다. 상기 오디오 객체 제거부(701)는 상기 SAOC 인코더(101)에 의해 생성된 대표 다운믹스 신호 및 상기 트랜스코더(103)로부터 대표 SAOC 비트스트림 정보를 전송받아 임의의 오디오 객체를 제거한다. 상기 오디오 객체 제거부(701)로 전송되는 대표 SAOC 비트스트림 정보는 예를 들어 랜더링부(303)에 의해 제공될 수 있다.
예를 들어, 상기 SAC 인코더(201)의 다운믹스 신호인 오디오 객체(object#N)만을 상기 SAC 디코더(105)의 입력 신호로서 이용하고자 하는 경우를 설명한다.
상기 SAOC 인코더(101)는 입력되는 각각 오디오 객체들의 파워 크기를 서브밴드 별로 추출하여 CLD 값으로 추출하고, 상기 CLD 값을 포함하는 SAOC 비트스트림을 생성한다. 임의의 서브밴드 m에 대한 파워 정보는 다음과 같이 얻을 수 있다.
Figure pat00045

여기서
Figure pat00046
은 SAOC 인코더(101)에 의해 출력되는 대표 다운믹스 신호의 m번째 밴드의 파워크기이다. 따라서, 오디오 객체 제거부(701)로 입력되는 대표 다운믹스 신호를
Figure pat00047
이라 하고, 상기 대표 다운믹스 신호를 주파수 영역으로 변환한 것을
Figure pat00048
라 하고, 오디오 객체 제거부(701)의 출력신호, 즉 상기 SAC 디코더(105)의 입력 신호를
Figure pat00049
라 하면,
Figure pat00050
은 상기 SAC 인코더(201)의 다운믹스 신호인 오디오 객체(object#N)와 대응되며, 하기 [수학식 10]으로 나타낼 수 있다.
Figure pat00051
여기서, A(m)은 m번째 서브밴드의 주파수 영역에서 경계를 나타내며,
Figure pat00052
는 레벨 크기를 조절하기 위한 임의의 상수 값이고,
Figure pat00053
는 모노 또는 스테레오이다.
이하,
Figure pat00054
가 모노인 경우를 설명한다. 다만,
Figure pat00055
가 스테레오인 경우,
Figure pat00056
가 좌/우 채널로 분리되어 처리되는 것 이외에는 모노인 경우와 동일하다.
상기
Figure pat00057
는 상기 SAC 인코더(201)의 다운믹스 신호인 오디오 객체(object#N)와 동일하게 볼 수 있다. 따라서, 상기 SAC 디코더(105)로 입력되는 대표 SAC 비트스트림은 상기 대표 SAOC 비트스트림으로부터 상기 SAOC 비트스트림이 제외된 비트스트림으로서, SAC 인코더(201)로부터 출력되는 SAC 비트스트림과 동일하게 이용될 수 있다. 즉, 상기 SAC 디코더(105)는 object#N를 전송받아, M개의 다채널 신호로 복원할 수 있다. 그러나, 전체 신호의 레벨은 트랜스코더(103)의 렌더링부(303)에 의해 조절되거나, 또는 [수학식 10]에 임의의 상수 값을 곱하여 object#N의 신호 레벨을 조정함으로써 조절될 수 있다.
한편, 일실시예로, 상기 SAC 인코더(201)의 다운믹스 신호인 오디오 객체(object#N)만을 상기 SAC 디코더(105)의 입력 신호에서 제거하고자 하는 경우를 설명한다. 상기 [수학식 10]은 하기 [수학식 11]과 같이 나타난다.
Figure pat00058
따라서, 상기 SAC 디코더(105)로 입력되는 대표 SAC 비트스트림은 상기 대표 SAOC 비트스트림으로부터 SAC 인코더(201)의 상기 SAC 비트스트림이 제외된 비트스트림으로서, 렌더링부(303)의 제2행렬에 대한 출력이 없는 것으로 볼 수 있다. 즉, 상기 트랜스코더(103)는 대표 SAOC 비트스트림블록을 파싱하고, object#N에 관한 정보를 제외한 나머지 오디오 객체 정보만을 랜더링하여 대표 SAC 비트스트림을 생성한다.
따라서, object#N에 해당하는 파워 이득정보, 상관성 정보 등은 대표 SAC 비트스트림에 포함되지 않는다. 상기 [수학식 11]은 [수학식 10]과 마찬가지로,
Figure pat00059
는 레벨 크기를 조절하기 위한 임의의 상수 값으로서, 전체 출력신호 레벨을 조절할 수 있다.
상기 오디오 객체 제거부(701)는 대표 다운믹스 신호에서 오디오 객체를 제거하며, 제거 명령은 트랜스코더(103)로 입력되는 제어 신호에 의해 결정된다. 상기 오디오 객체 제거부(701)는 시간영역 신호 및 주파수영역 신호 모두 적용 가능하다. 또한, 상기 대표 다운믹스 신호를 서브밴드로 분할하기 위해 DFT(Discrete Fourier Transform) 또는 QMF(Quadrature Mirror Filterbank)를 이용할 수 있다.
트랜스코더(103)의 렌더링부(303)는 SAOC 비트스트림 또는 SAC 비트스트림을 제거하여 SAC 디코더(105)로 전송하며, 상기 오디오 객체 제거부(701)는 상기 SAC 디코더(105)로 전송되는 비트스트림에 대응되도록 오디오 객체를 적절이 제거한다.
상기 트랜스코더(103)가 SAC 디코더(105)에 포함되는 경우, 상기 트랜스코더(103)로부터 출력되는 대표 SAC 비트스트림은 부가의 변환 과정 없이 SAC 디코더(105)로 전송될 수 있다. 여기서, 부가의 변환 과정이란, 양자화나 Huffman 코딩 방법과 같은 일반적인 코딩과정을 의미한다.
또한 SAOC 인코더(101)가 SAC 인코더(201)와 연결되지 않은 것으로 보고, SAC 인코더(201)의 출력 오디오 객체를 제외한 SAOC 인코더(101)로 입력되는 오디오 객체, 즉 object#1~object#N-1만을 제어하여 복원할 수 있다.
도 8은 도 2의 SAC 인코더(201) 및 SAC 디코더(105)를 MPEG Surround 인코더 및 디코더로 대체한 경우를 나타내는 일실시예 구성도이다.
도 8에 도시된 바와 같이, SAC 인코더(201)는 MPEG Surround 인코더(MPS 인코더, 801)로, SAC 디코더(105)는 MPEG Surround 디코더(MPS 디코더, 805)로 대체된다. 또한, 상기 SAOC 인코더(101)로부터 출력되는 대표 다운믹스 신호가 스테레오인 경우, 추가적으로 신호처리부(803)가 요구된다.
상기 MPS 인코더(801)는 도 2의 SAC 인코더(201)와 동일한 역할을 한다. 즉, 상기 MPS 인코더(801)는 입력되는 다채널 오디오 신호로부터 하나의 오디오 객체를 출력하고, 공간큐 및 부가정보를 추출하여 MPS 비트스트림을 생성한다. 상기 출력된 하나의 오디오 객체는 다운믹스된 모노 또는 스테레오 신호이다.
또한, 상기 MPS 디코더(805)는 도 2의 SAC 디코더(805)와 동일한 역할을 한다. 즉, 상기 MPS 디코더(805)는 상기 트랜스코더(103)로부터 출력되는 SAC 비트스트림을 이용하여, 상기 SAOC 인코더(101)로부터 출력되는 다운믹스 신호 또는 신호처리부(803)로부터 출력되는 대표 재다운믹스 신호를 다양한 채널의 다객체 오디오 신호로 복원한다.
한편, 상기 신호처리부(805)는 상기 SAOC 인코더(101)로부터 출력되는 다운믹스 신호가 스테레오인 경우, 즉 상기 MPS 디코더(805)가 스테레오 신호를 처리하는 경우, MPS 디코더(805)가 스테레오 신호의 Left/Right 처리에 제약이 있기 때문에 요구된다.
상기 [수학식 2]는 일반적인 SAC 디코더에서 다운믹스 신호가 m개로 일반화된 경우를 나타낸다. 다운믹스 신호가 스테레오인 경우, 복원되는 출력 채널 1에 대한 [수학식 2]는 하기 [수학식 12]와 같다.
Figure pat00060
여기서, 출력 채널의 벡터는 모든 다운믹스 신호에 대해 적용 가능하여야 하나, 현재 MPS 디코더(805)에서는 불가능하다. 상기 MPS 디코더(805)는 하기 [수학식 13]과 같이, 행렬 값이 0으로 제한되기 때문이다.
Figure pat00061
즉, 출력 채널 1을 복원함에 있어서,
Figure pat00062
요소가 반영되지 못하므로, 상기 [수학식 3], [수학식 4], [수학식 5]에의해 생성된
Figure pat00063
가 적용될 수 없다. 따라서, 스테레오 이상의 레이아웃을 갖는 신호에 대하여 유동적인 위치 선정(flexible positioning)이 불가능하다. 즉, 스테레오 신호의 좌측 신호 및 우측 신호 상호간에 자유로운 렌더링이 불가능하다.
그러나, 상기 신호처리부(803)를 이용하여 상기 SAOC 인코더(101)로부터 출력되는 대표 다운믹스 신호를 다시 다운믹스하여 대표 재다운믹스 신호로 출력한다. 상기 신호처리부(803)의 처리 과정은 하기 [수학식 14]와 같다.
Figure pat00064
상기 SAOC 인코더(101)로부터 출력되는 대표 다운믹스 신호가 스테레오인 경우, 상기 신호처리부(803)의 출력신호는 하기 [수학식 15]와 같다.
Figure pat00065
여기서,
Figure pat00066
,
Figure pat00067
는 상기 신호처리부(803)에 의해 출력되는 신호로서, 상기 MPS 디코더(805)로 입력된다.
Figure pat00068
및
Figure pat00069
는 [수학식 15]와 같이 좌측 신호 및 우측 신호의 렌더링이 모두 반영된 신호이므로, 상기 MPS 디코더(805)가 상기 [수학식 13]과 같이 제한되어도, 상기 MPS 디코더(805)는 좌측 신호 및 우측 신호가 자유롭게 렌더링된 신호를 출력할 수 있다.
예를 들어, 상기
Figure pat00070
이 MPS 디코더(805)에 의해 5 채널로 복원되는 경우, 상기 [수학식 14]에서
Figure pat00071
는 다음과 같이 표현될 수 있다.
Figure pat00072

상기한 바와 같이, MPEG Surround의 제약에 의하여 MPS 디코더(805)가 스테레오 신호를 처리하기 어려운 경우, 상기 신호처리부(803)는 상기 트랜스코더(103)로부터 전송된 객체 위치 정보를 이용하여 한번 더 다운믹스하여 대표 재다운믹스 신호를 출력한다. 상기 신호처리부(803)로 전송되는 객체 위치 정보는 예를 들어 랜더링부(303)에 의해 제공될 수 있다. 여기서, 랜더링부(303)는 앞서 설명된 바와 유사한 방식으로 상기 대표 SAOC 비트스트림에 기초하여 상기 SAOC 인코더(101) 및 MPS 인코더(801)로 입력되는 오디오 신호에 대하여 MPS 디코더(805)에 의해 출력될 오디오 신호의 좌측 신호 및 우측 신호 각각에 대한 공간큐 정보가 포함된 대표 MPS 비트스트림을 생성할 수 있다.
상기 MPS 디코더(805)는 상기 신호처리부(805)와 함께 동작함으로써, 도 2의 SAC 디코더(205)와 동일한 역할을 할 수 있다.
상기 MPS 디코더(805)는 상기 신호처리부(803)로부터 출력된 대표 재다운믹스 신호를 원하는 출력, 즉 다양한 채널을 갖는 다객체 신호로 복원한다.
상기 도 2의 SAC 디코더(205) 또는 상기 신호처리부(805)와 함께 동작하는 상기 MPS 디코더(805)의 복호화 방법은 다채널 다객체 다운믹스 신호와 다채널 다객체 부가정보(side information) 신호를 수신하는 단계;상기 다채널 다객체 다운믹스 신호를 다채널 다운믹스 신호로 변환하는 단계;상기 다채널 다객체 부가정보 신호를 다채널 부가정보 신호로 변환하는 단계; 상기 변환된 다채널 다운믹스 신호 및 다채널 부가정보 신호를 이용하여 오디오 신호를 합성하는 단계를 포함한다.
상기 다채널 다운믹스 신호 변환단계는, 상기 다채널 다객체 부가정보 신호로부터 얻어지는 객체 관련 정보를 이용하여 상기 다채널 다객체 다운믹스 신호로부터 객체 정보를 제거하는 단계를 포함한다. 상기 다채널 다운믹스 신호 변환단계는, 상기 다채널 다객체 부가정보 신호로부터 얻어지는 객체 관련 정보를 이용하여 상기 다채널 다객체 다운믹스 신호로부터 객체 정보를 제어하는 단계를 포함한다.
여기서, 상기 다채널 다운믹스 신호 변환단계에서, 상기 객체 관련 정보는 객체 제어 정보에 의해 제어될 수 있다. 여기서, 상기 객체 관련 정보는 복호화 시스템 정보에 의해 제어될 수 있다.
이상에서 설명된 본 발명에 따른 부호화 및 복호화 과정은 장치의 관점에서 설명되었으나, 상기 장치에 포함된 각 장치적 구성요소는 프로세스적 구성요소로 대체될 수 있으며, 이 경우, 본 발명에 따른 부호화 및 복호화 과정은 방법의 관점으로 이해될 수 있다는 것은 자명하다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니고, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 명백할 것이다.
101: SAOC 인코더
103: 트랜스코더
105: SAC 디코더

Claims (3)

  1. 다채널 오디오 복호화 장치가 다채널 오디오 신호 및 다객체 오디오 신호를 복호화하기 위한 공간큐 정보를 생성하는 트랜스코딩 장치에 있어서,
    상기 다객체 오디오 신호에 대한 제1랜더링 정보를 생성하는 랜더링 정보 생성 수단; 및
    상기 제1랜더링 정보와, 상기 다객체 오디오 신호에 대한 제2랜더링 정보에 기초하여 상기 다객체 오디오 신호에 대한 공간큐 정보를 생성하는 랜더링 수단;
    을 포함하되,
    상기 제2랜더링 정보는
    부호화 장치로부터 전송되며, 상기 다객체 오디오 신호에 대한 프리셋 정보(preset ASI)를 포함하는
    트랜스코딩 장치.
  2. 제1항에 있어서,
    상기 프리셋 정보는
    상기 오디오 객체 신호의 위치 정보, 레벨 정보 및 출력 레이아웃 정보 중 적어도 어느 하나를 포함하는
    트랜스코딩 장치.
  3. 제2항에 있어서,
    상기 프리셋 정보는
    상기 오디오 객체 신호의 식별 정보, 레이아웃 정보, 방위 정보, 및 높낮이 정보 중 적어도 어느 하나를 더 포함하는
    트랜스코딩 장치.
KR1020120153640A 2006-12-27 2012-12-26 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법 Active KR101309673B1 (ko)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR1020060135400 2006-12-27
KR20060135400 2006-12-27
KR1020070003897 2007-01-12
KR20070003897 2007-01-12
KR20070007724 2007-01-25
KR1020070007724 2007-01-25

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020100026330A Division KR101531239B1 (ko) 2006-12-27 2010-03-24 다객체 오디오 신호의 부호화 장치

Publications (2)

Publication Number Publication Date
KR20130007526A true KR20130007526A (ko) 2013-01-18
KR101309673B1 KR101309673B1 (ko) 2013-09-23

Family

ID=39562714

Family Applications (6)

Application Number Title Priority Date Filing Date
KR1020070138847A Active KR101086347B1 (ko) 2006-12-27 2007-12-27 부가정보 비트스트림 변환을 포함하는 다양한 채널로구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및방법
KR1020100026330A Expired - Fee Related KR101531239B1 (ko) 2006-12-27 2010-03-24 다객체 오디오 신호의 부호화 장치
KR1020110014763A Active KR101546744B1 (ko) 2006-12-27 2011-02-18 다양한 채널로 구성된 다객체 오디오 신호의 트랜스코딩 장치
KR1020120153690A Active KR101309672B1 (ko) 2006-12-27 2012-12-26 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법
KR1020120153474A Expired - Fee Related KR101395254B1 (ko) 2006-12-27 2012-12-26 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법
KR1020120153640A Active KR101309673B1 (ko) 2006-12-27 2012-12-26 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법

Family Applications Before (5)

Application Number Title Priority Date Filing Date
KR1020070138847A Active KR101086347B1 (ko) 2006-12-27 2007-12-27 부가정보 비트스트림 변환을 포함하는 다양한 채널로구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및방법
KR1020100026330A Expired - Fee Related KR101531239B1 (ko) 2006-12-27 2010-03-24 다객체 오디오 신호의 부호화 장치
KR1020110014763A Active KR101546744B1 (ko) 2006-12-27 2011-02-18 다양한 채널로 구성된 다객체 오디오 신호의 트랜스코딩 장치
KR1020120153690A Active KR101309672B1 (ko) 2006-12-27 2012-12-26 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법
KR1020120153474A Expired - Fee Related KR101395254B1 (ko) 2006-12-27 2012-12-26 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법

Country Status (6)

Country Link
US (2) US8370164B2 (ko)
EP (6) EP2595149A3 (ko)
JP (8) JP5941610B2 (ko)
KR (6) KR101086347B1 (ko)
CN (6) CN102595303B (ko)
WO (1) WO2008078973A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017501988A (ja) * 2013-12-19 2017-01-19 アーチャー−ダニエルズ−ミッドランド カンパニー グリコールのアシル化における向上した位置選択性
US20180204973A1 (en) * 2016-03-23 2018-07-19 Korea Photonics Technology Institute Light-emitting diode structure, transfer assembly, and transfer method using the same

Families Citing this family (50)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2595149A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Apparatus for transcoding downmix signals
JP5220840B2 (ja) * 2007-03-30 2013-06-26 エレクトロニクス アンド テレコミュニケーションズ リサーチ インスチチュート マルチチャネルで構成されたマルチオブジェクトオーディオ信号のエンコード、並びにデコード装置および方法
KR101461685B1 (ko) * 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
KR101596504B1 (ko) * 2008-04-23 2016-02-23 한국전자통신연구원 객체기반 오디오 컨텐츠의 생성/재생 방법 및 객체기반 오디오 서비스를 위한 파일 포맷 구조를 가진 데이터를 기록한 컴퓨터 판독 가능 기록 매체
US8452430B2 (en) 2008-07-15 2013-05-28 Lg Electronics Inc. Method and an apparatus for processing an audio signal
CN102099854B (zh) * 2008-07-15 2012-11-28 Lg电子株式会社 处理音频信号的方法和装置
KR101614160B1 (ko) 2008-07-16 2016-04-20 한국전자통신연구원 포스트 다운믹스 신호를 지원하는 다객체 오디오 부호화 장치 및 복호화 장치
JP5243527B2 (ja) * 2008-07-29 2013-07-24 パナソニック株式会社 音響符号化装置、音響復号化装置、音響符号化復号化装置および会議システム
EP2154910A1 (en) * 2008-08-13 2010-02-17 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus for merging spatial audio streams
KR101600352B1 (ko) * 2008-10-30 2016-03-07 삼성전자주식회사 멀티 채널 신호의 부호화/복호화 장치 및 방법
KR101129974B1 (ko) 2008-12-22 2012-03-28 (주)오디즌 객체 기반 오디오 컨텐츠 생성/재생 방법 및 그 장치
WO2010087631A2 (en) * 2009-01-28 2010-08-05 Lg Electronics Inc. A method and an apparatus for decoding an audio signal
US20100324915A1 (en) * 2009-06-23 2010-12-23 Electronic And Telecommunications Research Institute Encoding and decoding apparatuses for high quality multi-channel audio codec
US20110054917A1 (en) * 2009-08-28 2011-03-03 Electronics And Telecommunications Research Institute Apparatus and method for structuring bitstream for object-based audio service, and apparatus for encoding the bitstream
BR112012012097B1 (pt) * 2009-11-20 2021-01-05 Fraunhofer - Gesellschaft Zur Foerderung Der Angewandten Ten Forschung E.V. aparelho para prover uma representação de sinal upmix com base na representação de sinal downmix, aparelho para prover um fluxo de bits que representa um sinal de áudio de multicanais, métodos e fluxo de bits representando um sinal de áudio de multicanais utilizando um parâmetro de combinação linear
GB2485979A (en) * 2010-11-26 2012-06-06 Univ Surrey Spatial audio coding
AU2011334851B2 (en) * 2010-12-03 2015-01-22 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Sound acquisition via the extraction of geometrical information from direction of arrival estimates
KR20120071072A (ko) * 2010-12-22 2012-07-02 한국전자통신연구원 객체 기반 오디오를 제공하는 방송 송신 장치 및 방법, 그리고 방송 재생 장치 및 방법
JP6096789B2 (ja) 2011-11-01 2017-03-15 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． オーディオオブジェクトのエンコーディング及びデコーディング
US9622014B2 (en) 2012-06-19 2017-04-11 Dolby Laboratories Licensing Corporation Rendering and playback of spatial audio using channel-based audio systems
US9489954B2 (en) 2012-08-07 2016-11-08 Dolby Laboratories Licensing Corporation Encoding and rendering of object based audio indicative of game audio content
KR20140046980A (ko) * 2012-10-11 2014-04-21 한국전자통신연구원 오디오 데이터 생성 장치 및 방법, 오디오 데이터 재생 장치 및 방법
SG11201504368VA (en) 2012-12-04 2015-07-30 Samsung Electronics Co Ltd Audio providing apparatus and audio providing method
TWI530941B (zh) 2013-04-03 2016-04-21 杜比實驗室特許公司 用於基於物件音頻之互動成像的方法與系統
EP2973551B1 (en) 2013-05-24 2017-05-03 Dolby International AB Reconstruction of audio scenes from a downmix
CN109887517B (zh) * 2013-05-24 2023-05-23 杜比国际公司 对音频场景进行解码的方法、解码器及计算机可读介质
TWI615834B (zh) 2013-05-31 2018-02-21 Sony Corp 編碼裝置及方法、解碼裝置及方法、以及程式
EP3020042B1 (en) 2013-07-08 2018-03-21 Dolby Laboratories Licensing Corporation Processing of time-varying metadata for lossless resampling
EP2830045A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Concept for audio encoding and decoding for audio channels and audio objects
EP2830047A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for low delay object metadata coding
EP2830048A1 (en) 2013-07-22 2015-01-28 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Apparatus and method for realizing a SAOC downmix of 3D audio content
US9373320B1 (en) 2013-08-21 2016-06-21 Google Inc. Systems and methods facilitating selective removal of content from a mixed audio recording
KR102243395B1 (ko) * 2013-09-05 2021-04-22 한국전자통신연구원 오디오 부호화 장치 및 방법, 오디오 복호화 장치 및 방법, 오디오 재생 장치
KR101805630B1 (ko) * 2013-09-27 2017-12-07 삼성전자주식회사 멀티 디코딩 처리 방법 및 이를 수행하기 위한 멀티 디코더
EP4294055B1 (en) * 2014-03-19 2024-11-06 Wilus Institute of Standards and Technology Inc. Audio signal processing method and apparatus
WO2015145782A1 (en) * 2014-03-26 2015-10-01 Panasonic Corporation Apparatus and method for surround audio signal processing
MX375543B (es) 2014-04-11 2025-03-06 Samsung Electronics Co Ltd Metodo y aparato para emitir una señal sonora, y medio de grabacion legible en computadora.
US9794712B2 (en) 2014-04-25 2017-10-17 Dolby Laboratories Licensing Corporation Matrix decomposition for rendering adaptive audio using high definition audio codecs
US9774974B2 (en) * 2014-09-24 2017-09-26 Electronics And Telecommunications Research Institute Audio metadata providing apparatus and method, and multichannel audio data playback apparatus and method to support dynamic format conversion
KR102537541B1 (ko) * 2015-06-17 2023-05-26 삼성전자주식회사 저연산 포맷 변환을 위한 인터널 채널 처리 방법 및 장치
US10535355B2 (en) 2016-11-18 2020-01-14 Microsoft Technology Licensing, Llc Frame coding for spatial audio data
CN108206021B (zh) * 2016-12-16 2020-12-18 南京青衿信息科技有限公司 一种后向兼容式三维声编码器、解码器及其编解码方法
EP3622509B1 (en) * 2017-05-09 2021-03-24 Dolby Laboratories Licensing Corporation Processing of a multi-channel spatial audio format input signal
US11595774B2 (en) * 2017-05-12 2023-02-28 Microsoft Technology Licensing, Llc Spatializing audio data based on analysis of incoming audio data
JP6772215B2 (ja) 2018-05-28 2020-10-21 三井金属アクト株式会社 ドアロック装置対
JP6652990B2 (ja) * 2018-07-20 2020-02-26 パナソニック株式会社 サラウンドオーディオ信号処理のための装置及び方法
GB201909133D0 (en) 2019-06-25 2019-08-07 Nokia Technologies Oy Spatial audio representation and rendering
KR102471715B1 (ko) * 2019-12-02 2022-11-29 돌비 레버러토리즈 라이쎈싱 코오포레이션 채널-기반 오디오로부터 객체-기반 오디오로의 변환을 위한 시스템, 방법 및 장치
KR102243889B1 (ko) 2019-12-13 2021-04-23 국방과학연구소 데이터 복호화 장치 및 방법
US20250292026A1 (en) * 2024-03-12 2025-09-18 International Business Machines Corporation A generative artificial intelligence commentary

Family Cites Families (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3449715B2 (ja) * 1991-01-08 2003-09-22 ドルビー・ラボラトリーズ・ライセンシング・コーポレーション 多次元音場のための符号器・復号器
US5815689A (en) * 1997-04-04 1998-09-29 Microsoft Corporation Method and computer program product for synchronizing the processing of multiple data streams and matching disparate processing rates using a standardized clock mechanism
US7644003B2 (en) * 2001-05-04 2010-01-05 Agere Systems Inc. Cue-based audio coding/decoding
EP1451809A1 (en) 2001-11-23 2004-09-01 Koninklijke Philips Electronics N.V. Perceptual noise substitution
US7797631B2 (en) * 2002-09-18 2010-09-14 Canon Kabushiki Kaisha Document printing control apparatus and method
ATE475964T1 (de) * 2004-03-01 2010-08-15 Dolby Lab Licensing Corp Mehrkanal-audiodekodierung
US8204261B2 (en) * 2004-10-20 2012-06-19 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung E.V. Diffuse sound shaping for BCC schemes and the like
SE0402652D0 (sv) 2004-11-02 2004-11-02 Coding Tech Ab Methods for improved performance of prediction based multi- channel reconstruction
WO2006060279A1 (en) * 2004-11-30 2006-06-08 Agere Systems Inc. Parametric coding of spatial audio with object-based side information
KR100682904B1 (ko) * 2004-12-01 2007-02-15 삼성전자주식회사 공간 정보를 이용한 다채널 오디오 신호 처리 장치 및 방법
EP1859439B1 (en) 2005-03-14 2013-10-30 Electronics and Telecommunications Research Institute Multichannel audio compression and decompression method using virtual source location information
RU2416129C2 (ru) * 2005-03-30 2011-04-10 Конинклейке Филипс Электроникс Н.В. Масштабируемое многоканальное кодирование звука
US7751572B2 (en) 2005-04-15 2010-07-06 Dolby International Ab Adaptive residual audio coding
US7961890B2 (en) * 2005-04-15 2011-06-14 Fraunhofer-Gesellschaft Zur Foerderung Der Angewandten Forschung, E.V. Multi-channel hierarchical audio coding with compact side information
WO2006126858A2 (en) * 2005-05-26 2006-11-30 Lg Electronics Inc. Method of encoding and decoding an audio signal
TWI326448B (en) 2006-02-09 2010-06-21 Lg Electronics Inc Method for encoding and an audio signal and apparatus thereof and computer readable recording medium for method for decoding an audio signal
EP1853092B1 (en) * 2006-05-04 2011-10-05 LG Electronics, Inc. Enhancing stereo audio with remix capability
US8379868B2 (en) * 2006-05-17 2013-02-19 Creative Technology Ltd Spatial audio coding based on universal spatial cues
US20080004729A1 (en) * 2006-06-30 2008-01-03 Nokia Corporation Direct encoding into a directional audio coding format
KR20090013178A (ko) * 2006-09-29 2009-02-04 엘지전자 주식회사 오브젝트 기반 오디오 신호를 인코딩 및 디코딩하는 방법 및 장치
JP5451394B2 (ja) * 2006-09-29 2014-03-26 韓國電子通信研究院 多様なチャネルから構成されたマルチオブジェクトオーディオ信号の符号化および復号化装置、並びにその方法
ATE539434T1 (de) * 2006-10-16 2012-01-15 Fraunhofer Ges Forschung Vorrichtung und verfahren für mehrkanalparameterumwandlung
PL2068307T3 (pl) 2006-10-16 2012-07-31 Dolby Int Ab Udoskonalony sposób kodowania i odtwarzania parametrów w wielokanałowym kodowaniu obiektów poddanych procesowi downmiksu
DE102006050068B4 (de) * 2006-10-24 2010-11-11 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Erzeugen eines Umgebungssignals aus einem Audiosignal, Vorrichtung und Verfahren zum Ableiten eines Mehrkanal-Audiosignals aus einem Audiosignal und Computerprogramm
CA2645863C (en) 2006-11-24 2013-01-08 Lg Electronics Inc. Method for encoding and decoding object-based audio signal and apparatus thereof
EP2595149A3 (en) * 2006-12-27 2013-11-13 Electronics and Telecommunications Research Institute Apparatus for transcoding downmix signals
TWI396187B (zh) * 2007-02-14 2013-05-11 Lg Electronics Inc 用於將以物件為主之音訊信號編碼與解碼之方法與裝置
US8073125B2 (en) * 2007-09-25 2011-12-06 Microsoft Corporation Spatial audio conferencing
KR101461685B1 (ko) * 2008-03-31 2014-11-19 한국전자통신연구원 다객체 오디오 신호의 부가정보 비트스트림 생성 방법 및 장치
JP5243527B2 (ja) * 2008-07-29 2013-07-24 パナソニック株式会社 音響符号化装置、音響復号化装置、音響符号化復号化装置および会議システム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017501988A (ja) * 2013-12-19 2017-01-19 アーチャー−ダニエルズ−ミッドランド カンパニー グリコールのアシル化における向上した位置選択性
US20180204973A1 (en) * 2016-03-23 2018-07-19 Korea Photonics Technology Institute Light-emitting diode structure, transfer assembly, and transfer method using the same

Also Published As

Publication number Publication date
JP5694279B2 (ja) 2015-04-01
JP6027901B2 (ja) 2016-11-16
EP2595150A2 (en) 2013-05-22
KR20130007527A (ko) 2013-01-18
KR101531239B1 (ko) 2015-07-06
KR20130007525A (ko) 2013-01-18
EP2595148A3 (en) 2013-11-13
CN103137131A (zh) 2013-06-05
US8370164B2 (en) 2013-02-05
EP2595152A3 (en) 2013-11-13
US20100114582A1 (en) 2010-05-06
KR101086347B1 (ko) 2011-11-23
EP2595150A3 (en) 2013-11-13
JP2013127634A (ja) 2013-06-27
CN103137130A (zh) 2013-06-05
EP2097895A4 (en) 2013-11-13
EP2595152A2 (en) 2013-05-22
CN103137132B (zh) 2016-09-07
JP5752722B2 (ja) 2015-07-22
CN102883257A (zh) 2013-01-16
EP2595151A2 (en) 2013-05-22
JP2013137550A (ja) 2013-07-11
CN101632118A (zh) 2010-01-20
JP6446407B2 (ja) 2018-12-26
JP5941610B2 (ja) 2016-06-29
CN103137132A (zh) 2013-06-05
EP2595151A3 (en) 2013-11-13
CN102595303B (zh) 2015-12-16
JP5674833B2 (ja) 2015-02-25
JP2013101384A (ja) 2013-05-23
KR101395254B1 (ko) 2014-05-15
KR20100045960A (ko) 2010-05-04
EP2595149A2 (en) 2013-05-22
JP2013083986A (ja) 2013-05-09
EP2595148A2 (en) 2013-05-22
JP2016200824A (ja) 2016-12-01
CN103137130B (zh) 2016-08-17
CN102595303A (zh) 2012-07-18
EP2595149A3 (en) 2013-11-13
CN102883257B (zh) 2015-11-04
JP2013127635A (ja) 2013-06-27
KR101546744B1 (ko) 2015-08-24
CN101632118B (zh) 2013-06-05
EP2097895A1 (en) 2009-09-09
KR101309673B1 (ko) 2013-09-23
KR101309672B1 (ko) 2013-09-23
JP2010515099A (ja) 2010-05-06
JP2019074743A (ja) 2019-05-16
WO2008078973A1 (en) 2008-07-03
US9257127B2 (en) 2016-02-09
KR20080063155A (ko) 2008-07-03
US20130132098A1 (en) 2013-05-23
KR20110036023A (ko) 2011-04-06

Similar Documents

Publication Publication Date Title
KR101309673B1 (ko) 부가정보 비트스트림 변환을 포함하는 다양한 채널로 구성된 다객체 오디오 신호의 부호화 및 복호화 장치 및 방법
JP4685925B2 (ja) 適応残差オーディオ符号化
JP2010515099A5 (ko)
KR20080089308A (ko) 다채널로 구성된 다객체 오디오 신호의 인코딩 및 디코딩장치 및 방법

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20121226

Patent event code: PA01071R01D

PA0201 Request for examination
PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20130611

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20130911

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20130912

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
FPAY Annual fee payment

Payment date: 20160826

Year of fee payment: 4

PR1001 Payment of annual fee

Payment date: 20160826

Start annual number: 4

End annual number: 4

FPAY Annual fee payment

Payment date: 20170828

Year of fee payment: 5

PR1001 Payment of annual fee

Payment date: 20170828

Start annual number: 5

End annual number: 5

FPAY Annual fee payment

Payment date: 20190826

Year of fee payment: 7

PR1001 Payment of annual fee

Payment date: 20190826

Start annual number: 7

End annual number: 7

PR1001 Payment of annual fee

Payment date: 20200825

Start annual number: 8

End annual number: 8

PR1001 Payment of annual fee

Payment date: 20210825

Start annual number: 9

End annual number: 9

PR1001 Payment of annual fee

Payment date: 20220825

Start annual number: 10

End annual number: 10

PR1001 Payment of annual fee

Payment date: 20230823

Start annual number: 11

End annual number: 11

PR1001 Payment of annual fee

Payment date: 20240823

Start annual number: 12

End annual number: 12