KR101756838B1

KR101756838B1 - 다채널 오디오 신호를 다운 믹스하는 방법 및 장치

Info

Publication number: KR101756838B1
Application number: KR1020110013228A
Authority: KR
Inventors: 이창준
Original assignee: 삼성전자주식회사
Priority date: 2010-10-13
Filing date: 2011-02-15
Publication date: 2017-07-11
Anticipated expiration: 2031-02-15
Also published as: EP2628322B1; EP2628322A4; CN103262160A; CN103262160B; WO2012050382A2; JP5753270B2; JP2013545128A; US20120093322A1; EP2628322A2; KR20120038351A; US8874449B2; WO2012050382A3

Abstract

다채널 주파수 계수들 각각에 대하여 PCM 오디오 샘플들의 인코딩시 적용된블록 타입을 판단하고, 타겟 채널들 내에서 가장 많이 사용된 타입의 다채널 주파수 계수들을 주파수 도메인에서 미리 다운 믹스한 후, 다운 믹스된 결과를 나머지 채널들의 신호들과 시간 도메인에서 다운 믹스함으로써 다채널 오디오 신호의 처리에 소요되는 연산량과 전력 소모를 줄이는 다운 믹스 기술이 개시된다.

Description

다채널 오디오 신호를 다운 믹스하는 방법 및 장치{Method and apparatus for down-mixing multi channel audio signals}

본 발명은 다채널 오디오 신호를 다운 믹스하는 방법 및 이를 위한 장치에 관한 것이다.

멀티 미디어 처리 기술이 발전함에 따라 오디오 채널의 수는 매우 다양해졌다. 과거 1채널(모노)에서 시작된 오디오 신호는 2채널(스테레오)를 거쳐 현재에는 5.1채널 및 7.1채널의 오디오 신호가 일반적으로 널리 사용되고 있으며, 그 이상의 다채널 오디오 신호를 출력할 수 있는 음향 기기들도 생산되고 있다.

이러한 다채널 오디오 신호를 완벽하게 출력하기 위해서는 다채널 오디오신호를 지원하는 음향 장비들이 요구되므로 가용 전력, 신호 처리 리소스, 출력 스피커의 수가 제한되는 모바일 기기에서는 다채널 오디오 신호를 제대로 출력할 수 없다. 따라서, 모바일 기기에서는 다채널 오디오 소스를 스테레오 또는 모노 사운드로 채널 수를 줄이는 인코딩을 하게 되는데, 이러한 과정을 다운 믹스(down mix)라고 한다.

도 1은 다채널 오디오 신호를 다운 믹스하는 일반적인 과정을 설명하기 위한 블록도이다.

도 1에 도시된 바와 같이, 멀티 채널 오디오의 비트 스트림은 블록 110에 입력되어 언팩(unpack)된다. 블록 120에서, 언팩된 정보들은 역양자화되어 다채널 각각에 대한 주파수 계수들이 복원된다.

블록 130에서, 다채널 주파수 계수들은 각각 Inverse Transform 과정을 통해 시간 도메인의 신호로 변환된다. 예를 들면, 5.1채널의 비트 스트림을 스테레오 채널로 다운 믹스하는 경우 블록 130에서는 5채널 주파수 계수들 각각에 대하여 Inverse Transform을 수행하고, 그 결과 5개의 주파수 계수들이 생성된다. 일반적으로, 5.1채널 오디오 신호를 다운 믹스할 때, LFE(Low Frequency Effects) 채널의 신호는 버려지기 때문이다. 여기서, Inverse Transform 과정은 주파수 도메인의 신호를 시간 도메인의 신호로 변환하는 과정으로, 일반적으로 IFFT(Inverse Fast Fourier Transform) 방식이 사용된다.

블록 140에서는 다채널 주파수 계수들로부터 변환된 시간 도메인의 오디오 신호의 레벨을 각 채널별로 적절히 조절한 후, 조절된 다채널 오디오 신호를 스테레오 채널로 다운 믹스한다. 일반적으로 5.1채널의 오디오 신호 레벨은 스테레오 채널로 다운 믹스될 때 다음과 같이 조절된다.

Lo = L + 0.707C + 0.707Ls

Ro = R + 0.707C + 0.707Rs

(Lo, Ro: 스테레오 좌/우, L: left, R: Right, Ls: Left Surround, Rs: Right Surround, C: Center)

블록 150에서는 오디오 코덱에 따라 필요한 후처리(예를 들면, Overlap and Add process)를 수행하여 최종적인 스테레오 신호를 출력한다.

이와 같은 일반적인 다운 믹스 방식에 의하면 오디오 소스의 채널 수를 줄일수 있으므로, 다채널 오디오 신호를 모바일 기기에 적합한 스테레오 채널 오디오 신호로 변환할 수 있게 된다. 하지만, 이러한 다운 믹스 과정은 많은 전력과 리소스가 요구된다. 특히, Inverse Transform 과정에서는 매우 많은 연산량이 요구되는데, 오디오 소스의 채널 수가 많아질수록 리소스와 전력의 소모량이 더 커지게 되므로 모바일 기기와 같이 제한된 능력을 가지는 기기에서 다채널 오디오 신호를 다운 믹스하기 위해서는 보다 적은 연산량 및 전력이 소모되는 다운 믹스 방식이 필요하다.

본 발명은 다채널 오디오 신호를 적은 연산량 및 전력으로 다운 믹스하기 위한 방법 및 장치를 제공한다.

본 발명의 일 실시예는, 다채널 오디오 신호를 타겟 채널로 다운 믹스(down-mix)하는 방법에 있어서, 다채널 주파수 계수들 각각에 대하여 해당 오디오 샘플들의 인코딩에 적용된 블록 타입을 판단하는 단계; 상기 판단 결과에 따라 타겟 채널들 각각에 대하여 가장 많이 사용된 블록 타입의 주파수 계수들끼리 다운 믹스하는 단계; 상기 다운 믹스된 결과 생성된 주파수 계수 및 상기 다채널 주파수 계수들 중 다운 믹스되지 않은 주파수 계수를 시간 도메인으로 변환하는 단계; 및 상기 변환된 신호들을 이용하여 타겟 채널의 신호를 생성하는 단계를 포함한다.

상기 타겟 채널의 신호를 생성하는 단계는, 상기 다운 믹스되지 않은 주파수 계수로부터 변환된 신호의 레벨을 조절하는 단계; 및 상기 조절된 신호와 상기 다운 믹스 결과 생성된 주파수 계수로부터 변환된 신호를 다운 믹스하는 단계를 포함하는 것이 바람직하다.

상기 다운 믹스하는 단계는, 다운 믹스 방식이 Stereo Left/Right Only 방식이고, 사용 빈도가 동일한 블록 타입이 복수 개인 경우, 상기 다채널 주파수 계수들 중 스테레오 채널의 양쪽 모두에 반영되는 주파수 계수를 결정하고, 상기 결정된 주파수 계수에 사용되지 않은 블록 타입을 상기 가장 많이 사용된 블록 타입으로 결정하는 것이 바람직하다.

본 발명의 다른 실시예는, 다채널 오디오 신호를 타겟 채널로 다운 믹스(down-mix)하는 장치에 있어서, 다채널 주파수 계수들 각각에 대하여 해당 오디오 샘플들의 인코딩에 적용된 블록 타입을 판단하는 블록타입판단부; 상기 판단 결과에 따라 타겟 채널들 각각에 대하여 가장 많이 사용된 블록 타입의 주파수 계수들끼리 다운 믹스하는 다운믹스수행부; 상기 다운 믹스된 결과 생성된 주파수 계수 및 상기 다채널 주파수 계수들 중 다운 믹스되지 않은 주파수 계수를 시간 도메인으로 변환하는 변환부; 및 상기 변환된 신호들을 이용하여 타겟 채널의 신호를 생성하는 타겟채널신호생성부를 포함한다.

상기 타겟채널신호생성부는, 상기 다운 믹스되지 않은 주파수 계수들로부터 변환된 신호의 레벨을 조절하는 레벨조절부; 및 상기 조절된 신호와 상기 다운 믹스 결과 생성된 주파수 계수로부터 변환된 신호를 다운 믹스하는 다운믹스부를 포함한다.

상기 다운믹스수행부는, 다운 믹스 방식이 Stereo Left/Right Only 방식이고, 사용 빈도가 동일한 블록 타입이 복수 개인 경우, 상기 다채널 주파수 계수들 중 스테레오 채널의 양쪽 모두에 반영되는 주파수 계수를 결정하고, 상기 결정된 주파수 계수에 사용되지 않은 블록 타입을 상기 가장 많이 사용된 블록 타입으로 결정하는 것이 바람직하다.

본 발명의 또 다른 실시예는, 상기 다운 믹스 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

도 1은 다채널 오디오 신호를 다운 믹스하는 일반적인 과정을 설명하기 위한 블록도,
도 2는 본 발명의 일 실시예에 따라 다채널 오디오 신호를 다운 믹스하는 과정을 설명하기 위한 블록도,
도 3은 본 발명의 일 실시예에 따라 다채널 오디오 신호를 다운 믹스하는 과정을 설명하기 위한 순서도,
도 4는 본 발명의 일 실시예에 따라 스테레오 신호를 생성하는 과정을 설명하기 위한 순서도,
도 5는 본 발명의 일 실시예에 따라 5.1 채널의 오디오 신호를 Left/Right only 방식으로 다운 믹스하는 과정을 설명하기 위한 블록도,
도 6은 본 발명의 일 실시예에 따라 5.1 채널의 오디오 신호를 Left/Right total 방식으로 다운 믹스하는 과정을 설명하기 위한 블록도,
도 7은 본 발명의 일 실시예에 따라 7.1 채널의 오디오 신호를 Left/Right only 방식으로 다운 믹스하는 과정을 설명하기 위한 블록도,
도 8은 본 발명의 일 실시예에 따라 7.1 채널의 오디오 신호를 Left/Right total 방식으로 다운 믹스하는 과정을 설명하기 위한 블록도,
도 9는 본 발명의 일 실시예에 따른 다운 믹스 장치의 구조를 나타낸 도면이다.

이하의 모든 실시예에서는 다채널 오디오 신호를 스테레오 채널(2채널)로 다운 믹스하는 경우를 가정하지만, 본 발명이 적용될 수 있는 영역은 믹스 다운의 결과인 타겟(target) 채널이 스테레오인 경우로 한정되지 않는다.

도 2는 본 발명의 일 실시예에 따라 다채널 오디오 신호를 다운 믹스하는 과정을 설명하기 위한 블록도이다.

도 2에 도시된 바와 같이, 멀티 채널 오디오의 비트 스트림은 블록 210에 입력되어 언팩(unpack)된다. 블록 211에서, 언팩된 정보들은 역양자화되어 다채널 각각에 대한 주파수 계수들이 복원된다.

블록 212에서, 다채널 주파수 계수들은 각각 미리 정해진 값을 곱하여 그 레벨이 적절히 조절된 후 주파수 도메인에서 다운 믹스된다. 블록 212의 입력, 즉 블록 211에서 복원된 주파수 계수들은 인코더에서 다채널 오디오 소스의 PCM(Pulse Coding Modulation) 오디오 샘플들의 블록을 인코딩하여 생성되는 것이다. 일반적으로, 인코딩에 적용되는 블록 타입은 인코딩에 사용하는 오디오 샘플 블록의 길이에 따라 long/short 두 가지로 구분된다. 블록 212에서 주파수 계수들끼리 다운 믹스하는 과정은 오디오 소스 인코딩시 동일한 블록 타입이 적용된 채널들끼리만 가능하다.

블록 212에서는 다채널의 주파수 계수들 중 가장 많이 사용된 블록 타입(이하에서는 major 타입이라 칭함)을 스테레오 채널 각각에 대하여 결정하고, major 타입의 블록이 적용된 주파수 계수들의 레벨을 적절히 조절하여 다운 믹스한다. 이러한 주파수 도메인에서의 다운 믹스(pre-downmix)는 스테레오 채널 각각에 대하여 수행되며, major 타입이 적용되지 않은 주파수 계수들은 주파수 도메인에서 다운 믹스되지 않는다.

블록 213에서는 스테레오 Left 채널에서 대하여 다운 믹스된 결과를 Inverse Transform한다. 블록 214에서는 스테레오 채널 어느 쪽에서도 다운 믹스되지 않은 주파수 계수(들)이 Inverse Transform된다. 블록 215에서는 스테레오 Right 채널에서 대하여 다운 믹스된 결과를 Inverse Transform한다.

블록 216에서는 스테레오 채널 어느 쪽에서도 다운 믹스되지 않은 주파수 계수(들)의 레벨이 적절하게 조절된다. 앞서 설명한 바와 같이, 주파수 도메인에서 미리 다운 믹스된 주파수 계수들은 블록 212에서 다운 믹스되기 전에 그 레벨이 적절하게 조절되었으므로, 해당 채널의 오디오 신호는 다시 시간 도메인에서 레벨을 조절할 필요가 없다.

블록 217에서, Inverse Transform 결과 생성된 오디오 신호들은 시간 도메인에서 스테레오 채널 별로 다운 믹스된다.

블록 218에서는 오디오 코덱에 따라 필요한 후처리(예를 들면, Overlap and Add process)를 수행하여 최종적인 스테레오 오디오 신호를 출력한다.

이와 같이, 본 발명의 일 실시예에 따르면 다채널 주파수 계수들 중 스테레오 채널 각각에서 major 타입 블록을 이용하여 인코딩된 일부 주파수 계수들은 주파수 도메인에서 미리 다운 믹스된다. 따라서, 본 발명의 일 실시예에 의하면 다채널 주파수 계수들 각각에 대하여 Inverse Transform을 수행하는 기존 방식에 비하여 Inverse Transform을 수행하는 회수가 줄어들기 때문에, 다채널 오디오 신호의 다운 믹스에 필요한 연산량과 전력 소모량을 줄일 수 있다.

도 3은 본 발명의 일 실시예에 따라 다채널 오디오 신호를 다운 믹스하는 과정을 설명하기 위한 순서도이다.

단계 310에서, 각 다채널 주파수 계수들에 대하여 인코딩에 적용된 블록 타입을 판단한다. 일반적으로, long/short 두 가지의 타입으로 구분된다.

단계 320에서, 각 스테레오 채널에 대해 가장 많이 사용된 블록 타입(major type)을 결정한다. 예를 들면, 만약 스테레오 Right 채널에 반영될 C, R, Rs 채널들의 주파수 계수들이 각각 순서대로 long, short, short 타입의 블록을 이용하여 인코딩 되었다면, 스테레오 Right 채널에서의 major 타입은 short 타입이 된다.

한편, 다채널을 스테레오로 다운 믹스하는 방식은 Left/Right Total 방식과 Left/Right Only 방식으로 구분된다. Left/Right Total 방식은 스테레오 Left 채널 사운드에 Rs 성분이 반영되고, 스테레오 Right 채널 사운드에 Ls 성분이 반영된다. 일반적으로, 5.1채널을 Left/Right Total 방식에 의해 스테레오로 다운 믹스하는 경우 다음과 같은 식이 이용된다.

Lt = L + 0.707C - 0.707(Ls + Rs)

Rt = R + 0.707C + 0.707(Ls + Rs)

(Lt, Rt: 스테레오 좌/우, L: left, R: Right, Ls: Left Surround, Rs: Right Surround, C: Center)

반면, Left/Right Only 방식은 다채널의 사운드 성분들이 사용자의 위치를 기준으로 좌/우 한쪽 방향에 속한 다채널 성분들은 반대쪽 스테레오 채널에 반영시키지 않는 방식이다. 일반적으로, 5.1채널을 Left/Right Only 방식에 의해 스테레오로 다운 믹스하는 경우 다음과 같은 식이 이용된다.

Lo = L + 0.707C + 0.707Ls

Ro = R + 0.707C + 0.707Rs

단계 320에서 각 스테레오 채널에서 major 타입을 결정할 때, 두 블록 타입이 동등한 횟수로 사용된 경우가 있을 수 있다. 이 경우, Left/Right Only 방식에서는 다채널 주파수 계수들 중 공통 채널(스테레오 채널의 양쪽 모두에 반영되는 채널)의 주파수 계수에 사용되지 않은 블록 타입을 major 타입으로 결정하는 것이 바람직하다. 예를 들면, 다채널 오디오 소스들 중 공통 채널이 센터(C)인 경우, 센터에 적용된 블록이 Long 타입이라면 short 타입을 major 타입으로 결정하는 것이 바람직하다. 공통 채널의 주파수 계수는 한번만 Inverse Transform을 수행한 후, 스테레오 채널 양쪽에서 적절히 레벨을 조절하여 시간 도메인에서 다운 믹스함으로써 공통 채널의 주파수 계수를 주파수 도메인에서 다운 믹스하는 경우보다 Inverse Transform 횟수를 줄일 수 있기 때문이다. 이러한 경우에 대한 구체적인 실시예는 도 7을 참조하여 후술한다.

단계 330에서, 각 스테레오 채널에 대해 major 타입의 블록이 적용된 주파수 계수들끼리 다운 믹스한다. 여기서, 각 채널별 주파수 계수들의 레벨은 다운 믹스되기 전 적절히 조절된다.

예를 들어, 만약 스테레오 Right 채널에 반영될 C, R, Rs 채널들의 주파수 계수들이 각각 순서대로 long, short, short 타입의 블록을 이용하여 오디오 샘플들을 인코딩한 결과라면, 메이저 타입(short)이 적용된 R, Rs 채널의 주파수 계수들끼리만 다운 믹스된다. 예를 들면, Rs 채널의 주파수 계수는 수식 Ro = R + 0.707C + 0.707Rs 에 따라 0.707을 곱하여 레벨이 조절되고, 레벨 조절된 Rs 성분과 R 성분은 주파수 도메인에서 다운 믹스된다.

단계 340에서, 다운 믹스된 결과 생성된 주파수 계수들 및 다운 믹스되지 않은 주파수 계수들은 각각 Inverse Transform을 통해 시간 도메인의 신호들로 변환된다. 다채널 주파수 계수들 중 일부(major 타입이 적용된 성분들)는 주파수 도메인에서 미리 다운 믹스되기 때문에, 단계 340에서의 Inverse Transform 수행 횟수는 다채널의 채널 개수보다 적게 된다.

단계 350에서, 시간 도메인의 신호를 이용하여 스테레오 신호를 생성한다. 단계 350의 과정은 이하 도 4에서 보다 상세하게 설명한다.

도 4는 본 발명의 일 실시예에 따라 스테레오 신호를 생성하는 과정을 설명하기 위한 순서도이다.

단계 410에서, 다운 믹스되지 않은 주파수 계수에 대응하는 오디오 신호의 레벨을 조절한다. 다운 믹스되지 않은 주파수 계수에 대응하는 오디오 신호는 다운 믹스되지 않은 주파수 계수를 Inverse Transform하여 얻은 시간 도메인의 신호를 의미한다.

단계 420에서, 주파수 도메인에서 다운 믹스된 채널들의 오디오 신호와 나머지 채널(들)의 오디오 신호를 시간 도메인에서 다운 믹스한다.

단계 430에서, 스테레오 각 채널의 신호에 대하여 Post-Processing을 수행하여 최종적인 스테레오 신호를 출력한다.

도 5는 본 발명의 일 실시예에 따라 5.1 채널의 오디오 신호를 Left/Right only 방식으로 다운 믹스하는 과정을 설명하기 위한 블록도이다.

도 5에 도시된 바와 같이, 5.1 채널에서 LFE 채널을 제외한 L, Ls, C, Rs, R 채널들의 오디오 샘플들은 각각 순서대로 long, long, short, long, long 타입의 블록을 이용하여 인코딩 되었으며, 다운 믹스는 다음과 같은 식에 따르는 것으로 가정한다.

Lo = L + 0.707C + 0.707Ls - (1)

Ro = R + 0.707C + 0.707Rs - (2)

우선 Lo 채널에 반영될 L, Ls, C 채널들에서 major 타입은 long 타입이다. 따라서, L, Ls 두 채널의 주파수 계수들은 블록 510에서 다운 믹스된다. 도시되지는 않았으나, Ls 채널의 주파수 계수는 다운 믹스되기 전 위 수식에 따라 0.707을 곱하여 그 레벨이 조절된다. 이하에서 주파수 도메인에서의 다운 믹스를 수행하는 블록은 별도의 설명이 없어도 위와 같은 레벨 조절 단계를 함께 수행하는 것으로 가정한다.

다운 믹스 결과 생성된 주파수 계수는 블록 520에서 Inverse Transform되어 시간 도메인의 신호로 변환된다.

다음으로, Ro 채널에 반영될 R, Rs, C 채널들에서도 마찬가지로 major 타입은 long 타입이다. 따라서, R, Rs 두 채널의 주파수 계수들은 블록 511에서 다운 믹스된다. 도시되지는 않았으나, Rs 채널의 주파수 계수는 다운 믹스되기 전 위 수식에 따라 0.707을 곱하여 그 레벨이 조절된다. 다운 믹스 결과 생성된 주파수 계수는 블록 522에서 Inverse Transform되어 시간 도메인의 신호로 변환된다.

한편, major 타입이 아닌 타입(이하 minor 타입이라 칭함)은 Lo/Ro 모두에서 short 타입이다. 따라서, 인코딩시 short 블록이 적용된 센터(C) 채널의 경우, 해당 주파수 계수는 다운 믹스 없이 블록 521에서 Inverse Transform된다.

블록 525에서, 블록 521의 출력 신호, 즉 센터(C) 성분의 시간 도메인 신호는 수식 (1), (2)에 따라 0.707이 곱해져서 레벨이 조절된다. 레벨 조절에 사용되는 계수는 Inverse Transform의 선형성(Linearity)에 의해 주파수 도메인과 시간 도메인에서 동일하다.

블록 530에서, Lo 채널을 구성하는 다채널 성분들, 즉 블록 520의 출력 신호 및 블록 525의 출력 신호가 다운 믹스된다(시간 도메인에서의 다운 믹스). 블록 540에서, 블록 530의 출력 신호에 대한 후처리가 수행되고, 그 결과 스테레오 Left 신호가 출력된다.

한편, 블록 531에서, Ro 채널을 구성하는 다채널 성분들, 즉 블록 522의 출력 신호 및 블록 525의 출력 신호가 다운 믹스된다(시간 도메인에서의 다운 믹스). 블록 541에서, 블록 531의 출력 신호에 대한 후처리가 수행되고, 그 결과 스테레오 Right 신호가 출력된다.

도 5에서의 실시예의 경우, 종래 기술에 의하면 5번의 Inverse Trasnform을 수행해야 할 것이나, 본 발명에 따르면 3번의 Inverse Transform이 수행되므로 연산량 및 소비 전력을 줄일 수 있게 된다.

도 6은 본 발명의 일 실시예에 따라 5.1 채널의 오디오 신호를 Left/Right total 방식으로 다운 믹스하는 과정을 설명하기 위한 블록도이다.

도 6에 도시된 바와 같이, 5.1 채널에서 LFE 채널을 제외한 L, Ls, C, Rs, R 채널들의 오디오 샘플들은 각각 순서대로 short, long, long, long, long 타입의 블록을 이용하여 인코딩되었으며, 다운 믹스는 다음과 같은 식에 따르는 것으로 가정한다.

Lt = L + 0.707C - 0.707(Ls + Rs) - (3)

Rt = R + 0.707C + 0.707(Ls + Rs) - (4)

우선, Lt 채널에 반영될 L, Ls, C, Rs 채널들에서 major 타입은 long 타입이다. 따라서, Ls, C, Rs 채널의 주파수 계수들은 블록 610에서 다운 믹스된다. 도시되지는 않았으나, C, Ls, Rs 채널의 주파수 계수들은 다운 믹스되기 전 수식 (3)에 따라 그 레벨이 조절된다. 다운 믹스 결과 생성된 주파수 계수는 블록 621에서 Inverse Transform되어 시간 도메인의 신호로 변환된다. 한편, Lt에서 minor 타입이 적용된 L은 주파수 도메인에서의 다운 믹스 없이 블록 620에서 Inverse Transform된다.

블록 630에서, 블록 620 및 블록 621의 출력 신호들은 시간 도메인에서 다운 믹스된다.

블록 640에서, 블록 630의 출력 신호를 후처리하여 최종적인 스테레오 Left 신호를 출력한다.

한편, Rt 채널에 반영될 R, Rs, C, Ls 채널들에서도 Lt 채널에서와 마찬가지로 major 타입은 long 타입이다. 따라서, long 타입의 블록이 적용된 R, Rs, C, Ls 채널의 주파수 계수들은 블록 611에서 수식 (4)에 따라 그 레벨이 조절된 후 다운 믹스된다. 블록 611에서 다운 믹스한 결과 생성된 주파수 계수는 블록 622에서 Inverse Transform되어 시간 도메인의 신호로 변환된다.

블록 641에서, 블록 641의 출력 신호에 대한 후처리가 수행되고, 그 결과 Lt 신호가 출력된다.

도 7은 본 발명의 일 실시예에 따라 7.1 채널의 오디오 신호를 Left/Right only 방식으로 다운 믹스하는 과정을 설명하기 위한 블록도이다.

도 7에 도시된 바와 같이, 7.1 채널에서 LFE 채널을 제외한 L, Ls, Lb, C, Rb, Rs, R 채널들의 PCM 오디오 샘플들은 각각 순서대로 long, long, short, short, long, long, long 타입의 블록을 이용하여 인코딩되었으며, 다운 믹스는 다음과 같은 식에 따르는 것으로 가정한다.

Lo = L + 0.707C + 0.707Ls + 0.5Lb - (5)

Ro = R + 0.707C + 0.707Rs + 0.5Rb - (6)

(Lo, Ro: 스테레오 좌/우, L: left, R: Right, Ls: Left Surround, Rs: Right Surround, Lb: Left Back, Rb: Right Back, C: Center)

우선, Lo 채널에서의 major 타입을 결정해야 한다. Lo 채널에 반영될 L, Ls, Lb, C채널들을 살펴보면, long 타입과 short 타입은 동일하게 두 번씩 적용되었다. 이러한 경우, 다채널 중 Lo, Ro 모두에 반영되는 공통 채널을 결정하고, 공통 채널에 적용되지 않은 블록 타입을 major 타입으로 결정한다.

본 실시예에서는 센터 채널 C가 Lo, Ro 모두에 반영되는 공통 채널이다. C채널의 주파수 계수는 short 타입 블록을 사용하여 인코딩되었으므로, Lo 채널의 major 타입은 long 타입으로 결정한다. 이와 같이 공통 채널에 적용되지 않은 타입을 major 타입으로 결정하는 이유는 Inverse Transform의 횟수를 줄이기 위해서이다. 즉, long 타입을 major 타입으로 결정하게 되면 4번의 Inverse Transform이 요구되나, 만약 short 타입을 major 타입으로 결정한다면, 총 5번의 Inverse Transform이 수행되어야 할 것이다.

Major 타입이 적용된 L, Ls 채널의 주파수 계수들은 블록 710에서 다운 믹스된 후, 블록 720에서 시간 도메인의 신호로 변환된다.

Minor 타입이 적용된 Lb, C채널의 주파수 계수들은 믹스 다운되지 않고 각각 블록 721, 블록 722에서 시간 도메인의 신호로 변환된다. 한편, Lb 채널의 성분은 블록 728에서 수식 (5)에 따라 0.5가 곱해져 그 레벨이 조절된다.

블록 730에서, Lo 채널에 반영되는 다채널 성분들은 시간 도메인에서 다운 믹스된다. 다운 믹스된 결과는 블록 740에서 후처리되어 최종적으로 스테레오 Left(Lo) 신호를 생성한다.

다음으로, Ro 채널에서 major 타입은 long 타입이다. 따라서, Rb, Rs, R 채널의 주파수 계수들은 블록 711에서 다운 믹스되고, 다운 믹스 결과 생성된 주파수 계수는 블록 723에서 Inverse Transform된다.

블록 731에서, Ro를 구성하는 다채널 성분들은 시간 도메인에서 다운 믹스된다. 다운 믹스된 결과는 블록 741에서 후처리되어 최종적으로 스테레오 Right(Ro) 신호를 생성한다.

도 8은 본 발명의 일 실시예에 따라 7.1 채널의 오디오 신호를 Left/Right total 방식으로 다운 믹스하는 과정을 설명하기 위한 블록도이다.

도 8에 도시된 바와 같이, 7.1 채널에서 LFE 채널을 제외한 L, Ls, Lb, C, Rb, Rs, R 채널들의 오디오 샘플들은 각각 순서대로 short, short, long, long, long, long, long 타입의 블록을 이용하여 인코딩되었으며, 다운 믹스는 다음과 같은 식에 따르는 것으로 가정한다.

Lt = L + 0.707C - 0.707(Ls + Rs) - 0.5(Lb + Rb) - (7)

Rt = R + 0.707C + 0.707(Ls + Rs) + 0.5(Lb + Rb) - (8)

(Lt, Rt: 스테레오 좌/우, L: left, R: Right, Ls: Left Surround, Rs: Right Surround, Lb: Left Back, Rb: Right Back, C: Center)

이와 같은 경우, Lo/Ro 채널 모두에서 major 타입은 long 타입이다. Minor 타입이 적용된 L, Ls는 주파수 도메인에서의 다운 믹스 없이 블록 820, 821에서 Inverse Transform된다. Lt 채널을 구성하는 다채널 성분들 중 major 타입이 적용된 Lb, C, Rb, Rs 채널의 주파수 계수들은 블록 810에서 다운 믹스된다. 다운 믹스 결과 생성된 주파수 계수는 블록 822에서 Inverse Transform된다.

블록 830에서, Lt채널을 구성하는 다채널 성분들은 시간 도메인에서 다운 믹스된다. 도 8에 도시된 바와 같이, Ls 채널의 성분은 식 (7)에 따라 그 레벨이 조절된 후 다운 믹스된다.

블록 830에서 출력된 신호는 블록 840에서 후처리되고, 그 결과 최종적으로 스테레오 Left 신호(Lt)가 출력된다.

다음으로, Rt 채널을 구성하는 다채널 성분들 중 major 타입이 적용된 R, Rs, Rb, C, Lb 채널의 주파수 계수들은 블록 811에서 다운 믹스된다. 다운 믹스 결과 생성된 주파수 계수는 블록 823에서 Inverse Transform된다.

블록 831에서, Rt 채널을 구성하는 다채널 성분들은 시간 도메인에서 다운 믹스된다. 도 8에 도시된 바와 같이, Ls 채널의 성분은 식 (8)에 따라 그 레벨이 조절된 후 다운 믹스된다.

블록 831에서 출력된 신호는 블록 841에서 후처리되고, 그 결과 최종적으로 스테레오 Right 신호(Rt)가 출력된다.

도 9는 본 발명의 일 실시예에 따른 다운 믹스 장치의 구조를 나타낸 도면이다.

도 9에 도시된 바와 같이, 본 발명의 일 실시예에 따른 다운 믹스 장치(900)는 블록 타입 판단부(910), 다운 믹스 수행부(920), 변환부(930) 및 스테레오 신호 생성부(940)을 포함한다.

블록 타입 판단부(910)는 다채널 주파수 계수들 각각에 대하여 해당 채널에서 어떤 타입의 블록을 이용하여 오디오 샘플 데이터를 인코딩하였는지 판단한다. 예를 들면, 타겟 채널이 스테레오인 경우, 스테레오 Left/Right 각 채널에 반영되는 다채널 성분들이 어떠한 블록 타입을 사용하여 오디오 샘플 데이터를 인코딩한 결과물인지 판단한다.

다운 믹스 수행부(920)는 블록 타입 판단부(910)의 결과를 참조하여 타겟 채널들 각각에 대하여 가장 많이 사용된 블록 타입, 즉 major 타입에 해당하는 채널의 주파수 계수들을 다운 믹스한다. 여기서의 다운 믹스는 주파수 도메인에서의 다운 믹스이며, 전술한 바와 같이 다채널 주파수 계수들은 다운 믹스되기 전 수식 (1)-(6)과 같은 소정의 수식에 따라 레벨이 조절된다.

다운 믹스 방식이 Stereo Left/Right Only 방식이고, 사용 빈도가 동일한 블록 타입이 복수 개인 경우, 다채널 주파수 계수들 중 스테레오 채널의 양쪽 모두에 반영되는 공통 채널의 주파수 계수에 사용되지 않은 블록 타입을 major 타입으로 결정하는 것이 바람직하다.

변환부(930)는 다운 믹스 수행부(920)에서 출력된 주파수 계수를 Inverse Transform을 통해 시간 도메인의 신호로 변환한다. Inverse Transform을 위해 IFFT 등이 사용될 수 있으나 변환 함수는 특정한 것으로 한정하지 않는다.

스테레오 신호 생성부(940)는 변환부(930)에서 출력된 시간 도메인의 신호들을 이용하여 최종적인 타겟 채널의 신호들을 생성한다. 스테레오 신호 생성부(940)는 레벨 조절부(941)와 다운 믹스부(942)를 포함한다.

레벨 조절부(941)는 다채널 성분들 중 다운 믹스 수행부(920)에서 다운 믹스되지 않은 채널들의 신호들을 수식 (1)-(6)과 같은 소정의 수식에 따라 시간 도메인에서 레벨 조절한다.

다운 믹스부(942)는 주파수 도메인에서 다운 믹스되지 않은 신호들, 즉 레벨 조절부(941)에서 레벨이 조절된 신호들 및 주파수 도메인에서 다운 믹스된 신호들을 시간 도메인에서 다운 믹스하여 최종적인 타켓 채널의 신호들을 출력한다.

한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성 가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.

상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 및 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등)와 같은 저장매체를 포함한다.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.

Claims

다채널 오디오 신호를 타겟 채널로 다운 믹스(down-mix)하는 방법에 있어서,
다채널 주파수 계수들 각각에 대하여 해당 오디오 샘플들의 인코딩에 적용된 블록 타입을 판단하는 단계;
상기 판단 결과에 따라 타겟 채널들 각각에 대하여 가장 많이 사용된 블록 타입의 주파수 계수들끼리 다운 믹스하는 단계;
상기 다운 믹스된 결과 생성된 주파수 계수 및 상기 다채널 주파수 계수들 중 다운 믹스되지 않은 주파수 계수를 시간 도메인으로 변환하는 단계; 및
상기 변환된 신호들을 이용하여 타겟 채널의 신호를 생성하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 타겟 채널의 신호를 생성하는 단계는,
상기 다운 믹스되지 않은 주파수 계수로부터 변환된 신호의 레벨을 조절하는 단계; 및
상기 조절된 신호와 상기 다운 믹스 결과 생성된 주파수 계수로부터 변환된 신호를 다운 믹스하는 단계를 포함하는 것을 특징으로 하는 방법.
제1항에 있어서,
상기 다운 믹스하는 단계는,
다운 믹스 방식이 Stereo Left/Right Only 방식이고, 사용 빈도가 동일한 블록 타입이 복수 개인 경우, 상기 다채널 주파수 계수들 중 스테레오 채널의 양쪽 모두에 반영되는 주파수 계수를 결정하고, 상기 결정된 주파수 계수에 사용되지 않은 블록 타입을 상기 가장 많이 사용된 블록 타입으로 결정하는 단계를 포함하는 것을 특징으로 하는 방법.
다채널 오디오 신호를 타겟 채널로 다운 믹스(down-mix)하는 장치에 있어서,
다채널 주파수 계수들 각각에 대하여 해당 오디오 샘플들의 인코딩에 적용된 블록 타입을 판단하는 블록타입판단부;
상기 판단 결과에 따라 타겟 채널들 각각에 대하여 가장 많이 사용된 블록 타입의 주파수 계수들끼리 다운 믹스하는 다운믹스수행부;
상기 다운 믹스된 결과 생성된 주파수 계수 및 상기 다채널 주파수 계수들 중 다운 믹스되지 않은 주파수 계수를 시간 도메인으로 변환하는 변환부; 및
상기 변환된 신호들을 이용하여 타겟 채널의 신호를 생성하는 타겟채널신호생성부를 포함하는 것을 특징으로 하는 장치.
제4항에 있어서,
상기 타겟채널신호생성부는,
상기 다운 믹스되지 않은 주파수 계수들로부터 변환된 신호의 레벨을 조절하는 레벨조절부; 및
상기 조절된 신호와 상기 다운 믹스 결과 생성된 주파수 계수로부터 변환된 신호를 다운 믹스하는 다운믹스부를 포함하는 것을 특징으로 하는 장치.
제4항에 있어서,
상기 다운믹스수행부는,
다운 믹스 방식이 Stereo Left/Right Only 방식이고, 사용 빈도가 동일한 블록 타입이 복수 개인 경우, 상기 다채널 주파수 계수들 중 스테레오 채널의 양쪽 모두에 반영되는 주파수 계수를 결정하고, 상기 결정된 주파수 계수에 사용되지 않은 블록 타입을 상기 가장 많이 사용된 블록 타입으로 결정하는 것을 특징으로 하는 장치.
제1항 내지 제3항 중 어느 한 항에 의한 방법을 실행하는 컴퓨터 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.