KR20080058329A

KR20080058329A - 영상 신호의 인코딩 및 디코딩 방법

Info

Publication number: KR20080058329A
Application number: KR1020087003974A
Authority: KR
Inventors: 윤도현; 박지호; 박승욱; 전병문; 김동석; 엄성현
Original assignee: 엘지전자 주식회사
Priority date: 2005-07-21
Filing date: 2006-07-21
Publication date: 2008-06-25
Anticipated expiration: 2026-07-21
Also published as: KR20090003321A; KR20070012201A; BRPI0613192A2; JP2009502089A; KR101003416B1; HK1119890A1; EP1920606A4; CN101223783A; CN101686395A; RU2008106617A; AU2006270625B2; CA2615647A1; WO2007011189A1; EP1920606A1; AU2006270625A1; US7813428B2; KR100913104B1; US20080291997A1; AU2006270625C1; CN101223783B

Abstract

본 명세서에는 영상 신호의 인코딩 방법이 개시된다. 본 방법은, 영상 신호를 인코딩하여 제1 레이어의 비트 스트림을 생성하는 단계와, 제1 레이어에 기초하여 영상 신호를 인코딩하여 제2 레이어의 비트 스트림을 생성하는 단계를 포함한다. 제1 레이어 내에서 이미지 차분에 대응하는 레지듀얼 데이터가 업샘플링되어 제2 레이어의 인코딩에 사용되는 경우, 모션 보상에 기초하여 예측된 각 블록에 대해 레지듀얼 데이터가 업샘플링된다.

영상

Description

영상 신호의 인코딩 및 디코딩 방법{METHOD OF ENCODING AND DECODING VIDEO SIGNALS}

본 발명은 영상 신호의 인코딩 및 디코딩 방법에 관한 것이다.

스케일러블 영상 코덱(SVC; Scalable Video Codec) 방식은 영상을 최고 화질로 인코딩하되, 상기 인코딩에 의해 생성된 픽처 시퀀스 중 일부(전체 픽처 시퀀스 중에서 간헐적으로 선택되는 프레임들의 시퀀스)만을 디코딩하여 사용하여도 이미지를 어느 정도의 화질의 영상 표현이 가능하도록 하는 영상 신호 인코딩 방식이다.

이러한 스케일러블 방식을 이용하여 인코딩된 픽처 시퀀스는 비록 그 중 일부 시퀀스만이 수신되어 처리되더라도 어느 정도의 화질로 표현될 수 있다. 비트 레이트가 낮은 경우, 화질이 상당히 저하된다. 이러한 문제점을 해결하기 위해, 저 비트 레이트를 위한 별도의 보조 픽처 시퀀스, 예를 들어, 소 화면 및/또는 프레임 레이트가 낮은 픽처 시퀀스가 제공될 수 있다.

보조 픽처 시퀀스는 베이스 레이어라 하고, 주 픽처 시퀀스는 인핸스드(enhanced) 레이어 또는 인핸스먼트(enhancement) 레이어라 한다. 베이스 레이어 및 그 인핸스드 레이어는 동일한 소스 영상 신호를 인코딩하여 얻은 결과이다. 이 들 2개 레이어의 신호에는, 잉여 정보(리던던시(redundancy))가 존재한다. 따라서, 베이스 레이어가 제공되는 경우, 코딩 효율을 높이기 위하여, 베이스 레이어의 모션 정보 및/또는 이미지 데이터인 텍스처 정보를 이용하여 인핸스드 레이어의 영상 신호를 예측하고, 이러한 예측에 기초하여 인코딩을 수행하는 레이어간 예측 방법(interlayer prediction method)을 사용할 수 있다.

베이스 레이어의 텍스처 정보를 이용하는 예측 방법에는, 인트라 베이스 예측 모드(intra base prediction mode)와 레지듀얼 예측 모드(residual prediction mode)가 있다.

인트라 베이스 예측 모드(이하, 간략히 ‘인트라 베이스 모드’라고도 함)는, 인핸스드 레이어의 매크로 블록에 대응되고(매크로 블록을 포함하는 프레임과 동시간의 베이스 레이어의 프레임 내에 위치하고, 인핸스드 레이어와 베이스 레이어의 화면 크기의 비율에 따라 확대될 때 매크로 블록을 커버하는 영역을 갖는 블록을 의미함), 인트라 모드(intra mode)로 인코딩된 베이스 레이어의 블록을 기초로, 인핸스드 레이어의 매크로 블록을 예측하고 인코딩하는 방법이다. 이 경우, 베이스 레이어의 대응 블록은 이미지 데이터를 갖도록 디코딩된 후, 업샘플링(up-sampling)을 통해 인핸스드 레이어와 베이스 레이어의 화면 크기의 비욜로 확대되어 사용된다.

레지듀얼 예측 모드는, 이미지 데이터를 갖는 인코딩되는 베이스 레이어의 대응 블록을 사용하는 것이 아니라, 이미지 차이값인 레지듀얼 데이터를 갖도록 인코딩된 베이스 레이어의 대응 블록을 사용한다는 점을 제외하고는, 인트라 베이스 모드와 유사하다. 인터 모드로 인코딩되어 레지듀얼 데이터를 갖는 베이스 레이어의 대응 블록에 기초하여, 인터 모드로 인코딩되어 레지듀얼 데이터를 갖는 인핸스드 레이어의 매크로 블록에 대한 예측 데이터가 생성된다. 이 때, 레지듀얼 데이터를 갖는 베이스 레이어의 대응 블록은, 인트라 베이스 모드에서와 같이, 업샘플링을 통해 확대되어 사용된다.

도 1은 인터 모드로 인코딩되어 레지듀얼 데이터를 갖는 인핸스드 레이어의 영상 블록을 베이스 레이어의 레지듀얼 데이터를 이용하여 디코딩하는 실시예를 도시하고 있다.

인핸스드 레이어의 이미지 블록이 레지듀얼 예측 모드로 인코딩되었음을 나타내는 레지듀얼 예측 플래그가 ‘1’로 설정된 경우, 베이스 레이어의 대응 레지듀얼 데이터가 인핸스드 레이어의 레지듀얼 데이터에 더해진다.

베이스 레이어와 인핸스드 레이어의 공간 해상도가 서로 일치하지 않는 경우, 베이스 레이어의 레지듀얼 데이터가 먼저 업샘플링된다. 레지듀얼 데이터에 대한 업샘플링(이하, 간략히 ‘레지듀얼 업샘플링’이라고도 함)은, 이미지 데이터로의 디코딩 이후 업샘플링이 수행되는 인트라 베이스 모드에서의 업샘플링과는 달리, 아래의 방식으로 수행된다.

1. 인핸스드 레이어의 해상도가 베이스 레이어의 해상도의 2배인 경우(다이어딕인 경우; dyadic case), 바이 리니어(bi-linear) 보간 방법이 사용된다.

2. 다이어딕이 아닌 경우(non-dyadic case), 6 탭(tap) 보간 필터가 사용된다.

3. 동일 변환 블록(transform block) 내의 픽셀만을 사용하여 업샘플링이 수행된다. 변환 블록의 경계를 넘는 업샘플링 필터링은 허용되지 않는다.

도 2는 다이어딕인 경우 4 x 4 레지듀얼 블록의 업샘플링의 일 예를 도시하고 있다. 레지듀얼 업샘플링을 위해 간단한 바이 리니어 보간이 사용되지만, 다른 변환 블록내의 픽셀들을 사용하는 것을 회피하기 위해서, 변환 블록의 경계에는 바이 리니어 보간이 적용되지 않는다. 따라서, 도 2에 도시된 바와 같이, 변환 블록의 경계에 존재하는 픽셀들의 업샘플링을 위해서는 해당 블록의 픽셀들만이 사용된다. 또한, 변환 블록의 경계에 있는 픽셀들에 대해서는 경계에 대한 픽셀들의 상대적인 위치에 따라 서로 다른 연산이 수행된다.

변환 연산은 서로 다른 블록 크기에 대해 수행될 수 있기 때문에, 변환 블록의 경계는 베이스 레이어의 변환 블록의 크기(예를 들어, 4 x 4, 8 x 8, … 등)를 고려하여 결정되어야 한다.

업샘플링 프로세스들은, 베이스 레이어와 인핸스드 레이어의 해상도의 비율이 다이어딕이 아닌 경우에도, 6 탭 보간 필터가 사용된다는 점을 제외하고는 기본적으로 동일하다. 다른 변환 블록 내의 픽셀은 레지듀얼 업샘플링에 사용되지 않는다.

또한, 휘도 분의 신호 및 색차 성분의 신호에 동일한 업샘플링이 적용된다.

도 3은 인트라 베이스 모드로 인코딩된 인핸스드 레이어의 이미지 블록을 베이스 레이어의 디코딩된 이미지 데이터를 사용하여 디코딩하는 실시예를 도시하고 있다.

인트라 베이스 모드에서의 업샘플링에서는, 변환 블록의 경계가 고려되지 않으며, 휘도 신호와 색차 신호 양자 모두에 6 탭 보간 필터가 적용된다.

따라서, 본 발명은 종래 기술에서 발생하는 전술한 문제점들을 염두해 두고 이루어진 것으로, 본 발명의 목적은 레이어간 예측에서 베이스 레이어를 간단하고도 효율적으로 업샘플링하는 방법을 제공하는 것이다.

전술한 목적을 달성하기 위해, 본 발명은, 영상 신호를 인코딩하는 방법을 제공하는데, 본 방법은, 영상 신호를 인코딩하여 제1 레이어의 비트 스트림을 생성하는 단계와; 상기 제1 레이어에 기초하여 상기 영상 신호를 인코딩하여 제2 레이어의 비트 스트림을 생성하는 단계를 포함하고, 상기 제1 레이어 내의 이미지 차분에 대응하는 레지듀얼 데이터가 업샘플링되어 상기 제2 레이어의 인코딩을 위해 사용되는 경우, 상기 레지듀얼 데이터는 모션 보상에 따라 예측되는 블록에 기초하여 업샘플링되는 것을 특징으로 한다.

또한, 본 발명은, 인코딩된 영상 비트 스트림을 디코딩하는 방법을 제공하는데, 본 방법은, 제1 레이어의 비트 스트림을 디코딩하는 단계와; 상기 제1 레이어에 기초하여 제2 레이어의 비트 스트림을 디코딩하는 단계를 포함하고, 이미지 차분에 대응하는 상기 제1 레이어 내에서의 레지듀얼 데이터가 업샘플링되어 상기 제2 레이어의 디코딩을 위해 사용되는 경우, 상기 레지듀얼 데이터는 모션 보상에 따라 예측되는 블록에 기초하여 업샘플링되는 것을 특징으로 한다.

일 실시예에서, 상기 제1 레이어와 상기 제2 레이어의 해상도의 비율은 2인 경우, 상기 레지듀얼 데이터는 바이 리니어 보간 필터를 사용하여 업샘플링된다. 이와는 대조적으로, 상기 제1 레이어와 상기 제2 레이어의 해상도의 비율이 2가 아닌 경우, 상기 레지듀얼 데이터는 6 탭 보간 필터를 사용하여 업샘플링 된다.

또한, 본 발명은, 영상 신호를 인코딩하는 방법을 제공하는데, 본 방법은, 영상 신호를 인코딩하여 제1 레이어의 비트 스트림을 생성하는 단계와; 상기 제1 레이어에 기초하여 영상 신호를 인코딩하여 제2 레이어의 비트 스트림을 생성하는 단계를 포함하고, 상기 제1 레이어가 업샘플링되어 상기 제2 레이어의 인코딩을 위해 사용되는 경우, 휘도 데이터와 색차 데이터에 각각 서로 다른 업샘플링 방식이 적용되는 것을 특징으로 한다.

또한, 본 발명은, 인코딩된 영상 비트 스트림을 디코딩하는 방법을 제공하는데, 본 방법은, 제1 레이어의 비트 스트림을 디코딩하는 단계와; 상기 제1 레이어에 기초하여 제2 레이어의 비트 스트림을 디코딩하는 단계를 포함하고, 상기 제1 레이어가 업샘플링되어 상기 제2 레이어의 디코딩을 위해 사용되는 경우, 휘도 데이터와 색차 데이터에 각각 서로 다른 업샘플링 방식이 적용되는 것을 특징으로 한다.

일 실시예에서, 상기 휘도 데이터는 6 탭 보간 필터를 사용하여 업샘플링되는 한편, 상기 색차 데이터는 바이 리니어 보간 필터를 사용하여 업샘플링 된다. 이러한 경우, 색차 데이터의 업샘플링에 가중치가 적용될 수 있고, 이러한 가중치는 제1 레이어와 제2 레이어의 색차 데이터 샘플들간 상대적 위치 및/또는 위상 차이에 기초하여 결정될 수 있다.

일 실시예에서, 이미지 차분에 대응하는 제1 레이어내의 레지듀얼 데이터가 제1 레이어와 제2 레이어의 해상도의 비율에 대응하는 2배 업샘플링되는 경우, 4개의 특정 색차 데이터 샘플들 사이에 삽입될 샘플들은 동일한 수학식을 사용하여 산출된다. 이 경우, 삽입될 샘플들 각각은 상기 4개 샘플들에 속하고 대각선 방향으로 위치되는 2개의 대응 픽셀들의 평균값으로서 산출될 수 있다.

본 발명의 전술한 목적 및 그 외의 목적과, 특징 및 기타 이점 등은 첨부 도면과 함께 이하의 상세한 설명으로부터 보다 자명하게 이해될 것이다.

도 1은 인터 모드로 인코딩되어 레지듀얼 데이터를 갖는 인핸스드 레이어가, 베이스 레이어의 레지듀얼 데이터를 사용하여 디코딩되는 실시예를 도시하고 있는 도면.

도 2는 다이어딕인 경우 4 x 4 레지듀얼 블록을 업샘플링하는 예를 도시하는 도면.

도 3은 인트라 베이스 모드로 인코딩된 인핸스드 레이어가, 베이스 레이어의 디코딩된 이미지 데이터를 사용하여 디코딩되는 실시예를 도시하는 도면.

도 4는 매크로 블록, 변환 블록 및 파티셔닝의 여러 예를 도시하는 도면.

도 5는 본 발명의 제2 실시예에 따라, 레지듀얼 데이터를 갖는 베이스 레이어의 휘도 신호와 색차 신호를 서로 다른 방식을 업샘플링하고, 인터 모드로 인코딩되어 레지듀얼 데이터를 갖는 인핸스드 레이어를 이러한 업샘플링의 결과를 사용하여 디코딩하는 과정을 도시하는 도면.

도 6은 본 발명의 제2 실시예에 따라, 디코딩된 이미지 데이터를 갖는 베이스 레이어의 휘도 신호와 색차 신호를 서로 다른 방식을 사용하여 업샘플링하고, 업샘플링한 결과를 이용하여 인트라 베이스 모드로 인코딩된 인핸스드 레이어를 디코딩하는 프로세스를 도시하는 도면.

도 7은 레지듀얼 데이터를 갖는 색차 신호가 2배 업샘플링되는 본 발명의 제2 실시예에서의 각 픽셀의 상대적인 위치를 도시하는 도면.

이하, 서로 다른 도면에서 동일한 참조부호는 동일하거나 유사한 구성요소를 지시하는 도면을 참조하여 보자.

도 4는 매크로 블록, 변환 블록 및 파티셔닝의 여러 예를 도시하고 있다.

매크로 블록은 일반적으로 16 x 16 픽셀 크기이다. DCT와 같은 변환은 4 x 4 또는 8 x 8 블록 단위로 수행되는데, 이 중에서 코딩 효율이 높은 것이 선택된다. 이 경우, ‘파티셔닝’, ‘매크로 블록 타입’ 또는 ‘모드’라는 용어는, 레퍼런스 블록을 포함하는 레퍼런스 프레임(레퍼런스 인덱스) 및/또는 레퍼런스 블록에 대한 변위를 나타내는 모션 벡터(레퍼런스 인덱스와 모션 벡터를 모션 정보라 함)가 상호 일치하는 서브 블록이 병합되는 다양한 형상들, 또는 일부 모션 정보가 상호 일치하는 블록들이 조합되는 매크로 블록의 파티셔닝 중 어느 하나를 칭한다.

예를 들어, AVC 규격에서는, 모드나 파티셔닝, 레퍼런스 인덱스 및 모션 벡터 등의 모션 정보가 정의되는 최소 단위가 정해져 있다. 모션 벡터는 최소 크기가 4 x 4인 서브 블록에 기초하여 정의되고, 레퍼런스 인덱스는 최소 크기가 8 x 8인 서브 매크로 블록에 기초하여 정의된다. 또한, 모션 벡터와 레퍼런스 인덱스는 최대 크기가 16 x 16인 매크로 블록에 기초하여 정의될 수 있다. 모션 벡터가 동일한 4 x 4 서브 블록이 상호 병합되는 경우, 4 x 8, 8, x 4, 8 x 8, 8 x 16, 16 x 8 또는 16 x 16 단위로 모션 벡터가 정의될 수 있다. 이와 동일한 방식으로, 레퍼런스 인덱스가 동일한 8 x 8 서브 매크로 블록이 상호 병합되는 경우, 8 x 16, 16 x 8 또는 16 x 16 단위로 레퍼런스 인덱스가 정의될 수 있다.

MB0에서, 변환 블록의 크기는 4 x 4이고, 파티셔닝은 1개의 8 x 8 블록과, 1개의 8 x 8 블록과, 2개의 8 x 4 블록과, 2개의 4 x 8 블록으로 이루어진다. MB1에서, 변환 블록의 크기는 8 x 8이고, 파티셔닝은 16 x 8 모드, 즉, 2개의 16 x 8 블록으로 이루어진다. MB2에서, 변환 블록의 크기는 8 x 8이고, 파티셔닝은 8 x 16 모드, 즉, 2개의 8 x 16 블록으로 이루어진다. MB3에서, 변환 블록의 크기는 4 x 4이고, 파티셔닝은 16 x 16 모드, 즉, 하나의 16 x 16 블록으로 이루어진다.

레지듀얼 업샘플링에서, 고려 대상인 블록의 경계에 존재하는 픽셀들과 블록 내부에 존재하는 픽셀들은, 도 2에 도시된 바와 같이, 서로 다른 연산을 통해 새로운 픽셀들이 생성된다.

고려 대상인 블록의 경계에 존재하지 않는 픽셀들에 대해서는, 바이 리니어 보간 필터 또는 6 탭 보간 필터가 일괄적으로 사용된다. 블록의 경계에 존재하는 픽셀들에 대해서는 경계에 대한 픽셀들의 위치에 따라 서로 다른 연산들이 수행된다. 즉, 별도의 연산들이 수행되는 픽셀들의 수, 환언하면, 경계에 존재하는 픽셀들의 수를 감소시키고, 일괄적으로 처리될 수 있는 픽셀들의 수를 증가시킨다면, 레지듀얼 업샘플링이 간소화될 수 있다.

따라서, 본 발명의 제1 실시예에서는, 레지듀얼 업샘플링이 수행되는 경우, 변환 블록의 경계 대신에 모션 보상 예측 파티셔닝을 위한 경계만이 고려된다.

즉, 변환 블록의 경계가 모션 보상 예측 파티셔닝을 위한 경계가 아닌 한, 업샘플링을 위한 필터링은 변환 블록의 경계를 넘어서 적용된다. 이 경우, 변환 블록의 경계 및 모션 보상 예측 파티셔닝을 위한 경계로서, 인핸스드 레이어의 경계가 아니라 베이스 레이어의 경계가 사용된다.

MB0에서는, 4 x 4 변환 블록의 경계 대신에, 위쪽 2개의 8 x 8 예측 블록과, 좌측 아래쪽 2개의 8 x 4 예측 블록과, 우측 아래쪽 2개의 4 x 8 예측 블록이 블록의 경계로서 고려되고, 이 경계에 존재하는 픽셀들에 대해서는 레지듀얼 업샘플링을 위한 서로 다른 연산들이 수행된다.

MB1에서는, 8 x 8 변환 블록의 경계 대신에 2개의 16 x 8 예측 블록의 경계가 업샘플링 필터를 적용할지 여부를 결정하는 블록의 경계이다. 동일한 방식으로, MB2에서는, 8 x 8 변환 블록의 경계 대신에 2개의 8 x 16 예측 블록의 경계가 블록의 경계로서 고려된다. 또한, MB3에서는, 4 x 4 변환 블록의 경계 대신에 16 x 16 매크로 블록의 경계가 블록의 경계로서 고려된다.

일반적으로, 영상 신호는 색차 정보(Cb, Cr)과 관련된 성분과 휘도 정보(Y)와 관련된 성분이 상호 분리되어 관리된다. 휘도 신호 대 색차 신호의 샘플링 비율은 일반적으로 4:2:0이다. 색차 신호의 샘플들은 휘도 신호의 샘플들 사이에 위치된다. 즉, 영상 신호에 대해, 색차 신호의 샘플들의 수는 휘도 신호의 샘플들의 수 보다 적다. 그 이유는 인간의 시신경이 색차 신호보다 휘도 신호에 민감하기 때문이다.

따라서, 본 발명의 제2 실시예에서는, 휘도 신호와 색차 신호에 대해 서로 다른 업샘플링 필터가 적용된다. 휘도 신호에 대한 샘플링 필터보다 간단한 샘플링 필터가 색차 신호에 적용된다.

도 5는, 본 발명의 제2 실시예에 따라, 레지듀얼 데이터를 갖는 베이스 레이어의 휘도 신호와 색차 신호를 서로 다른 방법을 사용하여 업샘플링하고, 인터 모드로 인코딩되어 레지듀얼 데이터를 갖는 인핸스드 레이어를 상기 업샘플링 결과를 사용하여 디코딩하는 프로세스를 도시하고 있다.

도 6은, 본 발명의 제2 실시예에 따라, 디코딩된 이미지 데이터를 갖는 베이스 레이어의 휘도 신호와 색차 신호를 서로 다른 방법을 사용하여 업샘플링하고, 인트라 베이스 모드로 인코딩되었던 인핸스드 레이어를 상기 업샘플링 결과를 사용하여 디코딩하는 프로세스를 도시하고 있다.

도 5 및 도 6에 도시된 바와 같이, 휘도 신호와 색차 신호에는 서로 다른 필터링 방법들이 적용된다. 도 5 및 도 6의 업샘플링 방법 1(upsampling method 1)은 휘도 신호를 업샘플링하는 필터링 방법이고, 도 5 및 도 6의 업샘플링 방법 2(upsampling method 2)는 색차 신호를 업샘플링하는 필터링 방법이다.

본 발명의 제2 실시예에서는, 휘도 신호를 업샘플링하기 위한 필터로서, 예를 들어, 6 탭 보간 필터가 사용되고, 색차 신호를 업샘플링하기 위한 필터로서, 예를 들어, 바이 리니어 보간 필터가 사용될 수 있다.

한편, 레지듀얼 데이터는 인코딩 하고자 하는 영상 블록과 상기 영상 블록과 유사한 이미지 데이터를 갖는 기준 블록간 차분값으로 이루어져서, 데이터의 절대값은 작고 인접 픽셀들간 값의 변화가 적다. 또한, 전술된 바와 같이, 색차 신호는 휘도 신호에 비하여 인간의 시신경을 덜 자극한다.

이는, 레지듀얼 데이터를 갖는 휘도 신호의 업샘플링에 비해 레지듀얼 데이터를 갖는 색차 신호의 업샘플링에 보다 간단한 방법이 적용될 수 있다는 것을 의미한다. 또한, 디코딩된 이미지 데이터를 갖는 색차 신호의 업샘플링(인트라 베이스 모드)에 비해 레지듀얼 데이터를 갖는 색차 신호의 업샘플링(레지듀얼 예측 모드)에 보다 간단한 방법이 적용될 수 있다는 것을 의미한다.

따라서, 예를 들어, 베이스 레이어와 인핸스드 레이어의 해상도의 비율이 다이어딕인 경우, 경계(변환 블록의 경계 또는 모션 보상 예측 파티셔닝의 경계)내의 색차 신호들의 레지듀얼 업샘플링(도 5의 레지듀얼 업샘플링 방법 2)은 h = v = d = A + D + 1 >> 1 또는 h = v = d = B + C + 1 >> 1로 정의되어, 업샘플링을 위한 연산 부하가 감소될 수 있다.

이 경우, A, B, C, D, h, v 및 d의 상대적인 위치는 도 7에 도시되어 있다. A, B, C 및 D 색차 신호의 픽셀들(샘플들) 사이에 삽입될 픽셀들은 서로 다른 수학식을 사용하여 계산되는 것이 아니고, 픽셀들 각각은 동일한 수학식을 사용하여 대각선 방향으로 위치되는 2개의 대응 픽셀들의 평균값으로서 간단히 산출된다.

이와는 대조적으로, 베이스 레이어와 인핸스드 레이어의 해상도의 비율이 다이어딕이 아닌 경우에는, 변환 블록의 경계 또는 모션 보상 예측 파티셔닝의 경계 내의 색차 신호들의 레지듀얼 업샘플링이 바이 리니어 보간 필터를 사용하여 수행될 수 있는데, 이 경우에는 베이스 레이어와 인핸스드 레이어의 색차 샘플들(픽셀들) 사이의 상대적인 위치 및/또는 위상 차이(shift)를 고려하여 가중치가 결정된다.

또한, 인트라 베이스 모드의 색차 신호의 업샘플링에서는(도 6의 업샘플링 방법 2), 휘도 신호에 대해 사용되는 6 탭 보간 필터에 비해 간단한 바이 리니터 보간 필터를 사용하여 베이스 레이어의 색차 신호의 픽셀들이 업샘플링된다. 이 경우, 베이스 레이어와 인핸스드 레이어의 색차 샘플들 사이의 상대적인 위치 및/또는 위상 차이(shift)를 고려하여 가중치가 결정된다.

한편, 인핸스드 레이어를 레지듀얼 예측 모드 또는 인트라 베이스 모드로 인코딩하는 경우, 및 레지듀얼 예측 모드 또는 인트라 베이스 모드로 인코딩된 인핸스드 레이어를 디코딩하는 경우, 베이스 레이어의 업샘플링이 수행된다.

따라서, 본 발명에 따른 업샘플링 방법은 레이어간 예측 방법을 사용하여 영상 신호를 인코딩하고 디코딩하는 인코딩 장치 및 디코딩 장치에 모두 적용될 수 있다.

또한, 본 발명에 따른 업샘플링 방법이 적용되는 디코딩 장치는 휴대용 통신 단말 또는 기록 매체 재생 장치에 탑재될 수 있다.

따라서, 베이스 레이어가 레이어간 예측으로 업샘플되는 경우, 특별히 처리되어야 할 픽셀들의 수가 감소되고, 이에 따라 업샘플링의 효율이 향상되며, 보다 간소화된 연산의 적용을 통해 연산 부하가 감소될 수 있다.

본 발명이 바람직한 실시예가 예시적인 목적으로 개시되었지만, 당업자라면 본 발명의 사상 및 범위를 일탈하지 않고 본 발명에 대한 다양한 개선, 부가 및 대체가 이루어질 수 있다는 점을 이해할 것이다.

Claims

영상 신호를 인코딩하는 방법에 있어서,

상기 영상 신호를 인코딩하여 제1 레이어의 비트 스트림을 생성하는 단계와;

상기 제1 레이어에 기초하여 상기 영상 신호를 인코딩하여 제2 레이어의 비트 스트림을 생성하는 단계를 포함하고,

상기 제1 레이어 내에서 이미지 차분에 대응하는 레지듀얼 데이터가 업샘플링되어 상기 제2 레이어의 인코딩에 사용되는 경우, 상기 레지듀얼 데이터는 모션 보상에 따라 예측된 블록에 기초하여 업샘플링되는 것을 특징으로 하는 방법.
제1항에 있어서,

상기 제1 레이어와 상기 제2 레이어의 해상도의 비율이 2인 경우, 상기 레지듀얼 데이터는 바이 리니어 보간 필터를 사용하여 업샘플링되는 것을 특징으로하는 방법.
제1항에 있어서,

상기 제1 레이어와 상기 제2 레이어의 해상도의 비율이 2가 아닌 경우, 상기 레지듀얼 데이터는 6 탭 보간 필터를 사용하여 업샘플링되는 것을 특징으로 하는 방법.
영상 신호를 인코딩하는 방법에 있어서,

상기 영상 신호를 인코딩하여 제1 레이어의 비트 스트림을 생성하는 단계와;

상기 제1 레이어에 기초하여 상기 영상 신호를 인코딩하여 제2 레이어의 비트 스트림을 생성하는 단계를 포함하고,

상기 제1 레이어가 업샘플링되어 상기 제2 레이어의 인코딩에 사용되는 경우, 휘도 데이터와 색차 데이터에 각각 서로 다른 업샘플링 방법이 적용되는 것을 특징으로 하는 방법.
제4항에 있어서,

상기 휘도 데이터는 6 탭 보간 필터를 사용하여 업샘플링되는 한편, 상기 색차 데이터는 바이 리니어 보간 필터를 사용하여 업샘플링되는 것을 특징으로 하는 방법.
제5항에 있어서,

상기 색차 데이터의 업샘플링에는 가중치가 적용되고, 상기 가중치는 상기 제1 레이어와 상기 제2 레이어의 색차 데이터 샘플들간 상대적인 위치 및/또는 위상 차이에 기초하여 결정되는 것을 특징으로 하는 방법.
제4항에 있어서,

상기 제1 레이어 내에서 이미지 차분에 대응하는 레지듀얼 데이터가 상기 제 1 레이어와 상기 제2 레이어의 해상도의 비에 대응하는 2배로 업샘플링되는 경우, 4개의 특정 색차 데이터 샘플들 사이에 삽입될 샘플들은 동일한 수학식을 사용하여 산출되는 것을 특징으로 하는 방법.
제7항에 있어서,

상기 삽입될 샘플들 각각은 상기 4개의 샘플들 중 대각선 방향으로 위치하는 2개의 대응 픽셀들의 평균값으로서 산출되는 것을 특징으로 하는 방법.
제4항에 있어서,

상기 제1 레이어 내에서 이미지 차분에 대응하는 레지듀얼 데이터 또는 디코딩된 데이터가 업샘플링되어 상기 제2 레이어의 인코딩에 사용되는 것을 특징으로 하는 방법.
인코딩된 영상 비트 스트림을 디코딩하는 방법에 있어서,

제1 레이어의 비트 스트림을 디코딩하는 단계와;

상기 제1 레이어에 기초하여 제2 레이어의 비트 스트림을 디코딩하는 단계를 포함하고,

상기 제1 레이어 내에서 이미지 차분에 대응하는 레지듀얼 데이터가 업샘플링되어 상기 제2 레이어의 디코딩에 사용되는 경우, 상기 레지듀얼 데이터는 모션 보상에 따라 예측되는 블록에 기초하여 업샘플링되는 것을 특징으로 하는 방법.
제10항에 있어서,

상기 제1 레이어와 상기 제2 레이어의 해상도의 비율이 2인 경우, 상기 레지듀얼 데이터는 바이 리니어 보간 필터를 사용하여 업샘플링되는 것을 특징으로 하는 방법.
제10항에 있어서,

상기 제1 레이어와 상기 제2 레이어의 해상도의 비율이 2가 아닌 경우, 상기 레지듀얼 데이터는 6 탭 보간 필터를 사용하여 업샘플링되는 것을 특징으로 하는 방법.
인코딩된 영상 비트 스트림을 디코딩하는 방법에 있어서,

제1 레이어의 비트 스트림을 디코딩하는 단계와;

상기 제1 레이어에 기초하여 제2 레이어의 비트 스트림을 디코딩하는 단계를 포함하고,

상기 제1 레이어가 업샘플링되어 상기 제2 레이어의 디코딩에 사용되는 경우, 휘도 데이터와 색차 데이터에 각각 서로 다른 업샘플링 방법이 적용되는 것을 특징으로 하는 방법.
제13항에 있어서,

상기 휘도 데이터는 6 탭 보간 필터를 사용하여 업샘플링되는 한편, 상기 색차 데이터는 바이 리니어 보간 필터를 사용하여 업샘플링되는 방법.
제14항에 있어서,

상기 색차 데이터의 업샘플링에는 가중치가 적용되고, 상기 가중치는 상기 제1 레이어와 상기 제2 레이어의 색차 데이터 샘플들간 상대적인 위치 및/또는 위상 차이에 기초하여 결정되는 것을 특징으로 하는 방법.
제13항에 있어서,

상기 제1 레이어 내에서 이미지 차분에 대응하는 레지듀얼 데이터가 상기 제1 레이어와 상기 제2 레이어의 해상도의 비율에 대응하는 2배로 업샘플링되는 경우, 4개의 특정 색차 데이터 샘플들 사이에 삽입될 샘플들은 동일한 수학식을 사용하여 산출되는 것을 특징으로 하는 방법.
제16항에 있어서,

상기 삽입될 샘플들 각각은 상기 4개의 샘플들 중 대각선 방향으로 위치되는 2개의 대응 픽셀들의 평균값으로서 산출되는 것을 특징으로 하는 방법.
제13항에 있어서,

상기 제1 레이어 내에서 이미지 차분에 대응하는 레지듀얼 데이터 또는 디코딩된 데이터가 업샘플링되어 상기 제2 레이어의 인코딩에 사용되는 것을 특징으로 하는 방법.