KR100878812B1 - 영상신호의 레이어간 예측에 대한 정보를 제공하고 그정보를 이용하는 방법 - Google Patents

Abstract

본 발명은, 영상신호를 엔코딩하여 복수 레이어로 제공할 때, 레이어(layer)간 예측에 대한 정보를 제공하고 그 제공된 정보를 이용하는 방법에 관한 것으로서, 본 발명에 따른 엔코딩 방법은, 영상신호를 인핸스드 레이어와 베이스 레이어의 비트 스트림으로 엔코딩함에 있어서, 상기 인핸스드 레이어의 픽처내의 영상블록을, 상기 베이스 레이어에서 상기 영상블록에 대응되는 블록의 이미지 데이터에 기초하여 레지듀얼 데이터로 코딩하고, 그 코딩이 레이어간 예측 제한(constraint)에 의해 이루어진 것인지 레이어간 예측 비제한에 의해 이루어진 것인지를 나타내는 지시정보를 상기 인핸스드 레이어의 비트 스트림을 통해 제공한다.

스케일러블, 제한, 레이어간, 예측, constraint

Description

영상신호의 레이어간 예측에 대한 정보를 제공하고 그 정보를 이용하는 방법 {Method for providing and using information on interlayer prediction of a video signal}

도 1a는 레이어간-예측-제한에 따른, 하위 레이어로부터의 인트라 모드 블록의 예측 방식을 예시한 것이고,

도 1b는 레이어간-예측-비제한에 따른, 하위 레이어로부터의 인트라 모드 블록의 예측 방식을 예시한 것이고,

도 2는 영상신호를 엔코딩하여 3개이상의 복수 레이어를 통해 전송할 때의 상위 레이어들의 레이어간 예측방법의 예를 나타낸 것이고,

도 3은 본 발명에 따른 영상신호의 스케일러블(scalable) 코딩방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이고,

도 4는 도 3의 엔코딩 장치로부터 엔코딩되어 전송되는 데이터 스트림을 디코딩하는 장치의 블록도이고,

도 5는 본 발명의 일 실시예에 따른, 디코더에서 레이어간 예측 제한성(constraint) 부과여부를 판단하는 신택스의 예를 나타낸 것이고,

도 6은 본 발명의 다른 일 실시예에 따른, 디코더에서 레이어간 예측 제한성 부과여부를 판단하는 신택스의 예를 나타낸 것이다.

<도면의 주요부분에 대한 부호의 설명>

1: EL 엔코더 2: 텍스처 코딩부

3: 모션 코딩부 4: BL 엔코더

5: 먹서 11: EL 디코더

12: 텍스처 디코딩부 13: 모션 디코딩부

14: BL 디코더 15: 디먹서

본 발명은, 영상신호를 엔코딩하여 복수 레이어로 제공할 때, 레이어(layer)간 예측에 대한 정보를 제공하고 그 제공된 정보를 이용하는 방법에 관한 것이다.

스케일러블 영상 코덱(SVC:Scalable Video Codec) 방식은 영상신호를 엔코딩함에 있어, 최고 화질로 엔코딩하되, 그 결과로 생성된 픽처 시퀀스의 부분 시퀀스( 시퀀스 전체에서 간헐적으로 선택된 프레임의 시퀀스 )를 디코딩해 사용해도 저화질의 영상 표현이 가능하도록 하는 방식이다. MCTF (Motion Compensated Temporal Filter) 방식이 상기와 같은 스케일러블 영상코덱에 사용하기 위해 제안 된 엔코딩 방식 중 하나이다.

그런데, 스케일러블 방식으로 엔코딩된 픽처 시퀀스는 그 부분 시퀀스만을 수신하여 처리함으로써도 저화질의 영상 표현이 가능하지만, 비트레이트(bitrate)가 낮아지는 경우 화질저하가 크게 나타난다. 이를 해소하기 위해서 낮은 전송률을 위한 별도의 보조 픽처 시퀀스, 예를 들어 소화면 및/또는 초당 프레임수 등이 낮은 픽처 시퀀스를 적어도 하나 이상의 레이어로서 계층적 구조로 제공할 수도 있다.

2개의 시퀀스를 가정할 때, 보조 시퀀스( 하위 시퀀스 )를 베이스 레이어(base layer)로, 주 픽처 시퀀스( 상위 시퀀스 )를 인핸스드(enhanced)( 또는 인핸스먼트(enhancement) ) 레이어라고 부른다. 그런데, 베이스 레이어와 인핸스드 레이어는 동일한 영상신호원을 엔코딩하는 것이므로 양 레이어의 영상신호에는 잉여정보( 리던던시(redundancy) )가 존재한다. 따라서 인핸스드 레이어의 코딩율(coding rate)을 높이기 위해, 베이스 레이어의 코딩된 정보를 이용하여 인핸스드 레이어의 영상신호를 코딩한다. 이는 레이어간 예측(interlayer prediction)의 한가지 유형이다.

예를 들어, 인핸스드 레이어의 현재 매크로 블록의 타입이 인트라(intra) 모드로 결정되는 경우에는 베이스 레이어상의 인트라 모드의 대응 블록( 인핸스드 레이어의 블록과 동시간 동위치의 블록 )의 이미지 데이터를 이용하여 차 데이터(residual)로 코딩한다.

이와 같이 코딩된 매크로 블록을 '인트라 BL 모드'의 블록이라고 하는 데, 인트라 BL 모드로 지정하는 데는 제한성이 가해질 수도 있고, 그렇지 않을 수도 있다. 예를 들어, 도 1a에서와 같이, 베이스 레이어의 대응블록이 인트라(intra) 모드로 코딩된 경우에만 레이어간 예측을 허용함으로써 레이어간 예측에 제한성(constraint)을 둘 수 있고, 또는 도 1b에서와 같이, 베이스 레이어의 대응블록이 인트라(intra) 모드로 코딩된 경우 뿐만 아니라 인터(inter) 모드로 코딩된 경우에도 레이어간 예측을 허용함으로써 레이어간 예측에 제한을 두지 않을 수도 있다.

도 1a 또는 1b중 어느 방식으로 코딩할 것인지( 엔코더 측면 ) 또는 디코딩할 것인지( 디코더 측면 )는 베이스 레이어의 constrained_intra_pred_flag의 값으로부터 판단한다. 이 플래그는, 인트라 모드로 코딩된 레지듀얼 데이터를 갖는 매크로 블록을 복원할 때, 인접된 인터모드 블록에 대해서 고정된 값을 사용할 것인지(constrained_intra_pred_flag=1) 복원된 화소값을 사용할 것인지constrained_intra_pred_flag=0)를 지시하기 위해 사용되는 정보이다.

그런데, 도 2에서와 같이 영상신호를 3개의 레이어로 엔코딩하여 제공하는 경우에, 상위 레이어(L1)와 중간 레이어(L2) 모두가 하위 레이어(L3)를 예측 레이어로 하여 코딩한 뒤 디코더에 제공한다면, 상위 레이어(L1)와 중간 레이어(L2)는 하위 레이어(L3)의 인트라 모드의 블록의 코딩방식에 의해 동일하게 구속된다. 즉, 하위 레이어(L3)의 constrained_intra_pred_flag가 1인 경우에는, 상위 및 중간 레이어 모두(L1,L2) 레이어간 예측-제한으로 지정되어 도 1a와 같은 제한(constrained)방식으로 코딩되고, constrained_intra_pred_flag가 0인 경우, 상위 및 중간 레이어 모두(L1,L2) 레이어간 예측-비제한으로 지정되어 도 1b와 같은 비 제한(unconstrained)방식으로 코딩될 수 밖에 없다. 즉, 하위 레이어(L3)를 기반으로 하여 레이어간 예측을 행할 때, 그 상위의 레이어들이 상호 독립적으로 레이어간 예측-제한 또는 레이어간 예측-비제한을 택할 수가 없다.

또한, 레이어간 예측 제한( 비제한 )의 속성과는 다른 속성을 가진 constrained_intra_pred_flag에 레이어간 예측 제한( 비제한 )이 결정됨으로써, 복수 레이어에서 하위 레이어의 constrained_intra_pred_flag가 특정 값을 갖는 경우에 상위 레이어가 가질 수 있는 레이어간 예측 제한성에 대한 자유도를 상실하게 된다. 즉, 두가지( 예측-제한, 예측-비제한 ) 중 한가지를 선택하지 못하고 한가지로만 강제 결정된다.

따라서, 본 발명은, 영상신호의 레이어간 예측의 제한성에 대한 정보를 예측코딩한 레이어를 통해서 전송하고 이와 같이 전송된 정보를 이용하여 디코딩하는 방법을 제공하는 데 그 목적이 있다.

상기한 목적을 달성하기 위해 본 발명에 따른 엔코딩 방법은, 영상신호를 제 1레이어와 제 2레이어의 비트 스트림으로 엔코딩함에 있어서, 상기 제 1레이어의 픽처내의 영상블록을, 상기 제 2레이어에서 상기 영상블록에 대응되는 블록의 이미지 데이터에 기초하여 레지듀얼 데이터로 코딩하고, 그 코딩이 레이어간 예측 제한 에 의해 이루어진 것인지 레이어간 예측 비제한에 의해 이루어진 것인지를 나타내는 지시정보를 상기 제 1레이어의 비트 스트림을 통해 제공하는 데 그 특징이 있다.

또한, 본 발명에 따른 디코딩 방법은, 엔코딩된 제 1레이어와 제 2레이어의 각 비트 스트림을 수신하여 영상신호로 디코딩함에 있어서, 상기 제 1레이어의 비트 스트림을 통해 제공되는, 상기 제 1레이어의 전부 또는 일부가 레이어간 예측 제한에 의해 코딩된 것인지 레이어간 예측 비제한에 의해 코딩된 것인지를 나타내는 지시정보를 확인하고, 그 확인결과에 근거하여, 상기 제 1레이어의 픽처내의 특정모드의 대상블록을 복원하기 위해 상기 제 2레이어의 인터모드의 블록을 먼저 복원할 것인지 하지 않을 것인 지를 결정하는 것에 그 특징이 있다.

본 발명에 따른 또 다른 디코딩 방법은, 엔코딩된 제 1레이어와 제 2레이어의 각 비트 스트림을 수신하여 영상신호로 디코딩함에 있어서, 상기 제 2레이어의 비트 스트림에 포함되어 있는, 인트라모드 블록의 복원시의 인접된 인터모드 블록의 데이터 사용에 대한 제한 여부를 지시하는 정보를 확인하고, 그 확인된 정보가, 인접된 인터모드 블록의 데이터 사용에 대해 제한을 지시하고 있는 경우에, 상기 제 1레이어의 비트 스트림을 통해 제공되는, 상기 제 1레이어의 전부 또는 일부가 레이어간 예측 제한에 의해 코딩된 것인지 레이어간 예측 비제한에 의해 코딩된 것인지를 나타내는 지시정보를 확인하는 것에 특징이 있다.

본 발명에 따른 일 실시예에서는, 상기 지시정보를 픽처의 유형별로 달리 할당하여 사용한다.

본 발명에 따른 일 실시예에서는, 상기 픽처 유형을 키(key)픽처 또는 저역성분 픽처 그리고 비-키픽처 또는 고역성분 픽처의 두가지 유형으로 구분한다.

본 발명에 따른 일 실시예에서는, 상기 지시정보가 픽처의 유형별로 구분하여 레이어간 예측 제한 또는 비제한에 의해 코딩된 것인지를 나타내는 값을 갖는다.

이하, 본 발명의 바람직한 실시예에 대해 첨부도면을 참조하여 상세히 설명한다.

도 3은 본 발명에 따른 영상신호의 스케일러블(scalable) 코딩방법이 적용되는 영상신호 엔코딩 장치의 구성블록을 도시한 것이다. 도 3의 장치는 입력 영상신호를 2개의 레이어로 코딩하는 것이나 후술하는 본 발명의 원리는 3개 또는 그 이상의 레이어로 코딩하는 경우에도 각 레이어간에는 물론 적용될 수 있다.

도 3의 영상신호 엔코딩 장치는, 본 발명이 적용되는, 입력 영상신호를 지정된 방식( 예를 들어, MCTF 또는 AVC )에 의해 각 매크로 블록(macro block) 단위로 엔코딩하고 적절한 관리정보를 생성하는 인핸스드 레이어(EL) 엔코더(1), 상기 엔코딩된 각 매크로 블록의 정보를 압축된 비트열로 변환하는 텍스처(Texture) 코딩부(2), 상기 EL 엔코더(1)에 의해 얻어지는 영상블록들의 모션 벡터들(motion vectors)을 지정된 방식에 의해 압축된 비트열로 코딩하는 모션 코딩부(3), 입력 영상신호를 지정된 방식, 예를 들어 AVC의 방식으로 엔코딩하여 소화면, 예를 들어 원래 크기의 25%크기인 픽처들의 시퀀스를 생성하거나 또는 인핸스드 레이어와 동 일 크기이나 프레임 레이트가 낮은 픽처들의 시퀀스를 생성하는 베이스레이어(BL) 엔코더(4), 상기 텍스처 코딩부(2)의 출력 데이터와 상기 BL 엔코더(4)의 엔코딩된 영상 시퀀스와 상기 모션 코딩부(3)의 출력 벡터 데이터를 기 지정된 포맷으로 인캡슐(encapsulate)한 다음 기 지정된 전송포맷으로 상호 먹싱하여 출력하는 먹서(5)를 포함하여 구성된다.

상기 EL 엔코더(1)는, 임의 영상 프레임내의 매크로 블록에 대하여 모션 추정(motion estimation)과 예측(prediction) 동작을 수행하며, 이 때 상기 BL 엔코더(4)로부터 제공되는 영상 데이터 및 코딩정보를 이용하여, 코딩효율이 높아 지는 경우 레이어간 예측코딩을 하고 그에 따른 코딩정보를 매크로 블록정보로서 적절한 헤더에 삽입하여 전송한다.

상기와 같은 코딩과정 중에, 현재 코딩할 매크로 블록이 인트라 모드로 결정되면, 상기 BL 엔코더(4)로부터 제공되는 정보를 참조하여 그에 대응되는 블록이 인트라 모드인지 인터모드인지를 판단하고, 인트라 모드이면 현재 매크로 블록을 '인트라 BL 모드'로 지정하고, 대응되는 베이스 레이어 블록의 이미지 데이터를 기초로 하여 레지듀얼 데이터로 코딩한다.

만약, 인터모드이면, 엔코딩을 위해 기 설정된 레이어간-예측-제한성의 여부에 따라 인트라 BL 모드로 지정하고( 제한성이 없는 경우 ) 앞서 언급한 바와 같이, 베이스 레이어의 대응블록의 이미지 데이터와의 차 데이터로 코딩하거나 아니면 인트라 모드로 지정하고( 제한성이 있는 경우 ) 인접된 매크로 블록의 화소값( 또는 고정값 )을 기준으로 하여 레지듀얼 데이터로 코딩하게 된다.

그리고, 제한성이 있는 것으로 설정되어 있는 경우에는, 특정 정보, 예를 들어 constraind_inter_layer_pred_flag의 명칭을 갖는 정보를 1로 설정하고, 제한성이 없는 것으로 설정되어 있는 경우에는, 상기 플래그(constraind_inter_layer_pred_flag)를 0으로 설정하여 헤더정보( 시퀀스 헤더, 픽처 또는 픽처그룹 헤더, 또는 슬라이스 헤더 )에 삽입하여 전송하게 된다.

만약, 제한성이 없는 것으로 설정되어 있는 경우에는, 상기 EL 엔코더(1)는 현재 매크로 블록에 대응되는 베이스 레이어의 인터모드 블록에 대해 복원(reconstruction)동작(MC:Motion Compensation 또는 inverse-MCTF)을 행하여 복원된(reconstructed) 이미지에 기초하여 현재의 매크로 블록의 이미지를 레지듀얼로 코딩하고 인트라 BL 모드로 지정하게 된다. 인터모드 블록에 대한 복원동작은 상기 BL 엔코더(4)에 요청하여 복원된 데이터를 수신할 수도 있으며, 또한 레지듀얼로 코딩되기 전의 영상 데이터를 상기 BL 엔코더(4)가 임시 저장하고 있다면 그 영상 데이터를 이용할 수도 있다.

상기 EL 엔코더(1)는 상기 제한성에 대한 플래그를 여러가지 헤더 중 하나에 삽입할 수가 있는 데, 픽처헤더(PPS:Picture Parameter Set,PPSE:PPS extension)나 슬라이스 헤더에 삽입하는 경우에는, 레이어간 예측 제한성을 각 슬라이스별로 지정할 수가 있다. 다르게는, 시퀀스 헤더나 픽처 그룹(GoP) 헤더에 삽입할 수도 있는 데, 이 경우에는, 그 시퀀스나 그 픽처그룹에 속하는 모든 슬라이스는 상기 제한성 플래그에 의해 지정된 제한성을 또는 비제한성을 동일하게 적용받게 된다.

상기에 설명되지 않은 여러가지 블록모드의 매크로 블록에 대한 엔코딩 과정 은 본 발명과 직접적인 관련이 없으므로 그 설명은 생략하며, 그 과정에는 기 공지된 방법이 적용될 수 있다.

입력되는 영상신호가 상기 설명된 과정을 포함하는 엔코딩 과정을 거친 후 별도의 저장수단에 저장된 후 디코더에서의 요청에 따라 그 저장수단으로부터 전부 또는 일부가 독출되어 전송채널을 통해 디코더로 전송된다. 일부가 선택되는 것은 전송채널의 용량에 따라 결정되지만 이 과정은 본 발명과 무관하므로 그 설명은 생략한다.

도 4는 상기와 같이 엔코딩되어 전송되는 데이터 스트림을 디코딩하는 장치의 블록도이다. 도 4의 디코딩 장치는, 수신되는 데이터 스트림에서 압축된 모션 벡터 스트림과 압축된 매크로 블록 정보 스트림을 분리하는 디먹서(15), 압축된 매크로 블록 스트림을 원래의 비압축 상태로 복원하는 텍스처 디코딩부(12), 압축된 모션 벡터 스트림을 원래의 비압축 상태로 복원하는 모션 디코딩부(13), 압축해제된 매크로 블록 정보 스트림과 모션 벡터 스트림을, 예를 들어 MCTF 방식에 따라 원래의 영상신호로 역변환하는 인핸스드 레이어(EL) 디코더(11), 상기 베이스 레이어 스트림을 정해진 방식, 예를 들어 AVC에 의해 디코딩하는 베이스 레이어(BL) 디코더(14)를 포함하여 구성된다.

상기 BL 디코더(14)는, 입력되는 베이스 레이어 스트림을 디코딩함과 동시에, 스트림내의 헤더정보를 상기 EL 디코더(11)에 제공하여 필요한 베이스 레이어의 엔코딩 정보( 헤더에 포함되어 있는 ), 예를 들어 모션벡터에 관련된 정보, 매크로 블록의 모드 등을 이용할 수 있게 한다. 또한, 상기 BL 디코더(14)는 상기 EL 디코더(11)의 지시에 따라 디코딩된 베이스 레이어 픽처, 또는 일부 블록만 디코딩된 픽처의 영상데이터를 상기 EL 디코더(11)에 제공한다.

상기 EL 디코더(11)는, 수신되는 인핸스드 레이어의 픽처 시퀀스에서 현재 디코딩하고자 하는 픽처가 속한 픽처 그룹 헤더, 또는 시퀀스 헤더에서 레이어간 예측 제한성에 대한 플래그, constrained_inter_layer_pred_flag를 확인한다. 앞서의 엔코딩 과정에서 설명한 바와 같이, 픽처 헤더 또는 슬라이스 헤더에서 상기 제한성 플래그를 확인할 수도 있다.

현재 디코딩하고자 하는 슬라이스에 적용되는, 확인된 제한성 플래그가 레이어간 예측 제한으로 지시되어 있는 경우에는( constrained_inter_layer_pred_flag=1인 경우 ), 그 슬라이스내의 인트라 BL 모드의 블록에 대해서는, 상기 BL 디코더(14)로부터 제공되는, 적어도 인트라 모드의 블록은 디코딩된 픽처 데이터를 수신하여( 또는 BL 디코더(14)와 상호 공유하는 메모리를 통해 읽어서 ) 그 픽처 데이터내의 대응 블록의 복원된 데이터에 기초하여 그 레지듀얼 데이터를 원래의 이미지 데이터로 복원한다.

만약, 디코딩하고자 하는 슬라이스에 적용되는, 확인된 제한성 플래그가 레이어간 예측 비제한으로 지시되어 있는 경우에는( constrained_inter_layer_pred_flag=0인 경우 ), 상기 BL 디코더(14)에 현재 슬라이스에 대응되는, 베이스 레이어의 슬라이스상의 모든 매크로 블록을 복원하여 제공하도록 지시한다. 물론, 상기 BL 디코더(14)가 픽처 전체에 대해 디코딩된 데이터를 항상 제공하도록 설정되어 있는 경우에는 이와 같은 상황별 지시는 요청할 필 요가 없다. 하지만, 인트라 BL 모드에 의한 레이어간 예측외에 레지듀얼 예측(residual prediction)도 레이어간에 사용되므로 상기 BL 디코더(14)는 픽처내의 데이터를 모두 복원하는 대신, 인트라 모드의 블록 데이터만 복원하여 상기 EL 디코더(11)에 제공하고, 별도의 지시가 있는 경우에 픽처내의 인터모드의 블록에 대해 복원동작(MC 또는 inverse_MCTF)을 행하여 복원된 이미지 데이터를 갖는 슬라이스를 제공하는 것이 바람직하다.

상기 EL 디코더(11)는 상기 BL 디코더(14)로부터 제공되는 복원된 데이터를 갖는 슬라이스내에서, 현재 인트라 BL 모드인 블록에 대응되는 블록내의 복원된 데이터에 기초하여 그 블록의 레지듀얼 데이터를 원래의 이미지 데이터로 복원한다.

본 발명에 따른 다른 일 실시예에서는, 레이어간 예측의 제한성에 관한 정보를 픽처의 유형별로 구분하여 설정할 수도 있다.

예를 들어, 도 3의 EL 엔코더(1)는, 픽처의 유형이 키(key)픽처 또는 저역성분을 갖는 픽처( MCTF의 경우 L픽처 )로 코딩되는 픽처인 경우에는, 예를 들어 constrained_inter_layer_pred_L_flag의 명칭을 갖는 플래그 정보를 세트 또는 리세트시켜서 디코더에 전송하고, 픽처의 유형이 비 키픽처(non-key picture)이거나 고역성분을 갖는 픽처( MCTF의 경우 H픽처 )로 코딩되는 픽처인 경우에는, 예를 들어, constrained_inter_layer_pred_H_flag의 명칭을 갖는 플래그 정보를 세트 또는 리세트시켜서 디코더에 전송한다.

여기서 '키픽처'란, 기본화질(quality-base) 픽처만을 사용하여 예측동작을 수행하여 레지듀얼 데이터로 코딩한 픽처가 한가지 예일 수 있다. 이에 반하여 기 본화질 픽처외에 SNR 인핸스(enhance) 픽처 데이터를 사용하여 레지듀얼 데이터로 코딩한 픽처를 비 키픽처(non-key picture)라 한다. 이 키픽처의 정의는 한가지의 예일 뿐, 본 발명은 이에 한정되지 않는다.

상기 2개의 제한성에 대한 플래그(constrained_inter_layer_pred_L_flag, constrained_inter_layer_pred_H_flag)는 그 적용되는 픽처의 유형만이 상이할 뿐 그 사용방법은, 앞서 constrained_inter_layer_pred_flag에 대해 설명한 것과 동일하다. 따라서, 도 4의 EL 디코더(11)는, 현재 디코딩할 픽처가 키픽처 또는 저역성분을 갖는 픽처인 경우에는 constrained_inter_layer_pred_L_flag의 값을 확인하고, 비-키픽처 또는 고역성분의 픽처인 경우에는 constrained_inter_layer_pred_H_flag의 값을 확인한다. 확인된 값에 따른 인트라 BL 모드의 매크로 블록의 복원동작은 앞선 실시예에 대해 설명한 것과 동일하다.

이하에서는, 본 발명에 따른 또 다른 실시예에 대해 설명한다.

인트라 모드 블록의 복원시의 인접된 인터모드 블록의 데이터 사용에 대한 제한성 여부를 지시하는 constrained_intra_pred_flag가, 베이스 레이어에서 리세트되는 경우, 즉 제한성이 가해지지 않는 경우에는, 도 4의 BL 디코더(14)는 픽처내의 인트라 모드의 블록의 레지듀얼 데이터를 복원하기 위해 인접된 인터모드 블록에 대해서는 MC( 또는 inverse-MCTF )에 의한 복원동작을 수행하게 된다. 따라서, 이러한 경우에는 도 1의 EL 엔코더(1)는 현재 엔코딩할 인핸스드 레이어의 매크로 블록에 대응되는 베이스 레이어의 블록이 인터모드인지 인트라 모드인지를 구분하지 않고 인트라 BL 모드로 코딩하는 것이 유리하다. 왜냐하면 도 4의 EL 디코 더(11)는 상기 BL 디코더(14)로부터 인터모드의 블록에 대해서도 MC 등의 동작에 의해 복원된 이미지 데이터를 얻을 수 있기 때문이다.

따라서, 도 1의 EL 엔코더(1)는 BL 엔코더(4)에 의해 베이스 레이어의 constrained_intra_pred_flag가 0으로 되어 있는 경우( 즉, 인접 블록에 대해 제한성이 부과되지 않은 경우 )에는 현재 인트라 BL 모드로 코딩된 매크로 블록을 포함하는 슬라이스 또는 픽처( 또는 그 슬라이스 또는 픽처를 포함하는 시퀀스 또는 픽처 그룹 )에 대해 constrained_inter_layer_pred_flag를 리세트시켜 전송하거나 그 플래그를 아예 전송하지 않는다.

만약, 베이스 레이어의 constrained_intra_pred_flag가 1로 되어 있는 경우( 즉, 인접 블록에 대해 제한성이 부과되어 인접된 인터모드의 블록의 데이터를 인트라 모드 블록의 코딩(또는 복원)에 사용하지 않은 경우 )에는, 레이어간 예측에 제한을 두거나 두지 않을 수도 있으므로, 상기 EL 엔코더(1)는 기 설정된 인핸스드 레이어에 대한 예측 제한성의 조건에 따라 특정 블록을 인트라 BL 모드의 블록으로 코딩하고, constrained_inter_layer_pred_flag를 0 또는 1로 설정하여 전송하게 된다. constrained_intra_pred_flag가 1인 경우, 레이어간 예측에 제한을 두지 않게 되면, 앞서의 실시예에서 설명한 바와 같이, 상기 EL 디코더(11)는 BL 디코더(14)에 인터 모드 블록에 대한 복원동작을 요청하게 된다. 따라서, 이 경우에는 데이터 복원을 위한 MC 동작( 또는 inverse-MCTF )이 양 레이어에서 함께 수행되어야 한다.

한편, 본 실시예에서는, 앞서 언급한 바와 같이, constrained_inter_layer_pred_flag가 엔코더로부터 전송되지 않을 수도 있으므로, 도 4의 EL 디코더(11)는, 도 5에 예시된 방법에 따라 레이어간 예측에의 제한성 부과여부를 판단한다.

먼저, 레이어간 예측성에 대한 자체 변수(interlayer_constrained)를 비-제한상태를 나타내는 값, 즉 0으로 초기화한 뒤, 상기 BL 디코더(14)로부터 전송되는 constrained_intra_pred_flag의 값을 확인한다. 그 값이 1인 경우에만 인핸스드 레이어의 헤더 정보에 실려서 수신되는 constrained_inter_layer_pred_flag의 값을 상기 자체변수에 복사한다.

이 후 자체 변수(interlayer_constrained)의 값에 근거하여 도 4의 EL 디코더(11)는 레이어간 예측에 대한 제한성 부과여부를 알 수 있게 된다. 이와 같이 확인된 레이어간 예측의 제한성 부과여부에 따라 인트라 BL 모드의 매크로 블록의 레지듀얼 데이터를 원래의 이미지 데이터로 복원하는 과정은 앞서의 실시예에서와 동일하다.

한편, 베이스 레이어의 constrained_intra_pred_flag의 값에 따라 레이어간 예측에의 제한성 부과여부를 선택하고 그 선택된 제한성 여부에 대해 지시하는 정보(constrained_inter_layer_pred_flag)를 픽처의 유형에 따라 구분 할당하여 사용할 수도 있다. 예를 들어, 키픽처나 저역성분으로 코딩되는 픽처의 경우에 대해서는 constrained_inter_layer_pred_L_flag에, 비-키픽처나 고역성분으로 코딩되는 픽처의 경우에 대해서는 constrained_inter_layer_pred_H_flag에 레이어간 예측 제한성에 대한 값을 실어서 전송할 수도 있다.

이와 같이 픽처 유형에 따라 구분하여 플래그 정보를 사용하는 경우에도 양 플래그 정보는 앞서 설명한 것과 동일하게, 베이스 레이어의 constrained_intra_pred_flag의 값에 따라 전송되지 않거나 또는 0 또는 1의 값으로 설정되어 전송되고, 도 4의 EL 디코더(11)도 그에 따라 인트라 BL 모드의 매크로 블록을 복원하게 된다. 만약, 베이스 레이어의 constrained_intra_pred_flag가 0인 경우, constrained_inter_layer_pred_L_flag, 또는 constrained_inter_layer_pred_H_flag를 전송하지 않는 경우에는 도 4의 EL 디코더(11)는 도 6에 예시된 신택스에 따른 동작을 수행하고 그 결과에 의한 자체 변수(interlayer_constrained)의 최종값에 따라 레이어간 예측에 대한 제한성 부과여부를 판단하게 된다.

이하에서는, 본 발명에 따른 또 다른 실시예에 대해 설명한다.

앞서 설명한 실시예에서, 레이어간 예측의 제한성에 대한 정보를 픽처의 유형에 따라 구분 할당하여 사용하지 않고 하나로 통합된 정보, 예를 들어 constrained_inter_layer_pred_idc의 명칭을 갖는 하나의 지시정보로써 전달할 수도 있다.

본 실시예에서는, 앞서 예를 든 픽처유형에 관계없이 레이어간 예측 제한 상태임을 나타낼 때는 상기 지시정보(constrained_inter_layer_pred_idc)를 0으로 설정하고, 제 1유형의 픽처( 예를 들어, 키픽처 또는 저역성분의 픽처 )에 대해서는 레이어간-예측-비제한 상태를, 제 2유형의 픽처( 예를 들어, 비-키픽처 또는 고역성분의 픽처 )에 대해서는 레이어간-예측-제한 상태를 나타낼 때는 상기 지시정보 를 1로 설정하며, 픽처 유형에 관계없이 레이어간 예측 비제한 상태임을 나타낼 때는 상기 지시정보를 2로 설정한다. 도 4의 EL 디코더(11)도 상기와 같이 정의된 지시값에 따라 상기 지시정보로부터 픽처 유형에 따른 레이어간 예측에 대한 제한성을 판단하게 된다.

본 실시예에서는, 제 1유형의 픽처에 대해서는 레이어간-예측-제한상태로 하고, 제 2유형의 픽처에 대해서는 레이어간-예측-비제한상태로 하는 엔코딩( 및 디코딩 )은 실제 이용될 가능성이 매우 낮아( 실제로 앞서 예를 든 제 2유형의 픽처에 대해서 레이어간-예측-비제한 상태로 코딩하는 경우 제 1유형의 픽처에 대해서 굳이 레이어간-예측-제한을 둘 이유가 없다. ) 그 경우를 나타내는 지시값은 배제하였으나 필요하다면 별도의 지시값, 예를 들어 4를 할당하여 그 상태를 나타내는 것은 물론 가능하다.

전술한 바와 같이, 레이어간-예측-제한성을 나타내는 정보를 확인하고, 그에 따라 해당 인트라 BL 모드의 매크로 블록을 복원하는 동작( 베이스 레이어의 인터 모드의 블록을, 상기 레이어간-예측-제한성을 나타내는 정보에 근거하여 선택적으로 복원하는 동작을 포함 )을 수행하는 디코딩 장치는, 이동통신 단말기 등에 실장되거나 또는 기록매체를 재생하는 장치에 실장될 수 있다.

본 발명은 전술한 전형적인 바람직한 실시예에만 한정되는 것이 아니라 본 발명의 요지를 벗어나지 않는 범위 내에서 여러 가지로 개량, 변경, 대체 또는 부가하여 실시할 수 있는 것임은 당해 기술분야에 통상의 지식을 가진 자라면 용이하 게 이해할 수 있을 것이다. 이러한 개량, 변경, 대체 또는 부가에 의한 실시가 이하의 첨부된 특허청구범위의 범주에 속하는 것이라면 그 기술사상 역시 본 발명에 속하는 것으로 보아야 한다.

제한된 실시예로써 상술한 바와 같이, 본 발명은, 레이어간 예측 제한성의 부과여부를, 레이어간 예측의 기반이 되는 베이스 레이어가 아닌 예측 코딩이 이루어진 레이어를 통해 직접 전달하므로, 복수의 레이어를 통해 영상신호를 엔코딩하여 전송하는 경우에, 각 레이어의 예측 제한이 독립적으로 설정되거나 해제될 수 있어 코딩의 자유도를 향상시키고 엔코딩 상황에 맞는 적절한 레이어의 코딩이 이루어지도록 할 수 있다.

Claims (15)

1. 베이스 레이어의 대응 블록의 이미지 정보를 레이어간 예측을 위하여 이용하는지 여부를 나타내는 인핸스드 레이어의 레이어간 예측 제한 플래그 정보를 획득하는 단계;

   상기 레이어간 예측 제한 플래그 정보에 기초하여 상기 대응 블록의 상기 이미지 정보를 획득하는 단계; 및

   상기 이미지 정보 및 레지듀얼 정보에 기초하여 현재 블록을 디코딩하는 단계를 포함하며,

   상기 레지듀얼 정보는 상기 인핸스드 레이어의 상기 현재 블록의 이미지 정보와 상기 베이스 레이어의 상기 대응 블록의 이미지 정보간의 차이 정보인 것을 특징으로 하는 비디오 신호 디코딩 방법.
2. 제 1 항에 있어서,

   상기 레이어간 예측 제한 플래그 정보는 상기 현재 블록의 타입에 의하여 결정되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
3. 제 1 항에 있어서,

   상기 레이어간 예측 제한 플래그 정보는 슬라이스 헤더, 픽처 헤더, 시퀀스 헤더, 및 픽처 그룹 헤더 중 어느 하나에 포함되는 것을 특징으로 하는 비디오 신호 디코딩 방법.
4. 제 1 항에 있어서,

   상기 대응 블록은 인트라 모드로 코딩된 것을 특징으로 하는 비디오 신호 디코딩 방법.
5. 제 1 항에 있어서,

   상기 대응 블록은 움직임 보상을 수행하여 완전히 복원된 것을 특징으로 하는 비디오 신호 디코딩 방법.
6. 제 1 항에 있어서,

   상기 현재 블록은 인트라 BL 모드인 것을 특징으로 하는 비디오 신호 디코딩 방법.
7. 제 1 항에 있어서,

   상기 레이어간 예측 제한 플래그 정보는 픽처들의 타입에 의하여 분류되어 위치하는 복수의 정보들을 포함하는 것을 특징으로 하는 비디오 신호 디코딩 방법.
8. 제 1 항에 있어서,

   상기 비디오 신호는 방송 신호로 수신된 것을 특징으로 하는 비디오 신호 디코딩 방법.
9. 제 1 항에 있어서,

   상기 비디오 신호는 디지털 매체로부터 수신된 것을 특징으로 하는 비디오 신호 디코딩 방법.
10. 제 1 항에 기재된 방법을 수행하기 위한 프로그램이 기록된 컴퓨터로 읽을 수 있는 기록 매체.
11. 수신된 데이터 스트림에서 압축된 모션 벡터 스트림, 압축된 매크로 블록 정보 스트림, 베이스 레이어의 스트림을 분리하는 디먹서;

    상기 압축된 매크로 블록 정보 스트림을 원래의 비압축 상태로 복원하는 텍스처 디코딩부;

    상기 압축된 모션 벡터 스트림을 원래의 비압축 상태로 복원하는 모션 디코딩부;

    현재 블록의 디코딩을 위한 레지듀얼 정보를 획득하기 위하여 상기 베이스 레이어의 스트림을 디코딩하는 베이스 레이어 디코더;

    상기 데이터 스트림의 헤더의 레이어간 예측 제한 플래그 정보에 기초하여 압축해제된 매크로 블록 정보 스트림으로부터 대응 블록의 이미지 정보를 획득하여, 상기 이미지 정보, 모션 벡터 스트림, 및 베이스 레이어 디코더에서 제공하는 레지듀얼 정보를 이용하여 현재 블록을 디코딩하는 인핸스드 레이어 디코더를 포함하고,

    상기 레이어간 예측 제한 플래그 정보는 상기 베이스 레이어의 대응 블록의 이미지 정보를 레이어간 예측을 위하여 이용하는지 여부를 나타내는 것을 특징으로 하는 비디오 신호 디코딩 장치.
12. 입력된 비디오 영상을 제 1 방식으로 인코딩하여 현재 레이어를 인코딩하는 인핸스드 레이어 인코더;

    제 2 방식으로 인코딩하여 베이스 레이어를 인코딩하는 베이스 레이어 인코더;

    상기 인코딩된 인핸스드 레이어의 현재 블록의 정보를 압축하는 텍스처 코딩부;

    상기 인코딩된 인핸스드 레이어의 모션 벡터들을 압축하는 모션 코딩부;

    상기 텍스처 코딩부, 상기 베이스 레이어 인코더, 및 상기 모션 코딩부의 출력 데이터를 먹싱하여 출력하는 먹서를 포함하되,

    상기 인핸스드 레이어 인코더는 상기 베이스 레이어의 대응 블록의 이미지 정보를 레이어간 예측을 위하여 이용하는지 여부를 나타내는 레이어간 예측 제한 플래그 정보를 비트스트림에 설정하는 것을 특징으로 하는 비디오 신호 인코딩 장치.
13. 삭제
14. 삭제
15. 삭제

Images