KR20120083200A

KR20120083200A - 깊이 영상 부호화/복호화 장치 및 방법

Info

Publication number: KR20120083200A
Application number: KR1020110092912A
Authority: KR
Inventors: 오관정; 이재준; 박두식; 위호천
Original assignee: 삼성전자주식회사
Priority date: 2011-01-17
Filing date: 2011-09-15
Publication date: 2012-07-25
Also published as: KR20120083209A

Abstract

깊이 영상 부호화/복호화 장치 및 방법을 제안한다. 일 측면에 따른 깊이영상 부호화 장치는 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하고, 예측한 방향성을 이용해서 인트라 부호화하는 인트라 예측 모드를 인트라 후보 부호화 모드 중에 하나로 포함하고, 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 깊이영상의 특성에 맞게 정렬해서 부호화 한다.

Description

깊이 영상 부호화/복호화 장치 및 방법{Depth Map Coding/Decoding Apparatus and Method}

기술분야는 깊이 영상을 부호화하고 복호화하기 위한 장치 및 방법에 관한 것이다.

입체 영상이란 깊이 및 공간에 대한 형상 정보를 동시에 제공하는 3차원 영상을 말한다. 이때, 단순히 좌우 눈에 각각 다른 시점의 영상을 제공하는 스테레오와는 달리 관찰자가 보는 시점을 달리할 때마다 다른 방향에서 본 것과 같은 영상을 제공하기 위해서는, 여러 시점에서 촬영한 영상이 필요하다. 여러 시점에서 촬영한 영상을 이용한 응용분야는 자유시점 TV, 3차원 TV 등이 존재한다. 자유시점 TV는 동일 장면에 대해 다시점 영상을 획득 후 분석하여 사물을 바라보는 시점을 자유롭게 변경할 수 있으며, 3차원 TV의 경우 사람의 양쪽 눈에 비치는 영상을 달리함으로써 사실적인 3차원 깊이를 인지할 수 있도록 한다. 그러나 여러 시점에서 찍은 영상은 데이터량이 방대하기 때문에 압축하여 전송하려면 네트워크 인프라, 지상파 대역폭 등의 확보에 많은 어려움이 따른다.

여러 시점의 비디오를 모두 압축 전송하는 대신 깊이영상을 만들어, 여러 시점의 영상 중에서 일부 시점의 영상과 함께 압축 전송하면 압축시 발생하는 데이터량을 줄일 수 있다. 깊이영상은 칼라영상에서 물체가 시청자와 떨어져 있는 거리를 0~255의 값으로 나타낸 영상이기 때문에, 그 특징이 칼라영상과 비슷하다. 하지만, 깊이영상은 칼라영상과 달리 평탄한(flat) 특성을 가진다. 따라서, 깊이영상에 더 효과적인 부호화 방법이 필요로 하다.

일 측면에 있어서, 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하는 인트라 모드 예측부와, 상기 현재 매크로 블록을 인트라 후보 부호화 모드들 별로 인트라 부호화 하는 인트라 부호화부와, 상기 현재 매크로 블록을 인터 후보 부호화 모드들 별로 인터 부호화 하는 인터 부호화부 및 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 고려해서 상기 부호화 모드들 중에서 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 비용이 가장 작은 부호화 모드를 상기 현재 매크로 블록의 부호화 모드로 결정하는 부호화 모드 결정부를 포함하는 깊이 영상 부호화 장치가 제공되고, 이때, 상기 인트라 후보 부호화 모드들에, 상기 예측한 방향성을 이용해서 인트라 부호화하는 인트라 예측 모드가 포함된다.

이때, 상기 인트라 예측 모드는, 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고, 상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 부호화해서 복호화 장치로 전달하지 않는 모드이고, 상기 인트라 다이렉트 모드는 상기 예측한 방향성 정보를 부호화해서 상기 복호화 장치로 전달하지 않는 모드이고, 상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드일 수 있다.

이때, 상기 인트라 스킵 모드는, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 중에서 최상위 우선순위 또는 차상위의 우선순위일 수 있다.

이때, 상기 예측한 방향성은, 상기 현재 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 현재 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나일 수 있다.

이때, 상기 인트라 후보 부호화 모드들의 종류는, 매크로 블록의 사이즈의 종류, 방향성 정보의 부호화 여부 및 매크로 블록의 밝기성분에 대한 잔차신호를 존재여부 중 적어도 하나의 차이에 따라 구분될 수 있다.

이때, 상기 인터 후보 부호화 모드들은 매크로 블록 당 하나의 움직임 벡터를 참조하고, 상기 인터 후보 부호화 모드들의 종류는 매크로 블록의 사이즈의 종류, 움직임 벡터의 부호화 여부 및 잔차신호의 부호화 여부를 중에서 적어도 하나의 차이에 따라 구분될 수 있다.

이때, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위는, 상기 인트라 후보 부호화 모드들이 상기 인터 후보 부호화 모드들보다 우선순위가 높게 설정될 수 있다.

이때, 상기 인트라 후보 부호화 모드들 간의 우선순위는, 매크로　블록의 사이즈가 클 수록 우선순위가 높게 설정되고, 방향성 정보를 부호화 하지 않는 모드가 방향성 정보를 부호화 하는 모드보다 우선순위가 높게 설정되고, 잔차신호를 부호화 하지 않는 모드가 잔차신호를 부호화 하는 모드보다 우선순위가 높게 설정되고, 방향성이 있는 모드가 방향성이 없는 모드보다 우선순위가 높게 설정될 수 있다.

이때, 상기 인터 후보 부호화 모드들 간의 우선순위는, 매크로　블록의 사이즈가 클 수록 우선순위가 높게 설정되고, 움직임 벡터를 부호화 하지 않는 모드가 부호화 하는 모드보다 우선순위가 높게 설정되고, 잔차신호를 부호화 하지 않는 모드가 잔차신호를 부호화 하는 모드보다 우선순위가 높게 설정될 수 있다.

이때, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는, 기설정되거나 또는 깊이 영상을 부호화할 때 정의되어 복호화 장치로 송신될 수 있다.

이때, 상기 부호화 모드 결정부는, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 부호화 모드들이 최종 결정된 빈도에 따라 변경할 수 있다.

이때, 현재 매크로 블록은 깊이영상의 매크로 블록, 흑백영상의 매크로 블록, 평탄한 특성을 가진 칼라영상의 매크로 블록 또는 엑스레이 영상의 매크로 블록 중 하나일 수 있다.

이때, 상기 예측 블록을 이용해서 복원된 블록을 필터링하여 블록킹 현상을 제거하는 디블록킹 필터부를 더 포함하고, 상기 디블록킹 필터부는, 블록의 경계를 기준으로 양쪽의 블록 중에서 하나라도 상기 인트라 부호화 되었으면, 블록의 경계를 기준으로 양쪽 블록 모두가 상기 인터 부호화 된 경우 보다 상대적으로 강하게 필터링할 수 있다.

일 측면에 있어서, 수신한 부호화된 매크로 블록의 부호화 모드를 확인하는 부호화 모드 복원부와, 상기 부호화된 매크로 블록의 부호화 모드가 인트라 예측 모드이면 복호화한 주변의 매크로 블록들을 이용해서 상기 부호화된 매크로 블록의 방향성을 예측하는 인트라 모드 복원부 및 상기 예측한 방향성을 이용해서 예측 블록을 생성하는 인트라 복호화부를 포함하는 깊이 영상 복호화 장치가 제공된다.

이때, 상기 부호화 모드 복원부는, 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 정보를 이용해서 상기 부호화된 매크로 블록의 부호화 모드를 확인하고, 상기 인트라 예측 모드는 상기 인트라 후보 부호화 모드들에 포함될 수 있다.

이때, 상기 부호화 모드 복원부는, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 확인된 부호화 모드들의 빈도에 따라 변경할 수 있다.

이때, 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는, 기설정되거나 또는 깊이 영상을 복호화할 때 정의되어 부호화 장치로 수신될 수 있다.

이때, 상기 예측한 방향성은, 상기 부호화된 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 부호화된 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나일 수 있다.

이때, 상기 인트라 예측 모드는, 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고, 상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 부호화 장치로부터 제공받지 않는 모드이고, 상기 인트라 다이렉트 모드는 잔차신호를 상기 부호화 장치로부터 수신하고 상기 예측한 방향성 정보는 상기 부호화 장치로부터 제공받지 않는 모드이고, 상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드일 수 있다.

이때, 상기 예측 블록을 이용해서 복원된 깊이 영상을 필터링하여 블록킹 현상을 제거하는 디블록킹 필터부를 더 포함하고, 상기 디블록킹 필터부는, 블록의 경계를 기준으로 양쪽의 블록 중에서 하나라도 인트라 부호화 되었으면, 블록의 경계를 기준으로 양쪽 블록 모두가 인터 부호화 된 경우 보다 상대적으로 강하게 필터링할 수 있다.

일 측면에 있어서, 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하는 단계와, 상기 현재 매크로 블록을 인트라 후보 부호화 모드들 별로 인트라 부호화 하는 단계와, 상기 현재 매크로 블록이 P-픽처 또는 B-픽처에 대응하는 매크로 블록이면, 상기 현재 매크로 블록을 인터 후보 부호화 모드들 별로 인터 부호화 하는 단계 및 상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 고려해서 상기 부호화 모드들 중에서 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 비용이 가장 작은 부호화 모드를 상기 현재 매크로 블록의 부호화 모드로 결정하는 단계를 포함하는 깊이 영상 부호화 방법이 제공되고, 이때, 상기 인트라 후보 부호화 모드는, 상기 예측한 방향성을 이용해서 인트라 부호화하는 인트라 예측 모드를 포함한다.

일 측면에 있어서, 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 정보를 이용해서 부호화된 매크로 블록의 부호화 모드를 확인하는 단계와, 상기 부호화된 매크로 블록의 부호화 모드가 인트라 예측 모드이면 복호화한 주변의 매크로 블록들을 이용해서 상기 부호화된 매크로 블록의 방향성을 예측하는 단계 및 상기 예측한 방향성을 이용해서 예측 블록을 생성하는 단계를 포함하는 깊이 영상 복호화 방법이 제공된다.

이때, 상기 예측한 방향성은, 상기 부호화된 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 부호화된 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나일 수있다.

본 발명의 실시 예들에 따르면, 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하고, 예측한 방향성을 이용해서 인트라 부호화하고, 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 깊이영상의 특성에 맞게 정렬해서 부호화함으로써, 깊이영상에 대한 부호화 효율이 개선될 수 있다.

도 1은 다시점 영상의 부호화 구조를 도시한 도면,
도 2는 깊이영상을 부호화하는 깊이영상 부호화 장치의 구성을 도시한 도면,
도 3은 깊이영상을 복호화하는 깊이영상 복호화 장치의 구성을 도시한 도면,
도 4는 인트라 예측 모드를 위해 방향성을 예측할 때 참조하는 영역을 도시한 도면,
도 5는 깊이영상 부호화 장치에서 부호화 모드를 결정하는 과정을 도시한 흐름도,
도 6은 깊이영상 복호화 장치에서 복호화를 위해 예측블록을 생성하는 과정을 도시한 흐름도 및,
도 7은 깊이영상 부호화 장치 또는 깊이영상 복호화 장치에서 디블럭킹을 위한 필터링 강도를 설정하는 과정을 도시한 흐름도이다.

이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.

본 발명의 실시 예들은, 깊이 영상을 부호화하고 복호화하기 위한 장치 및 방법에 관한 것으로서, 상세한 설명에 앞서 부호화하는 깊이 영상의 부호화 구조 및 부호화 모드에 관해서 먼저 확인하고자 한다.

도 1은 다시점 영상의 부호화 구조를 도시한 도면이다.

도 1을 참조하면, 깊이 영상은 다시점 영상의 부호화 구조로 구성될 수 있다. 다시점 영상의 부호화 구조는 일반적으로 인접 시점간의 참조만을 이용하여 부호화 하는 anchor frame과 시간 방향의 참조와 시점 방향의 참조를 모두 이용하는 non-anchor frame으로 구성된다. anchor frame은 random access를 위해 필요하며 시점간 예측만을 이용하여 부호화하기 때문에 기존의 단일 시점 압축과 가장 큰 특성의 차이를 보이는 부분이다. 도 1의 다시점 영상의 부호화 구조는 세개의 시점 영상을 입력(Left View, Center View, Right View) 받았을 때 GOP(Group of Picture) '8'로 부호화하는 MVC(Multiview Video Coding) 구조를 나타낸다.

다시점(Multi-view) 영상을 압축할 때는 기본적으로 시간(Temporal)축과 시점(View)축으로 계층적 B 픽처(Hierarchical B Picture) 개념을 적용하기 때문에 영상간의 많은 중복성(Redundancy)를 줄일 수 있다. 현재 도 1의 MVC 구조는 세 개의 시점 영상을 압축할 때 Left 영상을 압축한 뒤 Right 영상과 Center 영상을 차례대로 압축한다. 이 때, Left 영상은 기존의 2D 영상을 압축할 때와 같이 움직임 탐색(Motion Estimation)을 하여 이전 영상들로부터 비슷한 영역을 찾아 시간적 중복성(Temporal Redundancy)을 제거하면서 부호화된다. 하지만 Right 영상이 압축될 때에는 이미 압축된 Left 영상을 참조영상으로 이용할 수 있기 때문에 움직임 탐색을 통한 시간적 중복성뿐만 아니라 변이 탐색(Disparity Estimation)을 통하여 시점간의 중복성(View Redundancy)도 제거하면서 부호화된다. Center 영상의 경우에는 Left와 Right 영상을 참조영상으로 모두 이용할 수 있기 때문에 양방향으로 변이 탐색을 하여 시점간의 중복성을 제거할 수 있다.

도 1에서 Left 영상처럼 다른 시점으로부터의 예측 없이 부호화되는 시점을 I-View(Intra View), Right 영상처럼 다른 시점의 영상으로부터 단방향으로 예측하면서 부호화하는 시점을 P-View(Predictive View), Center 영상처럼 좌우 시점의 영상들로부터 양방향 예측하면서 부호화하는 시점을 B-View(Interpolative View)로 MVC에서는 일반적으로 정의한다.

그리고, 각각의 영상(picture)은 부호화 타입(coding type)에 따라 I-픽처(intra picture), P-픽처(predictive picture), B-픽처(interpolative picture)로 나뉘어진다. 이때, I-픽처는 영상간 예측없이 영상 자체를 부호화하고, P-픽처은 순방향으로만 참조영상을 이용해서 영상간 예측하여 예측값과의 차이를 부호화하며, B-픽처는 순방향과 역방향 양측으로 참조영상을 이용해서 영상간 예측하여 부호화한다.

기존의 H.264/AVC는 각 매크로블록을 부호화 할 때 다양한 매크로 블록 모드를 이용하는데 이 중 최적의 매크로 블록 모드를 선택하여 부호화하고 모드 타입에 대한 정보를 각 매크로블록마다 부호화하여 보낸다. 이때 매크로블록의 모드 정보에 이용되는 비트를 최소화하기 위해 자주 발생되고 부호화 할 비트가 적은 모드부터 우선 순위를 두어 매크로블록을 부호화 한다. <표 1>, <표 2> 및 <표 3> 각각 H.264/AVC에서 I 픽처, P 픽처, B 픽처의 frame 부호화시에 이용되는 다양한 매크로블록 형태에 대한 표이다.

[표 1]

[표 2]

[표 3]

하지만, <표 1>, <표 2> 및 <표 3>에 나와 있는 매크로블록 모드들은 컬러영상의 관점에서 디자인되어 깊이 영상에서는 효과적이지 못하다. 매크로블록 모드 중 비트를 가장 효과적으로 줄일 수 있는 SKIP 모드(매크로블록 모드 정보와 잔차성분이 부호화 되지 않음)의 경우 칼라영상에 비해 깊이영상의 발생 확률이 낮은 특성을 갖는다.

이는 기존의 SKIP 모드(이후, 인터 SKIP 모드라 한다.)는 인접 매크로블록의 움직임 벡터로부터 미디언 움직임 벡터값을 기반으로 예측을 하는데 깊이영상의 경우 texture가 많이 존재하지 않는 평탄(flat)한 특성이 주를 이루기 때문에 인터 SKIP 모드는 효과적이지 못하다.

또한, 깊이영상은 현재 4:2:0 yuv 형태로 흔히 제공되는데 이 경우 색차신호의 값은 128로 모두 정해져 색차 성분에 대한 잔차(residual)가 발생하지 않는다. 따라서, 기존의 H.264/AVC의 모드에서 색차의 잔차를 갖는 매크로블록 모드는 효과적이지 못하다.

또한 기존의 H.264/AVC의 모드에서 움직임 벡터를 기반으로 하는 부호화 방식은 깊이영상에서 일부 texture가 존재하는 영역을 제외하고는 효과적이지 못하다. 그리고, 기존의 H.264/AVC의 B 픽처 프레임에 이용되는 Bi-prediction(양방향 예측)의 경우도 깊이영상에서는 제 성능을 발휘하지 못한다. 때문에 기존의 색상영상의 관점에서 디자인된 매크로블록의 모드들은 깊이영상에서는 상당부분 비효율적이다. 불필요하게 많은 매크로블록 모드의 수는 매크로블록 정보의 부호화에 사용되는 비트를 증가시켜 부호화 측면에서 비효율적이다. 또한 각 모드들에 대한 예측 방법 및 매크로블록간 우선순위도 색상 영상 관점에서 디자인되어 비효율적이다.

이러한 문제점을 극복하기 위해 본 발명의 실시예에서 인트라 기반의 예측방법인 인트라 예측 방법을 제안하고, 인트라 예측 방법을 I 픽처, P 픽처, B 픽처의 프레임에 공통적으로 적용하고자 한다. 인트라 예측 방법은 인트라 SKIP 모드와 인트라 Direct 모드를 포함할 수 있다. 인트라 SKIP 모드와 인트라 Direct 모드의 설명은 이후 도 2의 설명에서 후술하고자 한다.

그리고, 깊이영상 부호화시 불필요한 매크로블록 모드를 삭제하고 깊이영상에 적합하도록 매크로블록의 우선순위를 변경할 수 있다.

깊이영상 부호화 시 매크로블록 모드의 우선순위를 변경하고자 하는 경우 고려해야 할 몇 가지 사항들을 살펴보고자 한다.

첫째로, 깊이영상은 현재 4:2:0 yuv 형태로 흔히 제공되는데 이 경우 색차신호의 값은 128로 모두 정해져 색차 성분에 대한 residual은 발생하지 않는다. 때문에 Intra 16x16 모드 중 색차성분에 대한 cbp가 0이 아닌 경우에 대한 모드 타입인 5~12, 17~24번은 무의미하다. 때문에 이러한 모드들을 제거하는 것이 바람직하다. I_16x16_a_b_c의 형태에서 a는 Intra 16x16의 방향성을 b는 색차성분에 대한 cbp를 c는 밝기 성분에 대한 cbp 정보를 나타낸다.

둘째로, 깊이영상의 경우 복잡한 영역이 Inter 16x8, 8x16, 8x8으로 부호화 되기보다는 Intra4x4로 부호화되는 경우가 많다. 또한 깊이영상은 색상영상과 비교하면 B화면이나 P화면에서 인트라의 발생 빈도가 높은 편이다. 정리하면 다양한 매크로블록 모드에 대한 우선순위에 대한 실시예는 SKIP >　Direct >　Inter16x16 >　Intra NxN >　Inter 8x16 >　Inter 16x16 >　Inter P8x8 >　Intra16x16 정도가 될 수 있다. 이 경우 SKIP과 Direct 모드는 제안하는 인트라 모드로 대체된 경우에 대한 실시예이다.

I 픽처, P 픽처, B 픽처 프레임에 대해 새롭게 정의한 매크로블록 모드와 그 우선 순위에 대한 실시예는 아래 <표 4>, <표 5> 및 <표 6>와 같이 구성될 수 있다.

[표 4]

[표 5]

[표 6]

상술한 인트라 예측 모드와 우선순위의 재정렬 등의 내용은 깊이영상의 특성에 맞게 최적화되어 있다. 그러나 인트라 예측 모드의 인트라 SKIP 모드나 인트라 Direct 모드는 non-anchor 프레임의 부호화에서는 비효율적일 수 있다. 이는 기존의 SKIP 방법인 인터 SKIP 모드가 non-anchor에서는 안정적인 성능을 보이기 때문이다. 따라서 anchor와 non-anchor에 대한 SKIP 및 direct 모드의 효과적인 적용을 위해서

anchor와 non-anchor에서 인트라 SKIP 모드와 인터 SKIP 모드의 효율을 먼저 확인하고자 한다. 일반적으로 anchor에서는 인트라 SKIP이 효과적이고 non-anchor에서는 인터 SKIP 방법이 더 효과적이다. 때문에 이를 모두 혼용하여 상용하려면 보다 효과적인 예측 방법을 SKIP에 이용하고, 다른 예측 방법을 Direct 모드에 이용하도록 할 수도 있다.

일 실시예로 anchor 프레임의 코딩에서는 인트라 SKIP 모드를 최상위의 우선순위에 위치시키고 인터 SKIP 모드를 차상위에 우선순위 위치에 위치시킬 수 있다. 반대로 non-anchor에서는 인터 SKIP 모드를 최상위의 우선순위에 위치시키고, 인트라 SKIP 모드를 차상위의 우선순위에 위치시킬 수 있다.

이 외에도 다양한 조합으로 우선순위를 재정렬할 수 있다. 또한 SKIP 모드나 다른 모드 정보 뒤에 flag bit를 정의하여 인터 스킵 모드와 인트라 스킵 모드를 구분할 수도 있다.

도 2는 깊이영상을 부호화하는 깊이영상 부호화 장치의 구성을 도시한 도면이다.

도 2를 참조하면, 깊이영상 부호화 장치는 인트라모드 예측부(210), 인트라 부호화부(212), 움직임 예측부(214), 인터 부호화부(216), 부호화 모드 결정부(218), 예측블록 생성부(220), 차분부(222), 변환 및 양자화부(224), 엔트로피 부호화부(226), 역변환 및 역양자화부(228), 결합부(230) 및 디블록킹 필터부(232)를 포함한다.

인트라모드 예측부(210)는 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측한다. 이때, 예측한 방향성은 현재 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 현재 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 현재 매크로 블록의 상기 위쪽 경계화소와 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 현재 매크로 블록의 위쪽 경계화소와 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나가 될 수 있다.

인트라 부호화부(212)는 현재 매크로 블록을 인트라 후보 부호화 모드들 별로 인트라 부호화한다.

인트라 후보 부호화 모드에는 예측한 방향성을 이용해서 인트라 부호화하는 인트라 예측 모드가 포함된다. 인트라 예측 모드는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함할 수 있다. 인트라 스킵 모드는 예측한 방향성 정보와 잔치신호를 복호화 장치로 전달하지 않는 모드이고, 인트라 다이렉트 모드는 상기 예측한 방향성 정보를 상기 복호화 장치로 전달하지 않는 모드이고, 상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드이다.

그리고, 인트라 스킵 모드는 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 중에서 최상위 우선순위 또는 차상위의 우선순위이다.

인트라 후보 부호화 모드들의 종류는 매크로 블록의 사이즈의 종류, 방향성 정보의 부호화 여부 및 매크로 블록의 밝기성분에 대한 잔차신호를 존재여부 중 적어도 하나의 차이에 따라 구분될 수 있다.

움직임 예측부(214)는 부호화하려는 현재 매크로 블록과 이전에 입력된 매크로 블록을 이용하여 움직임 벡터를 추정한다.

인터 부호화부(216)는 현재 매크로 블록을 움직임 예측부(214)를 통해 추정된 움직임 벡터에 기초해서 인터 후보 부호화 모드들 별로 인터 부호화한다.

이때, 인터 후보 부호화 모드들은 매크로 블록 당 하나의 움직임 벡터를 참조해서 부호화한다. 그리고, 인터 후보 부호화 모드들의 종류는 매크로 블록의 사이즈의 종류 및 잔차신호의 부호화 여부를 고려해서 구분될 수 있다. 이때 매크로블록은 부호화 되는 최대 크기의 블록을 의미하며 16x16 보다 더 클수도 있다.

부호화 모드 결정부(218)는 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 고려해서 상기 부호화 모드들 중에서 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 비용이 가장 작은 부호화 모드를 상기 현재 매크로 블록의 부호화 모드로 결정한다.

인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위는 상기 인트라 후보 부호화 모드들이 상기 인터 후보 부호화 모드들보다 우선순위가 높게 설정된다.

그리고, 인트라 후보 부호화 모드들 간의 우선순위는 매크로　블록의 사이즈가 클 수록 우선순위가 높게 설정되고, 방향성 정보를 부호화 하지 않는 모드가 방향성 정보를 부호화 하는 모드보다 우선순위가 높게 설정되고, 잔차신호를 부호화 하지 않는 모드가 잔차신호를 부호화 하는 모드보다 우선순위가 높게 설정되고, 방향성이 있는 모드가 방향성이 없는 모드보다 우선순위가 높게 설정된다.

인터 후보 부호화 모드들 간의 우선순위는 매크로　블록의 사이즈가 클 수록 우선순위가 높게 설정되고, 움직임 벡터를 부호화 하지 않는 모드가 부호화 하는 모드보다 우선순위가 높게 설정되고, 잔차신호를 부호화 하지 않는 모드가 잔차신호를 부호화 하는 모드보다 우선순위가 높게 설정된다.

한편, 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는 기설정되거나 또는 깊이 영상을 부호화할 때 정의되어 복호화 장치로 송신될 수 있다.

부호화 모드 결정부(218)는 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 부호화 모드들이 최종 결정된 빈도에 따라 변경하도록 할 수도 있다.

예측블록 생성부(220)는 부호화 모드 결정부(218)에서 결정한 부호화 모드를 이용해서 예측블록을 생성한다.

차분부(222)는 현재 매크로 블록에서 예측블록을 감산하여 차분(Residual) 신호를 매크로 블록 단위로 생성한다.

변환 및 양자화부(224)는 차분부(222)에서 생성된 차분 신호를 변환 방식을 이용하여 변환하고, 변환된 차분 신호를 양자화하여 양자화된 변환계수를 생성한다. 변환 방식의 예로는, 이산 코사인 변환(DCT: Discrete cosine transform)이 있다.

엔트로피 부호화부(226)는 양자화된 변환계수, 움직임 벡터 등의 부호화 정보를 엔트로피 부호화하여 비트스트림을 생성한다. 생성되는 비트스트림은 압축된 깊이 영상이다.

역변환 및 역양자화부(228)는 변환 및 양자화부(224)에서 양자화된 차분 신호를 다음에 부호화되는 프레임의 예측에 이용하기 위해 역양자화하고, 역이산 코사인 변환하여 부호화 이전의 차분 신호로 복원한다.

결합부(230)는 복원된 차분 신호와 예측블록 생성부(220)에서 생성된 예측블록을 가산하여 부호화 이전의 현재 매크로 블록을 복원한다.

디블록킹 필터부(232)는 복원된 블록 또는 복원된 깊이 영상을 필터링하여 블록킹 현상을 제거한다. 디블록킹 필터부(232)는 블록의 경계를 기준으로 양쪽의 블록 중에서 하나라도 인트라 부호화 되었으면, 블록의 경계를 기준으로 양쪽 블록 모두가 인터 부호화 된 경우 보다 상대적으로 강하게 필터링 한다. 이때, 인트라 부호화는 인트라 예측 모드를 포함하고, 인트라 예측 모드는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중 적어도 하나를 포함한다. 디블록킹 필터부(232)는 필터링의 강도를 이후 도 7과 같이 설정할 수도 있다.

도 3은 깊이영상을 복호화하는 깊이영상 복호화 장치의 구성을 도시한 도면이다.

도 3을 참조하면, 깊이영상 복호화 장치는 엔트로피 복호화부(310), 부호화 모드 복원부(312), 움직임 복원부(314), 인터 복호화부(316), 인트라 모드 복원부(318), 인트라 복호화부(320), 역변환 및 역양자화부(322), 결합부(324) 및 디블록킹 필터부(326)를 포함한다.

엔트로피 복호화부(310)는 입력되는 압축 비트스트림을 엔트로피 복호화하여 차영상의 양자화된 계수값, 움직임 벡터 등의 부호화 정보를 추출할 수 있다.

부호화 모드 복원부(312)는 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 정보를 이용해서 부호화된 매크로 블록의 부호화 모드를 확인한다.

부호화 모드 복원부(312)는 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 확인된 부호화 모드들의 빈도에 따라 변경할 수 있다.

또한, 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는 기설정되거나 또는 깊이 영상을 복호화할 때 정의되어 부호화 장치로 수신될 수도 있다.

움직임 복원부(314)는 엔트로피 복호화부(310)에서 부호화 정보에서 움직임 벡터를 확인한다.

인터 복호화부(316)는 움직임 복원부(314)에서 확인한 움직임 벡터를 이용해서 인터 복호화하여 예측블록을 생성한다.

인트라 모드 복원부(318)는 부호화된 매크로 블록의 부호화 모드가 인트라 예측 모드이면 복호화한 주변의 매크로 블록들을 이용해서 상기 부호화된 매크로 블록의 방향성을 예측한다. 이때, 예측한 방향성은 부호화된 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 부호화된 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 부호화된 매크로 블록의 위쪽 경계화소와 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나이다.

인트라 모드 복원부(318)는 부호화된 매크로 블록의 부호화 모드가 인트라 후보 부호화 모드들 중 하나이면, 수신한 비트 스트림에 포함된 방향성 정보를 확인한다.

인트라 복호화부(320)는 인트라 모드 복원부(318)에서 예측한 방향성 또는 확인한 방향성 정보를 이용해서 예측 블록을 생성한다.

역변환 및 역양자화부(322)는 추출된 양자화 계수값을 매크로블록 단위로 역양자화하여 역변환에 대응하는 차분 신호의 계수값을 생성한다. 역변환 및 역양자화부(322)는 생성된 차영상의 계수값을 이산 코사인 역변환(IDCT: Invert Discrete cosine transform)하여 차분 신호를 획득할 수 있다. 이로써, 압축 비트스트림은 복호화되어 깊이 영상으로 임시 복원된다.

결합부(324)는 차분 신호와 예측 블록을 더하여 깊이 영상을 복원한다. 차분 신호는 역변환 및 역양자화부(322)로부터 결합부(324)로 입력되며, 예측 블록은 인터 복호화부(316) 또는 인트라 복호화부(320)로부터 결합부(324)로 입력된다.

디블록킹 필터부(326)는 결합부(324)에서 복원된 깊이 영상을 필터링하여 블록킹 현상을 제거한다. 디블록킹 필터부(326)는 블록의 경계를 기준으로 양쪽의 블록 중에서 하나라도 인트라 부호화 되었으면, 블록의 경계를 기준으로 양쪽 블록 모두가 인터 부호화 된 경우 보다 상대적으로 강하게 필터링 한다. 이때, 인트라 부호화는 인트라 예측 모드를 포함하고, 인트라 예측 모드는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중 적어도 하나를 포함한다. 디블록킹 필터부(326)는 필터링의 강도를 이후 도 7과 같이 설정할 수도 있다.

부호화 장치의 인트라 모드 예측부(210)와 복호화 장치의 인트라 모드 복원부(318)은 방향성의 예측을 아래 도 4와 같은 방법으로 예측할 수 있다.

도 4는 인트라 예측 모드를 위해 방향성을 예측할 때 참조하는 영역을 도시한 도면이다.

도 4를 참조하면, 인트라 모드 예측부(210)와 인트라 모드 복원부(318)은 아래 <수학식 1>과 같이 현재 매크로블록(410)과 인접한 윗 블록(420)의 경계값과 왼쪽 블록(430)의 경계값의 복잡도를 비교하여 보다 복잡한 경계의 방향성을 따르는 방법을 취한다.

[수학식 1]

여기서, A_SSE는 윗 블록의 경계값의 복잡도 이고, L_SSE는 왼쪽 블록의 경계값의 복잡도 이다.

<수학식 1>은 현재 매크로블록에 대한 방향성을 예측하기 위한 하나의 실시예로 예측한 방향성은 이 방법 외에도 이미 부호화 된 인접 시점의 깊이영상을 이용하거나 색상 정보를 이용하는 방법을 통해서도　예측이 가능하다. 또한 방향성의 예측 방법에는 인접 블록의 경계화소가 아닌 모드 정보나 움직임 정보 혹은 인접 블록의 edge 성분의 분석을 통해서도 예측이 가능하다. 또한 방향성 정보 획득을 위한 수식도 differnece의 제곱합이 아닌 단순합이나 분산 등 다양한 difference들을 사용할 수 있다.　

실시예에 따라 제안하는 부호화 장치와 복호화 장치는 깊이영상을 부호화하고 복호화 하는데 최적화되었다. 하지만 부호화 장치와 복호화 장치는 깊이영상에 한정되지 않으며 깊이영상 뿐 아니라, 흑백영상, 엑스레이 영상과 같은 의료영상 및 평탄한 특성을 가지는 칼라영상에도 적용 가능하다.

이하, 상기와 같이 구성된 본 발명에 따른 깊이영상 부호화/복호화 장치에서 인트라 예측 모드를 이용해서 깊이영상을 부호화하고 복호화하기 위한 방법을 아래에서 도면을 참조하여 설명한다.

도 5는 깊이영상 부호화 장치에서 부호화 모드를 결정하는 과정을 도시한 흐름도이다.

도 5를 참조하면, 부호화 장치는 510단계에서 부호화할 깊이영상의 매크로 블록을 수신한다.

그리고, 부호화 장치는 512단계에서 인트라 예측 모드를 위해 부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하고, 인트라 예측 모드를 제외한 나머지 인트라 후보 부호화 모드를 위해 RDO 관점에서 방향성을 결정한다.

그리고, 부호화 장치는 514단계에서 현재 매크로 블록을 인트라 후보 부호화 모드들 별로 인트라 부호화한다.

이때, 인트라 후보 부호화 모드는 인트라 예측 모드를 포함하고 인트라 예측 모드는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함할 수 있다. 인트라 스킵 모드는 예측한 방향성 정보와 잔치신호를 부호화해서 복호화 장치로 전달하지 않는 모드이고, 인트라 다이렉트 모드는 상기 예측한 방향성 정보를 부호화해서 상기 복호화 장치로 전달하지 않는 모드이고, 상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드이다.

그리고, 인트라 스킵 모드는 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 중에서 최상위 우선순위 또는 차상위의 우선순위이다. 인트라 후보 부호화 모드들의 종류는 매크로 블록의 사이즈의 종류, 방향성 정보의 부호화 여부 및 매크로 블록의 밝기성분에 대한 잔차신호를 존재여부 중 적어도 하나의 차이에 따라 구분될 수 있다.

한편, 부호화 장치는 516단계에서 현재 매크로 블록이 P-픽처 또는 B-픽처에 대응하는 매크로 블록인지 확인한다.

516단계의 확인결과 현재 매크로 블록이 P-픽처 또는 B-픽처에 대응하는 매크로 블록이 아니면, 부호화 장치는 520단계로 진행한다.

516단계의 확인결과 현재 매크로 블록이 P-픽처 또는 B-픽처에 대응하는 매크로 블록이면, 부호화 장치는 518단계에서 현재 매크로 블록을 인터 후보 부호화 모드들 별로 인터 부호화한다.

그리고, 부호화 장치는 520단계에서 인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 고려해서 부호화 모드들 중에서 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 비용이 가장 작은 부호화 모드를 현재 매크로 블록의 부호화 모드로 결정한다.

도 6은 깊이영상 복호화 장치에서 복호화를 위해 예측블록을 생성하는 과정을 도시한 흐름도이다.

도 6을 참조하면, 복호화 장치는 610단계에서 부호화된 매크로 블록을 수신하면, 612단계에서 부호화된 매크로 블록에 포함된 부호화 정보를 확인해서 부호화 모드를 확인한다.

그리고, 복호화 장치는 614단계에서 부호화된 매크로 블록의 부호화 모드가 인트라 모드인지 확인한다.

614단계의 확인결과 부호화 모드가 인트라 모드가 아니면, 복호화 장치는 616단계에서 인터 모드에 따른 예측블록을 생성한다.

614단계의 확인결과 부호화 모드가 인트라 모드이면, 복호화 장치는 618단계에서 부호화 모드가 인트라 예측 모드인지 확인한다.

618단계의 확인결과 부호화 모드가 인트라 예측 모드이면, 복호화 장치는 620단계에서 복호화한 주변의 매크로 블록들을 이용해서 부호화된 매크로 블록의 방향성을 예측한다. 그리고, 복호화 장치는 622단계에서 예측한 방향성을 이용해서 예측 블록을 생성한다.

618단계의 확인결과 부호화 모드가 인트라 예측 모드가 아니면, 즉, 부호화된 매크로 블록의 부호화 모드가 인트라 후보 부호화 모드들 중 하나이면 복호화 장치는 624단계에서 부호화 정보에 포함된 방향성 정보를 확인한다. 그리고, 복호화 장치는 626단계에서 확인한 방향성 정보를 이용해서 예측 블록을 생성한다.

도 7은 깊이영상 부호화 장치 또는 깊이영상 복호화 장치에서 디블럭킹을 위한 필터링 강도를 설정하는 과정을 도시한 흐름도이다.

도 7을 참조하면, 깊이영상 부호화 장치 또는 깊이영상 복호화 장치의 디블럭킹 필터링부는 710단계에서 경계를 기준으로 양쪽블록들 중 하나라도 인트라 부호화되었는지 여부를 확인한다. 이때, 인트라 부호화는 인트라 예측 모드를 포함하고, 인트라 예측 모드는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중 적어도 하나를 포함한다.

710단계의 확인결과 경계를 기준으로 양쪽블록들 중 하나라도 인트라 부호화되었으면, 디블럭킹 필터링부는 720단계에서 양쪽 블록 사이의 경계가 매크로 블록의 에지인지 여부를 확인한다.

720단계의 확인결과 경계가 매크로 블록의 에지이면, 디블럭킹 필터링부는 722단계에서 필터링 강도(BS; boundary strength)를 4로 설정한다. 이때, BS는 0에서 4까지의 값으로 설정할 수 있으며, 이중에서 0은 필터링을 하지 않는 것이고, 4는 가장 강한 필터링 강도를 나타낸다.

720단계의 확인결과 경계가 매크로 블록의 에지가 아니면, 디블럭킹 필터링부는 724단계에서 BS를 3으로 설정한다.

710단계의 확인결과 경계를 기준으로 양쪽 블록들 모두 인터 부호화되었으면, 디블럭킹 필터링부는 730단계에서 경계를 기준으로 양쪽 블록들 중 하나라도 잔여 데이터가 존재하는지 확인한다.

730단계의 확인결과 잔여 데이터를 가진 블록이 존재하면, 디블럭킹 필터링부는 732단계에서 BS를 2로 설정한다.

730단계의 확인결과 잔여 데이터를 가진 블록이 존재하지 않으면, 디블럭킹 필터링부는 740단계에서 양쪽 블록들의 움직임 차이가 기준값 이상이거나 양쪽 블록들이 서로 다른 프레임을 참조했는지 여부를 확인한다.

740단계의 확인결과 양쪽 블록들이 움직임 차이가 기준값 이상이거나 양쪽 블록들이 서로 다른 프레임을 참조한 경우, 디블럭킹 필터링부는 742단계에서 BS를 1로 설정한다.

740단계의 확인결과 양쪽 블록들이 움직임 차이가 기준값 보다 작고 양쪽 블록들이 모두 같은 프레임을 참조한 경우, 디블럭킹 필터링부는 744단계에서 BS를 0로 설정한다.

도 7을 살펴보면 인트라 부호화의 경우 필터링 강도 설정은 722단계 또는 724단계 중 하나로 결정되고, 인터 부호화의 경우 필터링 강도 설정은 732단계, 742단계 또는 744단계 중 하나로 결정된다. 결정된 필터링 강도의 설정값을 비교해 보면, 인트라 부호화의 경우가 인터 부호화의 경우보다 상대적으로 더 강하게 필터링 됨을 확인할 수 있다. 따라서, 제안하는 인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중 적어도 하나를 포함하는 인트라 예측 모드는 인트라 부호화에 속함으로 인터 부호화에 비해 상대적으로 더 강한게 필터링 된다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하는 인트라 모드 예측부;
상기 현재 매크로 블록을 인트라 후보 부호화 모드들 별로 인트라 부호화 하는 인트라 부호화부;
상기 현재 매크로 블록을 인터 후보 부호화 모드들 별로 인터 부호화 하는 인터 부호화부; 및
상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 고려해서 상기 부호화 모드들 중에서 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 비용이 가장 작은 부호화 모드를 상기 현재 매크로 블록의 부호화 모드로 결정하는 부호화 모드 결정부를 포함하고,
상기 인트라 후보 부호화 모드들에,
상기 예측한 방향성을 이용해서 인트라 부호화하는 인트라 예측 모드가 포함되는
깊이 영상 부호화 장치.
제1항에 있어서,
상기 인트라 예측 모드는,
인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고,
상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 복호화 장치로 전달하지 않는 모드이고,
상기 인트라 다이렉트 모드는 상기 예측한 방향성 정보를 상기 복호화 장치로 전달하지 않는 모드이고,
상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드인,
깊이 영상 부호화 장치.
제2항에 있어서,
상기 인트라 스킵 모드는,
상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 중에서 최상위 우선순위 또는 차상위의 우선순위인
깊이 영상 부호화 장치.
제1항에 있어서,
상기 예측한 방향성은,
상기 현재 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 현재 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나인
깊이 영상 부호화 장치.
제1항에 있어서,
상기 인트라 후보 부호화 모드들의 종류는,
매크로 블록의 사이즈의 종류, 방향성 정보의 부호화 여부 및 매크로 블록의 밝기성분에 대한 잔차신호를 존재여부 중 적어도 하나의 차이에 따라 구분되는
깊이 영상 부호화 장치.
제1항에 있어서,
상기 인터 후보 부호화 모드들은 매크로 블록 당 하나의 움직임 벡터를 참조하고,
상기 인터 후보 부호화 모드들의 종류는 매크로 블록의 사이즈의 종류, 움직임 벡터의 부호화 여부 및 잔차신호의 부호화 여부를 중에서 적어도 하나의 차이에 따라 구분되는
깊이 영상 부호화 장치.
제1항에 있어서,
상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위는,
상기 인트라 후보 부호화 모드들이 상기 인터 후보 부호화 모드들보다 우선순위가 높게 설정되는,
깊이 영상 부호화 장치.
제1항에 있어서,
상기 인트라 후보 부호화 모드들 간의 우선순위는,
매크로　블록의 사이즈가 클 수록 우선순위가 높게 설정되고,
방향성 정보를 부호화 하지 않는 모드가 방향성 정보를 부호화 하는 모드보다 우선순위가 높게 설정되고,
잔차신호를 부호화 하지 않는 모드가 잔차신호를 부호화 하는 모드보다 우선순위가 높게 설정되고,
방향성이 있는 모드가 방향성이 없는 모드보다 우선순위가 높게 설정되는
깊이 영상 부호화 장치.
제1항에 있어서,
상기 인터 후보 부호화 모드들 간의 우선순위는,
매크로　블록의 사이즈가 클 수록 우선순위가 높게 설정되고,
움직임 벡터를 부호화 하지 않는 모드가 부호화 하는 모드보다 우선순위가 높게 설정되고,
잔차신호를 부호화 하지 않는 모드가 잔차신호를 부호화 하는 모드보다 우선순위가 높게 설정되는
깊이 영상 부호화 장치.
제1항에 있어서,
상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는,
기설정되거나 또는 깊이 영상을 부호화할 때 정의되어 복호화 장치로 송신되는
깊이 영상 부호화 장치.
제1항에 있어서,
상기 부호화 모드 결정부는,
상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 부호화 모드들이 최종 결정된 빈도에 따라 변경하는,
깊이 영상 부호화 장치.
제1항에 있어서,
상기 현재 매크로 블록은,
깊이영상의 매크로 블록, 흑백영상의 매크로 블록, 평탄한 특성을 가진 칼라영상의 매크로 블록 또는 엑스레이 영상의 매크로 블록 중 하나인
깊이 영상 부호화 장치.
제1항에 있어서,
상기 예측 블록을 이용해서 복원된 블록을 필터링하여 블록킹 현상을 제거하는 디블록킹 필터부를 더 포함하고,
상기 디블록킹 필터부는,
블록의 경계를 기준으로 양쪽의 블록 중에서 하나라도 상기 인트라 부호화 되었으면, 블록의 경계를 기준으로 양쪽 블록 모두가 상기 인터 부호화 된 경우 보다 상대적으로 강하게 필터링하는
깊이 영상 부호화 장치.
수신한 부호화된 매크로 블록의 부호화 모드를 확인하는 부호화 모드 복원부;
상기 부호화된 매크로 블록의 부호화 모드가 인트라 예측 모드이면 복호화한 주변의 매크로 블록들을 이용해서 상기 부호화된 매크로 블록의 방향성을 예측하는 인트라 모드 복원부; 및
상기 예측한 방향성을 이용해서 예측 블록을 생성하는 인트라 복호화부를 포함하는
깊이 영상 복호화 장치.
제14항에 있어서,
상기 부호화 모드 복원부는,
인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 정보를 이용해서 상기 부호화된 매크로 블록의 부호화 모드를 확인하고,
상기 인트라 예측 모드는 상기 인트라 후보 부호화 모드들에 포함되는
깊이 영상 복호화 장치.
제15항에 있어서,
상기 부호화 모드 복원부는,
상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 확인된 부호화 모드들의 빈도에 따라 변경하는,
깊이 영상 복호화 장치.
제15항에 있어서,
상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는,
기설정되거나 또는 깊이 영상을 복호화할 때 정의되어 부호화 장치로 수신되는
깊이 영상 복호화 장치.
제14항에 있어서,
상기 예측한 방향성은,
상기 부호화된 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 부호화된 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나인
깊이 영상 복호화 장치.
제14항에 있어서,
상기 인트라 예측 모드는,
인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고,
상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 부호화 장치로부터 제공받지 않는 모드이고,
상기 인트라 다이렉트 모드는 잔차신호를 상기 부호화 장치로부터 수신하고 상기 예측한 방향성 정보는 상기 부호화 장치로부터 제공받지 않는 모드이고,
상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드인,
깊이 영상 복호화 장치.
제14항에 있어서,
상기 예측 블록을 이용해서 복원된 깊이 영상을 필터링하여 블록킹 현상을 제거하는 디블록킹 필터부를 더 포함하고,
상기 디블록킹 필터부는,
블록의 경계를 기준으로 양쪽의 블록 중에서 하나라도 인트라 부호화 되었으면, 블록의 경계를 기준으로 양쪽 블록 모두가 인터 부호화 된 경우 보다 상대적으로 강하게 필터링하는
깊이 영상 복호화 장치.
부호화된 주변의 매크로 블록들을 이용해서 현재 매크로 블록의 방향성을 예측하는 단계;
상기 현재 매크로 블록을 인트라 후보 부호화 모드들 별로 인트라 부호화 하는 단계;
상기 현재 매크로 블록이 P-픽처 또는 B-픽처에 대응하는 매크로 블록이면, 상기 현재 매크로 블록을 인터 후보 부호화 모드들 별로 인터 부호화 하는 단계; 및
상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위를 고려해서 상기 부호화 모드들 중에서 율-왜곡 최적화(RDO: Rate-Distortion Optimization) 비용이 가장 작은 부호화 모드를 상기 현재 매크로 블록의 부호화 모드로 결정하는 단계를 포함하고,
상기 인트라 후보 부호화 모드는,
상기 예측한 방향성을 이용해서 인트라 부호화하는 인트라 예측 모드를 포함하는
깊이 영상 부호화 방법.
제21항에 있어서,
상기 인트라 예측 모드는,
인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고,
상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 부호화해서 복호화 장치로 전달하지 않는 모드이고,
상기 인트라 다이렉트 모드는 상기 예측한 방향성 정보를 부호화해서 상기 복호화 장치로 전달하지 않는 모드이고,
상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드인,
깊이 영상 부호화 방법.
제22항에 있어서,
상기 인트라 스킵 모드는,
상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 중에서 최상위 우선순위 또는 차상위의 우선순위인
깊이 영상 부호화 방법.
제21항에 있어서,
상기 예측한 방향성은,
상기 현재 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 현재 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 현재 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나인
깊이 영상 부호화 방법.
인트라 후보 부호화 모드들과 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위 정보를 이용해서 부호화된 매크로 블록의 부호화 모드를 확인하는 단계;
상기 부호화된 매크로 블록의 부호화 모드가 인트라 예측 모드이면 복호화한 주변의 매크로 블록들을 이용해서 상기 부호화된 매크로 블록의 방향성을 예측하는 단계: 및
상기 예측한 방향성을 이용해서 예측 블록을 생성하는 단계를 포함하는
깊이 영상 복호화 방법.
제25항에 있어서,
상기 인트라 후보 부호화 모드들과 상기 인터 후보 부호화 모드들에 포함된 각 부호화 모드들의 우선순위에 관한 정보는,
기설정되거나 또는 깊이 영상을 복호화할 때 정의되어 부호화 장치로 수신되는
깊이 영상 복호화 방법.
제25항에 있어서,
상기 예측한 방향성은,
상기 부호화된 매크로 블록의 위쪽 경계화소로부터 수직으로 확장해서 예측블록을 생성하는 수직(Vertical)방향, 상기 부호화된 매크로 블록의 왼쪽 경계화소로부터 수평으로 확장해서 예측블록을 생성하는 수평(Horizontal)방향 및 상기 부호화된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 경계화소의 평균으로 예측블록을 생성하는 DC 방향, 상기 부호호된 매크로 블록의 상기 위쪽 경계화소와 상기 왼쪽 걍계화소를 함께 고려해서 예측블록을 생성하는 Plane 방향 중 하나인
깊이 영상 복호화 방법.
제25항에 있어서,
상기 인트라 예측 모드는,
인트라 스킵(Skip) 모드, 인트라 다이렉트(Direct) 모드 및 인트라 디렉션(direction) 모드 중에서 적어도 하나를 포함하고,
상기 인트라 스킵 모드는 상기 예측한 방향성 정보와 잔치신호를 부호화 장치로부터 제공받지 않는 모드이고,
상기 인트라 다이렉트 모드는 잔차신호를 상기 부호화 장치로부터 수신하고 상기 예측한 방향성 정보는 상기 부호화 장치로부터 제공받지 않는 모드이고,
상기 인트라 디렉션 모드는 잔치신호를 복호화 장치로 전달하지 않는 모드인,
깊이 영상 복호화 방법.