KR101446773B1

KR101446773B1 - 영상 복구를 이용한 인터 예측 부호화, 복호화 방법 및장치

Info

Publication number: KR101446773B1
Application number: KR1020080015451A
Authority: KR
Inventors: 손유미; 민정혜; 한우진
Original assignee: 삼성전자주식회사
Priority date: 2008-02-20
Filing date: 2008-02-20
Publication date: 2014-10-02
Anticipated expiration: 2028-02-20
Also published as: CN101946517B; KR20090090151A; WO2009104925A3; US20100329336A1; CN101946517A; WO2009104925A2

Abstract

본 발명은 인터 예측 부호화, 복호화 방법 및 장치에 관한 것으로 본 발명에 따른 인터 예측 부호화 방법은 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 부호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 영상 복구(image inpainting)를 수행하고, 영상 복구 결과 생성된 예측 블록에 기초해 현재 블록을 부호화함으로써 보다 정확한 예측 블록을 생성할 수 있어 영상 부호화의 압축률이 향상된다.

인터, 복구, 예측, 영상

Description

영상 복구를 이용한 인터 예측 부호화, 복호화 방법 및 장치{Method and apparatus for encoding and decoding based on inter prediction using image inpainting}

본 발명은 인터 예측 부호화, 복호화 방법 및 장치에 관한 것으로 보다 상세히는 보다 정확하게 인터 예측을 수행하여 예측 블록을 생성하고 생성된 예측 블록에 기초하여 현재 블록을 부호화, 복호화하는 방법 및 장치에 관한 것이다.

MPEG-1, MPEG-2, MPEG-4 H.264/MPEG-4 AVC(Advanced Video coding)와 같은 영상 압축 방식에서는 영상을 부호화하기 위해서 하나의 픽처를 소정 크기의 블록으로 나눈다. 그런 다음, 인터 예측(inter prediction) 또는 인트라 예측(intra prediction)을 이용해 각각의 블록을 부호화한다. R-D 코스트(Rate-Distortion cost)를 고려하여 최적의 부호화 모드를 선택하고, 선택된 부호화 모드에 따라 블록을 부호화한다.

인터 예측을 이용해 영상을 부호화 방법은 픽처들 사이의 시간적인 중복성을 제거하여 영상을 압축하는 방법으로 움직임 추정 부호화가 대표적인 예이다. 움직임 추정 부호화는 적어도 하나의 참조 픽처를 이용하여 현재 픽처의 움직임을 블록 단위로 추정하고 보상하여 영상을 부호화하는 방법이다.

소정의 평가 함수를 이용하여 현재 블록과 가장 유사한 참조 블록을 참조 픽처의 정해진 검색 범위에서 검색한다. 유사한 블록이 검색되면, 현재 블록과 참조 픽처 내의 유사한 블록 사이의 차이인 레지듀얼 블록만 부호화한다. 여기서, 현재 블록은 16×16, 8×16, 8×8, 4×4 등 다양한 크기의 블록일 수 있다. 도 1을 참조하여 자세히 설명한다.

도 1은 종래 기술에 따른 인터 예측 방법을 도시한다.

도 1을 참조하면, 영상의 부호화, 복호화에 있어서 인터 예측은 적어도 하나의 참조 픽처를 참조하여 수행된다.

현재 픽처(110)의 현재 블록(112)을 인터 예측함에 있어서, 영상의 부호화 장치는 참조 픽처(120)를 검색하여 현재 블록(112)과 가장 유사한 참조 블록(122)을 검색한다. 여기서 참조 블록(122)은 현재 블록을 가장 잘 예측할 수 있는 블록으로 현재 블록(112)과의 SAD(Sum of Absolute Difference)가 가장 작은 블록이 참조 블록(122)이 될 수 있다.

참조 블록(122)은 현재 블록(112)의 예측 블록이 되고, 현재 블록(112)에서 참조 블록(122)을 감산하여 레지듀얼 블록을 생성한다. 생성된 레지듀얼 블록만이 부호화되어 비트스트림에 삽입된다. 이 때, 현재 픽처(110)에서 현재 블록(112)의 위치와 참조 픽처(120)에서 참조 블록(122)의 위치 사이의 상대적인 차이는 움직임 벡터(130)라 하며, 움직임 벡터(130)도 레지듀얼 블록과 같이 부호화된다.

도 1에 도시된 바와 같이 종래 기술에 따른 인터 예측 부호화에서는 압축률 을 높이기 위해 레지듀얼 블록만을 부호화하여 전송하므로, 현재 블록(112)을 보다 정확하게 예측할수록 영상 부호화의 압축률이 향상된다.

본 발명은 인터 예측을 이용해 현재 블록을 부호화, 복호화함에 있어 영상 복구를 이용해 현재 블록을 보다 정확하게 인터 예측하여 예측 블록을 생성하고, 생성된 예측 블록에 기초하여 현재 블록을 부호화, 복호화할 수 있는 인터 예측 부호화, 복호화 방법 및 장치를 제공하는데 있고, 상기 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 인터 예측 부호화 방법은 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 상기 부호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 영상 복구(image inpainting)를 수행하는 단계; 상기 복구 결과에 기초하여 상기 현재 블록의 예측 블록을 생성하는 단계; 및 상기 예측 블록에 기초해 상기 현재 블록을 부호화하는 단계를 포함한다.

본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 현재 블록을 부호화하는 단계는 상기 현재 블록을 스킵(skip) 모드로 부호화하는 단계를 포함한다.

본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 영상 복구를 수행하는 단계는 상기 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 상기 부호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 표본 기반 영상 복구(exemplar-based image inpainting)을 수행하는 단계 를 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 인터 예측 부호화 장치는 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 상기 부호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 영상 복구(image inpainting)를 수행하는 영상복구부; 상기 복구 결과에 기초하여 상기 현재 블록의 예측 블록을 생성하는 예측부; 및 상기 예측 블록에 기초해 상기 현재 블록을 부호화하는 부호화부를 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 인터 예측 복호화 방법은 상기 현재 블록과 현재 픽처의 이전에 복호화된 영역 사이의 경계에 인접한 상기 이전에 복호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 영상 복구(image inpainting)를 수행하는 단계; 상기 영상 복구 결과에 기초하여 상기 현재 블록의 예측 블록을 생성하는 단계; 및 상기 예측 블록에 기초하여 상기 현재 블록을 복원하는 단계를 포함한다.

본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 복원하는 단계는 상기 현재 블록을 스킵(skip) 모드로 복원하는 단계를 포함한다.

본 발명에 따른 보다 바람직한 실시예에 따르면, 상기 영상 복구를 수행하는 단계는 상기 현재 블록과 현재 픽처의 이전에 복호화된 영역 사이의 경계에 인접한 상기 복호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 표본 기반 영상 복구(exemplar-based image inpainting)을 수행하는 단계를 포함한다.

상기 기술적 과제를 해결하기 위한 본 발명에 따른 인터 예측 복호화 장치는 상기 현재 블록과 현재 픽처의 이전에 복호화된 영역 사이의 경계에 인접한 상기 이전에 복호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 영상 복구(image inpainting)를 수행하는 영상복구부; 상기 영상 복구 결과에 기초하여 상기 현재 블록의 예측 블록을 생성하는 예측부; 및 상기 예측 블록에 기초하여 상기 현재 블록을 복원하는 복원부를 포함한다.

상기 기술적 과제를 해결하기 위해 본 발명은 상기된 인터 예측 부호화, 복호화 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.

본 발명에 따르면, 인터 예측을 수행함에 있어 영상 복구를 이용해 보다 정확하게 현재 블록을 예측할 수 있어 영상 부호화의 압축률이 향상된다.

이하에서는 도면을 참조하여 본 발명의 바람직한 실시예들을 상세히 설명한다.

도 2는 본 발명의 일 실시예에 따른 인터 예측을 이용한 영상 부호화 장치를 도시한다.

도 2를 참조하면, 본 발명에 따른 영상 부호화 장치(200)는 인터예측부(210), 부호화부(220) 및 복원부(230)를 포함한다.

인터예측부(210)는 픽처들 사이의 시간적 중복성 제거를 위해 현재 블록을 인터 예측하여 현재 블록의 예측 블록을 생성한다. 본 발명에 따른 인터예측부(210)는 도 1과 관련하여 전술한 인터 예측 방법과는 상이한 새로운 인터 예측 모드를 제공한다.

SAD를 계산하여 현재 블록과 가장 유사한 참조 블록을 참조 픽처에서 검색하는 것이 아니라, 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 픽셀들 중 부호화된 영역에 포함되어 있는 픽셀들에 기초해 영상 복구를 수행하여 현재 블록을 인터 예측한다.

이러한 본 발명에 따른 인터 예측을 수행하기 위해 인터예측부(210)는 영상복구부(212) 및 예측부(214)를 포함한다. 도 3을 참조하여 상세히 설명한다.

도 3은 본 발명의 일 실시예에 따른 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계를 도시한다.

영상복구부(212)는 현재 블록(330)과 현재 픽처(300)의 이전에 부호화된 영역(310)의 경계에 인접한 픽셀들(340)을 이용해 영상 복구를 수행한다. 경계에 인접한 픽셀들(340)에 기초해 적어도 하나의 참조 픽처를 검색하여 영상 복구를 수행한다.

이하에서는 현재 블록(330)의 크기가 8×8인 경우를 가정하여 본 발명에 따른 영상 복구를 설명한다. 그러나, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진자는 본 발명에 따른 영상 복구가 8×8이 아닌 4×4, 8×16, 16×8 및 16×16과 같은 다양한 크기의 블록을 인터 예측하는데 이용될 수 있음은 쉽게 알 수 있 다.

현재 블록(330)과 현재 픽처의 이전에 부호화된 영역(310) 사이의 경계를 복구될 영역의 최초 경계로 설정하고, 경계에 인접한 픽셀들 중 이전에 부호화된 영역에 포함되어 있는 픽셀들(340)에 기초하여 영상 복구를 수행한다.

여기서 영상 복구의 방법으로 표본 기반 영상 복구(exemplar-based image inpainting)를 수행할 수 있는데 도 4a 내지 4e를 참조하여 상세히 설명한다.

도 4a 내지 도 4e는 본 발명의 일 실시예에 따른 영상 복구 방법을 시간적 순서에 따라 도시한다.

도 4a를 참조하면, 현재 블록(330)을 예측하기 위해 현재 블록(330)과 이전에 부호화된 영역(310) 사이의 경계에 인접한 픽셀들 중에서 이전에 부호화된 영역에 포함된 픽셀들(340)에 기초하여 표본 기반 영상 복구를 수행한다.

먼저, 복구될 영역의 최초 경계로 설정된 현재 블록(330)과 이전에 부호화된 영역(310)의 경계에 인접한 픽셀들(340) 중에서 가장 높은 복구 우선 순위를 가지는 픽셀(410)을 선택한다. 복구 우선 순위가 높은 픽셀을 결정하는 방법에는 제한이 없으나, 복구 영역의 경계와 에지 방향 사이의 각도에 기초하여 복구 우선 순위를 결정할 수 있다. 경계에 인접한 픽셀들(340) 각각에서의 에지 방향을 계산하고, 계산된 에지 방향과 복구 영역의 경계 사이의 각도에 기초해서 복구 우선 순위를 결정한다. 복구될 영역의 경계와 에지 방향사이의 각도가 클수록 복구 우선 순위가 높은 픽셀로 선택할 수 있다.

복구 우선 순위가 높은 픽셀(410)이 선택되면, 도 4b에 도시된 바와 같이 선 택된 픽셀(410) 및 선택된 픽셀의 주변에 인접한 픽셀들을 포함하는 패치(patch)(420)를 설정한다. 패치(420)는 영상 복구를 수행하는 단위로 3×3 또는 5×5, 7×7과 같이 다양한 크기의 패치를 이용해 영상 복구를 수행할 수 있다. 본 명세서에서는 3×3 크기의 패치를 이용하는 경우를 예로 들어 설명한다.

복구 우선 순위가 높은 픽셀(410)을 중심으로 패치(420)를 설정한 후에는 패치(420)에 포함된 픽셀들 중 이전에 부호화된 영역에 포함된 픽셀들(422)을 이용해 적어도 하나의 참조 픽처를 검색한다. 패치(420)에 포함된 픽셀들 중 이전에 부호화된 영역에 포함된 픽셀들(422)과의 SAD(sum of absolute difference)가 가장 작은 픽셀들을 적어도 하나의 참조 픽처에서 검색한다. 검색된 픽셀을 포함하는 참조 픽처의 패치가 도 4b에 도시된 패치(420)와 가장 유사한 패치로 결정된다.

유사한 패치가 검색되면, 유사한 패치 중에서 이전에 부호화된 영역에 포함된 픽셀들(422)과의 SAD가 가장 작은 픽셀들을 제외한 나머지 픽셀들의 픽셀 값들을 패치(420)의 나머지 픽셀들(424)에 복사함으로써 현재 블록의 일부가 복구된다. 도 4b의 경우에는 패치에 포함된 픽셀 값들 중 가장 우측열에 포함된 픽셀들(424)의 픽셀 값들이 첫 번째 패치(420)에 의해 복구된 픽셀 값들이다.

최초의 복구가 끝나면, 복구될 영역의 경계는 도 5c에 도시된 바와 같이 복구된 픽셀들(424)에 기초하여 갱신된다. 그런 다음, 갱신된 경계에서 가장 높은 복구 우선 순위를 가지는 픽셀(430)이 다시 선택된다.

갱신된 경계에서 가장 높은 복구 우선 순위를 가지는 픽셀(430)이 선택되면, 도 4d에 도시된 바와 같이 선택된 픽셀(430)을 중심으로 다시 패치(440)가 설정된 다. 다시 설정된 패치(440)는 이전에 부호화된 영역에 포함되어 있는 픽셀들(442), 이전 에 복구된 영역에 포함된 픽셀들(444) 및 현재 패치(440)를 이용해 복구해야하는 픽셀들(446)을 포함한다.

패치(440)에 포함된 픽셀들 중에서 이전에 부호화된 영역에 포함된 픽셀들(442) 및 이전에 복구된 영역에 포함된 픽셀들(444)을 이용해 적어도 하나의 참조 픽처를 검색하여 패치(440)와 가장 유사한 패치를 결정한다. 검색 결과에 따라 패치(440)의 나머지 영역에 포함되어 있는 픽셀들(446)의 픽셀 값들이 복구된다.

두 번째 복구 결과에 따라 도 5e에 도시된 바와 같이 복구될 영역의 경계가 다시 갱신된다. 영상 복구는 현재 블록(330)에 포함된 픽셀들이 모두 복구될 때까지 반복된다.

복구 과정을 빠르게 수행하기 위해 패치를 크게하여 복구를 한번 수행할 때 복구되는 픽셀의 숫자를 크게 할 수도 있다. 또한, 설정된 패치(420 또는 440)의 이전에 부호화된 영역 및 이전에 복구된 영역에 포함된 픽셀들을 이용해 검색을 수행하는 참조 픽처의 개수를 적게하거나, 참조 픽처 내에서 검색되는 범위를 제한할 수 있다.

다시 도 3을 참조하면, 영상복구부(212)에서 현재 블록(330)에 포함된 픽셀들을 모두 복구하면, 예측부(214)는 영상복구부(212)의 복구 결과에 기초하여 현재 블록을 예측한다. 영상복구부(212)에서 복구된 블록이 그대로 현재 블록의 예측 블록이 될 수 있다.

부호화부(220)는 인터 예측부(210)의 예측 결과 생성된 예측 블록을 이용해 현재 블록을 부호화한다. 레지듀얼 블록을 이산 코사인 변환(discrete cosine transform)하여 이산 코사인 계수를 생성하고, 생성된 이산 코사인 계수를 양자화한다. 양자화된 이산 코사인 계수를 엔트로피 부호화하여 비트스트림에 삽입한다.

부호화부(220)에서 예측 블록을 이용해 현재 블록을 부호화함에 있어서, 스킵(skip) 모드로 부호화할 수 있다. 스킵 모드란 현재 블록(330)의 레지듀얼 블록을 부호화하지 않고, 현재 블록(330)이 스킵 모드로 부호화되었음을 나타내는 부호화 모드에 대한 정보만 부호화하는 부호화 모드를 의미한다. 부호화부(220)는 R-D 코스트(Rate-Distortion Cost)를 계산한 결과 현재 블록을 스킵 모드로 부호화하는 것이 바람직하다고 판단되면, 현재 블록을 스킵 모드로 부호화한다.

복원부(340)는 양자화된 이산 코사인 계수를 역양자화, 역이산코사인 변환하여 레지듀얼 블록으로 복원한다. 복원된 레지듀얼 블록은 예측부(314)에서 생성된 예측 블록에 다시 가산되어 현재 블록(440)으로 복원된다. 복원된 현재 블록(440)은 다른 블록의 예측에 이용된다. 현재 블록이 스킵 모드로 복원된 경우에는 예측부(314)에서 생성된 예측 블록이 그대로 다른 블록의 예측에 이용된다.

도 5a 내지 5d는 본 발명의 일 실시예에 따른 매크로 블록의 인터 예측을 도시한다.

도 5a 내지 5d는 매크로 블록에 포함된 서브 블록들을 인터 예측하기 위해 영상 복구를 수행하는 경우에 서브 블록 각각의 영상 복구에 이용되는 최초 복구 영역 경계를 도시한다. 매크로 블록의 크기는 16×16이고, 서브 블록의 크기는 4×4인 경우를 도시한다.

도 5a를 참조하면, 매크로 블록(500)에 포함된 서브 블록들 중 최초로 부호화되는 좌측 상부의 블록(510)은 매크로 블록(500)과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 픽셀들 중 이전에 부호화된 영역에 포함되어 있는 픽셀들(512)을 이용해 영상 복구를 수행한다. 다시 말해, 좌측 상부의 블록(510)를 인터 예측하기 위해 매크로 블록(500)과 현재 픽처의 이전에 부호화된 영역 사이의 경계가 복구 영역의 최초 경계가 된다.

최초로 부호화되는 블록(510)의 부호화가 모두 끝나면, 현재 픽처의 부호화된 영역과 부호화되지 않은 영역 사이의 경계는 도 5b에 도시된 바와 같아진다. 따라서, 매크로 블록(500)에 포함된 서브 블록들 중 두 번째로 부호화되는 블록(520)은 매크로 블록(500)의 최초로 부호화된 블록(510)과 두 번째로 부호화되는 블록(520) 사이의 경계 및 현재 픽처의 이전에 부호화된 영역과 두 번째로 부호화되는 블록(520) 사이의 경계에 인접한 픽셀들(522)을 이용해 영상 복구를 수행한다.

마찬가지로 현재 픽처의 부호화된 영역과 부호화되지 않은 영역 사이의 경계는 서브 블록들(520, 530 및 540)이 차례로 부호화됨에 따라 도 5c 및 도 5d에 도시된 바와 같이 변경된다. 본 발명에 따른 인터 예측 부호화 장치(200)는 변경되는 경계에 인접한 픽셀들(522, 532 및 542)에 기초하여 영상 복구를 수행하여 각각의 서브 블록들(520, 530 및 540)을 인터 예측한다.

도 6은 본 발명의 일 실시예에 따른 영상 부호화 방법을 설명하기 위한 흐름도이다.

도 6을 참조하면, 단계 610에서 본 발명에 따른 영상 부호화 장치(200)는 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 영상 복구를 수행한다.

바람직하게는 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계를 복구될 영역의 최초 경계로 설정하고, 도 4a 내지 4e와 관련하여 전술한 표본 기반 영상 복구를 수행한다.

단계 620에서 영상 부호화 장치(200)는 단계 610에서의 영상 복구 결과에 기초하여 현재 블록의 예측 블록을 생성한다. 단계 610에서 표본 기반 영상 복구를 수행한 결과 복구된 블록에 기초해 현재 블록의 예측 블록을 생성한다.

단계 630에서 영상 부호화 장치(200)는 단계 620에서 생성된 예측 블록에 기초하여 현재 블록을 부호화한다.

예측 블록을 현재 블록에서 감산하여 현재 블록에 대한 레지듀얼 블록을 생성한다. 레지듀얼 블록을 이산 코사인 변환하여 이산 코사인 변환 계수를 생성하고, 생성된 계수를 양자화한다. 양자화된 계수를 엔트로피 부호화하여 현재 블록에 대한 비트스트림을 생성한다.

또한, 바람직하게는 현재 블록을 스킵 모드로 부호화할 수도 있다. 레지듀얼 블록을 부호화하지 않고, 현재 블록이 스킵 모드로 부호화되었음을 나타내는 부호화 모드에 대한 정보만 부호화하는 스킵 모드로 현재 블록을 부호화한다.

도 7은 본 발명의 일 실시예에 따른 영상 복호화 장치를 도시한다.

도 7을 참조하면, 본 발명에 따른 영상 복호화 장치(700)는 복호화부(710), 인터예측부(720) 및 복원부(730)를 포함한다.

복호화부(710)는 현재 블록에 대한 비트스트림을 복호화한다. 현재 블록에 대한 비트스트림을 수신하고, 수신된 데이터를 엔트로피 복호화한다. 엔트로피 복호화 결과 생성된 레지듀얼 블록의 양자화된 이산 코사인 계수를 역양자화한다. 그런 다음, 역양자화된 이산 코사인 계수를 역이산 코사인 변환하여 레지듀얼 블록을 복호화한다.

만약, 현재 블록이 스킵 모드로 부호화된 경우라면 복호화부(710)는 현재 블록이 스킵 모드에 의해 부호화되었음을 나타내는 부호화 모드에 대한 정보를 현재 블록에 대한 비트스트림으로부터 추출한다.

인터예측부(720)는 영상 부호화 장치(200)의 인트라예측부(210)와 마찬가지로 본 발명에 따른 영상 복구를 이용한 인터 예측 방법에 따라 인터 예측을 수행하여 현재 블록의 예측 블록을 생성한다. 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 픽셀들 중 복호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 영상 복구를 수행하여 현재 블록의 예측 블록을 생성한다.

바람직하게는 본 발명에 따른 인터예측부(720)는 영상복구부(722) 및 예측부(724)를 포함한다.

영상복구부(722)는 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 영상 복구를 수행한다. 바람직하게는 표본 기반 영상 복구(exemplar-based image inpainting) 를 수행하여 영상 복구를 수행함은 전술하였다.

도 4a 내지 4e와 관련하여 전술한 바와 같이 현재 블록과 현재 픽처의 이전에 복호화된 영역 사이의 경계를 복구될 영역의 최초 경계로 설정하고 패치 단위의 영상 복구를 반복해 수행하여 현재 블록을 모두 복구한다.

예측부(724)는 영상복구부(922)의 예측 결과에 기초하여 현재 블록의 예측 블록을 생성한다.

복원부(730)는 인터 예측부(720)의 인터 예측 결과 생성된 예측 블록에 기초하여 현재 블록을 복원한다.

복호화부(710)에서 복호화된 레지듀얼 블록과 인터 예측부(720)에서 생성된 예측 블록을 가산하여 현재 블록을 복원한다. 현재 블록이 스킵 모드에 따라 부호화된 블록인 경우에는 스킵 모드로 현재 블록을 복원하는데, 이 경우 인터 예측부(720에서 생성된 예측 블록이 그대로 현재 블록이 된다. 복원된 블록은 다시 인터예측부(720)로 전송되어 다른 블록의 예측에 이용된다.

도 8은 본 발명의 일 실시예에 따른 영상 복호화 방법을 설명하기 위한 흐름도이다.

도 8을 참조하면, 단계 810에서 영상 복호화 장치는 현재 블록과 현재 픽처의 이전에 복호화된 영역 사이의 경계에 인접한 이전에 복호화된 영역에 포함되어 있는 픽셀들에 기초해 적어도 하나의 참조 픽처를 검색하여 영상 복구를 수행한다.

바람직하게는 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 픽셀들에 기초해 표본 기반 영상 복구를 수행한다. 영상 부호화와 관련하 여 전술하였던 인터 예측 방법이 대칭적으로 영상 복호화에도 적용된다.

단계 820에서 영상 복호화 장치는 단계 810에서의 영상 복구 결과에 기초하여 현재 블록의 예측 블록을 생성한다. 현재 블록과 현재 픽처의 이전에 부호화된 영역 사아의 경계를 복구의 최초 경계로 설정한 후에 패치 단위의 영상 복구를 반복하여 생성된 블록이 현재 블록의 예측 블록이 된다.

단계 830에서 영상 복호화 장치는 단계 820에서 생성된 예측 블록에 기초하여 현재 블록을 복원한다. 현재 블록에 대한 비트스트림을 복호화한 결과 생성된 레지듀얼 블록과 단계 820에서 생성된 예측 블록을 가산하여 현재 블록을 복원한다.

현재 블록이 스킵 모드로 부호화된 경우에는 단계 820에서 생성된 예측 블록이 그대로 현재 블록이 된다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명이 상기의 실시예에 한정되는 것은 아니며, 이는 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 아래에 기재된 특허청구범위에 의해서만 파악되어야 하고, 이와 균등하거나 또는 등가적인 변형 모두는 본 발명 사상의 범주에 속한다 할 것이다. 또한, 본 발명에 따른 시스템은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

도 1은 종래 기술에 따른 인터 예측 방법을 도시한다.

도 4a 내지 4e는 본 발명의 일 실시예에 따른 영상 복구 방법을 시간적 순서에 따라 도시한다.

Claims

인터 예측 부호화 방법에 있어서,

현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 상기 부호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 영상 복구(image inpainting)를 수행하는 단계;

상기 복구 결과에 기초하여 상기 현재 블록의 예측 블록을 생성하는 단계; 및

상기 예측 블록에 기초해 상기 현재 블록을 부호화하는 단계를 포함하며,

상기 영상 복구를 수행하는 단계는

a) 상기 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계를 복구될 영역의 경계로 설정하는 단계;

b) 상기 복구 경계에 인접한 픽셀들 중 가장 높은 복구 우선 순위를 가지는 픽셀을 선택하는 단계;

c) 상기 선택된 픽셀을 포함하는 패치(patch)와 유사한 패치를 상기 적어도 하나의 참조 픽처에서 검색하는 단계;

d) 상기 검색 결과에 기초하여 상기 현재 블록의 일부를 복구하는 단계;

e) 상기 d) 단계에서의 복구 결과에 기초하여 복구될 영역의 경계를 갱신하는 단계; 및

f) 상기 현재 블록이 복구될 때까지 상기 b) 내지 e) 단계를 반복하는 단계를 포함하는 것을 특징으로 하는 인터 예측 부호화 방법.
제 1 항에 있어서, 상기 현재 블록을 부호화하는 단계는

상기 현재 블록을 스킵(skip) 모드로 부호화하는 단계를 포함하는 것을 특징으로 하는 인터 예측 부호화 방법.
제 1 항에 있어서, 상기 영상 복구를 수행하는 단계는

상기 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 상기 부호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 표본 기반 영상 복구(exemplar-based image inpainting)을 수행하는 단계를 포함하는 것을 특징으로 하는 인터 예측 부호화 방법.
삭제
제 3 항에 있어서,

상기 패치는 3×3 또는 5×5 또는 7×7 크기의 패치인 것을 특징으로 하는 인터 예측 부호화 방법.
인터 예측 부호화 장치에 있어서,

현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 상기 부호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 영상 복구(image inpainting)를 수행하는 영상복구부;

상기 복구 결과에 기초하여 상기 현재 블록의 예측 블록을 생성하는 예측부; 및

상기 예측 블록에 기초해 상기 현재 블록을 부호화하는 부호화부를 포함하며,

상기 영상 복구부는

a) 상기 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계를 복구될 영역의 경계로 설정하고;

b) 상기 복구 경계에 인접한 픽셀들 중 가장 높은 복구 우선 순위를 가지는 픽셀을 선택하며;

c) 상기 선택된 픽셀을 포함하는 패치(patch)와 유사한 패치를 상기 적어도 하나의 참조 픽처에서 검색하고;

d) 상기 검색 결과에 기초하여 상기 현재 블록의 일부를 복구하며;

e) 상기 d) 단계에서의 복구 결과에 기초하여 복구될 영역의 경계를 갱신하고; 및

f) 상기 현재 블록이 복구될 때까지 상기 b) 내지 e) 과정을 반복하는

는 것을 특징으로 하는 인터 예측 부호화 장치.
제 6 항에 있어서, 상기 부호화부는

상기 현재 블록을 스킵(skip) 모드로 부호화하는 것을 특징으로 하는 인터 예측 부호화 장치.
제 6 항에 있어서, 상기 영상복구부는

상기 현재 블록과 현재 픽처의 이전에 부호화된 영역 사이의 경계에 인접한 이전에 부호화된 영역에 포함된 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 표본 기반 영상 복구(exemplar-based image inpainting)를 수행하는 것을 특징으로 하는 인터 예측 부호화 장치.
인터 예측 복호화 방법에 있어서,

현재 블록과 현재 픽처의 이전에 복호화된 영역 사이의 경계에 인접한 상기 이전에 복호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 영상 복구(image inpainting)를 수행하는 단계;

상기 영상 복구 결과에 기초하여 상기 현재 블록의 예측 블록을 생성하는 단계; 및

상기 예측 블록에 기초하여 상기 현재 블록을 복원하는 단계를 포함하며,

상기 영상 복구를 수행하는 단계는

a) 상기 현재 블록과 현재 픽처의 이전에 복호화된 영역 사이의 경계를 복구될 영역의 경계로 설정하는 단계;

b) 상기 복구될 영역의 경계에 인접한 픽셀들 중 가장 높은 복구 우선 순위를 가지는 픽셀을 선택하는 단계;

c) 상기 선택된 픽셀을 포함하는 패치(patch)와 유사한 패치를 상기 적어도 하나의 참조 픽처에서 검색하는 단계;

d) 상기 검색 결과에 기초하여 상기 현재 블록의 일부를 복구하는 단계;

e) 상기 d) 단계에서의 복구 결과에 기초하여 복구될 영역의 경계를 갱신하는 단계; 및

f) 상기 현재 블록이 복구될 때까지 상기 b) 내지 e) 단계를 반복하는 단계를 포함하는 것을 특징으로 하는 인터 예측 복호화 방법.
제 9 항에 있어서, 상기 복원하는 단계는

상기 현재 블록을 스킵(skip) 모드로 복원하는 것을 특징으로 하는 인터 예측 복호화 방법.
제 9 항에 있어서, 상기 영상 복구를 수행하는 단계는

상기 현재 블록과 현재 픽처의 이전에 복호화된 영역 사이의 경계에 인접한 상기 복호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 표본 기반 영상 복구(exemplar-based image inpainting)을 수행하는 단계를 포함하는 것을 특징으로 하는 인터 예측 복호화 방법.
삭제
제 11 항에 있어서,

상기 패치는 3×3 또는 5×5 또는 7×7 크기의 패치인 것을 특징으로 하는 인터 예측 복호화 방법.
인터 예측 복호화 장치에 있어서,

현재 블록과 현재 픽처의 이전에 복호화된 영역 사이의 경계에 인접한 상기 이전에 복호화된 영역에 포함되어 있는 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 영상 복구(image inpainting)를 수행하는 영상복구부;

상기 영상 복구 결과에 기초하여 상기 현재 블록의 예측 블록을 생성하는 예측부; 및

상기 예측 블록에 기초하여 상기 현재 블록을 복원하는 복원부를 포함하며,

상기 영상 복구부는

a) 상기 현재 블록과 현재 픽처의 이전에 복호화된 영역 사이의 경계를 복구될 영역의 경계로 설정하고;

b) 상기 복구될 영역의 경계에 인접한 픽셀들 중 가장 높은 복구 우선 순위를 가지는 픽셀을 선택하며;

c) 상기 선택된 픽셀을 포함하는 패치(patch)와 유사한 패치를 상기 적어도 하나의 참조 픽처에서 검색하고;

d) 상기 검색 결과에 기초하여 상기 현재 블록의 일부를 복구하며;

e) 상기 d) 단계에서의 복구 결과에 기초하여 복구될 영역의 경계를 갱신하며; 및

f) 상기 현재 블록이 복구될 때까지 상기 b) 내지 e) 과정을 반복하는 것을 특징으로 하는 인터 예측 복호화 장치.
제 14 항에 있어서, 상기 복원부는

상기 현재 블록을 스킵(skip) 모드로 복원화하는 것을 특징으로 하는 인터 예측 복호화 장치.
제 14 항에 있어서, 상기 영상복구부는

상기 현재 블록과 현재 픽처의 이전에 복호화된 영역 사이의 경계에 인접한 이전에 복호화된 영역에 포함된 픽셀들을 이용해 적어도 하나의 참조 픽처를 검색하여 표본 기반 영상 복구(exemplar-based image inpainting)를 수행하는 것을 특징으로 하는 인터 예측 복호화 장치.
제 1 항 내지 제3항, 제 5 항, 제 9 항 내지 제11항, 및 제 13 항 중 어느 한 항의 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체.