KR102201051B1

KR102201051B1 - 비디오 코딩 방법 및 장치

Info

Publication number: KR102201051B1
Application number: KR1020187016886A
Authority: KR
Inventors: 알렉세이 콘스탄티노비치 필리포브; 바실리 알렉시비치 루피트스키이
Original assignee: 후아웨이 테크놀러지 컴퍼니 리미티드
Priority date: 2015-11-17
Filing date: 2015-11-17
Publication date: 2021-01-08
Anticipated expiration: 2035-11-17
Also published as: MX382407B; AU2015415109A1; MY201173A; MX2018006091A; US20180262756A1; US12363293B2; CA3113488A1; US20240223759A1; EP3363198B1; KR102367708B1; US11102481B2; AU2020203726B2; EP3767947A1; JP2018534870A; EP3363198A1; CA3005417A1; CN113301334B; AU2015415109B2; JP6700391B2; US20210385447A1

Abstract

비디오 코딩 장치는 하나 이상의 기본 파라미터 및 하나 이상의 보조 파라미터로 구성될 수 있는 일련의 필터와, 상기 하나 이상의 기본 파라미터와 상기 일련의 필터의 강도 기준에 기초하여 상기 하나 이상의 보조 파라미터를 조정하도록 구성된 필터 컨트롤러를 포함한다.

Description

비디오 코딩 방법 및 장치

본 발명은 비디오 코딩 장치 및 비디오 코딩을 위한 일련의 필터를 구성하는 방법에 관한 것이다.

본 발명은 또한, 비디오 코딩을 위한 일련의 필터를 구성하는 방법을 수행하기 위한 명령어를 포함하는 프로그램 코드를 저장하는 컴퓨터 판독 가능한 저장 매체에 관한 것이다.

디지털 비디오 통신 및 저장 어플리케이션(Digital video communication and storage applications)은 광범위한 디지털 장치, 예를 들어, 디지털 카메라, 휴대용 무선 전화기(cellular radio telephones), 노트북(laptop), 방송 시스템, 화상 회의 시스템 등에 구현된다. 이 어플리케이션의 가장 중요하고 도전적인 작업 중 하나는 비디오 압축이다. 비디오 압축 작업은 압축 효율과 계산 복잡성이라는 두 개의 상충되는 파라미터에 의해 제한적이며 복잡하다. ITU-T H.264/AVC 또는 ITU-T H.265/HEVC와 같은 비디오 코딩 표준은 이러한 파라미터 들간의 좋은 절충점을 제공한다.

최첨단 비디오 코딩 표준은 주로 원본 화상(picture)을 블록으로 분할하는 것에 기초한다. 이러한 블록을 처리하는 것은 인코더에 의해 구체화되는 코딩 모드(coding mode), 공간 위치(spatial position), 및 크기(size)에 따라 다르다. 코딩 모드는 예측 유형에 따라, 인트라(intra-) 및 인터(inter-) 예측 모드(prediction mode)의 두 가지 모드로 분류될 수 있다. 인트라 예측 모드는 재구성되는 블록의 픽셀에 대한 예측 값을 계산하기 위해, 동일한 화상의 픽셀을 사용하여 참조 샘플을 생성한다. 인트라 예측은 공간 예측(spatial prediction)이라고도 한다. 인터 예측 모드는 시간 예측(temporal prediction)을 위해 설계되고, 현재 화상의 블록의 픽셀을 예측하기 위하여 이전 또는 다음 화상의 참조 샘플을 사용한다.

서로 다른 유형의 중복(redundancy)으로 인해, 인트라 및 인터 코딩의 예측 과정은 서로 상이하다. 인트라 예측은 일반적으로 참조 샘플의 1차원 버퍼를 구성한다. 인터 예측은 일반적으로 2차원 참조 픽셀 행렬의 서브 픽셀 보간을 사용한다. 예측 결과를 개선하기 위해, 인트라 및 인터 코딩 모두에 추가적인 처리(프로세싱(processing))이 사용될 수 있다(예를 들어, 인트라 예측을 위한 참조 샘플의 평활화(smoothing), 인터 예측을 위한 참조 블록의 선명화(sharpening)).

최근 채택된 ITU-T H.265/HEVC 표준(ISO/IEC 23008-2:2013, "Information technology - High efficiency coding and media delivery in heterogeneous environments - Part 2: High efficiency video coding", 2013년 11월)은 코딩 효율과 계산 복잡성 간의 적절한 균형을 제공하는 최첨단 비디오 코딩 툴 세트를 선언한다.

ITU-T H.264/AVC 비디오 코딩 표준과 유사하게, HEVC/H.265 비디오 코딩 표준은 원본 화상을 블록(예를 들어, 코딩 유닛(coding unit(CU))으로 분할하는 것을 제공한다. 각 CU는 더 작은 CU 또는 예측 유닛(PU)으로 더 분할될 수 있다. PU는 PU 픽셀에 적용되는 처리 유형에 따라 인트라 또는 인터 예측될 수 있다. 인터 예측의 경우, PU는 PU에 대해 특정된 모션 벡터(motion vector)를 사용하는 모션 보상(motion compensation)에 의해 처리되는 픽셀 영역을 나타낸다. 인트라 예측의 경우, PU는 변환 유닛(transform unit(TU)) 세트에 대한 예측 모드를 구체화한다. TU는 다양한 크기(예: 4x4, 8x8, 16x16 및 32x32 픽셀)를 가질 수 있고, 다양한 방식으로 처리될 수 있다. TU 변환에 있어서, 코딩이 수행(즉, 예측 에러가 이산 코사인 변환(Discrete Cosine Transform(DCT))으로 변환되고 양자화)된다. 따라서, 재구성된 픽셀은, 예측 정확도에 영향을 줄 수 있는 양자화 노이즈(quantization noise) 및 블로킹 아티팩트(blocking artifacts)을 포함한다.

이러한 인트라 예측에 대한 영향을 줄이기 위하여, HEVC/H.265에서 참조 픽셀 필터링(reference pixels filtering)이 채택되었다. 인터 예측의 경우, 참조 픽셀은 서브 픽셀 보간을 사용하여 계산된다. 모션 보상의 경우 참조 픽셀 평활화는 서브 픽셀 보간 과정의 안티 얼레이징 필터링(anti-aliasing filtering)과 결합될 수 있다.

모드 적응형 인트라 예측 평활화 기술이 제시되었다. 평활화 필터링은 선택된 인트라 예측 모드 및 비디오 비트스트림(video bit stream)에 인코딩된 플래그(flag)에 의존한다. 블록에 대해 정의된 인트라 예측 모드에 따라, 참조 샘플은 필터에 의해 평활화되거나, 수정되지 않고 사용될 수 있다. 참조 샘플이 평활화되는 경우, 평활화 필터의 선택은 인트라 예측 모드에도 또한 기초할 수 있다. 추가적으로, 이 선택은 비트스트림으로부터 재구성된 플래그의 값에 따라 수행될 수 있다.

현재의 HEVC/H.265 표준은 이 기술을 부분적으로 사용한다. 구체적으로, 인트라 모드 및 블록 크기의 여러 조합에 대하여 필터 평활화가 턴오프(turned off)된다.

참조 샘플 적응형 필터(Reference Sample Adaptive Filter(RSAF))는 HEVC/H.265 표준에 채택된 참조 샘플 필터의 확장으로서 제안되었다. 이 적응형 필터는, 상이한 세그먼트에 상이한 필터를 적용하기 위해, 평활화 이전에 참조 샘플을 분할한다. 또한, 데이터 은닉 과정(data hiding procedure)은 평활화 플래그(smoothing flag)에 시그널링을 위해 사용됐다. 참조 샘플을 위한 적응형 필터의 간략화된 버전은, 다음과 같이 평활화를 사용하는 몇 가지 다른 도구를 포함하는, JEM1(Joint Exploration Model 1)에 채택되었다.

- 4-탭 인트라 보간 필터(Four-tap intra interpolation filter),

- 경계 예측 필터(Boundary prediction filters), 및/또는

- 위치 의존 인트라 예측 조합(Position Dependent Intra Prediction Combination (PDPC))에 의해 대체될 수 있는, 다중 파라미터 인트라 예측(Multi-parameter Intra prediction(MPI)).

상술한 방법은 인코딩 또는 디코딩 중에 비디오의 높은 시그널링 노력(high signaling effort) 및 오버스무딩(oversmoothing)의 문제점을 포함한다.

본 발명의 목적은 비디오 코딩 장치 및 비디오 코딩을 위한 필터 시퀀스(filter sequence)를 구성하는 방법을 제공하는 것이고, 상기 비디오 코딩 장치 및 상기 비디오 코딩을 위한 필터 시퀀스를 구성하는 방법은 상술한 문제점 들 중 하나 이상을 극복한다.

본 발명의 제1 측면의 비디오 코딩 장치는 하나 이상의 기본 파라미터(primary parameter) 및 하나 이상의 보조 파라미터(secondary parameter)로 구성될 수 있는 일련의 필터(a sequence of filters)와, 상기 하나 이상의 기본 파라미터와 상기 일련의 필터의 강도 기준(strength criterion)에 기초하여, 상기 하나 이상의 보조 파라미터를 조정하도록 구성된 필터 컨트롤러(filter controller)를 포함한다.

제1 측면의 비디오 코딩 장치는 일련의 필터의 강도 기준이 충족되도록 하나 이상의 보조 파라미터를 조정할 수 있다. 예를 들어, 아래에 설명된 바와 같이, 강도 기준은 전반적인 평활도(overall smoothness)와 관련될 수 있으며, 필터 컨트롤러는 필터링 단계의 시퀀스의 전반적인 평활도가 너무 높지도 않고 너무 낮지도 않도록 보조 파라미터를 세팅할 수 있다. 즉, 필터 컨트롤러는 필터들의 시퀀스의 강도 기준이 미리 결정된 범위(predetermined range) 내에 있음을 보장하도록 구성될 수 있다.

제1 측면의 비디오 코딩 장치는 비디오 인코딩 및/또는 디코딩을 위해 구성될 수 있다.

필터 컨트롤러는 하나 이상의 보조 파라미터를 부분적으로만 세팅하도록 구성될 수 있다. 예를 들어, 보조 파라미터는, 필터 컨트롤러에 의해, 비트스트림(bitstream) 또는 사용자 세팅(user setting)으로부터 판독되어 조정(예를 들어, 특정 범위(certain range) 내로 조정)될 수 있다. 다른 실시예에서, 필터 컨트롤러는 또한, 달리 도출된(예를 들어, 비트스트림 또는 사용자 세팅으로부터 도출된) 보조 파라미터의 값을 오버라이드(override)하도록 구성될 수 있다.

종래 기술에서, RSAF를 포함하는 비디오 코딩 툴(video coding tool)의 불일치 작업(inharmonious work)은 다음과 같은 오버스무딩(oversmoothing)을 초래할 수 있다.

- 다음 필터는 이전 필터가 야기한 영향(effect)을 고려하지 않기 때문에, 전체 코딩 성능(overall coding performance)이 저하시키는 오버스무딩. 및/또는(and/or)

- 위에서 언급한 모든 필터는 지속적으로 켜져 있기 때문에, 전체 계산 복잡도(overall computational complexity)가 증가시키는 오버스무딩.

이는 제1 측면의 비디오 코딩 장치로 회피될 수 있다. 게다가, 보조 파라미터가 비트스트림에 저장될 필요가 없으므로, 특정 실시예에서는 시그널링 노력(signaling effort)이 감소될 수 있다.

바람직한 실시예에서, 제1 측면의 비디오 코딩 장치는 평활화(스무딩(smoothing))을 사용하는 필터 시퀀스의 필터들의 파라미터를 조정함으로써 언급된 오버스무딩의 문제를 해결할 수 있다. 이러한 조정은, 예를 들어 평활화를 사용하는 필터에 대한 플래그(flag) 또는 일부 조건(condition)을 도입함으로써 접근할 수 있다. 플래그 및/또는 조건은 다음과 같이 사용될 수 있다.

- 툴(tool)의 평활화 메커니즘을 켜거나 끄기 위하여 사용될 수 있다. 및/또는

- 필터의 평활화 강도를 변경하기 위하여 사용될 수 있다(예를 들어, 강한 필터(strong filter)에서 약한 것으로 스위칭).

제1 측면의 비디오 코딩 장치의 필터 컨트롤러는 단일 필터(single filter)뿐만 아니라 다중 필터(multiple filters)를 제어하도록 구성될 수 있다. 이는 인트라 예측(intra-prediction)의 결과에 영향을 미치는 다른 필터들을 조화시키는(harmonizing) 메커니즘(예를 들어, 평활화)으로 고려될 수 있다. 특히, 필터 컨트롤러는 다음과 같이 조정하도록 구성될 수 있다.

- 플래그 값(flag value)에 따라서 및/또는 일부 조건을 충족시킴에 따라서 일부 필터 모듈(filter module)이 스위치 오프(switched off)되면, 샘플 처리 메커니즘(sample processing mechanism)은 변경될 수 있다.

- 인트라 예측 결과에 평활화를 사용함으로써 영향을 줄 수 있는 모든 필터에 대한 제어를 제공하기 위하여 새 필터 모듈이 도입될 수 있다.

제1 측면에 따른 비디오 코딩 장치의 제1 실시예에서, 강도 기준은 평활도 기준(smoothness criterion), 고주파 영역에 대한 증폭률과 저주파 영역에 대한 증폭률의 비(ratio), 및/또는 필터링 전의 콘트라스트 값(contrast value)과 필터링 후의 콘트라스트 값의 비를 포함한다.

이는 위의 기준 중 하나 이상에 대해 일련의 필터의 최적화를 가능하게 한다. 전술한 바와 같이, 일련의 필터의 강도 기준이 특정 범위(예를 들어, 미리 결정된 범위) 내에 있게 하기 위하여, 바람직하게는 필터 컨트롤러에 의한 조정이 수행될 수 있다.

제1 측면에 따른 비디오 코딩 장치의 제2 실시예에서, 상기 하나 이상의 기본 파라미터는, 미리 결정된 파라미터이고, 특히, 인코딩된 비트스트림(encoded bitstream), 사용자 세팅(user setting), 및/또는 인코딩 장치(encoding device)에서의 파라미터 검색 루프(parameter search loop)으로부터 미리 결정되는 파라미터이다.

기본 파라미터로부터 보조 파라미터를 결정하는 것은, 예를 들어 기본 파라미터만 미리 결정되는 경우, 시그널링 노력이 감소될 수 있다는 이점이 있다. 예를 들어, 보조 파라미터가 비트스트림에 저장되지는 않지만, 비트스트림의 기본 파라미터로부터 도출될 수 있다면 비트레이트(bitrate)는 감소될 수 있다.

제1 측면에 따른 비디오 코딩 장치의 제3 실시예에서, 상기 일련의 필터는, 하나 이상의 기본 파라미터로 구성될 수 있는 하나 이상의 기본 필터 및 하나 이상의 보조 파라미터로 구성될 수 있는 하나 이상의 보조 필터를 포함하고, 상기 하나 이상의 기본 필터는 상기 일련의 필터 내에서 상기 하나 이상의 보조 필터의 앞에 위치한다.

후속 스테이지에서 필터의 파라미터를 조정하는 것은, 앞선 스테이지 필터의 영향이 취소되거나(undone) 또는 적어도 더 이상 강화되지(intensified) 않을 수 있다는 이점이 있다. 예를 들어, 초기 스테이지 필터가 특정 평활화 강도를 산출한 경우, 후속 필터 스테이지가 이러한 평활화 영향(smoothing effect)을 증가시키지 않는 것으로 보장될 수 있다. 예를 들어, 후속 필터 스테이지의 평활화 플래그(smoothing flag)가 스위치 오프될 수 있다.

본 발명의 다른 실시예에서, 기본 파라미터는 후속 필터 스테이지와 연관되고, 보조 파라미터는 이전 필터 스테이지와 연관될 수 있다.

제1 측면에 따른 비디오 코딩 장치의 제4 실시예에서, 상기 일련의 필터는 현재 비디오 블록(current video block)의 하나 이상의 이웃하는 샘플(neighboring sample)을 적응적으로 필터링하여, 하나 이상의 참조 샘플(reference sample)을 획득하도록 구성된 참조 샘플 필터(reference sample filter)와, 상기 하나 이상의 참조 샘플의 보간(interpolation)을 사용하여, 상기 현재 비디오 블록의 하나 이상의 샘플을 예측하도록 구성된 보간 필터(interpolation filter)를 포함하고, 상기 하나 이상의 기본 파라미터는 상기 참조 샘플 필터의 참조 파라미터(reference parameter)를 포함하고, 상기 하나 이상의 보조 파라미터는 상기 보간 필터의 선택 파라미터(selection parameter)를 포함하고, 상기 보간 필터는 상기 선택 파라미터에 따라서 보간 방법(interpolation method)을 사용하도록 구성된다.

제4 실시예의 비디오 코딩 장치의 일련의 필터는, 예를 들어, 인트라 예측을 위한 일련의 필터일 수 있다.

바람직하게는, 필터 컨트롤러는 참조 파라미터에 기초하여 선택 파라미터를 결정하도록 구성된다. 이는 전체 필터 강도 기준(overall filter strength criterion)을 향상시키는 효과적인 방법인 것으로 나타났다.

제1 측면에 따른 비디오 코딩 장치의 제5 실시예에서, 상기 하나 이상의 기본 파라미터는, 참조 샘플 필터의 참조 샘플 필터 플래그(reference samples filter flag)를 포함하고, 상기 하나 이상의 보조 파라미터는, 인트라 예측 보간 필터(intra-prediction interpolation filter)의 필터 강도 파라미터를 포함한다.

바람직하게는, 필터 컨트롤러는 참조 샘플 필터 플래그에 기초하여 필터 강도 파라미터를 결정하도록 구성된다. 이는 전체 필터 강도 기준을 향상시키는 효과적인 방법인 것으로 나타났다.

제1 측면에 따른 비디오 코딩 장치의 제6 실시예에서, 상기 일련의 필터는 크기 제한(size constraint)을 충족하는 하나 이상의 예측 유닛(prediction unit)에 속하는 하나 이상의 변환 유닛에 대하여 경계 평활화(boundary smoothing)를 수행하도록 구성된 경계 평활화 필터(boundary smoothing filter)를 포함한다.

이는, 경계 평활화 필터가 재구성된 블록(reconstructed block)에 대한 블로킹 아티팩트(blocking artifact)의 가시성(visibility)을 감소시킨다는 이점을 갖는다. 예측 유닛은 일반적으로 특정 종류(certain kind)의 화상 영역(picture region), 즉, 에지(edge), 텍스처(texture), 평활 영역(smooth region) 등을 포함한다. 그러나, 더 큰 PU의 경우, 평활 영역의 확률은 더 높다. 평활 영역의 경우 블로킹 아티팩트는 더 중요하므로, 큰 PU에 대한 경계 평활화가 작은 것에 대한 경우보다 더 바람직하다. 결과적으로, PU 크기(예를 들어, 32x32 픽셀의 크기)로 경계 평활화를 제한하는 것이 제안된다. 이 제한을 사용함으로써, 한편으로는, 보다 작은 PU의 비-평활 영역(non-smooth region)에 대한 원치 않은 블러(blur)를 방지하는 것이 가능하고, 다른 한편으로는, 더 큰 PU에 대한 블로킹 아티팩트를 감소시키는 것이 가능하다.

이는 경계 평활화가 인트라 예측을 위해 미리 정의되는 경우와 비교하여 객관적 품질 및 주관 품질 모두를 향상시키는 것을 가능하게 한다.

제1 측면에 따른 비디오 코딩 장치의 제7 실시예에 있어서, 상기 하나 이상의 기본 파라미터는, 예측된 블록 필터(predicted block filter)의 방향 파라미터(direction parameter)를 포함하고, 상기 하나 이상의 보조 파라미터는, 경계 평활화 필터의 온오프 파라미터(on-off parameter)를 포함한다.

바람직하게는, 필터 컨트롤러는 예측된 블록 필터(predicted block filter)의 방향 파라미터에 기초하여 경계 평활화 필터의 온오프 파라미터를 결정하도록 구성된다. 이는 전체 필터 강도 기준을 향상시키는 효과적인 방법인 것으로 나타났다.

제1 측면에 따른 비디오 코딩 장치의 제8 실시예에 있어서, 상기 일련의 필터는, 참조 블록(reference block)의 샘플을 적응적으로 필터링하여, 보간된 참조 블록(interpolated reference block)을 획득하도록 구성된 서브 픽셀 보간 필터(sub-pixel interpolation filter)와, 상기 보간된 참조 블록을 평활화 및/또는 선명화(smoothen and/or sharpen)하여 필터링된 참조 블록(filtered reference block)을 획득하도록 구성된 저역 통과 및/또는 고역 통과 필터(a low pass and/or high pass filter)를 포함하고, 상기 하나 이상의 기본 파라미터는 보간 필터의 보간 파라미터(interpolation parameter)를 포함하고, 상기 하나 이상의 보조 파라미터는 선명화 필터 및/또는 평활화 필터(sharpening and/or smoothing filters)의 선택 파라미터를 포함하고, 상기 보조 파라미터의 도출(derivation)은 상기 보간 필터의 파라미터에 의해 결정된다.

제8 실시예의 비디오 코딩 장치의 일련의 필터는, 예를 들어, 인터 예측을 위한 일련의 필터일 수 있다.

바람직하게는, 필터 컨트롤러는 보간 파라미터에 기초하여 선명화 및/또는 평활화 필터(sharpening and/or smoothing filter)의 선택 파라미터를 결정하도록 구성된다. 이는 전체 평활도 기준(overall smoothness criterion)을 향상시키는 효과적인 방법인 것으로 나타났다.

일련의 필터의 평활도 기준은 또한 위지 의존적(position dependent)이다. 예를 들어, 필터는 한 영역에서 강한 평활도(strong smoothness)를 도입(introduce)하고, 다른 영역에서 강한 선명도(strong sharpness)를 도입할 수 있다. 따라서, 필터 컨트롤러는 비디오의 하나 이상의 이미지 프레임의 상이한 영역들에 상이한 보조 파라미터를 세팅하도록 구성될 수 있다.

제1 측면의 비디오 코딩 장치의 제9 실시예의 비디오 코딩 장치에 있어서, 상기 일련의 필터는 비트스트림(bitstream)에서 하나 이상의 필터 계수(filter coefficient)를 지시하기 위하여, 선택된 코드북(selected codebook)을 사용하도록 구성된 적응형 루프 필터(adaptive loop filter)를 포함하고, 상기 필터 컨트롤러는 상기 하나 이상의 기본 파라미터에 기초하여 복수의 코드북 중에서 상기 코드북을 선택하도록 구성된다.

복수의 코드북들에 의해 인코딩되는 적응형 루프 필터 계수는 적응형 루프 필터의 입력 신호에 적용된, 처리중인 이전의 정보(prior information on processing)를 이용한다. 적응형 루프 필터에 의해 처리 중인 신호에 평활화가 이미 적용된 경우, 적응형 루프 필터는 고역 통과 필터링(high-pass filtering) 만을 도입할 수 있다고 알려져 있다. 이에, 적응형 루프 필터의 계수들의 조합 중 일부는 이용 가능하지 않게 된다. 이러한 속성은 적어도 다음의 두 가지 경우(이미 평활화된 입력 신호에 적응형 루프 필터가 적용되는 경우 및 적응형 루프 필터의 입력에 어떠한 평활화도 적용되지 않는 경우)에 따라 두 개 이상의 코드북을 유지하는데 사용된다.

예를 들어, 복수의 코드북들은 제1 코드북 및 제2 코드북을 포함하고, 제1 코드북은 고역 통과 필터링 및 저역 통과 필터링 모두에 대한 계수만을 포함하고, 제2 코드북은 저역 통과 필터링에 대한 계수만을 포함한다.

바람직한 실시예에서, 복수의 코드북들은 두 개 이상의 코드북을 포함하며, 바람직하게는 복수의 코드북들에서 상이한 코드북은 ALF 이전에 적용된 필터의 상이한 필터링 강도에 대응한다.

제1 측면의 제9 실시예에 따른 제10 실시예의 비디오 코딩 장치에 있어서, 상기 일련의 필터는, 수직 필터 강도 파라미터(vertical filter strength parameter)에 기초하여 수직 에지(vertical edge)를 처리하고, 및/또는 수평 필터 강도 파라미터(horizontal filter strength parameter)에 기초하여 수평 에지(horizontal edge)를 처리하도록 구성된 디블로킹 필터(deblocking filter)와, 샘플 적응형 오프셋(Sample Adaptive Offset(SAO)) 클래스(class) 파라미터에 따라서, 픽셀을 분류하고 상기 픽셀에 오프셋 값(offset value)을 추가하도록 구성된 SAO 필터를 더 포함하고, 상기 하나 이상의 기본 파라미터는 상기 SAO 필터의 SAO 타입(type) 파라미터 및 상기 SAO 클래스 파라미터를 포함하고, 상기 하나 이상의 보조 파라미터는 상기 수평 필터 강도 파라미터 및 상기 수직 강도 파라미터를 포함하고, 상기 필터 컨트롤러는 상기 SAO 필터의 상기 SAO 타입 파라미터 및/또는 상기 SAO 클래스 파라미터에 기초하여 상기 보조 파라미터를 도출하도록 구성되고, 및/또는 상기 SAO 타입 파라미터에 기초하여 상기 복수의 코드북들 중에서 코드북을 선택하도록 구성된다.

제10 실시예의 비디오 코딩 장치의 일련의 필터는, 예를 들어, 인루프 일련의 필터(sequence of in-loop filters)일 수 있다.

제1 측면의 비디오 코딩 장치의 또 다른 실시예는 제1 측면의 이전 실시예들 중 한 실시예의 비디오 코딩 장치에 관한 것으로, 여기서, 수직 에지 디블로킹 필터 강도와 수평 에지 디블로킹 필터 강도의 보조 파라미터는 상이하고(the secondary parameters of vertical and horizontal edges deblocking filter strength is different), 수직 디블로킹 필터 강도와 수평 디블로킹 필터 강도의 비율은 상기 SAO 클래스에 기초하여 조정된다.

제1 측면의 비디오 코딩 장치의 또 다른 실시예는 제1 측면의 이전 실시예들 중 한 실시예의 비디오 코딩 디바이스에 관한 것으로, 상기 일련의 필터는 적응형 루프 필터를 포함하지 않거나 또는 상기 필터 컨트롤러는 인루프 필터의 파라미터를 조정하지 않는다.

제1 측면의 비디오 코딩 장치의 또 다른 실시예는 제1 측면의 이전 실시예들 중 한 실시예의 비디오 코딩 디바이스에 관한 것으로, 상기 일련의 필터는 디블로킹 필터를 포함하지 않거나 또는 상기 필터 컨트롤러는 디블로킹 필터의 파라미터를 조정하지 않는다.

본 발명의 제2 측면은 비디오 코딩을 위한 일련의 필터를 구성하는 방법에 관한 것으로, 상기 방법은 하나 이상의 기본 파라미터와 상기 일련의 필터의 강도 기준에 기초하여 하나 이상의 보조 파라미터를 조정하는 단계와, 상기 기본 파라미터 및 보조 파라미터를 사용하여 상기 일련의 필터를 구성하는 단계를 포함한다.

제2 측면의 방법의 제1 실시예에 있어서, 상기 방법은 비트스트림으로부터 상기 하나 이상의 기본 파라미터를 결정하는 초기 단계(initial step)를 더 포함한다.

본 발명의 제2 측면에 따른 방법은 본 발명의 제1 측면에 다른 비디오 코딩 장치에 의해 수행될 수 있다. 본 발명의 제2 측면에 따른 방법의 추가적인 특징 또는 실시예는 본 발명의 제1 측면에 따른 비디오 코딩 장치의 기능과 이의 다른 실시 양태를 수행할 수 있다.

본 발명의 제3 측면은, 제3 측면의 방법 또는 제3 측면의 실시예들 중 하나의 방법을 수행하기 위한 명령어(instruction)를 포함하는 프로그램 코드(program code)를 저장하는 컴퓨터 판독 가능한 저장 매체에 관한 것이다.

본 발명의 실시예의 기술적 특징을 보다 명확하게 설명하기 위하여, 실시예를 설명하기 위해 제공된 첨부된 도면을 이하에서 간략히 소개한다. 다음의 설명에서, 첨부된 도면은 단지 본 발명의 일부 실시예를 도시할 뿐이다. 청구범위에 정의된 바와 같이, 본 발명의 범위를 벗어나지 않는 범위에서 실시예의 수정이 가능하다.
도 1은 본 발명의 실시예에 따른 비디오 코딩 장치를 설명하는 블록도이다.
도 2는 본 발명의 추가적인 실시예에 따른 비디오 코딩을 위한 일련의 필터(sequence of filters)를 구성하는 방법의 순서도이다.
도 3은 본 발명의 추가적인 실시예에 따른 인트라 예측을 위한 일련의 필터의 구조도이다.
도 4는 본 발명의 추가적인 실시예에 따른 제어 참조 샘플 적응형 필터링(controlled reference sample adaptive filtering)을 위한 일련의 필터를 구성하는 방법의 순서도이다.
도 5는 본 발명의 추가적인 실시예에 따른 인트라 예측을 위한 일련의 필터를 구성하는 방법의 순서도이다.
도 6은 본 발명의 추가적인 실시예에 따른 경계 평활화(boundary smoothing)를 위한 일련의 필터를 구성하는 방법의 순서도이다.
도 7은 본 발명의 추가적인 실시예에 따른 인트라 예측을 위한 필터 시퀀스(filter sequence)의 구조도이다.
도 8은 본 발명의 추가적인 실시예에 따른 인트라 예측을 위한 필터 시퀀스를 구성하는 방법의 순서도이다.
도 9는 본 발명의 추가적인 실시예에 따른 디코더(decoder) 측에서의 필터 컨트롤 모듈의 인트라 예측을 위한 방법의 순서도이다.
도 10은 본 발명의 추가적인 실시예에 따른 필터 컨트롤 모듈의 인터 예측의 직렬-병렬 실시예(serial-parallel embodiment)의 구조도이다.
도 11은 본 발명의 추가적인 실시예에 따른 디코더 측에서의 필터 컨트롤 모듈의 인터 예측을 위한 일련의 필터를 구성하는 방법의 순서도이다.
도 12는 본 발명의 추가적인 실시예에 따른 인루프 필터 체인(in-loop filter chain)의 구조도이다.
도 13은 본 발명의 추가적인 실시예에 따른, 디블로킹 필터링이 하나 이상의 SAO 파라미터에 따라 상이한, 일련의 필터를 구성하는 방법의 순서도이다.
도 14는 본 발명의 추가적인 실시예에 따른, 디블로킹 필터링이 SAO 파라미터에 의존하고, 상기 필터링은 디코더 측에서 발생하는, 일련의 필터를 구성하는 추가적인 방법의 순서도이다.
도 15는 본 발명의 추가적인 실시예에 따라서, 디코더 측에서 하나 이상의 SAO 파라미터에 따른 하나 이상의 ALF 파라미터를 조정하는, 일련의 필터를 구성하는 방법의 순서도이다.
도 16은 본 발명의 추가적인 실시예에 따른 일련의 필터를 구성하는 순서도이고, 상기 방법은 디코더 측에서 하나 이상의 SAO 파라미터에 따른 하나 이상의 ALF 파라미터를 조정한다.

도 1은 일련의 필터(a sequence of filters; 110) 및 필터 컨트롤러(filter controller; 120)를 포함하는 비디오 코딩 장치(video coding device; 100)를 도시한다.

일련의 필터(110)는 하나 이상의 기본 파라미터(primary parameter) 및 하나 이상의 보조 파라미터(secondary parameter)로 구성될 수 있다. 예를 들어, 일련의 필터의 제1 세트(first set of filter)는 기본 파라미터에 의해 구성될 수 있고, 일련의 필터의 제2 필터 세트(second set of filter)는 보조 파라미터 에 의해 구성될 수 있다. 제1 필터 세트 및 제2 필터 세트는 오버래핑(overlapping)될 수 있다.

필터 컨트롤러(120)는 하나 이상의 기본 파라미터와 일련의 필터(110)의 강도 기준(strength criterion)에 기초하여 하나 이상의 보조 파라미터를 조정하기 위하여 구성된다. 특히, 필터 컨트롤러(120)는 하나 이상의 기본 파라미터에 기초하여 하나 이상의 보조 파라미터를 부분적으로 조정하는 것으로 구성된다. 예를 들어, 보조 파라미터의 값은 미리 결정된 값(예를 들어, 비트스트림(bitstream)으로부터)과 기본 파라미터에 기초한 조정에 부분적으로 기초(partially based on)할 수 있다.

도 2는 비디오 코딩을 위한 일련의 필터(a sequence of filters)를 구성하는 방법(200)의 순서도이다. 방법(200)은 하나 이상의 기본 파라미터와 일련의 필터의 강도 기준에 기초하여 하나 이상의 보조 파라미터를 조정하는 제1 단계(210)를 포함한다. 방법은 기본 파라미터 및 보조 파라미터로 일련의 필터를 구성하는 제2 단계(220)를 더 포함한다.

인트라 예측 과정(intra prediction procedure)은 인코더 측(encoder side) 및/또는 디코더 측(decoder side)에서의 하이브리드 비디오 코딩 툴 체인(hybrid video coding tool chain)의 부분일 수 있다. 유사하게, 인터 예측 과정(inter prediction procedure)은, 실제로 인터 예측을 위한 인트라 예측된 블록(intra-predicted block)의 아날로그(analogue)인, 참조(reference)로서 사용되는 블록의 오버스무딩(oversmoothing) 또는 오버샤프닝(oversharpening)을 잠재적으로 야기할 수 있는 일련의 필터(예를 들어, 보간 필터 및 소위 예측 필터(interpolation filter and so called prediction filter))를 포함할 수 있다.

일련의 필터는, 예를 들어, 하나 이상의 다음 필터를 포함할 수 있다.

- 참조 샘플 평활화(reference sample smoothing(예를 들어, RSAF)),

- 인트라 예측을 위한 보간 필터링(interpolation filtering),

- 인트라 예측된 블록 필터링(intra-predicted block filtering(예를 들어, MPI 또는 PDPC)), 및 또는

- 경계 평활화(boundary smoothing).

이러한 필터는 평활화로 인해 인트라 예측의 결과에 영향을 미칠 수 있다.

도 3은 인트라 예측의 상이한 스테이지(different stage)에서 필터링 파라미터(filtering parameter)를 조정하는 필터 컨트롤 모듈(filter control module; 360)을 포함하는 필터 시퀀스(filter sequence; 300)를 도시한다. 필터 컨트롤 모듈(360)은 필터 컨트롤러이다.

인트라 예측의 파라미터는 다음을 포함할 수 있으나, 반드시 이에 한정되는 것은 아니다.

- 예측 유닛의 크기(size of a prediction unit),

- 예측되는 블록의 크기(size of a block being predicted),

- 인트라 예측 모드(an intra-prediction mode),

- 다중 파라미터 인트라 모드 인덱스(multi-parameter intra mode index), 및/또는

- 참조 샘플 필터링 플래그(reference sample filtering flag).

하나 이상의 상술한 파라미터는 기본 파라미터 또는 보조 파라미터일 수 있다.

필터 컨트롤 모듈(360)을 제외하고, 일련의 필터(300)는 참조 샘플 평활화 유닛(reference samples smoothing unit; 310), 인트라 예측 유닛(intra prediction unit; 320), 예측된 블록 필터 유닛(predicted block filter unit; 330), 및 경계 평활화 유닛(boundary smoothing unit; 340)을 포함한다. 참조 샘플 평활화 유닛(310)은 하나 이상의 이웃 샘플(neighbor sample; 302)이 입력으로서 제공되도록 구성된다. 인트라 예측 유닛(320)에 입력으로서 제공되는 하나 이상의 참조 샘플(reference sample; 312)를 획득하기 위하여, 이는 하나 이상의 이웃 샘플(302)를 평활화하도록 및/또는 더 처리(smooth and/or further process the one or more neighbor samples)하도록 구성된다. 인트라 예측 유닛(320)은 보간 필터(interpolation filter; 322)를 포함한다. 인트라 예측 유닛(320)은 이의 출력(output; 324)을 예측된 블록 필터(330)에 입력으로서 제공한다.

예측된 블록 필터(330)는, 경계 평활화 유닛(340)에 입력으로서 제공되는 하나 이상의 예측된 블록(predicted block; 332)을 계산하도록 구성된다. 경계 평활화 유닛(340)은 하나 이상의 인트라 예측된 블록(350)으로의 출력(342)을 생성한다.

일련의 필터(300)를 포함하는 비디오 코딩 장치는 참조 샘플 필터의 암시적 또는 명시적 시그널링(implicit or explicit signaling)을 선택적으로, 즉, 특정 조건을 충족하는 TU에만, 사용하도록 구성된다.

필터 컨트롤 모듈(360)은 인트라 예측 파라미터(intra prediction parameter; 362)를 기본 파라미터로서 판독하도록 구성될 수 있다. 이는 이러한 기본 파라미터에 기초하여 보조 파라미터를 도출하도록 구성될 수 있다.

쿼드 트리 파티셔닝 결과(quad-tree partitioning result)는 명시적 또는 암시적 시그널링을 사용하는 참조 샘플 필터 선택(reference samples filter selection)의 지시(indication)로서 사용될 수 있다. 특히, PU의 크기가 임계치보다 큰 경우(예를 들어, 32x32), 참조 샘플 필터 플래그는 zero로 세팅된다. 이러한 할당(assigning)은 종래 기술의 조건(condition)을 오버라이드(override)한다. PU 크기의 조건이 true인 경우, PU 크기 및/또는 인트라 모드 조건에 따라서 “NO FILTER” 및 “APPLY WEAK FILTER” 옵션만이 선택될 수 있다.

도 4는 제어 참조 샘플 적응형 필터링(controlled reference sample adaptive filtering)을 위한 일련의 필터를 구성하는 방법(400)의 순서도이다.

방법(400)은 예측 유닛의 크기와 관련된 조건을 평가하는 제1 단계(402)를 포함한다. 조건의 평가가 true인 경우, 이 방법은 참조 샘플 필터 플래그가 도출되는 단계(404)를 계속한다. 예측 유닛의 크기와 관련된 조건의 평가가 false인 경우, 이 방법은 참조 샘플 필터 플래그가 false로 세팅되는 단계(406)를 계속한다. 단계(404) 또는 단계(406) 이후에는, 인트라 모드 및 블록 크기와 관련된 하나 이상의 조건이 평가되는 단계(408)가 있다.

단계(408)의 평가 결과가 false인 경우, 이 방법은 참조 샘플 필터 플래그가 평가되는 단계(410)를 계속한다. 만약 false인 경우, 이 방법은 참조 샘플 적응형 필터가 필터를 적용하지 않는 것으로 세팅되는 단계(414)를 계속한다. 단계(410)에서 플래그가 true인 것으로 평가되는 경우, 단계(416)에서 약한 필터가 적용된다. 또는, 단계(408)에서 조건 평가가 true로 평가된 경우, 이 방법은 참조 샘플 필터 플래그가 평가되는 단계(412)를 계속한다. 이 평가가 false인 경우, 단계(416)에서 약한 필터가 적용된다. 단계(412)에서 참조 샘플 필터 플래그가 true로 평가되는 경우, 단계(418)에서 강한 필터가 적용된다(APPLY STRONG FILTER).

“APPLY WEAK FILTER” 및 “APPLY STRONG FILTER” 스테이지는, 세트로부터 특정 필터 선택이 인트라 모드와 예측되는 블록의 크기에 매핑되는 즉시, 미리 정의된 필터 세트(predefined set of filters)로부터 필터를 선택할 수 있다. 세 개의 필터만을 갖는 본 특정 실시예에서, 필터 세트에서 필터의 양이 임의적인 수량으로 확장될 수 없다는 것을 의미하지 않는다(예를 들어, “NO FILTER”의 상태, “WEAK FILTER”의 상태, “STRONG FILTER”의 상태, 및 두 개의 중간 필터(intermediate filter)의 상태를 포함하는 다섯 가지 상태).

방향성 인트라 예측(directional intra prediction)에서, 예측된 블록의 픽셀값과 좌-상 블록 경계(left and top block boundaries)의 투영(projection)이 계산된다. 하지만, 투영은 분할 위치(fractional position)를 가질 수 있고, 즉, 참조 샘플의 실제 위치 사이의 경계에 위치할 수 있다. 인접한 참조 샘플들의 값들의 가중된 합이 계산되어, 인트라 예측된 블록의 샘플의 값을 결정할 수 있다. 이 과정은 실제로 2-탭 선형 보간 필터(two-tap linear interpolation filter)이며, 4-탭 보간 필터(four-tap interpolation filter)로 확장될 수 있다.

4-탭 보간 필터는 방향성 인트라 예측 정확도를 향상시키기 위하여 활용될 수 있다. HEVC에서, 2-탭 선형 보간 필터는 방향성 예측 모드(directional prediction mode)에서 인트라 예측 블록을 생성하기 위하여 사용됐다(즉, 평면 및 직교 예측자(Planar and DC predictors)를 제외). 또는, 4x4 및 8x8 블록에 대한 큐빅 보간 필터(Cubic interpolation filter)와, 16x16 이상의 블록에 대한 가우시안 보간 필터(Gaussian interpolation filter)의 두 가지 유형의 4-탭 보간 필터를 사용할 수 있다. 필터의 파라미터는 블록 크기에 따라 고정되고, 모든 방향 모드(directional mode)에서 모든 예측 픽셀에 동일한 필터가 사용된다.

HEVC에서, 인트라 예측 블록이 VER 및 HOR 인트라 모드에 대해 생성된 후에, 예측 샘플의 가장 좌측의 열 및 가장 상부의 행이 각각 추가로 조정된다. 이는 추가로, 여러 대각의 인트라 모드(diagonal intra mode)로 확장될 수 있고, 최대 네 개의 열 또는 행의 경계 샘플은 2-탭 필터(인트라 모드 2&34에 대한) 또는 3-탭 필터(인트라 모드 3-6&30-33에 대한)를 사용하여 추가로 조정될 수 잇다.

도 4 및 도 5는 참조 샘플 필터링 과정에서 보간 필터 종류의 선택을 동기화하는 두 실시예를 설명한다. 두 실시예는 두 보간 필터 타입(약함(weak) 및 강함(strong))이 적용될 수 있음을 고려한다(예를 들어, 16x16 이상의 예측된 블록에서는 가우시안 필터(Gaussian filter)가 사용되고, 다른 블록 크기에 대해서는 큐빅 필터(Cubic filter)가 선택됨). 두 실시예에 있어서, 보간 필터 선택은 참조 샘플 필터링 처리(reference samples filtering process)와 조화될 수 있다.

도 5는 인트라 예측을 위한 보간 필터를 구성하는 방법(500)의 순서도이다.

방법(500)은 참조 샘플 필터 플래그를 도출하는 제1 단계(502)를 포함한다. 단계(504)에서, 참조 샘플 필터 플래그는 평가된다. 만약 true로 평가된 경우, 이 방법은, 변환 블록(transform)의 크기와 관련된 조건이 평가되는 단계(506)를 계속한다. 조건이 false로 평가되는 경우, 이 방법은, 약한 인트라 보간 필터(weak intra interpolation filter)가 적용되는 단계(508)를 계속한다. 단계(506)에서 변환 블록의 크기와 관련된 조건이 true로 평가되는 경우, 이 방법은, 강한 인트라 보간 필터(strong intra interpolation filter)가 적용되는 단계(510)를 계속한다.

도 4 및 도 5 의 실시예들은 참조 샘플 필터 플래그 도출에 따른 차이점을 갖는다. 도 4에서, 조건에 따른 예측된 블록이 상이한 참조 샘플 필터의 옵션(option)을 갖는 경우, 참조 샘플 필터 플래그는 true이다. 이 필터 선택은 명시적으로 또는 암시적으로 시그널링될 수 있다(즉, 예측 모드로 매핑하거나, 또는 양자화된 잔차 데이터(residual data)에서 데이터 은닉(data hiding)을 사용함으로써). 도 4의 실시예에서, 실제로 선택된 참조 필터 값은 참조 샘플 필터 플래그 도출에서 고려되지 않는다. 그러나, 참조 샘플 필터 선택이 인코더 측에서 예측된 블록에 대해 수행되고, 이 선택이 명시적으로 또는 암시적으로 디코더에 시그널링되는 경우, 이 참조 샘플 플래그 값은 true이다. 그렇지 않으면, 예측된 블록이 미리 정의된 참조 필터를 가지거나, 또는 참조 샘플 필터를 가지지 않는 경우, 참조 샘플 플래그 값은 false이다.

도 5의 실시예는 참조 필터 선택의 값을 참조 샘플 플래그 값으로서 사용한다. 강한 필터가, {1 2 1} 또는 5-탭 필터와 같은, 참조 샘플로서 선택되는 경우, 참조 샘플 플래그 값은 true로 할당된다. 제1 실시예와 유사하게, 참조 샘플 플래그 값은 참조 필터링을 갖지 않거나 또는 약한 참조 샘플 필터가 선택된 예측된 블록에 대하여 false이다.

상술한 실시예들의 유익한 효과는 참조 샘플 필터링과 인트라 예측 보간 처리(process)의 조화에 의해 달성된다. 이러한 실시예들은 예측된 블록이 너무 평활화(too smooth)되는 것을 방지할 수 있다고 관측될 수 있다.

도 6은 경계 평활화(boundary smoothing)를 위한 일련의 필터를 구성하는 방법의 순서도이다.

방법(600)은 예측된 블록 필터가 방향성(directional)인지를 결정하는 제1 단계(602)를 포함한다. 방향성인 경우, 이 방법은 블록 사이즈 조건이 평가되는 단계(604)를 계속한다. 블록 사이즈 조건이 false로 평가되거나 또는 예측된 블록 필터 방향성(directionality)이 false로 평가되는 경우, 이 방법은 인트라 모드 조건이 평가되는 단계(606)를 계속한다. 인트라 모드 조건이 true로 평가되는 경우, 이 방법은 경계 평활화가 적용되는 단계(608)를 계속한다. 그렇지 않고 단계(604)의 블록 사이즈 조건이 true로 평가되는 경우, 어떠한 경계 평활화도 적용되지 않는다.

인트라 예측 모드가 DC, 수평(horizontal), 수직(vertical), 또는 대각(diagonal)으로 선택되는 경우, 경계 평활화는 적용될 수 있다. 제안된 발명은 경계 평활화를 예측된 블록에 대한 필터의 선택과 동기화한다. 구체적으로, 예측된 블록 필터의 방향성(directionality)은 경계 평활화를 적용할 것인지 아니면 적용하지 않을 것인지를 결정하는데 사용된다. 방향성(directionality)은 필터링 방향들 간의 필터링 강도의 차이를 나타내는 공간 필터(spatial filter)의 속성(property)이다. 예를 들어, 2차원 필터가 수직 및 수평 방향 모두에 대하여 같은 강도를 갖는 경우, 이 필터는 비-방향성(non-directional)이다. 특히, 비-방향성 필터에 대해 경계 평활화는 적용되지 않는다. 다중 파라미터 인트라 예측은 예측된 블록 필터의 예시가 될 수 있다. 이러한 기술이 예측된 블록 필터로서 사용되는 경우, 도 6에서 제1 조건은 “MPI 인덱스가 1보다 크다”로 공식화될 수 있다.

예측된 블록 필터가 방향성인 반대의 경우에 대해서, 본 발명은 또 다른 제한을 고려한다. 필터링되는 블록의 크기가 32픽셀보다 작은 경우, 예측된 블록 필터의 방향성(directionality)에도 불구하고, 이 블록에 대한 경계 평활화는 스킵된다.

도 7은 인트라 예측을 위한 필터 시퀀스(filter sequence; 700)의 구조도이다. 필터 시퀀스(700)는 비디오를 인코딩 또는 디코딩하는데 사용될 수 있다.

필터 시퀀스(700)는 몇몇 필터의 파라미터를 조정하도록 구성된 필터 컨트롤 모듈(760)을 포함한다. 특히, 필터 시퀀스(700)는 하나 이상의 이웃 샘플(702)을 입력으로서 수신한다. 이러한 이웃 샘플(702)은, 필터 시퀀스(700)의 제1 필터를 나타내는 참조 샘플 적응형 필터(RSAF; 710)에 입력으로서 제공된다. 참조 샘플 적응형 필터(710)는, 인트라 예측 유닛(720)에 입력으로서 제공되는 하나 이상의 참조 샘플(712)를 생성한다. 인트라 예측 유닛(720)은, 하나 이상의 보간 필터 파라미터에 의해 구성될 수 있는 4-탭 보간 필터(722)를 포함한다.

인트라 예측 유닛의 출력(724)은 경계 예측 필터(730)에 입력으로서 제공된다. 경계 예측 필터의 출력(732)은 다중 파라미터 인트라 예측/위치 의존 인트라 예측 조합 유닛(multi-parameter intra-prediction/position-dependent(MPI/PDPC) unit; 740)에 입력으로서 제공된다. 유닛(740)은 하나 이상의 인트라 예측된 블록(750)으로의 출력(742)을 생성한다.

참조 샘플 적응형 필터(710), 인트라 예측 유닛(720), 경계 예측 필터(730), 및 다중 파라미터 인트라 예측/위치 의존 인트라 예측 조합 유닛(740)은 각각 하나 이상의 파라미터로 구성 가능하고, 이는 필터 컨트롤 모듈(760)에 의해 세팅될 수 있다.

다중 파라미터 인트라 예측(MPI)은, 디코딩된 경계에 추가 평활화를 작동시키는 인트라 예측에 대한 사후 프로세싱(post-processing)이다. 이는 수학식 1과 같이 수행될 수 있다.

여기서,

블록의 외부는 수학식 2의 재구성된 시그널과 같다.

이러한 사후 프로세싱(

의 파라미터)의 강도는 CU 레벨에서 제어되고, 2비트(2bits)까지 시그널링될 수 있다.

MPI를 대체할 수 있는 위치 의존 인트라 예측 조합(Position Dependent Intra Prediction Combination(PDPC))은, 필터링 되지 않은 경계(un-filtered boundary)와 상술한 인트라 예측의 조합을 작동시키는, 인트라 예측을 위한 콘텐츠 적응형 사후 프로세싱(content adaptive post-proessing)이다. 이는 수학식 3과 같이 구현할 수 있다.

여기서,

는 좌-상 코너(top-left corner)에 상대적인 샘플 위치를 나타내고,

는

에서의 상술한 인트라 예측과 같고

에서의 필터링되지 않은 참조(un-filtered reference)와 같다.

이러한 사후 프로세싱의 강도는

의 파라미터에 의해 제어될 수 있다.

의 상이한 세트는 표 1에 요약되어 사전(dictionary)을 구성한다. 사후 프로세싱 평활화의 강도는 2Nx2N 및 NxN과 같이 코딩된 블록에 대해 상이하다. 동일한 사후 프로세싱 금지(post-processing ban)가 CU 내부의 휘도(luminance) 및 색차(chrominance) 블록 모두에 적용된다.

표 1은 조합된 인트라 예측(combined intra prediction)의 사후 프로세싱 파라미터의 사전을 나타낸다.

사후 프로세싱을 결정하는 조합된 인트라 인덱스(Combined Intra index)는 CU 레벨에서 2비트(2bits)로 시그널링된다. CU의 좌측 또는 상부 경계가 화상(picture) 경계인 경우, 이 구문 요소(syntax element)는 시그널링되지 않는다. 이 인덱스의 0값(zero value)은 어떠한 사후 프로세싱도 사용되지 않음을 나타낸다.

각 툴이 스위치를 켜고 끄는 플래그를 갖고, RDO 과정이 각 툴에 대해서만 별도로 수행되지 않고 평활화를 사용하는 모든 툴에 대해 공동으로 수행되는 경우, 오버스무딩의 문제는 극복될 수 있다. 하지만 이 해결 방법은 전반적인 코딩 성능을 저하시킬 수 있는 중복 시그널링(redundant signaling)의 단점을 가질 수 있다.

도 8은 인트라 예측을 위한 필터 시퀀스를 구성하는 방법(800)의 순서도이다.

방법(800)은 참조 샘플 적응형 필터링(Reference Sample Adaptive Filtering(RSAF))이 사용중인지 여부를 결정하는 제1 단계(810)를 포함한다. 예를 들어, 이는 RASF 플래그를 평가함으로써 결정될 수 있다. RSAF가 사용중인 것으로 결정되는 경우, 단계(812)에서 참조 샘플 적응형 필터링이 적용된다. 그 후, 단계(814)에서 4-탭 큐빅 필터를 사용하는 보간이 적용된다. 이는, 인트라 예측을 위한 필터 시퀀스의 보간 필터의 보간 모드 파라미터(interpolation mode parameter)를 4-탭 큐빅 필터에 세팅함으로써 달성될 수 있다.

단계(810)에서 RSAF가 사용중이지 않은 것으로 결정되는 경우, 단계(816)에서 4-탭 필터의 세트를 사용하는 보간이 적용된다. 특히, 이는 미리 결정된 4-탭 필터의 세트일 수 있다(predetermined set of 4-tap filters). 보간 필터가 4-탭 필터의 세트를 사용하는 것으로 세팅하는 것은, 예를 들어, 보간 필터의 보간 파라미터를 “set of 4-tap filters”로 세팅함으로써 달성될 수 있다.

후속 단계(820)에서, MPI 인덱스 변수(MPI index variable) i는 0으로 세팅된다. 그 후, 단계(822)에서 변수 i가 1보다 큰지 여부를 결정한다. 변수 i가 1보다 큰 것으로 결정되는 경우, 단계(824)에서, 현재 예측 유닛(prediction unit, PU) 크기가 32보다 큰지 여부가 결정된다. 현재 예측 유닛(PU)의 크기가 32보다 크면, 단계(826)에서 경계 예측 필터링이 적용된다. 또한, 단계(822)에서 변수 i가 1보다 크지 않은 것으로 결정되는 경우, 경계 예측 필터링이 적용된다. 단계(824)에서 현재 PU 크기가 32보다 크지 않은 것으로 결정되는 경우, 이 방법은 다중 파라미터 인트라 예측/위치 의존 인트라 예측 조합의 단계(828)를 계속한다.

그 후, 단계(830)에서 현재 구성(current configuration)에 대한 비율 왜곡 비용(rate distortion cost(RD-cost)) J _i 가 계산된다. 특히, 현재 구성은 MPI 인덱스 i의 현재 값에 대응할 수 있다. 다른 실시예에서, 또한 다른 파라미터는 다양하고, 다른 파라미터 세팅에 대한 RD-cost가 결정될 수 있다.

단계(832)에서 MPI 인덱스 i가 3보다 크거나 또는 같은지 여부가 결정된다. MPI 인덱스 i가 3보다 작은 경우, 단계(834)에서 MPI 인덱스는 1 증가하고 이 방법은 단계(822)를 계속한다. MPI 인덱스가 3보다 크거나 같은 경우, 이 방법은 최적의 MPI 인덱스(best MPI index)를 선택하는 단계(836)를 계속한다. 이는 최저(lowest) RD-cost J _i 에 대응하는 MPI 인덱스를 선택함으로써 달성될 수 있다.

도 9는 디코더(decoder) 측에서의 필터 컨트롤 모듈의 인트라 예측을 위한 일련의 필터를 구성하기 위한 방법(900)의 순서도이다.

인터 예측 메커니즘은, 예를 들어, 다음의 필터들을 포함할 수 있다:

- 라그랑지안 보간에 기초한 일반 필터(regular filter based on Lagrangian interpolation),

- (주로 더 선명한 에지에서) DCT 기반 보간을 사용하는 선명화 필터(sharpening filter used DCT-based interpolation (mostly around sharper edges), 및/또는

- 스무딩 비-보간 필터(smoothing non-interpolating filter).

바람직하게는, 필터들 중에서 하나만이 선택될 수 있다. 1/4 보간(quarter-pel interpolation)에서, 선명화 필터는 기본적으로 사용(enabled by default)될 수 있고, 즉, 그 파라미터는 다른 플래그 및 파라미터를 도출하지 않고 디코더 측에서 비트스트림을 파싱함으로써 검색되어야 한다. 1/2 보간(half-pel interpolation)에서, 선명화는 턴오프(turned off)될 수 있다. Int-pel에서, 선명화 및 평활화 필터 모두가 사용되므로, 이에, 필요한 경우에는 스위치 오프될 수 있다. 하지만, 그들 중 하나가 턴온(turned on)되는 경우, 그 파라미터는 필터링을 수행하기 이전에 비트스트림으로부터 검색되어야 한다.

방법(900)은 참조 샘플 적응형 필터링(reference sample adaptive filtering(RSAF))이 사용중인지 여부를 결정하는 제1 단계(910)를 포함한다. 예를 들어, RSAF 플래그를 평가함으로써 결정될 수 있다. RSAF가 사용중인 것으로 결정되는 경우, 단계(912)에서 참조 샘플 적응형 필터링이 적용된다. 그 후, 단계(914)에서, 4-탭 큐빅 필터를 사용하는 보간이 적용된다. 이는 인트라 예측을 위한 필터 시퀀스의 보간 필터의 보간 모드 파라미터를 4-탭 큐빅 필터로 세팅함으로써 달성될 수 있다.

단계(910)에서 RSAF가 사용중이지 않은 것으로 결정된 경우, 단계(916)에서 4-탭 필터의 세트를 사용하는 보간이 적용된다. 특히, 이는 미리 결정된 4-탭 필터의 세트일 수 있다. 보간 필터가 4-탭 필터의 세트를 사용하는 것으로 세팅하는 것은, 예를 들어, 보간 필터의 보간 파라미터를 “set of 4-tap filters”로 세팅함으로써 달성될 수 있다.

단계(920)에서, MPI 인덱스가 1보다 큰지 여부가 결정된다. 예를 들어, MPI 인덱스는 파싱에 의해 결정됐을 수 있고, 그렇지 않은 경우는 비트스트림으로부터 MPI 인덱스 값을 결정할 수 있다. MPI 인덱스가 1보다 큰 경우, 이 방법은 현재 PU 크기가 32보다 큰지 여부를 평가하는 단계(924)를 계속한다. 현재 PU 크기가 32보다 큰 경우와, MPI 인덱스가 1보다 크지 않은 경우에, 이 방법은 경계 예측 필터링을 적용하는 단계(926)를 계속한다. 하지만, 현재 PU 크기가 32보다 크지 않은 경우, 이 방법은 다중 파라미터 인트라 예측/위치 의존 인트라 예측 조합(multi-parameter intra-prediction/position-dependent intra-prediction combination)의 단계(928)를 계속한다.

도 10은 직렬/병렬 구조(serial/parallel structure)를 갖는 일련의 필터(1000)의 구조도이다.

일련의 필터(1000)는 블록 샘플들(block of samples; 1002)을 처리하여 참조 (예측된) 블록(1040)을 획득하도록 구성된다. 시퀀스(1000)는 블록 샘플들(1002) 사이에서 보간을 수행하도록 구성된 하나 이상의 서브 픽셀 보간 필터(1010)를 포함한다. 서브 픽셀 보간의 결과(1012)는 평활화 필터(1020) 및/또는 선명화 필터(1030)의 입력으로서 제공된다. 바람직하게는, 평활화 필터(1020) 아니면 선명화 필터(1030)가 사용된다.

도 11은 디코더 측에서의 필터 컨트롤 모듈의 인터 예측을 위한 일련의 필터를 구성하는 방법의 순서도이다.

방법(1100)은 ¼-¾-PEL 보간이 사용중인지 여부를 결정하는 제1 단계를 포함한다. 그렇지 않은 경우, 이 방법은 ½-PEL 보간이 사용중인지 여부를 결정하는 단계(1104)를 계속한다. ½-PEL 보간이 사용중인 경우, 이 방법은 비트스트림을 파싱하여 제어 플래그(control flag)의 하나 이상의 값을 검색하는 단계(1106)를 계속한다. 그 후, 단계(1112)에서, 선명화 필터가 사용가능한지 여부가 결정된다. 특히, 이는 단계(1106)에서 결정된 제어 플래그의 하나 이상의 값으로부터 결정될 수 있다. 또한, 단계(1104)에서 ½-PEL 보간이 사용중이지 않은 것으로 결정된 경우, 이 방법은 비트스트림을 파싱하여 하나 이상의 제어 플래그의 하나 이상의 값을 검색하는 단계(1108)를 계속한다. 그 후, 단계(1110)에서, 평활화 필터가 사용가능한지 여부가 결정된다. 특히, 이는 하나 이상의 제어 플래그의 하나 이상의 값으로부터 결정될 수 있다.

평활화 필터가 사용가능한 경우, 방법은 비트스트림이 파싱되어 평활화 필터 강도 파라미터(smoothing filter strength parameter)의 하나 이상의 값을 검색하고, 이에 따라 필터링이 수행되는 단계(1116)를 계속한다. 또한, 단계(1110)에서, 예를 들어, 평활화 필터가 사용가능하지 않다고 비트스트림으로부터 결정되는 경우, 이 방법은 선명화 필터가 사용가능한지 여부가 결정되는 단계(1112)를 계속한다. 선명화 필터가 사용가능한 경우, 이 방법은 비트스트림이 파싱되어 선명화 필터 강도 파라미터(sharpening filter strength parameter)의 하나 이상의 값을 검색하고, 이에 따라 필터링이 수행되는 단계(1114)를 계속한다.

최첨단 비디오 코딩은 인코더 및 디코더의 최종 스테이지에서 필터링 단계를 제공한다. 이 프로세싱의 출력 데이터가 모션 보정 루프(motion-compensation loop)로 전달되자마자, 이 필터링은 인 루프 필터링(in-loop filtering)이라고 한다.

몇몇 일련의 필터는 인코더와 디코더 모두에서 사용될 수 있다. 바람직하게는, 일련의 필터의 제1 스테이지는 디블로킹 필터를 사용함으로써 블로킹 아티팩트(blocking artifact)를 제거하도록 구성된다. 저역 통과 필터는, 미리 정의된 규칙의 세트에 따라서, TU의 에지(edges of TUs)에 적용된다. 이 규칙은 전체 시퀀스 또는 각각의 개별 프레임에 대해 지정될 수 있는 디블로킹 파라미터로서 참조되는 파라미터를 갖는다.

바람직하게는, 제2 스테이지는 SAO(sample adaptive offset(샘플 적응형 오프셋))의 사용으로 양자화 노이즈(quantization noise)를 제거하도록 구성된다. 프레임은 픽셀 영역(pixel areas)으로, 이 영역의 각각에 할당된 SAO 파라미터와 함께, 서브분할될 수 있다. SAO 파라미터는 다음을 포함할 수 있다:

- 분류기 타입(classifier type)을 제어하는 SAO 타입:

- BO(band offset): 이 SAO 타입은 SAO 카테고리에 의해 지정된 범위의 값을 갖는 픽셀에 오프셋을 추가하기 위하여 선택함

- EO(edge offset): 이 SAO 타입은 SAO 카테고리에 따라 픽셀에 상이한 오프셋을 추가하기 위하여 선택함

- SAO 클래스: SAO 카테고리를 도출하는데 사용되어야 하는 픽셀 패턴을 지정함

- SAO 오프셋: 각 SAO 카테고리에 오프셋을 할당하는 검색 테이블. 픽셀 카테고리에 따라 대응하는 오프셋을 추가돼야 함.

바람직하게는, 하나 이상의 이 SAO 파라미터는 인코딩된 측에서 도출되어 비트스트림에 인코딩되고, 디코더는 그들을 파싱할 수 있다.

다음 스테이지는, 위너 필터(Weiner filter)에 가까운 적응형 루프 필터(adaptive loop filter(ALF))를 적용하는 것이다. 인코더 측에서, 재구성된 픽셀을 필터링한 후에 최소 평균 제곱 오차(mean squared error(MSE))를 제공하는, 이러한 필터 계수(filter coefficient)가 도출된다.

바람직하게는, 인루프 필터링 체인(in-loop filtering chain)의 상이한 스테이지에서 필터 강도를 매치(match)하기 위한 필터 컨트롤 모듈은, 다른 스테이지에서 파라미터의 값에 따라서 필터링 스테이지에서의 프로세싱을 조정하도록 구성된다.

도 12는 일련의 필터인 인루프 필터 체인(in-loop filter chain; 1200)의 구조도이다.

인루프 필터 체인(1200)은 재구성된 프레임(reconstructed frame; 1202)을 처리하여 참조 화상 버퍼(reference picture buffer; 1240)를 획득하도록 구성된다. 재구성된 프레임(1202)은 디블로킹 필터(1210)의 입력으로서 제공된다. 디블로킹 필터의 출력은 SAO 필터(sample adaptive offset filter; 1220)에 입력으로서 제공된다. 적응형 루프 필터(1230)의 출력은 참조 화상(1240)의 입력(1232)으로서 제공된다.

디블로킹 필터(1210), SAO 필터(1220), 및 적응형 루프 필터(1230)는 필터 컨트롤 모듈(1250)에 의해 세팅될 수 있는 파라미터로 구성될 수 있다. 필터 컨트롤 모듈(1250)은, 하나 이상의 디블로킹 필터 파라미터(1252), 하나 이상의 SAO 파라미터(12540, 및 하나 이상의 ALF 파라미터(1256)를 포함하는 입력 파라미터에 기초하여 이 파라미터를 결정하도록 구성된다. 예를 들어, 이 파라미터는 사용자로부터 정의되거나(user-defined) 또는 비트스트림으로부터 획득될 수 있다.

디블로킹 필터(1210)는 하나 이상의 SAO 파라미터에 의존할 수 있다. 바람직하게는, 인코더 측에서, SAO 타입이 EO(edge offset)로 선택되고, 픽셀 패턴(SAO 클래스)이 수평 또는 수직 방향으로 정렬되는 경우, 디블로킹 동작은 선택된 픽셀 패턴 방향에 직교하는 방향을 갖는 에지에 대해 사용금지(disabled)된다.

도 13은 디블로킹 필터링이 하나 이상의 SAO 파라미터에 따라 상이한, 일련의 필터를 구성하는 방법(1300)의 순서도이다

이 방법(1300)은 하나 이상의 SAO 파라미터를 추정하는 제1 단계(1302)를 포함한다. SAO 파라미터는 에지 오프셋 파라미터(edge offset parameter) 및 SAO 클래스를 포함할 수 있다.

단계(1304)에서 에지 오프셋 파라미터가 true로 세팅되는지 여부가 결정된다. true로 세팅되는 경우, 단계(1306)에서 SAO 클래스 파라미터가 평가된다. SAO 클래스 파라미터가 vertical로 세팅되는 경우, 이 방법은 단계(1308)에서 수평 에지의 디블로킹을 사용금지(disable)한다. SAO 클래스 파라미터가 horizontal로 세팅되는 경우, 이 방법은 단계(1310)에서 수직 에지의 디블로킹이 사용금지된다. SAO 클래스가 다른 값으로 세팅되거나, 단계(1304)에서 에지 오프셋 파라미터가 false로 결정되는 경우, 이 방법은 위에서 결정된 구성에 따라서 디블로킹 필터를 적용하는 단계(1312)를 계속한다. 그 후, 이 방법은 단계(1314)에서 SAO 필터링과, 가능한 경우 추가적인 필터링 단계들을 계속한다.

도 14는 디블로킹 필터링이 SAO 파라미터에 의존하고, 상기 필터링은 디코더 측에서 발생하는, 일련의 필터를 구성하는 추가적인 방법(1400)의 순서도이다.

제1 단계(1402)에서, 하나 이상의 SAO 파라미터는 비트스트림으로부터 검색된다.

단계(1404)에서 에지 오프셋 파라미터가 true로 세팅되는지 여부가 결정된다. true로 세팅되는 경우, 단계(1406)에서 SAO 클래스 파라미터가 평가된다. SAO 클래스 파라미터가 vertical로 세팅되는 경우, 이 방법은 단계(1408)에서 수평 에지의 디블로킹을 사용금지한다. SAO 클래스 파라미터가 horizontal로 세팅되는 경우, 단계(1410)에서 수직 에지의 디블로킹이 사용금지된다. SAO 클래스가 다른 값으로 세팅되거나, 또는 단계(1404)에서 에지 오프셋 파라미터가 false로 결정되는 경우, 이 방법은 위에서 결정된 구성에 따라서 디블로킹 필터를 적용하는 단계(1412)를 계속한다. 그 후 이 방법은 단계(1414)에서 SAO 필터링과, 가능한 경우 추가적인 필터링 단계들을 계속한다.

도 15는 디코더 측에서 하나 이상의 SAO 파라미터에 따른 하나 이상의 적응형 루프 필터 파라미터를 조정하는, 일련의 필터를 구성하는 방법(1500)의 순서도이다.

특히, 단계(1508-1514)에서 디블로킹, SAO 필터링, 적응형 루프 필터(ALF) 파라미터 추정, 및 적응형 루프 필터링이 적용된다.

도 13 및 도 14에 도시된 방법들과 비교하여, ALF 파라미터를 인코딩하고 디코딩하기 위한 코드북 선택(codebook selection)은 특히 에지 오프셋(edge offset)과 밴드 오프셋(band offset) SAO 케이스에 대해 상이하다.

도 16은 디코더 측에서 하나 이상의 SAO 파라미터에 따른 하나 이상의 ALF 파라미터를 조정하는 방법(1600)의 순서도이다.

제1 단계(1602)에서 SAO 파라미터는 비트스트림으로부터 도출된다. 제2 단계(1604)에서 에지 오프셋 플래그(edge offset flag)가 세팅되는지 여부가 결정된다. 에지 오프셋 플래그가 세팅되지 않는 경우, 단계(1606)에서 제1 ALF 파라미터 코드북이 선택된다. 에지 오프셋 플래그가 세팅되는 경우, 단계(1608)에서 제2 ALF 파라미터 코드북이 선택된다.

그 후, 단계(1610-1616)에서 ALF 파라미터가 비트스트림으로부터 검색되고, 디블로킹 필터가 적용되고, SAO 필터링이 적용되고, 적응형 루프 필터링이 적용된다.

본 발명의 실시예들은 다음 추가적 측면과 관련될 수 있다.

1. 비디오 데이터를 인코딩하고 디코딩하는 방법으로서, 다음의 인트라 예측 프로세스를 포함하는 방법:

a. 인트라 예측 파라미터에 따라서 이하의 단계의 필터 파라미터를 구성하는 단계

b. 필터를 예측되는 블록의 이웃 샘플에 적응적으로 적용함으로써 참조 샘플을 준비하는 단계

c. 참조 샘플의 보간된 값을 사용하여 예측되는 각각의 샘플 블록에 대해 예측된 값을 계산하는 단계

d. 예측된 블록에 필터를 적용하는 단계

e. 경계 평활화를 수행하는 단계.

2. 제1 측면의 방법에 있어서, 쿼드 트리 파티셔닝 결과는 명시적 또는 암시적 시그널링(explicit or implicit signaling)을 사용하는 참조 샘플 필터 선택의 지시로서 사용된다.

3. 제1 측면의 방법에 있어서, 예측되는 각각의 샘플 블록에 대한 예측값을 계산하는 단계는, 참조 샘플 필터링 프로세스에 따라 선택되는 보간 필터를 사용하여 수행된다.

4. 제3 측면의 방법에 있어서, 보간 필터 선택은 참조 샘플 필터 선택의 암시적 또는 명시적 시그널링 없이 계산된 예측되는 블록에 대해 수행된다.

5. 제3 측면의 방법에 있어서, 보간 필터 선택은 약한 참조 샘플 필터에 의해 필터링된 참조 샘플로부터 획득된 예측되는 블록에 대해 수행된다.

6. 제1 측면의 방법에 있어서, 경계 평활화는 크기 제한을 충족하는 PU에 속하는 TU에 대해 수행된다.

7. 제6 측면의 방법에 있어서, 예측된 블록 필터 방향성은 경계 평활화의 결정에 영향을 미친다.

8. 비디오 데이터를 인코딩하고 디코딩하는 방법으로서, 다음의 인터 예측 프로세스를 포함하는 방법:

a. 인터 예측 파라미터에 따라서 이하의 단계의 필터 파라미터를 구성하는 단계

b. 보간 필터 및 예측 필터로 프로세싱 한 후 참조로서 사용될 블록을 찾는데 사용되는 검색 영역(search area)에, 필터를 적응적으로 적용함으로써 참조 샘플을 준비하는 단계

c. 현재 프로세싱 되고 있는 블록에 보간 필터를 적용하는 단계

d. 현재 프로세싱 되고 있는 블록에 예측 필터를 적용하는 단계.

9. 제8 측면의 방법에 있어서, 단계(d)는 단계(c)에 선행한다.

10. 다음의 단계를 포함하는, 신호를 필터링하는 방법:

a. 필터 강도가 추가 조건에 의존하는 여러 반복적인 필터링 단계,

b. 연관된 단계에서 필터링 강도를 지정하는, 일부 필터링 단계와 연관된 지시, 및

c. 이전 단계와 연관된 지시에 따라 필터링 단계 a에서 추가 조건을 오버라이드(override)하는 컨트롤 유닛.

11. 제10 측면의 방법에 있어서, 필터링 단계 i에서의 강한 필터의 지시가, 더 약한 필터를 선택하기 위하여, 단계 k(i보다 큰)에서 추가 조건 체크(additional conditions check)를 오버라이드한다.

본 발명의 실시예는 다음의 하나 이상의 장점을 제공한다.

- 차세대 비디오 코딩 표준의 기초가되는 JEM과 호환되는 하이브리드 비디오 코딩 프레임워크의 많은 잠재적인 어플리케이션;

- JEM1과 비교하여 낮아진 BD-rate와 주관적인 품질 향상;

- RSAF가 통합된 JEM1에 비교하여, 인코더와 디코더의 계산 복잡성이 줄어들어, 많은 모바일 애플리케이션에서 잠재적으로 매력적임;

- 중복 시그널링을 방지(syntax).

전술한 설명은 본 발명의 구현 방식일 뿐이며, 본 발명의 범위는 이에 한정되지 않는다. 임의의 변형 또는 대체가 통상의 기술자에게 용이하게 이루어질 수 있다. 따라서, 본 발명의 보호 범위는 첨부된 청구 범위의 보호 범위를 따라야 한다.

Claims

비디오 코딩 장치로서,
하나 이상의 기본 파라미터(primary parameter) 및 하나 이상의 보조 파라미터(secondary parameter)에 의해 구성될 수 있는 일련의 필터(a sequence of filters); 및
상기 하나 이상의 기본 파라미터와 상기 일련의 필터의 강도 기준(strength criterion)에 기초하여, 상기 하나 이상의 보조 파라미터를 조정하도록 구성된 필터 컨트롤러(filter controller)
를 포함하고,
상기 강도 기준은,
평활도 기준(smoothness criterion),
고주파 영역에 대한 증폭률과 저주파 영역에 대한 증폭률의 비(ratio), 및/또는
필터링 전의 콘트라스트 값(contrast value)과 필터링 후의 콘트라스트 값의 비
를 포함하는,
비디오 코딩 장치.
제1항에 있어서,
상기 하나 이상의 기본 파라미터는,
미리 결정된 파라미터이고,
구체적으로, 인코딩된 비트스트림(encoded bitstream), 사용자 세팅(user setting), 및/또는 인코딩 장치(encoding device)에서의 파라미터 검색 루프(parameter search loop)으로부터 미리 결정되는 파라미터인,
비디오 코딩 장치.
제1항에 있어서,
상기 일련의 필터는,
하나 이상의 기본 파라미터에 의해 구성될 수 있는 하나 이상의 기본 필터; 및
하나 이상의 보조 파라미터에 의해 구성될 수 있는 하나 이상의 보조 필터
를 포함하고,
상기 하나 이상의 기본 필터는 상기 일련의 필터 내에서 상기 하나 이상의 보조 필터의 앞에 위치하는,
비디오 코딩 장치.
제1항에 있어서,
상기 일련의 필터는,
현재 비디오 블록(current video block)의 하나 이상의 이웃하는 샘플(neighboring sample)을 적응적으로 필터링하여, 하나 이상의 참조 샘플(reference sample)을 획득하도록 구성된 참조 샘플 필터(reference sample filter); 및
상기 하나 이상의 참조 샘플의 보간(interpolation)을 사용하여, 상기 현재 비디오 블록의 하나 이상의 샘플을 예측하도록 구성된 보간 필터(interpolation filter)
를 포함하고,
상기 하나 이상의 기본 파라미터는,
상기 참조 샘플 필터의 참조 파라미터(reference parameter)를 포함하고,
상기 하나 이상의 보조 파라미터는,
상기 보간 필터의 선택 파라미터(selection parameter)를 포함하고,
상기 보간 필터는,
상기 선택 파라미터에 따라서 보간 방법(interpolation method)을 사용하도록 구성된,
비디오 코딩 장치.
제1항에 있어서,
상기 하나 이상의 기본 파라미터는,
참조 샘플 필터의 참조 샘플 필터 플래그(reference samples filter flag)를 포함하고,
상기 하나 이상의 보조 파라미터는,
인트라 예측 보간 필터(intra-prediction interpolation filter)의 필터 강도 파라미터를 포함하는,
비디오 코딩 장치.
제1항에 있어서
상기 일련의 필터는,
크기 제한(size constraint)을 충족하는 하나 이상의 예측 유닛(prediction unit)에 속하는 하나 이상의 변환 유닛에 대하여 경계 평활화(boundary smoothing)를 수행하도록 구성된 경계 평활화 필터(boundary smoothing filter)를 포함하는,
비디오 코딩 장치.
제1항에 있어서,
상기 하나 이상의 기본 파라미터는,
예측된 블록 필터(predicted block filter)의 방향 파라미터(direction parameter)를 포함하고,
상기 하나 이상의 보조 파라미터는,
경계 평활화 필터의 온오프 파라미터(on-off parameter)를 포함하는,
비디오 코딩 장치.
제1항에 있어서,
상기 일련의 필터는,
참조 블록(reference block)의 샘플을 적응적으로 필터링하여, 보간된 참조 블록(interpolated reference block)을 획득하도록 구성된 서브 픽셀 보간 필터(sub-pixel interpolation filter); 및
상기 보간된 참조 블록을 평활화 및/또는 선명화(smoothen and/or sharpen)하여 필터링된 참조 블록(filtered reference block)을 획득하도록 구성된 저역 통과 및/또는 고역 통과 필터(a low pass and/or high pass filter)
를 포함하고,
상기 하나 이상의 기본 파라미터는,
보간 필터의 보간 파라미터(interpolation parameter)를 포함하고,
상기 하나 이상의 보조 파라미터는,
선명화 필터 및/또는 평활화 필터(sharpening and/or smoothing filters)의 선택 파라미터를 포함하고,
상기 필터 컨트롤러는,
상기 보간 필터의 상기 보간 파라미터에 기초하여 상기 보조 파라미터를 도출하도록 구성된,
비디오 코딩 장치.
제1항에 있어서,
상기 일련의 필터는,
비트스트림(bitstream)에서 하나 이상의 필터 계수(filter coefficient)를 지시하기 위하여, 선택된 코드북(selected codebook)을 사용하도록 구성된 적응형 루프 필터(adaptive loop filter)를 포함하고,
상기 필터 컨트롤러는,
상기 하나 이상의 기본 파라미터에 기초하여 복수의 코드북 중에서 상기 코드북을 선택하도록 구성된,
비디오 코딩 장치.
제1항에 있어서,
상기 일련의 필터는,
수직 필터 강도 파라미터(vertical filter strength parameter)에 기초하여 수직 에지(vertical edge)를 처리하고, 수평 필터 강도 파라미터(horizontal filter strength parameter)에 기초하여 수평 에지(horizontal edge)를 처리하도록 구성된 디블로킹 필터(deblocking filter);
샘플 적응형 오프셋(Sample Adaptive Offset(SAO)) 클래스(class) 파라미터에 따라서, 픽셀을 분류하고 상기 픽셀에 오프셋 값(offset value)을 추가하도록 구성된 SAO 필터; 및
비트스트림에 하나 이상의 필터 계수를 지시하기 위하여, 두 개 이상의 코드북을 사용하도록 구성된 적응형 루프 필터(adaptive loop filter)
를 더 포함하고,
상기 하나 이상의 기본 파라미터는,
상기 SAO 필터의 SAO 타입(type) 파라미터 및 상기 SAO 클래스 파라미터를 포함하고,
상기 하나 이상의 보조 파라미터는,
상기 수평 필터 강도 파라미터 및 상기 수직 필터 강도 파라미터를 포함하고,
상기 필터 컨트롤러는,
상기 SAO 필터의 상기 SAO 타입 파라미터와 상기 SAO 클래스 파라미터 중 하나 이상에 기초하여 상기 보조 파라미터를 도출하는 작동과,
상기 SAO 타입 파라미터에 기초하여 상기 두 개 이상의 코드북을 선택하는 작동
중 하나 이상의 작동을 실행하도록 구성되는,
비디오 코딩 장치.
비디오 코딩을 위한 일련의 필터를 구성하는 방법으로서,
하나 이상의 기본 파라미터와 상기 일련의 필터의 강도 기준에 기초하여 하나 이상의 보조 파라미터를 조정하는 단계; 및
상기 기본 파라미터 및 보조 파라미터를 사용하여 상기 일련의 필터를 구성하는 단계
를 포함하고,
상기 강도 기준은,
평활도 기준(smoothness criterion),
고주파 영역에 대한 증폭률과 저주파 영역에 대한 증폭률의 비(ratio), 및/또는
필터링 전의 콘트라스트 값(contrast value)과 필터링 후의 콘트라스트 값의 비
를 포함하는,
방법.
제11항에 있어서,
비트스트림으로부터 상기 하나 이상의 기본 파라미터를 결정하는 초기 단계(initial step)
를 더 포함하는 방법.
프로그램 코드(program code)가 저장되어 있는 컴퓨터가 판독 가능한 저장 매체(computer-readable storage medium)로서,
상기 프로그램 코드는 컴퓨터에서 실행될 때 제11항 또는 제12항의 방법을 수행하기 위한 명령어(instruction)를 포함하는,
컴퓨터가 판독 가능한 저장 매체.
삭제